CN107977957B - 基于静态单目相机的土体失稳综合信息测量方法 - Google Patents

基于静态单目相机的土体失稳综合信息测量方法 Download PDF

Info

Publication number
CN107977957B
CN107977957B CN201711159751.8A CN201711159751A CN107977957B CN 107977957 B CN107977957 B CN 107977957B CN 201711159751 A CN201711159751 A CN 201711159751A CN 107977957 B CN107977957 B CN 107977957B
Authority
CN
China
Prior art keywords
instability
foreground
static
monocular camera
landslide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711159751.8A
Other languages
English (en)
Other versions
CN107977957A (zh
Inventor
郭晓军
李�泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Mountain Hazards and Environment IMHE of CAS
Original Assignee
Institute of Mountain Hazards and Environment IMHE of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Mountain Hazards and Environment IMHE of CAS filed Critical Institute of Mountain Hazards and Environment IMHE of CAS
Priority to CN201711159751.8A priority Critical patent/CN107977957B/zh
Publication of CN107977957A publication Critical patent/CN107977957A/zh
Application granted granted Critical
Publication of CN107977957B publication Critical patent/CN107977957B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
  • Image Analysis (AREA)

Abstract

一种基于静态单目相机的土体失稳综合信息测量方法,包括:利用静态单目相机获取一帧滑坡视频图像;根据所述滑坡视频图像通过高斯背景建模得到前景;去除所述前景中的噪声以得到第一图像;根据所述第一图像得到失稳前景块;如果得到的失稳前景块和上一帧的失稳前景块的位置和面积相近,则认为属于同一次失稳,以完成了失稳体的检测和跟踪;将所述失稳体的失稳事件记录到数据库中并保存截图;基于山坡基本上符合一个平面的假设,根据所述截图利用已经标定好的透视投影变换,将失稳块所对应的区域映射至实际的区域,从而得到失稳的表面积。本发明将高斯背景建模检测前景的办法和透视投影变换相结合,可定量的还原失稳体的几何信息。

Description

基于静态单目相机的土体失稳综合信息测量方法
技术领域
本发明涉及土木工程技术领域,特别涉及一种基于静态单目相机的土体失稳综合信息测量方法。
背景技术
土体失稳的各参数如时间、位置和方量的精确测量对滑坡、泥石流等灾害的预测和减灾具有重要意义。在土体破坏的监测数据获取途径中,相比LiDAR、卫星图像、GIS和传感器方法,通过单目相机直接拍摄获取视频数据具有成本低、实施简单和实时性高的优点,但是单目相机拍摄的视频数据不具备深度信息。近年来,基于无人机单目相机拍摄视频和SfM(Structure from Motion)还原滑坡三维图像的方法在滑坡的位移分析中取得了成功,但并没有相关方法测量坡面土体破坏的时间、空间位置和方量等综合信息。
发明内容
本发明的目的是研究一种基于静态单目相机的土体失稳综合信息的测量方法,其基于视频影像进行失稳区域检测、去噪和跟踪,对滑坡发生的时间、地点和表面积进行定量测量。
本发明提供了一种基于静态单目相机的土体失稳综合信息测量方法,包括:步骤1,利用静态单目相机获取一帧滑坡视频图像;步骤2,根据所述滑坡视频图像通过高斯背景建模得到前景;步骤3,去除所述前景中的噪声以得到第一图像;步骤4,根据所述第一图像得到失稳前景块;步骤5,如果得到的失稳前景块和上一帧的失稳前景块的位置和面积相近,则认为属于同一次失稳,以完成了失稳体的检测和跟踪;步骤6,将所述失稳体的失稳事件记录到数据库中并保存截图;步骤7,基于山坡基本上符合一个平面的假设,根据所述截图利用已经标定好的透视投影变换,将失稳块所对应的区域映射至实际的区域,从而得到失稳的表面积。
优选地,所述步骤7还包括:根据所述表面积得到每次失稳的体积。
优选地,处理完一次视频之后,根据生成的数据及保存好的截图绘制失稳图绘。
优选地,所述生成的数据包括发生时间、编号、滑坡体积等。
优选地,所述步骤1还包括,对滑坡视频图像根据实际需要的分辨率进行缩小。
优选地,所述步骤3包括:先通过腐蚀操作去掉很小的噪声颗粒,再进行膨胀操作来尽可能将分散的失稳前景合并。
优选地,所述步骤4包括:当面积小于阈值时将其认为是噪声并去掉,将剩下面积作为失稳前景块。
优选地,所述步骤5还包括:设定一个阈值,如果失稳体的面积大于该阈值,才认为是一次失稳的开始事件。
优选地,所述失稳的表面积取表面积最大的时刻作为当前失稳的表面积。
本发明解决了手动测量和视频里读取失稳体体积费时费力不准确的问题,采用计算机视觉的方法对视频进行处理,可对失稳发生的时间、地点和表面积进行定量测量;将高斯背景建模检测前景的办法和透视投影变换相结合,可定量的还原失稳体的几何信息。
附图说明
图1是本发明第106帧的滑坡视频图像;
图2是高斯混合模型下第106帧的滑坡检测效果;
图3是腐蚀和膨胀操作后的滑坡前景图像;
图4是用去除小于阈值的连通区域。
具体实施方式
本发明涉及一种基于静态单目相机的土体失稳综合信息的测量方法,尤其是涉及一种采用计算机视觉的方法,基于对视频的处理,对滑坡发生的时间、地点和表面积进行定量测量,属于土木工程技术领域。
一、本发明的基本原理
为了解决对视频里滑坡、崩塌等土体失稳的体积手动测量费时费力不准确的问题,本方法采用计算机视觉的办法对视频处理对失稳体发生的时间、地点和表面积进行定量标定。单目静态相机拍摄得到的视频中失稳处的像素(也就是前景)处于剧烈变化之中,本方法采用高斯背景建模的办法来对前景进行检测,检测得到的前景区域就是我们感兴趣的失稳区域。一次失稳(如滑坡)可能前后持续几十甚至上百帧,我们把每一帧检测到的前景区域根据前后位置信息串联起来,就得到一次滑坡的基本信息。但是这样得到的几何信息只是视频上的像素,我们通过预先对视频进行透视投影变换标定,就能定量的还原失稳体的实际的几何信息,也就得到了每次失稳发生的时间、位置和规模(表面积)。
1.失稳区域检测、去噪和跟踪
为了在视频中检测出失稳发生区域,通过高斯混合模型对视频序列进行背景建模,然后检测出发生运动的前景。由于在视频中可能存在风吹动草木、人和野生动物运动、坡面流动、相机镜头抖动等噪音干扰,还需要针对失稳体前景图像的特点来进行去噪处理。
(1)基于高斯混合模型的滑坡区域检测
本发明采用高斯混合模型来检测运动区域,视频中属于静止区域的像素点在相机中成像的像素点的灰度值变化是很微小的,而且其灰度值变化随机且符合高斯分布。高斯背景模型认为不动的背景区域由M个相互独立的高斯模型加权得到,第s帧时像素点的灰度分布如下:
Figure BDA0001475249100000041
其中,Xs为第s帧图像的灰度,ωsi为第s帧的时第i个高斯分的加权系数,并且满足
Figure BDA0001475249100000042
项η(x,μsi,∑si)本质上是第i个高斯分布,也就是:
Figure BDA0001475249100000043
上式中∑si为第i个高斯分布的协方差矩阵,μsi为其均值。把第s帧图像的像素点分别带入M个高斯分布中,如果满足其中任何一个高斯模型则为背景点:
|Xss-1,i|≤cσs-1,i
上式中μs-1,i和σs-1,i为上一帧第i个高斯分布的均值和协方差矩阵。
如果像素点满足第i个高斯分布,那么该像素点就被判断成不动的背景像素点,并且用该点像素值对第i个高斯分布的参数进行更新。如果像素点不满足任何一个高斯分布,那么该像素点就被判断成正在滑坡的前景像素点,那么就把M个高斯模型中权重ωs-1,i最小的去掉,然后新加入一个高斯模型,新加入的高斯模型均值以该像素点灰度初始化,也就是μs=Xs,以及设置一个较大的协方差
Figure BDA0001475249100000051
和权值ωs
在实现了高斯混合模型算法后,用人工模拟滑坡的视频进行了测试,这里选取了第106帧的情况进行了说明,如图1-2所示。
在106帧的时候视频中红色区域发生了两起规模较小的滑坡事件,对应到图3所示的前景图像中可以明显的看出滑坡区域有很明显的白色前景块。这说明了高斯混合模型可以很好的检测出滑坡发生时的前景,现在只需要在空间上对属于同一次滑坡的前景块进行聚类,在时间上把属于同一次滑坡的不同帧的前景块进行串联,就得到了各次滑坡的具体情况。
(2)基于形态学处理的去噪处理
根据图1得到的正在发生滑坡的前景区域实际上不可避免的含有很多噪音,需要先对前景图像做噪处理。为了去除噪音对结果的影响,这里首先使用形态学的腐蚀操作来对前景图像进行去噪的预处理。
Figure BDA0001475249100000061
这里F为含有噪声的前景图像,而B为大小3×3的矩形结构元素,Bz是结构元素B加上偏移z以后的结果,也就是
Figure BDA0001475249100000062
通过这一步就可以把前景图像中很小的噪声全部去掉了。而结构元素B大小取得很小的原因是腐蚀操作在去掉很小的噪声的同时也会腐蚀滑坡区域的前景,为了在去噪的同时尽可能保留前景区域所做的折衷,这也意味着只能去除小于3×3的噪声点。
在腐蚀掉较小噪声点之后,我们使用较大的15×15结构元素B来对前景图像做膨胀操作。
Figure BDA0001475249100000063
其中Bs为结构元素B关于坐标轴原点的对称,也就是Bs={x∈E|-x∈B}。使用较大的结构元素来做膨胀操作是为了尽可能把正在滑坡的前景区域尽量连接起来,效果如图3所示。
在图3中可以看到处于滑坡区域的前景块已经聚合起来了,但是之前腐蚀没能去掉的大噪声点也由于膨胀操作明显起来。接下来用连通区域标记算法对所有连通区域进行标定,然后过滤小于阈值的区域就完成了图像预处理了。效果如图4所示,可以看到很清晰的滑坡前景效果。
(3)失稳区域跟踪
在得到失稳体的前景区域后,需要用跟踪算法来跟踪起来,进行简单的根据位置来判识。
2.失稳体表面的还原和分类
由于视频画面上得到的并不是准确的,所以需要用透视投影来还原。
(1)基于透视投影变换的滑坡区域还原
由于单目相机的视频只有平面信息没有深度信息,也就是只有dx和dy速度但没有dz的速度,通过假设滑坡表面分段近似平面,我们认为滑坡表面的各段在平面上,在三维空间xyz坐标系中已知一个点位于某个平面ax+by+cz+d=0上(系数a、b、c和d已知),我们知道了x和y,那么z就是可以求出来的。运动体的各段位于已知参数的平面上,我们已经知道了dx和dy,那么dz也就求出来了。
PPT通过指定成像平面上的四个点和实际平面上的四个点,得到透视投影矩阵(PPM:perspective projection matrix),通过该矩阵把成像平面上的点转换到实际点的位置,从而得到点的实际速度。换句话说,在滑坡体表面实际上为矩形的区域在成像平面上就成了非矩形了的一个4边形(称之为伪矩形),我们在成像平面上画出这个伪矩形,并且指定2条边的实际边长,那么我们就可以计算得到伪矩形对应的一个矩形,该矩形就是在伪矩形对应的实际滑坡表面区域的正上方用相机垂直流体平面往下拍摄看到的矩形,根据假设滑坡表面分段近似平面,此时dz的速度是0的,也就是说此时经过PPT换算之后的dx和dy是实际速度向量,从而得到了实际的速度。
几乎所有的相机成像都是经过透镜投影到相机成像平面,这个过程就是一个投射投影过程,这就导致图像原来的集合形状产生了变化。于是我们用一个更加复杂的模型来描述这种变换,假设i,j为某一个点的真实集合位置,那么投影变换可以描述成:
Figure BDA0001475249100000081
对于该变换,我们只需要4对观测点就可以完全的求出系数矩阵:
因为i·w=p00·i′+p02·j′+p02以及w=p20·i′+p21·j′+1
所以有i=p00·i′+p01·j′+p02·i·i′-p21·i·j′
可以从上面得到等式:j=p10·i′+p11·j′+p12-p20·j·i′-p21·j·j′
然后通过4对观测点得到等式:
Figure BDA0001475249100000091
对于右边的系数矩阵求逆,然后左乘等式两遍就可求得系数,得到PPM。
(2)基于机器学习算法对失稳区域的分类
因为得到的失稳事件可能是风吹草木,人或小动物在动等因素,可以采用机器学习的算法来去掉这些影响完成自动化。
二、一个优选的实施例
1、对于要处理的滑坡视频读入一帧,根据实际需要对分辨率进行缩小(加快处理速度),然后进行灰度化,并且进行高斯背景建模得到前景。
2、由于光照、水以及镜头轻微晃动等原因导致前景会有噪声,先通过腐蚀操作去掉很小的噪声颗粒,在进行膨胀操作来尽可能把分散的失稳前景合并。
3、经过处理后的噪声少了很多,现在前景里只有少数的噪声和失稳前景了。为了去掉剩余的噪声点我们对每一块前景统计面积,当面积小于阈值就认为是噪声去掉,剩下的就是大面积的失稳前景块了。
4、如果得到的失稳前景块和上一帧的失稳前景块位置和面积相近,那么我们就认为这是同一次失稳,通过这样完成了失稳体的检测和跟踪。
5、小型的失稳体很多,我们需要设定一个阈值,如果失稳体面积大于该阈值,才认为是一次失稳的开始事件,我们把它作为一次事件记入数据库中,并且保存截图方便处理完后查看。失稳结束也是一次事件记入数据库以及截图保存,有时候失稳可能合并,这就导致某次失稳可能有开始事件没有结束事件。
6、因为每次失稳体在不同时间的表面积是不同的,我们取表面积最大的时刻当作此次失稳的表面积。现在开始定量计算失稳体的实际表面积,这里我们假设山坡基本上符合一个平面。利用已经标定好的透视投影变换,把每次失稳发生区域映射到实际的区域,然后直接得到表面积大小。然后可以根据经验公式,定量估计每次失稳的体积。
7、处理完一次视频之后,根据生成的数据(包括发生时间、编号、滑坡体积等)、保存好的截图就可以把失稳图绘出来了。
本发明装置具有以下特点:
1、方法解决了手动测量和视频里读取失稳体体积费时费力不准确的问题,采用计算机视觉的方法对视频进行处理,对失稳发生的时间、地点和表面积进行定量测量;
2、将高斯背景建模检测前景的办法和透视投影变换相结合,定量的还原失稳体的几何信息。

Claims (8)

1.一种基于静态单目相机的土体失稳综合信息测量方法,其特征在于,包括:
步骤1,利用静态单目相机获取一帧滑坡视频图像;
步骤2,根据所述滑坡视频图像通过高斯背景建模得到前景;
步骤3,去除所述前景中的噪声以得到第一图像;
步骤4,根据所述第一图像得到失稳前景块,包括:当面积小于阈值时将其认为是噪声并去掉,将剩下的面积作为失稳前景块;
步骤5,如果得到的失稳前景块和上一帧的失稳前景块的位置和面积相近,则认为属于同一次失稳,完成了失稳体的检测和跟踪;
步骤6,将所述失稳体的失稳事件记录到数据库中并保存截图;
步骤7,基于山坡符合一个平面的假设,根据所述截图利用已经标定好的透视投影变换,将失稳块所对应的区域映射至实际的区域,从而得到失稳的表面积。
2.根据权利要求1所述的基于静态单目相机的土体失稳综合信息测量方法,其特征在于,所述步骤7还包括:根据所述表面积得到每次失稳的体积。
3.根据权利要求1所述的基于静态单目相机的土体失稳综合信息测量方法,其特征在于,处理完一次视频之后,根据生成的数据及保存好的截图绘制失稳图绘。
4.根据权利要求3所述的基于静态单目相机的土体失稳综合信息测量方法,其特征在于,所述生成的数据包括发生时间、编号、滑坡体积。
5.根据权利要求1所述的基于静态单目相机的土体失稳综合信息测量方法,其特征在于,所述步骤1还包括,对滑坡视频图像根据实际需要的分辨率进行缩小。
6.根据权利要求1所述的基于静态单目相机的土体失稳综合信息测量方法,其特征在于,所述步骤3包括:先通过腐蚀操作去掉噪声颗粒,再进行膨胀操作将分散的失稳前景合并。
7.根据权利要求1所述的基于静态单目相机的土体失稳综合信息测量方法,其特征在于,所述步骤5还包括:设定一个阈值,如果失稳体的面积大于该阈值,才认为是一次失稳的开始事件。
8.根据权利要求1所述的基于静态单目相机的土体失稳综合信息测量方法,其特征在于,所述失稳的表面积取表面积最大的时刻作为当前失稳的表面积。
CN201711159751.8A 2017-11-20 2017-11-20 基于静态单目相机的土体失稳综合信息测量方法 Expired - Fee Related CN107977957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711159751.8A CN107977957B (zh) 2017-11-20 2017-11-20 基于静态单目相机的土体失稳综合信息测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711159751.8A CN107977957B (zh) 2017-11-20 2017-11-20 基于静态单目相机的土体失稳综合信息测量方法

Publications (2)

Publication Number Publication Date
CN107977957A CN107977957A (zh) 2018-05-01
CN107977957B true CN107977957B (zh) 2021-05-28

Family

ID=62010620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711159751.8A Expired - Fee Related CN107977957B (zh) 2017-11-20 2017-11-20 基于静态单目相机的土体失稳综合信息测量方法

Country Status (1)

Country Link
CN (1) CN107977957B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739259B (zh) * 2020-06-15 2022-04-05 中国科学院、水利部成都山地灾害与环境研究所 斜坡单元局部聚集性破坏判定方法、区域滑坡预警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243323A (zh) * 2010-05-10 2011-11-16 中南大学 基于视频探测的岩质边坡稳定性分析方法
CN106323176A (zh) * 2016-08-09 2017-01-11 鞍钢集团矿业有限公司 一种露天矿边坡的三维位移监测方法
CN106846476A (zh) * 2017-02-10 2017-06-13 中国电建集团成都勘测设计研究院有限公司 基于三维实景和赤平投影的岩石块体稳定性快速评价方法
KR20170099263A (ko) * 2016-02-23 2017-08-31 한국전자통신연구원 긴급 상황 감지장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243323A (zh) * 2010-05-10 2011-11-16 中南大学 基于视频探测的岩质边坡稳定性分析方法
KR20170099263A (ko) * 2016-02-23 2017-08-31 한국전자통신연구원 긴급 상황 감지장치 및 그 방법
CN106323176A (zh) * 2016-08-09 2017-01-11 鞍钢集团矿业有限公司 一种露天矿边坡的三维位移监测方法
CN106846476A (zh) * 2017-02-10 2017-06-13 中国电建集团成都勘测设计研究院有限公司 基于三维实景和赤平投影的岩石块体稳定性快速评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任晓芳 等.基于GIS的景观动态远程监控系统.《计算机系统应用》.2016,第25卷(第4期),全文. *
张千.基于位移阵的边坡单目识别方法与算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,全文. *

Also Published As

Publication number Publication date
CN107977957A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
Dhiman et al. Pothole detection using computer vision and learning
JP6831414B2 (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
CN109598794B (zh) 三维gis动态模型的构建方法
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
KR101787542B1 (ko) 3차원 지형 모델과 토질 분류를 이용한 비탈면 안정성 평가 시스템 및 방법
US20100322474A1 (en) Detecting multiple moving objects in crowded environments with coherent motion regions
CN103093198B (zh) 一种人群密度监测方法及装置
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN113744337B (zh) 一种融合视觉、imu与声纳的同步定位与建图方法
US20200410688A1 (en) Image Segmentation Method, Image Segmentation Apparatus, Image Segmentation Device
CN107808524B (zh) 一种基于无人机的道路交叉口车辆检测方法
CN109214254B (zh) 一种确定机器人位移的方法及装置
KR20190070514A (ko) 격자지도 생성 장치 및 방법
CN112818925A (zh) 一种城市建筑和树冠识别方法
Masoumian et al. Absolute Distance Prediction Based on Deep Learning Object Detection and Monocular Depth Estimation Models.
CN114692720B (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
US11069071B1 (en) System and method for egomotion estimation
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
CN103886287A (zh) 一种基于3d投影的跨视角步态识别方法
CN107977957B (zh) 基于静态单目相机的土体失稳综合信息测量方法
CN114549542A (zh) 视觉语义分割方法、装置及设备
US10223803B2 (en) Method for characterising a scene by computing 3D orientation
WO2022214821A2 (en) Monocular depth estimation
Khan et al. Skeleton based human action recognition using a structured-tree neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528

Termination date: 20211120

CF01 Termination of patent right due to non-payment of annual fee