CN108682039B - 一种双目立体视觉测量方法 - Google Patents

一种双目立体视觉测量方法 Download PDF

Info

Publication number
CN108682039B
CN108682039B CN201810398084.7A CN201810398084A CN108682039B CN 108682039 B CN108682039 B CN 108682039B CN 201810398084 A CN201810398084 A CN 201810398084A CN 108682039 B CN108682039 B CN 108682039B
Authority
CN
China
Prior art keywords
target object
image
pixel
binocular
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810398084.7A
Other languages
English (en)
Other versions
CN108682039A (zh
Inventor
杨罡
张娜
李永祥
王欣伟
马丽强
曹京津
陈昱同
程远
王海涛
严碧武
周赞东
李涛
冯智慧
方书博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Electric Power Research Institute Of Sepc
Wuhan NARI Ltd
Original Assignee
State Grid Electric Power Research Institute Of Sepc
Wuhan NARI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Electric Power Research Institute Of Sepc, Wuhan NARI Ltd filed Critical State Grid Electric Power Research Institute Of Sepc
Priority to CN201810398084.7A priority Critical patent/CN108682039B/zh
Publication of CN108682039A publication Critical patent/CN108682039A/zh
Application granted granted Critical
Publication of CN108682039B publication Critical patent/CN108682039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双目立体视觉测量方法，包括目标检测：定位出第一目标物检测框，获取目标物初始的图像位置信息；双目标定：得到所述双目相机的相关参数；双目立体匹配：形成二次视差空间以及图像中各点的三维信息；目标物分割：对目标物进行细分割得到第二目标物检测框，并利用所述第二目标物检测框内的三维信息获取目标物距离所述双目相机或距离保护目标之间的距离等。通过本方案，可以提高双目立体匹配鲁邦性，提高该过程中代价聚合效率，同时能快速的得到高质量的视差，从而有利于电网中侵入物的快速预警，使得输电线路侵入物预警自动化。

Description

一种双目立体视觉测量方法
技术领域
本发明涉及图像处理领域，尤其涉及一种双目立体视觉测量方法。
背景技术
以下陈述仅提供与本发明有关的背景信息，而不必然地构成现有技术。
在电力系统中输电线路的状态监测是一项极其重要的任务。目前输电线路的状态监测中人工巡检以及图像监控是最主要的手段，但是这两种方法都需要巡检人员实地或者在监控平台上值守，效率低下且不利于智能化预警。近年来计算机视觉技术得到飞速的发展，基于双目立体匹配的视觉测量技术也是计算机视觉技术中被广泛研究和应用的一个重要分支。为了实现输电线路的状态监测中入侵物监测以及预警的功能，采用双目立体视觉对侵入物距离探测和尺寸检测是很有意义的。
双目立体视觉测量仅需要双目相机就能对物体的空间三维信息进行测量，它有着成本低、非接触、实施简单等特点，可以很好的解决人工巡检或者图像监控需要人员24小时蹲守的非智能化预警，对输电线路的智能化监控有着重要的意义。
但是，目前现有技术中仍存在的缺陷包括：双目立体匹配代价聚合时算法的效率不足、在应对真实场景时算法的效果不够鲁棒、同一平面上的物体深度数据不够平滑、对于标定误差的冗余程度不够高等。
发明内容
为了克服现有技术的不足，本发明所实现的技术目的是提供一种能提高双目立体匹配鲁邦性，提高该过程中代价聚合效率，同时能快速的得到高质量的视差的双目立体视觉测量方法。
为达到上述技术目的，本发明所采用的技术方案内容具体如下：
一种双目立体视觉测量方法，包括以下步骤：
目标检测：定位出第一目标物检测框，获取目标物初始的图像位置信息；
双目标定：对双目相机进行标定，得到所述双目相机的相关参数；
双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过非局部代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；
目标物分割：利用双目立体匹配获取的图像中各点的三维信息，三维信息的深度值，对目标物进行细分割得到第二目标物检测框，并利用所述第二目标物检测框内的三维信息获取目标物距离所述双目相机或距离保护目标之间的距离，以及目标物的尺寸信息。
为实现提高测量过程中的代价聚合效率，同时快速的得到高质量的视差，发明人在本技术方案中创新性地引入了通过非局部代价聚合处理所述初始视差信息形成二次视差空间的步骤。
通常的代价聚合算法处理这一步非常耗时(>1s)并且效果不是很好。这是因为初始视差空间是立体匹配中代价计算步骤生成的，是包含着大量噪声数据的。而在本技术方案当中，可以通过融合超像素信息以及非局部边缘保持代价聚合的代价聚合技术，在减少代价聚合时间的基础上同时优化了代价聚集的效果。例如，结合超像素图像划分技术，一个640*480的目标图像先被划分到了若干个超像素中，如200个超像素，以前的代价聚集需要在307200(640*480)个像素上进行D次，现在只需在200个超像素上进行D次然后进行随机游走分割加上原始代价匹配得到的初始视差空间就可以得到最后的视差空间。由此可知，计算过程大大减少，从而提高了计算效率，提高该过程中代价聚合效率；同时经过这种处理后的二次视差空间相比于初始视差空间，噪声大大降低，精度更高，能快速的得到高质量的视差。
优选地，所述双目立体匹配步骤中生成初始视差空间的步骤包括：
图像划分：将所述图像通过超像素划分，获得包括超像素A在内的若干个超像素点；
初始视差空间计算：初始视差空间通过下列公式求得：
Figure BDA0001645043560000021
其中，
Figure BDA0001645043560000022
表示超像素区域LA的像素pix视差空间之和，numer(pix∈LA)表示超像素区域LA的像素pix数量。
需要说明的是，视差空间是指双目立体匹配时，依据视差的个数生成的视差匹配图。比如视差等级为D，图像的大小为W*H，则视差空间是D副大小为W*H构成的视差匹配图；numer(pix∈LA)表示的一个超像素分割区域的像素个数。
需要说明的是，通过对图像的划分，可以方便后续代价聚合步骤的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要根据图像的大小的数量进行计算，大大提高了运算效率。
更优选地，所述非局部代价聚合的步骤包括：
(1)超像素亮度计算：所述超像素所代表的区域的像素通过以下公式得出:
Figure BDA0001645043560000031
其中，
Figure BDA0001645043560000032
表示属于超像素区域LA的像素pix亮度总值，numer(pix∈LA)表示超像素区域LA的像素pix数量；
(2)超像素关系一维化：利用最小生成树算法将各超像素点之间的关系变为一维；
(3)非局部递归回归：结合上述所得参数，通过非局部递归回归滤波器对初始视差空间进行代价聚合得到二次视差空间。
需要说明的是，由于初始的像素生成的视差空间包含着大量的噪声，因此由它生成的超像素视差空间，也是包含大量噪声的，因此需要对超像素构成的视差空间进行代价聚合，利用像素间亮度的相似性去对代价进行聚合。非局部代价聚合的一方面消除初始视差空间中包含的噪声数据，使得所得的二次视差空间精度更高；另一方面在计算过程中，参与代价聚合的像素不再是传统的矩形区域而是非规则区域，拓展了代价聚集时的相似像素参与度，从而使得代价聚合的效果更好。
传统的立体视觉使用的代价聚合都是基于局部窗口的，这样使得代价聚合时每个像素点只能受到相邻局部像素的影响，在本发明中使用的非局部代价聚合的思想使得每个超像素都能为其它的超像素提供聚合影响，而且由于本方案采用的超像素之间的关系通过最小生成树算法之后变为一维，因此本方案中采用非局部递归回归滤波器进行代价聚合，对于每个像素点只需要参与少量的运算，就能得到效率相对基于窗口的代价聚合高并且边缘保持特性好的效果。
更进一步地，所述非局部递归回归的步骤具体包括：
(1)权重计算：通过以下公式计算相邻超像素点之间的高斯权重作为权重：
Figure BDA0001645043560000041
其中，A，B代表图像中的两个像素；IA，IB代表两个像素点的亮度值；sigma代表方差；exp代表指数；Gauss(A,B)代表像素之间的高斯权重；
(2)二次视差空间计算：利用上述所得相邻像素之间的权重进行前向迭代和后向迭代，假设初始视差空间为DSI(pixel,d)，超像素的视差空间为DSI(superpixel,d)，经过非局部递归回归滤波器的超像素代价空间为DSIFinal(superpixel,d),那么二次视差空间为DSIFinal(pixel,d)由以下公式得到：
DSIFinal(pixel,d)＝(1.0-λ)*DSI(pixel,d)+λ*DSIFinal(superpixel,d)
其中，λ为平衡因子。
需要说明的是，通过上述步骤，尤其是迭代步骤，可以得到消除噪声后的视差空间，即二次视差空间。
优选地，所述目标检测还包括对第一目标物检测框采用Fast RCNN算法进行学习。
需要说明的是，通过对初始的第一目标物检测框进行Fast RCNN算法学习，可以优化优化检测框的大小以及分割出深度学习得到的检测框中的目标物。
优选地，所述目标物分割步骤具体包括：
图像输入：从双目相机采集得到彩色图像，以及从双目立体匹配模块获取深度图像作为输入；
图像处理：对所述深度图像在第一目标物检测框的范围内进行自适应直方图进行核密度估计，估计出深度图像的核密度曲线，然后使用所述核密度曲线找出深度局部极大值；然后找出第一目标物检测框中与当前深度相似的超像素对应的区域的图像掩码；然后根据所述图像掩码得到第二目标物检测框。
更优选地，所述深度局部极大值是当前目标物对应的深度d。
为求取输电线路目标到被保护物的距离，提高目标物进行分割速度，在本方案中，采用彩色图像(RGB)和深度图像(Depth)作为输入，深度图由双目立体匹配模块产生，彩色图像是双目相机直接采集到的，同时根据第一目标检测框，优选是通过深度学习FasterRCNN模块将会提供的第一目标检测框，对深度图在检测框的范围内进行自适应直方图进行核密度估计，估计出深度图的核密度曲线，然后使用核密度曲线找出深度的局部极大值。依照深度检测框中包含目标物的深度应该是最多的假设，认为该局部极大值是当前目标物对应的深度d,利用深度范围是[d-Δd,d+Δd]找出检测框中与当前深度相似的超像素对应的区域。核密度估计是一种非参数检验方法，它可以采用平滑的峰值函数来拟合观察到的数据点，估计出当前数据的概率分布曲线。
更优选地，所述图像处理步骤还包括：在得出与当前深度相似的超像素对应的区域后，采用导向滤波技术对所得区域的图像掩码进行校正，然后根据所述图像掩码得到第二目标物检测框。
需要说明的是，通过核密度估计之后的阈值分割得到的图像掩码充满锯齿，或者和目标物的形状还不是非常契合，在一种优选的实施方式当中，可以采用导向滤波技术对掩码进行校正。导向滤波基于局部窗口线性平滑假设，它认为掩码的边缘梯度应该是和彩色图的梯度是一致的，掩码中平滑区域的值和彩色图的值在局部窗口成线性关系，由此对掩码图进行校正。最终得到优化的检测框，即第二目标检测框。
优选地，所述方法还包括得出目标物的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息。
需要说明的是，侵入物体时指深度学习Fast RCNN算法检测到的诸如车辆等物体。
需要说明的是，距离信息是通过离线标定得到的摄像机内外参数，和立体匹配得到的视差，求解出的三维数据，依据欧式距离求得的。目标物的宽高信息是指优化后的检测框在三维上的尺寸信息。
需要说明的是，通过对目标深度掩码获取以及第二目标检测框的求取，同时由于在立体匹配步骤可获得检测框内的每个点的三维信息，以及在实际操作中测距范围是100米以外可以认为物体的自身深度是远远小于物体到相机的距离，由此采用欧式距离可以计算出物体的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息，从而进行输电线路侵入物自动预警功能。
通过本技术方案，可以解决现有技术中由于人工不能很好的判断入侵物距离输电线路中保护物的距离，以及记录目标物的三维尺寸信息，对侵入物的后续分析没有可供记录的数据，不利于输电线路目标物体的智能数据分析，不能为进一步升级输电线路的保护设备做出更多的支撑数据的技术问题。本技术方案能实现快速双目立体视觉测量，从而有利于电网中侵入物的快速预警，使得输电线路侵入物预警自动化。
与现有技术相比，本发明的有益效果在于：
1、本发明的双目立体视觉测量方法，通过融合超像素信息以及非局部边缘保持代价聚合的代价聚合技术，在减少代价聚合时间的基础上同时优化了代价聚集的效果；
2、本发明的双目立体视觉测量方法，通过对图像的超像素划分，可以方便后续代价聚合步骤的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要根据图像的大小的数量进行计算，大大提高了运算效率；
3、本发明的双目立体视觉测量方法，对超像素构成的视差空间进行代价聚合，利用像素间亮度的相似性去对代价进行聚合。非局部代价聚合的一方面消除初始视差空间中包含的噪声数据，使得所得的二次视差空间精度更高；另一方面在计算过程中，参与代价聚合的像素不再是传统的矩形区域而是非规则区域，拓展了代价聚集时的相似像素参与度，从而使得代价聚合的效果更好；
4、本发明的双目立体视觉测量方法，采用非局部递归回归滤波器进行代价聚合，对于每个像素点只需要参与少量的运算，就能得到效率相对基于窗口的代价聚合高并且边缘保持特性好的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1为本发明双目立体视觉测量方法一种较优选实施方式的流程示意图；
图2为本发明双目立体视觉测量方法中通过非局部递归回归滤波器对初始视差空间进行代价聚合过程的流程示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下：
本发明提供了一种双目立体视觉测量方法，如图1所示，其包括以下步骤：
一种双目立体视觉测量方法，包括以下步骤：
S1：目标检测：定位出第一目标物检测框，获取目标物初始的图像位置信息；
S2：双目标定：对双目相机进行标定，得到所述双目相机的相关参数；
S3：双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过非局部代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；
S4：目标物分割：利用双目立体匹配获取的图像中各点的三维信息，三维信息的深度值，对目标物进行细分割得到第二目标物检测框，并利用所述第二目标物检测框内的三维信息获取目标物距离所述双目相机或距离保护目标之间的距离，以及目标物的尺寸信息。
以上是本技术方案的基础实施方式。为实现提高测量过程中的代价聚合效率，同时快速的得到高质量的视差，发明人在本技术方案中创新性地引入了通过非局部代价聚合处理所述初始视差信息形成二次视差空间的步骤。通常的代价聚合算法处理这一步非常耗时(>1s)并且效果不是很好。这是因为初始视差空间是立体匹配中代价计算步骤生成的，是包含着大量噪声数据的。而在本技术方案当中，可以通过融合超像素信息以及非局部边缘保持代价聚合的代价聚合技术，在减少代价聚合时间的基础上同时优化了代价聚集的效果。例如，结合超像素图像划分技术，一个640*480的目标图像先被划分到了若干个超像素中，如200个超像素，以前的代价聚集需要在307200(640*480)个像素上进行D次，现在只需在200个超像素上进行D次然后进行随机游走分割加上原始代价匹配得到的初始视差空间就可以得到最后的视差空间。由此可知，计算过程大大减少，从而提高了计算效率，提高该过程中代价聚合效率；同时经过这种处理后的二次视差空间相比于初始视差空间，噪声大大降低，精度更高，能快速的得到高质量的视差。
结合上述实施方式，在一些优选实施方式中，所述双目立体匹配步骤中生成初始视差空间的步骤包括：
图像划分：将所述图像通过超像素划分，获得包括超像素A在内的若干个超像素点；
初始视差空间计算：初始视差空间通过下列公式求得：
Figure BDA0001645043560000071
其中，
Figure BDA0001645043560000072
表示超像素区域LA的像素pix视差空间之和，numer(pix∈LA)表示超像素区域LA的像素pix数量。
视差空间是指双目立体匹配时，依据视差的个数生成的视差匹配图。比如视差等级为D，图像的大小为W*H，则视差空间是D副大小为W*H构成的视差匹配图；numer(pix∈LA)表示的一个超像素分割区域的像素个数。
通过对图像的划分，可以方便后续代价聚合步骤的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要根据图像的大小的数量进行计算，大大提高了运算效率。
结合上述实施方式，在一些优选实施方式中，所述非局部代价聚合的步骤包括：
(1)超像素亮度计算：所述超像素所代表的区域的像素通过以下公式得出:
Figure BDA0001645043560000081
其中，
Figure BDA0001645043560000082
表示属于超像素区域LA的像素pix亮度总值，numer(pix∈LA)表示超像素区域LA的像素pix数量；
(2)超像素关系一维化：利用最小生成树算法将各超像素点之间的关系变为一维；
(3)非局部递归回归：结合上述所得参数，通过非局部递归回归滤波器对初始视差空间进行代价聚合得到二次视差空间。
由于初始的像素生成的视差空间包含着大量的噪声，因此由它生成的超像素视差空间，也是包含大量噪声的，因此需要对超像素构成的视差空间进行代价聚合，利用像素间亮度的相似性去对代价进行聚合。非局部代价聚合的一方面消除初始视差空间中包含的噪声数据，使得所得的二次视差空间精度更高；另一方面在计算过程中，参与代价聚合的像素不再是传统的矩形区域而是非规则区域，拓展了代价聚集时的相似像素参与度，从而使得代价聚合的效果更好。
传统的立体视觉使用的代价聚合都是基于局部窗口的，这样使得代价聚合时每个像素点只能受到相邻局部像素的影响，在本发明中使用的非局部代价聚合的思想使得每个超像素都能为其它的超像素提供聚合影响，而且由于本方案采用的超像素之间的关系通过最小生成树算法之后变为一维，因此本方案中采用非局部递归回归滤波器进行代价聚合，对于每个像素点只需要参与少量的运算，就能得到效率相对基于窗口的代价聚合高并且边缘保持特性好的效果。
结合上述实施方式，在一些优选实施方式中，所述非局部递归回归的步骤具体包括：
(1)权重计算：通过以下公式计算相邻超像素点之间的高斯权重作为权重：
Figure BDA0001645043560000091
其中，A，B代表图像中的两个像素；IA，IB代表两个像素点的亮度值；sigma代表方差；exp代表指数；Gauss(A,B)代表像素之间的高斯权重；
(2)二次视差空间计算：利用上述所得相邻像素之间的权重进行前向迭代和后向迭代，假设初始视差空间为DSI(pixel,d)，超像素的视差空间为DSI(superpixel,d)，经过非局部递归回归滤波器的超像素代价空间为DSIFinal(superpixel,d),那么二次视差空间为DSIFinal(pixel,d)由以下公式得到：
DSIFinal(pixel,d)＝(1.0-λ)*DSI(pixel,d)+λ*DSIFinal(superpixel,d)
其中，λ为平衡因子。
通过上述步骤，尤其是迭代步骤，可以得到消除噪声后的视差空间，即二次视差空间。
在本实施例中，每个像素都通过递归的过程利用权重去影响其他的像素，对于别的像素的代价聚合做出自己的贡献。该递归滤波器用于超像素的代价聚合时流程如图2所示。
在图2中，其中ai代表上面段落提到的高斯权重。从图2中可以看到在前向迭代中D对A产生影响，A对B产生影响，以此类推左边超像素会对右边超像素的代价聚合产生影响，并且像素点之间的影响将会传播开来，比如D对A直接影响，A对B直接影响，将导致D对B的间接影响。同时通过后项迭代操作右边超像素会对左边超像素的代价聚合产生影响，因此对于目标图像中的任一超像素，其它超像素都会对它的代价聚合产生影响。然后，通过上述公式即可得出二次视差空间。
结合上述实施方式，在一些优选实施方式中，所述目标检测还包括对第一目标物检测框采用Fast RCNN算法进行学习。通过对初始的第一目标物检测框进行Fast RCNN算法学习，可以优化优化检测框的大小以及分割出深度学习得到的检测框中的目标物。
结合上述实施方式，在一些优选实施方式中，所述目标物分割步骤具体包括：
图像输入：从双目相机采集得到彩色图像，以及从双目立体匹配模块获取深度图像作为输入；
图像处理：对所述深度图像在第一目标物检测框的范围内进行自适应直方图进行核密度估计，估计出深度图像的核密度曲线，然后使用所述核密度曲线找出深度局部极大值；然后找出第一目标物检测框中与当前深度相似的超像素对应的区域的图像掩码；然后根据所述图像掩码得到第二目标物检测框。
作为更进一步优选的实施方式，所述深度局部极大值是当前目标物对应的深度d。
为求取输电线路目标到被保护物的距离，提高目标物进行分割速度，在本方案中，采用彩色图像(RGB)和深度图像(Depth)作为输入，深度图由双目立体匹配模块产生，彩色图像是双目相机直接采集到的，同时根据第一目标检测框，优选是通过深度学习FasterRCNN模块将会提供的第一目标检测框，对深度图在检测框的范围内进行自适应直方图进行核密度估计，估计出深度图的核密度曲线，然后使用核密度曲线找出深度的局部极大值。依照深度检测框中包含目标物的深度应该是最多的假设，认为该局部极大值是当前目标物对应的深度d,利用深度范围是[d-Δd,d+Δd]找出检测框中与当前深度相似的超像素对应的区域。核密度估计是一种非参数检验方法，它可以采用平滑的峰值函数来拟合观察到的数据点，估计出当前数据的概率分布曲线。
作为更进一步优选的实施方式，所述图像处理步骤还包括：在得出与当前深度相似的超像素对应的区域后，采用导向滤波技术对所得区域的图像掩码进行校正，然后根据所述图像掩码得到第二目标物检测框。通过核密度估计之后的阈值分割得到的图像掩码充满锯齿，或者和目标物的形状还不是非常契合，在一种优选的实施方式当中，可以采用导向滤波技术对掩码进行校正。导向滤波基于局部窗口线性平滑假设，它认为掩码的边缘梯度应该是和彩色图的梯度是一致的，掩码中平滑区域的值和彩色图的值在局部窗口成线性关系，由此对掩码图进行校正。最终得到优化的检测框，即第二目标检测框。
结合上述实施方式，在一些优选实施方式中，所述方法还包括得出目标物的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息。侵入物体时指深度学习FastRCNN算法检测到的诸如车辆等物体。距离信息是通过离线标定得到的摄像机内外参数，和立体匹配得到的视差，求解出的三维数据，依据欧式距离求得的。目标物的宽高信息是指优化后的检测框在三维上的尺寸信息。通过对目标深度掩码获取以及第二目标检测框的求取，同时由于在立体匹配步骤可获得检测框内的每个点的三维信息，以及在实际操作中测距范围是100米以外可以认为物体的自身深度是远远小于物体到相机的距离，由此采用欧式距离可以计算出物体的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息，从而进行输电线路侵入物自动预警功能。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (6)

1.一种双目立体视觉测量方法，其特征在于，包括以下步骤：
目标检测：定位出第一目标物检测框，获取目标物初始的图像位置信息；
双目标定：对双目相机进行标定，得到所述双目相机的相关参数；
双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过非局部代价聚合处理所述初始视差空间形成二次视差空间以及图像中各点的三维信息；
目标物分割：利用双目立体匹配获取的图像中各点的三维信息，三维信息的深度值，对目标物进行细分割得到第二目标物检测框，并利用所述第二目标物检测框内的三维信息获取目标物距离所述双目相机或距离保护目标之间的距离，以及目标物的尺寸信息；
所述双目立体匹配步骤中生成初始视差空间的步骤包括：
图像划分：将所述图像通过超像素划分，获得包括超像素A在内的若干个超像素点；
初始视差空间计算：初始视差空间通过下列公式求得：
Figure FDA0003476466960000011
其中，
Figure FDA0003476466960000012
表示超像素区域LA的像素pix视差空间之和，numer(pix∈LA)表示超像素区域LA的像素pix数量；
所述非局部代价聚合的步骤包括：
(1)超像素亮度计算：所述超像素所代表的区域的像素通过以下公式得出:
Figure FDA0003476466960000013
其中，
Figure FDA0003476466960000014
表示属于超像素区域LA的像素pix亮度总值，numer(pix∈LA)表示超像素区域LA的像素pix数量；
(2)超像素关系一维化：利用最小生成树算法将各超像素点之间的关系变为一维；
(3)非局部递归回归：通过非局部递归回归滤波器对初始视差空间进行代价聚合得到二次视差空间；
所述非局部递归回归的步骤具体包括：
(1)权重计算：通过以下公式计算相邻超像素点之间的高斯权重作为权重：
Figure FDA0003476466960000021
其中，A，B代表图像中的两个像素；IA，IB代表两个像素点的亮度值；sigma代表方差；exp代表指数；Gauss(A，B)代表像素之间的高斯权重；
(2)二次视差空间计算：利用上述所得相邻超像素点之间的权重进行前向迭代和后向迭代，假设初始视差空间为DSI(pixel，d)，超像素的视差空间为DSI(superpixel，d)，经过非局部递归回归滤波器的超像素代价空间为DSIFinal(superpixel，d)，那么二次视差空间为DSIFinal(pixel，d)由以下公式得到：
DSIFinal(pixel，d)＝(1.0-λ)*DSI(pixel，d)+λ*DSIFinal(superpixel，d)
其中，λ为平衡因子。
2.如权利要求1所述的双目立体视觉测量方法，其特征在于，所述目标检测还包括对第一目标物检测框采用Fast RCNN算法进行学习。
3.如权利要求1所述的双目立体视觉测量方法，其特征在于，所述目标物分割步骤具体包括：
图像输入：从双目相机采集得到彩色图像，以及从双目立体匹配模块获取深度图像作为输入；
图像处理：对所述深度图像在第一目标检测框的范围内进行自适应直方图进行核密度估计，估计出深度图像的核密度曲线，然后使用所述核密度曲线找出深度局部极大值；然后找出第一目标检测框中与当前深度相似的超像素对应的区域的图像掩码；然后根据所述图像掩码得到第二目标物检测框。
4.如权利要求3所述的双目立体视觉测量方法，其特征在于，所述深度局部极大值是当前目标物对应的深度d。
5.如权利要求3所述的双目立体视觉测量方法，其特征在于，所述图像处理步骤还包括：在得出与当前深度相似的超像素对应的区域后，采用导向滤波技术对所得区域的图像掩码进行校正，然后根据所述图像掩码得到第二目标物检测框。
6.如权利要求1-5任一项所述的双目立体视觉测量方法，其特征在于，所述方法还包括得出目标物的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离信息。
CN201810398084.7A 2018-04-28 2018-04-28 一种双目立体视觉测量方法 Active CN108682039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810398084.7A CN108682039B (zh) 2018-04-28 2018-04-28 一种双目立体视觉测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810398084.7A CN108682039B (zh) 2018-04-28 2018-04-28 一种双目立体视觉测量方法

Publications (2)

Publication Number Publication Date
CN108682039A CN108682039A (zh) 2018-10-19
CN108682039B true CN108682039B (zh) 2022-03-25

Family

ID=63801477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810398084.7A Active CN108682039B (zh) 2018-04-28 2018-04-28 一种双目立体视觉测量方法

Country Status (1)

Country Link
CN (1) CN108682039B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784145B (zh) * 2018-12-05 2021-03-16 北京华捷艾米科技有限公司 基于深度图的目标检测方法及存储介质
CN109978934B (zh) * 2019-03-04 2023-01-10 北京大学深圳研究生院 一种基于匹配代价加权的双目视觉立体匹配方法及系统
CN111754713B (zh) * 2019-03-28 2021-12-14 杭州海康威视数字技术股份有限公司 视频监控方法、装置及系统
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN110096993A (zh) * 2019-04-28 2019-08-06 深兰科技（上海）有限公司 双目立体视觉的目标检测设备及方法
CN110599489A (zh) * 2019-08-26 2019-12-20 华中科技大学 一种目标空间定位方法
CN110838148B (zh) * 2019-11-11 2023-05-05 杭州凌像科技有限公司 一种双目相机自标定方法
CN115183876B (zh) * 2022-09-09 2022-12-09 国网山西省电力公司电力科学研究院 电力设备温度测量方法及装置、存储介质、计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120252A (zh) * 2015-09-02 2015-12-02 天津大学 一种面向虚拟多视点绘制的深度感知增强方法
US9521399B1 (en) * 2014-07-08 2016-12-13 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN106504276A (zh) * 2016-10-25 2017-03-15 桂林电子科技大学 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法
CN106887021A (zh) * 2015-12-15 2017-06-23 株式会社理光 立体视频的立体匹配方法、控制器和系统
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
CN107610148A (zh) * 2017-09-19 2018-01-19 电子科技大学 一种基于双目立体视觉系统的前景分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2887312A1 (en) * 2013-12-18 2015-06-24 Nokia Corporation Method, apparatus and computer program product for depth estimation of stereo images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521399B1 (en) * 2014-07-08 2016-12-13 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN105120252A (zh) * 2015-09-02 2015-12-02 天津大学 一种面向虚拟多视点绘制的深度感知增强方法
CN106887021A (zh) * 2015-12-15 2017-06-23 株式会社理光 立体视频的立体匹配方法、控制器和系统
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
CN106504276A (zh) * 2016-10-25 2017-03-15 桂林电子科技大学 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法
CN107610148A (zh) * 2017-09-19 2018-01-19 电子科技大学 一种基于双目立体视觉系统的前景分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"A non-local cost aggregation method for stereo matching";Qingxiong Yang 等;《2012 IEEE Conference on Computer Vision and Pattern Recognition》;20120630;第1402-1409页 *
"Cross-trees, edge and superpixel priors-based cost aggregation for stereo matching";Feiyang Cheng 等;《Pattern Recognition》;20150731;第48卷(第7期);第2269-2278页 *
"基于双目视觉的测距方法研究及其实现";孙文龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215(第02期);全文 *
"基于改进 Census 变换的立体匹配算法";雷磊 等;《计算机应用研究》;20131031;第30卷(第10期);第3185-3188页 *
Xing Mei 等."Segment-Tree Based Cost Aggregation for Stereo Matching".《2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》.2013, *

Also Published As

Publication number Publication date
CN108682039A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108682039B (zh) 一种双目立体视觉测量方法
CN109636732A (zh) 一种深度图像的空洞修复方法以及图像处理装置
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN109523528B (zh) 一种基于无人机双目视觉sgc算法的输电线路提取方法
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
CN110866882B (zh) 基于深度置信度的分层联合双边滤波深度图修复方法
CN110660065B (zh) 一种红外故障检测识别算法
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN112287824A (zh) 基于双目视觉的三维目标检测方法、装置及系统
CN110866926A (zh) 一种红外遥感图像快速精细海陆分割方法
CN115631116B (zh) 基于双目视觉的飞行器电力巡检系统
KR101092250B1 (ko) 레인지 영상으로부터의 객체 분할 장치 및 방법
Abd Manap et al. Disparity refinement based on depth image layers separation for stereo matching algorithms
CN110188640B (zh) 人脸识别方法、装置、服务器和计算机可读介质
Jiao et al. Color image-guided boundary-inconsistent region refinement for stereo matching
CN105631868A (zh) 一种基于图像分类的深度信息提取方法
Mukherjee et al. A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision
US9082176B2 (en) Method and apparatus for temporally-consistent disparity estimation using detection of texture and motion
CN116958416A (zh) 一种三维建模方法、装置、系统以及存储介质
Damjanović et al. Local stereo matching using adaptive local segmentation
Abbaspour et al. A new fast method for foggy image enhancement
CN113077504B (zh) 基于多粒度特征匹配大场景深度图生成方法
CN104680523A (zh) 基于前景和背景先验的多模态区域一致性的显著性对象检测方法
Li et al. Laplace dark channel attenuation-based single image defogging in ocean scenes
Park Cost aggregation benchmark for light field depth estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant