CN110473246A - 一种基于双目视觉的多重遮挡目标的测距方法 - Google Patents

一种基于双目视觉的多重遮挡目标的测距方法 Download PDF

Info

Publication number
CN110473246A
CN110473246A CN201910669295.4A CN201910669295A CN110473246A CN 110473246 A CN110473246 A CN 110473246A CN 201910669295 A CN201910669295 A CN 201910669295A CN 110473246 A CN110473246 A CN 110473246A
Authority
CN
China
Prior art keywords
target
disparity map
detection block
detection
grey level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910669295.4A
Other languages
English (en)
Other versions
CN110473246B (zh
Inventor
陈世同
吴桐
赵成成
聂文哲
王珍珍
曹欣
温雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910669295.4A priority Critical patent/CN110473246B/zh
Publication of CN110473246A publication Critical patent/CN110473246A/zh
Application granted granted Critical
Publication of CN110473246B publication Critical patent/CN110473246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于双目测距技术领域，具体涉及一种基于双目视觉的多重遮挡目标的测距方法。在进行目标测距时，本发明方法先通过SGBM立体匹配算法得出图像的视差图，将获得的视差图与SSD算法生成的目标检测框相结合，由于原始图像与视差图中各目标位置一一对应，因此可以得到目标检测框的视差图，剔除背景干扰后再结合目标检测结果按照由近到远的排序逐个提取目标的距离信息生成目标视差图的灰度直方图，进一步排除遮挡目标干扰，再选取目标灰度直方图主峰值对应的灰度值进行分析计算得到目标的深度信息从而测距。当进行双目测距时出现多个目标遮挡的情况，本发明方法可以更准确地检测出较复杂环境中目标的距离。

Description

一种基于双目视觉的多重遮挡目标的测距方法
技术领域
本发明属于双目测距技术领域，具体涉及一种基于双目视觉的多重遮挡目标的测距方法。
背景技术
人感知周围空间中物体的立体信息，这个过程主要依靠双眼实现对外界空间信息进行获取。双眼可以将立体空间中的物体转换为两幅二维图像，因为两只眼睛的角度和位置不同，所以获取的两幅图像中相应点的位置存在偏差，这种偏差经大脑分析后能够得到外界的三维空间信息。双目测距正是借鉴这种方式来获取外界的空间信息，即利用不同位置放置的两个性能参数完全相同的照相机，同时对同一外部场景进行拍摄，进而获取两幅二维图像，通过分析外部目标点在左右两幅图像上像素点位置的偏差来获取平面图像的深度信息，计算出目标点到照相机之间的距离。双目测距的设备简易，精度高和测量结果稳定性高的优点，使其在无人操作系统避障方面和导航等方面的应用有着广阔的前景。传统的双目测距方法虽然可以通过摄像机的优化和算法的改进使得距离测量和精度方面突破人眼的识别限制。但是由于真实的场景比较复杂，检测框中不仅包含检测到的目标的像素信息，还包含了周围环境和其他目标的像素信息，如多重目标遮挡的情况。基于这一特点，提出了一种基于灰度值排序的目标测距策略，可以更准确地检测出较复杂环境中目标的距离。
发明内容
本发明的目的在于提供一种基于双目视觉的多重遮挡目标的测距方法。当进行目标测距时，本发明的策略为先通过立体匹配算法得出图像的视差图，再结合目标检测结果按照由近到远的方式逐个提取目标的距离信息。本发明涉及到立体匹配技术，目标检测技术。当进行双目测距时出现多个目标遮挡的情况，即检测框中背景像素点数量超过目标像素点数量或目标像素点数量占检测框内像素点数量的比例达到一定阈值时，利用本发明方法可以更准确地检测出较复杂环境中目标的距离。
本发明的目的是这样实现的：
一种基于双目视觉的多重遮挡目标的测距方法，包括以下步骤：
步骤一：生成目标视差图；先通过SGBM立体匹配算法得出图像的视差图，通过SSD算法生成目标检测框，将生成的目标检测框和视差图进行对比分析得出每个目标的视差图，引用灰度直方图对目标视差图的深度信息进行直观表示，引入标志位矩阵，标志位矩阵和检测框大小相同，并且标志位阵中的元素与检测框中像素点的位置一一对应，将检测框中黑色空洞位置对应的标志位矩阵元素设置为0，其余位置被初始化为1；
步骤二：剔除背景干扰；在得到各个目标视差图的检测框后，对各检测框外部四周提取4个区域进行灰度值检测，对照4个检测区域内灰度直方图的主峰值，将检测框内相同的灰度值剔除，并将该灰度值对应的标志位矩阵元素设置为0，同时更新各检测框灰度直方图；
步骤三：生成目标视差图的灰度直方图：在步骤2的基础上结合目标检测结果按照由近到远的排序逐个提取目标的距离信息，生成目标视差图的灰度直方图；
步骤四：排除遮挡目标干扰；求出各检测框中剩余像素点的灰度平均值，并按灰度值由大到小即距离由近到远的方式对目标检测框排序：首先对第一个目标检测框中主峰值进行提取，由于该检测框中的目标距离最近，不会出现被遮挡情况，所以主峰值对应的灰度值即为目标的灰度值，提取目标的距离信息后，将该目标像素点在标志位矩阵的相应位置设置为0，更新剩余检测框的标志位矩阵和灰度直方图，按照此方法对剩余目标信息进行提取；
步骤五：测距；选取目标灰度直方图主峰值对应的灰度值进行分析计算，得到目标的深度信息，从而测距。
与现有技术相比，本发明的有益效果在于：
理想状况下检测框中的目标像素点数量所占比例最大，但是由于真实的场景比较复杂，检测框中不仅包含检测到的目标的像素信息，还包含了周围环境和其他目标的像素信息，即检测框中背景像素点数量超过目标像素点数量或目标像素点数量占检测框内像素点数量的比例达到一定阈值。基于这一特点，在进行目标测距时，本发明方法先通过SGBM立体匹配算法得出图像的视差图，将获得的视差图与SSD算法生成的目标检测框相结合，由于原始图像与视差图中各目标位置一一对应，因此可以得到目标检测框的视差图，剔除背景干扰后再结合目标检测结果按照由近到远的排序逐个提取目标的距离信息生成目标视差图的灰度直方图，进一步排除遮挡目标干扰，再选取目标灰度直方图主峰值对应的灰度值进行分析计算即可得到目标的深度信息从而测距。利用本发明方法可以更准确地检测出较复杂环境中目标的距离。
附图说明
图1是本发明提供的基于双目视觉的多重遮挡目标的测距方法流程图；
图2是本发明提供的检测框的灰度图和标志位矩阵；
图3(a)为目标检测结果与视差图。
图3(b)为各目标的视差图。
图3(c)为各目标灰度直方图。
具体实施方式
下面结合附图对本发明做进一步的说明。
理想状况下检测框中的目标像素点数量所占比例最大，但是由于真实的场景比较复杂，检测框中不仅包含检测到的目标的像素信息，还包含了周围环境和其他目标的像素信息，即检测框中背景像素点数量超过目标像素点数量或目标像素点数量占检测框内像素点数量的比例达到一定阈值。基于这一特点，在进行目标测距时，本发明方法先通过SGBM立体匹配算法得出图像的视差图，将获得的视差图与SSD算法生成的目标检测框相结合，由于原始图像与视差图中各目标位置一一对应，因此可以得到目标检测框的视差图，剔除背景干扰后再结合目标检测结果按照由近到远的排序逐个提取目标的距离信息生成目标视差图的灰度直方图，进一步排除遮挡目标干扰，再选取目标灰度直方图主峰值对应的灰度值进行分析计算即可得到目标的深度信息从而测距。利用本发明方法可以更准确地检测出较复杂环境中目标的距离。
本发明提供的方法步骤如图1所示，具体如下：
步骤一:生成目标视差图。已完成训练的SSD网络自动识别生成5个目标检测框，其中检测框1至5分别检测出(a)椅子、(b)人、(c)人、(d)人、(e)人。由立体匹配算法得出图像的视差图与目标检测框。将SSD网络输出的目标检测结果和视差图进行对比分析得出每个目标的视差图，即为图3(b)。引用灰度直方图可以对视差图的深度信息进行直观表示。故在此引入如下参数：
a.灰度直方图
灰度直方图中横坐标为灰度值，纵坐标代表灰度值为z的像素点占所有像素点的比例F(z)。
b.主峰值
在得出各个目标检测框的灰度直方图后，选择最大值Fmax(z)作为主峰值。如图3(c)1中目标f对应的F(z)。
c.标志位矩阵
在本发明方法中引入标志位矩阵，标志位矩阵和检测框大小相同，并且标志位阵中的元素与检测框中像素点的位置一一对应，将检测框中黑色空洞位置对应的标志位矩阵元素设置为0，其余位置被初始化为1。如果某一目标距离信息已被提取，则在标志位矩阵中将该目标像素点所在位置标记为0。如图2所示，该图为目标d的检测框，如果已提取目标b的距离信息，则标志位矩阵中b的像素点位置将被标记为0。在对目标d进行检测时，只对标记为1的像素点位置进行检测。
步骤二：剔除背景干扰。背景像素点数量过多会使训练结果的精确度降低，所以首先需要消除图像背景对检测结果的影响：在得到各个目标视差图的检测框后，对各检测框外部四周提取4个区域进行灰度值检测。为方便计算假设检测框的长和宽分别为h和w，则上下两个区域的长为h，宽为0.1w，左右两个区域的长设为0.1h，宽为w。对照4个检测区域内灰度直方图的主峰值，将检测框内相同的灰度值剔除，并将该灰度值对应的标志位矩阵元素设置为0，同时更新各检测框灰度直方图。
步骤三：生成目标视差图的灰度直方图。在步骤二的基础上结合目标检测结果按照由近到远的排序逐个提取目标的距离信息生成目标视差图的灰度直方图。图3(c)为图3(b)中视差图去除黑色空洞后的灰度直方图。
步骤四：排除遮挡目标干扰。求出各检测框中剩余像素点的灰度平均值，并按灰度值由大到小即距离由近到远的方式对目标检测框排序：首先对第一个目标检测框中主峰值进行提取，由于该检测框中的目标距离最近，不会出现被遮挡情况，所以主峰值对应的灰度值即为目标的灰度值。提取目标的距离信息后，将该目标像素点在标志位矩阵的相应位置设置为0，更新剩余检测框的标志位矩阵和灰度直方图。在对剩余目标信息进行提取时，重复上述步骤。
步骤五：测距。选取目标灰度直方图主峰值对应的灰度值进行分析计算即可得到目标的深度信息从而测距。
本发明公开了一种基于双目视觉的多重遮挡目标的测距方法。当进行双目测距时出现多个目标遮挡的情况，即检测框中背景像素点数量超过目标像素点数量或目标像素点数量占检测框内像素点数量的比例达到一定阈值时，利用该方法可以更准确地检测出较复杂环境中目标的距离。在进行目标测距时，该方法先通过SGBM立体匹配算法得出图像的视差图，将获得的视差图与SSD算法生成的目标检测框相结合，由于原始图像与视差图中各目标位置一一对应，因此可以得到目标检测框的视差图，剔除背景干扰后再结合目标检测结果按照由近到远的排序逐个提取目标的距离信息生成目标视差图的灰度直方图，进一步排除遮挡目标干扰，再选取目标灰度直方图主峰值对应的灰度值进行分析计算即可得到目标的深度信息从而测距。

Claims (1)

1.一种基于双目视觉的多重遮挡目标的测距方法，其特征在于，包括以下步骤：
步骤一：生成目标视差图；先通过SGBM立体匹配算法得出图像的视差图，通过SSD算法生成目标检测框，将生成的目标检测框和视差图进行对比分析得出每个目标的视差图，引用灰度直方图对目标视差图的深度信息进行直观表示，引入标志位矩阵，标志位矩阵和检测框大小相同，并且标志位阵中的元素与检测框中像素点的位置一一对应，将检测框中黑色空洞位置对应的标志位矩阵元素设置为0，其余位置被初始化为1；
步骤二：剔除背景干扰；在得到各个目标视差图的检测框后，对各检测框外部四周提取4个区域进行灰度值检测，对照4个检测区域内灰度直方图的主峰值，将检测框内相同的灰度值剔除，并将该灰度值对应的标志位矩阵元素设置为0，同时更新各检测框灰度直方图；
步骤三：生成目标视差图的灰度直方图：在步骤2的基础上结合目标检测结果按照由近到远的排序逐个提取目标的距离信息，生成目标视差图的灰度直方图；
步骤四：排除遮挡目标干扰；求出各检测框中剩余像素点的灰度平均值，并按灰度值由大到小即距离由近到远的方式对目标检测框排序：首先对第一个目标检测框中主峰值进行提取，由于该检测框中的目标距离最近，不会出现被遮挡情况，所以主峰值对应的灰度值即为目标的灰度值，提取目标的距离信息后，将该目标像素点在标志位矩阵的相应位置设置为0，更新剩余检测框的标志位矩阵和灰度直方图，按照此方法对剩余目标信息进行提取；
步骤五：测距；选取目标灰度直方图主峰值对应的灰度值进行分析计算，得到目标的深度信息，从而测距。
CN201910669295.4A 2019-07-24 2019-07-24 一种基于双目视觉的多重遮挡目标的测距方法 Active CN110473246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910669295.4A CN110473246B (zh) 2019-07-24 2019-07-24 一种基于双目视觉的多重遮挡目标的测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910669295.4A CN110473246B (zh) 2019-07-24 2019-07-24 一种基于双目视觉的多重遮挡目标的测距方法

Publications (2)

Publication Number Publication Date
CN110473246A true CN110473246A (zh) 2019-11-19
CN110473246B CN110473246B (zh) 2023-10-13

Family

ID=68509759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910669295.4A Active CN110473246B (zh) 2019-07-24 2019-07-24 一种基于双目视觉的多重遮挡目标的测距方法

Country Status (1)

Country Link
CN (1) CN110473246B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733653A (zh) * 2020-12-30 2021-04-30 智车优行科技（北京）有限公司 目标检测方法和装置、计算机可读存储介质、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639933A (zh) * 2015-01-07 2015-05-20 前海艾道隆科技（深圳）有限公司 一种立体视图的深度图实时获取方法及系统
CN107392965A (zh) * 2017-07-24 2017-11-24 王华锋 一种基于深度学习和双目立体视觉相结合的测距方法
CN109523528A (zh) * 2018-11-12 2019-03-26 西安交通大学 一种基于无人机双目视觉sgc算法的输电线路提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639933A (zh) * 2015-01-07 2015-05-20 前海艾道隆科技（深圳）有限公司 一种立体视图的深度图实时获取方法及系统
CN107392965A (zh) * 2017-07-24 2017-11-24 王华锋 一种基于深度学习和双目立体视觉相结合的测距方法
CN109523528A (zh) * 2018-11-12 2019-03-26 西安交通大学 一种基于无人机双目视觉sgc算法的输电线路提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张大禹;: "计算机视频图像运动目标检测技术及算法分析" *
王哲;常发亮;: "一种基于立体视觉的运动目标检测算法" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733653A (zh) * 2020-12-30 2021-04-30 智车优行科技（北京）有限公司 目标检测方法和装置、计算机可读存储介质、电子设备

Also Published As

Publication number Publication date
CN110473246B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN101443817B (zh) 用于确定场景的三维重建时的对应关系的方法和装置
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
CN102722891B (zh) 一种图像显著度检测的方法
CN105279372B (zh) 一种确定建筑物高度的方法和装置
CN107564022B (zh) 基于贝叶斯融合的视频显著性检测方法
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN102930334B (zh) 视频人体轮廓识别计数器
CN108346160A (zh) 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法
CN102663411B (zh) 一种目标人体识别方法
CN104574375A (zh) 结合彩色和深度信息的图像显著性检测方法
CN109118528A (zh) 基于区域分块的奇异值分解图像匹配算法
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN105740775A (zh) 一种三维人脸活体识别方法及其装置
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN102903098A (zh) 一种基于图像清晰度差异的深度估计方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN105096307A (zh) 在成对的立体图像中检测物体的方法
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN102737370A (zh) 检测图像前景的方法及设备
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN110110131B (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN110189294A (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant