CN108062515B - 基于双目视觉的障碍物检测方法、系统及存储介质 - Google Patents

基于双目视觉的障碍物检测方法、系统及存储介质 Download PDF

Info

Publication number
CN108062515B
CN108062515B CN201711254415.1A CN201711254415A CN108062515B CN 108062515 B CN108062515 B CN 108062515B CN 201711254415 A CN201711254415 A CN 201711254415A CN 108062515 B CN108062515 B CN 108062515B
Authority
CN
China
Prior art keywords
parallax
road surface
image
detected
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711254415.1A
Other languages
English (en)
Other versions
CN108062515A (zh
Inventor
孙钊
崔峰
孟然
姜安
朱海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN201711254415.1A priority Critical patent/CN108062515B/zh
Publication of CN108062515A publication Critical patent/CN108062515A/zh
Application granted granted Critical
Publication of CN108062515B publication Critical patent/CN108062515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人工智能技术领域，公开一种基于双目视觉的障碍物检测方法、系统及存储介质，以进行智能控制。本发明方法包括：获取通过双目视觉技术所采集的图像，计算各所述图像的视差信息，并将矩阵形式的视差信息以视差图像可视化显示；从各所述视差图像中筛选无近处障碍物的视差图像进行路面学习，得到路面模型；基于所述路面模型对当前检测的视差图像进行图像分割，计算分割图像的统计特征，并将所述统计特征的结果与所对应的预设阈值进行对比，得到是否存在近处大障碍物的判断结果。

Description

基于双目视觉的障碍物检测方法、系统及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于双目视觉的障碍物检测方法、系统及存储介质。
背景技术
随着传感器技术和双目视觉技术的发展，涌现出了越来越多的视差算法，对视差图像进行分析得到障碍物信息应用于机器人领域、智能汽车领域。例如：本发明可为了应对户外复杂场景的近处大障碍物检测，得到鲁棒的检测结果用于辅助智能驾驶。
发明内容
本发明的目的在于公开一种基于双目视觉的障碍物检测方法、系统及存储介质，以进行智能控制。
为达上述目的，本发明公开一种基于双目视觉的障碍物检测方法，包括：
步骤S1、获取通过双目视觉技术所采集的图像，计算各所述图像的视差信息，并将矩阵形式的视差信息以视差图像可视化显示；
步骤S2、从各所述视差图像中筛选无近处障碍物的视差图像进行路面学习，得到路面模型；
步骤S3、基于所述路面模型对当前检测的视差图像进行图像分割，计算分割图像的统计特征，并将所述统计特征的结果与所对应的预设阈值进行对比，得到是否存在近处大障碍物的判断结果。
可选地，上述步骤S2具体包括：
步骤2.1、对所筛选出无近处障碍物的视差图像进行基于行方向的路面视差信息统计，拟合出当前一帧图像所对应的路面视差数据，并计算拟合得到的路面视差数据与真实视差图像中的路面视差数据之间的误差；
步骤2.2、对所筛选出无近处障碍物的下一帧视差图像也提取路面视差的统计信息，并与上一帧路面视差的统计信息进行累积，用累积后的新数据进行路面数据拟合，得到新的路面视差数据，同时也得到新的误差；判断当前所得新的误差是否满足停止迭代条件，如果是，结束路面学习并以该结束时得到的路面数据定义为路面模型；如果不满足，则选取新的无近处障碍物的视差图像继续进行迭代直至满足停止迭代条件。
可选地，上述步骤S3具体包括：
步骤3.1、将路面模型作为标准，与当前检测的视差图像进行比较，若在相同位置上视差值不一致，则被认为是疑似障碍物的地方，置为前景；否则置为背景，以此得到二值化的待检测区域模板；
步骤3.2、将待检测区域模板与当前检测的原视差图像进行基于像素位置的图像融合，待检测区域模板内的视差值保留，背景视差置为零，得到当前检测视差图像的待检测区域；
步骤3.3、在预设置的行范围阈值内，对待检测区域求取像素平均视差，根据预设置的像素平均视差阈值，判断是否存在近处的大障碍物；若当前检测的像素平均视差值大于预设置的像素平均视差阈值，则认为存在近处大障碍物；否则，认为不存在。
为达上述目的，本发明公开一种基于双目视觉的障碍物检测系统，设置有存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法中的步骤。
同理，本发明还公开一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述方法中的步骤。
采用本发明的技术方案，原理严谨，计算快捷，使得基于双目视觉的近处大障碍物检测结果更加鲁棒；进而实现快速、准确的检测，进而实现智能控制。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明双目相机所采集图像的左视图；
图2为本发明双目相机所采集图像的右视图；
图3为对应图1和图2的视差图像；
图4为基于路面学习所得路面模型的示意图；
图5为待检测区域模板示意图；
图6为对应图5的融合图像示意图；
图7为本发明基于双目视觉的障碍物检测方法流程图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
实施例1
本实施例公开一种基于双目视觉的障碍物检测方法，参照图1至图7，包括：
步骤S1、获取通过双目视觉技术所采集的图像，计算各所述图像的视差信息，并将矩阵形式的视差信息以视差图像可视化显示。
该步骤即：生成视差图像。由双目视觉系统获取得到的图像，计算得到视差信息，视差信息作为已知输入量，以图像像素矩阵形式给出，用不同颜色代表不同的视差值，将数字化的视差信息以图像形式可视化显示。
参阅附图1至图3，基于图1所示左视图和图2所示的右视图所得到的视差图像如图3。
步骤S2、从各所述视差图像中筛选无近处障碍物的视差图像进行路面学习，得到路面模型。
可选地，上述步骤S2具体包括：
步骤2.1、对所筛选出无近处障碍物的视差图像进行基于行方向的路面视差信息统计，拟合出当前一帧图像所对应的路面视差数据，并计算拟合得到的路面视差数据与真实视差图像中的路面视差数据之间的误差。
步骤2.2、对所筛选出无近处障碍物的下一帧视差图像也提取路面视差的统计信息，并与上一帧路面视差的统计信息进行累积，用累积后的新数据进行路面数据拟合，得到新的路面视差数据，同时也得到新的误差；判断当前所得新的误差是否满足停止迭代条件，如果是，结束路面学习并以该结束时得到的路面数据定义为路面模型；如果不满足，则选取新的无近处障碍物的视差图像继续进行迭代直至满足停止迭代条件。
在如图4所示路面模型中，纵坐标表示图像的行，横坐标表示路面视差值，由图可知，无穷远处的路面视差值为0，最近处的路面视差之为28。
步骤S3、基于所述路面模型对当前检测的视差图像进行图像分割，计算分割图像的统计特征，并将所述统计特征的结果与所对应的预设阈值进行对比，得到是否存在近处大障碍物的判断结果。
可选地，上述步骤S3具体包括：
步骤3.1、将路面模型作为标准，与当前检测的视差图像进行比较，若在相同位置上视差值不一致，则被认为是疑似障碍物的地方，置为前景；否则置为背景，以此得到二值化的待检测区域模板。图5所示即为一种待检测区域模板示意图。
步骤3.2、将待检测区域模板与当前检测的原视差图像进行基于像素位置的图像融合，待检测区域模板内的视差值保留，背景视差置为零，得到当前检测视差图像的待检测区域。其中，对应图5的融合图像如图6所示。
步骤3.3、在预设置的行范围阈值内，对待检测区域求取像素平均视差，根据预设置的像素平均视差阈值，判断是否存在近处的大障碍物；若当前检测的像素平均视差值大于预设置的像素平均视差阈值，则认为存在近处大障碍物；否则，认为不存在。
其中，在该步骤中，上述预设置的像素平均视差阈值可由实验和统计经验得出。对应上述步骤S3的原理为：在待检测区域模板中，可认为疑似障碍物的地方才有值，其他地方都是0；所以如果均值越大，即是说障碍物占的地方就多。
例如：对应图6的待检测区域，左侧纵坐标即为行数，假设“行范围阈值”取150至300，则很明显此时的视差均值为0；假设预设置的像素平均视差阈值取12，很明显，图6的视差均值小于预设置的像素平均视差阈值，因此判断近处没有大的障碍物。这与实际情况也是一致的。
综上，采用本实施例的技术方案，原理严谨，计算快捷，基于双目视觉的近处大障碍物检测结果更加鲁棒；进而实现快速、准确的检测，进而实现智能控制。
实施例2
与上述方法实施例相对应的，本实施例公开一种基于基于双目视觉的障碍物检测系统，设置有存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法实施例中的步骤。
同理，本发明还公开一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述方法实施例中的步骤。
综上，本发明实施例公开的基于双目视觉的障碍物检测方法、系统及存储介质，原理严谨，计算快捷，使得基于双目视觉的近处大障碍物检测结果更加鲁棒；进而实现快速、准确的检测，进而实现智能控制。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (4)

1.一种基于双目视觉的障碍物检测方法，其特征在于，包括：
步骤S1、获取通过双目视觉技术所采集的图像，计算各所述图像的视差信息，并将矩阵形式的视差信息以视差图像可视化显示；
步骤S2、从各所述视差图像中筛选无近处障碍物的视差图像进行路面学习，得到路面模型；
步骤S3、基于所述路面模型对当前检测的视差图像进行图像分割，计算分割图像的统计特征，并将所述统计特征的结果与所对应的预设阈值进行对比，得到是否存在近处大障碍物的判断结果；
所述步骤S2具体包括：
步骤2.1、对所筛选出无近处障碍物的视差图像进行基于行方向的路面视差信息统计，拟合出当前一帧图像所对应的路面视差数据，并计算拟合得到的路面视差数据与真实视差图像中的路面视差数据之间的误差；
步骤2.2、对所筛选出无近处障碍物的下一帧视差图像也提取路面视差的统计信息，并与上一帧路面视差的统计信息进行累积，用累积后的新数据进行路面数据拟合，得到新的路面视差数据，同时也得到新的误差；判断当前所得新的误差是否满足停止迭代条件，如果是，结束路面学习并以该结束时得到的路面数据定义为路面模型；如果不满足，则选取新的无近处障碍物的视差图像继续进行迭代直至满足停止迭代条件。
2.根据权利要求1所述的基于双目视觉的障碍物检测方法，其特征在于，所述步骤S3具体包括：
步骤3.1、将路面模型作为标准，与当前检测的视差图像进行比较，若在相同位置上视差值不一致，则被认为是疑似障碍物的地方，置为前景；否则置为背景，以此得到二值化的待检测区域模板；
步骤3.2、将待检测区域模板与当前检测的原视差图像进行基于像素位置的图像融合，待检测区域模板内的视差值保留，背景视差置为零，得到当前检测视差图像的待检测区域；
步骤3.3、在预设置的行范围阈值内，对待检测区域求取像素平均视差，根据预设置的像素平均视差阈值，判断是否存在近处的大障碍物；若当前检测的像素平均视差值大于预设置的像素平均视差阈值，则认为存在近处大障碍物；否则，认为不存在。
3.一种基于双目视觉的障碍物检测系统，设置有存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至2任一所述方法中的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述权利要求1至2任一所述方法中的步骤。
CN201711254415.1A 2017-12-04 2017-12-04 基于双目视觉的障碍物检测方法、系统及存储介质 Active CN108062515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711254415.1A CN108062515B (zh) 2017-12-04 2017-12-04 基于双目视觉的障碍物检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711254415.1A CN108062515B (zh) 2017-12-04 2017-12-04 基于双目视觉的障碍物检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN108062515A CN108062515A (zh) 2018-05-22
CN108062515B true CN108062515B (zh) 2022-01-18

Family

ID=62135750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711254415.1A Active CN108062515B (zh) 2017-12-04 2017-12-04 基于双目视觉的障碍物检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN108062515B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598505B (zh) * 2018-06-12 2023-05-02 海信集团有限公司 障碍物悬空状态判断方法、装置及终端
CN111899170A (zh) * 2020-07-08 2020-11-06 北京三快在线科技有限公司 障碍物检测方法、装置、无人机和存储介质
CN113792707A (zh) * 2021-11-10 2021-12-14 北京中科慧眼科技有限公司 基于双目立体相机的地形环境检测方法、系统和智能终端

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005981B (zh) * 2004-08-06 2010-06-16 本田技研工业株式会社 车辆的控制装置
DE102012204541B4 (de) * 2012-03-21 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten
CN103854008B (zh) * 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
CN104166834B (zh) * 2013-05-20 2017-10-10 株式会社理光 路面检测方法和装置
CN103702098B (zh) * 2013-12-09 2015-12-30 上海交通大学 一种时空域联合约束的三视点立体视频深度提取方法
KR101551026B1 (ko) * 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
CN105528785B (zh) * 2015-12-03 2018-06-15 河北工业大学 一种双目视觉图像立体匹配方法
CN205375606U (zh) * 2016-01-13 2016-07-06 北京中科慧眼科技有限公司 基于视频传感器的行车安全辅助终端及系统
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN105931231A (zh) * 2016-04-15 2016-09-07 浙江大学 一种基于全连接随机场联合能量最小化的立体匹配方法
CN106651836B (zh) * 2016-11-04 2019-10-22 中国科学院上海微系统与信息技术研究所 一种基于双目视觉的地平面检测方法

Also Published As

Publication number Publication date
CN108062515A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
EP3466764B1 (en) Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
CN108475433B (zh) 用于大规模确定rgbd相机姿势的方法和系统
US8902053B2 (en) Method and system for lane departure warning
US9449236B2 (en) Method for object size calibration to aid vehicle detection for video-based on-street parking technology
CN108062515B (zh) 基于双目视觉的障碍物检测方法、系统及存储介质
CN112560698B (zh) 图像处理方法、装置、设备和介质
EP2993621B1 (en) Method and apparatus for detecting shielding against object
JP6616521B2 (ja) 画像処理装置
CN108257165B (zh) 图像立体匹配方法、双目视觉设备
JP4877801B2 (ja) 車両追跡方法及び装置
CN107909009B (zh) 一种基于路面学习的障碍物检测方法与装置
CN107748882B (zh) 一种车道线检测方法及装置
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN112597846B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
WO2013105108A1 (en) A system and method for enhancing human counting by fusing results of human detection modalities
CN105740751A (zh) 一种目标检测与识别的方法和系统
KR20160142137A (ko) 움직이는 객체 검출 장치 및 방법
CN110458023B (zh) 一种道路线检测模型的训练方法、道路线检测方法及装置
CN108171682B (zh) 基于远景的双目同步曝光率检测方法、系统及存储介质
KR101501531B1 (ko) 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
JP6668740B2 (ja) 道路面推定装置
JP5035139B2 (ja) 眼画像処理装置
WO2022108844A1 (en) Multi-view visual data damage detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant