CN107909009B - 一种基于路面学习的障碍物检测方法与装置 - Google Patents

一种基于路面学习的障碍物检测方法与装置 Download PDF

Info

Publication number
CN107909009B
CN107909009B CN201711031600.4A CN201711031600A CN107909009B CN 107909009 B CN107909009 B CN 107909009B CN 201711031600 A CN201711031600 A CN 201711031600A CN 107909009 B CN107909009 B CN 107909009B
Authority
CN
China
Prior art keywords
obstacle
detected
parallax
road surface
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711031600.4A
Other languages
English (en)
Other versions
CN107909009A (zh
Inventor
崔峰
孟然
姜安
朱海涛
李飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN201711031600.4A priority Critical patent/CN107909009B/zh
Publication of CN107909009A publication Critical patent/CN107909009A/zh
Application granted granted Critical
Publication of CN107909009B publication Critical patent/CN107909009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于路面学习的障碍物检测方法，包括：通过对双目视觉系统获取到的道路视差图像，进行路面信息学习，生成路面模型，根据路面模型与待检测区域视差信息的比较来判定疑似障碍物，基于形态特征进一步识别障碍物，同时基于机器学习方法去除误检测。本发明还公开了一种基于路面学习的障碍物检测装置，利用本发明,可以基于路面学习算法，在双目视觉得到的视差结果上进行障碍物信息判断及识别，有效解决道路障碍物快速、准确的检测问题。

Description

一种基于路面学习的障碍物检测方法与装置
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于路面学习的实现鲁棒的障碍物检测的方法和装置。
背景技术
随着传感器技术和机器视觉技术的发展，涌现出了越来越多的基于双目视差算法进行目标检测的技术，对视差图像进行分析得到障碍物信息，并应用到机器人领域、智能汽车领域。
但现有技术通过对双目视差进行运算检测，并不能对异形障碍物做到很好的识别，而且识别的结果鲁棒性较差，不稳定，易受到环境干扰而造成检测错误。
因此，现有技术中存在对于道路障碍物检测的检测结果鲁棒性较差及稳定性不够的
发明内容
本发明的主要目的在于公开一种基于路面学习的道路障碍物识别方法与装置，用于解决现有技术中存在的对异形障碍物不能做到很好的识别，而且识别的结果鲁棒性较差的问题。
为达上述目的，根据本发明的一个方面，公开一种基于路面学习的道路障碍物识别方法，并采用如下技术方案:
一种基于路面学习的道路障碍物识别方法包括：基于双目视觉系统获取的道路图像训练生成无障碍物路面模型；基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型对所述待检测视差图进行障碍物检测，得到检测结果。
进一步地，所述基于双目视觉系统获取的道路图像训练生成无障碍物路面模型包括：获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；对被筛选的视差图依次进行基于像素的路面视差信息计算；根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
进一步地，所述基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型包括：根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；再将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
进一步地，所述对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型包括：对视差值较大的待检测区域进行分类，确认为是近处的障碍物；对视差值较小的待检测区域进行分类，确认为是远处的障碍物；对所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
进一步地，所述提取误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
根据本发明的另外一个方面，提供一种基于路面学习的障碍物识别装置，并采用如下技术方案：
一种基于路面学习的道路障碍物识别装置，包括：第一训练生成模块，用于基于双目视觉系统获取的道路图像训练生成无障碍物路面模型；第二训练生成模块，用于基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；比较模块，用于将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物分类模型对所述待检测视差图进行障碍物检测，得到检测结果。
进一步地，所述第一训练生成模块包括：获取模块，用于获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；第一计算模块，用于对被筛选的视差图依次进行基于像素的路面视差信息计算；第二计算模块，用于根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；累计模块，用于对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
进一步地，所述第二训练生成模块包括：分割模块，用于根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；融合模块，用于将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；运算模块，用于对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
进一步地，所述运算模块包括：第一确认模块，用于对视差值较大的待检测区域进行分类，确认为是近处的障碍物；第二确认模块，用于对视差值较小的待检测区域进行分类，确认为是远处的障碍物；筛选模块，用于对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；机器学习模块，用于对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
进一步地，所述障碍物检测装置，去除模块，用于提取误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
本发明是在双目视觉视差图的基础上，提出的基于路面学习的障碍物检测算法，本发明的方案特别考虑到了实际场景中的各种场景，比如实际驾驶场景中，前面有大车等障碍物的情景，以及远处的车在视差图中与路面结合的情况，使得障碍物检测结果更加鲁棒。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的一种基于路面学习的障碍物识别方法的流程图；
图2为本发明实施例所述的道路图像左视图；
图3为本发明实施例所述的道路图像右视图；
图4为本发明实施例所述的视差信息对应的视差图对应的灰度图；
图5为本发明实施例所述的路面模型对应的灰度图；
图6为本发明实施例所述的待检测区域模板；
图7为本发明实施例所述的疑似障碍物视差信息图；
图8为本发明实施例所述的道路障碍物识别结果示意图；
图9为本发明实施例所述的一种基于路面学习的障碍物识别装置的结构图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
图1为本发明实施例所述的一种基于路面学习的障碍物识别方法的流程图。
参见图1所示，一种基于路面学习的障碍物识别方法包括：
S101：通过双目视觉系统获取道路图像训练生成无障碍路面模型；
S103：基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型。
S105：将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型，对所述待检测视差图进行障碍物检测，得到检测结果。
在步骤S101中，通过双目视觉系统获取道路图像训练生成无障碍路面模型。具体的说，可以通过双目相机获取道路图像的左视图和右视图，如图2至图3所示，将所述左视图和右视图的视差信息作为已知输入量，以图像像素矩阵形式给出，用不同颜色代表不同的视差值，将数字化的视差信息以图像形式可视化显示，得到视差信息相应的视差图，如图4所示。对视差图进行基于路面信息的图像分割。路面信息由深度图通过计算获取得到，如图5所示，截取路面信息中符合使用要求的一段，生成路面模型。在相同位置上，如果视差图的视差信息与路面视差信息不一致时，认为此处是可能障碍物区域。按此思路，将视差图与路面模型进行逐像素对比，将可能是障碍物的区域置为前景，其他区域置为背景，通过公式1进行二值化运算，此时得到的二值图像即为分割结果。
公式1：
Figure BDA0001449270760000051
对所述视差图进行近处无障碍物筛选，对被筛选的视差图依次进行基于像素的路面视差信息计算；根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。如图5所示。
在步骤S103中，所述基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型。
更具体的，根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板，对双目视差图分割结果的二值图像通过公式2进行形态学开运算，得到疑似障碍物的待检测区域模板，如图6所示。
公式2为：
Figure BDA0001449270760000061
再将所述待检测区域模板与所述视差图像通过公式3进行融合，则得到疑似障碍物视差图像的待检测区域，如图7所示。
公式2为：
Figure BDA0001449270760000062
对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
在步骤S105中，将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型，对所述待检测视差图进行障碍物检测，得到检测结果。
更具体的，通过统计不同视差信息的统计学关系，得到疑似障碍物区域，用基于机器学习生成的目标检测模型，对疑似障碍物进行目标识别并标记，最终障碍物判定结果，如图8所示。
在本实施例的上述技术方案中，在双目视觉视差图基于路面模型进行图像分割的基础上，进行基于机器学习的目标识别和目标分类，进而实现快速、准确得障碍物检测，使得障碍物检测结果更加鲁棒。
优先地，所述基于双目视觉系统获取的道路图像训练生成无障碍物路面模型包括：所述获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；对被筛选的视差图依次进行基于像素的路面视差信息计算；根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
本实施例给出步骤S103的具体实施方式，根据路面模型对视差图进行分割及形态学运算，得到待检测区域模板；通过对融合后的待检测区域进行人工筛选构成训练样本，对训练样本进行机器学习，生成更为精确的障碍物检测分类模型。
优先地，所述基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型包括：根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；再将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
优先地，所述对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型包括：对视差值较大的待检测区域进行分类，确认为是近处的障碍物；对视差值较小的待检测区域进行分类，确认为是远处的障碍物；对于障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
优先地，所述对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型包括：对视差值较大的待检测区域进行分类，确认为是近处的障碍物；对视差值较小的待检测区域进行分类，确认为是远处的障碍物；对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类。
本实施例给出步骤S105的具体实施方式，依据机器学习得到的障碍物分类模型，进行障碍物判定，并利用机器学习技术，去除误检，使得判定结果更具有可用性。
优先地，将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型对所述待检测视差图进行障碍物检测，得到检测结果。进一步地，利用误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
图9为本发明实施例所述的一种道路障碍物识别装置的结构图。
参见图9所示，一种基于路面学习的道路障碍物识别装置，包括：第一训练生成模块100，用于基于双目视觉系统获取的道路图像训练生成无障碍物路面模型；第二训练生成模块102，用于基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；比较模块104，用于将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物分类模型对所述待检测视差图进行障碍物检测，得到检测结果。
进一步地，所述第一训练生成模块100包括：获取模块(图中未示)，用于获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；第一计算模块(图中未示)，用于对被筛选的视差图依次进行基于像素的路面视差信息计算；第二计算模块(图中未示)，用于根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；累计模块(图中未示)，用于对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
可选地，所述第二训练生成模块102包括：分割模块(图中未示)，用于根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；融合模块(图中未示)，用于将所述待检测区域模板与所述视差图像进行融合，则得到疑似障碍物视差图像的待检测区域；运算模块(图中未示)，用于对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
可选地，所述运算模块包括：第一确认模块(图中未示)，用于对视差值较大的待检测区域进行分类，确认为是近处的障碍物；第二确认模块(图中未示)，用于对视差值较小的待检测区域进行分类，确认为是远处的障碍物；筛选模块(图中未示)，用于对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；机器学习模块(图中未示)，用于对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
可选地，所述障碍物检测装置还包括：去除模块可选地，用于提取误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
本发明是在双目视觉视差图的基础上，提出的基于路面学习的障碍物检测算法，本发明的方案特别考虑到了实际场景中的各种场景，比如实际驾驶场景中，前面有大车等障碍物的情景，以及远处的车在视差图中与路面结合的情况，使得障碍物检测结果更加鲁棒。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (8)

1.一种基于路面学习的障碍物检测方法，其特征在于，包括：
基于双目视觉系统获取的道路图像训练生成无障碍物路面模型；
基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；
将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型对所述待检测视差图进行障碍物检测，得到检测结果；
所述基于双目视觉系统获取的道路图像训练生成无障碍物路面模型，包括：
获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；
对被筛选的视差图依次进行基于像素的路面视差信息计算；
根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；
对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
2.根据权利要求1所述的障碍物检测方法，其特征在于，所述基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型，包括：
根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；
再将所述待检测区域模板与所述视差图进行融合，则得到疑似障碍物视差图像的待检测区域；
对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
3.根据权利要求2所述的障碍物检测方法，其特征在于，所述对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型包括：
对视差值较大的待检测区域进行分类，确认为是近处的障碍物；
对视差值较小的待检测区域进行分类，确认为是远处的障碍物；
对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；
对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
4.根据权利要求3所述的障碍物检测方法，其特征在于，还包括：
提取误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
5.一种基于路面学习的障碍物检测装置，其特征在于，包括：
第一训练生成模块，用于基于双目视觉系统获取的道路图像训练生成无障碍物路面模型；
第二训练生成模块，用于基于所述无障碍物路面模型及所述道路图像的视差图训练生成障碍物检测分类模型；
比较模块，用于将所述无障碍物路面模型作为标准，与待检测视差图进行比较，按照所述障碍物检测分类模型对所述待检测视差图进行障碍物检测，得到检测结果；
所述第一训练生成模块包括：
获取模块，用于获取所述道路图像的左视图与右视图的视差图，并对所述视差图进行近处无障碍物筛选；
第一计算模块，用于对被筛选的视差图依次进行基于像素的路面视差信息计算；
第二计算模块，用于根据所述路面视差信息计算出当前一帧图像所对应的路面视差的统计信息作为标识位信息数据，并记录所有标识位信息数据；
累计模块，用于对相同的所述标识位信息数据出现的次数进行累计，当相同的所述标识位信息数据出现的次数的累计结果达到预设阈值时，提取此时记录的所有标识位信息数据，对所记录的全部标识位信息数据进行路面模型的拟合计算，选取满足预设选取标准的数据段作为所述无障碍物路面模型。
6.根据权利要求5所述的障碍物检测装置，其特征在于，所述第二训练生成模块包括：
分割模块，用于根据所述无障碍物路面模型对所述视差图进行分割及形态学运算，得到待检测区域模板；
融合模块，用于将所述待检测区域模板与所述视差图进行融合，则得到疑似障碍物视差图像的待检测区域；
运算模块，用于对所述待检测区域通过人工筛选构成训练样本，根据区域信息和图像特征对所述训练样本进行机器学习，生成所述障碍物检测分类模型。
7.根据权利要求6所述的障碍物检测装置，其特征在于，所述运算模块包括：
第一确认模块，用于对视差值较大的待检测区域进行分类，确认为是近处的障碍物；
第二确认模块，用于对视差值较小的待检测区域进行分类，确认为是远处的障碍物；
筛选模块，用于对于所述近处的障碍物与所述远处的障碍物进行人工的筛选，标定正确的障碍物信息和错误的障碍物信息，构成所述训练样本；
机器学习模块，用于对所述训练样本，根据区域信息和图像特征，进行机器学习，得到所述障碍物检测分类模型。
8.根据权利要求7所述的障碍物检测装置，其特征在于，还包括：
去除模块，用于提取误检备选块的区域特征，通过收集训练学习的大规模样本，利用基于机器学习生成训练模型，对所述检测结果进行误检去除。
CN201711031600.4A 2017-10-27 2017-10-27 一种基于路面学习的障碍物检测方法与装置 Active CN107909009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711031600.4A CN107909009B (zh) 2017-10-27 2017-10-27 一种基于路面学习的障碍物检测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711031600.4A CN107909009B (zh) 2017-10-27 2017-10-27 一种基于路面学习的障碍物检测方法与装置

Publications (2)

Publication Number Publication Date
CN107909009A CN107909009A (zh) 2018-04-13
CN107909009B true CN107909009B (zh) 2021-09-17

Family

ID=61842017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711031600.4A Active CN107909009B (zh) 2017-10-27 2017-10-27 一种基于路面学习的障碍物检测方法与装置

Country Status (1)

Country Link
CN (1) CN107909009B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921119B (zh) * 2018-07-12 2021-10-26 电子科技大学 一种障碍物实时检测和分类方法
WO2020024234A1 (zh) * 2018-08-02 2020-02-06 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN111723724B (zh) * 2020-06-16 2024-04-02 东软睿驰汽车技术（沈阳）有限公司 一种路面障碍物识别方法和相关装置
CN111709938B (zh) * 2020-06-18 2023-07-07 武汉唯理科技有限公司 一种基于深度图的路面缺陷及抛洒物检测方法
CN112287910B (zh) * 2020-12-25 2021-10-08 智道网联科技(北京)有限公司 道路异常区域检测方法、装置、电子设备及存储介质
CN113658240B (zh) * 2021-07-15 2024-04-19 北京中科慧眼科技有限公司 一种主要障碍物检测方法、装置与自动驾驶系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701828A (zh) * 2009-11-23 2010-05-05 常州达奇信息科技有限公司 基于立体视觉和信息融合的盲人自主导航方法
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
CN103729840A (zh) * 2013-12-09 2014-04-16 广西科技大学 一种基于双目视觉的客车障碍物自动检测方法
CN104021388A (zh) * 2014-05-14 2014-09-03 西安理工大学 基于双目视觉的倒车障碍物自动检测及预警方法
KR101501531B1 (ko) * 2013-10-10 2015-03-11 재단법인대구경북과학기술원 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN103955920B (zh) * 2014-04-14 2017-04-12 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN106651836A (zh) * 2016-11-04 2017-05-10 中国科学院上海微系统与信息技术研究所 一种基于双目视觉的地平面检测方法
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10773083B2 (en) * 2014-09-15 2020-09-15 Second Sight Medical Products, Inc. Methods and systems for detecting obstacles for a visual prosthesis

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701828A (zh) * 2009-11-23 2010-05-05 常州达奇信息科技有限公司 基于立体视觉和信息融合的盲人自主导航方法
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置
KR101501531B1 (ko) * 2013-10-10 2015-03-11 재단법인대구경북과학기술원 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
CN103729840A (zh) * 2013-12-09 2014-04-16 广西科技大学 一种基于双目视觉的客车障碍物自动检测方法
CN103955920B (zh) * 2014-04-14 2017-04-12 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN104021388A (zh) * 2014-05-14 2014-09-03 西安理工大学 基于双目视觉的倒车障碍物自动检测及预警方法
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN106651836A (zh) * 2016-11-04 2017-05-10 中国科学院上海微系统与信息技术研究所 一种基于双目视觉的地平面检测方法
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Stereo vision based negative obstacle detection;Hasith Karunasekera等;《2017 13th IEEE International Conference on Control & Automation (ICCA)》;20170808;834-838 *
Weighted V-disparity approach for obstacles localization in highway environments;Nizar Fakhfakh等;《2013 IEEE Intelligent Vehicles Symposium (IV)》;20131015;1271-1278 *
基于加权Hough变换和时域相关性分析的双目视频障碍物检测技术研究;黄俊;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20140815;第2014年卷(第8期);摘要、第一章 *
基于立体视觉的公交客流统计方法与实现;刘欣;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20140215;第2014年卷(第2期);摘要、第3章 *

Also Published As

Publication number Publication date
CN107909009A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN107909009B (zh) 一种基于路面学习的障碍物检测方法与装置
CN107909010B (zh) 一种道路障碍物检测方法与装置
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
EP2811423B1 (en) Method and apparatus for detecting target
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
EP2993621B1 (en) Method and apparatus for detecting shielding against object
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN109117702B (zh) 目标车辆的检测与跟踪计数方法及系统
KR20150112656A (ko) 카메라 캘리브레이션 방법 및 그 장치
JP5931662B2 (ja) 道路状況監視装置、及び道路状況監視方法
KR101727487B1 (ko) 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
Ryu et al. Feature-based pothole detection in two-dimensional images
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
CN108629226B (zh) 一种基于图像分层技术的车辆检测方法及系统
CN112733864A (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN109753858A (zh) 一种基于双目视觉的道路障碍物检测方法与装置
Jo et al. Pothole detection based on the features of intensity and motion
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant