CN111723724A - 一种路面障碍物识别方法和相关装置 - Google Patents
一种路面障碍物识别方法和相关装置 Download PDFInfo
- Publication number
- CN111723724A CN111723724A CN202010547777.5A CN202010547777A CN111723724A CN 111723724 A CN111723724 A CN 111723724A CN 202010547777 A CN202010547777 A CN 202010547777A CN 111723724 A CN111723724 A CN 111723724A
- Authority
- CN
- China
- Prior art keywords
- road surface
- detected
- image
- obstacle
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims abstract description 75
- 238000003709 image segmentation Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 238000004347 surface barrier Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本申请实施例提供了一种路面障碍物检测方法和相关装置，针对目标汽车所在待检测路面对应的目标图像进行识别，确定待检测路面上障碍物所在的预测区域。由于有高度的障碍物可以被雷达检测到，因此，利用雷达对待检测路面进行检测后，若检测到待检测路面不存在障碍物，表明待检测路面可能存在低高度或无高度障碍物。针对预测区域，通过对预置图像与目标图像进行匹配，得到匹配参数，该匹配参数表示了预置图像与目标图像的相似程度。由于待检测路面的预置图像标识了待检测路面预测区域内历史有无障碍物，因此，根据匹配结果，可以确定出待检测路面障碍物的检测结果，提高了对于低高度或无高度障碍物的检测精度，提高了行车安全。
Description
技术领域
本申请涉及汽车技术领域，尤其涉及一种路面障碍物识别方法和相关装置。
背景技术
汽车的快速发展与广泛应用，改善了个人出行方式，促进了汽车产业的升级。在汽车技术领域，为实现无人驾驶功能，首先要能够精确地检测出路面障碍物。
对于汽车行驶而言，路面上的障碍物不仅仅是突出物体，也可以是凹坑等无高度或低高度的区域，这些路面区域也是车辆无法行驶的区域。对于汽车而言，也属于障碍物的范畴。由于雷达通常是用于检测有高度的障碍物，对于低高度或无高度的障碍物无法精确识别，因此，如何提高对于路面障碍物检测精度是一个亟待解决的问题。
发明内容
为了解决上述技术问题，本申请提供了一种路面障碍物检测方法和相关装置，提高了对于路面障碍物的检测精度。
一方面，本申请实施例提供了一种路面障碍物检测方法，所述方法包括：
获取目标汽车所在待检测路面对应的目标图像；
根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
利用所述目标汽车上的雷达对所述待检测路面进行检测，若检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预置区域的匹配参数；其中，所述预置图像是预先对所述预测区域拍摄得到的图像；
根据所述匹配参数，确定所述待检测路面障碍物的检测结果。
在一种可能的实现方式中，若所述预置图像标识所述预测区域内历史无障碍物，所述根据匹配参数，确定所述待检测路面障碍物的检测结果包括：
若所述匹配参数满足阈值条件，确定所述检测结果为所述预测区域内不存在障碍物；
若所述匹配参数不满足所述阈值条件，确定所述检测结果为所述预测区域内存在障碍物。
在一种可能的实现方式中，所述将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数包括：
通过对预置图像和所述目标图像进行特征点提取，得到所述预置图像对应的第一特征点集合以及所述目标图像对应的第二特征点集合；
通过将所述第一特征点集合与所述第二特征点集合进行匹配，得到对应所述预测区域的匹配参数。
在一种可能的实现方式中，所述预置图像是利用所述目标汽车的定位信息确定的。
在一种可能的实现方式中，所述根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域包括：
根据所述目标图像，利用图像分割模型确定所述待检测路面上障碍物所在的预测区域；
其中，所述图像分割模型是利用训练样本对初始网络模型进行训练得到的；所述训练样本是带有障碍物标签的路面图像。
在一种可能的实现方式中，若所述检测结果为所述预测区域内不存在障碍物，所述方法还包括：
将所述目标图像的标签标识为无障碍物；
利用所述目标图像和所述目标图像的标签对所述图像分割模型进行训练。
在一种可能的实现方式中，所述方法还包括：
所述目标汽车根据所述检测结果确定驾驶任务。
另一方面，本申请实施例提供了一种路面障碍物检测装置，所述装置包括获取单元、确定单元和匹配单元：
所述获取单元，用于获取目标汽车所在待检测路面对应的目标图像；
所述确定单元，用于根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
所述匹配单元，用于利用所述目标汽车上的雷达对所述待检测路面进行检测，若检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数；其中，所述预置图像是预先对所述预测区域拍摄得到的图像；
所述确定单元，还用于根据所述匹配参数，确定所述待检测路面障碍物的检测结果。
在一种可能的实现方式中，若所述预置图像标识所述预测区域内历史无障碍物，所述确定单元，用于：
若所述匹配参数满足阈值条件，确定所述检测结果为所述预测区域内不存在障碍物；
若所述匹配参数不满足所述阈值条件，确定所述检测结果为所述预测区域内存在障碍物。
在一种可能的实现方式中，所述确定单元，用于：
通过对预置图像和所述目标图像进行特征点提取，得到所述预置图像对应的第一特征点集合以及所述目标图像对应的第二特征点集合；
通过将所述第一特征点集合与所述第二特征点集合进行匹配，得到对应所述预测区域匹配参数。
在一种可能的实现方式中，所述预置图像是利用所述目标汽车的定位信息确定的。
在一种可能的实现方式中，所述确定单元，用于：
根据所述目标图像，利用图像分割模型确定所述待检测路面上障碍物所在的预测区域；
其中，所述图像分割模型是利用训练样本对初始网络模型进行训练得到的；所述训练样本是带有障碍物标签的路面图像。
在一种可能的实现方式中，若所述检测结果为所述预测区域内不存在障碍物，所述装置还包括训练单元：
所述训练单元，用于将所述目标图像的标签标识为无障碍物；
利用所述目标图像和所述目标图像的标签对所述图像分割模型进行训练。
在一种可能的实现方式中，所述确定单元，还用于：
所述目标汽车根据所述检测结果确定驾驶任务。
另一方面，本申请实施例提供了一种汽车，所述汽车包括拍摄设备、雷达和控制器：
所述拍摄设备，用于获取目标汽车所在待检测路面对应的目标图像；
所述控制器，用于根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
所述雷达，用于对所述待检测路面图像进行检测，确定所述预测区域是否存在障碍物；
所述控制器，还用于若所述雷达检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数；根据所述匹配参数，确定针对所述待检测路面障碍物的检测结果；其中，所述预置图像是预先对所述预测区域拍摄得到的图像。
另一方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方面所述的路面障碍物检测方法。
上述实施例提供的路面障碍物检测方法，针对目标汽车所在待检测路面对应的目标图像进行识别，确定待检测路面上障碍物所在的预测区域。由于有高度的障碍物可以被雷达检测到，因此，利用雷达对待检测路面进行检测后，若检测到待检测路面不存在障碍物，表明待检测路面可能存在低高度或无高度障碍物。针对预测区域，通过对预置图像与目标图像进行匹配，得到匹配参数，该匹配参数表示了预置图像与目标图像的相似程度。其中，预置图像是预先对预测区域拍摄得到的图像。由于待检测路面的预置图像标识了待检测路面预测区域内历史有无障碍物，因此，根据匹配结果，可以确定出待检测路面障碍物的检测结果，提高了对于低高度或无高度障碍物的检测精度，提高了行车安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种路面障碍物检测方法的应用场景示意图；
图2为本申请实施例提供的一种路面障碍物检测方法的流程示意图；
图3为本申请实施例提供的一种路面障碍物检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的一种路面障碍物检测方法的应用场景示意图。在图1所示的应用场景中，包括汽车101、摄像头102、雷达103和智能芯片104。
其中，摄像头102，用于针对待检测路面拍摄图像。雷达103用于针对汽车101周围区域进行障碍物检测。智能芯片104用于执行本申请实施例提供的路面障碍物检测方法。
在应用过程中，汽车101在待检测路面上行驶时，摄像头102对周围区域进行拍摄，得到目标图像，并将该目标图像发送至智能芯片104。其中，智能芯片104在汽车101上，用于指导汽车101执行驾驶任务。同时，雷达103对汽车101周围区域进行检测，确定是否存在障碍物。
智能芯片104获取到目标图像后，对目标图像进行处理，确定待检测路面上障碍物所在的预测区域。若雷达103确定预测区域不存在障碍物，表明该预测区域内可能存在低高度或无高度障碍物。
进一步地，智能芯片104通过定位汽车101的位置，获取预测区域对应的预置图像。针对该预测区域，将预置图像与目标图像进行匹配，得到匹配参数。其中，预置图像标识了待检测路面的预测区域历史有无障碍物；匹配参数标识了预置图像与目标图像的相似程度。
若匹配参数值较大，表明预置图像与目标图像相似程度较高，待检测路面障碍物的检测结果与预置图像所标识的障碍物情况一致。当预置图像标识待检测路面历史有障碍物时，说明预测区域内存在障碍物。当预置图像标识待检测路面历史无障碍物时，说明根据目标图像确定出障碍物所在的预测区域错误。
若匹配参数值较小，表明预置图像与目标图像相似程度较低，待检测障碍物的检测结果与预置图像所标识的障碍物情况不一致。当预测图像标识待检测路面历史有障碍物时，说明预测区域内存在障碍物，且预置图像标识的障碍物发生了变化。当预测图像标识待检测路面历史无障碍物时，说明预测区域内存在障碍物，且障碍物是在拍摄预置图像之后产生的。
由于预测区域的预置图像标识了预测区域历史有无障碍物，因此，根据匹配结果，可以确定出待检测路面障碍物的检测结果，提高了对于低高度或无高度障碍物的检测精度，提高了行车安全。
参见图2，图2为本申请实施例提供的一种路面障碍物检测方法的流程示意图。如图2所示，该路面障碍物检测方法包括以下步骤：
S201：获取目标汽车所在待检测路面对应的目标图像。
汽车在行驶过程中，可以利用预配置的拍摄设备对周围区域进行拍摄，对汽车周围区域的障碍物进行检测。例如，汽车在向前行进，则拍摄设备可以针对汽车前方的待检测路面进行拍摄，得到目标图像，用于检测前方障碍物。在应用过程中，可以根据汽车实际行驶场景获取待检测路面对应的目标图像。
S202：根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域。
在实际应用中，用于控制汽车行驶的智能芯片接收到来自拍摄设备发送的目标图像后，对目标图像进行处理，从而确定出待检测路面上障碍物所在的预测区域。
在一种可能的实现方式中，可以利用图像分割模型对目标图像进行处理，确定待检测路面上障碍物所在的预测区域。其中，图像分割模型是利用训练样本对初始网络模型进行训练得到的，且训练样本是带有障碍物标签的路面图像。标签用于标识路面图像对应路面有无障碍物。
图像分割模型可以是由不同神经网络组成的初始网络模型经过训练得到的。例如，全卷积网络(Fully Convolutional Network,FCN)、金字塔场景解析网络(PyramidScene Parsing Network,PSP Net)等。在应用过程中，可以根据实际图像处理需求设定模型结构，在此不作任何限定。
可以理解的是，上述利用图像分割模型对目标图像进行处理是基于人工智能(Artificial Intelligence,AI)实现的。人工智能是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在上述利用图像分割模型处理目标图像过程中，主要涉及的人工智能软件技术包括上述计算机视觉技术和机器学习/深度学习等方向。其中，计算机视觉技术涉及图像处理、图像语义理解等。机器学习涉及深度学习，包括各类人工神经网络。
由于经过训练后的图像分割模型能够对目标图像进行处理，确定出针对待检测路面障碍物所在的预测区域，基于此，结合雷达探测技术以及预置图像比对方法对待检测路面障碍物进行检测，提高了对于路面障碍物检测的精度。
S203：利用所述目标汽车上的雷达对所述待检测路面进行检测，若检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数。
可以理解的是，汽车上通常预先配置有雷达，例如，激光雷达、毫米波雷达等，可以针对汽车所在环境进行检测，确定汽车周围待检测路面是否存在障碍物。
利用雷达对待检测路面进行检测，若检测到预测区域不存在障碍物，表明待检测路面的预测区域内可能存在低高度或无高度障碍物，雷达无法精确地探测出来。基于此，将预测区域对应的预置图像与目标图像进行匹配，得到匹配参数。
其中，预置图像是针对待检测路面的预测区域预先拍摄的图像，标识了预测区域历史有无障碍物。匹配参数的大小标识了预置图像与目标图像的相似程度。若匹配参数较大，表明预置图像与目标图像较为相似。若匹配参数较小，表明预置图像与目标图像较为不相似。
针对获取上述预置图像的过程，在一种可能的实现方式中，可以利用汽车的定位信息确定。
在实际应用中，可以通过定位技术获取汽车的定位信息，然后，可以根据定位信息在预置图像数据库中查找与该定位信息相匹配的路面图像。其中，定位技术包括但不限于：差分卫星定位技术、高精惯导技术、同步定位与地图构建(Simultaneous localizationand mapping,SLAM)技术等，可以根据实际应用场景和应用需求设定，在此不作任何限定。
由于预置图像标识了预测区域历史有无障碍物，因此，当利用图像分割模型对目标图像的检测结果与雷达对于待检测路面的检测结果不一致时，可以利用预置图像与目标图像进行匹配的方式，对待检测路面的预测区域内有无障碍物的情况进行二次验证，以提高对于路面障碍物的检测精度。
可以理解的是，由于拍摄角度、拍摄设备等不同的因素，针对同一待检测路面预测区域的预置图像和目标图像可能存在一定的拍摄误差。为了降低由于拍摄导致的图像误差，在一种可能的实现方式中，可以分别对预置图像进行特征提取得到第一特征点集合，以及对目标图像进行特征提取得到第二特征点集合，然后，通过匹配第一特征点集合和第二特征点集合，确定预置图像和目标图像的匹配参数。
其中，第一特征点集合标识了预置图像的图像特征，第二特征点集合标识了目标图像的图像特征。特征点可以根据实际需求进行提取，在此不作任何限定。
由于通过匹配第一特征点集合和第二特征点集合，从图像像素特征的角度衡量了预置图像和目标图像之间的相似程度，因此，利用特征点匹配得到的匹配参数以及预置图像标识待检测路面历史有无障碍物情况，可以对待检测路面预测区域内是否存在障碍物进行二次检测，提高了对于路面障碍物的检测精度。
S204：根据所述匹配参数，确定针对所述待检测路面障碍物的检测结果。
在一种可能的实现方式中，若预置图像标识了待检测路面预测区域内历史无障碍物，可以根据匹配参数，确定出针对待检测路面障碍物的检测结果。
在应用过程中，可以将匹配参数与预设的阈值条件进行比较，当匹配参数满足阈值条件时，表明预置图像与目标图像较为相似，由于预置图像标识了待检测路面预测区域内历史无障碍物，因此，可以确定出预测区域内不存在障碍物，预测区域为图像分割模型对于待检测路面目标图像的一次错误检测。
为了提高图像分割模型的检测精度，在一种可能的实现方式中，可以将目标图像的标签标识为无障碍物，然后，将该带有标签的目标图像作为图像分割模型的训练样本，对图像分割模型再次进行训练。
由于图像分割模型无法准确检测出目标图像中有无障碍物，表明图像分割模型对于目标图像这一类型的图像特征学习程度不够，因此，将带有标签的目标图像对图像分割模型进行再训练，提高了模型对图像中障碍物区域的检测精度。
当匹配参数不满足阈值条件时，表明预置图像与目标图像较为不相似，由于预置图像标识了待检测路面预测区域内历史无障碍物，因此，可以确定出预测区域内存在障碍物，且为新增障碍物。
在另一种可能的实现方式中，若预置图像标识了待检测路面预测区域内历史有障碍物，也可以根据匹配参数，确定出针对待检测路面障碍物的检测结果，在此不再赘述。
可以理解的是，在确定了检测结果之后，汽车可以根据该检测结果确定驾驶任务。例如，在汽车向前行进过程中，若检测结果表明前方路面有障碍物，则改变行驶方向规避障碍物。若检测结果表明前方路面无障碍物，则继续向前行进。在应用过程中，可以根据实际驾驶场景确定，在此不作任何限定。
上述实施例提供的路面障碍物检测方法，针对目标汽车所在待检测路面对应的目标图像进行识别，确定待检测路面上障碍物所在的预测区域。由于有高度的障碍物可以被雷达检测到，因此，利用雷达对待检测路面进行检测后，若检测到待检测路面不存在障碍物，表明待检测路面可能存在低高度或无高度障碍物。针对该预测区域，通过对预置图像与目标图像进行匹配，得到匹配参数，该匹配参数表示了预置图像与目标图像的相似程度。其中，预置图像是预先对预测区域拍摄得到的图像。由于待检测路面的预置图像标识了待检测路面预测区域内的历史有无障碍物，因此，根据匹配结果，可以确定出待检测路面障碍物的检测结果，提高了对于低高度或无高度障碍物的检测精度，提高了行车安全。
参见图3，图3为本申请实施例提供的一种路面障碍物检测装置的结构示意图。如图3所示，该路面障碍物检测装置包括获取单元301、确定单元302和匹配单元303：
所述获取单元301，用于获取目标汽车所在待检测路面对应的目标图像；
所述确定单元302，用于根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
所述匹配单元303，用于利用所述目标汽车上的雷达对所述待检测路面进行检测，若检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数；其中，所述预置图像是预先对所述预测区域拍摄得到的图像；
所述确定单元302，还用于根据所述匹配参数，确定所述待检测路面障碍物的检测结果。
其中，若所述预置图像标识所述预测区域内历史无障碍物，所述确定单元302，用于：
若所述匹配参数满足阈值条件，确定所述检测结果为所述预测区域内不存在障碍物；
若所述匹配参数不满足所述阈值条件，确定所述检测结果为所述预测区域内存在障碍物。
其中，所述确定单元302，用于：
通过对预置图像和所述目标图像进行特征点提取，得到所述预置图像对应的第一特征点集合以及所述目标图像对应的第二特征点集合；
通过将所述第一特征点集合与所述第二特征点集合进行匹配，得到对应所述预测区域的匹配参数。
其中，所述预置图像是利用所述目标汽车的定位信息确定的。
其中，所述确定单元302，用于：
根据所述目标图像，利用图像分割模型确定所述待检测路面上障碍物所在的预测区域；
其中，所述图像分割模型是利用训练样本对初始网络模型进行训练得到的；所述训练样本是带有障碍物标签的路面图像。
其中，若所述检测结果为所述预测区域内不存在障碍物，所述装置还包括训练单元：
所述训练单元，用于将所述目标图像的标签标识为无障碍物；
利用所述目标图像和所述目标图像的标签对所述图像分割模型进行训练。
其中，所述确定单元302，还用于：
所述目标汽车根据所述检测结果确定驾驶任务。
上述实施例提供的路面障碍物检测装置，针对目标汽车所在待检测路面对应的目标图像进行识别，确定待检测路面上障碍物所在的预测区域。由于有高度的障碍物可以被雷达检测到，因此，利用雷达对待检测路面进行检测后，若检测到待检测路面不存在障碍物，表明待检测路面可能存在低高度或无高度障碍物。针对预测区域，通过对预置图像与目标图像进行匹配，得到匹配参数，该匹配参数表示了预置图像与目标图像的相似程度。其中，预置图像是预先对预测区域拍摄得到的图像。由于待检测路面的预置图像标识了待检测路面预测区域内历史有无障碍物，因此，根据匹配结果，可以确定出待检测路面障碍物的检测结果，提高了对于低高度或无高度障碍物的检测精度，提高了行车安全。
针对上述实施例提供的路面障碍物检测方法，本申请实施例还提供了一种汽车，所述汽车包括拍摄设备、雷达和控制器：
所述拍摄设备，用于获取所述汽车所在待检测路面对应的目标图像；
所述控制器，用于根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
所述雷达，用于对所述待检测路面图像进行检测，确定所述预测区域是否存在障碍物；
所述控制器，还用于若所述雷达确定出所述预测区域不存在障碍物，则确定所述预测区域对应的预置图像与所述目标图像的匹配参数；根据所述匹配参数，确定针对所述待检测路面障碍物的检测结果。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的路面障碍物检测方法。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (10)
1.一种路面障碍物检测方法，其特征在于，所述方法包括：
获取目标汽车所在待检测路面对应的目标图像；
根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
利用所述目标汽车上的雷达对所述待检测路面进行检测，若检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数；其中，所述预置图像是预先对所述预测区域拍摄得到的图像；
根据所述匹配参数，确定所述待检测路面障碍物的检测结果。
2.根据权利要求1所述的方法，其特征在于，若所述预置图像标识所述预测区域内历史无障碍物，所述根据匹配参数，确定所述待检测路面障碍物的检测结果包括：
若所述匹配参数满足阈值条件，确定所述检测结果为所述预测区域内不存在障碍物；
若所述匹配参数不满足所述阈值条件，确定所述检测结果为所述预测区域内存在障碍物。
3.根据权利要求1所述的方法，其特征在于，所述将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数包括：
通过对预置图像和所述目标图像进行特征点提取，得到所述预置图像对应的第一特征点集合以及所述目标图像对应的第二特征点集合；
通过将所述第一特征点集合与所述第二特征点集合进行匹配，得到对应所述预测区域的匹配参数。
4.根据权利要求1所述的方法，其特征在于，所述预置图像是利用所述目标汽车的定位信息确定的。
5.根据权利要求2所述的方法，其特征在于，所述根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域包括：
根据所述目标图像，利用图像分割模型确定所述待检测路面上障碍物所在的预测区域；
其中，所述图像分割模型是利用训练样本对初始网络模型进行训练得到的；所述训练样本是带有障碍物标签的路面图像。
6.根据权利要求5所述的方法，其特征在于，若所述检测结果为所述预测区域内不存在障碍物，所述方法还包括：
将所述目标图像的标签标识为无障碍物；
利用所述目标图像和所述目标图像的标签对所述图像分割模型进行训练。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述目标汽车根据所述检测结果确定驾驶任务。
8.一种路面障碍物检测装置，其特征在于，所述装置包括获取单元、确定单元和匹配单元：
所述获取单元，用于获取目标汽车所在待检测路面对应的目标图像；
所述确定单元，用于根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
所述匹配单元，用于利用所述目标汽车上的雷达对所述待检测路面进行检测，若检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数；其中，所述预置图像是预先对所述预测区域拍摄得到的图像；
所述确定单元，还用于根据所述匹配参数，确定所述待检测路面障碍物的检测结果。
9.一种汽车，其特征在于，所述汽车包括拍摄设备、雷达和控制器：
所述拍摄设备，用于获取目标汽车所在待检测路面对应的目标图像；
所述控制器，用于根据所述目标图像，确定所述待检测路面上障碍物所在的预测区域；
所述雷达，用于对所述待检测路面图像进行检测，确定所述预测区域是否存在障碍物；
所述控制器，还用于若所述雷达检测到所述预测区域不存在障碍物，将预置图像与所述目标图像进行匹配，得到对应所述预测区域的匹配参数；根据所述匹配参数，确定所述待检测路面障碍物的检测结果；其中，所述预置图像是预先对所述预测区域拍摄得到的图像。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的路面障碍物检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010547777.5A CN111723724B (zh) | 2020-06-16 | 2020-06-16 | 一种路面障碍物识别方法和相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010547777.5A CN111723724B (zh) | 2020-06-16 | 2020-06-16 | 一种路面障碍物识别方法和相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111723724A true CN111723724A (zh) | 2020-09-29 |
| CN111723724B CN111723724B (zh) | 2024-04-02 |
Family
ID=72566927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010547777.5A Active CN111723724B (zh) | 2020-06-16 | 2020-06-16 | 一种路面障碍物识别方法和相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723724B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733820A (zh) * | 2021-03-31 | 2021-04-30 | 禾多科技（北京）有限公司 | 障碍物信息生成方法、装置、电子设备和计算机可读介质 |
| CN116229425A (zh) * | 2023-05-08 | 2023-06-06 | 珠海骏驰智联科技有限公司 | 基于大数据的无人驾驶车辆障碍物检测方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010287015A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 障害物検出装置 |
| CN202439686U (zh) * | 2011-12-15 | 2012-09-19 | 中联重科股份有限公司 | 一种路面监控系统及包括该路面监控系统的车辆 |
| CN105005999A (zh) * | 2015-08-12 | 2015-10-28 | 北京航空航天大学 | 一种基于计算机立体视觉面向导盲仪的障碍物探测方法 |
| CN106646474A (zh) * | 2016-12-22 | 2017-05-10 | 中国兵器装备集团自动化研究所 | 一种非结构化道路凹凸障碍物检测装置 |
| CN107909009A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种基于路面学习的障碍物检测方法与装置 |
| WO2018195797A1 (zh) * | 2017-04-26 | 2018-11-01 | 深圳配天智能技术研究院有限公司 | 一种视觉检测方法、检测设备以及机器人 |
| CN109298415A (zh) * | 2018-11-20 | 2019-02-01 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
| CN109960988A (zh) * | 2017-12-26 | 2019-07-02 | 浙江宇视科技有限公司 | 图像分析方法、装置、电子设备及可读存储介质 |
| CN110341621A (zh) * | 2019-07-10 | 2019-10-18 | 北京百度网讯科技有限公司 | 一种障碍物检测方法及装置 |
-
2020
- 2020-06-16 CN CN202010547777.5A patent/CN111723724B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010287015A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 障害物検出装置 |
| CN202439686U (zh) * | 2011-12-15 | 2012-09-19 | 中联重科股份有限公司 | 一种路面监控系统及包括该路面监控系统的车辆 |
| CN105005999A (zh) * | 2015-08-12 | 2015-10-28 | 北京航空航天大学 | 一种基于计算机立体视觉面向导盲仪的障碍物探测方法 |
| CN106646474A (zh) * | 2016-12-22 | 2017-05-10 | 中国兵器装备集团自动化研究所 | 一种非结构化道路凹凸障碍物检测装置 |
| WO2018195797A1 (zh) * | 2017-04-26 | 2018-11-01 | 深圳配天智能技术研究院有限公司 | 一种视觉检测方法、检测设备以及机器人 |
| CN110476056A (zh) * | 2017-04-26 | 2019-11-19 | 深圳配天智能技术研究院有限公司 | 一种视觉检测方法、检测设备以及机器人 |
| CN107909009A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种基于路面学习的障碍物检测方法与装置 |
| CN109960988A (zh) * | 2017-12-26 | 2019-07-02 | 浙江宇视科技有限公司 | 图像分析方法、装置、电子设备及可读存储介质 |
| CN109298415A (zh) * | 2018-11-20 | 2019-02-01 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
| CN110341621A (zh) * | 2019-07-10 | 2019-10-18 | 北京百度网讯科技有限公司 | 一种障碍物检测方法及装置 |
Non-Patent Citations (7)
| Title |
|---|
| AJAY MITTAL ET AL.: "Obstacle detection by means of stereo feature matching", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 29 January 2015 (2015-01-29), pages 1618 - 1622 * |
| HUANG YONG ET AL.: ""Real-time traffic cone detection for autonomous vehicle"", 《2015 34TH CHINESE CONTROL CONFERENCE (CCC)》 * |
| HUANG YONG ET AL.: ""Real-time traffic cone detection for autonomous vehicle"", 《2015 34TH CHINESE CONTROL CONFERENCE (CCC)》, 14 September 2015 (2015-09-14) * |
| 石德乐等: ""车辆导航立体视觉测量技术特征点匹配方法"", 《农业机械学报》 * |
| 石德乐等: ""车辆导航立体视觉测量技术特征点匹配方法"", 《农业机械学报》, no. 09, 25 September 2007 (2007-09-25) * |
| 翟光耀等: "基于毫米波雷达和机器视觉信息融合的障碍物检测", 《物联网学报》 * |
| 翟光耀等: "基于毫米波雷达和机器视觉信息融合的障碍物检测", 《物联网学报》, no. 02, 30 September 2017 (2017-09-30) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733820A (zh) * | 2021-03-31 | 2021-04-30 | 禾多科技（北京）有限公司 | 障碍物信息生成方法、装置、电子设备和计算机可读介质 |
| CN112733820B (zh) * | 2021-03-31 | 2021-07-27 | 禾多科技（北京）有限公司 | 障碍物信息生成方法、装置、电子设备和计算机可读介质 |
| CN116229425A (zh) * | 2023-05-08 | 2023-06-06 | 珠海骏驰智联科技有限公司 | 基于大数据的无人驾驶车辆障碍物检测方法及系统 |
| CN116229425B (zh) * | 2023-05-08 | 2023-09-19 | 珠海骏驰智联科技有限公司 | 基于大数据的无人驾驶车辆障碍物检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111723724B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102545105B1 (ko) | 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 | |
| EP3293669A1 (en) | Enhanced camera object detection for automated vehicles | |
| US20180113234A1 (en) | System and method for obstacle detection | |
| US8818702B2 (en) | System and method for tracking objects | |
| CN110674705A (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
| CN111624622A (zh) | 障碍物检测方法、装置 | |
| JP4561346B2 (ja) | 車両運動推定装置及び移動体検出装置 | |
| CN111611853A (zh) | 一种传感信息融合方法、装置及存储介质 | |
| CN111722249B (zh) | 物体识别装置以及车辆控制系统 | |
| US20160188984A1 (en) | Lane partition line recognition apparatus | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| US20220111853A1 (en) | Target vehicle control method and apparatus, electronic device, and storage medium | |
| CN111723724B (zh) | 一种路面障碍物识别方法和相关装置 | |
| CN114111774B (zh) | 车辆的定位方法、系统、设备及计算机可读存储介质 | |
| US20200180646A1 (en) | Sensor fusion target prediction device and method for vehicles and vehicle including the device | |
| CN113008296B (zh) | 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元 | |
| García et al. | Fusion procedure for pedestrian detection based on laser scanner and computer vision | |
| CN111352414A (zh) | 用于车辆的假目标移除装置和方法及包括该装置的车辆 | |
| CN113589324A (zh) | 基于激光雷达的无人车坡度识别方法、系统及存储介质 | |
| EP4009228A1 (en) | Method for determining a semantic free space | |
| CN115792945B (zh) | 一种浮空障碍物检测方法、装置和电子设备、存储介质 | |
| CN111612818A (zh) | 新型双目视觉多目标跟踪方法及系统 | |
| EP4047514B1 (en) | Platform for perception system development for automated driving system | |
| Hsu et al. | Object detection and recognition by using sensor fusion | |
| EP4336466A2 (en) | Method and apparatus for modeling object, storage medium, and vehicle control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |