CN115100630B - 障碍物检测方法、装置、车辆、介质及芯片 - Google Patents

障碍物检测方法、装置、车辆、介质及芯片 Download PDF

Info

Publication number
CN115100630B
CN115100630B CN202210788546.2A CN202210788546A CN115100630B CN 115100630 B CN115100630 B CN 115100630B CN 202210788546 A CN202210788546 A CN 202210788546A CN 115100630 B CN115100630 B CN 115100630B
Authority
CN
China
Prior art keywords
pixel point
communication
target
image
height value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210788546.2A
Other languages
English (en)
Other versions
CN115100630A (zh
Inventor
冷汉超
俞昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210788546.2A priority Critical patent/CN115100630B/zh
Publication of CN115100630A publication Critical patent/CN115100630A/zh
Application granted granted Critical
Publication of CN115100630B publication Critical patent/CN115100630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开涉及自动驾驶技术领域中的一种障碍物检测方法、装置、车辆、介质及芯片，包括：获取本车在行驶过程中采集的路采图像；对所述路采图像中像素点进行高度值预测以及视角转换，本公开通过对俯视路采图像进行高度二值化，并对高度二值化后的图像进行连通区域分析，得到障碍物检测结果，不需要对样本图像进行标注训练模型，降低了成本，并且克服了标注无法涵盖所有类型的路面障碍物的问题，降低了漏检风险，提高了障碍物检测的准确性。得到俯视路采图像；对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果。

Description

障碍物检测方法、装置、车辆、介质及芯片
技术领域
本公开涉及自动驾驶技术领域，尤其涉及障碍物检测方法、装置、车辆、介质及芯片。
背景技术
在车辆的自动驾驶领域中，通常可以基于语义完成路面障碍物检测，基于语义往往需要大量添加标注的样本图像来训练神经网络，对样本图像进行标注需要大量成本，而且标注无法涵盖所有类型的路面障碍物。
发明内容
为克服相关技术中存在的问题，本公开提供一种障碍物检测方法、装置、车辆、介质及芯片。
根据本公开实施例的第一方面，提供一种障碍物检测方法，包括：
获取本车在行驶过程中采集的路采图像；
对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；
对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；
对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果。
可选地，所述对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果，包括：
将所述高度二值化俯视图像中高度值超过预设高度阈值的像素点作为目标连通像素点；
基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签；
根据所述目标连通像素点的目标连通标签，得到障碍物检测结果。
可选地，所述基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签，包括：
根据预先配置的邻近规则，从与所述目标连通像素点相邻的像素点中，确定与所述目标连通像素点对应的至少一个基准连通像素点；
根据参考连通像素点的初始连通标签、所述目标连通像素点的高度值以及所述目标连通像素点对应的基准连通像素点的高度值，确定所述目标连通像素点的初始连通标签，其中，所述参考连通像素点是在确定该目标连通像素点的初始连通标签之前已经确定初始连通标签的目标连通像素点；
将相邻的所述目标连通像素点划分到同一连通区域，并根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签。
可选地，所述根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签，包括：
将同一所述连通区域内取值最小的初始连通标签作为该连通区域内所有所述目标连通像素点的目标连通标签。
可选地，所述基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签，包括：
基于预先配置的邻近规则，将任意相邻的所述目标连通像素点划分到同一连通区域；
基于预先配置的遍历规则，确定每一所述连通区域内所述目标连通像素点的目标连通标签，其中，同一所述连通区域内所有所述目标连通像素点的目标连通标签相同，不同的所述连通区域之间所述目标连通像素点的目标连通标签不同。
可选地，所述对所述路采图像中像素点进行高度值预测，包括：
将路采图像输入高度值预测模型中，得到所述高度值预测模型输出所述路采图像中像素点相对于地面的高度值；
其中，所述高度值预测模型是在激光雷达点云的高度值作为监督，对样本路采图像进行训练得到的。
可选地，所述对所述路采图像中像素点进行视角转换，包括：
基于预设的单应性矩阵，对所述路采图像中像素点进行视角转换，其中，所述预设的单应性矩阵是根据采集所述路采图像的图像采集装置所在坐标系与世界坐标系的转换关系得到的。
根据本公开实施例的第二方面，提供一种障碍物检测装置，包括：
获取模块，被配置为获取本车在行驶过程中采集的路采图像；
转换模块，被配置为对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；
二值化模块，被配置为对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；
分析模块，被配置为对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果。
可选地，所述分析模块，被配置为：
将所述高度二值化俯视图像中高度值超过预设高度阈值的像素点作为目标连通像素点；
基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签；
根据所述目标连通像素点的目标连通标签，得到障碍物检测结果。
可选地，所述分析模块，被配置为：
根据预先配置的邻近规则，从与所述目标连通像素点相邻的像素点中，确定与所述目标连通像素点对应的至少一个基准连通像素点；
根据参考连通像素点的初始连通标签、所述目标连通像素点的高度值以及所述目标连通像素点对应的基准连通像素点的高度值，确定所述目标连通像素点的初始连通标签，其中，所述参考连通像素点是在确定该目标连通像素点的初始连通标签之前已经确定初始连通标签的目标连通像素点；
将相邻的所述目标连通像素点划分到同一连通区域，并根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签。
可选地，所述分析模块，被配置为将同一所述连通区域内取值最小的初始连通标签作为该连通区域内所有所述目标连通像素点的目标连通标签。
可选地，所述分析模块，被配置为：
基于预先配置的邻近规则，将任意相邻的所述目标连通像素点划分到同一连通区域；
基于预先配置的遍历规则，确定每一所述连通区域内所述目标连通像素点的目标连通标签，其中，同一所述连通区域内所有所述目标连通像素点的目标连通标签相同，不同的所述连通区域之间所述目标连通像素点的目标连通标签不同。
可选地，所述转换模块，被配置为将路采图像输入高度值预测模型中，得到所述高度值预测模型输出所述路采图像中像素点相对于地面的高度值；
其中，所述高度值预测模型是在激光雷达点云的高度值作为监督，对样本路采图像进行训练得到的。
可选地，所述转换模块，被配置为基于预设的单应性矩阵，对所述路采图像中像素点进行视角转换，其中，所述预设的单应性矩阵是根据采集所述路采图像的图像采集装置所在坐标系与世界坐标系的转换关系得到的。
根据本公开实施例的第三方面，提供一种车辆，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令，实现如第一方面中任一项所述障碍物检测方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现第一方面中任一项所述障碍物检测方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行第一方面中任一项所述障碍物检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过获取车辆感知视野内的路采图像；对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果。本公开通过对俯视路采图像进行高度二值化，并对高度二值化后的图像进行连通区域分析，得到障碍物检测结果，不需要对样本图像进行标注训练模型，降低了成本，并且克服了标注无法涵盖所有类型的路面障碍物的问题，降低了漏检风险，提高了障碍物检测的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种障碍物检测方法的流程图。
图2是根据一示例性实施例示出的一种实现图1中步骤S13的流程图。
图3是根据一示例性实施例示出的一种实现图2中步骤S132的流程图。
图4是根据一示例性实施例示出的另一种实现图2中步骤S132的流程图。
图5是根据一示例性实施例示出的一种障碍物检测装置的框图。
图6是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种障碍物检测方法的流程图，如图1所示，该方法可以应用于车载终端中，例如，车辆辅助驾驶系统，车辆避障系统，该方法包括以下步骤。
在步骤S11中，获取本车在行驶过程中采集的路采图像。
在本公开实施例中，路采图像是车载的图像采集装置在车辆的行驶过程中采集的，路采图像可以包括路面路采图像和空中路采图像，例如可以采集直接落在地面上的石头等障碍物，也可以采集到倾倒在半空中的树干或者电线杆等障碍物。
其中，图像采集装置可以是例如车载摄像头，被配置为采集车辆行驶方向上、预设视角内的路采图像，可以在车辆上配置一个或多个图像采集装置，在车辆上配置一个图像采集装置时，可以是采集车辆正前方的路采图像，在车辆上配置多个图像采集装置时，可以通过多个图像采集装置分别从不同角度采集路采图像。
在步骤S12中，对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；
在一种实施方式中，可以通过激光雷达采集车辆视野内的障碍物点云，将障碍物点云投影到路采图像中，并根据障碍物点云三维坐标确定障碍物点云的高度值，进一步地，在障碍物点云与路采图像中像素点重合的情况下，将障碍物点云的高度值作为路采图像中像素点进行高度值。因而可以得到像素点相对地面的高度值。
本公开实施例中，视角转换后得到点云相对于地面高度的俯视路采图像，示例地，根据障碍物点云三维坐标确定障碍物点云的深度值，根据障碍物点云的深度值和高度值进行视角转换，得到俯视路采图像。
在步骤S13中，对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像。
本公开实施例中，将俯视路采图像中高度值小于等于预设高度阈值的像素点的高度值置0，高度值大于预设高度阈值的像素点的高度值置1，得到俯视路采图像对应的高度二值化俯视图像。
示例地，将俯视路采图像中高度值小于等于预设高度阈值1cm的像素点的高度值置0，高度值大于预设高度阈值10cm的像素点的高度值置1，得到俯视路采图像对应的高度二值化俯视图像。
在步骤S14中，对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果。
本公开实施例中，可以根据高度二值化俯视图像中高度值为1的像素点进行连通，并将连通区域作为障碍物，得到障碍物检测结果，并根据障碍物检测结果确定是否存在障碍物。
在本公开实施例中，车辆可以根据障碍物检测结果进行避障决策规划，例如在障碍物检测结果表征存在需要避障的障碍物时，车辆可以通过停车、绕行等方式避障，在障碍物检测结果表征不存在障碍物时，车辆可以继续正常行驶。
上述技术方案通过获取车辆感知视野内的路采图像；对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果。本公开通过对俯视路采图像进行高度二值化，并对高度二值化后的图像进行连通区域分析，得到障碍物检测结果，不需要对样本图像进行标注训练模型，降低了成本，并且克服了标注无法涵盖所有类型的路面障碍物的问题，降低了漏检风险，提高了障碍物检测的准确性。
在一种实施方式中，图2是根据一示例性实施例示出的一种实现图1中步骤S13的流程图，参见图2所示，在步骤S13中，所述对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果，包括：
在步骤S131中，将所述高度二值化俯视图像中高度值超过预设高度阈值的像素点作为目标连通像素点。
在步骤S132中，基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签。
其中，预先配置的邻近规则是针对任一目标连通像素点，与该目标连通像素点相邻、且处于该目标连通像素点的预设位置。进而根据与目标连通像素点相邻、且满足预先配置的邻近规则的像素点的高度值以及目标连通像素点的高度值，确定所述目标连通像素点的目标连通标签。
在一种实施方式中，图3是根据一示例性实施例示出的一种实现图2中步骤S132的流程图，参见图3所示，在步骤S132中，所述基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签，包括：
在步骤S1321中，根据预先配置的邻近规则，从与所述目标连通像素点相邻的像素点中，确定与所述目标连通像素点对应的至少一个基准连通像素点。
示例地，在预先配置的邻近规则为目标连通像素点的左方和上方的情况下，从与所述目标连通像素点相邻的像素点中，将位于任一目标连通像素点的左方和上方的像素点作为基准连通像素点。
其中，位于高度二值化俯视图像边沿的目标连通像素点可能不存在相邻、且位于左方和上方的像素点，在这种情况下，可以将该目标连通像素点的右方和下方的像素点作为基准连通像素点。
在步骤S1322中，根据参考连通像素点的初始连通标签、所述目标连通像素点的高度值以及所述目标连通像素点对应的基准连通像素点的高度值，确定所述目标连通像素点的初始连通标签，其中，所述参考连通像素点是在确定该目标连通像素点的初始连通标签之前已经确定初始连通标签的目标连通像素点。
本公开实施例中，针对任一目标连通像素点，在目标连通像素点的高度值与基准连通像素点的高度值一致的情况下，以所述基准连通像素点的初始连通标签作为所述目标连通像素点的初始连通标签。在目标连通像素点的高度值与基准连通像素点的高度值不一致的情况下，在取值最大的参考连通像素点的初始连通标签的基础上执行加1操作。
在步骤S1323中，将相邻的所述目标连通像素点划分到同一连通区域，并根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签。
本公开实施例中，将相邻的目标连通像素点划分到同一连通区域，将不相邻的目标连通像素点划分到不同的连通区域。
其中，可以将同一所述连通区域内取值最大的初始连通标签作为该连通区域内所有所述目标连通像素点的目标连通标签，也可以将初始连通标签的取值求平均值，将该平均值作为该连通区域内所有所述目标连通像素点的目标连通标签。
在步骤S133中，根据所述目标连通像素点的目标连通标签，得到障碍物检测结果。
本公开实施例中，可以根据连通区域的形状确定障碍物在地面所占的区域位置。
可选地，在步骤S1323中，所述根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签，包括：
将同一所述连通区域内取值最小的初始连通标签作为该连通区域内所有所述目标连通像素点的目标连通标签。
在一种实施方式中，图4是根据一示例性实施例示出的一种实现图2中步骤S132的流程图，参见图4所示，在步骤S132中，所述基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签，包括：
在步骤S13201中，基于预先配置的邻近规则，将任意相邻的所述目标连通像素点划分到同一连通区域。
本公开实施例中，在高度二值化俯视图像中只要两个目标连通像素点相邻，则该两个目标连通像素点将会被划分到同一连通区域中。
在步骤S13202中，基于预先配置的遍历规则，确定每一所述连通区域内所述目标连通像素点的目标连通标签。
其中，同一所述连通区域内所有所述目标连通像素点的目标连通标签相同，不同的所述连通区域之间所述目标连通像素点的目标连通标签不同。
示例地，预先配置的遍历规则可以是从上到下、从左到右，则从上到下、从左到右，依次确定连通区域的序号，并将该序号作为该连通区域内所有目标连通像素点的目标连通标签。
例如，从上到下的第二个连通区域的序号为2，则第二个连通区域内所有目标连通像素点的目标连通标签均为2。
可选地，在步骤S12中，所述对所述路采图像中像素点进行高度值预测，包括：
将路采图像输入高度值预测模型中，得到所述高度值预测模型输出所述路采图像中像素点相对于地面的高度值；
其中，所述高度值预测模型是在激光雷达点云的高度值作为监督，对样本路采图像进行训练得到的。
本公开实施例中，可以将激光雷达点云的高度值作为真值，对样本路采图像中像素点的高度值进行有监督的学习，得到高度值预测模型。
可选地，在步骤S12中，所述对所述路采图像中像素点进行视角转换，包括：
基于预设的单应性矩阵，对所述路采图像中像素点进行视角转换，其中，所述预设的单应性矩阵是根据采集所述路采图像的图像采集装置所在坐标系与世界坐标系的转换关系得到的。
本公开实施例中，基于预设的单应性矩阵，将车辆视角的路采图像中像素点转换为BEV(Bird's Eye View，鸟瞰)视角，即转换为像素点在垂直于高度方向的平面上的投影视角。进而可以确定障碍物占用区域位置。
基于相同的构思，本公开还提供一种障碍物检测装置，用于执行上述方法实施例提供的障碍物检测方法的部分或全部步骤，该障碍物检测装置500可以以软件、硬件或者两者相结合的方式实现障碍物检测方法。图5是根据一示例性实施例示出的一种障碍物检测装置的框图，参见图5所示，所述障碍物检测装置500包括：获取模块510、转换模块520、二值化模块530和分析模块540。
其中，所述获取模块510被配置为获取本车在行驶过程中采集的路采图像；
所述转换模块520被配置为对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；
所述二值化模块530被配置为对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；
所述分析模块540被配置为对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果。
可选地，所述分析模块540被配置为：
将所述高度二值化俯视图像中高度值超过预设高度阈值的像素点作为目标连通像素点；
基于预先配置的邻近规则，根据所述目标连通像素点的高度值以及相邻的像素点的高度值，确定所述目标连通像素点的目标连通标签；
根据所述目标连通像素点的目标连通标签，得到障碍物检测结果。
可选地，所述分析模块540被配置为：
根据预先配置的邻近规则，从与所述目标连通像素点相邻的像素点中，确定与所述目标连通像素点对应的至少一个基准连通像素点；
根据参考连通像素点的初始连通标签、所述目标连通像素点的高度值以及所述目标连通像素点对应的基准连通像素点的高度值，确定所述目标连通像素点的初始连通标签，其中，所述参考连通像素点是在确定该目标连通像素点的初始连通标签之前已经确定初始连通标签的目标连通像素点；
将相邻的所述目标连通像素点划分到同一连通区域，并根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签。
可选地，所述分析模块540被配置为将同一所述连通区域内取值最小的初始连通标签作为该连通区域内所有所述目标连通像素点的目标连通标签。
可选地，所述分析模块540被配置为：
基于预先配置的邻近规则，将任意相邻的所述目标连通像素点划分到同一连通区域；
基于预先配置的遍历规则，确定每一所述连通区域内所述目标连通像素点的目标连通标签，其中，同一所述连通区域内所有所述目标连通像素点的目标连通标签相同，不同的所述连通区域之间所述目标连通像素点的目标连通标签不同。
可选地，所述转换模块520被配置为将路采图像输入高度值预测模型中，得到所述高度值预测模型输出所述路采图像中像素点相对于地面的高度值；
其中，所述高度值预测模型是在激光雷达点云的高度值作为监督，对样本路采图像进行训练得到的。
可选地，所述转换模块520被配置为基于预设的单应性矩阵，对所述路采图像中像素点进行视角转换，其中，所述预设的单应性矩阵是根据采集所述路采图像的图像采集装置所在坐标系与世界坐标系的转换关系得到的。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外值得说明的是，为描述的方便和简洁，说明书中所描述的实施例均属于优选实施例，其所涉及的部分并不一定是本发明所必须的，例如，二值化模块530和分析模块540，在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。
本公开实施例还提供一种车辆，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令，实现如上述实施例中任一项所述障碍物检测方法的步骤。
参阅图6，图6是一示例性实施例示出的一种车辆600的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如，车辆600可以通过感知系统620获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。可选的，车辆600可包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统610可以包括通信系统611，娱乐系统612以及导航系统613。
通信系统611可以包括无线通信系统，无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统612可以包括显示设备，麦克风和音响，用户可以基于娱乐系统在车内收听广播，播放音乐；或者将手机和车辆联通，在显示设备上实现手机的投屏，显示设备可以为触控式，用户可以通过触摸屏幕进行操作。
在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆600的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
导航系统613可以包括由地图供应商所提供的地图服务，从而为车辆600提供行驶路线的导航，导航系统613可以和车辆的全球定位系统621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
感知系统620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如，感知系统620可包括全球定位系统621(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知系统620还可包括被监视车辆600的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆600的安全操作的关键功能。
全球定位系统621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中，惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中，激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中，除了感测物体以外，毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置626获取的图像信息可以包括静态图像，也可以包括视频流信息。
决策控制系统630包括基于感知系统620所获取的信息进行分析决策的计算系统631，决策控制系统630还包括对车辆600的动力系统进行控制的整车控制器632，以及用于控制车辆600的转向系统633、油门634和制动系统635。
计算系统631可以操作来处理和分析由感知系统620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物，物体和/或特征可包括交通信号、道路边界和障碍物。计算系统631可使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪等技术。在一些实施例中，计算系统631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制，以提升车辆600的动力性能。
转向系统633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘系统。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动系统635用于控制车辆600减速。制动系统635可使用摩擦力来减慢车轮644。在一些实施例中，制动系统635可将车轮644的动能转换为电流。制动系统635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动系统640可包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可包括引擎641、能量源642、传动系统643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他系统提供能量。
传动系统643可以将来自引擎641的机械动力传送到车轮644。传动系统643可包括变速箱、差速器和驱动轴。在一个实施例中，传动系统643还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651，处理器651可以执行存储在例如存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中，计算平台650还可以是采用分布式方式控制车辆600的个体组件或子系统的多个计算设备。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。可替换地，处理器651还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、片上系统(System on Chip，SOC)、专用集成芯片(Application Specific Integrated Circuit，ASIC)或它们的组合。尽管图6功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中，处理器651可以执行上述的障碍物检测方法。
在此处所描述的各个方面中，处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，存储器652可包含指令653(例如，程序逻辑)，指令653可被处理器651执行来执行车辆600的各种功能。存储器652也可包含额外的指令，包括向信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外，存储器652还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子系统(例如，驱动系统640、感知系统620和决策控制系统630)接收的输入来控制车辆600的功能。例如，计算平台650可利用来自决策控制系统630的输入以便控制转向系统633来避免由感知系统620检测到的障碍物。在一些实施例中，计算平台650可操作来对车辆600及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车辆600分开安装或关联。例如，存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图6不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车，如上面的车辆600，可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
可选地，车辆600或者与车辆600相关联的感知和计算设备(例如计算系统631、计算平台650)可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)何种稳定状态。在这个过程中，也可以考虑其它因素来确定车辆600的速度，诸如，车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改车辆600的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如，道路上的相邻车道中的车辆)的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现上述实施例中任一项所述障碍物检测方法的步骤。
在一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的障碍物检测方法的代码部分。
本公开实施例还提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行上述实施例中任一项所述障碍物检测方法。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路(Integrated Circuit，IC)或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU(GraphicsProcessing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，可编程逻辑阵列)、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、SOC(System on Chip，SoC，片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码)，以实现上述的障碍物检测方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的障碍物检测方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的障碍物检测方法。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种障碍物检测方法，其特征在于，包括：
获取本车在行驶过程中采集的路采图像；
对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；
对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；
将所述高度二值化俯视图像中高度值超过预设高度阈值的像素点作为目标连通像素点；
根据预先配置的邻近规则，从与所述目标连通像素点相邻的像素点中，确定与所述目标连通像素点对应的至少一个基准连通像素点；
根据参考连通像素点的初始连通标签、所述目标连通像素点的高度值以及所述目标连通像素点对应的基准连通像素点的高度值，确定所述目标连通像素点的初始连通标签，其中，所述参考连通像素点是在确定该目标连通像素点的初始连通标签之前已经确定初始连通标签的目标连通像素点；
将相邻的所述目标连通像素点划分到同一连通区域，并根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签；
根据所述目标连通像素点的目标连通标签，得到障碍物检测结果。
2.根据权利要求1所述的障碍物检测方法，其特征在于，所述根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签，包括：
将同一所述连通区域内取值最小的初始连通标签作为该连通区域内所有所述目标连通像素点的目标连通标签。
3.根据权利要求1-2中任一项所述的障碍物检测方法，其特征在于，所述对所述路采图像中像素点进行高度值预测，包括：
将路采图像输入高度值预测模型中，得到所述高度值预测模型输出所述路采图像中像素点相对于地面的高度值；
其中，所述高度值预测模型是在激光雷达点云的高度值作为监督，对样本路采图像进行训练得到的。
4.根据权利要求1-2中任一项所述的障碍物检测方法，其特征在于，所述对所述路采图像中像素点进行视角转换，包括：
基于预设的单应性矩阵，对所述路采图像中像素点进行视角转换，其中，所述预设的单应性矩阵是根据采集所述路采图像的图像采集装置所在坐标系与世界坐标系的转换关系得到的。
5.一种障碍物检测装置，其特征在于，包括：
获取模块，被配置为获取本车在行驶过程中采集的路采图像；
转换模块，被配置为对所述路采图像中像素点进行高度值预测以及视角转换，得到俯视路采图像；
二值化模块，被配置为对所述俯视路采图像进行高度值二值化，得到高度二值化俯视图像；
分析模块，被配置为对所述高度二值化俯视图像进行连通区域分析，得到障碍物检测结果；
所述分析模块，被配置为：
将所述高度二值化俯视图像中高度值超过预设高度阈值的像素点作为目标连通像素点；
根据预先配置的邻近规则，从与所述目标连通像素点相邻的像素点中，确定与所述目标连通像素点对应的至少一个基准连通像素点；
根据参考连通像素点的初始连通标签、所述目标连通像素点的高度值以及所述目标连通像素点对应的基准连通像素点的高度值，确定所述目标连通像素点的初始连通标签，其中，所述参考连通像素点是在确定该目标连通像素点的初始连通标签之前已经确定初始连通标签的目标连通像素点；
将相邻的所述目标连通像素点划分到同一连通区域，并根据所述连通区域内的所述目标连通像素点的初始连通标签，确定所述目标连通像素点的目标连通标签；
根据所述目标连通像素点的目标连通标签，得到障碍物检测结果。
6.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令，实现如权利要求1-4中任一项所述的障碍物检测方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-4中任一项所述障碍物检测方法的步骤。
8.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1-4中任一项所述的障碍物检测方法。
CN202210788546.2A 2022-07-04 2022-07-04 障碍物检测方法、装置、车辆、介质及芯片 Active CN115100630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210788546.2A CN115100630B (zh) 2022-07-04 2022-07-04 障碍物检测方法、装置、车辆、介质及芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210788546.2A CN115100630B (zh) 2022-07-04 2022-07-04 障碍物检测方法、装置、车辆、介质及芯片

Publications (2)

Publication Number Publication Date
CN115100630A CN115100630A (zh) 2022-09-23
CN115100630B true CN115100630B (zh) 2023-07-14

Family

ID=83296531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210788546.2A Active CN115100630B (zh) 2022-07-04 2022-07-04 障碍物检测方法、装置、车辆、介质及芯片

Country Status (1)

Country Link
CN (1) CN115100630B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880673B (zh) * 2023-02-22 2023-05-26 西南石油大学 一种基于计算机视觉的避障方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置
CN112964263A (zh) * 2021-02-01 2021-06-15 杭州唯实科技有限公司 自动建图方法、装置、移动机器人及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593641B (zh) * 2012-08-16 2017-08-11 株式会社理光 基于立体摄像机的物体检测方法和装置
US11460544B2 (en) * 2018-11-19 2022-10-04 Fca Us Llc Traffic sign detection from filtered birdview projection of LIDAR point clouds
CN110070488B (zh) * 2019-04-25 2023-01-03 北京工业大学 一种基于卷积神经网络的多角度遥感影像森林高度提取方法
WO2021012254A1 (zh) * 2019-07-25 2021-01-28 深圳市大疆创新科技有限公司 目标检测方法、系统及可移动平台
CN112734630B (zh) * 2020-12-30 2022-09-13 广州极飞科技股份有限公司 正射影像处理方法、装置、设备及存储介质
CN113537049B (zh) * 2021-07-14 2023-03-24 广东汇天航空航天科技有限公司 地面点云数据处理方法、装置、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置
CN112964263A (zh) * 2021-02-01 2021-06-15 杭州唯实科技有限公司 自动建图方法、装置、移动机器人及可读存储介质

Also Published As

Publication number Publication date
CN115100630A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN112512887B (zh) 一种行驶决策选择方法以及装置
CN115330923B (zh) 点云数据渲染方法、装置、车辆、可读存储介质及芯片
EP4307251A1 (en) Mapping method, vehicle, computer readable storage medium, and chip
CN115123257B (zh) 路面减速带位置识别方法、装置、车辆、存储介质及芯片
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
CN115220449B (zh) 路径规划的方法、装置、存储介质、芯片及车辆
CN112810603B (zh) 定位方法和相关产品
CN115147796A (zh) 评测目标识别算法的方法、装置、存储介质及车辆
CN115035494A (zh) 图像处理方法、装置、车辆、存储介质及芯片
CN115100630B (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN115203457B (zh) 图像检索方法、装置、车辆、存储介质及芯片
CN115222791B (zh) 目标关联方法、装置、可读存储介质及芯片
CN115056784B (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN114782638B (zh) 生成车道线的方法、装置、车辆、存储介质及芯片
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
WO2021159397A1 (zh) 车辆可行驶区域的检测方法以及检测装置
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN115147794B (zh) 车道线确定方法、装置、车辆、介质及芯片
CN115082573B (zh) 参数标定方法、装置、车辆及存储介质
CN114972824B (zh) 杆件检测方法、装置、车辆和存储介质
CN115082772B (zh) 地点识别方法、装置、车辆、存储介质及芯片
CN115063639B (zh) 生成模型的方法、图像语义分割方法、装置、车辆及介质
CN115139946B (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant