CN114325687A - 雷达数据和视觉信息融合处理方法、装置、系统及设备 - Google Patents
雷达数据和视觉信息融合处理方法、装置、系统及设备 Download PDFInfo
- Publication number
- CN114325687A CN114325687A CN202111595167.3A CN202111595167A CN114325687A CN 114325687 A CN114325687 A CN 114325687A CN 202111595167 A CN202111595167 A CN 202111595167A CN 114325687 A CN114325687 A CN 114325687A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- obstacle
- determining
- mounted radar
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了一种雷达数据和视觉信息融合处理方法、装置、系统及设备，该方法包括步骤：根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集；将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠；基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域；对所述感兴趣区域进行识别，确定障碍物信息。本申请实施例提高了障碍物检出率以及行车安全性，降低了算力资源的消耗。
Description
技术领域
本申请涉及多传感器融合技术领域，尤其涉及一种雷达数据和视觉信息融合处理方法、装置、系统及设备。
背景技术
随着车辆的智能化发展，车辆的驾驶员在驾驶车辆时越来越简便，例如通过车载显示屏显示车辆行进方向上的障碍物；或者是车辆以自动驾驶的模式行驶时，自动驾驶决策控制系统能够自动感知车辆行进方向上的障碍物。
目前，在检测车辆行进方向上是否存在的障碍物时，通过视觉检测的方式来确定ROI(Region of Interest,感兴趣区域)，其中，感兴趣区域为障碍物所在区域。然而，对于纹理特征不明显的障碍物，视觉检测的方式极易发生漏检，并且对全图进行检测时，算力资源需求高。
发明内容
本申请的主要目的在于提供一种雷达数据和视觉信息融合处理方法、装置、系统及设备，至少用于提高感兴趣区域的识别效率，降低图像识别对算力资源的消耗，提高障碍物检出率，降低漏检的现象，进而提高行车安全性。
为实现上述目的，本申请提供一种雷达数据和视觉信息融合处理方法，所述方法包括：
根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集；
将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠；
基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域；
对所述感兴趣区域进行识别，确定障碍物信息。
示例性的，用于参与确定所述第一轮廓点集的车载雷达的数量与障碍物的位置有关，所述障碍物的位置包括位于车辆行驶方向的前方或者后方，或者包括位于车身侧方。
示例性的，所述用于参与确定所述第一轮廓点集的车载雷达包括第一车载雷达和第二车载雷达，所述根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集，包括：
根据所述第一车载雷达在单发单收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
根据所述第二车载雷达在单发单收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第二距离；
根据所述第一车载雷达在一发多收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第三距离；或者，根据所述第二车载雷达在一发多收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第三距离；其中，所述一发多收模式是当前用于测距的车载雷达作为信号接收源，接收另一车载雷达发射的信号；
获取确定所述第一距离时所述第一车载雷达的第一位置，以及获取确定所述第二距离时所述第二车载雷达的第二位置；
根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集。
示例性的，所述根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点，包括：
利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述R1为所述第一距离，所述R2为所述第二距离，所述l为所述第三距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置。
示例性的，在所述障碍物的位置包括位于车身侧方的情况下，所述根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集，包括：
根据所述车载雷达在单发单收模式下的第一时刻的探测数据，确定所述车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
根据所述车载雷达在单发单收模式下的第二时刻的探测数据，确定所述车载雷达与所述障碍物的第二距离；
获取所述车载雷达在所述第一时刻的第一位置，以及获取所述车载雷达在所述第二时刻的第二位置；
根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集。
示例性的，所述根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点，包括：
利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述r1为所述第一距离，所述r2为所述第二距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置。
示例性的，所述对所述感兴趣区域进行识别，确定障碍物信息，包括：
对所述感兴趣区域进行识别，确定是否存在障碍物；
相应地，所述方法还包括：
如果确定不存在障碍物，则拒绝将所述车载雷达的探测数据用于驾驶决策中。
示例性的，所述对所述感兴趣区域进行识别，确定障碍物信息，包括：
对所述感兴趣区域进行识别，确定障碍物类型；其中，所述障碍物类型包括低矮障碍物或者非低矮障碍物；
相应地，所述方法还包括：
根据所述障碍物类型，确定驾驶决策。
示例性的，所述基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域，包括：
基于所述第二轮廓点集，确定障碍物边界线；
基于所述障碍物边界线和所述障碍物的预设尺寸信息，确定所述障碍物图像上的感兴趣区域。
示例性的，为实现上述目的，本申请还提供一种雷达数据和视觉信息融合处理装置，所述雷达数据和视觉信息融合处理装置包括：
第一确定模块，用于根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集；
投影模块，用于将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠；
第二确定模块，用于基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域；
第三确定模块，用于对所述感兴趣区域进行识别，确定障碍物信息。
示例性的，为实现上述目的，本申请还提供一种雷达数据和视觉信息融合处理装置，所述装置包括：
第一确定模块，用于根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集；
投影模块，用于将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠；
第二确定模块，用于基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域；
第三确定模块，用于对所述感兴趣区域进行识别，确定障碍物信息。
示例性的，用于参与确定所述第一轮廓点集的车载雷达的数量与障碍物的位置有关，所述障碍物的位置包括位于车辆行驶方向的前方或者后方，或者包括位于车身侧方；
所述用于参与确定所述第一轮廓点集的车载雷达包括第一车载雷达和第二车载雷达，所述第一确定模块，包括：
第一确定单元，用于根据所述第一车载雷达在单发单收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
第二确定单元，用于根据所述第二车载雷达在单发单收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第二距离；
第三确定单元，用于根据所述第一车载雷达在一发多收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第三距离；或者，根据所述第二车载雷达在一发多收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第三距离；其中，所述一发多收模式是当前用于测距的车载雷达作为信号接收源，接收另一车载雷达发射的信号；
第一获取单元，用于获取确定所述第一距离时所述第一车载雷达的第一位置，以及获取确定所述第二距离时所述第二车载雷达的第二位置；
第四确定单元，用于根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
第一聚类单元，用于对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集；
所述第四确定单元，包括：
第一确定子单元，用于利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述R1为所述第一距离，所述R2为所述第二距离，所述l为所述第三距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置；
在所述障碍物的位置包括位于车身侧方的情况下，所述第一确定模块，包括：
第五确定单元，用于根据所述车载雷达在单发单收模式下的第一时刻的探测数据，确定所述车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
第六确定单元，用于根据所述车载雷达在单发单收模式下的第二时刻的探测数据，确定所述车载雷达与所述障碍物的第二距离；
第二获取单元，用于获取所述车载雷达在所述第一时刻的第一位置，以及获取所述车载雷达在所述第二时刻的第二位置；
第七确定单元，用于根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
第二聚类单元，用于对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集；
所述第七确定单元，包括：
第二确定子单元，用于利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述r1为所述第一距离，所述r2为所述第二距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置；
所述第三确定模块，包括：
第一识别单元，用于对所述感兴趣区域进行识别，确定是否存在障碍物；
相应地，所述装置还包括：
判断模块，用于如果确定不存在障碍物，则拒绝将所述车载雷达的探测数据用于驾驶决策中；
所述第三确定模块，包括：
第二识别单元，用于对所述感兴趣区域进行识别，确定障碍物类型；其中，所述障碍物类型包括低矮障碍物或者非低矮障碍物；
相应地，所述装置还包括：
第四确定模块，用于根据所述障碍物类型，确定驾驶决策；
所述第二确定模块，包括：
第八确定单元，用于基于所述第二轮廓点集，确定障碍物边界线；
第九确定单元，用于基于所述障碍物边界线和所述障碍物的预设尺寸信息，确定所述障碍物图像上的感兴趣区域。
示例性的，为实现上述目的，本申请还提供一种雷达数据和视觉信息融合处理系统，所述系统包括：车载雷达、车载相机、和计算机设备，其中：
所述车载雷达用于探测车辆行驶环境中的障碍物；
所述车载相机用于采集车辆行驶环境中的障碍物图像；其中，所述车载雷达和所述车载相机的感知视角存在重叠；
所述计算机设备用于执行上述雷达数据和视觉信息融合处理方法的步骤。
示例性的，所述车载雷达包括超声波雷达或毫米波雷达；所述车载相机包括鱼眼相机。
示例性的，为实现上述目的，本申请还提供一种计算机设备，所述计算机设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的雷达数据和视觉信息融合处理程序，所述雷达数据和视觉信息融合处理程序被处理器执行时实现如上所述的雷达数据和视觉信息融合处理方法的步骤。
示例性的，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有雷达数据和视觉信息融合处理程序，所述雷达数据和视觉信息融合处理程序被处理器执行时实现如上所述的雷达数据和视觉信息融合处理方法的步骤。
与现有技术中，直接通过视觉检测的方式来确定感兴趣区域时，容易漏检纹理特征不明显的障碍物，并且对全图进行检测时，算力资源需求高，导致在行车时，安全性得不到保障相比，本申请通过车载雷达来探测障碍物，且将车载雷达探测得到的第一轮廓点集投影至车载相机采集的障碍物图像上，以确定感兴趣区域，并对感兴趣区域进行识别得到障碍物信息，即通过车载雷达与车载相机结合的方式来识别障碍物信息，避免了直接在车载相机采集的障碍物图像上全图检测障碍物，从而得以提高感兴趣区域的识别效率、降低图像识别时对算力资源的消耗，进而提高障碍物检出率，降低漏检的现象，提高行车安全性。例如在识别到存在的障碍物是低矮障碍物时，确定车辆可以越过障碍物则继续行进，避免了在车辆不可以越过障碍物时，由于障碍物漏检而导致未发现障碍物，还继续行车而导致车辆和障碍物发生碰撞，进而提高了行车安全性，又例如在泊车场景下，当识别到低矮障碍物时，还可以及时减速或刹停。
附图说明
图1是本申请实施例提供的雷达数据和视觉信息融合处理方法的流程示意图；
图2是本申请实施例方案涉及的车载雷达的一种探测盲区的示意图；
图3是本申请实施例方案涉及的在障碍物位于车辆行驶方向的前方或者后方时，通过两个车载雷达探测障碍物的过程示意图；
图4是本申请实施例方案涉及的在障碍物位于车身侧方时，通过一个车载雷达探测障碍物的过程示意图；
图5是本申请实施例方案涉及的计算机设备的一种结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种雷达数据和视觉信息融合处理方法，参照图1，图1为本申请实施例提供的雷达数据和视觉信息融合处理方法的流程示意图。
本申请实施例提供了雷达数据和视觉信息融合处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。雷达数据和视觉信息融合处理方法可用于车机或者车载计算设备中，为了便于描述，以下省略执行主体描述雷达数据和视觉信息融合处理方法的各个步骤，雷达数据和视觉信息融合处理方法包括：
步骤S110，根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集。
在本实施例中，所述第一轮廓点集用于表征障碍物的轮廓信息。一般地，在车辆行驶过程中或需要停泊过程中，可能会遇到障碍物，该障碍物包括低矮障碍物和非低矮障碍物，障碍物是否为低矮障碍物可以依据车辆是否可越过来确定，可以理解，车辆是否可越过障碍物还由车辆的自身参数(例如底盘高度)决定，具体的区分依据本实施例不作具体限定。
第一轮廓点集包括障碍物对应的多个轮廓点。
车载雷达的探测原理为确定发出电磁波和接收回波(遇到障碍物后返回)的时间差后，通过时间差和电磁波的波速计算出车载雷达与障碍物之间的距离，即探测数据至少包括时间差。
在一种可能的实施方式中，车载雷达包括超声波雷达或毫米波雷达。
在一种可能的实施方式中，在车辆的行进过程中，每间隔预设时长，通过车载雷达对障碍物进行一次探测，每次探测一帧的探测数据，在经过多次探测后，得到多帧累积的第一轮廓点集。
参照图2中的示例，考虑到车载雷达存在探测盲区，需要在车辆驶入车载雷达的探测盲区前，完成对障碍物的探测。
在一种可能的实施方式中，用于参与确定所述第一轮廓点集的车载雷达的数量与障碍物的位置有关，所述障碍物的位置包括位于车辆行驶方向的前方或者后方，或者包括位于车身侧方。
在本实施例中，障碍物位于车身侧方时，参与确定第一轮廓点集的车载雷达的数量可以为一个或多个；障碍物位于车辆行驶方向的前方或者后方时，参与确定第一轮廓点集的车载雷达的数量可以为两个或两个以上。
在一种可能的实施方式中，在障碍物位于车辆行驶方向的前方或者后方时，所述用于参与确定所述第一轮廓点集的车载雷达包括第一车载雷达和第二车载雷达，参照图3中的示例，图3为障碍物在车辆前方时，通过车载雷达对障碍物进行探测的过程，301为第一车载雷达、302为第二车载雷达，303和304为障碍物的轮廓点。
所述根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集，包括：
步骤a，根据所述第一车载雷达在单发单收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
步骤b，根据所述第二车载雷达在单发单收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第二距离；
步骤c，根据所述第一车载雷达在一发多收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第三距离；或者，根据所述第二车载雷达在一发多收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第三距离；其中，所述一发多收模式是当前用于测距的车载雷达作为信号接收源，接收另一车载雷达发射的信号；
步骤d，获取确定所述第一距离时所述第一车载雷达的第一位置，以及获取确定所述第二距离时所述第二车载雷达的第二位置。
在本实施例中，第一车载雷达和第二车载雷达分别设置于车辆的不同位置，相应地，在预先设定的二维坐标系中，第一车载雷达和第二车载雷达的位置坐标可以分别表示为第一位置(x1,y1)和第二位置(x2,y2)。示例性的例如该二维坐标系可以是：在水平面上，以车辆前进方向的垂直方向为水平方向；以垂直于该水平面的方向为竖直方向；以车头上的任意一点作为坐标原点，通过该水平方向、竖直方向和坐标原点建立平面直角坐标系。由于第一车载雷达和第二车载雷达的安装位置并不随车辆的行进而改变位置，在处于相同的坐标系下时，第一位置和第二位置之间的相对位置关系是固定不变的。预先设定的二维坐标系可以根据计算需求而选取，确保相关计算在同一坐标系下完成即可。
在一种可能的实施方式中，在第一车载雷达用于测距时，第一车载雷达发出的电磁波可以同时用于确定第一距离和第三距离，即第一距离的测距时刻和第三距离的测距时刻可以相同；在第二车载雷达用于测距时，第二车载雷达发出的电磁波可以同时用于确定第二距离和第三距离，即第二距离的测距时刻和第三距离的测距时刻可以相同，从而确保后续计算结果的准确性。
步骤e，根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点。
在本实施例中，在车辆驶入车载雷达的探测盲区前，可以通过三角定位法或栅格建图法的测距原理来确定障碍物的轮廓点。
在一种可能的实施方式中，所述根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点，包括：
步骤e1，利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述R1为所述第一距离，所述R2为所述第二距离，所述l为所述第三距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置。
示例性的，R1、R2和l均能反应车辆与障碍物的位置关系，但均不够准确，即r1或r2不能直接为R1、R2或l，而是需要通过公式
和
对r1和r2的值进行修正，从而提高确定车辆与障碍物的距离的准确性，进而提高轮廓点的准确性。
在一种可能的实施方式中，在通过栅格建图法来确定障碍物的轮廓点时，首先将车载雷达所在环境(能够探测的环境)划分为栅格，得到栅格图，通过第一位置确定第一车载雷达在栅格图中的位置，以第一位置在栅格图中画圆，半径为第一距离，确定第一车载雷达在栅格图中的击中点(电磁波的返回点)；通过第二位置确定第二车载雷达在栅格图中的位置，以第二位置在栅格图中画圆，半径为第二距离，确定第二车载雷达在栅格图中的击中点(电磁波的返回点)。从第一车载雷达在栅格图中的击中点和第二车载雷达在栅格图中的击中点中，确定被第一车载雷达和第二车载雷达共同击中的击中点，将共同击中的击中点作为轮廓点。
在一种可能的实施方式中，车载雷达为两个以上，可以通过类似上述车载雷达为两个的情况来求轮廓点(x，y)，即通过两两车载雷达分别求得多个轮廓点，之后可以通过求均值的方式最终确定轮廓点(x，y)。例如车载雷达为三个，分别为车载雷达1、车载雷达2和车载雷达3，由车载雷达1和车载雷达2求得轮廓点1(x1，y1)，由车载雷达1和车载雷达3求得轮廓点2(x2，y2)，由车载雷达2和车载雷达3求得轮廓点3(x3，y3)，最终确定轮廓点(x，y)为((x1+x2+x3)/3，(y1+y2+y3)/3)。
步骤f，对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集。
在本实施例中，第一轮廓点集的数量(即集合数量)可以和障碍物的数量相同，即一个障碍物对应一个第一轮廓点集；当然，第一轮廓点集也可以是对应车载雷达探测到的各个障碍物的轮廓点的集合。
对于同属于一个障碍物的轮廓点，会呈现聚集现象，即同属于一个障碍物的轮廓点的聚集程度要高于其他轮廓点的聚集程度。通过轮廓点的聚集程度，可以从探测得到的障碍物的轮廓点中区分出一个或多个障碍物对应的轮廓点的第一轮廓点集。同时，通过聚类处理，也可以对障碍物的轮廓点进行噪点去除，得到过滤噪点后的第一轮廓点集。在本申请实施例中，聚类方法包括但不限于K-Means(K均值聚类)、DBSCAN(Density-BasedSpatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)和GMM(Gaussian Mixture Model，高斯混合模型)等。
示例性的，对所述障碍物的轮廓点进行聚类处理可以包括：遍历所述障碍物的轮廓点；计算遍历到的轮廓点与所述障碍物的轮廓点中除所述遍历到的轮廓点之外的其他轮廓点之间的第四距离；基于所述第四距离，确定所述障碍物对应的第一轮廓点集。
示例性的，以聚类算法为DBSCAN(在使用时无需确定需要聚出多少个类，即无需指出存在多少个障碍物)为例，遍历的起点为障碍物的轮廓点的任意轮廓点，遍历的过程可以为随机遍历。以遍历到的轮廓点为圆心，确定在预设半径(取值视情况而定)的圆内的轮廓点数量；若轮廓点数量大于或等于预设轮廓点数量，则确定遍历到的轮廓点为第一中心点，并在遍历结束后，得到包括一个或多个第一中心点的中心点集合；若轮廓点数量小于预设轮廓点数量，则该轮廓点为噪点，其中，预设轮廓点数量可以根据需要设置，本实施例不作具体限定。
示例性的，若上述噪点在任一第一中心点对应的圆内，则该噪点为边缘点，若上述噪点未在任一第一中心点对应的圆内，则该噪点仍为噪点。第一轮廓点集由噪点之外的轮廓点组成，即第一中心点和边缘点用于表征障碍物，而噪点则不属于障碍物上的轮廓点。
示例性的，在障碍物为一个时，第一轮廓点集由第一中心点和边缘点组成。
示例性的，在障碍物为多个时，基于中心点集合对障碍物的轮廓点进行分类，得到表征障碍物的第一轮廓点集，该分类过程具体涉及步骤：从中心点集合中，确定属于同一障碍物的第二中心点；基于第二中心点，从障碍物的轮廓点中确定表征该障碍物的第一轮廓点集。
可以理解，中心点集合中的第一中心点包括多类第二中心点，对不同障碍物的轮廓点进行分类是基于第一中心点进行分类的，各障碍物对应的第一轮廓点集由相应的第二中心点和该第二中心点对应的边缘点组成。
在一种可能的实施方式中，在所述障碍物位于车身侧方时，通过一个车载雷达对障碍物进行探测，参照图4中的示例，图4为障碍物在车辆侧方时，通过车载雷达对障碍物进行探测的过程，401为车辆在某一时刻的位置，401'为车辆在另一时刻的位置，402为车载雷达在某一时刻时的位置，402'为车载雷达在另一时刻时的位置，403为车载雷达探测到的轮廓点。所述根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集，包括：
步骤g，根据所述车载雷达在单发单收模式下的第一时刻的探测数据，确定所述车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
步骤h，根据所述车载雷达在单发单收模式下的第二时刻的探测数据，确定所述车载雷达与所述障碍物的第二距离；
步骤i，获取所述车载雷达在所述第一时刻的第一位置，以及获取所述车载雷达在所述第二时刻的第二位置。
在本实施例中，在预先设定的二维坐标系中车载雷达在第一时刻的位置坐标可以表示为第一位置(x1,y1)、在第二时刻的位置坐标可以表示为第二位置(x2,y2)。
步骤j，根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点。
在本实施例中，在车辆驶入车载雷达的探测盲区前，可以通过三角定位法或栅格建图法的测距原理来确定障碍物的轮廓点。
在一种可能的实施方式中，在通过三角定位法确定障碍物的轮廓点时，所述根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点，包括：
步骤j1，利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述r1为所述第一距离，所述r2为所述第二距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置。
在本实施例中，在障碍物位于车辆行驶方向的前方或者后方时，仅通过一个车载雷达来确定障碍物的轮廓点时，轮廓点的确定容易不全面，例如车辆直线行驶，且障碍物在车辆行驶方向的前方，则车载雷达与障碍物之间的最短距离(最短距离对应的障碍物上的点为轮廓点)对应的连线和车辆行驶方向之间的角度基本不变或变动较小，导致轮廓点探测不全面，因此，需要通过两个或两个以上车载雷达来确定障碍物的轮廓点。
而在障碍物位于车身侧方时，上述连线和车辆行驶方向之间的角度的变化较大，因此能够探测到较为全面的轮廓点，使得能够通过一个车载雷达来确定轮廓点，而无需使用两个或两个以上的车载雷达来确定轮廓点，从而降低成本。
示例性的，在通过栅格建图法来确定障碍物的轮廓点时，首先将车载雷达所在环境(能够探测的环境)划分为栅格，得到栅格图，通过第一位置确定第一车载雷达在栅格图中的位置，以第一位置在栅格图中画圆，半径为第一距离，确定第一车载雷达在栅格图中的击中点(电磁波的返回点)，得到一轮廓点；通过第二位置确定第二车载雷达在栅格图中的位置，以第二位置在栅格图中画圆，半径为第二距离，确定第二车载雷达在栅格图中的击中点(电磁波的返回点)，得到另一轮廓点。
步骤k，对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集。
在本实施例中，在障碍物位于车身侧方时，对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集的实施方式，与上述在障碍物位于车辆行驶方向的前方或者后方时，对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集的实施方式基本相同，在此不再赘述。
在一种可能的实施方式中，在所述障碍物位于车身侧方时，同样可以通过两个或两个以上的车载雷达对障碍物进行探测，其探测过程的实施方式与上述在障碍物位于车辆行驶方向的前方或者后方时的实施方式基本相同，在此不再赘述。
步骤S120，将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠。
在本实施例中，车载相机在标定后，其图像空间对应的坐标系与车载雷达对应的坐标系之间存在对应关系，通过该对应关系，可以将第一轮廓点集投影至图像空间中，即将第一轮廓点集投影至车载相机采集的障碍物图像上，从而间接实现对障碍物图像中的障碍物进行定位，也即第二轮廓点集为障碍物在障碍物图像中的轮廓点集。
将第一轮廓点集投影至车载相机采集的障碍物图像上的过程具体涉及以下步骤：获取车载相机标定后的车载相机参数；基于车载相机参数对应的单应性矩阵，转换第一轮廓点集为第二轮廓点集。
其中，单应性矩阵H为：
其中，s为尺度因子(用于调整车载相机的图像缩放比例)，fx、fy、u0、v0、γ为车载相机内参，fx和fy表示焦距，u0和v0表示像主点坐标，γ表示坐标轴倾斜参数；α1、α2和t为车载相机外参，α1和α2表示旋转向量，t表示平移向量。车载相机参数包括车载相机内参和车载相机外参。
在转换过程中，通过单应性矩阵H将第一轮廓点集中的轮廓点的坐标(x,y)一一转换为图像空间中的坐标(u,v)，其转换过程通过下述公式实现：
步骤S130，基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域。
在本实施例中，通过第二轮廓点集中点的坐标，在图像空间中，确定感兴趣区域，示例性的，例如构造感兴趣区域的矩形框。感兴趣区域的几何形状不作具体限定。
示例性的，所述基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域，包括：
步骤l，基于所述第二轮廓点集，确定障碍物边界线；
步骤m，基于所述障碍物边界线和所述障碍物的预设尺寸信息，确定所述障碍物图像上的感兴趣区域。
在本实施例中，预设尺寸信息是与障碍物边界线在不同方向上的尺寸信息。
示例性的，感兴趣区域为三角形框，则在通过障碍物边界线确定感兴趣区域的一边后，预设尺寸信息为相邻边的边长和与障碍物边界线的夹角。
示例性的，感兴趣区域为矩形框，则在通过障碍物边界线确定感兴趣区域的宽度时，预设尺寸信息为预设长度、用于确定感兴趣区域的长度；在通过障碍物边界线确定感兴趣区域的长度时，预设尺寸信息为预设宽度、用于确定感兴趣区域的宽度。
以感兴趣区域为矩形框，通过障碍物边界线确定感兴趣区域的长度、通过预设尺寸信息确定感兴趣区域的宽度为例：通过障碍物对应的第二轮廓点集中各点在长度的方向(u方向)上的最大值(umax)和最小值(umin)确定长度，即障碍物在长度的方向上的范围为umun～umax，从而得到感兴趣区域的长度；获取障碍物对应的第二轮廓点集中各点在宽度的方向(v方向)上的最小值(vmin)，得到矩形框的长和宽的一交点(umin，vmin)或(umax，vmin)，再通过预设尺寸信息确定宽度，即可通过长度、宽度和交点得到矩形框。
步骤S140，对所述感兴趣区域进行识别，确定障碍物信息。
障碍物信息可以包括感兴趣区域是否存在障碍物，和/或，障碍物的类型等。关于障碍物识别可以参考现有图像识别原理实现，本申请实施例不作具体限定。
在一种可能的实施方式中，所述对所述感兴趣区域进行识别，确定障碍物信息，包括：
步骤n，对所述感兴趣区域进行识别，确定是否存在障碍物。
在本实施例中，对所述感兴趣区域进行识别，确定是否存在障碍物具体涉及以下步骤：将感兴趣区域对应的图像区域(例如可以通过图像截取方式得到)输入至预设障碍物分类模型，得到障碍物识别结果，并通过障碍物识别结果确定是否存在障碍物。
在一种可能的实施方式中，将感兴趣区域对应的图像区域输入至预设障碍物分类模型，得到障碍物识别结果之前，包括：
获取训练数据集和待训练模型。
在本实施例中，训练数据集为标注好的是否存在障碍物的图像样本或者标注好的障碍物类型的图像样本；预设障碍物分类模型通过分类算法构建得到，分类算法包括决策树算法、贝叶斯算法、支持向量机算法和DNN(Deep Neural Networks，深度卷积神经网络算法)等。
基于所述训练数据集对所述待训练模型进行迭代训练，得到更新后的待训练模型，并确定所述更新后的待训练模型是否满足预设迭代结束条件；
若所述更新后的待训练模型满足所述预设迭代结束条件，则将所述更新后的待训练模型作为所述预设障碍物分类模型；
若所述更新后的待训练模型未满足所述迭代结束条件，则返回基于所述训练数据集对所述待训练模型进行迭代训练步骤，直至所述更新后的待训练模型满足所述迭代结束条件。
在一种可能的实施方式中，每次得到更新后的待训练模型之后，都确定该更新后的待训练模型是否满足预设迭代结束条件，若更新后的待训练模型满足预设迭代结束条件，则迭代结束，并将最后一个更新后的待训练模型作为预设障碍物分类模型；若更新后的待训练模型未满足迭代结束条件，则说明更新后的待训练模型还未满足使用条件，并继续对更新后的待训练模型进行迭代训练更新，直至更新后的待训练模型满足迭代结束条件为止。
需要说明的是，迭代训练为多次通过上述训练数据集对待训练模型进行训练的过程，一般地，由待训练模型得到预设障碍物分类模型都需要经过多轮的训练更新。需要说明的是，预设迭代结束条件为：待训练模型或更新后的待训练模型的模型预测准确率达到预设准确率阈值。
相应地，所述方法还包括：
步骤o，如果确定不存在障碍物，则拒绝将所述车载雷达的探测数据用于驾驶决策中。
在本实施例中，若经图像识别确定车载雷达的探测区域(对应感兴趣区域)不存在障碍物，则此时车载雷达的探测数据属于干扰信息，例如误探地面、误探地下车库顶梁、受到其他超声波传感器同频干扰等产生的探测数据；若经图像识别确定车载雷达的探测区域(对应感兴趣区域)存在障碍物，则确定此时车载雷达的探测数据属于正常探测信息，并将探测数据用于驾驶决策中，确保车辆安全行进。
在一种可能的实施方式中，所述对所述感兴趣区域进行识别，确定障碍物信息，包括：
步骤p，对所述感兴趣区域进行识别，确定障碍物类型；其中，所述障碍物类型包括低矮障碍物或者非低矮障碍物。
在本实施例中，预设障碍物分类模型可以用于确定障碍物类型，对感兴趣区域进行识别，确定障碍物类型的实施方式与上述对所述感兴趣区域进行识别，确定是否存在障碍物的实施方式基本相同，在此不再赘述。
相应地，所述方法还包括：
步骤q，根据所述障碍物类型，确定驾驶决策。
在本实施例中，障碍物类型包括低矮障碍物和非低矮障碍物，根据不同的障碍物类型确定不同的驾驶决策。例如，在障碍物为低矮障碍物时，驾驶决策为确定车辆可以越过障碍物，即控制车辆越过障碍物，例如在泊车过程中越过关闭地锁、在泊车终态允许底盘越过路沿、在泊车过程中越过低矮纸箱等；在障碍物为非低矮障碍物时，驾驶决策为确定车辆不可以越过障碍物(例如在泊车过程中不能越过其他车辆、在泊车过程中不能越过无法越过的石墩等)，即控制车辆绕过该障碍物或者是停车。
与现有技术中，通过视觉检测的方式来确定感兴趣区域时，容易漏检纹理特征不明显的障碍物，并且对全图进行检测时，算力资源需求高，导致在行车时，安全性得不到保障相比，本申请通过车载雷达来探测障碍物，且将车载雷达探测得到的第一轮廓点集投影至车载相机采集的障碍物图像上，以确定感兴趣区域，并对感兴趣区域进行识别得到障碍物信息，即通过车载雷达与车载相机结合的方式来识别障碍物信息，避免了直接在车载相机采集的障碍物图像上全图检测障碍物，从而得以提高感兴趣区域的识别效率、降低图像识别时对算力资源的消耗，进而提高障碍物检出率，降低漏检的现象；同时也避免了通过纹理特征来确定障碍物信息，使得障碍物不会被漏检。例如在识别到存在的障碍物是低矮障碍物时，确定车辆可以越过障碍物则继续行进，避免了在车辆不可以越过障碍物时，由于障碍物漏检而导致未发现障碍物，还继续行车而导致车辆和障碍物发生碰撞，进而提高了行车安全性，又例如在泊车场景下，当识别到低矮障碍物时，还可以及时减速或刹停。
示例性的，本申请还提供一种雷达数据和视觉信息融合处理装置，该装置可以采用软件和/或硬件实现，该装置用于执行上述实施例提供的任一方法，所述装置包括：
第一确定模块，用于根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集；
投影模块，用于将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠；
第二确定模块，用于基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域；
第三确定模块，用于对所述感兴趣区域进行识别，确定障碍物信息。
示例性的，用于参与确定所述第一轮廓点集的车载雷达的数量与障碍物的位置有关，所述障碍物的位置包括位于车辆行驶方向的前方或者后方，或者包括位于车身侧方；
所述用于参与确定所述第一轮廓点集的车载雷达包括第一车载雷达和第二车载雷达，所述第一确定模块，包括：
第一确定单元，用于根据所述第一车载雷达在单发单收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
第二确定单元，用于根据所述第二车载雷达在单发单收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第二距离；
第三确定单元，用于根据所述第一车载雷达在一发多收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第三距离；或者，根据所述第二车载雷达在一发多收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第三距离；其中，所述一发多收模式是当前用于测距的车载雷达作为信号接收源，接收另一车载雷达发射的信号；
第一获取单元，用于获取确定所述第一距离时所述第一车载雷达的第一位置，以及获取确定所述第二距离时所述第二车载雷达的第二位置；
第四确定单元，用于根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
第一聚类单元，用于对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集；
所述第四确定单元，包括：
第一确定子单元，用于利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述R1为所述第一距离，所述R2为所述第二距离，所述l为所述第三距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置；
在所述障碍物的位置包括位于车身侧方的情况下，所述第一确定模块，包括：
第五确定单元，用于根据所述车载雷达在单发单收模式下的第一时刻的探测数据，确定所述车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
第六确定单元，用于根据所述车载雷达在单发单收模式下的第二时刻的探测数据，确定所述车载雷达与所述障碍物的第二距离；
第二获取单元，用于获取所述车载雷达在所述第一时刻的第一位置，以及获取所述车载雷达在所述第二时刻的第二位置；
第七确定单元，用于根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
第二聚类单元，用于对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集；
所述第七确定单元，包括：
第二确定子单元，用于利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述r1为所述第一距离，所述r2为所述第二距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置；
所述第三确定模块，包括：
第一识别单元，用于对所述感兴趣区域进行识别，确定是否存在障碍物；
相应地，所述装置还包括：
判断模块，用于如果确定不存在障碍物，则拒绝将所述车载雷达的探测数据用于驾驶决策中；
所述第三确定模块，包括：
第二识别单元，用于对所述感兴趣区域进行识别，确定障碍物类型；其中，所述障碍物类型包括低矮障碍物或者非低矮障碍物；
相应地，所述装置还包括：
第四确定模块，用于根据所述障碍物类型，确定驾驶决策；
所述第二确定模块，包括：
第八确定单元，用于基于所述第二轮廓点集，确定障碍物边界线；
第九确定单元，用于基于所述障碍物边界线和所述障碍物的预设尺寸信息，确定所述障碍物图像上的感兴趣区域。
本申请雷达数据和视觉信息融合处理装置具体实施方式与上述雷达数据和视觉信息融合处理方法各实施例属于相同的发明构思，该装置可以实现上述方法实施例中提供的各个技术效果，在此不再赘述。
此外，本申请还提供一种雷达数据和视觉信息融合处理系统，所述系统包括：车载雷达、车载相机、和计算机设备，其中：
所述车载雷达用于探测车辆行驶环境中的障碍物；
所述车载相机用于采集车辆行驶环境中的障碍物图像；其中，所述车载雷达和所述车载相机的感知视角存在重叠；
所述计算机设备用于执行上述雷达数据和视觉信息融合处理方法的步骤。
本申请雷达数据和视觉信息融合处理系统具体实施方式与上述雷达数据和视觉信息融合处理方法各实施例属于相同的发明构思，该系统可以实现上述方法实施例中提供的各个技术效果，在此不再赘述。
在一种可能的实施方式中，所述车载雷达包括超声波雷达或毫米波雷达；所述车载相机包括鱼眼相机。车载雷达和车载相机在车辆上的具体部署方式可以根据具体需求而定。
此外，本申请实施例还提供一种计算机设备。如图5所示，图5是本申请实施例方案涉及的计算设备的一种结构示意图。
如图5所示，该计算机设备可以包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501、通信接口502和存储器503通过通信总线504完成相互间的通信，存储器503，用于存放计算机程序；处理器501，用于执行存储器503上所存放的程序时，实现雷达数据和视觉信息融合处理方法的步骤。
上述计算机设备提到的通信总线504可以是外设部件互连标准(PeripheralComponentInterconnect,PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture,EISA)总线等。该通信总线504可以分为地址总线、数据总线和控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述计算机设备与其他设备之间的通信。
存储器503可以包括随机存取存储器(Random Access Memory,RMD),也可以包括非易失性存储器(Non-Volatile Memory,NM)，例如至少一个磁盘存储器。可选的，存储器503还可以是至少一个位于远离前述处理器501的存储装置。
上述的处理器501可以是通用处理器，包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等；还可以是数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请计算机设备具体实施方式与上述雷达数据和视觉信息融合处理方法各实施例基本相同，在此不再赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有雷达数据和视觉信息融合处理程序，所述雷达数据和视觉信息融合处理程序被处理器执行时实现如上所述的雷达数据和视觉信息融合处理方法的步骤。
本申请计算机可读存储介质具体实施方式与上述雷达数据和视觉信息融合处理方法属于相同的发明构思，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，设备，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (15)
1.一种雷达数据和视觉信息融合处理方法，其特征在于，所述方法包括：
根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集；
将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠；
基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域；
对所述感兴趣区域进行识别，确定障碍物信息。
2.如权利要求1所述的方法，其特征在于，用于参与确定所述第一轮廓点集的车载雷达的数量与障碍物的位置有关，所述障碍物的位置包括位于车辆行驶方向的前方或者后方，或者包括位于车身侧方。
3.如权利要求2所述的方法，其特征在于，所述用于参与确定所述第一轮廓点集的车载雷达包括第一车载雷达和第二车载雷达，所述根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集，包括：
根据所述第一车载雷达在单发单收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
根据所述第二车载雷达在单发单收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第二距离；
根据所述第一车载雷达在一发多收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第三距离；或者，根据所述第二车载雷达在一发多收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第三距离；其中，所述一发多收模式是当前用于测距的车载雷达作为信号接收源，接收另一车载雷达发射的信号；
获取确定所述第一距离时所述第一车载雷达的第一位置，以及获取确定所述第二距离时所述第二车载雷达的第二位置；
根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集。
4.如权利要求3所述的方法，其特征在于，所述根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点，包括：
利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述R1为所述第一距离，所述R2为所述第二距离，所述l为所述第三距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置。
5.如权利要求2所述的方法，其特征在于，在所述障碍物的位置包括位于车身侧方的情况下，所述根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集，包括：
根据所述车载雷达在单发单收模式下的第一时刻的探测数据，确定所述车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
根据所述车载雷达在单发单收模式下的第二时刻的探测数据，确定所述车载雷达与所述障碍物的第二距离；
获取所述车载雷达在所述第一时刻的第一位置，以及获取所述车载雷达在所述第二时刻的第二位置；
根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点，包括：
利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述r1为所述第一距离，所述r2为所述第二距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置。
7.如权利要求1所述的方法，其特征在于，所述对所述感兴趣区域进行识别，确定障碍物信息，包括：
对所述感兴趣区域进行识别，确定是否存在障碍物；
相应地，所述方法还包括：
如果确定不存在障碍物，则拒绝将所述车载雷达的探测数据用于驾驶决策中。
8.如权利要求1所述的方法，其特征在于，所述对所述感兴趣区域进行识别，确定障碍物信息，包括：
对所述感兴趣区域进行识别，确定障碍物类型；其中，所述障碍物类型包括低矮障碍物或者非低矮障碍物；
相应地，所述方法还包括：
根据所述障碍物类型，确定驾驶决策。
9.如权利要求1所述的方法，其特征在于，所述基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域，包括：
基于所述第二轮廓点集，确定障碍物边界线；
基于所述障碍物边界线和所述障碍物的预设尺寸信息，确定所述障碍物图像上的感兴趣区域。
10.一种雷达数据和视觉信息融合处理装置，其特征在于，所述装置包括：
第一确定模块，用于根据车载雷达的探测数据确定所述车载雷达探测到的障碍物的第一轮廓点集；
投影模块，用于将所述第一轮廓点集投影至车载相机采集的障碍物图像上，得到与所述第一轮廓点集对应的第二轮廓点集；其中，所述第一轮廓点集或第二轮廓点集用于表征障碍物的轮廓信息，所述车载雷达和所述车载相机的感知视角存在重叠；
第二确定模块，用于基于所述第二轮廓点集确定所述障碍物图像上的感兴趣区域；
第三确定模块，用于对所述感兴趣区域进行识别，确定障碍物信息。
11.如权利要求10所述的装置，其特征在于，用于参与确定所述第一轮廓点集的车载雷达的数量与障碍物的位置有关，所述障碍物的位置包括位于车辆行驶方向的前方或者后方，或者包括位于车身侧方；
所述用于参与确定所述第一轮廓点集的车载雷达包括第一车载雷达和第二车载雷达，所述第一确定模块，包括：
第一确定单元，用于根据所述第一车载雷达在单发单收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
第二确定单元，用于根据所述第二车载雷达在单发单收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第二距离；
第三确定单元，用于根据所述第一车载雷达在一发多收模式下的探测数据，确定所述第一车载雷达与所述障碍物的第三距离；或者，根据所述第二车载雷达在一发多收模式下的探测数据，确定所述第二车载雷达与所述障碍物的第三距离；其中，所述一发多收模式是当前用于测距的车载雷达作为信号接收源，接收另一车载雷达发射的信号；
第一获取单元，用于获取确定所述第一距离时所述第一车载雷达的第一位置，以及获取确定所述第二距离时所述第二车载雷达的第二位置；
第四确定单元，用于根据所述第一距离、所述第二距离、所述第三距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
第一聚类单元，用于对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集；
所述第四确定单元，包括：
第一确定子单元，用于利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述R1为所述第一距离，所述R2为所述第二距离，所述l为所述第三距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置；
在所述障碍物的位置包括位于车身侧方的情况下，所述第一确定模块，包括：
第五确定单元，用于根据所述车载雷达在单发单收模式下的第一时刻的探测数据，确定所述车载雷达与所述障碍物的第一距离；其中，所述单发单收模式是指同一车载雷达同时作为信号发射源和信号接收源；
第六确定单元，用于根据所述车载雷达在单发单收模式下的第二时刻的探测数据，确定所述车载雷达与所述障碍物的第二距离；
第二获取单元，用于获取所述车载雷达在所述第一时刻的第一位置，以及获取所述车载雷达在所述第二时刻的第二位置；
第七确定单元，用于根据所述第一距离、所述第二距离、所述第一位置和所述第二位置，确定所述障碍物的轮廓点；
第二聚类单元，用于对所述障碍物的轮廓点进行聚类处理，得到所述障碍物的第一轮廓点集；
所述第七确定单元，包括：
第二确定子单元，用于利用以下公式确定所述障碍物的轮廓点(x，y)：
其中，所述r1为所述第一距离，所述r2为所述第二距离，(x1，y1)为所述第一位置，(x2，y2)为所述第二位置；
所述第三确定模块，包括：
第一识别单元，用于对所述感兴趣区域进行识别，确定是否存在障碍物；
相应地，所述装置还包括：
判断模块，用于如果确定不存在障碍物，则拒绝将所述车载雷达的探测数据用于驾驶决策中；
所述第三确定模块，包括：
第二识别单元，用于对所述感兴趣区域进行识别，确定障碍物类型；其中，所述障碍物类型包括低矮障碍物或者非低矮障碍物；
相应地，所述装置还包括：
第四确定模块，用于根据所述障碍物类型，确定驾驶决策；
所述第二确定模块，包括：
第八确定单元，用于基于所述第二轮廓点集，确定障碍物边界线；
第九确定单元，用于基于所述障碍物边界线和所述障碍物的预设尺寸信息，确定所述障碍物图像上的感兴趣区域。
12.一种雷达数据和视觉信息融合处理系统，其特征在于，所述系统包括：车载雷达、车载相机、和计算机设备，其中：
所述车载雷达用于探测车辆行驶环境中的障碍物；
所述车载相机用于采集车辆行驶环境中的障碍物图像；其中，所述车载雷达和所述车载相机的感知视角存在重叠；
所述计算机设备用于执行上述权利要求1-9任一所述的方法。
13.如权利要求11所述的系统，其特征在于，所述车载雷达包括超声波雷达或毫米波雷达；所述车载相机包括鱼眼相机。
14.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序，以实现上述权利要求1-9任一所述的方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111595167.3A CN114325687A (zh) | 2021-12-22 | 2021-12-22 | 雷达数据和视觉信息融合处理方法、装置、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111595167.3A CN114325687A (zh) | 2021-12-22 | 2021-12-22 | 雷达数据和视觉信息融合处理方法、装置、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114325687A true CN114325687A (zh) | 2022-04-12 |
Family
ID=81012156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111595167.3A Pending CN114325687A (zh) | 2021-12-22 | 2021-12-22 | 雷达数据和视觉信息融合处理方法、装置、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114325687A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115390079A (zh) * | 2022-10-28 | 2022-11-25 | 杭州枕石智能科技有限公司 | 基于超声波距离信号的障碍物轮廓确定方法和装置 |
| CN115661366A (zh) * | 2022-12-05 | 2023-01-31 | 蔚来汽车科技(安徽)有限公司 | 用于构建三维场景模型的方法和图像处理装置 |
| CN118068338A (zh) * | 2024-04-22 | 2024-05-24 | 知行汽车科技(苏州)股份有限公司 | 一种障碍物的检测方法、装置、系统及介质 |
-
2021
- 2021-12-22 CN CN202111595167.3A patent/CN114325687A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115390079A (zh) * | 2022-10-28 | 2022-11-25 | 杭州枕石智能科技有限公司 | 基于超声波距离信号的障碍物轮廓确定方法和装置 |
| CN115661366A (zh) * | 2022-12-05 | 2023-01-31 | 蔚来汽车科技(安徽)有限公司 | 用于构建三维场景模型的方法和图像处理装置 |
| CN118068338A (zh) * | 2024-04-22 | 2024-05-24 | 知行汽车科技(苏州)股份有限公司 | 一种障碍物的检测方法、装置、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3627180B1 (en) | Sensor calibration method and device, computer device, medium, and vehicle | |
| CN114325687A (zh) | 雷达数据和视觉信息融合处理方法、装置、系统及设备 | |
| Suhr et al. | Sensor fusion-based vacant parking slot detection and tracking | |
| WO2018177026A1 (zh) | 确定道路边沿的装置和方法 | |
| CN103600707B (zh) | 一种智能泊车系统的泊车位检测装置及方法 | |
| US10591277B2 (en) | Method and system for measuring outermost dimension of a vehicle positioned at an inspection station | |
| CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
| CN110945534A (zh) | 稀有实例分类器 | |
| US11798187B2 (en) | Lane detection and distance estimation using single-view geometry | |
| JP6313081B2 (ja) | 車載用画像処理装置およびそれを用いた車両システム | |
| TWI604980B (zh) | 載具控制系統及載具控制方法 | |
| CN110008891B (zh) | 一种行人检测定位方法、装置、车载计算设备及存储介质 | |
| CN114080629A (zh) | 点云中的对象检测 | |
| US11677931B2 (en) | Automated real-time calibration | |
| CN113435237A (zh) | 物体状态识别装置、识别方法和识别用程序以及控制装置 | |
| CN114550142A (zh) | 基于4d毫米波雷达和图像识别融合的车位检测方法 | |
| US10970870B2 (en) | Object detection apparatus | |
| US20230215184A1 (en) | Systems and methods for mitigating mis-detections of tracked objects in the surrounding environment of a vehicle | |
| WO2020253764A1 (zh) | 确定行驶区域信息的方法及装置 | |
| CN115151836A (zh) | 用于探测车辆周围环境中的移动对象的方法和机动车辆 | |
| CN116486130A (zh) | 障碍物识别的方法、装置、自移动设备及存储介质 | |
| CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
| CN116022163A (zh) | 基于超局部子图的自动驾驶车辆扫描匹配和雷达姿态估计器 | |
| CN114779257A (zh) | 一种车位检测方法、装置、存储介质和车辆 | |
| US20240078814A1 (en) | Method and apparatus for modeling object, storage medium, and vehicle control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |