CN114359766A - 重叠区域的确定方法、目标检测方法、装置、设备和介质 - Google Patents

Abstract

本申请公开了一种重叠区域的确定方法、装置、计算机设备和存储介质，涉及道路检测技术领域。该重叠区域的确定方法包括获取毫米波雷达在所述毫米波雷达的第一覆盖区域进行检测得到的第一点云图像，在所述第一点云图像中确定车道线的第一端点的坐标；获取相机在所述相机的第二覆盖区域进行检测得到的第一监控视频流，基于所述第一监控视频流确定所述第一监控视频流中特定交通工具的行驶轨迹的第二端点的坐标；基于所述第一端点的坐标和所述第二端点的坐标，确定所述第一覆盖区域和所述第二覆盖区域的重叠区域，将所述重叠区域作为对象识别处理过程中的重叠区域。该方法确定的重叠区域更加准确。

Description

重叠区域的确定方法、目标检测方法、装置、设备和介质

技术领域

本公开实施例涉及道路检测技术领域，特别是涉及一种重叠区域的确定方法、目标检测方法、装置、设备和介质。

背景技术

随着城市车辆越来越多，对车辆行驶过程的监管难度越来越大，在实际应用中，常常需要对道路中的目标进行目标检测，获取路况信息。

传统技术中，对道路进行目标检测，通常是获取道路数据，利用预设的算法处理这些道路数据，得到目标检测结果。但是由于道路数据的数据量大，现有计算设备的算力有限，因此，数据处理效率较低，而交通检测对时延要求较高，因此亟需一种数据处理效率高的交通数据处理方法。

发明内容

基于此，有必要针对上述方法中存在的问题，提供一种重叠区域的确定方法、目标检测方法、装置、设备和介质。

一种重叠区域的确定方法，该方法包括：

获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；

根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

在本申请的一个实施例中，该方法还包括：

利用标定参数将毫米波点云图像中的至少一条车道线映射至视频流的像素坐标系下，以使车道线和动态目标处于同一坐标系下。

在本申请的一个实施例中，根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘，包括：

获取像素坐标系下各车道线的近端端点；近端端点为空间上靠近毫米波雷达设置位置的端点；

获取行驶轨迹的远端端点；远端端点为空间上远离相机设置位置的端点；

根据行驶轨迹、各近端端点和远端端点获取横向边缘和纵向边缘。

在本申请的一个实施例中，横向边缘包括第一横向边缘和第二横向边缘，根据行驶轨迹、各近端端点和远端端点获取横向边缘和纵向边缘，包括：

利用预设拟合算法拟合各近端端点得到第一横向边缘；

根据经过远端端点的车道线的垂线或者根据经过远端端点的第一横向边缘的平行线确定第二横向边缘。

在本申请的一个实施例中，动态目标为多个，纵向边缘包括第一纵向边缘和第二纵向边缘，根据行驶轨迹、各近端端点和远端端点获取横向边缘和纵向边缘，包括：

获取最外侧的两条行驶轨迹作为候选纵向边缘；

利用最小二乘法拟合候选纵向边缘得到第一纵向边缘和第二纵向边缘。

在本申请的一个实施例中，该方法还包括：

对视频流进行分帧处理，得到多帧图像；

利用图像检测算法和图像追踪算法处理多帧图像，得到视频流中的动态目标以及各动态目标的行驶轨迹。

在本申请的一个实施例中，获取最外侧的两条行驶轨迹作为候选纵向边缘，包括：

获取多条行驶轨迹中的更趋近直线的行驶轨迹中的最外侧的行驶轨迹，作为候选纵向边缘。

一种目标检测方法，该方法包括：

获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取；

对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果；

根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果；

根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

一种重叠区域的确定装置，该装置包括：

获取模块，用于获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

边缘确定模块，用于根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；

重叠区域确定模块，用于根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

一种目标检测装置，该装置包括：

获取模块，用于获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

确定模块，用于根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取；

第一融合模块，用于对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果；

第二融合模块，用于根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果；

处理模块，用于根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现以下步骤：

获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；

根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现以下步骤：

获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取；

对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果；

根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果；

根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；

根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取；

对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果；

根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果；

根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

本申请实施例提供的技术方案带来的有益效果至少包括：

上述重叠区域的确定方法、目标检测方法、装置、设备和介质，可以提高重叠区域的准确性。该重叠区域的确定方法包括获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。本实施的方法确定重叠区域更加准确，因此基于该重叠区域进行多传感数据融合以及目标检测，所使用的数据更加精确，因此，得到的多传感数据融合结果更加精细，进行目标检测的数据处理效率更高。

附图说明

图1为本申请实施例提供的重叠区域的确定方法的实施环境的示意图；

图2为本申请实施例提供的一种图像畸变示意图；

图3为本申请实施例提供的一种重叠区域的确定方法的流程图；

图4为本申请实施例提供的另一种重叠区域的确定方法的流程图；

图5为本申请实施例提供的重叠区域的示意图；

图6为本申请实施例提供的多条车道线的示意图；

图7为本申请实施例提供的重叠区域的示意图；

图8为本申请实施例提供的一种目标检测方法的流程图；

图9为本申请实施例提供的一种重叠区域的确定装置的框图；

图10为本申请实施例提供的一种目标检测装置的框图；

图11为本申请实施例提供的一种计算机设备的内部结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在其中一个实施例提供了一种重叠区域的确定方法，该方法包括获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。本实施的方法确定重叠区域更加准确，因此基于该重叠区域进行多传感数据融合以及目标检测，所使用的数据更加精确，因此，得到的多传感数据融合结果更加精细，进行目标检测的数据处理效率更高。

下面，将对本申请实施例提供的重叠区域的确定方法所涉及到的实施环境进行简要说明。

图1为上述重叠区域的确定方法适用的路侧感知系统，如图1所示，该路侧感知系统可以包括毫米波雷达101、相机102和路侧单元(英文：Road Side Unit，简称：RSU)103。其中，虚线表示车道线，一般而言，毫米波雷达101和相机102距离地面的高度为4～6米，通过较高的高度可以扩大毫米波雷达101和相机102的覆盖范围。毫米波雷达101和相机102的检测区域存在重叠，该重叠的范围被称之为重叠区域。毫米波雷达具有测距远，测速准的优点，但是毫米波雷达对目标进行分类的能力较弱，有时甚至将一个目标识别成两个；而相机采集的视频流则可以用于识别目标类型，但对目标的距离、速度的识别能力较弱。

一般而言，毫米波雷达的检测范围大约为距离毫米波雷达所在位置30～300米的范围，相机的检测范围大约为距离相机所在位置4～120米的范围。

路侧感知系统可以对获取的毫米波点云数据与相机图像或视频流进行融合处理，进行融合处理需进行下述操作：

1.系统安装初始化：毫米波雷达和相机安装好之后，需要调整毫米波雷达和相机的采样频率，使得毫米波雷达和相机的采样频率相同或者近似相同。例如，可以调整毫米波雷达和相机的采样频率之差小于频率阈值。以实现毫米波雷达和相机采集数据的时间同步。

2.数据时间同步：对毫米波雷达和相机的采样频率进行调整之后，实现毫米波雷达和相机进行时间同步处理的过程包括：实时获取毫米波雷达和相机精确到毫秒的时间戳t1、t2(如果不能直接获取，可以通过时间轴匹配转换转成同一时间轴下的时间戳，基准时间轴为t，根据时间轴转换差值Δt，转换时间t’＝t-Δt)；然后计算时间戳差值的绝对值|tx-ty|并判断是否小于某一设定好的固定值δ，例如可以设定为δ＝10ms；若绝对值小于δ，则认为这两帧数据为同一时刻获取到的；若绝对值大于δ，则按照一定的帧率寻找下一帧进行时间匹配。需要说明的是，本实施例只是提供一种进行数据时间同步的方案，实际数据处理时也可以采用其他方式进行时间同步处理，本申请对此不进行限制。

3.系统标定：在其中一个实施例中提出一种系统标定方法，以获取路侧感知系统的标定参数。获取相机的内参，相机内参定义：相机内参是将相机坐标系下的三维坐标点投影成像平面，主要包括内参矩阵和畸变系数。

其中，内参矩阵可以表示为：

其中，内参矩阵内各值只与相机内部参数有关，且不随物体位置变化而变化。其中，f表示焦距，dx、dy表示像素/每毫米，u0、v0表示图像坐标系中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。

其中，畸变系数可以消除相机凸透镜的畸变效应，主要包括径向畸变和切向畸变。径向畸变为由于透镜形状的制造工艺导致，包括桶形畸变和枕形畸变，如图2所示。

径向畸变系数可以表示如下：

切向畸变系数可以表示如下：

其中，k1、k2、k3、p1和p2为畸变参数。

可以根据相机的内参矩阵、毫米波雷达相对于所述相机的初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到映射点云；之后计算标定物在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标，所述点云目标框为基于所述映射点云中的标定物在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行图像识别所得的所述标定物的目标框；基于各标定物对应的所述重叠面积调整所述初始联合标定参数直到所述重叠面积满足预设阈值，输出调整后的联合标定参数作为所述毫米波雷达相对于所述相机的目标联合标定参数。该目标联合标定参数用于将毫米波点云数据与相机数据进行空间同步。

请参考图3，其示出了本申请实施例提供的一种重叠区域的确定方法的流程图，该重叠区域的确定方法可以应用于图1所示的路侧感知系统中的路侧单元中，该重叠区域的确定方法包括：

步骤301，路侧单元获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流。

本申请实施例中，毫米波雷达可以发射电磁波扫描毫米波雷达的整个检测区域，毫米波雷达检测区域内所有目标反射回波信号被雷达接收到，毫米波雷达收到回波信号，对回波信号进行处理后得到毫米波点云图像，并将毫米波点云图像发送给路侧单元。本申请实施例中，安装在道路侧的相机可以获取相机检测区域的视频流。

步骤302，路侧单元根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘。

其中，车道线与动态目标处于同一坐标系下。

本申请实施例中，路侧单元获取毫米波点云图像中的至少一条车道线的过程可以包括以下内容：在毫米波雷达检测区域内存在至少一条车道线，路侧单元可以根据毫米波点云图像获取该至少一条车道线上的各个离散点的坐标，通过对各离散点进行拟合得到连续的车道线。

本申请实施例中，路侧单元获取视频流中的动态目标的行驶轨迹的过程可以包括以下内容：视频流中的动态目标可以是例如是特定交通工具。该视频流中包括该动态目标的车头进入相机检测区域的图像帧以及该动态目标的车尾离开相机检测区域的图像帧。其中，路侧单元可以将视频流进行分帧处理，得到多帧图像。然后利用图像检测算法和图像追踪算法处理该多帧图像，得到该视频流中的动态目标以及各动态目标的行驶轨迹。可选的，本申请实施例中，路侧单元可以采用opencv将视频流分帧为多帧图像。可选的，本申请实施例中，图像追踪算法可以例如是行人重识别算法，该图像检测算法可以例如是Yolo目标检测算法。

本申请实施例中，路侧单元可以根据毫米波点云图像中的至少一条车道线确定重叠区域的横向边缘，根据视频流中的动态目标的行驶轨迹确定重叠区域的纵向边缘。

进一步的，由于毫米波点云图像中车道线的三维坐标是在毫米雷达坐标系下的，而视频流中动态目标的二维坐标是在像素坐标系下的，为了确定重叠区域，需要将车道线和动态目标统一到同一个坐标系下。本申请实施例中，路侧单元可以利用标定参数将毫米波点云图像中的至少一条车道线映射至视频流的像素坐标系下，以使车道线和动态目标处于同一坐标系下。

需要说明的是，下述各个实施例中，默认车道线和动态目标的坐标均处于同一像素坐标系下。

步骤303，路侧单元根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

本申请实施例中，横向边缘和纵向边缘围成的区域为毫米波雷达检测区域与相机检测区域之间的重叠区域。

本申请实施例提供的重叠区域的确定方法包括获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。本实施的方法确定重叠区域更加准确，因此基于该重叠区域进行多传感数据融合以及目标检测，所使用的数据更加精确，因此，得到的多传感数据融合结果更加精细，进行目标检测的数据处理效率更高。

在一种可选的实现方式中，如图4所示，本申请实施例提供另一种重叠区域的确定方法，该方法可以包括以下内容：

步骤401，路侧单元获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流。

步骤402，路侧单元获取像素坐标系下各车道线的近端端点。

其中，近端端点为空间上靠近毫米波雷达设置位置的端点。

本申请实施例中，车道线是由离散点组成的，可以通过比较车道线上的各离散点的坐标确定出车道线上距离毫米波雷达设置位置最近的点，该最近的点即为车道线的近端端点。

步骤403，路侧单元获取行驶轨迹的远端端点。

其中，远端端点为空间上远离相机设置位置的端点。

可选的，本申请实施例中，远端端点为行驶轨迹上距离相机设置位置最远的点，远端端点为相机所能检测到的最远位置的点。

可选的，动态目标的行驶轨迹可以有多个，其中，动态目标可以被控制多次在相机检测区域的两侧边缘位置沿直线行驶，从而得到多个行驶轨迹。对于每个行驶轨迹，路侧单元可以检测到该行驶轨迹上距离相机设置位置最远的点，从而得到多个远端端点。

步骤404，路侧单元根据行驶轨迹、各近端端点和远端端点获取横向边缘和纵向边缘。

本申请实施例中，近端端点对应毫米波雷达检测区域的起始位置，远端端点对应相机检测区域的结束位置。如图5所示，其中，毫米波雷达检测区域用AB线段表示，相机检测区域用CD线段表示，其中，C表述近端端点，B表述远端端点。近端端点和远端端点之间区域为重叠区域。

在一种可选的实现方式中，路侧单元可以根据各近端端点和远端端点确定出横向边缘。过程如下：

可选的，本申请实施例中，横向边缘可以包括第一横向边缘和第二横向边缘，路侧单元可以利用预设拟合算法拟合各近端端点得到第一横向边缘，然后根据经过远端端点的车道线的垂线或者根据经过远端端点的第一横向边缘的平行线确定第二横向边缘。

其中，如图6所示，示例性地示出了5条车道线，分别用点划线表示，其中A1、A2、A3、A4和A5表示各车道线的近端端点，路侧单元可以将两个相邻的近端端点相连，得到候选直线，其中，候选直线可以如图6中的虚线所示。路侧单元可以对候选直线进行锐化处理，得到第一横向边缘，第一横向边缘可以如图5中的实线所示。

可选的，在得到第一横向边缘的基础上，路侧单元可以生成一条经过远端端点，且垂直于车道线的垂线，并将该垂线确定为第二横向边缘。

可选的，在远端端点为多个的情况下，路侧单元可以将相邻的远端端点连接，得到候选直线，然后对候选直线进行锐化处理，得到第二横向边缘。

在一种可选的实现方式中，动态目标的行驶轨迹至少包括两条，该至少两条行驶轨迹分别位于相机检测区域的两侧边缘位置，路侧单元可以从该至少两条行驶轨迹中选择出两条作为重叠区域的纵向边缘。

在一种可选的实现方式中，动态目标为多个，纵向边缘包括第一纵向边缘和第二纵向边缘，路侧单元根据行驶轨迹确定出横向边缘的过程可以是：多个动态目标可以被控制沿着相机检测区域的两侧边缘位置多次反复地按照沿直线行驶，从而得到多条行驶轨迹。路侧单元可以从该至少两条行驶轨迹中选择出两条分别作为第一纵向边缘和第二纵向边缘。

可选的，路侧单元可以获取最外侧的两条行驶轨迹作为候选纵向边缘，然后利用最小二乘法拟合候选纵向边缘得到第一纵向边缘和第二纵向边缘。

可选的，路侧单元获取最外侧的两条行驶轨迹作为候选纵向边缘的过程可以包括以下内容：获取多条行驶轨迹中的更趋近直线的行驶轨迹中的最外侧的行驶轨迹，作为所述候选纵向边缘。其中，路侧单元可以检测多条行驶轨迹的直线度，直线度越高表示该行驶轨迹更趋近直线，将直线度大于阈值的行驶轨迹作为候选行驶轨迹，然后从候选行驶轨迹中获取最外侧的行驶轨迹作为候选纵向边缘。

步骤405，路侧单元根据第一横向边缘、第二横向边缘、第一纵向边缘和第二纵向边缘围成的区域形成重叠区域。

如图7所示，图7中示出了第一纵向边缘L1和第二纵向边缘L2，以及第一横向边缘L3和第二横向边缘L4。

路侧单元可以获取第一横向边缘L3与第一纵向边缘L1和第二纵向边缘L2的两个第一目标交点在像素坐标系下的坐标，以及获取第二横向边缘L4与第一纵向边缘L1和第二纵向边缘L2的两个第二目标交点在像素坐标系下的坐标，根据两个第一目标交点在像素坐标系下的坐标以及两个第二目标交点在像素坐标系下的坐标确定出重叠区域的范围。

本申请实施例中，通过近端端点确定第一横向边缘，通过远端端点确定第二横向边缘，然后通过最外侧的行驶轨迹确定第一纵向边缘和第二纵向边缘，再通过第一横向边缘、第二横向边缘、第一纵向边缘和第二纵向边缘围成的区域确定重叠区域，一方面结合毫米波雷达和相机的实际检测数据确定重叠区域，使得重叠区域更加准确。另一方面，对处于重叠区域内的目标，可以直接利用点云检测结果和图像检测结果融合得到目标信息，提高了获取目标信息的数据处理效率和准确性。

请参考图8，其示出了本申请实施例提供的一种目标检测方法的流程图，该目标检测方法可以应用于图1所示的路侧单元中，该重叠区域的确定方法包括：

步骤801，路侧单元获取同一时间、同一场景下的毫米波雷达点云图像和相机图像。

步骤802，路侧单元根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取。

本申请实施例，路侧单元可以确定点云图像处于重叠区域内的部分，即获取重叠点云图像。

路侧单元可以从相机图像中确定处于重叠区域内的部分，即获取重叠相机图像。

步骤803，路侧单元对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果。

本申请实施例中，路侧单元对重叠相机图像和重叠点云图像进行融合处理。

本申请实施例中，融合检测结果包括处于重叠区域内的各个目标的目标信息。

步骤804，路侧单元根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果。

本申请实施例中，路侧单元可以根据非重叠点云图像获取在重叠区域之外，且在毫米波雷达检测区域内的目标的目标信息，其中，在重叠区域之外，且在毫米波雷达检测区域内的目标的目标信息是基于点云目标信息确定的。

路侧单元可以根据非重叠相机图像获取在重叠区域之外，且在相机检测区域内的目标的目标信息，其中，在重叠区域之外，且在相机检测区域内的目标的目标信息是基于相机目标信息确定的。

步骤805，路侧单元根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

本申请实施例中，路侧单元可以将位于非重叠点云图像中的目标的目标信息、位于重叠区域中的目标的目标信息以及位于非重叠相机图像中的目标的目标信息组合起来，得到毫米波雷达检测区域以及相机检测区域内的目标检测结果。

本申请实施例提供的目标检测方法，将系统感知区域进行划分，在远端利用毫米波雷达的点云进行感知，在近端利用相机图像进行感知，在两个传感器的重叠区域，进行融合感知，因此本实施例的目标检测方法感知范围更广(除融合段以外，还包含非融合段的检测结果)，且本实施的目标检测方法应用了上述实施例中的方法确定重叠区域，确定的重叠区域更加准确，因此基于该重叠区域进行多传感数据融合以及目标检测，所使用的数据更加精确，因此，得到的多传感数据融合结果更加精细，进行目标检测的数据处理效率更高。

应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

请参考图9，其示出了本申请实施例提供的一种重叠区域的确定装置的框图，该重叠区域的确定装置可以配置在图1所示实施环境中的路侧单元中，如图8所示，该重叠区域的确定装置可以包括获取模块901，边缘确定模块902和重叠区域确定模块903，其中：

获取模块901，用于获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

边缘确定模块902，用于根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；

重叠区域确定模块903，用于根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

在本申请的一个实施例中，该边缘确定模块902还用于：

利用标定参数将毫米波点云图像中的至少一条车道线映射至视频流的像素坐标系下，以使车道线和动态目标处于同一坐标系下。

在本申请的一个实施例中，该边缘确定模块902还用于：

获取像素坐标系下各车道线的近端端点；近端端点为空间上靠近毫米波雷达设置位置的端点；

获取行驶轨迹的远端端点；远端端点为空间上远离相机设置位置的端点；

根据行驶轨迹、各近端端点和远端端点获取横向边缘和纵向边缘。

在本申请的一个实施例中，横向边缘包括第一横向边缘和第二横向边缘，该边缘确定模块902还用于：

利用预设拟合算法拟合各近端端点得到第一横向边缘；

根据经过远端端点的车道线的垂线或者根据经过远端端点的第一横向边缘的平行线确定第二横向边缘。

在本申请的一个实施例中，动态目标为多个，纵向边缘包括第一纵向边缘和第二纵向边缘，该边缘确定模块902还用于：

获取最外侧的两条行驶轨迹作为候选纵向边缘；

利用最小二乘法拟合候选纵向边缘得到第一纵向边缘和第二纵向边缘。

在本申请的一个实施例中，该边缘确定模块902还用于：

对视频流进行分帧处理，得到多帧图像；

利用图像检测算法和图像追踪算法处理多帧图像，得到视频流中的动态目标以及各动态目标的行驶轨迹。

在本申请的一个实施例中，该边缘确定模块902还用于：

获取多条行驶轨迹中的更趋近直线的行驶轨迹中的最外侧的行驶轨迹，作为候选纵向边缘。

关于重叠区域的确定装置的具体限定可以参见上文中对于重叠区域的确定方法的限定，在此不再赘述。上述重叠区域的确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

请参考图10，其示出了本申请实施例提供的一种目标检测装置的框图，该目标检测装置可以配置在图1所示实施环境中的路侧单元中，如图10所示，该目标检测装置可以包括获取模块1001，确定模块1002，第一融合模块1003，第二融合模块1004和处理模块1005，其中：

获取模块1001，用于获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

确定模块1002，用于根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取；

第一融合模块1003，用于对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果；

第二融合模块1004，用于根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果；

处理模块1005，用于根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在本申请的一个实施例中，提供了一种计算机设备，该计算机设备可以为路侧单元，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该数据库可以用于存储预设的第一坐标转换矩阵和第二坐标转换矩阵，该计算机程序被处理器执行时以实现一种重叠区域的确定方法。或者，该计算机程序被处理器执行时以实现一种目标检测方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请的一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；

根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

利用标定参数将毫米波点云图像中的至少一条车道线映射至视频流的像素坐标系下，以使车道线和动态目标处于同一坐标系下。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取像素坐标系下各车道线的近端端点；近端端点为空间上靠近毫米波雷达设置位置的端点；

获取行驶轨迹的远端端点；远端端点为空间上远离相机设置位置的端点；

根据行驶轨迹、各近端端点和远端端点获取横向边缘和纵向边缘。

在本申请的一个实施例中，横向边缘包括第一横向边缘和第二横向边缘，处理器执行计算机程序时还实现以下步骤：

利用预设拟合算法拟合各近端端点得到第一横向边缘；

根据经过远端端点的车道线的垂线或者根据经过远端端点的第一横向边缘的平行线确定第二横向边缘。

在本申请的一个实施例中，动态目标为多个，纵向边缘包括第一纵向边缘和第二纵向边缘，处理器执行计算机程序时还实现以下步骤：

获取最外侧的两条行驶轨迹作为候选纵向边缘；

利用最小二乘法拟合候选纵向边缘得到第一纵向边缘和第二纵向边缘。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

对视频流进行分帧处理，得到多帧图像；

利用图像检测算法和图像追踪算法处理多帧图像，得到视频流中的动态目标以及各动态目标的行驶轨迹。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取多条行驶轨迹中的更趋近直线的行驶轨迹中的最外侧的行驶轨迹，作为候选纵向边缘。

本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在本申请的一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取；

对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果；

根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果；

根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

根据毫米波点云图像中的至少一条车道线以及视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；车道线与动态目标处于同一坐标系下；

根据横向边缘和纵向边缘确定毫米波雷达检测区域与相机检测区域之间的重叠区域。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：利用标定参数将毫米波点云图像中的至少一条车道线映射至视频流的像素坐标系下，以使车道线和动态目标处于同一坐标系下。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取像素坐标系下各车道线的近端端点；近端端点为空间上靠近毫米波雷达设置位置的端点；

获取行驶轨迹的远端端点；远端端点为空间上远离相机设置位置的端点；

根据行驶轨迹、各近端端点和远端端点获取横向边缘和纵向边缘。

在本申请的一个实施例中，横向边缘包括第一横向边缘和第二横向边缘，计算机程序被处理器执行时还可以实现以下步骤：利用预设拟合算法拟合各近端端点得到第一横向边缘；

根据经过远端端点的车道线的垂线或者根据经过远端端点的第一横向边缘的平行线确定第二横向边缘。

在本申请的一个实施例中，动态目标为多个，纵向边缘包括第一纵向边缘和第二纵向边缘，计算机程序被处理器执行时还可以实现以下步骤：

获取最外侧的两条行驶轨迹作为候选纵向边缘；

利用最小二乘法拟合候选纵向边缘得到第一纵向边缘和第二纵向边缘。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：对视频流进行分帧处理，得到多帧图像；

利用图像检测算法和图像追踪算法处理多帧图像，得到视频流中的动态目标以及各动态目标的行驶轨迹。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取多条行驶轨迹中的更趋近直线的行驶轨迹中的最外侧的行驶轨迹，作为候选纵向边缘。

本申请实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

根据重叠区域从点云图像中确定重叠点云图像和非重叠点云图像，以及根据重叠区域从相机图像中确定重叠相机图像和非重叠相机图像；其中，重叠区域根据上述实施例所述的重叠区域的确定方法获取；

对重叠相机图像和重叠点云图像进行融合处理，得到融合图像，根据融合图像获取融合检测结果；

根据非重叠点云图像获取点云检测结果，根据非重叠相机图像获取相机图像检测结果；

根据点云图像、融合图像以及相机图像对应的位置信息对融合检测结果、点云检测结果和相机图像检测结果进行处理，得到目标检测结果。

本申请实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种重叠区域的确定方法，其特征在于，所述方法包括：

获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

根据所述毫米波点云图像中的至少一条车道线以及所述视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；所述车道线与所述动态目标处于同一坐标系下；

根据所述横向边缘和所述纵向边缘确定所述毫米波雷达检测区域与所述相机检测区域之间的重叠区域。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用标定参数将所述毫米波点云图像中的至少一条车道线映射至所述视频流的像素坐标系下，以使所述车道线和所述动态目标处于同一坐标系下。

3.根据权利要求2所述的方法，其特征在于，所述根据所述毫米波点云图像中的至少一条车道线以及所述视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘，包括：

获取像素坐标系下各所述车道线的近端端点；所述近端端点为空间上靠近所述毫米波雷达设置位置的端点；

获取所述行驶轨迹的远端端点；所述远端端点为空间上远离所述相机设置位置的端点；

根据所述行驶轨迹、各所述近端端点和所述远端端点获取所述横向边缘和所述纵向边缘。

4.根据权利要求3所述的方法，其特征在于，所述横向边缘包括第一横向边缘和第二横向边缘，所述根据所述行驶轨迹、各所述近端端点和所述远端端点获取所述横向边缘和所述纵向边缘，包括：

利用预设拟合算法拟合各所述近端端点得到所述第一横向边缘；

根据经过所述远端端点的所述车道线的垂线或者根据经过所述远端端点的所述第一横向边缘的平行线确定所述第二横向边缘。

5.根据权利要求3或4所述的方法，其特征在于，所述动态目标为多个，所述纵向边缘包括第一纵向边缘和第二纵向边缘，所述根据所述行驶轨迹、各所述近端端点和所述远端端点获取所述横向边缘和所述纵向边缘，包括：

获取最外侧的两条行驶轨迹作为候选纵向边缘；

利用最小二乘法拟合所述候选纵向边缘得到所述第一纵向边缘和所述第二纵向边缘。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述视频流进行分帧处理，得到多帧图像；

利用图像检测算法和图像追踪算法处理所述多帧图像，得到所述视频流中的动态目标以及各动态目标的行驶轨迹。

7.根据权利要求5所述的方法，其特征在于，所述获取最外侧的两条行驶轨迹作为候选纵向边缘，包括：

获取多条行驶轨迹中的更趋近直线的行驶轨迹中的最外侧的行驶轨迹，作为所述候选纵向边缘。

8.一种目标检测方法，其特征在于，所述方法包括：

获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

根据重叠区域从所述点云图像中确定重叠点云图像和非重叠点云图像，以及根据所述重叠区域从所述相机图像中确定重叠相机图像和非重叠相机图像；其中，所述重叠区域根据如权利要求1-7任意一项所述的重叠区域的确定方法获取；

对所述重叠相机图像和所述重叠点云图像进行融合处理，得到融合图像，根据所述融合图像获取融合检测结果；

根据所述非重叠点云图像获取点云检测结果，根据所述非重叠相机图像获取相机图像检测结果；

根据所述点云图像、所述融合图像以及所述相机图像对应的位置信息对所述融合检测结果、所述点云检测结果和所述相机图像检测结果进行处理，得到目标检测结果。

9.一种重叠区域的确定装置，其特征在于，所述装置包括：

获取模块，用于获取毫米波雷达检测区域的毫米波点云图像，以及相机检测区域的视频流；

边缘确定模块，用于根据所述毫米波点云图像中的至少一条车道线以及所述视频流中的动态目标的行驶轨迹确定重叠区域的横向边缘和纵向边缘；所述车道线与所述动态目标处于同一坐标系下；

重叠区域确定模块，用于根据所述横向边缘和所述纵向边缘确定所述毫米波雷达检测区域与所述相机检测区域之间的重叠区域。

10.一种目标检测装置，其特征在于，所述装置包括：

获取模块，用于获取同一时间、同一场景下的毫米波雷达点云图像和相机图像；

确定模块，用于根据重叠区域从所述点云图像中确定重叠点云图像和非重叠点云图像，以及根据所述重叠区域从所述相机图像中确定重叠相机图像和非重叠相机图像；其中，所述重叠区域根据如权利要求1-7任意一项所述的重叠区域的确定方法获取；

第一融合模块，用于对所述重叠相机图像和所述重叠点云图像进行融合处理，得到融合图像，根据所述融合图像获取融合检测结果；

第二融合模块，用于根据所述非重叠点云图像获取点云检测结果，根据所述非重叠相机图像获取相机图像检测结果；

处理模块，用于根据所述点云图像、所述融合图像以及所述相机图像对应的位置信息对所述融合检测结果、所述点云检测结果和所述相机图像检测结果进行处理，得到目标检测结果。

11.一种路侧单元，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤，或者所述处理器执行所述计算机程序时实现权利要求8所述的方法的步骤。

12.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤，或者所述计算机程序被处理器执行时实现权利要求8所述的方法的步骤。

Images