CN113917453A - 一种基于雷达和视频的多传感器融合方法 - Google Patents

Abstract

本发明提供一种基于雷达和视频的多传感器融合方法，包括：通过智能相机、目标检测相机和雷达传感器，获取各待检测道路的目标信息；通过目标检测算法，识别各所述目标信息中的物体；根据识别出的各所述目标信息中的物体，提取各所述目标信息中的所述物体的特征信息；判断识别出的各所述物体的类别，输出各所述物体的特征信息；通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息。本发明能够得到道路目标更加丰富准确的融合信息，并且在多个传感器获取的相同目标之间保证标识唯一，实现目标的接力跟踪。

Description

一种基于雷达和视频的多传感器融合方法

技术领域

本申请涉及道路交通监控技术领域，特别是一种基于雷达和视频的多传感器融合方法。

背景技术

交通信息融合是智能交通的基础核心问题，通过不同路段的传感器获取实时的车辆、行人、移动物体的位置、速度、号牌、外观等信息并加以融合，从而来实施有效的交通控制和调度是智能交通管理的核心。越来越多的创新主体在智能交通领域提出不同的技术解决方案。

传统的道路信息获取方式一般都采用单一类型传感器，由于探测范围有限、探测手段单一、探测方式天然缺陷等原因，导致单一传感器无法获取到足够全面的信息。进一步，传统方式针对每个道路物体，其融合模型较为简单，大多数采取提取原始信息并和历史数据进行对比，进而给出预测结果的方式。总的来说，这些传统技术虽然已经在不同的交通应用场景中得以使用，但依然存在很多问题。通过多传感器感知道路交通目标的状态等信息，可以获取道路目标的位置、速度、加速度、航向角、类别等更丰富更准确的交通动态目标信息，克服单一传感器感知的技术缺陷，是当前交通信息融合技术发展的趋势。

发明内容

有鉴于此，本申请所解决的技术问题在于提供一种基于雷达和视频的多传感器融合方法，该方法能够得到道路目标更加丰富准确的融合信息，并且在多个传感器获取的相同目标之间保证标识唯一，实现目标的接力跟踪。

本发明实施例提供一种基于雷达和视频的多传感器融合方法，其包括：

通过智能相机、目标检测相机和雷达传感器，获取各待检测道路的目标信息；

通过目标检测算法，识别各所述目标信息中的物体；

根据识别出的各所述目标信息中的物体，提取各所述目标信息中的所述物体的特征信息；

判断识别出的各所述物体的类别，输出各所述物体的特征信息；

通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息。

可选的，通过不同的所述智能相机分别获取的所述目标信息之间没有重叠区域。

可选的，通过不同的所述目标检测相机和不同的所述雷达传感器分别获取的所述目标信息之间有重叠区域。

可选的，所述物体包括车辆、行人和其他运动目标。

可选的，所述判断识别出的各所述物体的类别，输出各所述物体的特征信息包括：

当识别出的各所述物体的类别是车辆，输出各所述车辆的类别、位置、速度、加速度、航向角以及车辆结构化数据；

当识别出的各所述物体的类别不是车辆，输出各所述物体的类别、位置、速度、加速度、航向角。

可选的，当所述各待检测道路的目标信息是通过所述智能相机和/或所述目标检测相机获取时，所述通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息包括：

通过匹配算法对各所述物体的速度、加速度、位置、结构化数据进行匹配，得到各所述物体的融合信息。

可选的，当所述各待检测道路的目标信息是通过所述智能相机和/或所述目标检测相机和所述物体所述雷达传感器获取时，所述通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息包括：

通过匹配算法对各所述物体的速度、位置、加速度、雷达散射截面积值、大小进行匹配，得到各所述物体的融合信息。

可选的，在判断识别出的各所述物体的类别，输出各所述物体的特征信息之后，所述方法还包括：

根据数据关联算法对每个所述智能相机或每个所述目标检测相机或每个所述雷达传感器获取的各所述目标信息中的所述物体进行关联，确定所述物体的跨传感器运动轨迹。

由于采用了上述实施例的技术方案，本申请具有如下的优点：1)能够得到道路目标更加丰富准确的融合信息，并且在多个传感器获取的相同目标之间保证标识唯一，实现目标的接力跟踪。2)实现道路目标位置、速度、加速度、号牌、外观等信息的统一输出，一方面为自动驾驶汽车提供全方位超视距的道路目标动态信息，另一方面为交通管理者提供精确的道路环境信息，满足交通精细化管理的需求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例的基于雷达和视频的多传感器融合方法的流程示意图；

图2为本申请实施例的智能相机、智能目标检测和雷达传感器感知范围的示意图；

具体实施方式

结合附图和实施例对本申请作进一步说明，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

图1为本申请实施例的基于雷达和视频的多传感器融合方法的流程示意图，如图1所示，具体地，该方法包含如下步骤：

S101，通过智能相机、目标检测相机和雷达传感器，获取各待检测道路的目标信息。

本申请实施例可以通过智能相机、目标检测相机和雷达传感器获取各路段的目标信息。其中，智能相机、目标检测相机和雷达传感器可以集成在一个检测设备，通过在不同路段设置检测设备，实现对各路段的目标进行拍摄获取对应的目标信息。

为了区分不同分辨率的相机，本实施例将相机分为了智能相机和目标检测相机，目标检测相机比智能相机的探测范围广，目标识别清晰度更低。

在本实施例中，上述步骤S101中，通过不同的所述智能相机分别获取的上述目标图像之间没有重叠区域。

在本实施例中，上述步骤S101中，通过不同的上述目标检测相机和不同的上述雷达传感器分别获取的上述目标图像之间有重叠区域。

由于智能相机适合于较近距离的拍摄，拍摄的目标比较清晰，而且不同的智能相机可以通过前后设置，覆盖整个道路的双向车道范围，且不同相机获取的目标图像之间是没有重叠的，无交叉的。

而目标检测相机的拍摄范围比智能相机的拍摄范围广，相比来说，更适合中远距离的拍摄，而雷达传感器相较于智能相机和目标检测相机的探测距离更远，探测范围更广。在一种可能的实施方式中，如图2所示，给出了智能相机、目标检测相机和雷达传感器的最小范围至最大范围，其中智能相机、目标检测相机和雷达传感器可以集成在雷视一体机系统中，假设目标(车辆、行人和其他移动目标)在图2中从左向右移动。智能相机1采用短焦镜头(6-12mm)，相机俯仰角水平偏下20-45°，监测范围小，可拍摄到目标清晰图像。智能相机2采用中短焦镜头(8-25mm)，相机俯仰角水平偏下10°左右，检测范围较小，可拍摄到目标较为清晰的图像。目标检测相机1采用中焦距镜头12-25mm，相机俯仰角水平向下5°左右；目标检测相机2采用中长焦镜头16-35mm，相机阜阳角度水平向下2°；目标检测相机n采用长焦距镜头覆盖跟远距离。同时，雷达监测范围包含智能相机2的一部分以及目标检测相机1、2的全部或一部分。图2中仅示出了两个目标检测相机，而实际应用中，目标检测相机可以选择一个或多个。

S102，通过目标检测算法，识别各所述目标图像中的物体。

可以采集目标清晰图像，输入到后端计算设备中，利用传统机器学习或深度学习目标检测算法可识别出图像中的物体。

在本实施例中，上述S102中的物体可以是道路上的车辆、行人、其他运动目标。

该方法不仅可以识别目标图像中的车辆，而且还可以根据传统机器学习或深度学习目标检测算法可识别出图像中的行人或者其他运动目标。

S103，根据识别出的各所述目标图像中的物体，提取各所述目标图像中的物体。

可以通过任意可实现目标图像中感兴趣区域的目标检测算法，例如，可以为用于物体提取的目标检测算法one-stage和two-stage方法。

S104，判断识别出的各所述物体的类别，输出各所述物体的特征信息。

对从目标图像中识别出的物体类别进行判断，然后输出该物体的相关参数信息。

其中，判断识别出的各所述物体的类别，输出各所述物体的特征信息包括：

当识别出的各所述物体的类别是车辆，输出各所述车辆的类别、位置、速度、加速度、航向角以及车辆结构化数据；

当识别出的各所述物体的类别不是车辆，输出各所述物体的类别、位置、速度、加速度、航向角。

通过对从目标信息中的物体进行类别判断，从而输出车辆或行人或其他移动物体的相关参数信息。该相关参数信息用于将后续每一个具体的道路目标在不同时刻的状态参数关联起来，实现单传感器范围内和多传感器跨范围的连续跟踪，然后将该识别出的目标在不同时刻采集到的相关参数信息进行叠加融合，从而得到相对单一传感器，更加丰富的道路目标信息，该目标信息包括车辆速度、加速度、位置、车辆外观数据，行人等移动目标的类别、速度、加速度、位置等信息。

S105，通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息。

匹配算法为任意可实现不同时刻的特征信息匹配的算法，例如，可以为匈牙利匹配、K临近、线性匹配。融合信息为将通过不同传感器对每个目标测得的相关参数信息，通过匹配算法，实现每个特定目标信息的丰富和完善。

在本实施例中，当上述各待检测道路的目标信息是通过上述智能相机和/或上述目标检测相机获取时，所述通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息：

通过匹配算法对各所述物体的速度、位置、加速度、雷达散射截面积值、大小进行匹配，得到各所述物体的融合信息。

在本实施例中，当上述各待检测道路的目标信息是通过上述智能相机和/或上述目标检测相机和上述物体上述雷达传感器获取时，所述通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信包括：

通过匹配算法对各所述物体的速度、位置、加速度、雷达散射截面积值、大小进行匹配，得到各所述物体的融合信息。

在本实施例中，通过上述智能相机、上述目标检测相机获取的目标图像以及上述雷达传感器获取的目标信息中，通过目标检测算法和提取目标后，输出的目标相关参数信息不同。因此，匹配算法匹配的目标的参数信息也有所不同。

本申请实施例的基于雷达和视频的多传感器融合方法还包括：

根据数据关联算法对每个所述智能相机或每个所述目标检测相机或每个所述雷达传感器获取的各所述目标信息中的所述物体进行关联，确定所述物体的跨传感器运动轨迹。

在本实施例中，针对每个上述智能相机或每个上述目标检测相机或每个上述雷达传感器获取的目标信息，进行后续的目标识别后，需要针对不同帧内的目标物体进行帧间关联，从而可以确定目标物体的运动轨迹，实现目标的接力跟踪。此处的跨传感器指的是不同的上述智能相机或不同的上述目标检测相机或不同的上述雷达传感器。

而上述数据关联算法可以为任意可实现帧间目标关联的算法，例如，可以为卡尔曼或扩展卡尔曼的方式等。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于雷达和视频的多传感器融合方法，其特征在于，包括：

通过智能相机、目标检测相机和雷达传感器，获取各待检测道路的目标信息；

通过目标检测算法，识别各所述目标信息中的物体；

根据识别出的各所述目标信息中的物体，提取各所述目标信息中的所述物体的特征信息；

判断识别出的各所述物体的类别，输出各所述物体的特征信息；

通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息。

2.根据权利要求1所述的方法，其特征在于，通过不同的所述智能相机分别获取的所述目标信息之间没有重叠区域。

3.根据权利要求1所述的方法，其特征在于，通过不同的所述目标检测相机和不同的所述雷达传感器分别获取的所述目标信息之间有重叠区域。

4.根据权利要求1所述的方法，其特征在于，所述物体包括车辆、行人和其他运动目标。

5.根据权利要求1所述的方法，其特征在于，所述判断识别出的各所述物体的类别，输出各所述物体的特征信息包括：

当识别出的各所述物体的类别是车辆，输出各所述车辆的类别、位置、速度、加速度、航向角以及车辆结构化数据；

当识别出的各所述物体的类别不是车辆，输出各所述物体的类别、位置、速度、加速度、航向角。

6.根据权利要求1所述的方法，其特征在于，当所述各待检测道路的目标信息是通过所述智能相机和/或所述目标检测相机获取时，所述通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息包括：

通过匹配算法对各所述物体的速度、加速度、位置、结构化数据进行匹配，得到各所述物体的融合信息。

7.根据权利要求1所述的方法，其特征在于，当所述各待检测道路的目标信息是通过所述智能相机和/或所述目标检测相机和所述物体所述雷达传感器获取时，所述通过匹配算法对各所述物体的特征信息进行匹配，得到各所述物体对应的融合信息包括：

通过匹配算法对各所述物体的速度、位置、加速度、雷达散射截面积值、大小进行匹配，得到各所述物体的融合信息。

8.根据权利要求1所述的方法，其特征在于，在判断识别出的各所述物体的类别，输出各所述物体的特征信息之后，所述方法还包括：

根据数据关联算法对每个所述智能相机或每个所述目标检测相机或每个所述雷达传感器获取的各所述目标信息中的所述物体进行关联，确定所述物体的跨传感器运动轨迹。

Images