CN113689691A - 交通检测系统 - Google Patents

Abstract

本申请实施例提供一种交通检测系统。所述交通检测系统包括：第一采集部，其获得道路的监控视频；第二采集部，其向道路的预设区域发射雷达信号并获得雷达反射信号；第三采集部，其设置在车辆上并获得从车辆视角拍摄的视频；第一目标检测装置，其根据所述从车辆视角拍摄的视频，获得目标物的第一检测结果；以及第二目标检测装置，其根据所述道路的监控视频获得所述目标物的第二检测结果，并根据所述雷达反射信号获得所述目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及来自所述第一目标检测装置的所述第一检测结果，得到所述目标物的第四检测结果。

Description

交通检测系统

技术领域

本申请涉及信息技术领域。

背景技术

随着城市交通的发展，交通状况日益复杂。与高速公路相对简单的道路条件相比，城市道路交通的参与者很多，例如汽车，自行车，卡车，公共汽车，行人等。但是，这些参与者的可控性较低，并且其运动的不确定因素也很多，并且，在城市道路的十字路口体现的更为明显。此外，一旦十字路口发生事故，将造成严重的交通拥堵并带来很大的交通压力，这在人口密度高的城市尤为严重。因此，如何提高出行效率，减轻交通压力是城市交通管理亟待解决的问题。

近年来，智能交通系统逐渐被应用于城市交通管理。现有的智能交通系统一般基于监控摄像头拍摄的道路视频进行目标检测并根据检测结果进行分析和交通管理。另外，还出现了根据监控雷达的信号进行交通管理的技术。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

但是，现有的方法中，通常基于单一的采集数据进行检测，例如，基于监控摄像头拍摄的道路视频进行检测，或者，基于监控雷达的信号进行检测，其受到各自的采集手段的制约，使得检测结果不够全面和准确，并且，监控摄像头和监控雷达的信号采集角度较为固定，无法全面的检测道路上的交通状况，从而存在安全隐患。

为了解决上述问题中的至少一个，本申请实施例提供一种交通检测系统，能够结合监控视频和雷达信号的优势，获得准确的检测结果，并且，能够实现采集范围固定的监控视频和雷达信号与采集范围变化的车载摄像视频的数据整合，获得全面的道路上交通状况，提高安全性。

根据本申请实施例的第一方面，提供一种交通检测系统，所述交通检测系统包括：第一采集部，其获得道路的监控视频；第二采集部，其向道路的预设区域发射雷达信号并获得雷达反射信号；第三采集部，其设置在车辆上并获得从车辆视角拍摄的视频；第一目标检测装置，其根据所述从车辆视角拍摄的视频，获得目标物的第一检测结果；以及第二目标检测装置，其根据所述道路的监控视频获得所述目标物的第二检测结果，并根据所述雷达反射信号获得所述目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及来自所述第一目标检测装置的所述第一检测结果，得到所述目标物的第四检测结果。

根据本申请实施例的第二方面，提供一种目标检测装置，所述目标检测装置根据从车辆视角拍摄的视频获得目标物的第一检测结果，所述目标检测装置包括：第一目标检测单元，其基于深度学习对所述从车辆视角拍摄的视频的各个帧依次进行检测，得到各个帧的第一目标检测结果；第一追踪检测单元，其根据所述从车辆视角拍摄的视频的相邻帧的第一目标检测结果的关系，得到所述目标物的第一追踪检测结果；以及第一位置确定单元，其根据所述目标物的第一追踪检测结果以及所述第三采集部所在车辆的位置信息，计算所述目标物的第一位置信息并将所述目标物的第一位置信息添加到所述目标物的第一追踪检测结果中，得到所述第一检测结果。

根据本申请实施例的第三方面，提供一种目标检测装置，所述目标检测装置根据道路的监控视频获得目标物的第二检测结果，并根据雷达反射信号获得目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及来自目标检测装置的第一检测结果，得到所述目标物的第四检测结果。

根据本申请实施例的第四方面，提供一种电子设备，所述电子设备包括根据本申请实施例的第二方面所述的目标检测装置和/或根据本申请实施例的第三方面所述的目标检测装置。

根据本申请实施例的第五方面，提供一种交通检测方法，所述方法包括：获得道路的监控视频；向道路的预设区域发射雷达信号并获得雷达反射信号；获得从车辆视角拍摄的视频；根据所述从车辆视角拍摄的视频，获得目标物的第一检测结果；以及根据所述道路的监控视频获得所述目标物的第二检测结果，并根据所述雷达反射信号获得所述目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及所述第一检测结果，得到所述目标物的第四检测结果。

本申请的有益效果在于：通过对根据从车辆视角拍摄的视频获得的第一检测结果、根据道路监控视频获得的第二检测结果以及根据雷达反射信号获得的第三检测结果进行整合后输出检测结果，能够结合监控视频和雷达信号的优势，获得准确的检测结果，并且，能够实现采集范围相对固定的监控视频和雷达信号与采集范围随时变化的车载摄像视频的数据整合，获得全面的道路上交通状况，提高安全性。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例1的交通检测系统的一示意图；

图2是本申请实施例1的第一目标检测装置的一示意图；

图3是本申请实施例1的第二目标检测装置的一示意图；

图4是本申请实施例1的第二重识别单元的一示意图；

图5是本发明实施例1的表示第四检测结果的目标物动态图的一个示意图；

图6是本申请实施例2的电子设备的一示意图；

图7是本申请实施例2的电子设备的系统构成的一示意框图；

图8是本申请实施例3的交通检测方法的一示意图。

具体实施方式

参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

本申请实施例提供一种交通检测系统。图1是本申请实施例1的交通检测系统的一示意图。

如图1所示，交通检测系统100包括：

第一采集部101，其获得道路的监控视频；

第二采集部102，其向道路的预设区域发射雷达信号并获得雷达反射信号；

第三采集部103，其设置在车辆上并获得从车辆视角拍摄的视频；

第一目标检测装置104，其根据从车辆视角拍摄的视频，获得目标物的第一检测结果；以及

第二目标检测装置105，其根据该道路的监控视频获得目标物的第二检测结果，并根据该雷达反射信号获得目标物的第三检测结果，并且，整合第二检测结果、第三检测结果以及来自第一目标检测装置104的第一检测结果，得到目标物的第四检测结果。

这样，通过对来自第一目标检测装置104的第一检测结果、根据道路监控视频获得的第二检测结果以及根据雷达反射信号获得的第三检测结果进行整合后输出检测结果，能够结合监控视频和雷达信号的优势，获得准确的检测结果，并且，能够实现采集范围相对固定的监控视频和雷达信号与采集范围随时变化的车载摄像视频的数据整合，获得全面的道路上交通状况，提高安全性。

在本申请实施例的一种实施方式中，交通检测系统100的检测目标可以根据实际需要而设置，例如，目标物可以包括各种类型的机动车辆、非机动车辆以及行人。

例如，机动车辆包括小汽车、卡车、厢式货车、摩托车以及公共汽车等，非机动车辆包括自行车以及三轮车等。

在本申请实施例的一种实施方式中，交通检测系统100的检测范围可以根据实际需要而设置，例如，以十字路口为中心的一定范围内作为检测范围。

第一采集部101用于获得道路的监控视频，例如，第一采集部101为设置在道路上方或者道路旁边的监控摄像头，其拍摄一定角度范围内的道路区域的视频，另外，监控摄像头拍摄的角度范围可以跟随监控摄像头的转动而进行调整。

第二采集部102用于向道路的预设区域发射雷达信号并获得雷达反射信号，例如，第二采集部102为设置在道路上方或道路旁边的监控雷达，其向道路中的预先设定的区域发射雷达信号，该雷达信号被目标物反射后形成雷达反射信号而被监控雷达接收。

例如，第二采集部102为毫米波(millimeter wave，MMV)雷达。

第三采集部103设置在车辆上并获得从车辆视角拍摄的视频，例如，第三采集部103为车载摄像头，其拍摄驾驶视角或者车辆上其他视角的视频。

在本申请实施例的一种实施方式中，交通检测系统100可以包括至少一个第一采集部101、至少一个第二采集部102以及至少一个第三采集部103，第一采集部101、第二采集部102以及第三采集部103的数量可以根据实际需要而设置。

例如，第一采集部101可以设置为多个，对道路的不同区域进行拍摄。

例如，第二采集部102也可以设置为多个，对道路的不同区域发射雷达信号。

例如，第三采集部103可以分别设置在多个车辆上，车辆的用户根据实际需要而确定是否安装第三采集部103以及第一目标检测装置104。

第一目标检测装置104根据从车辆视角拍摄的视频，获得目标物的第一检测结果，第二目标检测装置105根据该道路的监控视频获得目标物的第二检测结果，并根据该雷达反射信号获得目标物的第三检测结果，并且，整合第二检测结果、第三检测结果以及来自第一目标检测装置104的第一检测结果，得到目标物的第四检测结果。

在本申请实施例的一种实施方式中，第一目标检测装置104对从车辆视角拍摄的视频逐帧进行处理，第二目标检测装置105对道路的监控视频和雷达反射信号逐帧进行处理，从而，能够动态的获得目标物的第四检测结果。

在本申请实施例的一种实施方式中，第一目标检测装置104可以设置在车载设备中，例如，设置在车载的电子控制单元(Electronic Control Unit，ECU)中，也可以设置在服务器中，本申请实施例不对第一目标检测装置104的设置场所进行限制。

在本申请实施例的一种实施方式中，第二目标检测装置105可以设置在道路旁边的设备中，例如，设置在路侧的电子控制单元(ECU)中，也可以设置在服务器中，本申请实施例不对第二目标检测装置105的设置场所进行限制。

在本申请实施例的一种实施方式中，以第一目标检测装置104设置在车载设备中而第二目标检测装置105设置在路侧单元中为例进行说明。

图2是本申请实施例1的第一目标检测装置的一示意图，如图2所示，第一目标检测装置104包括：

第一目标检测单元201，其基于深度学习对从车辆视角拍摄的视频的各个帧依次进行检测，得到各个帧的第一目标检测结果；

第一追踪检测单元202，其根据从车辆视角拍摄的视频的相邻帧的第一目标检测结果的关系，得到该目标物的第一追踪检测结果；以及

第一位置确定单元203，其根据该目标物的第一追踪检测结果以及第三采集部103所在车辆的位置信息，计算该目标物的第一位置信息并将该目标物的第一位置信息添加到该目标物的第一追踪检测结果中，得到第一检测结果。

在本申请实施例的一种实施方式中，第一目标检测单元201基于深度学习对从车辆视角拍摄的视频的各个帧依次进行检测，例如，第一目标检测单元201使用至少一个深度学习模型对从车辆视角拍摄的视频的各个帧依次进行检测，得到各个帧的第一目标检测结果。

在本申请实施例的一种实施方式中，第一目标检测结果可以包括目标物的类别、检测框及其位置以及属性信息。

例如，第一目标检测单元201使用一个深度学习模型检测各个帧中的目标物，得到目标物的二维的检测框以及位置，检测框的位置是指该检测框在图像中的坐标，例如，坐标值用像素点表示。另外，当第一目标检测单元201对某个帧进行读取并检测时，将读取时的时间信息作为该帧的时间戳进行记录。

在本申请实施例的一种实施方式中，第一目标检测单元201使用的深度学习模型可以是一个基于边缘AI技术的轻量型深度学习模型，从而减少占用车载设备的内存以及功率消耗。

在本申请实施例的一种实施方式中，第一追踪检测单元202根据从车辆视角拍摄的视频的相邻帧的第一目标检测结果的关系，得到该目标物的第一追踪检测结果。

例如，在当前帧检测到与前一帧相同的目标物时，保留该目标物的ID并更新其检测框位置；在当前帧检测到前一帧没有出现的目标物时，为新出现的该目标物建立ID。

在本申请实施例的一种实施方式中，第一位置确定单元203根据该目标物的第一追踪检测结果以及该第三采集部103所在车辆的位置信息，计算该目标物的第一位置信息并将该目标物的第一位置信息添加到该目标物的第一追踪检测结果中，得到第一检测结果。该第三采集部103所在车辆的位置信息例如是该车辆的GPS信息。该目标物的第一位置信息表示的是该目标物的绝对位置，也称为地理位置。

在本申请实施例的一种实施方式中，目标物的第一检测结果可以包括时间戳、目标物的ID、检测框及其坐标以及目标物的地理位置。

图3是本申请实施例1的第二目标检测装置的一示意图，如图3所示，第二目标检测装置105包括：

第二目标检测单元301，其基于深度学习对该道路的监控视频的各个帧依次进行检测，得到各个帧的第二目标检测结果；

第二追踪检测单元302，其根据该道路的监控视频的相邻帧的第二目标检测结果的关系，得到该目标物的第二追踪检测结果；

事件检测单元303，其对该目标物的第二追踪检测结果进行分析，以检测一定时间内该目标物发生的事件；

第二位置确定单元304，其根据第一采集部101的内部参数和外部参数以及该目标物的第二追踪检测结果，计算该目标物的坐标；

滤波单元305，其对该雷达反射信号进行滤波处理；

关联单元306，其将滤波处理后的雷达反射信号的检测结果与第二追踪检测单元302得到的该目标物的第二追踪检测结果在时间上关联；以及

融合单元307，其将时间上关联的该雷达反射信号的检测结果与该目标物的第二追踪检测结果融合，得到融合的目标物检测结果，

该第二检测结果包括该目标物的第二追踪检测结果、该目标物发生的事件以及该目标物的坐标，该第三检测结果包括该融合的目标物检测结果。

在本申请实施例的一种实施方式中，第二目标检测单元301基于深度学习对从车辆视角拍摄的视频的各个帧依次进行检测，例如，第二目标检测单元301使用至少一个深度学习模型对从车辆视角拍摄的视频的各个帧依次进行检测，得到各个帧的第二目标检测结果。

在本申请实施例的一种实施方式中，第二目标检测结果可以包括目标物的类别、检测框及其位置以及属性信息。

例如，第二目标检测单元301使用一个深度学习模型检测各个帧中的目标物，得到目标物的二维检测框以及位置，检测框的位置是指该检测框在图像中的坐标，例如，坐标值用像素点表示。另外还可以得到目标物的类型，例如，该目标物为小汽车。第二目标检测单元301还可以使用另一个深度学习模型检测各个目标物的属性，例如，目标物的颜色以及汽车品牌等。

另外，第二追踪检测单元302对某个帧进行读取并检测时，将读取时的时间信息作为该帧的时间戳进行记录。

在本申请实施例的一种实施方式中，第二追踪检测单元302根据从车辆视角拍摄的视频的相邻帧的第二目标检测结果的关系，得到该目标物的第二追踪检测结果。

例如，在当前帧检测到与前一帧相同的目标物时，保留该目标物的ID、类别和属性信息并更新其检测框位置；在当前帧检测到前一帧没有出现的目标物时，为新出现的该目标物建立ID，从而，第二追踪检测单元302输出的第二追踪检测结果可以包括目标物的ID、类别、检测框及其位置和属性信息。

在本申请实施例的一种实施方式中，事件检测单元303对该目标物的第二追踪检测结果进行分析，以检测一定时间内该目标物发生的事件。

例如，设置一个时间缓冲区以缓存第二追踪检测结果，然后分析这段时间内在缓冲区中具有相同ID号的目标物的位置、速度和移动方向的变化信息。例如，还可以分析感兴趣区域(又称为ROI区域)的车辆占用率。在进行上述分析之后，可以根据预设的规则以确定是否发生了特定类型的事件，例如，该事件可以包括逆行、弃车，违章停车等。当满足预设的规则时，生成该事件的类型以及事件警报。

在本申请实施例的一种实施方式中，第二位置确定单元304根据第一采集部101的内部参数和外部参数以及该目标物的第二追踪检测结果，计算该目标物的坐标。

例如，第一采集部101为监控摄像头，其内部参数包括焦距和畸变系数，其外部参数包括旋转矩阵和平移矢量，该内部参数主要用于校正畸变的图像，该外部参数主要用于确定监控摄像头的姿势，从而计算目标物的三维世界坐标(3D world coordinate)，即目标物的绝对位置。

在本申请实施例的一种实施方式中，滤波单元305对第二采集部102输出的雷达反射信号进行滤波处理。

例如，滤波单元305进行滤波处理，以避免静态碎片(static debris)的干扰，并且，滤波单元305根据雷达发射信号确定目标物的径向距离和方向。另外，滤波单元305还添加时间戳信息，以使得雷达发射信号与第二目标检测装置105的处理同步。滤波单元305输出的滤波处理后的雷达反射信号的检测结果包括时间戳信息、目标物的径向距离以及方向等信息。

在本申请实施例的一种实施方式中，关联单元306将滤波处理后的雷达反射信号的检测结果与第二追踪检测单元302得到的该目标物的第二追踪检测结果在时间上关联。例如，根据时间戳信息，使得滤波处理后的雷达反射信号的检测结果与第二追踪检测单元302得到的该目标物的第二追踪检测结果在时间上同步或接近同步，从而使得根据雷达反射信号得到的检测结果与根据监控视频得到的检测结果在时间上同步或接近同步。

在本申请实施例的一种实施方式中，融合单元307将时间上关联的该雷达反射信号的检测结果与该目标物的第二追踪检测结果融合，得到融合的目标物检测结果。

例如，基于预设的融合机制对两个检测结果进行信息融合，融合的目标物检测结果包含由两种传感器，即监控雷达和监控摄像头提供的综合信息，例如，时间戳、3D位置信息、目标物速度、运动方向、加速度、类别、2D图像坐标信息和ID等。

在本申请实施例的一种实施方式中，如图3所示，第二目标检测装置105还可以包括：

第一重识别单元308，其对根据多个第一采集部101获得的道路的多个监控视频检测到的多个第二检测结果中的目标物进行匹配，得到第一匹配结果，该第一匹配结果包括匹配后的多个第二检测结果；以及

第二重识别单元309，其对该第二检测结果中的目标物和该第一检测结果中的目标物进行匹配，得到第二匹配结果，该第二匹配结果包括匹配后的第一检测结果和匹配后的第二检测结果。

当第一采集部101设置有多个时，第一重识别单元308对多个第一采集部101获得的道路的多个监控视频检测到的多个第二检测结果中的目标物进行匹配，从而将匹配后的多个第二检测结果进行集成，作为第一匹配结果输出。

第二重识别单元309对根据第一采集部101采集的监控视频得到的第二检测结果中的目标物和根据第三采集部103采集的从车辆视角拍摄的视频得到的第一检测结果中的目标物进行匹配，以对两者进行整合和补充。以下对第二重识别单元309进行具体的说明。

图4是本申请实施例1的第二重识别单元的一示意图。如图4所示，第二重识别单元309包括：

第一特征提取单元401，其提取该第二检测结果中的目标物的第一特征；

第二特征提取单元402，其提取该第一检测结果中的目标物的第二特征；以及

匹配单元403，其计算该第一特征和该第二特征的匹配值，当该匹配值大于预设阈值时，将该第一检测结果中的该目标物的ID设置为与该第二检测结果中的该目标物的ID相一致。

在本申请实施例的一种实施方式中，第一特征提取单元401提取该第二检测结果中的目标物的特征，例如，对于第二检测结果中的所有目标物，分别提取各个目标物的检测框内的所有特征，这些特征构成为一个特征向量，称为第一特征向量。类似的，第二特征提取单元402提取该第一检测结果中的目标物的特征，例如，对于第一检测结果中的所有目标物，分别提取各个目标物的检测框内的所有特征，这些特征构成为一个特征向量，称为第二特征向量。

例如，第二检测结果包括M个目标物，则提取出M个第一特征向量，第一检测结果包括N个目标物，则提取出N个第二特征向量，M和N均为正整数。

在本申请实施例的一种实施方式中，匹配单元403计算该第一特征和该第二特征的匹配值。

例如，对于第二检测结果的M个目标物中的一个目标物，分别计算该目标物的第一特征向量与第一检测结果的N个目标物的各个第二特征向量的匹配值，确定与该目标物匹配值最大的第一检测结果中的目标物。当这两个目标物的第一特征向量和第二特征向量的匹配值大于预设阈值时，将该第一检测结果中的该目标物的ID设置为与该第二检测结果中的与之匹配的目标物的ID相一致，从而将第一检测结果和第二检测结果中检测到的同一目标物的ID进行统一。

在本申请实施例的一种实施方式中，该匹配值可以根据各种方法计算得到，例如，计算两个特征向量之间的余弦距离作为匹配值。

在本申请实施例的一种实施方式中，当第一检测结果中的目标物没有在第二检测结果中时，匹配单元403将根据该第一检测结果中的该目标物的ID以及相应的检测结果添加到第二检测结果中。

在本申请实施例的一种实施方式中，如图3所示，第二目标检测装置105还可以包括：

整合单元310，其将事件检测单元303输出的事件检测结果、第二位置确定单元304输出的该目标物的坐标、融合单元307输出的融合的目标物检测结果、第一重识别单元308输出的第一匹配结果以及第二重识别单元309输出的第二匹配结果进行整合，得到第四检测结果。

这样，整合单元310输出的第四检测结果是对各个检测结果的信息融合后的结果，其包含了准确且全面的目标物的信息。

在本申请实施例的一种实施方式中，整合单元310输出的第四检测结果以目标物动态图的方式显示。这样，能够直观的表示出所有目标物的动态信息。

例如，该目标物动态图包括道路地图以及在道路地图上动态显示的目标物、该目标物的信息以及该目标物发生的事件。这样，用户能够直观的了解目标物的各种信息及其变化。

在本申请实施例的一种实施方式中，道路地图的范围根据交通检测系统100的检测范围而确定。

图5是本发明实施例1的表示第四检测结果的目标物动态图的一个示意图。如图5所示，在该目标动态图中，以圆点表示当前时刻在道路地图上检测到的各个目标物，在目标物的附近可以选择性的显示其ID、类型以及属性等信息，以碰撞图标或者其他图标显示当前时刻发生的事件，在该事件的附近可以选择性的显示该事件的类型等信息。

在本申请实施例中，第二目标检测装置105输出的第四检测结果可以用于各种可能的应用，例如，交通管理以及辅助驾驶等。

在本申请实施例的一种实施方式中，交通检测系统100还可以包括：

管理装置106，其根据第二目标检测装置105输出的该第四检测结果，对交通配置进行管理。

这样，城市交通的管理部门可以根据动态变化的第四检测结果对交通配置进行相应的动态管理，从而能够提高交通通行效率，缓解交通压力。

在本申请实施例的一种实施方式中，如图2所示，第一目标检测装置104还可以包括：

位置校正单元204，其根据第二目标检测装置105输出的该第四检测结果中的目标物的第二位置信息，对第一位置确定单元203计算出的该目标物的第一位置信息进行校正，得到校正了位置信息后的第一检测结果。

在本申请实施例的一种实施方式中，如图2所示，第一目标检测装置104还可以包括：

辅助信息生成单元205，其根据位置校正单元204输出的校正了位置信息后的第一检测结果以及第二目标检测装置105输出的该第四检测结果，生成驾驶辅助信息。

这样，能够为驾驶者提供本车辆周围以及车辆视角盲区的目标物信息，提高驾驶的安全性。

在本申请实施例的一种实施方式中，第一目标检测装置104和第二目标检测装置105之间可以通过各种通信方式进行通信，以进行数据的交互。

例如，第一目标检测装置104和第二目标检测装置105之间通过UDP-socket的通信模式进行通信，并使用LTE-V的数据传输协议。

由上述实施例可知，通过对根据从车辆视角拍摄的视频获得的第一检测结果、根据道路监控视频获得的第二检测结果以及根据雷达反射信号获得的第三检测结果进行整合后输出检测结果，能够结合监控视频和雷达信号的优势，获得准确的检测结果，并且，能够实现采集范围相对固定的监控视频和雷达信号与采集范围随时变化的车载摄像视频的数据整合，获得全面的道路上交通状况，提高安全性。

实施例2

本申请实施例还提供了一种电子设备，图6是本申请实施例2的电子设备的一示意图。如图6所示，电子设备600包括目标检测装置601，目标检测装置601可以是实施例1中的第一目标检测装置104和/或第二目标检测装置105，其具体的结构和功能与实施例1中的记载相同，此处不再赘述。

在本申请实施例的一种实施方式中，电子设备600可以是各种类型的电子设备，例如，车载终端、移动终端或者服务器。

图7是本申请实施例2的电子设备的系统构成的一示意框图。如图7所示，电子设备700可以包括处理器701和存储器702；该存储器702耦合到该处理器701。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。

如图7所示，电子设备700还可以包括：输入单元703、显示器704、电源705。

在本申请实施例的一种实施方式中，实施例1所述的第一目标检测装置104和/或第二目标检测装置105的功能可以被集成到处理器701中。其中，处理器701可以被配置为：

根据从车辆视角拍摄的视频，获得目标物的第一检测结果；和/或，

根据道路的监控视频获得所述目标物的第二检测结果，并根据雷达反射信号获得所述目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及来自所述第一目标检测装置的所述第一检测结果，得到所述目标物的第四检测结果。

在本申请实施例的另一种实施方式中，实施例1所述的第一目标检测装置104和/或第二目标检测装置105可以与该处理器701分开配置，例如可以将第一目标检测装置104和/或第二目标检测装置105配置为与处理器701连接的芯片，通过处理器701的控制来实现第一目标检测装置104和/或第二目标检测装置105的功能。

在本申请实施例的一种实施方式中，电子设备700也并不是必须要包括图7中所示的所有部件。

如图7所示，处理器701有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，处理器701接收输入并控制电子设备700的各个部件的操作。

该存储器702，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该处理器701可执行该存储器702存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备700的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本申请的范围。

由上述实施例可知，通过对根据从车辆视角拍摄的视频获得的第一检测结果、根据道路监控视频获得的第二检测结果以及根据雷达反射信号获得的第三检测结果进行整合后输出检测结果，能够结合监控视频和雷达信号的优势，获得准确的检测结果，并且，能够实现采集范围相对固定的监控视频和雷达信号与采集范围随时变化的车载摄像视频的数据整合，获得全面的道路上交通状况，提高安全性。

实施例3

本申请实施例还提供一种交通检测方法，该方法对应于实施例1的交通检测系统。图8是本申请实施例3的交通检测方法的一示意图。如图8所示，该方法包括：

步骤801：获得道路的监控视频；

步骤802：向道路的预设区域发射雷达信号并获得雷达反射信号；

步骤803：获得从车辆视角拍摄的视频；

步骤804：根据从车辆视角拍摄的视频，获得目标物的第一检测结果；以及

步骤805：根据道路的监控视频获得目标物的第二检测结果，并根据雷达反射信号获得目标物的第三检测结果，并且，整合第二检测结果、第三检测结果以及第一检测结果，得到目标物的第四检测结果。

在本申请实施例的一种实施方式中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复说明。

在本申请实施例的一种实施方式中，不对步骤801至步骤803的执行顺序进行限制，例如，步骤801至步骤803可以先后执行，也可以并行的进行。

由上述实施例可知，通过对根据从车辆视角拍摄的视频获得的第一检测结果、根据道路监控视频获得的第二检测结果以及根据雷达反射信号获得的第三检测结果进行整合后输出检测结果，能够结合监控视频和雷达信号的优势，获得准确的检测结果，并且，能够实现采集范围相对固定的监控视频和雷达信号与采集范围随时变化的车载摄像视频的数据整合，获得全面的道路上交通状况，提高安全性。

本申请实施例还提供一种计算机可读程序，其中当在交通检测系统或电子设备中执行所述程序时，所述程序使得计算机在所述交通检测系统或电子设备中执行实施例3所述的交通检测方法。

本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在交通检测系统或电子设备中执行实施例3所述的交通检测方法。

结合本申请实施例描述的交通检测系统或电子设备中执行车道线识别方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图8所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

本申请实施例还公开下述的附记：

1、一种交通检测系统，其特征在于，所述交通检测系统包括：

第一采集部，其获得道路的监控视频；

第二采集部，其向道路的预设区域发射雷达信号并获得雷达反射信号；

第三采集部，其设置在车辆上并获得从车辆视角拍摄的视频；

第一目标检测装置，其根据所述从车辆视角拍摄的视频，获得目标物的第一检测结果；以及

第二目标检测装置，其根据所述道路的监控视频获得所述目标物的第二检测结果，并根据所述雷达反射信号获得所述目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及来自所述第一目标检测装置的所述第一检测结果，得到所述目标物的第四检测结果。

2、根据附记1所述的交通检测系统，其特征在于，所述第一目标检测装置包括：

第一目标检测单元，其基于深度学习对所述从车辆视角拍摄的视频的各个帧依次进行检测，得到各个帧的第一目标检测结果；

第一追踪检测单元，其根据所述从车辆视角拍摄的视频的相邻帧的第一目标检测结果的关系，得到所述目标物的第一追踪检测结果；以及

第一位置确定单元，其根据所述目标物的第一追踪检测结果以及所述第三采集部所在车辆的位置信息，计算所述目标物的第一位置信息并将所述目标物的第一位置信息添加到所述目标物的第一追踪检测结果中，得到所述第一检测结果。

3、根据附记2所述的交通检测系统，其特征在于，所述第一目标检测装置还包括：

位置校正单元，其根据所述第二目标检测装置输出的所述第四检测结果中的所述目标物的第二位置信息，对所述第一位置确定单元计算出的所述目标物的第一位置信息进行校正，得到校正了位置信息后的所述第一检测结果。

4、根据附记3所述的交通检测系统，其特征在于，所述第一目标检测装置还包括：

辅助信息生成单元，其根据所述位置校正单元输出的校正了位置信息后的所述第一检测结果以及所述第二目标检测装置输出的所述第四检测结果，生成驾驶辅助信息。

5、根据附记1所述的交通检测系统，其特征在于，所述第二目标检测装置包括：

第二目标检测单元，其基于深度学习对所述道路的监控视频的各个帧依次进行检测，得到各个帧的第二目标检测结果；

第二追踪检测单元，其根据所述道路的监控视频的相邻帧的第二目标检测结果的关系，得到所述目标物的第二追踪检测结果；

事件检测单元，其对所述目标物的第二追踪检测结果进行分析，以检测一定时间内所述目标物发生的事件；

第二位置确定单元，其根据所述第一采集部的内部参数和外部参数以及所述目标物的第二追踪检测结果，计算所述目标物的坐标；

滤波单元，其对所述雷达反射信号进行滤波处理；

关联单元，其将滤波处理后的雷达反射信号的检测结果与所述第二追踪检测单元得到的所述目标物的第二追踪检测结果在时间上关联；以及

融合单元，其将时间上关联的所述雷达反射信号的检测结果与所述目标物的第二追踪检测结果融合，得到融合的目标物检测结果，

所述第二检测结果包括所述目标物的第二追踪检测结果、所述目标物发生的事件以及所述目标物的坐标，所述第三检测结果包括所述融合的目标物检测结果。

6、根据附记5所述的交通检测系统，其特征在于，所述第二目标检测装置还包括：

第一重识别单元，其对根据多个所述第一采集部获得的道路的多个监控视频检测到的多个第二检测结果中的目标物进行匹配，得到第一匹配结果，所述第一匹配结果包括匹配后的多个第二检测结果；以及

第二重识别单元，其对所述第二检测结果中的目标物和所述第一检测结果中的目标物进行匹配，得到第二匹配结果，所述第二匹配结果包括匹配后的第一检测结果和匹配后的第二检测结果。

7、根据附记6所述的交通检测系统，其特征在于，所述第二重识别单元包括：

第一特征提取单元，其提取所述第二检测结果中的目标物的第一特征；

第二特征提取单元，其提取所述第一检测结果中的目标物的第二特征；以及

匹配单元，其计算所述第一特征和所述第二特征的匹配值，当所述匹配值大于预设阈值时，将所述第一检测结果中的所述目标物的ID设置为与所述第二检测结果中的所述目标物的ID相一致。

8、根据附记7所述的交通检测系统，其特征在于，

当所述第一检测结果中的目标物没有在所述第二检测结果中时，所述匹配单元将根据所述第一检测结果中的所述目标物的ID以及相应的检测结果添加到所述第二检测结果中。

9、根据附记6所述的交通检测系统，其特征在于，所述第二目标检测装置还包括：

整合单元，其将所述事件检测单元输出的事件检测结果、所述第二位置确定单元输出的所述目标物的坐标、所述融合单元输出的所述融合的目标物检测结果、所述第一重识别单元输出的第一匹配结果以及所述第二重识别单元输出的第二匹配结果进行整合，得到所述第四检测结果。

10、根据附记1所述的交通检测系统，其特征在于，所述交通检测系统还包括：

管理装置，其根据所述第二目标检测装置输出的所述第四检测结果，对交通配置进行管理。

11、根据附记1所述的交通检测系统，其特征在于，所述第四检测结果以目标物动态图的方式显示。

12、根据附记11所述的交通检测系统，其特征在于，

所述目标物动态图包括道路地图以及在道路地图上动态显示的目标物、所述目标物的信息以及所述目标物发生的事件。

13、根据附记11所述的交通检测系统，其特征在于，

所述目标物包括各种类型的机动车辆、非机动车辆以及行人。

14、一种目标检测装置，其特征在于，所述目标检测装置根据从车辆视角拍摄的视频获得目标物的第一检测结果，

所述目标检测装置包括：

第一目标检测单元，其基于深度学习对所述从车辆视角拍摄的视频的各个帧依次进行检测，得到各个帧的第一目标检测结果；

第一追踪检测单元，其根据所述从车辆视角拍摄的视频的相邻帧的第一目标检测结果的关系，得到所述目标物的第一追踪检测结果；以及

第一位置确定单元，其根据所述目标物的第一追踪检测结果以及所述第三采集部所在车辆的位置信息，计算所述目标物的第一位置信息并将所述目标物的第一位置信息添加到所述目标物的第一追踪检测结果中，得到所述第一检测结果。

15、根据附记14所述的目标检测装置，其特征在于，所述第一目标检测装置还包括：

位置校正单元，其根据所述第二目标检测装置输出的所述第四检测结果中的所述目标物的第二位置信息，对所述第一位置确定单元计算出的所述目标物的第一位置信息进行校正，得到校正了位置信息后的所述第一检测结果。

16、根据附记15所述的目标检测装置，其特征在于，所述第一目标检测装置还包括：

辅助信息生成单元，其根据所述位置校正单元输出的校正了位置信息后的所述第一检测结果以及所述第二目标检测装置输出的所述第四检测结果，生成驾驶辅助信息。

17、一种目标检测装置，其特征在于，

所述目标检测装置根据道路的监控视频获得目标物的第二检测结果，并根据雷达反射信号获得目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及根据从车辆视角拍摄的视频获得的第一检测结果，得到所述目标物的第四检测结果。

18、根据附记17所述的目标检测装置，其特征在于，所述目标检测装置包括：

第二目标检测单元，其基于深度学习对所述道路的监控视频的各个帧依次进行检测，得到各个帧的第二目标检测结果；

第二追踪检测单元，其根据所述道路的监控视频的相邻帧的第二目标检测结果的关系，得到所述目标物的第二追踪检测结果；

事件检测单元，其对所述目标物的第二追踪检测结果进行分析，以检测一定时间内所述目标物发生的事件；

第二位置确定单元，其根据所述第一采集部的内部参数和外部参数以及所述目标物的第二追踪检测结果，计算所述目标物的坐标；

滤波单元，其对所述雷达反射信号进行滤波处理；

关联单元，其将滤波处理后的雷达反射信号的检测结果与所述第二追踪检测单元得到的所述目标物的第二追踪检测结果在时间上关联；以及

融合单元，其将时间上关联的所述雷达反射信号的检测结果与所述目标物的第二追踪检测结果融合，得到融合的目标物检测结果，

所述第二检测结果包括所述目标物的第二追踪检测结果、所述目标物发生的事件以及所述目标物的坐标，所述第三检测结果包括所述融合的目标物检测结果。

19、根据附记18所述的目标检测装置，其特征在于，所述目标检测装置还包括：

第一重识别单元，其对根据多个所述第一采集部获得的道路的多个监控视频检测到的多个第二检测结果中的目标物进行匹配，得到第一匹配结果，所述第一匹配结果包括匹配后的多个第二检测结果；以及

第二重识别单元，其对所述第二检测结果中的目标物和所述第一检测结果中的目标物进行匹配，得到第二匹配结果，所述第二匹配结果包括匹配后的第一检测结果和匹配后的第二检测结果。

20、根据附记19所述的目标检测装置，其特征在于，所述目标检测装置还包括：

整合单元，其将所述事件检测单元输出的事件检测结果、所述第二位置确定单元输出的所述目标物的坐标、所述融合单元输出的所述融合的目标物检测结果、所述第一重识别单元输出的第一匹配结果以及所述第二重识别单元输出的第二匹配结果进行整合，得到所述第四检测结果。

Claims (10)

1.一种交通检测系统，其特征在于，所述交通检测系统包括：

第一采集部，其获得道路的监控视频；

第二采集部，其向道路的预设区域发射雷达信号并获得雷达反射信号；

第三采集部，其设置在车辆上并获得从车辆视角拍摄的视频；

第一目标检测装置，其根据所述从车辆视角拍摄的视频，获得目标物的第一检测结果；以及

第二目标检测装置，其根据所述道路的监控视频获得所述目标物的第二检测结果，并根据所述雷达反射信号获得所述目标物的第三检测结果，并且，整合所述第二检测结果、所述第三检测结果以及来自所述第一目标检测装置的所述第一检测结果，得到所述目标物的第四检测结果。

2.根据权利要求1所述的交通检测系统，其特征在于，所述第一目标检测装置包括：

第一目标检测单元，其基于深度学习对所述从车辆视角拍摄的视频的各个帧依次进行检测，得到各个帧的第一目标检测结果；

第一追踪检测单元，其根据所述从车辆视角拍摄的视频的相邻帧的第一目标检测结果的关系，得到所述目标物的第一追踪检测结果；以及

第一位置确定单元，其根据所述目标物的第一追踪检测结果以及所述第三采集部所在车辆的位置信息，计算所述目标物的第一位置信息并将所述目标物的第一位置信息添加到所述目标物的第一追踪检测结果中，得到所述第一检测结果。

3.根据权利要求2所述的交通检测系统，其特征在于，所述第一目标检测装置还包括：

位置校正单元，其根据所述第二目标检测装置输出的所述第四检测结果中的所述目标物的第二位置信息，对所述第一位置确定单元计算出的所述目标物的第一位置信息进行校正，得到校正了位置信息后的所述第一检测结果。

4.根据权利要求3所述的交通检测系统，其特征在于，所述第一目标检测装置还包括：

辅助信息生成单元，其根据所述位置校正单元输出的校正了位置信息后的所述第一检测结果以及所述第二目标检测装置输出的所述第四检测结果，生成驾驶辅助信息。

5.根据权利要求1所述的交通检测系统，其特征在于，所述第二目标检测装置包括：

第二目标检测单元，其基于深度学习对所述道路的监控视频的各个帧依次进行检测，得到各个帧的第二目标检测结果；

第二追踪检测单元，其根据所述道路的监控视频的相邻帧的第二目标检测结果的关系，得到所述目标物的第二追踪检测结果；

事件检测单元，其对所述目标物的第二追踪检测结果进行分析，以检测一定时间内所述目标物发生的事件；

第二位置确定单元，其根据所述第一采集部的内部参数和外部参数以及所述目标物的第二追踪检测结果，计算所述目标物的坐标；

滤波单元，其对所述雷达反射信号进行滤波处理；

关联单元，其将滤波处理后的雷达反射信号的检测结果与所述第二追踪检测单元得到的所述目标物的第二追踪检测结果在时间上关联；以及

融合单元，其将时间上关联的所述雷达反射信号的检测结果与所述目标物的第二追踪检测结果融合，得到融合的目标物检测结果，

所述第二检测结果包括所述目标物的第二追踪检测结果、所述目标物发生的事件以及所述目标物的坐标，所述第三检测结果包括所述融合的目标物检测结果。

6.根据权利要求5所述的交通检测系统，其特征在于，所述第二目标检测装置还包括：

第一重识别单元，其对根据多个所述第一采集部获得的道路的多个监控视频检测到的多个第二检测结果中的目标物进行匹配，得到第一匹配结果，所述第一匹配结果包括匹配后的多个第二检测结果；以及

第二重识别单元，其对所述第二检测结果中的目标物和所述第一检测结果中的目标物进行匹配，得到第二匹配结果，所述第二匹配结果包括匹配后的第一检测结果和匹配后的第二检测结果。

7.根据权利要求6所述的交通检测系统，其特征在于，所述第二目标检测装置还包括：

整合单元，其将所述事件检测单元输出的事件检测结果、所述第二位置确定单元输出的所述目标物的坐标、所述融合单元输出的所述融合的目标物检测结果、所述第一重识别单元输出的第一匹配结果以及所述第二重识别单元输出的第二匹配结果进行整合，得到所述第四检测结果。

8.根据权利要求1所述的交通检测系统，其特征在于，所述交通检测系统还包括：

管理装置，其根据所述第二目标检测装置输出的所述第四检测结果，对交通配置进行管理。

9.根据权利要求1所述的交通检测系统，其特征在于，所述第四检测结果以目标物动态图的方式显示。

10.根据权利要求9所述的交通检测系统，其特征在于，

所述目标物动态图包括道路地图以及在道路地图上动态显示的目标物、所述目标物的信息以及所述目标物发生的事件。

Images