CN112487884A - 一种交通违法行为检测方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种交通违法行为检测方法、装置及计算机可读存储介质，将道路环境图像输入至二维图像目标检测模型，输出道路环境图像中目标的二维位置信息以及类别信息；基于二维位置信息获取包含目标的截锥体点云；将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息；参考三维位置信息对目标进行违法行为检测，并将违法行为检测结果上报至后台服务器。通过本发明的实施，采用深度学习的方式，结合两阶段的检测网络实现三维复杂场景中的目标检测，并且结合点云数据可以实现极端光照环境下的目标检测，有效保证了违法行为检测的精度和效率。

Description

一种交通违法行为检测方法、装置及计算机可读存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种交通违法行为检测方法、装置及计算机可读存储介质。

背景技术

目前，交通违法行为严重影响了我国交通安全和道路畅通，如何对交通违法行为进行有效检测对于交通管理有着重要意义。

相关技术中在进行交通违法行为检测时，通常所采用的方式是由交通管理人员对所采集的视频图像进行人工识别，一方面，人工识别较为费时费力，另一方面，在复杂交通环境下人工识别的准确率较为有限。

发明内容

本发明实施例的主要目的在于提供一种交通违法行为检测方法、装置及计算机可读存储介质，至少能够解决相关技术中进行交通违法行为检测的效率较低以及准确率较为有限的问题。

为实现上述目的，本发明实施例第一方面提供了一种交通违法行为检测方法，该方法包括：

将道路环境图像输入至二维图像目标检测模型，输出所述道路环境图像中目标的二维位置信息以及类别信息；其中，所述目标的类别信息包括：车辆、行人、交通指示灯、交通标志以及道路指示线；

基于所述二维位置信息获取包含所述目标的截锥体点云；

将所述截锥体点云输入至三维图像目标检测模型，输出所述目标的三维位置信息；

参考所述三维位置信息对所述目标进行违法行为检测；

将违法行为检测结果上报至后台服务器。

为实现上述目的，本发明实施例第二方面提供了一种交通违法行为检测装置，该装置包括：

第一检测模块，用于将道路环境图像输入至二维图像目标检测模型，输出所述道路环境图像中目标的二维位置信息以及类别信息；其中，所述目标的类别信息包括：车辆、行人、交通指示灯、交通标志以及道路指示线；

获取模块，用于基于所述二维位置信息获取包含所述目标的截锥体点云；

第二检测模块，用于将所述截锥体点云输入至三维图像目标检测模型，输出所述目标的三维位置信息；

第三检测模块，用于参考所述三维位置信息对所述目标进行违法行为检测；

上报模块，用于将违法行为检测结果上报至后台服务器。

为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种交通违法行为检测方法的步骤。

为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种交通违法行为检测方法的步骤。

根据本发明实施例提供的交通违法行为检测方法、装置及计算机可读存储介质，将道路环境图像输入至二维图像目标检测模型，输出道路环境图像中目标的二维位置信息以及类别信息；基于二维位置信息获取包含目标的截锥体点云；将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息；参考三维位置信息对目标进行违法行为检测，并将违法行为检测结果上报至后台服务器。通过本发明的实施，采用深度学习的方式，结合两阶段的检测网络实现三维复杂场景中的目标检测，并且结合点云数据可以实现极端光照环境下的目标检测，有效保证了违法行为检测的精度和效率。

本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的交通违法行为检测方法的基本流程示意图；

图2为本发明第一实施例提供的一种目标检测效果示意图；

图3为本发明第一实施例提供的另一种目标检测效果示意图；

图4为本发明第二实施例提供的交通违法行为检测装置的程序模块示意图；

图5为本发明第三实施例提供的电子装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例：

为了解决相关技术中进行交通违法行为检测的效率较低以及准确率较为有限的技术问题，本实施例提出了一种交通违法行为检测方法，如图1所示为本实施例提供的交通违法行为检测方法的基本流程示意图，本实施例提出的交通违法行为检测方法包括以下的步骤：

步骤101、将道路环境图像输入至二维图像目标检测模型，输出道路环境图像中目标的二维位置信息以及类别信息。

具体的，本实施例采用深度学习方式对神经网络进行训练，得到二维图像目标检测模型，然后采用所得模型进行目标(例如行人、车辆等)的预测识别，优选的，在本实施例中，目标的类别信息包括：车辆、行人、交通指示灯、交通标志以及道路指示线。

在本实施例的一种可选的实施方式中，该二维图像目标检测模型可以采用类似于Faster-RCNN的网络实现，其中，本实施例的二维图像目标检测模型包括：特征提取网络、区域建议网络、ROI池化网络、边界框回归头以及类别预测头。

相对应的，本实施例上述将道路环境图像输入至二维图像目标检测模型，输出道路环境图像中目标的二维位置信息以及类别信息的步骤，具体包括：将道路环境图像输入至特征提取网络，输出卷积特征图；将卷积特征图输入至区域建议网络，输出包含感兴趣区域的特征图；将包含感兴趣区域的特征图输入至ROI池化网络，输出位置修正后的特征图；通过边界框回归头以及类别预测头分别对位置修正后的特征图进行边界框回归以及类别预测，得到道路环境图像中目标的二维位置信息以及类别信息。

在本实施例中，先使用特征提取卷积层来提取图像的特征，接着用区域建议网络获取感兴趣区域，然后再通过ROI池化层修正位置，最终由边界框回归头和类别预测头来输出目标的位置和类别信息。应当说明的是，本实施例所使用的训练数据可以为KITTI数据集中的行人和车辆，如图2所示为本实施例提供的一种目标检测效果示意图，其中，图2中A为行人检测效果示意图，而图2中B为车辆检测效果示意图，网络训练完成后在验证集上的测试性能为车辆和行人的平均精准率(AP，Average Precision)为91％。

步骤102、基于二维位置信息获取包含目标的截锥体点云。

具体的，在实际应用中，当环境光线较弱时，仅仅依靠图像无法准确识别目标，因此，在本实施例中，通过摄像头得到图像中目标所在的位置后，通过投影获取到包含目标的截锥体点云，即得到一个小范围的点云场景。

步骤103、将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息。

具体的，本实施例通过点云处理技术，可以克服弱光线条件下图像处理的识别障碍。

在本实施例的一种可选的实施方式中，三维图像目标检测模型包括：三维语义分割网络、转换网络以及三维边界框回归网络。相对应的，本实施例上述将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息的步骤，具体包括：将截锥体点云输入至三维语义分割网络，输出包含目标每个点的语义掩模；将语义掩模输入至转换网络，通过转换网络将目标点云转换到坐标系的中心位置；通过三维边界框回归网络对目标点云进行边界框回归，得到述目标的三维位置信息。

具体的，本实施例使用三维语义分割网络Pointnet网络完成对目标的实例分割，得到一个包含目标每个点的语义掩膜，接着通过一个转换网络和坐标变换，将所得的目标点云转换到坐标系的中心位置，方便接下来对点云进行边界框的回归。三维边界框回归网络Pointnet是点云的回归网络，需要对目标点云进行旋转平移，得到其目标在相机坐标系下的中心位置以及其长宽高。

通过在KITTI数据集上训练之后，本实施例在KITTI验证集上的检测效果为车和行人平均精准率(AP)为分别为81.3％和50.1％。如图3所示为本实施例提供的另一种目标检测效果示意图，其中，图3中A为二维空间的行人检测效果示意图，而图3中B为三维空间的行人检测效果图，三维空间中的行人在预测的3D包围框中。

步骤104、参考三维位置信息对目标进行违法行为检测；

步骤105、将违法行为检测结果上报至后台服务器。

具体的，通过本实施例的系统实现违法行为检测之后，将违法行为检测结果上传至后台服务器，例如交通部门云端服务器，以供交通部门进行违法行为的记录与处罚。

在本实施例的一些实施方式中，参考三维位置信息对目标进行违法行为检测的流程具体包括：识别交通指示灯的状态信息；参考车辆、行人的三维位置信息以及交通指示灯的状态信息，进行闯红灯行为检测；以及，参考车辆以及道路指示线的三维位置信息，进行压实线行为检测。

而在本实施例的另一些实施方式中，参考三维位置信息对目标进行违法行为检测的流程具体包括：结合交通标志、道路指示线的二维位置信息，以及车辆、车辆的动态轨迹的三维位置信息，对车辆进行违法行为检测。

具体的，本实施例通过前述方式识别出行人和车辆的位置之后，可以通过视频图像识别道路中交通指示灯、交通标志或道路指示线的情况，对车辆和行人的违法行为进行判断，例如闯红灯和压实线，并对违法行为进行上报。对交通违法行为进行广泛督察，避免车主或行人躲避监控违法的侥幸心理。

此外，在又一些实施方式中，在追踪到限速标志时，可以通过激光雷达的点云数据，对车速进行追踪，并通过视觉识别车牌号，实现交通违法判断和识别。

在本实施例的一些实施方式中，在将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息之后，还包括：获取对应于三维图像目标检测数据的人工校准数据；将人工校准数据更新于三维图像目标检测模型的训练集数据，以对三维图像目标检测模型进行重新训练。

还应当说明的是，本实施例还可以通过人工干预对检测的结果进行纠错，在对人和车进行标定后，人工干预的纠错可以放在训练集中对训练集数据进行更新，可为政府提供有效的交通管理数据。

根据本发明实施例提供的交通违法行为检测方法，将道路环境图像输入至二维图像目标检测模型，输出道路环境图像中目标的二维位置信息以及类别信息；基于二维位置信息获取包含目标的截锥体点云；将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息；参考三维位置信息对目标进行违法行为检测，并将违法行为检测结果上报至后台服务器。通过本发明的实施，采用深度学习的方式，结合两阶段的检测网络实现三维复杂场景中的目标检测，并且结合点云数据可以实现极端光照环境下的目标检测，有效保证了违法行为检测的精度和效率。

第二实施例：

为了解决相关技术中进行交通违法行为检测的效率较低以及准确率较为有限的技术问题，本实施例示出了一种交通违法行为检测装置，具体请参见图4，本实施例的交通违法行为检测装置包括：

第一检测模块401，用于将道路环境图像输入至二维图像目标检测模型，输出道路环境图像中目标的二维位置信息以及类别信息；其中，目标的类别信息包括：车辆、行人、交通指示灯、交通标志以及道路指示线；

获取模块402，用于基于二维位置信息获取包含目标的截锥体点云；

第二检测模块403，用于将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息；

第三检测模块404，用于参考三维位置信息对目标进行违法行为检测；

上报模块405，用于将违法行为检测结果上报至后台服务器。

在本实施例的一些实施方式中，二维图像目标检测模型包括：特征提取网络、区域建议网络、ROI池化网络、边界框回归头以及类别预测头。相对应的，第一检测模块具体用于：将道路环境图像输入至特征提取网络，输出卷积特征图；将卷积特征图输入至区域建议网络，输出包含感兴趣区域的特征图；将包含感兴趣区域的特征图输入至ROI池化网络，输出位置修正后的特征图；通过边界框回归头以及类别预测头分别对位置修正后的特征图进行边界框回归以及类别预测，得到道路环境图像中目标的二维位置信息以及类别信息。

在本实施例的一些实施方式中，三维图像目标检测模型包括：三维语义分割网络、转换网络以及三维边界框回归网络。相对应的，第二检测模块具体用于：将截锥体点云输入至三维语义分割网络，输出包含目标每个点的语义掩模；将语义掩模输入至转换网络，通过转换网络将目标点云转换到坐标系的中心位置；通过三维边界框回归网络对目标点云进行边界框回归，得到述目标的三维位置信息。

在本实施例的一些实施方式中，第三检测模块具体用于：识别交通指示灯的状态信息；第三检测模块，用于：参考车辆、行人的位置信息以及交通指示灯的状态信息，进行闯红灯行为检测；以及，参考车辆以及道路指示线的位置信息，进行压实线行为检测。

在本实施例的另一些实施方式中，第三检测模块具体用于：结合交通标志、道路指示线的二维位置信息，以及车辆、车辆的动态轨迹的三维位置信息，对车辆进行违法行为检测。

在本实施例的一些实施方式中，交通违法行为检测装置还包括：更新模块，用于：在将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息之后，获取对应于三维图像目标检测数据的人工校准数据；将人工校准数据更新于三维图像目标检测模型的训练集数据，以对三维图像目标检测模型进行重新训练。

应当说明的是，前述实施例中的交通违法行为检测方法均可基于本实施例提供的交通违法行为检测装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的交通违法行为检测装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

采用本实施例提供的交通违法行为检测装置，将道路环境图像输入至二维图像目标检测模型，输出道路环境图像中目标的二维位置信息以及类别信息；基于二维位置信息获取包含目标的截锥体点云；将截锥体点云输入至三维图像目标检测模型，输出目标的三维位置信息；参考三维位置信息对目标进行违法行为检测，并将违法行为检测结果上报至后台服务器。通过本发明的实施，采用深度学习的方式，结合两阶段的检测网络实现三维复杂场景中的目标检测，并且结合点云数据可以实现极端光照环境下的目标检测，有效保证了违法行为检测的精度和效率。

第三实施例：

本实施例提供了一种电子装置，参见图5所示，其包括处理器501、存储器502及通信总线503，其中：通信总线503用于实现处理器501和存储器502之间的连接通信；处理器501用于执行存储器502中存储的一个或者多个计算机程序，以实现上述实施例一中的交通违法行为检测方法中的至少一个步骤。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。

本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。

本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。

可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。

此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种交通违法行为检测方法，其特征在于，包括：

将道路环境图像输入至二维图像目标检测模型，输出所述道路环境图像中目标的二维位置信息以及类别信息；其中，所述目标的类别信息包括：车辆、行人、交通指示灯、交通标志以及道路指示线；

基于所述二维位置信息获取包含所述目标的截锥体点云；

将所述截锥体点云输入至三维图像目标检测模型，输出所述目标的三维位置信息；

参考所述三维位置信息对所述目标进行违法行为检测；

将违法行为检测结果上报至后台服务器。

2.如权利要求1所述的交通违法行为检测方法，其特征在于，所述二维图像目标检测模型包括：特征提取网络、区域建议网络、ROI池化网络、边界框回归头以及类别预测头；

所述将道路环境图像输入至二维图像目标检测模型，输出所述道路环境图像中目标的二维位置信息以及类别信息，包括：

将道路环境图像输入至所述特征提取网络，输出卷积特征图；

将所述卷积特征图输入至区域建议网络，输出包含感兴趣区域的特征图；

将所述包含感兴趣区域的特征图输入至ROI池化网络，输出位置修正后的特征图；

通过所述边界框回归头以及类别预测头分别对所述位置修正后的特征图进行边界框回归以及类别预测，得到所述道路环境图像中目标的二维位置信息以及类别信息。

3.如权利要求1所述的交通违法行为检测方法，其特征在于，所述三维图像目标检测模型包括：三维语义分割网络、转换网络以及三维边界框回归网络；

所述将所述截锥体点云输入至三维图像目标检测模型，输出所述目标的三维位置信息，包括：

将所述截锥体点云输入至所述三维语义分割网络，输出包含所述目标每个点的语义掩模；

将所述语义掩模输入至所述转换网络，通过所述转换网络将目标点云转换到坐标系的中心位置；

通过所述三维边界框回归网络对所述目标点云进行边界框回归，得到述目标的三维位置信息。

4.如权利要求1所述的交通违法行为检测方法，其特征在于，所述参考所述三维位置信息对所述目标进行违法行为检测，包括：

识别所述交通指示灯的状态信息；

参考所述车辆、所述行人的三维位置信息以及所述交通指示灯的状态信息，进行闯红灯行为检测；

以及，参考所述车辆以及所述道路指示线的三维位置信息，进行压实线行为检测。

5.如权利要求1所述的交通违法行为检测方法，其特征在于，所述参考所述三维位置信息对所述目标进行违法行为检测，包括：

结合所述交通标志、所述道路指示线的所述二维位置信息，以及所述车辆、所述车辆的动态轨迹的所述三维位置信息，对所述车辆进行违法行为检测。

6.如权利要求1至5中任意一项所述的交通违法行为检测方法，其特征在于，所述将所述截锥体点云输入至三维图像目标检测模型，输出所述目标的三维位置信息之后，还包括：

获取对应于三维图像目标检测数据的人工校准数据；

将所述人工校准数据更新于所述三维图像目标检测模型的训练集数据，以对所述三维图像目标检测模型进行重新训练。

7.一种交通违法行为检测装置，其特征在于，包括：

第一检测模块，用于将道路环境图像输入至二维图像目标检测模型，输出所述道路环境图像中目标的二维位置信息以及类别信息；其中，所述目标的类别信息包括：车辆、行人、交通指示灯、交通标志以及道路指示线；

获取模块，用于基于所述二维位置信息获取包含所述目标的截锥体点云；

第二检测模块，用于将所述截锥体点云输入至三维图像目标检测模型，输出所述目标的三维位置信息；

第三检测模块，用于参考所述三维位置信息对所述目标进行违法行为检测；

上报模块，用于将违法行为检测结果上报至后台服务器。

8.如权利要求7所述的交通违法行为检测装置，其特征在于，所述二维图像目标检测模型包括：特征提取网络、区域建议网络、ROI池化网络、边界框回归头以及类别预测头；

所述第一检测模块具体用于：将道路环境图像输入至所述特征提取网络，输出卷积特征图；将所述卷积特征图输入至区域建议网络，输出包含感兴趣区域的特征图；将所述包含感兴趣区域的特征图输入至ROI池化网络，输出位置修正后的特征图；通过所述边界框回归头以及类别预测头分别对所述位置修正后的特征图进行边界框回归以及类别预测，得到所述道路环境图像中目标的二维位置信息以及类别信息。

9.如权利要求7所述的交通违法行为检测装置，其特征在于，所述三维图像目标检测模型包括：三维语义分割网络、转换网络以及三维边界框回归网络；

所述第二检测模块具体用于：将所述截锥体点云输入至所述三维语义分割网络，输出包含所述目标每个点的语义掩模；将所述语义掩模输入至所述转换网络，通过所述转换网络将目标点云转换到坐标系的中心位置；通过所述三维边界框回归网络对所述目标点云进行边界框回归，得到述目标的三维位置信息。

10.一种电子装置，其特征在于，包括：处理器、存储器和通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至6中任意一项所述的交通违法行为检测方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至6中任意一项所述的交通违法行为检测方法的步骤。

Images