CN110889388A - 违章识别方法、装置、设备及存储介质 - Google Patents

违章识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110889388A
CN110889388A CN201911220754.7A CN201911220754A CN110889388A CN 110889388 A CN110889388 A CN 110889388A CN 201911220754 A CN201911220754 A CN 201911220754A CN 110889388 A CN110889388 A CN 110889388A
Authority
CN
China
Prior art keywords
image
configuration
feature map
images
violation identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911220754.7A
Other languages
English (en)
Inventor
周康明
罗余洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201911220754.7A priority Critical patent/CN110889388A/zh
Publication of CN110889388A publication Critical patent/CN110889388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种违章识别方法、装置、设备及存储介质。该方法包括：获取待处理的抓拍图像；对抓拍图像进行场景分割，得到抓拍图像的特征图，其中，特征图中包含抓拍图像中的道路标志信息；将特征图与预置的各个摄像机的配置图像进行匹配，确定与特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；根据与特征图匹配的配置图像，对抓拍图像进行违章识别，得到违章识别结果。本申请通过将抓拍图像的特征图与各个摄像机的配置图像进行匹配，准确确定出抓拍图像对应的配置图像，然后利用该配置图像对抓拍图像进行违章识别，从而提高违章识别的准确度。

Description

违章识别方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种违章识别方法、装置、设备及存储介质。
背景技术
随着经济的持续快速发展，利用车辆出行成为人们常用的出行方式。而伴随着出行车辆数量的增长，交通违章现象逐步增多。为了保证交通安全，目前在路口安装摄像机采集抓拍图像，通过对抓拍图像的处理来识别交通违章。
现有技术中，每个路口的摄像机都对应设置配置图像，配置图像为通过人工标注的方式对该摄像机采集的图像进行道路标志信息标注后的图像。每个摄像机设置相应的摄像机编号。在对待处理的抓拍图像进行违章识别时，根据抓拍图像的摄像机编号查找对应的配置图像，然后利用该配置图像对抓拍图像进行违章识别。
然而，对于摄像机编号缺失的抓拍图像，例如存储数据缺失或者摄像机编号获取失败的情况，现有技术无法利用配置图像对抓拍图像进行违章识别，只能通过对抓拍图像进行场景分割来实现违章识别，导致违章识别的准确度低。
发明内容
本申请实施例提供一种违章识别方法、装置、设备及存储介质，以解决对摄像机编号缺失的抓拍图像进行违章识别的准确度低的问题。
第一方面，本申请实施例提供一种违章识别方法，包括：
获取待处理的抓拍图像；
对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，其中，所述特征图中包含所述抓拍图像中的道路标志信息；
将所述特征图与预置的各个摄像机的配置图像进行匹配，确定与所述特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；
根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
在一种可能的实施方式中，将所述特征图与预置的各个摄像机的配置图像进行匹配，得到与所述特征图相匹配的配置图像，包括：
提取所述特征图的方向梯度直方图HOG特征和各个摄像机的配置图像的HOG特征；
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度；
根据所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与所述特征图相匹配的配置图像。
在一种可能的实施方式中，根据所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与所述特征图相匹配的配置图像，包括：
查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像；
将所述第一配置图像确定为与所述特征图相匹配的配置图像；
或者，
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度大于或等于预设阈值时，将所述第一配置图像确定为与所述特征图相匹配的配置图像。
在一种可能的实施方式中，查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像之后，所述方法还包括：
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度小于所述预设阈值时，确定匹配失败，并通过预置的场景分割模型对所述抓拍图像进行违章识别，得到所述违章识别结果。
在一种可能的实施方式中，分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，包括：
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的余弦距离，作为所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度。
在一种可能的实施方式中，对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，包括：
通过金字塔场景解析网络对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图。
在一种可能的实施方式中，获取待处理的抓拍图像之前，所述方法还包括：
获取多张样本图像，其中，所述样本图像为包含已标注的道路标志信息的摄像机场景图像；
通过所述多张样本图像对预先构建的金字塔场景解析网络进行训练；
通过金字塔场景解析网络对所述抓拍图像进行场景分割，包括：
通过训练后的金字塔场景解析网络对所述抓拍图像进行场景分割。
在一种可能的实施方式中，所述道路标志信息包括以下中的至少一种：
斑马线信息、车道线信息、导向线信息、信号灯信息；
所述方法还包括：
显示所述违章识别结果。
第二方面，本申请实施例提供一种违章识别装置，包括：
获取模块，用于获取待处理的抓拍图像；
处理模块，用于对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，其中，所述特征图中包含所述抓拍图像中的道路标志信息；
匹配模块，用于将所述特征图与预置的各个摄像机的配置图像进行匹配，确定与所述特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；
识别模块，用于根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
在一种可能的实施方式中，所述匹配模块，具体用于：
提取所述特征图的方向梯度直方图HOG特征和各个摄像机的配置图像的HOG特征；
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度；
根据所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与所述特征图相匹配的配置图像。
在一种可能的实施方式中，所述匹配模块，具体用于：
查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像；
将所述第一配置图像确定为与所述特征图相匹配的配置图像；
或者，
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度大于或等于预设阈值时，将所述第一配置图像确定为与所述特征图相匹配的配置图像。
在一种可能的实施方式中，所述匹配模块，还用于：
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度小于所述预设阈值时，确定匹配失败，并通过预置的场景分割模型对所述抓拍图像进行违章识别，得到所述违章识别结果。
在一种可能的实施方式中，所述匹配模块，具体用于：
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的余弦距离，作为所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度。
在一种可能的实施方式中，所述处理模块，用于：
通过金字塔场景解析网络对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图。
在一种可能的实施方式中，所述装置还包括训练模块；
所述训练模块，用于：
获取多张样本图像，其中，所述样本图像为包含已标注的道路标志信息的摄像机场景图像；
通过所述多张样本图像对预先构建的金字塔场景解析网络进行训练；
所述处理模块，具体用于：
通过训练后的金字塔场景解析网络对所述抓拍图像进行场景分割。
在一种可能的实施方式中，所述道路标志信息包括以下中的至少一种：
斑马线信息、车道线信息、导向线信息、信号灯信息；
所述装置还包括显示模块，所述显示模块用于：
显示所述违章识别结果。
第三方面，本申请实施例提供一种违章识别设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的实施方式所述的违章识别方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的实施方式所述的违章识别方法。
本申请实施例提供的违章识别方法、装置、设备及存储介质，获取待处理的抓拍图像；对抓拍图像进行场景分割，得到抓拍图像的特征图，其中，特征图中包含抓拍图像中的道路标志信息；将特征图与预置的各个摄像机的配置图像进行匹配，确定与特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；根据与特征图匹配的配置图像，对抓拍图像进行违章识别，得到违章识别结果，能够通过将抓拍图像的特征图与预置的各个摄像机的配置图像进行匹配，准确确定出抓拍图像对应的摄像机的配置图像，然后利用该配置图像对抓拍图像进行违章识别，从而在抓拍图像的摄像机编号缺失的情况下也能匹配到其对应的配置图像，进而提高违章识别的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的违章识别系统的架构示意图；
图2为本申请一实施例提供的违章识别方法的流程示意图；
图3为本申请又一实施例提供的违章识别方法的流程示意图；
图4为本申请实施例提供的特征图与各配置图像匹配的示意图；
图5为本申请实施例提供的特征图与各配置图像匹配的流程示意图；
图6为本申请另一实施例提供的违章识别方法的流程示意图；
图7为本申请实施例提供的金字塔场景解析网络的示意图；
图8为本申请一实施例提供的违章识别装置的结构示意图；
图9为本申请又一实施例提供的违章识别装置的结构示意图；
图10为本申请一实施例提供的违章识别设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请一实施例提供的违章识别系统的架构示意图。如图1所示，本实施例提供的违章识别系统包括摄像机11和违章识别设备12。摄像机11固定安装于路口，用于抓拍车辆、行人等对象通过路口时的图像。违章识别设备12可以为台式计算机、便携式计算机、服务器等，在此不作限定。违章识别设备12用于对摄像机11抓拍到的抓拍图像进行违章识别。
图2为本申请一实施例提供的违章识别方法的流程示意图。该方法的执行主体可以为违章识别设备。如图2所示，该方法包括：
S201、获取待处理的抓拍图像。
本实施例中，每个路口可以安装一台或多台摄像机，用于抓拍车辆、行人等对象通过路口时的图像。摄像机抓拍到抓拍图像后可以将抓拍图像直接发送给违章识别设备，也可以将抓拍图像传输给存储抓拍图像的设备，然后违章设备设备从存储抓拍图像的设备中获取抓拍图像，在此不作限定。
S202、对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，其中，所述特征图中包含所述抓拍图像中的道路标志信息。
本实施例中，违章识别设备可以通过传统的特征提取方式或者基于神经网络的场景分割模型等对抓拍图像进行场景分割，得到抓拍图像的特征图。抓拍图像中包含所拍摄的路口的道路标识信息，通过场景分割可以从抓拍图像中提取出包含道路标志信息的特征图。其中，道路标志信息可以包括但不限于以下中的至少一种：斑马线信息、车道线信息、导向线信息、信号灯信息。道路标志信息可以是道路标识在图像中所占的位置、区域轮廓等信息，在此不作限定。可选地，抓拍图像的特征图可以是二值化图像。例如，在二值化图像中，道路标志信息对应的像素颜色为白色，道路标志信息之外的对象对应的像素颜色为黑色。
S203、将所述特征图与预置的各个摄像机的配置图像进行匹配，确定与所述特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息。
本实施例中，一个摄像机的配置图像可以是从该摄像机采集的路口图像中选取道路标志未被遮挡的图像，然后通过人工对该图像中的道路标志信息进行标注得到的。摄像机与配置图像一一对应。配置图像可以存储于配置库中。违章识别设备可以根据道路标志信息将抓拍图像的特征图与预置的各个摄像机的配置图像进行匹配，确定所有配置图像中与抓拍图像的特征图相匹配的配置图像。配置图像可以直接对摄像机采集的路口图像进行标注得到的图像，也可以是按照标注结果从路口图像中提取仅包含道路标志信息的特征图，在此不作限定。可选地，违章识别设备在确定出与特征图相匹配的配置图像后，可以将该配置图像与该特征图进行关联存储，以便后续进行违章识别。
S204、根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
本实施例中，违章识别设备根据与特征图匹配的配置图像，对抓拍图像进行违章识别，可以是将场景分割到的特征图中的道路标志信息与配置图像中标注的道路标志信息进行对比，判断抓拍图像中车辆或行人等对象是否存在违章行为。违章识别设备可以将抓拍图像与相应的违章识别结果关联存储，其中违章识别结果可以包括违章行为发生的时间、地点、车牌号、违章类型等，在此不作限定。
可选地，S204之后，上述方法还可以包括：
显示所述违章识别结果。
本实施例中，违章识别设备可以将确定出的违章识别结果显示设备的显示屏上，或者将违章识别结果发送到用户终端上，以使用户终端在屏幕上显示该违章识别结果，以便用户获知该违章识别结果。
本申请实施例获取待处理的抓拍图像；对抓拍图像进行场景分割，得到抓拍图像的特征图，其中，特征图中包含抓拍图像中的道路标志信息；将特征图与预置的各个摄像机的配置图像进行匹配，确定与特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；根据与特征图匹配的配置图像，对抓拍图像进行违章识别，得到违章识别结果，能够通过将抓拍图像的特征图与预置的各个摄像机的配置图像进行匹配，准确确定出抓拍图像对应的摄像机的配置图像，然后利用该配置图像对抓拍图像进行违章识别，从而在抓拍图像的摄像机编号缺失的情况下也能匹配到其对应的配置图像，进而提高违章识别的准确度。
图3为本申请又一实施例提供的违章识别方法的流程示意图。本实施例对将特征图与预置的各个摄像机的配置图像进行匹配的具体实现过程进行了详细说明。如图3所示，该方法包括：
S301、获取待处理的抓拍图像。
本实施例中，S301与图2实施例中的S201类似，此处不再赘述。
S302、对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，其中，所述特征图中包含所述抓拍图像中的道路标志信息。
本实施例中，S302与图2实施例中的S202类似，此处不再赘述。
S303、提取所述特征图的方向梯度直方图HOG特征和各个摄像机的配置图像的HOG特征；其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息。
本实施例中，违章识别设备从抓拍图像的特征图中提取方向梯度直方图(Histogram of oriented gradient，HOG)特征，并从各个摄像机的配置图像中提取HOG特征。图4为本申请实施例提供的特征图与各配置图像匹配的示意图。HOG特征可以以HOG特征向量的形式表示。参照图4，通过对抓拍图像进行场景分割，得到抓拍图像的特征图，然后从特征图中提取HOG特征，图4中特征图右侧的一串数据即为提取到的HOG特征向量。对于配置库中的每个配置图像提取HOG特征，图4中抓拍图像的特征图和各配置图像均为二值化图像，各个配置图下方的一串数据即为相应的HOG特征向量。
S304、分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度。
本实施例中，针对每个配置图像，违章识别设备计算该配置图像的HOG特征与抓拍图像的特征图的HOG特征之间的相似度。违章识别设备可以根据两个HOG特征向量间的余弦距离、欧氏距离等进行相似度判断，在此不作限定。
可选地，分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的余弦距离，作为所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度。
本实施例中，违章识别设备通过计算余弦距离判断特征图的HOG特征与各个配置图像的HOG特征之间的相似度。例如，将抓拍图像的特征图对应的HOG特征(FeaLoc)分别与各个配置图像对应的HOG特征(FeaN1,FeaN2,...FeaNn)依次求取余弦距离，记为(CosN1_L,CosN2_L,...CosNn_L)，其中，余弦距离计算公式如下：
Figure BDA0002300780840000081
其中，
Figure BDA0002300780840000082
分别表示一组HOG特征，即x对应FeaN，y对应FeaLoc。
S305、根据所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与所述特征图相匹配的配置图像。
本实施例中，违章识别设备可以根据特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与特征图相匹配的配置图像，S305的实现方式可以包括但不限于以下中的任一种：
在第一种实现方式中，查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像；将所述第一配置图像确定为与所述特征图相匹配的配置图像。
该实现方式中，违章识别设备可以根据特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，从所有配置图像中查找第一配置图像作为与特征图相匹配的配置图像。其中，第一配置图像为所有配置图像中与特征图的HOG特征之间的相似度最高的配置图像。
在第二种实现方式中，查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像；在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度大于或等于预设阈值时，将所述第一配置图像确定为与所述特征图相匹配的配置图像。
该实现方式中，违章识别设备可以根据抓拍图像的特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，从所有配置图像中查找第一配置图像。其中，第一配置图像为所有配置图像中与特征图的HOG特征之间的相似度最高的配置图像。在查找到第一配置图像后，将第一配置图像的HOG特征与特征图的HOG特征之间的相似度和预设阈值对比，若小于或等于预设阈值，则将第一配置图像作为与特征图相匹配的配置图像。其中，预设阈值的取值在此不作限定。例如，预设阈值取为0.6，假设第一配置图像的HOG特征与特征图的HOG特征之间的相似度为0.7，则将第一配置图像作为与特征图相匹配的配置图像。
可选地，在第二种实现方式中，上述方法还可以包括：
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度小于所述预设阈值时，确定匹配失败，并通过预置的场景分割模型对所述抓拍图像进行违章识别，得到所述违章识别结果。
本实施例中，若第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度小于所述预设阈值时，确定匹配失败，没有匹配到与特征图相匹配的配置图像，此时违章识别设备不能利用配置图像对抓拍图像进行违章识别，而是通过预置的场景分割模型对抓拍图像进行违章识别，得到违章识别结果。其中，预置的场景分割模型为经过训练的对抓拍图像进行场景分割以识别其中的对象是否违章行为的模型。例如，预设阈值取为0.6，假设第一配置图像的HOG特征与特征图的HOG特征之间的相似度为0.5，则判定匹配识别。
图5为本申请实施例提供的匹配特征图与各配置图像匹配的流程示意图。参照图5，配置信息是指各摄像机的配置图像，路口图片即为待识别的抓拍图像。匹配成功时返回的配置信息是指与抓拍图像相匹配的配置图像；匹配失败时返回的分割信息是指对抓拍图像进行场景分割得到的特征图。
本实施例中设置预设阈值，通过预设阈值能够将与抓拍图像的道路标志信息相似度较低的配置图像排除，避免错误将其他摄像机的配置图像作为该抓拍图像的配置图像的情况，进而避免由错误的配置图像导致的违章识别错误，提高违章识别的准确度。
S306、根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
本实施例中，S306与图2实施例中的S204类似，此处不再赘述。
本实施例通过提取特征图的HOG特征和各个摄像机的配置图像的HOG特征，根据特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与特征图相匹配的配置图像，能够利用HOG特征进行图像匹配，准确匹配出抓拍图像对应的配置图像，从而提高违章识别的准确度。
图6为本申请另一实施例提供的违章识别方法的流程示意图。本实施例对对抓拍图像进行场景分割的具体实现过程进行了详细说明。如图6所示，该方法包括：
S601、获取待处理的抓拍图像。
本实施例中，S601与图2实施例中的S201类似，此处不再赘述。
S602、通过金字塔场景解析网络对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图。
本实施例中，通过构建金字塔场景解析网络(Pyramid Scene Parsing Network，PSPNet)对抓拍图像进行场景分割。图7为本申请实施例提供的金字塔场景解析网络的示意图。参照图7，该网络由两个模块组成，即ResNet50特征提取基网络以及PSP模块两部分组成。其中，ResNet50特征提取基网络对输入的抓拍图像抽取图像特征，本实施例中抽取到的特征尺寸是2*512*60*60。PSP模块对ResNet50特征提取基网络抽取的图像特征进行并行的四步处理，每一步处理方式均为池化(并行的四步中，池化后的单个特征图尺寸分别为1*1,2*2,4*4,8*8)，卷积，反池化，最后得到同样为2*512*60*60的特征图。接着将ResNet50特征提取基网络抽取的图像特征与PSP模块抽取的图像特征进行特征融合，最后将融合后的特征反池化到原始尺寸，得到抓拍图像的特征图，实现对对抓拍图像进行场景分割。
可选地，S602可以是通过训练后的金字塔场景解析网络对抓拍图像进行场景分割。在S601之前，上述方法还可以包括：
获取多张样本图像，其中，所述样本图像为包含已标注的道路标志信息的摄像机场景图像；
通过所述多张样本图像对预先构建的金字塔场景解析网络进行训练。
本实施例中，可以首先构建PSPNet，然后通过对道路标志信息进行标注后的样本图像对构建的PSPNet进行训练，得到训练后的PSPNet。
例如，通过损失函数L(Sj)驱动模型训练，其中：
L(Sj)＝-log(Sj)
其中，
Figure BDA0002300780840000111
Sj为图像中某像素点为第j类的概率，T代表总类别数。
训练过程可以如下：1)获取摄像机采集的符合现实分布的路口场景图像。2)对路口场景中的道路标志信息等进行人工标注。3)依据损失函数，学习率0.001驱动模型训练，获取训练后的PSPNet。
S603、将所述特征图与预置的各个摄像机的配置图像进行匹配，确定与所述特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息。
本实施例中，S603与图2实施例中的S203类似，此处不再赘述。
S604、根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
本实施例中，S604与图2实施例中的S204类似，此处不再赘述。
本实施例通过PSPNet对抓拍图像进行场景分割，得到抓拍图像的特征图，能够保证获得准确包含道路标志信息的特征图，进而提高违章识别的准确度。
图8为本申请一实施例提供的违章识别装置的结构示意图。如图8所示，该违章识别装置80包括：获取模块801、处理模块802、匹配模块803、识别模块804。
获取模块801，用于获取待处理的抓拍图像。
处理模块802，用于对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，其中，所述特征图中包含所述抓拍图像中的道路标志信息。
匹配模块803，用于将所述特征图与预置的各个摄像机的配置图像进行匹配，确定与所述特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息。
识别模块804，用于根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
本申请实施例获取待处理的抓拍图像；对抓拍图像进行场景分割，得到抓拍图像的特征图，其中，特征图中包含抓拍图像中的道路标志信息；将特征图与预置的各个摄像机的配置图像进行匹配，确定与特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；根据与特征图匹配的配置图像，对抓拍图像进行违章识别，得到违章识别结果，能够通过将抓拍图像的特征图与预置的各个摄像机的配置图像进行匹配，准确确定出抓拍图像对应的摄像机的配置图像，然后利用该配置图像对抓拍图像进行违章识别，从而在抓拍图像的摄像机编号缺失的情况下也能匹配到其对应的配置图像，进而提高违章识别的准确度。
图9为本申请又一实施例提供的违章识别装置的结构示意图。如图9所示，本实施例提供的违章识别装置80在图8所示实施例提供的违章识别装置的基础上，还可以包括：训练模块805、显示模块806。
可选地，所述匹配模块803，具体用于：
提取所述特征图的方向梯度直方图HOG特征和各个摄像机的配置图像的HOG特征；
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度；
根据所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与所述特征图相匹配的配置图像。
可选地，所述匹配模块803，具体用于：
查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像；
将所述第一配置图像确定为与所述特征图相匹配的配置图像；
或者，
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度大于或等于预设阈值时，将所述第一配置图像确定为与所述特征图相匹配的配置图像。
可选地，所述匹配模块803，还用于：
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度小于所述预设阈值时，确定匹配失败，并通过预置的场景分割模型对所述抓拍图像进行违章识别，得到所述违章识别结果。
可选地，所述匹配模块803，具体用于：
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的余弦距离，作为所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度。
可选地，所述处理模块802，用于：
通过金字塔场景解析网络对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图。
可选地，所述训练模块805，用于：
获取多张样本图像，其中，所述样本图像为包含已标注的道路标志信息的摄像机场景图像；
通过所述多张样本图像对预先构建的金字塔场景解析网络进行训练；
所述处理模块802，具体用于：
通过训练后的金字塔场景解析网络对所述抓拍图像进行场景分割。
可选地，所述道路标志信息包括以下中的至少一种：
斑马线信息、车道线信息、导向线信息、信号灯信息；
所述显示模块806用于：
显示所述违章识别结果。
本申请实施例提供的违章识别装置，可用于执行上述的方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
图10为本申请一实施例提供的违章识别设备的硬件结构示意图。如图10所示，本实施例提供的违章识别设备100包括：至少一个处理器1001和存储器1002。该违章识别设备100还包括通信部件1003。其中，处理器1001、存储器1002以及通信部件1003通过总线1004连接。
在具体实现过程中，至少一个处理器1001执行所述存储器1002存储的计算机执行指令，使得至少一个处理器1001执行如上的违章识别方法。
处理器1001的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图10所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上的违章识别方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种违章识别方法，其特征在于，包括：
获取待处理的抓拍图像；
对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，其中，所述特征图中包含所述抓拍图像中的道路标志信息；
将所述特征图与预置的各个摄像机的配置图像进行匹配，确定与所述特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；
根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
2.根据权利要求1所述的方法，其特征在于，将所述特征图与预置的各个摄像机的配置图像进行匹配，得到与所述特征图相匹配的配置图像，包括：
提取所述特征图的方向梯度直方图HOG特征和各个摄像机的配置图像的HOG特征；
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度；
根据所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与所述特征图相匹配的配置图像。
3.根据权利要求2所述的方法，其特征在于，根据所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，确定与所述特征图相匹配的配置图像，包括：
查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像；
将所述第一配置图像确定为与所述特征图相匹配的配置图像；
或者，
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度大于或等于预设阈值时，将所述第一配置图像确定为与所述特征图相匹配的配置图像。
4.根据权利要求3所述的方法，其特征在于，查找所有配置图像中HOG特征与所述特征图的HOG特征之间的相似度最高的第一配置图像之后，所述方法还包括：
在所述第一配置图像的HOG特征与所述特征图的HOG特征之间的相似度小于所述预设阈值时，确定匹配失败，并通过预置的场景分割模型对所述抓拍图像进行违章识别，得到所述违章识别结果。
5.根据权利要求2所述的方法，其特征在于，分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度，包括：
分别计算所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的余弦距离，作为所述特征图的HOG特征与各个摄像机的配置图像的HOG特征之间的相似度。
6.根据权利要求1-5任一项所述的方法，其特征在于，对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，包括：
通过金字塔场景解析网络对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图。
7.根据权利要求6所述的方法，其特征在于，获取待处理的抓拍图像之前，所述方法还包括：
获取多张样本图像，其中，所述样本图像为包含已标注的道路标志信息的摄像机场景图像；
通过所述多张样本图像对预先构建的金字塔场景解析网络进行训练；
通过金字塔场景解析网络对所述抓拍图像进行场景分割，包括：
通过训练后的金字塔场景解析网络对所述抓拍图像进行场景分割。
8.一种违章识别装置，其特征在于，包括：
获取模块，用于获取待处理的抓拍图像；
处理模块，用于对所述抓拍图像进行场景分割，得到所述抓拍图像的特征图，其中，所述特征图中包含所述抓拍图像中的道路标志信息；
匹配模块，用于将所述特征图与预置的各个摄像机的配置图像进行匹配，确定与所述特征图相匹配的配置图像，其中，每个摄像机固定安装于路口上，一个摄像机的配置图像中包含该摄像机采集的图像中已标注的道路标志信息；
识别模块，用于根据与所述特征图匹配的配置图像，对所述抓拍图像进行违章识别，得到违章识别结果。
9.一种违章识别设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的违章识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的违章识别方法。
CN201911220754.7A 2019-12-03 2019-12-03 违章识别方法、装置、设备及存储介质 Pending CN110889388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911220754.7A CN110889388A (zh) 2019-12-03 2019-12-03 违章识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911220754.7A CN110889388A (zh) 2019-12-03 2019-12-03 违章识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110889388A true CN110889388A (zh) 2020-03-17

Family

ID=69750124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911220754.7A Pending CN110889388A (zh) 2019-12-03 2019-12-03 违章识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110889388A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183244A (zh) * 2020-09-11 2021-01-05 浙江大华技术股份有限公司 场景建立方法及装置、存储介质、电子装置
CN112365465A (zh) * 2020-11-09 2021-02-12 浙江大华技术股份有限公司 合成图像类别确定方法、装置、存储介质及电子装置
CN112839200A (zh) * 2020-12-25 2021-05-25 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN114710626A (zh) * 2022-03-07 2022-07-05 北京千方科技股份有限公司 图像采集的方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829826A (zh) * 2018-06-14 2018-11-16 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
CN109584548A (zh) * 2018-10-31 2019-04-05 武汉三力通信有限责任公司 一种违章信息智能处理系统
CN109637151A (zh) * 2018-12-31 2019-04-16 上海眼控科技股份有限公司 一种高速公路应急车道违章行驶的识别方法
CN109785637A (zh) * 2019-01-28 2019-05-21 平安科技（深圳）有限公司 车辆违规的分析评价方法及装置
US20190244358A1 (en) * 2016-12-02 2019-08-08 Beijing Sensetime Technology Development Co., Ltd. Method and system for scene parsing and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190244358A1 (en) * 2016-12-02 2019-08-08 Beijing Sensetime Technology Development Co., Ltd. Method and system for scene parsing and storage medium
CN108829826A (zh) * 2018-06-14 2018-11-16 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
CN109584548A (zh) * 2018-10-31 2019-04-05 武汉三力通信有限责任公司 一种违章信息智能处理系统
CN109637151A (zh) * 2018-12-31 2019-04-16 上海眼控科技股份有限公司 一种高速公路应急车道违章行驶的识别方法
CN109785637A (zh) * 2019-01-28 2019-05-21 平安科技（深圳）有限公司 车辆违规的分析评价方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183244A (zh) * 2020-09-11 2021-01-05 浙江大华技术股份有限公司 场景建立方法及装置、存储介质、电子装置
CN112365465A (zh) * 2020-11-09 2021-02-12 浙江大华技术股份有限公司 合成图像类别确定方法、装置、存储介质及电子装置
CN112365465B (zh) * 2020-11-09 2024-02-06 浙江大华技术股份有限公司 合成图像类别确定方法、装置、存储介质及电子装置
CN112839200A (zh) * 2020-12-25 2021-05-25 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN112839200B (zh) * 2020-12-25 2023-01-24 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN114710626A (zh) * 2022-03-07 2022-07-05 北京千方科技股份有限公司 图像采集的方法、装置、电子设备及介质
CN114710626B (zh) * 2022-03-07 2024-05-14 北京千方科技股份有限公司 图像采集的方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN110889388A (zh) 违章识别方法、装置、设备及存储介质
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN110097068B (zh) 相似车辆的识别方法和装置
CN102867418B (zh) 一种判断车牌识别准确性的方法和装置
CN110348463B (zh) 用于识别车辆的方法和装置
CN111078946A (zh) 一种基于多目标区域特征聚合的卡口车辆检索方法及系统
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN112215190A (zh) 基于yolov4模型的违章建筑检测方法
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN110781195B (zh) 一种兴趣点信息更新的系统、方法和装置
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN108847031A (zh) 交通行为监控方法、装置、计算机设备和存储介质
CN117218622A (zh) 路况检测方法、电子设备及存储介质
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN111476132A (zh) 视频场景识别方法、装置及电子设备、存储介质
CN113569752B (zh) 车道线结构识别方法、装置、设备及介质
CN114332814A (zh) 一种停车框识别方法、装置、电子设备及存储介质
JP7180827B2 (ja) 一般物体認識システム
CN112215189A (zh) 违章建筑精确检测系统
CN112883973A (zh) 车牌识别方法、装置、电子设备和计算机存储介质
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备
Lajish et al. Mobile phone based vehicle license plate recognition for road policing
CN116052220B (zh) 行人重识别方法、装置、设备及介质
CN117201708B (zh) 带有位置信息的无人机视频拼接方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200317