CN114387572B - 交通执法影像中基于ai技术的闯红灯违法车辆匹配方法 - Google Patents

交通执法影像中基于ai技术的闯红灯违法车辆匹配方法 Download PDF

Info

Publication number
CN114387572B
CN114387572B CN202210027025.5A CN202210027025A CN114387572B CN 114387572 B CN114387572 B CN 114387572B CN 202210027025 A CN202210027025 A CN 202210027025A CN 114387572 B CN114387572 B CN 114387572B
Authority
CN
China
Prior art keywords
vehicle
candidate
illegal
candidate vehicle
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210027025.5A
Other languages
English (en)
Other versions
CN114387572A (zh
Inventor
李万清
张俊峰
李华
李枨
寿俐鑫
刘俊
袁友伟
俞东进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210027025.5A priority Critical patent/CN114387572B/zh
Publication of CN114387572A publication Critical patent/CN114387572A/zh
Application granted granted Critical
Publication of CN114387572B publication Critical patent/CN114387572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种交通执法影像中基于AI技术的闯红灯违法车辆匹配方法。该方法从连续多张违法影像中按照时间戳依次获取违法影像，先通过定位模块定位得到违法影像中的所有车辆作为候选车辆集合；再针对候选车辆集合中的每一辆候选车辆，通过车牌识别模型识别出候选车辆车牌号，同时通过所述车辆分类模型得到候选车辆类别概率分布；然后计算候选车辆集合中的每一辆候选车辆与目标车辆之间的匹配指数，将匹配指数最小的候选车辆作为匹配车辆。本发明提供的车辆匹配方法具有较高的匹配准确率，即使在黑夜、阴天、雨天、雾天场景下，仍具有不错的表现。而且本发明将极大减轻人工工作量，同时还可以减少执法尺度不一、疲劳判读、错误判读等情况的发生。

Description

交通执法影像中基于AI技术的闯红灯违法车辆匹配方法
技术领域
本发明属于深度学习的目标检测领域，具体涉及到一种交通执法影像中的闯红灯违法车辆匹配方法。
背景技术
随着我国经济的飞速发展，城市交通变得更加发达，与此同时，交通非现场执法场景下闯红灯违法行为数量也在增加。以某三线城市为例，仅在市区范围内，存在1800多个非现场执法摄像头。而执法人员要确认一辆车是否违法，需要检查该摄像头抓拍的三张连续图片才能确认，同时，人工判读存在判断尺度不一的问题，而且工作量巨大，经常出现数据积压的问题，导致实际存在违法的行为没有得到纠正，给交通带来隐患。基于以上事实，需要提出一种交通非现场执法场景下的闯红灯违法自动判读算法，解决人工判读效率低下的问题，同时减轻交通执法人员的工作压力。而在自动判读任务中，至关重要的一步是，在给定目标车辆的前提下，在连续三张违法影像中所有候选车辆中找到与目标车辆最为相似的车辆，分析该车辆的行驶轨迹，为判断是否真正违法奠定基础。现有技术中存在通过识别车牌号来匹配违法车辆的技术，但受限于摄像头拍摄图像中的畸变以及各种环境干扰，车辆的车牌号往往无法被准确识别，这将导致从违法影像中匹配目标车辆失败。因此，如何准确实现违法影像中的目标车辆识别，是目前亟待解决的技术问题。
发明内容
本发明的目的在于解决现有技术中存在的问题，并提供一种交通执法影像中基于AI技术的闯红灯违法车辆匹配方法。
本发明所采用的具体技术方案如下：
一种交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，用于在车辆闯红灯时被固定视角摄像头拍摄的连续多张违法影像中匹配出涉嫌闯红灯的目标车辆，其包括：
S1、获取目标车辆图片，通过定位模型得到目标车辆的车牌区域，再通过车牌识别模型识别出目标车辆车牌号；将目标车辆图片通过经过训练的车辆分类模型，输出用于区分车辆颜色和车型的目标车辆类别概率分布；
所述车辆分类模型由输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第一Inception-Resnet模块、第二Inception-Resnet模块、第三Inception-Resnet模块、第四Inception-Resnet模块、第三池化层、Flatten层、全连接层、Dropout层和Softmax层依次级联而成，其中所有卷积层的卷积窗口大小为3×3，步长为1，所有池化层的窗口大小为2×2，步长为2；每一个Inception-Resnet模块中，模块的输入特征经过一层1×1卷积滤波后得到第一特征，输入特征依次经过两层1×1卷积滤波后得到第二特征，输入特征依次经过一层3×3卷积滤波和一层1×1卷积滤波后得到第三特征，输入特征依次经过一层1×1卷积滤波和一层3×3卷积滤波后得到第四特征，最终输入特征、第一特征、第二特征、第三特征和第四特征通过残差连接作为模块的输出特征；
S2、从所述连续多张违法影像中按照时间戳获取第一张违法影像，先通过定位模块定位得到第一张违法影像中的所有车辆作为第一候选车辆集合；再针对第一候选车辆集合中的每一辆候选车辆，通过车牌识别模型识别出候选车辆车牌号，同时通过所述车辆分类模型得到用于区分车辆颜色和车型的候选车辆类别概率分布；然后计算第一候选车辆集合中的每一辆候选车辆与所述目标车辆之间的匹配指数，将匹配指数最小的候选车辆作为第一张违法影像中目标车辆的匹配车辆；
S3、从所述连续多张违法影像中按照时间戳依次遍历剩余的违法影像，并针对遍历过程中的每一张当前违法影像，先通过定位模块定位得到该违法影像中的所有车辆作为第二候选车辆集合，再遍历第二候选车辆集合中的每一辆候选车辆，判断候选车辆在违法影像中的位置是否位于S2中所述匹配车辆的行驶方向后方，若是则将该候选车辆从第二候选车辆集合中剔除，完成遍历后得到第三候选车辆集合；然后针对第三候选车辆集合中的每一辆候选车辆，通过车牌识别模型识别出候选车辆车牌号，同时通过所述车辆分类模型得到用于区分车辆颜色和车型的候选车辆类别概率分布；然后计算第三候选车辆集合中的每一辆候选车辆与所述目标车辆之间的匹配指数，将匹配指数最小的候选车辆作为当前违法影像中目标车辆的匹配车辆；
其中任一候选车辆与目标车辆之间的匹配指数计算公式为：
Sim＝(1-Length/L)*Dist
式中：Length表示候选车辆车牌号与目标车辆车牌号之间的最长连续子串长度；L表示车牌号的标准长度；Dist表示候选车辆类别概率分布与目标车辆类别概率分布之间的距离，两者的概率分布越相近，Dist值越接近0。
作为优选，所述连续多张违法影像中一共包含三张违法影像。
作为优选，所述连续多张违法影像均为固定视角的摄像头顺着车辆行驶方向拍摄的影像。
作为优选，所述S3中，判断候选车辆在违法影像中的位置是否位于S2中所述匹配车辆的行驶方向后方的方法为：
首先，获取第二候选车辆集合中的每一辆候选车辆和所述匹配车辆在违法影像中的外包矩形框，然后，判断违法影像中候选车辆的外包矩形框下边界是否位于所述匹配车辆的外包矩形框下边界下方，若是则视为候选车辆在违法影像中的位置位于S2中所述匹配车辆的行驶方向后方。
作为优选，所述候选车辆车牌号与目标车辆车牌号之间的最长连续子串长度通过LCS算法计算。
作为优选，所述定位模型为Yolo V4目标检测模型，能够同时检测图像中的车辆区域和车牌区域。
作为优选，所述车牌识别模型为EasyPR。
作为优选，所述目标车辆图片在输入车辆分类模型之前，预先进行预处理，使其满足模型输入要求。
作为优选，所述车牌号的标准长度L设置为7。
作为优选，所述候选车辆类别概率分布与目标车辆类别概率分布之间的距离Dist计算公式为：
式中：n表示候选车辆类别概率分布或目标车辆类别概率分布的向量维度，Xk表示候选车辆类别概率分布的第k维，Yk表示目标车辆类别概率分布的第k维。
本发明相对于现有技术而言，具有以下有益效果：
1、本发明提供的车辆匹配方法是交通非现场执法场景下闯红灯违法行为二次判读任务中至关重要的一环，使用该方法将极大的减轻人工工作量，同时还可以减少执法尺度不一、疲劳判读、错误判读等情况的发生。
2、本发明提供的车辆匹配方法具有较高的匹配准确率，即使在黑夜、阴天、雨天、雾天场景下，仍具有不错的表现。
3、本发明提供的车辆匹配方法使用场景广，除了应用在闯红灯违法行为二次判读任务，还可以使用在车辆是否礼让行人自动判读、机动车辆是否占用非机动车道等场景中。
附图说明
图1为交通执法影像中基于AI技术的闯红灯违法车辆匹配方法的基本流程图；
图2为Inception-Resnet模块结构示意图；
图3为原始数据样例示意图；
图4为类别划分数据样例中的黑色轿车示意图；
图5为类别划分数据样例中的白色SUV示意图；
图6为原始图片数据示意图；
图7为像素填充后图片结果示意图；
图8为给定的目标车辆图片和精细定位裁剪得到的图片；
图9为第一张违法影像候选车辆信息可视化结果；
图10为第一张违法影像的匹配结果；
图11为第二张违法影像的匹配结果；
图12为第三张违法影像的匹配结果；
图13为另一实施例中三张复杂场景下违法影像的匹配结果；
图14为另一实施例中三张夜晚场景下违法影像的匹配结果。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
本发明提供了一种交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，用于在连续多张违法影像中匹配出涉嫌闯红灯的目标车辆。需要注意的是，本发明中的连续多张违法影像均是车辆闯红灯时被固定视角摄像头拍摄的交通执法影像，因此不同违法影像的视角是固定的，图像中除了车辆之外的其他非移动物体所在位置均相同，使得不同违法影像之间的坐标位置存在可比性。一般而言，作为闯红灯违法判定的标准，连续多张违法影像中一共包含三张违法影像，具体的三张违法影像的选取标准可根据交管部门对于闯红灯违法的判定规则而定。举例而言，连续三张违法影像可以分别是车辆通过车辆驶过停止线、车辆行驶到路口中间、车辆到达对面路口的影像。
在本发明的一个较佳实施例中，上述交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，具体包括以下步骤：
S1、获取目标车辆图片，通过定位模型得到目标车辆的车牌区域，再通过车牌识别模型识别出目标车辆车牌号；将目标车辆图片通过经过训练的车辆分类模型，输出用于区分车辆颜色和车型的目标车辆类别概率分布。
本发明中，定位模型可以采用任意能够同时检测图像中的车辆区域和车牌区域的定位模型。在本实施例中，定位模型优选采用Yolo V4目标检测模型，。
本发明中，车牌识别模型可以采用任意能够实现车牌文本识别的模型。在本实施例中，车牌识别模型采用EasyPR。
本发明中，车辆分类模型由输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第一Inception-Resnet模块、第二Inception-Resnet模块、第三Inception-Resnet模块、第四Inception-Resnet模块、第三池化层、Flatten层、全连接层、Dropout层和Softmax层依次级联而成。车辆图片通过输入层进行输入，最终由Softmax层输出车辆类别概率分布。
其中第一Inception-Resnet模块、第二Inception-Resnet模块、第三Inception-Resnet模块、第四Inception-Resnet模块的结构均相同。如图2所示，每一个Inception-Resnet模块中，Inception-Resnet模块的输入特征需要通过多条路径进行处理：第一条路径中输入特征经过一层1×1卷积滤波后得到第一特征，第二条路径中输入特征依次经过两层1×1卷积滤波后得到第二特征，第三条路径中输入特征依次经过一层3×3卷积滤波和一层1×1卷积滤波后得到第三特征，第四条路径中输入特征依次经过一层1×1卷积滤波和一层3×3卷积滤波后得到第四特征，最终将原始的输入特征、第一特征、第二特征、第三特征和第四特征通过残差连接作为Inception-Resnet模块的输出特征。
本发明中，车辆分类模型对于车辆的具体分类类别可以根据实际需要调整，但是其应当同时包含车辆颜色和车型两个维度，车辆颜色可以将常见的车辆色系作为类别，例如蓝色、黑色、白色、红色等，车型可以将常见的轿车、SUV、货车、公交车、出租车等作为类别。每一个类别标签同时包含车辆颜色和车型两个维度，例如蓝色轿车、黑色轿车、白色SUV、白色货车等。
S2、从前述的连续多张违法影像中按照时间戳获取第一张违法影像，先通过定位模块定位得到第一张违法影像中的所有车辆作为第一候选车辆集合；再针对第一候选车辆集合中的每一辆候选车辆，通过车牌识别模型识别出候选车辆车牌号，同时通过所述车辆分类模型得到用于区分车辆颜色和车型的候选车辆类别概率分布；然后计算第一候选车辆集合中的每一辆候选车辆与所述目标车辆之间的匹配指数，将匹配指数最小的候选车辆作为第一张违法影像中目标车辆的匹配车辆。
其中任一候选车辆与目标车辆之间的匹配指数均是基于候选车辆与目标车辆之间的车牌号相似度以及车辆类别相似度来综合计算的，具体计算公式为：
Sim＝(1-Length/L)*Dist
式中：Length表示候选车辆车牌号与目标车辆车牌号之间的最长连续子串长度；L表示车牌号的标准长度；Dist表示候选车辆类别概率分布与目标车辆类别概率分布之间的距离，两者的概率分布越相近，Dist值越接近0。
在本实施例中，候选车辆车牌号与目标车辆车牌号之间的最长连续子串长度通过LCS算法计算。
在本实施例中，车牌号的标准长度L需要根据本方法所使用区域的车牌号标准而定。一般而言，对于国内大部分城市而言，采用七位数车牌号，因此车牌号的标准长度L设置为7。但是，假如本方法所使用区域的车牌号标准长度并非7，则需要根据实际需要调整。另外，假如本方法所使用区域的车牌号存在两种或两种以上标准，则需要通过试验设置合适的标准长度L，具体以最终的匹配效果为准。
在本实施例中，候选车辆类别概率分布与目标车辆类别概率分布之间的距离Dist计算公式为：
式中：n表示候选车辆类别概率分布或目标车辆类别概率分布的向量维度，Xk表示候选车辆类别概率分布的第k维，Yk表示目标车辆类别概率分布的第k维。
由此可见，候选车辆与目标车辆之间的车牌号相似度越大，匹配指数越小，候选车辆与目标车辆之间的车辆类别相似度越大，匹配指数也越小。因此，本发明通过综合候选车辆与目标车辆之间的车牌号相似度以及车辆类别相似度，能够从车辆类别以及车牌号两个维度从违法影像中筛选出最可能的匹配车辆，从而避免因车辆车牌号无法识别导致的违法影像中匹配目标车辆失败的问题。
而对于所述连续多张违法影像中除了第一张违法影像之外的剩余违法影像，也需要按照与S2类似的做法识别出匹配车辆。但是需要注意的是，由于所述连续多张违法影像中目标车辆必然是按照行驶方向行进的，因此后一张违法影像中的匹配车辆不可能位于前一张违法影像中匹配车辆的行驶方向后方，必然位于行驶方向的前方。因此，在对剩余违法影像进行目标车辆匹配时，还需要在第一张违法影像中已经确定的匹配车辆基础上，剔除位于该匹配车辆的行驶方向后方的车辆，仅从该匹配车辆的行驶方向前方的车辆中提取相应的车辆作为候选车辆进行匹配，下面描述其具体做法。
S3、从所述连续多张违法影像中按照时间戳依次遍历剩余的违法影像，并针对遍历过程中的每一张当前违法影像，先通过定位模块定位得到该违法影像中的所有车辆作为第二候选车辆集合，再遍历第二候选车辆集合中的每一辆候选车辆，判断候选车辆在违法影像中的位置是否位于S2中所述匹配车辆的行驶方向后方，若是则将该候选车辆从第二候选车辆集合中剔除，第二候选车辆集合完成遍历后得到第三候选车辆集合；然后针对第三候选车辆集合中的每一辆候选车辆，通过车牌识别模型识别出候选车辆车牌号，同时通过所述车辆分类模型得到用于区分车辆颜色和车型的候选车辆类别概率分布；然后计算第三候选车辆集合中的每一辆候选车辆与所述目标车辆之间的匹配指数，将匹配指数最小的候选车辆作为当前违法影像中目标车辆的匹配车辆。
在上述S3步骤中，匹配指数Sim的计算公式与前述S2步骤中一致，不再重复赘述。
一般而言，由于连续多张违法影像均为固定视角的摄像头顺着车辆行驶方向拍摄的影像，因此车辆行驶过程中同一车辆在较晚时刻的影像中出现的位置高度必然高于在较早时刻的影像中出现的位置高度。需要注意的是，此处所谓的位置高低，是指目标在图像沿竖向平面展示时的位置高低，此时路口对向停止线的高度高于摄像头所在侧的路口停止线。因此，本实施例中判断候选车辆在违法影像中的位置是否位于S2中所述匹配车辆的行驶方向后方的方法为：
首先，获取第二候选车辆集合中的每一辆候选车辆和所述匹配车辆在违法影像中的外包矩形框，然后，判断违法影像中候选车辆的外包矩形框下边界是否位于所述匹配车辆的外包矩形框下边界下方，若是则视为候选车辆在违法影像中的位置位于S2中所述匹配车辆的行驶方向后方。
在本发明的后续具体实施例中，不同外包矩形框下边界的位置高低，可以通过其在Y轴上的坐标来判断。
需要说明的是，在本实施例中，目标车辆图片以及所述连续多张违法影像均来自于交管部门的电子眼抓拍的违法图像集。目标车辆图片是从整幅影像中提取出来的违法车辆的图片，但由于不同厂家的设备或者违章管理系统对于目标车辆图片的提取方式不一致，因此目标车辆图片可能存在尺寸不一的问题。因此，为了保证车辆分类模型的分类准确性，目标车辆图片如果不满足模型输入要求，其在输入车辆分类模型之前，需要进行预先进行预处理，使其满足模型输入要求。
综上，经过上述S1～S3步骤，即可从连续多张违法影像中匹配出目标车辆，进而可用于进行后续的闯红灯违法判定任务中。
下面将上述S1～S3步骤所示的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法应用于一个具体实施例中，以展示其具体技术效果。
实施例
在本实施例中，实验使用的数据为实际交通场景中电子眼抓拍的12520张的违法图像数据。需说明的是，本实施例中所有图片的左上角顶点定义为原点(0,0)，图像横向为X轴，竖向为Y轴，X轴坐标从左到右递增，Y轴坐标从上到下递增。
交通执法影像中基于AI技术的闯红灯违法车辆匹配方法的具体步骤如下：
步骤1.训练数据集的制作
本实施例中，将前述12520张的违法图像数据，通过目标检测技术，将原始违法图像数据中车辆检测出来，并按照车辆外观属性(颜色和车型)共计分成46类，分别为(bigvan,black_car,black_suv,blue_car,blue_jeep,blue_suv,blue_van,bus,green_suv,green_van,grey_car,grey_van,orange_suv,red_car,red_suv,red_taxi,silvery_car,silvery_suv,silvery_van,smallvan,truck,white_car,white_suv,yellow_suv等)。然后，将同一车型的车辆图片划分到同一文件夹下。原始数据如图3所示，经过划分得到的数据如图4(此类别为黑色轿车)、图5(此类别为白色SUV)所示：
步骤2.数据预处理
车辆与电子眼之间距离的不同，会造成相同类别、同一文件夹下的车辆图片宽高有所不同，而本实施例中输入到深度学习模型的图像大小相同，所以本实施例对训练数据集中的样本图片采取裁剪和像素填充的方法，获取图像的宽高信息，如果宽高相等，不需要操作，如果宽大于高，对高度进行边缘扩张，然后以中值滤波的方式填充扩充边界的像素，如果高大于宽，需要对宽度进行边缘扩张，然后中值滤波的方式填充扩充边界的像素，原始数据如图6所示，经像素填充操作后如图7所示。
步骤3.车辆分类模型的搭建与训练
3.1、车辆分类模型以卷积神经网络为基础，同时参考Inception模块和残差神经网络模块，构建Inception-Resnet模块，最后通过全连接层分类输出。其中Inception-Resnet模块结构示意图如图2所示。Inception-Resnet模块的输入特征经过一层1×1卷积滤波后得到第一特征，输入特征依次经过两层1×1卷积滤波后得到第二特征，输入特征依次经过一层3×3卷积滤波和一层1×1卷积滤波后得到第三特征，输入特征依次经过一层1×1卷积滤波和一层3×3卷积滤波后得到第四特征，最终输入特征、第一特征、第二特征、第三特征和第四特征通过残差连接作为模块的输出特征。
从图2可知，该Inception-Resnet模块中，输入网络右侧连接可降维Inception模块，左侧为残差神经网络的捷径连接，由此构成Inception-Resnet模块。通过该Inception-Resnet模块，模型在纵向和横向的深度得到大幅度提升。
基于上述Inception-Resnet模块，车辆分类模型的整体结构由输入层、卷积层1、卷积层2、池化层1、卷积层3、卷积层4、池化层2、Inception-Resnet模块1、Inception-Resnet模块2、Inception-Resnet模块3、Inception-Resnet模块4、池化层3、Flatten层、全连接层(Dense)、Dropout层和Softmax层依次级联而成，其中所有卷积层的卷积窗口大小为3×3，步长为1，所有池化层的窗口大小为2×2，步长为2
本实施例中每一层网络层的具体参数如表1所示。
表1车辆分类模型结构参数表
从表1中可知，车辆分类模型前部分一般的卷积层和池化层，其主要目的为提取图像特征和减少特征数目精简特征，通过4个卷积层和2个池化层，卷积特征图输出大小为61×61×128。然后将其依次通过4个Inception-Resnet模块，进一步提取特征，再通过池化层3进一步减少特征参数数目，最后通过Flatten层将特征图降维展开至一维并与全连接层对接，全连接层输出46个分类结果，Softmax将其转换为对应预设46种车辆类别概率输出，即得到一个46维的车辆类别概率分布。
3.2、对需要训练的图像数据经过归一化处理后直接作为网络模型的输入，其模型输入通道大小为(256*256*3)。
3.3、选择合适的超参数并训练卷积神经网络，训练采用的损失函数如公式(1)：
其中，K表示类别个数，表示预测概率分布，Y表示真实概率分布；αi表示每个类别占总损失的权重系数，用于平衡训练集中不同车辆类别的样本量差异，计算方法如公式(2)：
其中，ci表示整个训练数据集中第i个车辆类别的样本量。
3.4、加载训练数据，训练模型，观察总体损失，当验证集损失值小于0.05时，认为符合要求，保存模型，否则继续训练。
3.5、最终将训练好的车辆分类模型命名为VAT-CNet。
步骤4.闯红灯违法车辆匹配方法
闯红灯违法车辆匹配的流程具体步骤如下：
4.1、预加载模型。
加载训练好的车辆分类模型VAT-CNet，加载开源中文车牌识别模型EasyPR,加载Yolo V4目标检测模型，并修改配置文件，使其只检测车辆。
4.2、获取目标车辆信息。
本实施例中，原始提供的目标车辆图片中部分存在较大的背景区域，因此在将其用于信息提取之前需要进行预处理，具体做法为：
将给定的目标车辆图片输入到Yolo V4中，进行车辆区域的精细定位，根据定位出的车辆外包矩形框坐标信息，裁剪准确的车辆图片去除背景区域，如图8所示。在将裁剪后的目标车辆图片先经过EasyPR计算车牌号信息，记为target_pl，再经过前述的VAT-CNet提取目标车辆类别概率分布，记为target_feature，使用列表target_info＝[target_pl，target_feature]保存目标车辆信息。
4.3、初始化Float型变量Center_Y。
变量Center_Y的作用是为了对除了第一张违法影像之外的其他违法影像，判断候选车辆在违法影像中的位置是否位于第一张违法影像中匹配车辆的行驶方向后方。由于图像中Y轴坐标值从上到下递增，因此车辆的Y轴坐标需要小于Center_Y方可视为在第一张违法影像中匹配车辆的行驶方向前方。
由于第一张违法影像中尚未确定匹配车辆，因此需要将所有车辆都作为候选车辆。对于连续三张违法图片，均可使用全局变量Center_Y表示目标车辆在该测试图片中的Y轴坐标的可能位置区间，但Center_Y初始化为测试图片高度。
4.4、获取第一张违法影像候选车辆信息。
将第一张违法影像输入到Yolo V4中，定位得到该图片中所有候选车辆的外包矩形框，再用EasyPR识别车牌号信息；候选车辆集合中编号为i的候选车辆记为car_i，然后对于候选车辆集合中每个候选车辆car_i，若其外包矩形框的下边界Y轴坐标值不小于Cneter_Y，则跳过该车辆，若其外包矩形框的下边界Y轴坐标值小于Cneter_Y，则将其输入到VAT-CNet提取特征向量，用列表car_info_i＝[pl_i，feature_i，left，top，right,bottom]表示编号为i的候选车辆信息，其中left，top，right，bottom表示该候选车辆处于该测试图片中的左上角顶点和右下角顶点的坐标信息，pl_i表示编号为i的候选车辆的车牌号，feature_i表示编号为i的候选车辆的类别概率分布。当遍历完所有候选车辆后，用列表info_list＝[car_info_0，car_info_1，...，car_info_i，...]表示该违法影像中所有候选车辆信息。第一张违法影像中所有的候选车辆信息可视化为如图9所示，每个矩形框表示一个候选车辆，若矩形框内含有文字，则为该车车牌信息，若无文字，则未识别到车牌信息。
4.5、计算车辆匹配指数，找出第一张违法影像候选车辆中与目标车辆最相似的车辆。
对于某张违法影像，经过步骤4.4可以得到该图片对应的info_list。遍历info_list中的每个候选车辆的car_info_i列表，使用LCS算法计算该候选车辆车牌与目标车辆车牌最长连续子串长度Length，伪代码如下所示，利用公式计算该候选车辆特征与目标车辆特征之间距离Dist，利用公式计算该候选车辆与目标车辆匹配指数Sim。匹配指数Sim的计算公式为
Sim＝(1-Length/L)*Dist
式中：Length表示候选车辆车牌号与目标车辆车牌号之间的最长连续子串长度；L表示车牌号的标准长度，本实施例设为7；Dist表示候选车辆类别概率分布与目标车辆类别概率分布之间的距离，两者的概率分布越相近，Dist值越接近0，Dist计算公式为：
式中：n表示候选车辆类别概率分布或目标车辆类别概率分布的向量维度，Xk表示候选车辆类别概率分布的第k维，Yk表示目标车辆类别概率分布的第k维。
保留违法影像中最小的匹配指数Sim对应的候选车辆，即本张违法影像中与目标车辆最最匹配的车辆，如图10所示。
4.6、更新Center_Y。
经过步骤4.5获取Sim值最小对应车辆的car_info，将Center_Y值更新为该匹配车辆的外包矩形框的bottom。
4.7、处理第二张违法影像，在候选车辆中找到最相似的车辆。
即针对第二张违法影像，重复4.4和4.5步骤，保留第二张违法影像中最小的匹配指数Sim对应的候选车辆，即本张违法影像中与目标车辆最最匹配的车辆，如图11所示。执行完毕后也按照4.6步骤更新Center_Y值。
4.8、处理第三张违法影像，在候选车辆中找到最相似的车辆。
即针对第三张违法影像，重复4.4和4.5步骤，保留第二张违法影像中最小的匹配指数Sim对应的候选车辆，即本张违法影像中与目标车辆最最匹配的车辆，如图12所示。
4.9、至此，已完成连续三张违法影像车辆匹配任务。
由此可见，本发明可以实现连续三张违法影像中目标车辆的准确匹配。图13和图14同时给出了另外两个场景(复杂场景和夜晚场景)下的匹配结果，亦表明本发明的方法可以实现准确的匹配，且在各种不利场景下均可实现较好的匹配。
经验证，本发明的上述方法在某市全市区抓拍的2151条闯红灯违法数据上有着92.42％的准确率，且即使在黑夜、阴天、雨天、雾天场景下，仍具有不错的表现。而且如果这些场景下的闯红灯违法数据交由人工来判读，将十分费时费力，因此该方法可以极大地提升判读效率。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，用于在车辆闯红灯时被固定视角摄像头拍摄的连续多张违法影像中匹配出涉嫌闯红灯的目标车辆，其特征在于，包括：
S1、获取目标车辆图片，通过定位模型得到目标车辆的车牌区域，再通过车牌识别模型识别出目标车辆车牌号；将目标车辆图片通过经过训练的车辆分类模型，输出用于区分车辆颜色和车型的目标车辆类别概率分布；
所述车辆分类模型由输入层、第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第一Inception-Resnet模块、第二Inception-Resnet模块、第三Inception-Resnet模块、第四Inception-Resnet模块、第三池化层、Flatten层、全连接层、Dropout层和Softmax层依次级联而成，其中所有卷积层的卷积窗口大小为3×3，步长为1，所有池化层的窗口大小为2×2，步长为2；每一个Inception-Resnet模块中，模块的输入特征经过一层1×1卷积滤波后得到第一特征，输入特征依次经过两层1×1卷积滤波后得到第二特征，输入特征依次经过一层3×3卷积滤波和一层1×1卷积滤波后得到第三特征，输入特征依次经过一层1×1卷积滤波和一层3×3卷积滤波后得到第四特征，最终输入特征、第一特征、第二特征、第三特征和第四特征通过残差连接作为模块的输出特征；
S2、从所述连续多张违法影像中按照时间戳获取第一张违法影像，先通过定位模块定位得到第一张违法影像中的所有车辆作为第一候选车辆集合；再针对第一候选车辆集合中的每一辆候选车辆，通过车牌识别模型识别出候选车辆车牌号，同时通过所述车辆分类模型得到用于区分车辆颜色和车型的候选车辆类别概率分布；然后计算第一候选车辆集合中的每一辆候选车辆与所述目标车辆之间的匹配指数，将匹配指数最小的候选车辆作为第一张违法影像中目标车辆的匹配车辆；
S3、从所述连续多张违法影像中按照时间戳依次遍历剩余的违法影像，并针对遍历过程中的每一张当前违法影像，先通过定位模块定位得到该违法影像中的所有车辆作为第二候选车辆集合，再遍历第二候选车辆集合中的每一辆候选车辆，判断候选车辆在违法影像中的位置是否位于S2中所述匹配车辆的行驶方向后方，若是则将该候选车辆从第二候选车辆集合中剔除，完成遍历后得到第三候选车辆集合；然后针对第三候选车辆集合中的每一辆候选车辆，通过车牌识别模型识别出候选车辆车牌号，同时通过所述车辆分类模型得到用于区分车辆颜色和车型的候选车辆类别概率分布；然后计算第三候选车辆集合中的每一辆候选车辆与所述目标车辆之间的匹配指数，将匹配指数最小的候选车辆作为当前违法影像中目标车辆的匹配车辆；
其中任一候选车辆与目标车辆之间的匹配指数计算公式为：
Sim＝(1-Length/L)*Dist
式中：Length表示候选车辆车牌号与目标车辆车牌号之间的最长连续子串长度；L表示车牌号的标准长度；Dist表示候选车辆类别概率分布与目标车辆类别概率分布之间的距离，两者的概率分布越相近，Dist值越接近0。
2.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述连续多张违法影像中一共包含三张违法影像。
3.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述连续多张违法影像均为固定视角的摄像头顺着车辆行驶方向拍摄的影像。
4.如权利要求3所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述S3中，判断候选车辆在违法影像中的位置是否位于S2中所述匹配车辆的行驶方向后方的方法为：
首先，获取第二候选车辆集合中的每一辆候选车辆和所述匹配车辆在违法影像中的外包矩形框，然后，判断违法影像中候选车辆的外包矩形框下边界是否位于所述匹配车辆的外包矩形框下边界下方，若是则视为候选车辆在违法影像中的位置位于S2中所述匹配车辆的行驶方向后方。
5.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述候选车辆车牌号与目标车辆车牌号之间的最长连续子串长度通过LCS算法计算。
6.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述定位模型为Yolo V4目标检测模型，能够同时检测图像中的车辆区域和车牌区域。
7.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述车牌识别模型为EasyPR。
8.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述目标车辆图片在输入车辆分类模型之前，预先进行预处理，使其满足模型输入要求。
9.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述车牌号的标准长度L设置为7。
10.如权利要求1所述的交通执法影像中基于AI技术的闯红灯违法车辆匹配方法，其特征在于，所述候选车辆类别概率分布与目标车辆类别概率分布之间的距离Dist计算公式为：
式中：n表示候选车辆类别概率分布或目标车辆类别概率分布的向量维度，Xk表示候选车辆类别概率分布的第k维，Yk表示目标车辆类别概率分布的第k维。
CN202210027025.5A 2022-01-11 2022-01-11 交通执法影像中基于ai技术的闯红灯违法车辆匹配方法 Active CN114387572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210027025.5A CN114387572B (zh) 2022-01-11 2022-01-11 交通执法影像中基于ai技术的闯红灯违法车辆匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210027025.5A CN114387572B (zh) 2022-01-11 2022-01-11 交通执法影像中基于ai技术的闯红灯违法车辆匹配方法

Publications (2)

Publication Number Publication Date
CN114387572A CN114387572A (zh) 2022-04-22
CN114387572B true CN114387572B (zh) 2024-04-09

Family

ID=81200943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210027025.5A Active CN114387572B (zh) 2022-01-11 2022-01-11 交通执法影像中基于ai技术的闯红灯违法车辆匹配方法

Country Status (1)

Country Link
CN (1) CN114387572B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043950A (zh) * 2010-12-30 2011-05-04 南京信息工程大学 基于canny算子和边缘点统计的车辆轮廓识别方法
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167861A1 (en) * 2003-02-21 2004-08-26 Hedley Jay E. Electronic toll management
US9275286B2 (en) * 2014-05-15 2016-03-01 Xerox Corporation Short-time stopping detection from red light camera videos

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043950A (zh) * 2010-12-30 2011-05-04 南京信息工程大学 基于canny算子和边缘点统计的车辆轮廓识别方法
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法

Also Published As

Publication number Publication date
CN114387572A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
Maeda et al. Road damage detection using deep neural networks with images captured through a smartphone
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN110969160B (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN105160309A (zh) 基于图像形态学分割及区域生长的三车道检测方法
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN111191604A (zh) 检测车牌完整性的方法、设备和存储介质
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN113011331B (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
EP2447884A1 (en) Method for detecting and recognising an object in an image, and an apparatus and a computer program therefor
Yamazaki et al. Vehicle extraction and speed detection from digital aerial images
Hu Intelligent road sign inventory (IRSI) with image recognition and attribute computation from video log
CN111507196A (zh) 一种基于机器视觉和深度学习的车辆类型识别方法
CN111738228A (zh) 一种面向治超证据链校验的多视角车辆特征匹配方法
CN115810134A (zh) 一种车险反欺诈的图像采集质检方法、系统和装置
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN114387572B (zh) 交通执法影像中基于ai技术的闯红灯违法车辆匹配方法
CN108985197B (zh) 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法
CN111046822A (zh) 一种基于人工智能视频识别的大型车辆防盗方法
CN113159153A (zh) 一种基于卷积神经网络的车牌识别方法
Ballerini et al. Rectangular traffic sign recognition
CN113052159B (zh) 一种图像识别方法、装置、设备及计算机存储介质
Qian et al. Vehicle-Mounted Road Damage Detection Method Using YOLOv5s Framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant