CN114842430B - 一种用于道路监测的车辆信息识别方法及系统 - Google Patents
一种用于道路监测的车辆信息识别方法及系统 Download PDFInfo
- Publication number
- CN114842430B CN114842430B CN202210776499.XA CN202210776499A CN114842430B CN 114842430 B CN114842430 B CN 114842430B CN 202210776499 A CN202210776499 A CN 202210776499A CN 114842430 B CN114842430 B CN 114842430B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- road
- edge point
- tile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域，具体涉及一种用于道路监测的车辆信息识别方法及系统，获取待识别的初始道路图像，对初始道路图像采用帧间差分法进行处理，得到车辆差分图像，并得到车辆区域的最小外接矩形图像，可以降低其他区域对车辆识别造成的干扰，提升车辆识别准确性，基于最小外接矩形图像中识别得到的道路中心线，得到各个像素点的目标热力系数，对最小外接矩形图像进行多次不同的瓦片分割，获取各瓦片分割方式所对应的分割效果指标，得到最优的瓦片分割方式，最终得到的分割方式效果最好，得到的瓦片符合后续车辆信息识别神经网络模型的图像的需要，即便是采集的图像尺寸与神经网络需求尺寸不符，也能够有效对车辆进行识别。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种用于道路监测的车辆信息识别方法及系统。
背景技术
目前，神经网络广泛应用于车辆识别技术领域，用户可以通过神经网络技术来识别道路上的车辆。但是不同参数的摄像头采集到的图片尺寸大小不同，而共用的神经网络只能处理特定尺寸大小的图像，所以往往会出现采集尺寸和神经网络需求尺寸不符的问题，进而无法有效对车辆进行识别。
发明内容
有鉴于此，为了解决上述技术问题，本发明提供一种用于道路监测的车辆信息识别方法及系统。
所采用的技术方案具体如下：
一种用于道路监测的车辆信息识别方法，包括：
获取待识别的初始道路图像；
对所述初始道路图像采用帧间差分法进行处理，得到车辆差分图像；
对所述车辆差分图像中的车辆区域进行最小外接矩形处理，得到车辆区域的最小外接矩形图像；
识别所述最小外接矩形图像中的道路中心线，并基于所述道路中心线，得到所述最小外接矩形图像中的各个像素点的目标热力系数；
对所述最小外接矩形图像采用不同的瓦片分割方式进行多次瓦片分割，获取每一次瓦片分割后各个像素点所处瓦片的数量，基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标；其中，瓦片尺寸与预设的车辆信息识别神经网络模型中图像需求尺寸相等；
获取最大的分割效果指标所对应的瓦片分割方式，得到最优瓦片分割方式；
将所述最优瓦片分割方式所对应的瓦片分割图像输入至所述车辆信息识别神经网络模型中，识别车辆信息。
进一步地，所述对所述车辆差分图像中的车辆区域进行最小外接矩形处理，得到车辆区域的最小外接矩形图像，包括：
获取所述车辆差分图像中的各个车辆区域，并获取各个车辆区域的中心点；
计算任意两个车辆区域的中心点之间连线的距离，以及连线方向与水平方向的角度；
获取最大的连线距离，并得到所述最大的连线距离所对应的两个车辆区域，分别为第一车辆区域和第二车辆区域；
计算所述第一车辆区域中的任意一个边缘点与所述第二车辆区域中的任意一个边缘点的距离，得到最大边缘点距离，以及最大边缘点距离所对应的所述第一车辆区域中的边缘点与所述第二车辆区域中的边缘点，分别为第一边缘点和第二边缘点，获取所述第一边缘点和第二边缘点之间的连线方向与水平方向的目标角度，所述第一边缘点和第二边缘点之间的连线方向为所述最小外接矩形图像的长的方向，所述最大边缘点距离的长度为所述最小外接矩形图像的长度；
获取所述第一边缘点和第二边缘点之间连线的中垂线；
计算任意两个车辆区域的中心点之间连线在所述中垂线上的投影距离，获取最大的投影距离，并得到所述最大的投影距离所对应的两个车辆区域，分别为第三车辆区域和第四车辆区域；
计算所述第三车辆区域中的任意一个边缘点与所述第四车辆区域中的任意一个边缘点之间连线在所述中垂线上的投影距离，得到最大投影距离，以及最大投影距离所对应的所述第三车辆区域中的边缘点与所述第四车辆区域中的边缘点，分别为第三边缘点和第四边缘点，所述最大投影距离的长度为所述最小外接矩形图像的宽度；
基于所述第一边缘点、第二边缘点、第三边缘点和第四边缘点，得到所述最小外接矩形图像。
进一步地，所述识别所述最小外接矩形图像中的道路中心线，并基于所述道路中心线，得到所述最小外接矩形图像中的各个像素点的目标热力系数，包括：
获取所述车辆差分图像中的任意两个车辆区域的中心点之间连线方向与所述最小外接矩形图像的长度方向之间的夹角小于预设夹角的连线，得到所述最小外接矩形图像中的道路中心线；
对于所述最小外接矩形图像中长度方向上的任意一条线段，获取该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离，基于该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离，计算得到该线段中的各个像素点的目标热力系数。
进一步地，所述基于该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离，计算得到该线段中的各个像素点的目标热力系数，包括：
对于任意一个道路中心线，计算该线段与该道路中心线之间的距离与该道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离的比值，根据所述比值得到该线段中的各个像素点与该道路中心线的子热力系数；
求取该线段中的各个像素点与所有的道路中心线的子热力系数之和，得到该线段中的各个像素点的目标热力系数。
进一步地，所述基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标，包括：
对获取到的每一次瓦片分割后各个像素点所处瓦片的数量进行归一化，得到每一次瓦片分割后各个像素点的瓦片数量参量；
对于任意一次瓦片分割，求取各个像素点的目标热力系数与瓦片数量参量之间的比值，并求取所有像素点的目标热力系数与瓦片数量参量之间的比值之和，得到该瓦片分割方式所对应的分割效果指标。
进一步地，对所述最小外接矩形图像进行瓦片分割的瓦片数量WS为：
其中，
，
，K和H分别是所述最小外接矩形图像的尺寸，DK和DH分别是瓦片的尺寸，DK<K，DH<H，a大于1，
为向上取整函数。
进一步地，所述对所述初始道路图像采用帧间差分法进行处理，得到车辆差分图像，包括：
对所述初始道路图像采用帧间差分法进行处理，得到初始差分图像；
将所述初始差分图像中的各个像素点进行聚类，得到车辆数据类中心点和背景数据类中心点；
获取所述车辆数据类型中心点的像素值以及所述背景数据类中心点的像素值，进而得到判定阈值；
基于所述判定阈值，对所述初始差分图像中的各个像素点进行二值化，得到中间差分图像；
将相邻的两个中间差分图像进行叠加，得到车辆差分图像。
一种用于道路监测的车辆信息识别系统，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现上述的用于道路监测的车辆信息识别方法。
本发明实施例至少具有如下有益效果：基于初始道路图像进行处理，得到车辆区域的最小外接矩形图像，然后识别得到最小外接矩形图像中的道路中心线，并基于道路中心线，得到最小外接矩形图像中的各个像素点的目标热力系数，然后对最小外接矩形图像采用不同的瓦片分割方式进行多次瓦片分割，瓦片尺寸与预设的车辆信息识别神经网络模型中图像需求尺寸相等，由于对最小外接矩形图像采用不同的瓦片分割方式进行多次瓦片分割时，每一个像素点所处瓦片的数量可能不同，也就是对于任意一个像素点，瓦片重叠的个数越多，分割效果越不好，因此，基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标，分割效果指标越大，分割效果越好，因此，将最大的分割效果指标所对应的瓦片分割方式确定为最优瓦片分割方式，最后将最优瓦片分割方式所对应的瓦片分割图像输入至车辆信息识别神经网络模型中，识别车辆信息。因此，通过最小外接矩形图像的处理，可以降低其他区域对车辆识别造成的干扰，提升车辆识别准确性，而且，基于像素点所处瓦片的数量以及目标热力系数确定最优的瓦片分割方式，最终得到的分割方式效果最好，得到的瓦片符合后续车辆信息识别神经网络模型的图像的需要，即便是采集的图像尺寸与神经网络需求尺寸不符，也能够有效对车辆进行识别。
附图说明
图1是本发明提供的一种用于道路监测的车辆信息识别方法的流程图；
图2是原图像图；
图3是帧间差分法大致效果示意图；
图4是本发明提供的一种用于道路监测的车辆信息识别系统的结构原理图；
图5是本发明提供的一种用于道路监测的车辆信息识别装置的结构原理图。
具体实施方式
下面结合附图具体的说明本发明所提供的一种用于道路监测的车辆信息识别方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种用于道路监测的车辆信息识别方法的步骤流程图，该方法包括以下步骤：
步骤S1：获取待识别的初始道路图像：
本发明提供的一种用于道路监测的车辆信息识别方法用于对道路上行驶的车辆进行识别，那么，该方法的第一步为获取待识别的初始道路图像，可以通过设置在道路上方的广角摄像头对道路进行图像采集，得到多帧初始道路图像。
通常情况下，初始道路图像中除了包括车辆信息之外，还包括道路以及其他的组成，而且，尤其是广角摄像头，广角摄像头采集到的图像比较大，车辆区域在图像中的占比不是很大。因此，就需要对图像进行分割。
步骤S2：对所述初始道路图像采用帧间差分法进行处理，得到车辆差分图像：
对得到的多帧初始道路图像采用帧间差分法进行处理，得到车辆差分图像。帧间差分法的原理为：根据场景中的目标在运动，目标的影像在不同的图像帧中位置不同，使相邻帧图像之间作差来检测物体。应当理解，可以采用两帧图像进行差分的方式，也可以采用三帧图像进行差分的方式。本实施例采用三帧差分法，设第n帧的图像为
，则第n-1帧的图像为
，第n+1帧的图像为
，其中第n帧的灰度值记为
（x,y），则第n-1帧的灰度值记为
（x,y），第n+1帧的图像灰度值为
（x,y）。将俩帧图像对应像素点的灰度值进行相减，并取绝对值，得到差分图像
和
：
帧差法大致效果示意图如图2和图3所示。
作为一个具体实施方式，以下给出对初始道路图像采用帧间差分法进行处理，得到车辆差分图像的一种具体实现过程：
（1）对初始道路图像采用帧间差分法进行处理，得到初始差分图像。本实施例采用三帧图像进行差分的方式。
将初始差分图像中的各个像素点进行聚类，去除噪声。其中，图像帧差得到的差值分两类，一类为背景数据的差值平均为一个较小的值，另一类为车辆数据的差值为一个较大的值。此处采用k-means均值聚类，设定k=2。首先随机初始化这俩类的中心点，中心点数量即为k=2，然后计算每个数据点到中心点的距离，数据点离哪个中心点近则被划分为哪一类，计算每一类中的中心为新的中心点，重复上述步骤，直到每一类中心在每次迭代后变化不大为止，得到车辆数据类中心点a和背景数据类中心点b。
获取车辆数据类型中心点a的像素值A以及背景数据类中心点b的像素值B，进而得到判定阈值C，本实施例中，
。基于判定阈值C，对于任意一个像素点x，当x点的数据值X>C时，则可直接判断x为车辆数据类，当x点的数据值X<C时，则可直接判断x为背景数据类，完成数据聚类。
基于判定阈值C，对初始差分图像中的各个像素点进行二值化，得到中间差分图像。其中，数据大于C的设置为1，小于C的则为0。本实施例中，对图像进行先膨胀后腐蚀的操作，去除噪声。由于车辆相邻帧之间可能会出现车辆速度过慢的情况，导致帧差时出现空洞，要对空洞进行一个填充。填充具体操作为：先找空洞的一个点,用结构元去膨胀,然后用车辆图像的补集进行约束即求个交集,不断重复膨胀过程,约束直到图形收敛停止,与原图求交集,空洞就被填上了。腐蚀过程:找到图像的一个点，选用一个结构元逐个像素地遍历整幅图像，并根据结构元与被腐蚀图像的关系，来确定腐蚀结果图像中对应结构元中心点位置的像素点的值。
将相邻的两个中间差分图像进行叠加，得到车辆差分图像，能够减少误差，具体为：对
和
进行运算得到
：
步骤S3：对所述车辆差分图像中的车辆区域进行最小外接矩形处理，得到车辆区域的最小外接矩形图像：
得到车辆差分图像之后，对车辆差分图像中的车辆区域进行最小外接矩形处理，得到车辆区域的最小外接矩形图像。应当理解，可以采用现有的最小外接矩形处理过程得到车辆区域的最小外接矩形图像，本实施例中，为了提升处理准确性，以下给出一种具体实现过程：
获取车辆差分图像中的各个车辆区域，并获取各个车辆区域的中心点。然后计算任意两个车辆区域的中心点之间连线的距离，以及连线方向与水平方向的角度。应当理解，将车辆差分图像的横向方向定义为水平方向，将纵向方向定义为竖直方向。
从得到的多个连线距离中获取最大的连线距离，最大的连线距离所对应的两个中心点就是相距最远的两个中心点。相应地，得到该最大的连线距离所对应的两个车辆区域，分别定义为第一车辆区域和第二车辆区域，分别为车辆区域Q和车辆区域W。
获取车辆区域Q和车辆区域W的各个边缘点，由于需要计算车辆区域Q中的任意一个边缘点与车辆区域W中的任意一个边缘点的距离，因此，可以对车辆区域Q和车辆区域W的各个边缘点进行编号，便于计算，其中，对区域Q的边缘点进行编号，分别为1、2、3、4、…、q；对区域W的边缘点进行编号，分别为1、2、3、4、…、w。
计算车辆区域Q中的任意一个边缘点与车辆区域W中的任意一个边缘点的距离，
代表车辆区域Q上第i个边缘点到车辆区域W的第j个边缘点的距离。
从得到的多个边缘点距离中获取最大边缘点距离，记为边缘点距离LQ。记录边缘点距离LQ所对应的车辆区域Q中的边缘点与车辆区域W中的边缘点，分别定义为第一边缘点和第二边缘点，其中，第一边缘点为边缘点m，第二边缘点为边缘点m1。
获取边缘点m和边缘点m1之间的连线方向与水平方向的目标角度
。那么，边缘点m和边缘点m1之间的连线方向为最小外接矩形图像的长的方向，边缘点距离LQ的长度为最小外接矩形图像的长度。
获取边缘点m和边缘点m1之间连线的中垂线，即获取边缘点m和边缘点m1之间连线的中点，在该中点做边缘点m和边缘点m1之间连线的垂线。
计算任意两个车辆区域的中心点之间连线在中垂线上的投影距离，即任意两个车辆区域的中心点之间连线在中垂线上均有一个投影距离，就得到多个投影距离，获取其中的最大的投影距离，相应地，得到该最大的投影距离所对应的两个车辆区域，分别为第三车辆区域和第四车辆区域，分别为车辆区域E和车辆区域R。
与上文同理，获取车辆区域E和车辆区域R的各个边缘点，并对车辆区域E和车辆区域R的各个边缘点进行编号。计算车辆区域E中的任意一个边缘点与车辆区域R中的任意一个边缘点之间连线在中垂线上的投影距离，即车辆区域E中的每一个边缘点与车辆区域R中的每一个边缘点之间连线均在中垂线上有一个投影距离，得到多个投影距离，得到其中的最大投影距离。相应地，得到该最大投影距离所对应的车辆区域E中的边缘点与车辆区域R中的边缘点，分别为第三边缘点和第四边缘点，定义为边缘点n和边缘点n1，那么，最大投影距离的长度为最小外接矩形图像的宽度。
基于边缘点m、边缘点m1、边缘点n和边缘点n1，得到最小外接矩形图像，基于四个点得到矩形的获取过程为现有技术，作为一个具体实施方式，以下给出一种具体实现过程：过边缘点m做平行于中垂线的直线，过边缘点m1做平行于中垂线的直线，得到第一直线和第二直线；获取边缘点n和边缘点n1在中垂线上的投影点，分别过这两个投影点做平行于边缘点m和边缘点m1之间连线的平行线，得到第三直线和第四直线；第一直线、第二直线、第三直线和第四直线相交构成的矩形为最小外接矩形，该矩形对应的图像为最小外接矩形图像。
应当理解，得到的最小外接矩形的长度方向的车辆较多，可以认定最小外接矩形的长度方向为道路中心线的方向。
步骤S4：识别所述最小外接矩形图像中的道路中心线，并基于所述道路中心线，得到所述最小外接矩形图像中的各个像素点的目标热力系数：
首先，识别最小外接矩形图像中的道路中心线，识别过程包括：
获取车辆差分图像中的任意两个车辆区域的中心点之间连线方向与最小外接矩形图像的长度方向之间的夹角，在得到的夹角中选择小于预设夹角的夹角，相应得到小于预设夹角的夹角所对应的连线，得到的连线为最小外接矩形图像中的道路中心线。应当理解，对于任意两个车辆区域而言，这两个车辆区域的中心点之间连线方向与最小外接矩形图像的长度方向之间的夹角小于预设夹角，表示这两个车辆区域的中心点之间连线方向与认定的道路中心线方向之间的误差比较小，判定这两个车辆区域的中心点之间连线为最小外接矩形图像中的道路中心线。而且，得到的道路中心线可以只有一条，也可以有多条。
然后，基于道路中心线，得到最小外接矩形图像中的各个像素点的目标热力系数。具体为：在最小外接矩形图像内，沿着平行于最小外接矩形图像的长度方向可以得到多条线段，沿着平行于最小外接矩形图像的长度方向是指：每条线段的像素数量等于最小外接矩形图像的长所对应的像素数量，而且，每条线段的两端分别是最小外接矩形图像的两个宽上的一个像素点，每条线段所在的直线与最小外接矩形图像的长度方向平行。若最小外接矩形图像的宽度方向有第一数量的像素点，且若道路中心线的数量为第二数量，则可以得到沿着最小外接矩形图像的长度方向的线段的数量等于第一数量减去第二数量。
本实施例中，最小外接矩形图像的两个宽均取中点，然后连接这两个宽的中点，得到一条中心线段，该中心线段将最小外接矩形图像分为相同的两部分，均定义为矩形子图像，那么，最小外接矩形图像的两个长分别各自处于这两个矩形子图像中。对于任意一条线段，确定该线段所处的矩形子图像，那么就可以得到所处的矩形子图像中的最小外接矩形图像的某一个长，相应地，该线段所对应的最小外接矩形图像的长就是该线段所处的矩形子图像中对应的最小外接矩形图像的长。
对于最小外接矩形图像中长度方向上的任意一条线段，获取该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的最小外接矩形图像的长之间的距离，基于该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的最小外接矩形图像的长之间的距离，计算得到该线段中的各个像素点的目标热力系数。作为一个具体实施方式，对于：基于该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的最小外接矩形图像的长之间的距离，计算得到该线段中的各个像素点的目标热力系数，以下给出一种具体实现过程：由于该线段与每一个道路中心线的数据处理过程相同，那么，对于任意一个道路中心线，计算该线段与该道路中心线之间的距离与该道路中心线与该线段所对应的最小外接矩形图像的长之间的距离的比值，根据该比值得到该线段中的各个像素点与该道路中心线的子热力系数，作为一个具体实施方式，该线段中的各个像素点与该道路中心线的子热力系数等于1减去该比值；然后，求取该线段中的各个像素点与所有的道路中心线的子热力系数之和，得到该线段中的各个像素点的目标热力系数。应当理解，同属于一个线段的各个像素点的目标热力系数相等。
步骤S5：对所述最小外接矩形图像采用不同的瓦片分割方式进行多次瓦片分割，获取每一次瓦片分割后各个像素点所处瓦片的数量，基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标；其中，瓦片尺寸与预设的车辆信息识别神经网络模型中图像需求尺寸相等：
对最小外接矩形图像采用不同的瓦片分割方式进行多次瓦片分割，本实施例中，瓦片分割方式分割得到的瓦片尺寸与预设的车辆信息识别神经网络模型中图像需求尺寸相等。车辆信息识别神经网络模型中图像需求尺寸为通过该车辆信息识别神经网络模型进行识别时，该车辆信息识别神经网络模型所能够识别的图像尺寸。
应当理解，每次瓦片分割方式得到的瓦片数量均相同。设定DK和DH分别是瓦片的尺寸，K和H分别是最小外接矩形图像的尺寸，具体地：DK和DH分别是瓦片的长和宽，K和H分别是最小外接矩形图像的长和宽。那么，对最小外接矩形图像进行瓦片分割的瓦片数量WS为：
其中，
，
， DK<K，DH<H。a大于1（比如a等于2），应当理解，为了降低数据处理量，瓦片的数量不能太多，因此，本实施例还可以将a的数值限定在小于一个预设值。
为向上取整函数。
在瓦片分割时，期望瓦片能够尽可能分散，能使瓦片检测到最小外接矩形图像中的各个区域。
获取每一次瓦片分割后各个像素点所处瓦片的数量，可以理解为：每一次瓦片分割后各个像素点同时所属的瓦片的数量。
基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标，作为一个具体实施方式，以下给出具体实现过程：
先对获取到的每一次瓦片分割后各个像素点所处瓦片的数量进行归一化，得到每一次瓦片分割后各个像素点的瓦片数量参量。然后，对于任意一次瓦片分割，求取各个像素点的目标热力系数与对应的瓦片数量参量之间的比值，得到每一个像素点所对应的目标热力系数与瓦片数量参量之间的比值，并求取所有像素点的目标热力系数与瓦片数量参量之间的比值之和，得到的和值即为该瓦片分割方式所对应的分割效果指标。
应当理解，分割效果指标越大，则分割效果越好，反之，分割效果指标越小，则分割效果越差。
步骤S6：获取最大的分割效果指标所对应的瓦片分割方式，得到最优瓦片分割方式：
获取最大的分割效果指标所对应的瓦片分割方式，该瓦片分割方式的分割效果最好，得到的瓦片分割方式为最优瓦片分割方式。
步骤S7：将所述最优瓦片分割方式所对应的瓦片分割图像输入至所述车辆信息识别神经网络模型中，识别车辆信息：
由于每一种瓦片分割方式均得到一个瓦片分割图像，那么，得到最优瓦片分割方式所对应的瓦片分割图像。将最优瓦片分割方式所对应的瓦片分割图像输入至车辆信息识别神经网络模型中，就能够识别得到图像中的车辆信息。
应当理解，车辆信息识别神经网络模型是事先训练得到的车辆识别模型，车辆识别模型中所用的样本图像的尺寸和瓦片尺寸相同。作为一个具体实施方式，车辆信息识别神经网络模型为DNN网络，该DNN网络为Encoder-Decoder形式，先由编码器利用卷积、池化操作来获取图像对应的特征信息，而后再由解码器利用反卷积、反池化从操作来对应特征信息进行重构，得到图像中的车辆数据。该车辆信息识别神经网络模型可以仅仅用于识别图像中是否存在车辆，也可以用于更为精细的车辆识别，比如车辆类别信息。
作为一个具体实施方式，获取训练集，训练集可以为通过道路摄像头采集的多张道路样本图像，对每张道路样本图像进行打标签，类别标签可以设置为：0代表无车辆，1代表载货汽车，2代表自卸汽车，3代表越野汽车，4代表轿车，5代表客车，6代表牵引车，7代表消防车，8代表油罐车，9代表救护车，10代表防弹车，11代表工程车，12代表半挂车，13代表其他类型车辆。DNN网络的损失函数采用交叉熵损失函数。
在训练开始之前，随机地赋予各权值一定的初值。训练过程中，轮流对网络施加各个训练样本。当某个训练样本作用于神经网络的输入端后，利用当前权值计算神经网络的输出。考查所得到的输出与训练样本的已知正确输出之间的误差，根据误差对这些节点权值的偏导数修正这些权值，依此类推，直到把每层的权值都修正一次。然后对下个训练样本继续相同的过程，直到一轮训练中总的误差水平达到预先设定的阈值。
本实施例还提供一种用于道路监测的车辆信息识别系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令以实现上述的用于道路监测的车辆信息识别方法，如图4所示。
对应于上文实施例所述的用于道路监测的车辆信息识别方法，本实施例还提供了一种用于道路监测的车辆信息识别装置，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图5，该用于道路监测的车辆信息识别装置包括：
初始道路图像获取模块，用于获取待识别的初始道路图像；
车辆差分图像获取模块，用于对所述初始道路图像采用帧间差分法进行处理，得到车辆差分图像；
最小外接矩形图像获取模块，用于对所述车辆差分图像中的车辆区域进行最小外接矩形处理，得到车辆区域的最小外接矩形图像；
目标热力系数获取模块，用于识别所述最小外接矩形图像中的道路中心线，并基于所述道路中心线，得到所述最小外接矩形图像中的各个像素点的目标热力系数；
分割效果指标获取模块，用于对所述最小外接矩形图像采用不同的瓦片分割方式进行多次瓦片分割，获取每一次瓦片分割后各个像素点所处瓦片的数量，基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标；其中，瓦片尺寸与预设的车辆信息识别神经网络模型中图像需求尺寸相等；
最优瓦片分割方式获取模块，用于获取最大的分割效果指标所对应的瓦片分割方式，得到最优瓦片分割方式；
车辆信息识别模块，用于将所述最优瓦片分割方式所对应的瓦片分割图像输入至所述车辆信息识别神经网络模型中，识别车辆信息。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的系统/装置和方法，可以通过其它的方式实现。例如，以上所描述的系统/装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，模块的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (6)
1.一种用于道路监测的车辆信息识别方法，其特征在于，包括：
获取待识别的初始道路图像；
对所述初始道路图像采用帧间差分法进行处理，得到车辆差分图像；
对所述车辆差分图像中的车辆区域进行最小外接矩形处理，得到车辆区域的最小外接矩形图像；
识别所述最小外接矩形图像中的道路中心线，并基于所述道路中心线，得到所述最小外接矩形图像中的各个像素点的目标热力系数；
对所述最小外接矩形图像采用不同的瓦片分割方式进行多次瓦片分割，获取每一次瓦片分割后各个像素点所处瓦片的数量，基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标；其中，瓦片尺寸与预设的车辆信息识别神经网络模型中图像需求尺寸相等；
获取最大的分割效果指标所对应的瓦片分割方式，得到最优瓦片分割方式；
将所述最优瓦片分割方式所对应的瓦片分割图像输入至所述车辆信息识别神经网络模型中，识别车辆信息；
所述识别所述最小外接矩形图像中的道路中心线，并基于所述道路中心线，得到所述最小外接矩形图像中的各个像素点的目标热力系数，包括：
获取所述车辆差分图像中的任意两个车辆区域的中心点之间连线方向与所述最小外接矩形图像的长度方向之间的夹角小于预设夹角的连线，得到所述最小外接矩形图像中的道路中心线；
对于所述最小外接矩形图像中长度方向上的任意一条线段，获取该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离，基于该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离，计算得到该线段中的各个像素点的目标热力系数；
所述基于该线段与每一个道路中心线之间的距离，以及每一个道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离，计算得到该线段中的各个像素点的目标热力系数，包括：
对于任意一个道路中心线，计算该线段与该道路中心线之间的距离与该道路中心线与该线段所对应的所述最小外接矩形图像的长之间的距离的比值，根据所述比值得到该线段中的各个像素点与该道路中心线的子热力系数；
求取该线段中的各个像素点与所有的道路中心线的子热力系数之和，得到该线段中的各个像素点的目标热力系数。
2.根据权利要求1所述的用于道路监测的车辆信息识别方法，其特征在于，所述对所述车辆差分图像中的车辆区域进行最小外接矩形处理，得到车辆区域的最小外接矩形图像，包括：
获取所述车辆差分图像中的各个车辆区域，并获取各个车辆区域的中心点；
计算任意两个车辆区域的中心点之间连线的距离，以及连线方向与水平方向的角度；
获取最大的连线距离，并得到所述最大的连线距离所对应的两个车辆区域，分别为第一车辆区域和第二车辆区域；
计算所述第一车辆区域中的任意一个边缘点与所述第二车辆区域中的任意一个边缘点的距离，得到最大边缘点距离，以及最大边缘点距离所对应的所述第一车辆区域中的边缘点与所述第二车辆区域中的边缘点，分别为第一边缘点和第二边缘点，获取所述第一边缘点和第二边缘点之间的连线方向与水平方向的目标角度，所述第一边缘点和第二边缘点之间的连线方向为所述最小外接矩形图像的长的方向，所述最大边缘点距离的长度为所述最小外接矩形图像的长度；
获取所述第一边缘点和第二边缘点之间连线的中垂线；
计算任意两个车辆区域的中心点之间连线在所述中垂线上的投影距离，获取最大的投影距离，并得到所述最大的投影距离所对应的两个车辆区域，分别为第三车辆区域和第四车辆区域；
计算所述第三车辆区域中的任意一个边缘点与所述第四车辆区域中的任意一个边缘点之间连线在所述中垂线上的投影距离，得到最大投影距离，以及最大投影距离所对应的所述第三车辆区域中的边缘点与所述第四车辆区域中的边缘点，分别为第三边缘点和第四边缘点，所述最大投影距离的长度为所述最小外接矩形图像的宽度；
基于所述第一边缘点、第二边缘点、第三边缘点和第四边缘点，得到所述最小外接矩形图像。
3.根据权利要求1所述的用于道路监测的车辆信息识别方法，其特征在于，所述基于各个像素点所处瓦片的数量以及各个像素点的目标热力系数，获取各瓦片分割方式所对应的分割效果指标，包括：
对获取到的每一次瓦片分割后各个像素点所处瓦片的数量进行归一化，得到每一次瓦片分割后各个像素点的瓦片数量参量；
对于任意一次瓦片分割，求取各个像素点的目标热力系数与瓦片数量参量之间的比值，并求取所有像素点的目标热力系数与瓦片数量参量之间的比值之和，得到该瓦片分割方式所对应的分割效果指标。
4.根据权利要求1所述的用于道路监测的车辆信息识别方法，其特征在于，对所述最小外接矩形图像进行瓦片分割的瓦片数量WS为：
其中，
，
，K是最小外接矩形图像的长，H是最小外接矩形图像的宽，DK是瓦片的长，DH是瓦片的宽，DK<K，DH<H，a大于1，
为向上取整函数。
5.根据权利要求1所述的用于道路监测的车辆信息识别方法，其特征在于，所述对所述初始道路图像采用帧间差分法进行处理，得到车辆差分图像，包括：
对所述初始道路图像采用帧间差分法进行处理，得到初始差分图像；
将所述初始差分图像中的各个像素点进行聚类，得到车辆数据类中心点和背景数据类中心点；
获取所述车辆数据类型中心点的像素值以及所述背景数据类中心点的像素值，进而得到判定阈值；
基于所述判定阈值，对所述初始差分图像中的各个像素点进行二值化，得到中间差分图像；
将相邻的两个中间差分图像进行叠加，得到车辆差分图像。
6.一种用于道路监测的车辆信息识别系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现如权利要求1-5中任一项所述的用于道路监测的车辆信息识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210776499.XA CN114842430B (zh) | 2022-07-04 | 2022-07-04 | 一种用于道路监测的车辆信息识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210776499.XA CN114842430B (zh) | 2022-07-04 | 2022-07-04 | 一种用于道路监测的车辆信息识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842430A CN114842430A (zh) | 2022-08-02 |
| CN114842430B true CN114842430B (zh) | 2022-09-09 |
Family
ID=82574447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210776499.XA Active CN114842430B (zh) | 2022-07-04 | 2022-07-04 | 一种用于道路监测的车辆信息识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842430B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601688B (zh) * | 2022-12-15 | 2023-02-21 | 中译文娱科技(青岛)有限公司 | 基于深度学习的视频主体内容检测方法及系统 |
| CN115593375B (zh) * | 2022-12-16 | 2023-03-24 | 广汽埃安新能源汽车股份有限公司 | 车辆紧急制动方法、装置、设备和计算机可读介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956081A (zh) * | 2019-10-14 | 2020-04-03 | 广东星舆科技有限公司 | 车辆与交通标线位置关系的识别方法、装置及存储介质 |
| CN112818905A (zh) * | 2020-12-10 | 2021-05-18 | 北京航空航天大学 | 一种基于注意力和时空信息的有限像素车辆目标检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301388A (zh) * | 2017-06-16 | 2017-10-27 | 重庆交通大学 | 一种车辆自动识别方法及装置 |
| US10950124B2 (en) * | 2017-08-22 | 2021-03-16 | Q-Free Netherlands B.V. | License plate recognition |
| CN111242051B (zh) * | 2020-01-16 | 2023-09-15 | 广州杰赛科技股份有限公司 | 一种车辆识别优化方法、装置及存储介质 |
| CN114067038A (zh) * | 2021-11-15 | 2022-02-18 | 广州极飞科技股份有限公司 | 图像处理方法、装置及电子设备 |
| CN114627272B (zh) * | 2022-03-29 | 2023-01-24 | 徐州大工电子科技有限公司 | 一种具有自适应透光性的门窗ar方法及系统 |
-
2022
- 2022-07-04 CN CN202210776499.XA patent/CN114842430B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956081A (zh) * | 2019-10-14 | 2020-04-03 | 广东星舆科技有限公司 | 车辆与交通标线位置关系的识别方法、装置及存储介质 |
| CN112818905A (zh) * | 2020-12-10 | 2021-05-18 | 北京航空航天大学 | 一种基于注意力和时空信息的有限像素车辆目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842430A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114842430B (zh) | 一种用于道路监测的车辆信息识别方法及系统 | |
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| CN107679520B (zh) | 一种适用于复杂条件下的车道线视觉检测方法 | |
| CN108694386B (zh) | 一种基于并联卷积神经网络的车道线检测方法 | |
| CN111738314B (zh) | 基于浅层融合的多模态图像能见度检测模型的深度学习方法 | |
| CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
| CN113468967B (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
| CN106971155B (zh) | 一种基于高度信息的无人车车道场景分割方法 | |
| CN109522840B (zh) | 一种高速路车流密度监测计算系统及方法 | |
| CN113312983B (zh) | 基于多模态数据融合的语义分割方法、系统、装置及介质 | |
| CN110363160B (zh) | 一种多车道线识别方法及装置 | |
| CN112731436B (zh) | 基于点云上采样的多模态数据融合可行驶区域检测方法 | |
| CN112201078B (zh) | 一种基于图神经网络的自动泊车停车位检测方法 | |
| CN112330593A (zh) | 基于深度学习网络的建筑物表面裂缝检测方法 | |
| CN110866879A (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN111681259A (zh) | 基于无Anchor机制检测网络的车辆跟踪模型建立方法 | |
| CN113313031B (zh) | 一种基于深度学习的车道线检测和车辆横向定位方法 | |
| Yamashita et al. | Multiple skip connections of dilated convolution network for semantic segmentation | |
| CN117094914B (zh) | 基于计算机视觉的智慧城市道路监控系统 | |
| CN113743375A (zh) | 铁路货车折角塞门手把不正位识别方法 | |
| CN115082888A (zh) | 一种车道线检测方法和装置 | |
| CN113326846B (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| CN115115964A (zh) | 车载视频稳像方法、装置、车辆及存储介质 | |
| CN112801021B (zh) | 基于多级语义信息的车道线检测方法及系统 | |
| CN114049532A (zh) | 基于多阶段注意力深度学习的风险道路场景识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |