CN117351438A - 一种基于图像识别的车辆实时位置跟踪方法及系统 - Google Patents
一种基于图像识别的车辆实时位置跟踪方法及系统 Download PDFInfo
- Publication number
- CN117351438A CN117351438A CN202311379090.5A CN202311379090A CN117351438A CN 117351438 A CN117351438 A CN 117351438A CN 202311379090 A CN202311379090 A CN 202311379090A CN 117351438 A CN117351438 A CN 117351438A
- Authority
- CN
- China
- Prior art keywords
- binarized image
- image
- license plate
- character
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 230000000877 morphologic effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于图像识别的车辆实时位置跟踪方法及系统，涉及车辆位置跟踪技术领域。该方法包括通过对车辆监控摄像机所拍摄到的待识别图像的二值化、形态学处理和连通域分析识别出可能为车牌的候选车牌区域，然后通过长宽数据筛选出车牌区域，并在对车牌区域进行字符分割后，基于各字符区域中相邻邻域像素点之间的相似度特征，提取出各字符区域的相似度特征直方图，最后基于各字符区域的相似度特征直方图确定出各待识别图像中的车牌号，并生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息。本发明公开的基于图像识别的车辆实时位置跟踪方法及系统可方便实现自动对车辆的位置跟踪。
Description
技术领域
本发明属于车辆位置跟踪技术领域，具体涉及一种基于图像识别的车辆实时位置跟踪方法及系统。
背景技术
在道路监控中，常常需要对一些车辆进行位置跟踪，如对违法车辆或一些可疑车辆进行位置跟踪等。现有技术中，为实现对车辆的位置跟踪，较常用的方法是在发现车辆后，通过调取附近的监控进行人工检查，从而实现对车辆的位置跟踪。
然而，采用这样的方式需要消费大量的人力，且容易因个人精力有限而出现漏检的情形，导致丢失对车辆的跟踪，此外采用人工检查的仅能对单辆车辆进行跟踪，其无法适用于对大量车辆进行位置跟踪的情形。
因此，如何提供一种有效的方案以便对车辆进行位置跟踪，已成为现有技术中一亟待解决的问题。
发明内容
本发明的目的是提供一种基于图像识别的车辆实时位置跟踪方法及系统，用以解决现有技术中存在的上述问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种基于图像识别的车辆实时位置跟踪方法，包括：
获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像；
将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像；
对每张二值化图像进行形态学闭运算后进行连通域分析；
提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域；
基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域；
对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域；
提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，其中目标像素点为字符区域中除边缘像素点之外的其余像素点；
基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图；
基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号；
基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。
基于上述公开的内容，本发明通过获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像；将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像；对每张二值化图像进行形态学闭运算后进行连通域分析；提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域；基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域；对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域；提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，其中目标像素点为字符区域中除边缘像素点之外的其余像素点；基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图；基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号；基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。如此，可通过对车辆监控摄像机所拍摄到的待识别图像的二值化、形态学处理和连通域分析识别出可能为车牌的候选车牌区域，然后通过长宽数据筛选出车牌区域，并在对车牌区域进行字符分割后，基于各字符区域中相邻邻域像素点之间的相似度特征，提取出各字符区域的相似度特征直方图，最后基于各字符区域的相似度特征直方图确定出各待识别图像中的车牌号，并生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，从而可实现对车辆的位置跟踪，在此过程中可实现自动对车辆的位置跟踪，无需耗费大量的人力，同时也不会出现由于漏检而丢失对车辆的跟踪，此外还可实现对大量车辆进行位置跟踪。
通过上述的设计，本发明可实现自动对车辆的位置跟踪，无需耗费大量的人力，也不会出现由于漏检而丢失对车辆的跟踪，同时还可实现对大量车辆进行位置跟踪，便于实际应用和推广。
在一个可能的设计中，所述车辆监控摄像机为深度相机，所述基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域，包括：
基于每张二值化图像中各候选车牌区域的长宽数据以及每张二值化图像中各候选车牌区域所对应的深度信息，从每张二值化图像中筛选出车牌区域。
在一个可能的设计中，所述对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域，包括：
计算每张二值化图像的车牌区域中每一列像素点的亮度值之和；
基于每张二值化图像的车牌区域中每一列像素点的亮度值之和，对每张二值化图像的车牌区域进行分割，得到与每张二值化图像对应的多个字符区域。
在一个可能的设计中，在对每张二值化图像中的车牌区域进行字符分割之前，所述方法还包括：
对每张二值化图像中的车牌区域的角度进行校正。
在一个可能的设计中，所述提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，包括：
提取每张二值化图像对应的多个字符区域中各目标像素点的多组相邻邻域像素点之间的相似度特征；
将每张二值化图像对应的多个字符区域中各目标像素点的多组相邻邻域像素点之间的相似度特征依次组合，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值；
其中，若任一像素点的第i组相邻邻域像素点的亮度值相同，则所述任一像素点的第i组相邻邻域像素点的相似度特征为0，若任一像素点的第i组相邻邻域像素点的亮度值不同，则所述任一像素点的第i组相邻邻域像素点的相似度特征为1，i的取值为[1，8]，且i为整数。
在一个可能的设计中，对每张二值化图像进行形态学闭运算，包括：
对每张二值化图像进行膨胀处理后再进行腐蚀处理。
在一个可能的设计中，在提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征之前，所述方法还包括：
将每张二值化图像对应的多个字符区域均调整为指定尺寸大小。
第二方面，本发明提供了一种基于图像识别的车辆实时位置跟踪系统，包括：
获取单元，用于获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像；
二值化单元，用于将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像；
运算和连通域分析单元，用于对每张二值化图像进行形态学闭运算后进行连通域分析；
第一提取单元，用于提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域；
筛选单元，用于基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域；
字符分割单元，用于对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域；
第二提取单元，用于提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，其中目标像素点为字符区域中除边缘像素点之外的其余像素点；
第一确定单元，用于基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图；
第二确定单元，用于基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号；
生成单元，用于基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。
第三方面，本发明提供了一种电子设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面所述的基于图像识别的车辆实时位置跟踪方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面所述的基于图像识别的车辆实时位置跟踪方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的基于图像识别的车辆实时位置跟踪方法。
有益效果：
本发明提供的基于图像识别的车辆实时位置跟踪方法及系统，可实现自动对车辆的位置跟踪，无需耗费大量的人力，也不会出现由于漏检而丢失对车辆的跟踪，同时还可实现对大量车辆进行位置跟踪，便于实际应用和推广。
附图说明
图1为本申请实施例提供的基于图像识别的车辆实时位置跟踪方法的流程图；
图2为本申请实施例提供的基于图像识别的车辆实时位置跟踪系统的结构示意图；
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
为了以便对车辆进行位置跟踪，本申请实施例提供了一种基于图像识别的车辆实时位置跟踪方法及系统，该基于图像识别的车辆实时位置跟踪方法及系统可实现自动对车辆的位置跟踪，不会由于漏检而丢失对车辆的跟踪，同时可实现对大量车辆进行位置跟踪。
本申请实施例提供的基于图像识别的车辆实时位置跟踪方法可应用于对车辆进行监控管理的后台服务器，如交通管理部门的用于对车辆进行监控管理的后台服务器。可以理解，所述执行主体并不构成对本申请实施例的限定。
下面将对本申请实施例提供的基于图像识别的车辆实时位置跟踪方法进行详细说明。
如图1所示，是本申请实施例第一方面提供的基于图像识别的车辆实时位置跟踪方法的流程图，该基于图像识别的车辆实时位置跟踪方法可以但不限于包括如下步骤S101-S110。
步骤S101.获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像。
本申请实施例中，可在城市道路中一些关键位置上方设置车辆监控摄像机，如一些十字路口附近的道路上方。所述车辆监控摄像机可以是普通的监控摄像机或深度相机，为方便后续对车牌进行识别，本申请实施例中的监控摄像机采用深度相机。
车辆监控摄像机可拍摄其视场区域内的且包含车辆的待识别图像，并将拍摄到的图像进行上传。可以理解的，在一个或多个实施例中，车辆监控摄像机所拍摄到的可以是视频，此时可每隔一定时间选择一帧图像作为待识别图像或每隔一定的帧数选择一帧图像作为待识别图像。
步骤S102.将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像。
步骤S103.对每张二值化图像进行形态学闭运算后进行连通域分析。
具体的，在对每张二值化图像进行形态学闭运算时，可以先对每张二值化图像进行膨胀处理，然后对每张膨胀处理后的二值化图像进行腐蚀处理。在进行形态学闭运算后，可对得到图像进行连通域分析，得到至少一个连通域。
步骤S104.提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域。
本申请实施例中，可将提取出的最小外接矩形所在的区域作为一个候选车牌区域，得到每张二值化图像中的至少一个候选车牌区域。
步骤S105.基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域。
由于车牌尺寸固定，其长宽比也固定，因此可根据每张二值化图像中候选车牌区域的长宽数据，将长宽比处于预设范围的候选车牌区域作为车牌区域。
在一个或的个多实施例中，为确保车牌区域识别的准确性，在筛选车牌区域时可基于每张二值化图像中各候选车牌区域的长宽数据以及每张二值化图像中各候选车牌区域所对应的深度信息，从每张二值化图像中筛选出车牌区域。
具体的，可基于每张二值化图像的深度信息，以及图像中像素尺寸与实际尺寸的换算关系，计算出各候选车牌区域所对应的实际尺寸，然后将所对应的实际尺寸与车牌真实尺寸相近，且长宽比也与车牌长宽比相近的候选车牌区域作为车牌区域。
步骤S106.对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域。
具体的，对每张二值化图像中的车牌区域进行字符分割，可以但不限于包括如下步骤S1061-S1062。
步骤S1061.计算每张二值化图像的车牌区域中每一列像素点的亮度值之和。
本申请实施例中，可对二值化图像的车牌区域中每一列像素点的亮度值进行求和，得到二值化图像的车牌区域中每一列像素点的亮度值之和。
步骤S1062.基于每张二值化图像的车牌区域中每一列像素点的亮度值之和，对每张二值化图像的车牌区域进行分割，得到与每张二值化图像对应的多个字符区域。
具体的，如果车牌区域中某一列像素点的亮度值之和低于一预先设定的阈值，则判定该列像素点所在区域不属于字符区域，如果车牌区域中某一列像素点的亮度值之和高于该阈值，则判定该列像素点所在区域属于字符区域。如此，可识别出车牌区域中的每一列像素点所在区域是否属于字符区域，然后将相连续且属于字符区域的多列像素点所在区域划分为一个字符区域，从而可得到与每张二值化图像对应的多个字符区域。其中，该预先设定的阈值可通过试验确定出。
考虑到拍摄角度或车牌悬挂倾斜等情况，车牌区域可能存在倾斜。因此，在一个或多个实施例中，在对每张二值化图像中的车牌区域进行字符分割之前，还可以先对每张二值化图像中的车牌区域的角度进行校正，从而使每张二值化图像中的车牌区域的宽度方向刚好位于水平方向。如此，可确保字符区域分割的准确性，以便后续能够准确识别出车牌。
步骤S107.提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值。
其中，目标像素点为字符区域中除边缘像素点之外的其余像素点。
具体的，步骤S107可以但不限于包括如下步骤S1071-S1072。
步骤S1071.提取每张二值化图像对应的多个字符区域中各目标像素点的多组相邻邻域像素点之间的相似度特征。
本申请实施例中，目标像素点的邻域像素点是指与该目标像素点相邻的8个像素点，相邻邻域像素点可以是指目标像素点的8邻域像素点中相邻的像素点。举例对于目标像素点A，其相邻的8个像素点沿顺时针方向依次为像素点A1、像素点A2、像素点A3、像素点A4、像素点A5、像素点A6、像素点A7和像素点A8，则像素点A1与像素点A2为相邻的一组相邻邻域像素点，像素点A2与像素点A3为相邻的一组相邻邻域像素点，像素点A3与像素点A4为相邻的一组相邻邻域像素点，像素点A4与像素点A5为相邻的一组相邻邻域像素点，像素点A5与像素点A6为相邻的一组相邻邻域像素点，像素点A6与像素点A7为相邻的一组相邻邻域像素点，像素点A7与像素点A8为相邻的一组相邻邻域像素点，像素点A8与像素点A1为相邻的一组相邻邻域像素点。如此，可确定出每个目标像素点对应的8组相邻邻域像素点。
在提取每组相邻邻域像素点之间的相似度特征时，若任一像素点的第i组相邻邻域像素点的亮度值相同，则所述任一像素点的第i组相邻邻域像素点的相似度特征为0，若任一像素点的第i组相邻邻域像素点的亮度值不同，则所述任一像素点的第i组相邻邻域像素点的相似度特征为1，i的取值为[1，8]，且i为整数。仍基于上述的例子，假定像素点A1和像素点A2为目标像素点的第一组相邻邻域像素点，像素点A2和像素点A3为目标像素点的第二组相邻邻域像素点，若像素点A1的亮度值为0，像素点A2的亮度值为1，像素点A3的亮度值为1，则目标像素点的第一组相邻邻域像素点的相似度特征为1，目标像素点的第二组相邻邻域像素点的相似度特征为0。
步骤S1072.将每张二值化图像对应的多个字符区域中各目标像素点的多组相邻邻域像素点之间的相似度特征依次组合，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值。
假定某像素点的多组相邻邻域像素点之间的相似度特征依次为1、1、1、0、0、1、1和1，则该像素点的相似度特征值可以是11100111，该相似度特征值可以是二进制，若为二进制还可以将其转换为十进制值。
在一个或多个实施例中，在提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征之前，还可将每张二值化图像对应的多个字符区域均调整为指定尺寸大小。
步骤S108.基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图。
步骤S109.基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号。
本申请实施例中，可将每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，与车牌上各已知字符区域的相似度特征直方图进行相似计算，从而可确定出每张二值化图像对应的多个字符区域中，各字符区域所对应的字符，然后将确定出的字符组合得到与每张二值化图像所对应的车牌号，也即与每张二值化图像所对应的待识别图像中的车牌号。
步骤S110.基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。
其中，车辆监控摄像机的位置信息可以预先设置，待识别图像所对应时间戳可以是车辆监控摄像机拍摄待识别图像时所记录下的时间戳。
本发明提供的基于图像识别的车辆实时位置跟踪方法，通过获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像；将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像；对每张二值化图像进行形态学闭运算后进行连通域分析；提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域；基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域；对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域；提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，其中目标像素点为字符区域中除边缘像素点之外的其余像素点；基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图；基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号；基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。如此，可通过对车辆监控摄像机所拍摄到的待识别图像的二值化、形态学处理和连通域分析识别出可能为车牌的候选车牌区域，然后通过长宽数据筛选出车牌区域，并在对车牌区域进行字符分割后，基于各字符区域中相邻邻域像素点之间的相似度特征，提取出各字符区域的相似度特征直方图，最后基于各字符区域的相似度特征直方图确定出各待识别图像中的车牌号，并生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，从而可实现对车辆的位置跟踪，在此过程中可实现自动对车辆的位置跟踪，无需耗费大量的人力，同时也不会出现由于漏检而丢失对车辆的跟踪，此外还可实现对大量车辆进行位置跟踪，便于实际应用和推广。
请参阅图2，本申请实施例第二方面提供了一种基于图像识别的车辆实时位置跟踪系统，包括：
获取单元，用于获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像；
二值化单元，用于将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像；
运算和连通域分析单元，用于对每张二值化图像进行形态学闭运算后进行连通域分析；
第一提取单元，用于提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域；
筛选单元，用于基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域；
字符分割单元，用于对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域；
第二提取单元，用于提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，其中目标像素点为字符区域中除边缘像素点之外的其余像素点；
第一确定单元，用于基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图；
第二确定单元，用于基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号；
生成单元，用于基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。
本实施例第二方面提供的系统的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图3所示，本申请实施例第三方面提供了一种电子设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的基于图像识别的车辆实时位置跟踪方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（RAM）、只读存储器（ROM）、闪存（Flash Memory）、先进先出存储器（FIFO）和/或先进后出存储器（FILO）等等；所述处理器可以不限于采用型号为STM32F105系列的微处理器、ARM（Advanced RISCMachines）、X86等架构处理器或集成NPU（neural-network processing units）的处理器；所述收发器可以但不限于为WiFi（无线保真）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的基于图像识别的车辆实时位置跟踪方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的基于图像识别的车辆实时位置跟踪方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的基于图像识别的车辆实时位置跟踪方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像识别的车辆实时位置跟踪方法，其特征在于，包括：
获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像；
将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像；
对每张二值化图像进行形态学闭运算后进行连通域分析；
提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域；
基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域；
对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域；
提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，其中目标像素点为字符区域中除边缘像素点之外的其余像素点；
基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图；
基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号；
基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。
2.根据权利要求1所述的基于图像识别的车辆实时位置跟踪方法，其特征在于，所述车辆监控摄像机为深度相机，所述基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域，包括：
基于每张二值化图像中各候选车牌区域的长宽数据以及每张二值化图像中各候选车牌区域所对应的深度信息，从每张二值化图像中筛选出车牌区域。
3.根据权利要求1所述的基于图像识别的车辆实时位置跟踪方法，其特征在于，所述对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域，包括：
计算每张二值化图像的车牌区域中每一列像素点的亮度值之和；
基于每张二值化图像的车牌区域中每一列像素点的亮度值之和，对每张二值化图像的车牌区域进行分割，得到与每张二值化图像对应的多个字符区域。
4.根据权利要求3所述的基于图像识别的车辆实时位置跟踪方法，其特征在于，在对每张二值化图像中的车牌区域进行字符分割之前，所述方法还包括：
对每张二值化图像中的车牌区域的角度进行校正。
5.根据权利要求1所述的基于图像识别的车辆实时位置跟踪方法，其特征在于，所述提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，包括：
提取每张二值化图像对应的多个字符区域中各目标像素点的多组相邻邻域像素点之间的相似度特征；
将每张二值化图像对应的多个字符区域中各目标像素点的多组相邻邻域像素点之间的相似度特征依次组合，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值；
其中，若任一像素点的第i组相邻邻域像素点的亮度值相同，则所述任一像素点的第i组相邻邻域像素点的相似度特征为0，若任一像素点的第i组相邻邻域像素点的亮度值不同，则所述任一像素点的第i组相邻邻域像素点的相似度特征为1，i的取值为[1，8]，且i为整数。
6.根据权利要求1所述的基于图像识别的车辆实时位置跟踪方法，其特征在于，对每张二值化图像进行形态学闭运算，包括：
对每张二值化图像进行膨胀处理后再进行腐蚀处理。
7.根据权利要求1所述的基于图像识别的车辆实时位置跟踪方法，其特征在于，在提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征之前，所述方法还包括：
将每张二值化图像对应的多个字符区域均调整为指定尺寸大小。
8.一种基于图像识别的车辆实时位置跟踪系统，其特征在于，包括：
获取单元，用于获取设置于城市道路上方的车辆监控摄像机所拍摄到的且包含车辆的待识别图像；
二值化单元，用于将每张待识别图像进行二值化处理，得到与每张待识别图像对应的二值化图像；
运算和连通域分析单元，用于对每张二值化图像进行形态学闭运算后进行连通域分析；
第一提取单元，用于提取每张二值化图像的连通域的最小外接矩形，得到每张二值化图像中的至少一个候选车牌区域；
筛选单元，用于基于每张二值化图像中候选车牌区域的长宽数据，从每张二值化图像中筛选出车牌区域；
字符分割单元，用于对每张二值化图像中的车牌区域进行字符分割，得到与每张二值化图像对应的多个字符区域；
第二提取单元，用于提取每张二值化图像对应的多个字符区域中各目标像素点的相邻邻域像素点之间的相似度特征，得到每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，其中目标像素点为字符区域中除边缘像素点之外的其余像素点；
第一确定单元，用于基于每张二值化图像对应的多个字符区域中各目标像素点的相似度特征值，确定出每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图；
第二确定单元，用于基于每张二值化图像对应的多个字符区域中各字符区域的相似度特征直方图，确定出每张二值化图像对应的多个字符区域中各字符区域所对应的字符，得到与每张二值化图像所对应的待识别图像中的车牌号；
生成单元，用于基于每张待识别图像中的车牌号、每张待识别图像所对应车辆监控摄像机的位置信息以及每张待识别图像所对应时间戳，生成与每张待识别图像中的车牌号所对应车辆的车辆位置跟踪信息，以便对车辆进行位置跟踪。
9.一种电子设备，其特征在于，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的基于图像识别的车辆实时位置跟踪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的基于图像识别的车辆实时位置跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311379090.5A CN117351438B (zh) | 2023-10-24 | 2023-10-24 | 一种基于图像识别的车辆实时位置跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311379090.5A CN117351438B (zh) | 2023-10-24 | 2023-10-24 | 一种基于图像识别的车辆实时位置跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351438A true CN117351438A (zh) | 2024-01-05 |
| CN117351438B CN117351438B (zh) | 2024-06-04 |
Family
ID=89367585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311379090.5A Active CN117351438B (zh) | 2023-10-24 | 2023-10-24 | 一种基于图像识别的车辆实时位置跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351438B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268703A (zh) * | 2013-05-23 | 2013-08-28 | 华录智达科技有限公司 | 公交专用道抓拍系统 |
| CN103279736A (zh) * | 2013-04-27 | 2013-09-04 | 电子科技大学 | 一种基于多信息邻域投票的车牌检测方法 |
| CN104156704A (zh) * | 2014-08-04 | 2014-11-19 | 胡艳艳 | 一种新的车牌识别方法及系统 |
| CN105022992A (zh) * | 2015-06-29 | 2015-11-04 | 叶秀兰 | 一种车牌自动鉴别方法 |
| CN105373794A (zh) * | 2015-12-14 | 2016-03-02 | 河北工业大学 | 一种车牌识别方法 |
| US20170124414A1 (en) * | 2015-10-30 | 2017-05-04 | Xiaomi Inc. | Method and device for character area identification |
| CN108182457A (zh) * | 2018-01-30 | 2018-06-19 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN114155363A (zh) * | 2021-12-01 | 2022-03-08 | 中国南方电网有限责任公司超高压输电公司广州局 | 换流站车辆识别方法、装置、计算机设备和存储介质 |
| CN116824172A (zh) * | 2023-05-29 | 2023-09-29 | 招商局公路网络科技控股股份有限公司 | 一种多摄像头融合的实时车辆跟踪方法及装置 |
-
2023
- 2023-10-24 CN CN202311379090.5A patent/CN117351438B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279736A (zh) * | 2013-04-27 | 2013-09-04 | 电子科技大学 | 一种基于多信息邻域投票的车牌检测方法 |
| CN103268703A (zh) * | 2013-05-23 | 2013-08-28 | 华录智达科技有限公司 | 公交专用道抓拍系统 |
| CN104156704A (zh) * | 2014-08-04 | 2014-11-19 | 胡艳艳 | 一种新的车牌识别方法及系统 |
| CN105022992A (zh) * | 2015-06-29 | 2015-11-04 | 叶秀兰 | 一种车牌自动鉴别方法 |
| US20170124414A1 (en) * | 2015-10-30 | 2017-05-04 | Xiaomi Inc. | Method and device for character area identification |
| CN105373794A (zh) * | 2015-12-14 | 2016-03-02 | 河北工业大学 | 一种车牌识别方法 |
| CN108182457A (zh) * | 2018-01-30 | 2018-06-19 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN114155363A (zh) * | 2021-12-01 | 2022-03-08 | 中国南方电网有限责任公司超高压输电公司广州局 | 换流站车辆识别方法、装置、计算机设备和存储介质 |
| CN116824172A (zh) * | 2023-05-29 | 2023-09-29 | 招商局公路网络科技控股股份有限公司 | 一种多摄像头融合的实时车辆跟踪方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| SHANGXUAN TIAN ET AL.: "Multilingual scene character recognition with co-occurrence of histogram of oriented gradients", 《PATTERN RECOGNITION》, 31 March 2016 (2016-03-31) * |
| XINYU ZHANG ET AL.: "Real-time vehicle detection and tracking using improved histogram of gradient features and kalman filters", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》, 11 January 2018 (2018-01-11) * |
| 严萍;曾金明;: "一种有效的车牌定位方法――数学形态学和字符边缘特征相结合的车牌定位方法", 西昌学院学报(自然科学版), no. 02, 20 June 2011 (2011-06-20) * |
| 伊力哈木・亚尔买买提;: "基于改进蚁群算法的维吾尔文字图像分割", 科技通报, no. 09, 15 September 2013 (2013-09-15) * |
| 陈为: "基于变化方向光源的压印立体字符分割方法的研究", 《中国博士学位论文全文数据库 信息科技辑》, 15 October 2013 (2013-10-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351438B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106600977B (zh) | 基于多特征识别的违停检测方法及系统 | |
| CN111382704B (zh) | 基于深度学习的车辆压线违章判断方法、装置及存储介质 | |
| CN109977782B (zh) | 基于目标位置信息推理的跨店经营行为检测方法 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN103824066A (zh) | 一种基于视频流的车牌识别方法 | |
| CN103324930A (zh) | 一种基于灰度直方图二值化的车牌字符分割方法 | |
| CN108010242B (zh) | 一种基于视频识别的安防报警方法、系统及存储介质 | |
| CN102722889B (zh) | 一种图像背景获取方法和装置 | |
| Azad et al. | New method for optimization of license plate recognition system with use of edge detection and connected component | |
| CN113128507B (zh) | 一种车牌识别方法、装置、电子设备及存储介质 | |
| CN111767908B (zh) | 字符检测方法、装置、检测设备及存储介质 | |
| CN111008574A (zh) | 一种基于形体识别技术的重点人员轨迹分析方法 | |
| CN105046948A (zh) | 一种黄色网格线区域内交通违章停车监测系统和方法 | |
| CN109271904A (zh) | 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法 | |
| CN112784834A (zh) | 一种自然场景下的车牌自动识别方法 | |
| CN110782409A (zh) | 一种去除多运动物体阴影的方法 | |
| CN110807430B (zh) | 一种实况全景交通标志图片预处理方法 | |
| CN113505638A (zh) | 车流量的监测方法、监测装置及计算机可读存储介质 | |
| CN112836683A (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
| CN110473255B (zh) | 一种基于多重网格划分的船舶系船柱定位方法 | |
| CN114998317A (zh) | 镜头遮挡检测方法、装置、摄像装置和存储介质 | |
| CN103886609A (zh) | 基于粒子滤波和lbp特征的车辆跟踪方法 | |
| CN111429376A (zh) | 高低精度融合的高效数字图像处理方法 | |
| CN114332781A (zh) | 一种基于深度学习的智能车牌识别方法及系统 | |
| de Almeida et al. | Vehicle occurrence-based parking space detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |