CN110766006A - 一种基于视觉人工智能的无人监管智能停车计费方法 - Google Patents

一种基于视觉人工智能的无人监管智能停车计费方法 Download PDF

Info

Publication number
CN110766006A
CN110766006A CN201911015511.XA CN201911015511A CN110766006A CN 110766006 A CN110766006 A CN 110766006A CN 201911015511 A CN201911015511 A CN 201911015511A CN 110766006 A CN110766006 A CN 110766006A
Authority
CN
China
Prior art keywords
image
vehicle
license plate
artificial intelligence
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911015511.XA
Other languages
English (en)
Other versions
CN110766006B (zh
Inventor
张晋东
王栋辉
张坤鹏
徐嘉斌
刘通
王雪
刘佳轩
李昀浩
张钟磊
马智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201911015511.XA priority Critical patent/CN110766006B/zh
Publication of CN110766006A publication Critical patent/CN110766006A/zh
Application granted granted Critical
Publication of CN110766006B publication Critical patent/CN110766006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/12—Electric charging stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉人工智能的无人监管智能停车计费方法，利用本发明可以实时监控停车场已占用车位及空闲车位，自动追踪车辆轨迹，识别车辆类型，识别大倾角车牌，自动进行扣费工作，无需人员24小时值班，极大的节省了人力物力等资源。

Description

一种基于视觉人工智能的无人监管智能停车计费方法
技术领域
本发明涉及智能停车计费技术领域，具体涉及一种基于视觉人工智能的无人监管智能停车计费方法。
背景技术
现今，随着互联网的生活模式不断被推进到人们的生活中，以及人工智能的不断兴起，智能停车场也应该被应用到人们的日常生活中。目前大多数的车辆在进入停车场时都要先停车进行车牌拍照，再进入停车场停车计费，出停车场的过程也是一样需要先停车缴费。这种传统的停车收费模式既耗时又二十四小时都需要人员看管。
发明内容
针对现有技术的不足，本发明旨在提供一种基于视觉人工智能的无人监管智能停车计费方法，利用本发明方法可以在车辆进入停车场时无需停车直接进去停车场即可进行停车收费。
为了实现上述目的，本发明采用如下技术方案：
一种基于视觉人工智能的无人监管智能停车计费方法，包括如下步骤：
S1、当有车辆进入停车场时，利用停车场内的摄像头获取车辆图像并对车辆进行识别和实时追踪：
S1.1、采用google-net中3b层的输出结果作为特征参数，所述输出结果是一个高维度特征，用J表示，记数据集中正样本为A,滤波器为B，则有以下的形式：
U(x)＝||A-J·B||+δ||B||
U(x)为google-net中3b层的输出结果；δ相当于一个常数，为求解过程中自动调节的参数；
google-net中3b层输出的特征参数需要经过滤波器B，求得B的最优参数即可：
B＝(JTJ+σR)-1J-1A；
σ用于防止过拟合，是一个正则化参数；R是单位向量；
每次进入e个样本经过google-net中3b层以及滤波器处理后产生预测值，记Ae＝Je·Be，优化的最终形式就变为了：
min(A-Ae)；
对min(A-Ae)进行求解，得到模型后进行车型识别和车辆追踪；
S1.2、追踪到车辆后，实时追踪车辆是否停车到车位里：
车位的坐标信息手动标记为菱形框体，每隔20帧，用菱形框体内的特征减去前20帧前的特征，并设定阈值来判断是否有车辆停放；按下式进行计算：
Figure BDA0002245579790000021
上式中，C(x,y)表示后帧图像的灰度值，c(x,y)表示前帧图像灰度值，j表示像素点的个数；
将前帧图像的菱形框体内的图像的一半的灰度减去另一半的灰度的差值作为阈值：
其中，c1(x,y)表示前帧图像的菱形框体内的图像的一半的灰度，
c2(x,y)表示前帧图像的菱形框体内的图像的另一半的灰度；
当U大于u的时候，则判定有车进入车位；
S2、识别车牌：
S2.1、定位车牌的位置：
S2.2、车牌倾斜校正：
采用检测直线判定图像的偏移角度；直线表示如下：
Figure BDA0002245579790000032
θ是由直角坐标系的原点向直线引出的一条垂线的角度，i是直线到原点的距离，两者都是一个定值，一组定值i与θ可以确定一条直线；
计算车牌位置的图像中的像素值在某个设定角度范围内对应的i值大小，当有直线存在时直线上的像素值在某个设定角度内得到的一定是相同的r，那么此时就能够确定直线的位置，确定直线的位置，即可得到角度θ，也就是车牌位置的图像的偏移角度，从而根据偏移角度θ进行对车牌位置的图像的角度进行倾斜校正；
S2.3、对车牌的字符进行提取；
S2.4、对汉字的各个部分的连通区域进行合并；
S2.5、对经过步骤S2.4处理后最终得到的字符进行字符识别；
S3、利用步骤S1中识别出的车型信息、车位占用信息，步骤S2识别得到的车牌信息，与车主的信息进行绑定并自动进行支付宝或者微信的扣费，实现真正的完全自动化。
进一步地，步骤S1中，在利用摄像头获取到的车辆图像对车辆进行识别和实时追踪钱，首先进行亮度修正，使得车辆图像归一化；具体按下式进行：
ξ表示图像的均值，υ表示车辆图像的方差，k(x,y)表示原始的车辆图像，K(x,y)表示处理后的车辆图像。
进一步地，步骤S1.1中，通过梯度下降的方式对min(A-Ae)进行求解。
进一步地，步骤S1.2中，所述设定数量的帧为20帧。
进一步地，步骤S1.2中，当判定车位被占用后，计算10次前帧和后帧之间的变化，不再发生变化后，判定为车辆进入车位。
进一步地，步骤S2.1中定位车牌的位置的具体过程包括：
S2.1.1、先对车位内的车辆图像进行二值化处理，其后进行膨胀与腐蚀的操作；
S2.1.2、采用复合特征定位车牌位置：
获取区域图像中的R，G，B三通道的值的大小，先采取阈值定位，选取符合下式的区域：
Figure BDA0002245579790000051
Figure BDA0002245579790000053
上式表示在这个颜色区间范围内符合车牌颜色的通道大小，而R,G,B分别对应的区间范围，即φ和
Figure BDA0002245579790000054
的取值是不同的；
采用阈值定位后，对阈值定位得到的区域再用canny边缘检测区域轮廓，最终定位得到车牌位置的图像。
进一步地，步骤S2.3的具体过程包括：
S2.3.1、扫描车牌位置的图像的像素值，将背景的值设置为0，字符值设置为1；
S2.3.2、遍历车牌位置的图像遍历到值为1的时候，将其压入栈并将其标记为已访问；
S2.3.3、当栈为空的时候结束一个连通区域的判定，寻找栈顶像素相邻的八个邻域值为1的像素点，并将它们入栈，结束后将栈顶元素删除；
S2.3.4、继续找到下一个非空且未访问过的像素点作为起点，并重复步骤S3.3.1-S3.3.3，直到所有的非零像素点都被访问完成；
S2.3.5、当所有的连通区域都遍历完了之后，将像素点个数最大的连通区域标记出来即可，由此完成了字符的提取。
进一步地，步骤S2.4的具体过程包括：
将每个连通区域进行矩形标记；当汉字为上下结构时，被分开的两个连通区域一定满足判定式：
LT1x-LT2x+RT1x-RT2x<α；
其中，LT1x表示汉字的上半部分的连通区域的左上角x坐标，LT2x表示汉字的下半部分的连通区域左上角的x坐标，RT1x表示矩汉字的上半部分的连通区域的右上角x轴坐标，RT2x表示汉字的下半部分的连通区域的右上角x轴坐标；α表示阈值参数；当上述判定式成立时合并该两个连通区域；
当汉字为左右结构时，其左右部分的连通区域的间距一定会比两个正常的连通区域之间的间距要小，因此采用合并判定式如下：
|RT1x-LT2x+RB1x-LB2x|<β；
其中RT1x表示汉字的左半部分的连通区域的右上角x轴坐标，LT2x表示汉字的右半部分的连通区域的左上角x轴坐标，RB1x表示汉字的左半部分的连通区域的右下角x坐标，LB2x表示汉字的右半部分的连通区域的左下角x坐标；β表示阈值参数，当合并判定公式成立则合并该两个连通域。
进一步地，步骤S2.5中，采用cnn训练的方式完成字符的识别。
本发明的有益效果在于：利用本发明方法，可以实现在车辆进入停车场时无需停车直接进去停车场，即可自动进行车辆的识别、追踪、以及停车收费，真正实现全自动。
具体实施方式
以下将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
本实施例提供一种基于视觉人工智能的无人监管智能停车计费方法，包括如下步骤：
S1、当有车辆进入停车场时，利用停车场内的摄像头获取车辆图像并对车辆进行识别和实时追踪；
需要说明的是，由于光照，亮度等各种因素会对车辆图像的质量有所干扰，因此在本实施例中，在利用摄像头获取到的车辆图像对车辆进行识别和实时追踪钱，会首先进行亮度修正，使得车辆图像归一化，具体按下式进行：
Figure BDA0002245579790000071
ξ表示图像的均值，υ表示车辆图像的方差，k(x,y)表示原始的车辆图像，K(x,y)表示处理后的车辆图像。
在本实施例中，采用提取车辆特征的方式进行车辆识别与追踪。车辆的提取特征采用google-net卷积神经网络的部分参数，而不采用google-net的全链接层，输入到滤波算法中进行融合从而检测车辆的颜色和车型。具体过程如下：
S1.1、因为卷积神经网络的高层卷积拥有图像的各种语义特征，采用google-net中3b层的输出结果作为特征参数，所述输出结果是一个高维度特征，用J表示，记数据集中正样本为A,滤波器为B，则有以下的形式：
U(x)＝||A-J·B||+δ||B||
U(x)为google-net中3b层的输出结果；δ相当于一个常数，为求解过程中自动调节的参数；
google-net中3b层输出的特征参数需要经过滤波器B(是一个参数矩阵)，那么此时的优化目标就变为优化滤波器的参数，求得B的最优参数即可：
B＝(JTJ+σR)-1J-1A；
σ用来防止过拟合，是一个正则化参数；R是单位向量；
每次进入e个样本经过google-net中3b层以及滤波器处理后产生预测值，记Ae＝Je·Be，优化的最终形式就变为了：
min(A-Ae)；
可以通过梯度下降的方式对min(A-Ae)进行求解，得到模型后进行车型识别和车辆追踪；
S1.2、追踪到车辆后，需要实时追踪车辆是否停车到车位里。由于停车场的车位以及摄像头的位置都是固定的，所以车位的坐标信息手动标记为菱形框体，这种标记方式可以加强车位识别准确度，相对于车位完全贴合型的标记，可以在相邻车位有停车越界的情况下减少相邻车的干扰；
由于摄像头获取的是车辆图像每一帧，本实施例中车位检测采取了前后帧特征变换的形式进行检测。当车位上没有车辆停放的时候前后的特征是不会有太大差异，摄像头捕获图像的速度是20到30帧每秒，本实施例中每隔20帧用菱形框体内的特征减去前20帧前的特征(即在前20帧的图像中，用后一帧的图像灰度减去前一帧的图像灰度，并将得到的差值相加)，并设定阈值来判断是否有车辆停放；具体按下式进行计算：
上式中，C(x,y)表示后帧图像的灰度值，c(x,y)表示前帧图像灰度值，j表示像素点的个数；
将前帧图像的菱形框体内的图像的一半的灰度减去另一半的灰度的差值作为阈值：
Figure BDA0002245579790000092
其中，c1(x,y)表示前帧图像的菱形框体内的图像的一半的灰度，c2(x,y)表示前帧图像的菱形框体内的图像的另一半的灰度；
当U大于u的时候，则判定有车进入车位；
在本实施例中，为了防止停车过程中有倒车误入等情况影响判定的准确性，本实施例进行计时处理，当判定车位被占用后，在10次前帧后帧不再发生变化后，判定为车辆进入车位。
S2、识别车牌：
S2.1、定位车牌的位置：
S2.1.1、先对车位内的车辆图像进行二值化处理，其后进行膨胀与腐蚀等操作以去除点图像中很小的噪点区域的影响；
S2.1.2、采用复合特征定位车牌位置：
获取区域图像中的R，G，B三通道的值的大小，为了能在夜晚下也成功检测与定位车牌的位置，先采取阈值定位，选取符合下式的区域：
Figure BDA0002245579790000101
Figure BDA0002245579790000102
Figure BDA0002245579790000103
上式表示在这个颜色区间范围内符合车牌颜色的通道大小，而R,G,B分别对应的区间范围，即φ和
Figure BDA0002245579790000104
的取值是不同的；
采用阈值定位后，对阈值定位得到的区域再用canny边缘检测区域轮廓，最终定位得到车牌位置的图像。
在每一个停车位上由于距离的远近，车牌轮廓有面积范围大小，本实施例的车牌定位方法采用颜色以及轮廓大小双重标准，能够有效、准确定位车牌的位置。
S2.2、车牌倾斜校正：
车牌在图像中是长方形的，因此在定位后，需要在所定位到的车牌位置区域内进行车牌识别。为了避免干扰，在单个已有车辆停好的车位区域内进行车牌识别。在识别车牌过程中，与现有方法中的进入检测车牌不同，本实施例方法中车牌跟摄像头不在同一水平线，因此车牌会发生角度偏移，需要进行倾斜校正。在本实施例中，采用检测直线判定图像的偏移角度；直线在正常的直角坐标系中的方程为：
y＝ax+b；
但是在直角的坐标系中，当直线垂直于x轴的时候a的值是无穷大，无法进行处理，因此，在本实施例中，用另一种方式表示直线：
Figure BDA0002245579790000105
上述公式的转化并不是极坐标转换，虽然形式上跟极坐标的直线表示相同但是参数的含义不同，上式中，θ是由直角坐标系的原点向直线引出的一条垂线的角度，i是直线到原点的距离，两者都是一个定值，而在极坐标下i与θ都是变值。这样转换后可以看出一组定值i与θ其实是可以确定一条直线的。
接下来计算车牌位置的图像中的像素值在某个角度范围内对应的i值大小，当有直线存在时直线上的像素值在某一个角度内得到的一定是相同的i，那么此时就能够确定直线的位置，确定直线的位置，即可得到角度θ，也就是车牌位置的图像的偏移角度，从而根据偏移角度θ进行对车牌位置的图像的角度进行倾斜校正。
S2.3、对车牌的字符进行提取：
S2.3.1、字符都有连通性，在本实施例中，首先扫描车牌位置的图像的像素值，将背景的值设置为0，字符值设置为1；
S2.3.2、遍历车牌位置的图像遍历到值为1的时候，将其压入栈并将其标记为已访问；
S2.3.3、当栈为空的时候结束一个连通区域的判定，寻找栈顶像素相邻的八个邻域值为1的像素点，并将它们入栈，结束后将栈顶元素删除；
S2.3.4、继续找到下一个非空且未访问过的像素点作为起点，并重复步骤S3.3.1-S3.3.3，直到所有的非零像素点都被访问完成；
S2.3.5、当所有的连通区域都遍历完了之后，将像素点个数最大的连通区域标记出来即可，由此完成了字符的提取；
S2.4、由于汉字本身有上下结构与左右结构的字体，因此会出现一个汉字被分割成了几个连通区域的情况。为了解决这个问题，需要进行连通区域的合并。合并过程如下：
将每个连通区域进行矩形标记；当汉字为上下结构时，被分开的两个连通区域一定满足判定式：
LT1x-LT2x+RT1x-RT2x<α；
其中，LT1x表示汉字的上半部分的连通区域的左上角x坐标，LT2x表示汉字的下半部分的连通区域左上角的x坐标，RT1x表示矩汉字的上半部分的连通区域的右上角x轴坐标，RT2x表示汉字的下半部分的连通区域的右上角x轴坐标；α表示阈值参数；当上述判定式成立时合并该两个连通区域。
当汉字为左右结构时，其左右部分的连通区域的间距一定会比两个正常的连通区域之间的间距要小，因此采用合并判定式如下：
|RT1x-LT2x+RB1x-LB2x|<β；
其中RT1x表示汉字的左半部分的连通区域的右上角x轴坐标，LT2x表示汉字的右半部分的连通区域的左上角x轴坐标，RB1x表示汉字的左半部分的连通区域的右下角x坐标，LB2x表示汉字的右半部分的连通区域的左下角x坐标；β表示阈值参数，当合并判定公式成立则合并该两个连通域；
S2.5、对经过步骤S2.4处理后最终得到的字符进行字符识别，在本实施例中，具体采用cnn训练的方式完成字符的识别。
S3、利用步骤S1中识别出的车型信息、车位占用信息，步骤S2识别得到的车牌信息，与车主的信息进行绑定并自动进行支付宝或者微信的扣费，实现真正的完全自动化。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于视觉人工智能的无人监管智能停车计费方法，其特征在于，包括如下步骤：
S1、当有车辆进入停车场时，利用停车场内的摄像头获取车辆图像并对车辆进行识别和实时追踪：
S1.1、采用google-net中3b层的输出结果作为特征参数，所述输出结果是一个高维度特征，用J表示，记数据集中正样本为A,滤波器为B，则有以下的形式：
U(x)＝||A-J·B||+δ||B||；
U(x)为google-net中3b层的输出结果；δ相当于一个常数，为求解过程中自动调节的参数；
google-net中3b层输出的特征参数需要经过滤波器B，求得B的最优参数即可：
B＝(JTJ+σR)-1J-1A；
σ用于防止过拟合，是一个正则化参数；R是单位向量；
每次进入e个样本经过google-net中3b层以及滤波器处理后产生预测值，记Ae＝Je·Be，优化的最终形式就变为了：
min(A-Ae)；
对min(A-Ae)进行求解，得到模型后进行车型识别和车辆追踪；
S1.2、追踪到车辆后，实时追踪车辆是否停车到车位里：
车位的坐标信息手动标记为菱形框体，每隔20帧，用菱形框体内的特征减去前20帧前的特征，并设定阈值来判断是否有车辆停放；按下式进行计算：
Figure FDA0002245579780000021
上式中，C(x,y)表示后帧图像的灰度值，c(x,y)表示前帧图像灰度值，j表示像素点的个数；
将前帧图像的菱形框体内的图像的一半的灰度减去另一半的灰度的差值作为阈值：
Figure FDA0002245579780000022
其中，c1(x,y)表示前帧图像的菱形框体内的图像的一半的灰度，c2(x,y)表示前帧图像的菱形框体内的图像的另一半的灰度；
当U大于u的时候，则判定有车进入车位；
S2、识别车牌：
S2.1、定位车牌的位置：
S2.2、车牌倾斜校正：
采用检测直线判定图像的偏移角度；直线表示如下：
Figure FDA0002245579780000023
θ是由直角坐标系的原点向直线引出的一条垂线的角度，i是直线到原点的距离，两者都是一个定值，一组定值i与θ可以确定一条直线；
计算车牌位置的图像中的像素值在某个设定角度范围内对应的i值大小，当有直线存在时直线上的像素值在某个设定角度内得到的一定是相同的r，那么此时就能够确定直线的位置，确定直线的位置，即可得到角度θ，也就是车牌位置的图像的偏移角度，从而根据偏移角度θ进行对车牌位置的图像的角度进行倾斜校正；
S2.3、对车牌的字符进行提取；
S2.4、对汉字的各个部分的连通区域进行合并；
S2.5、对经过步骤S2.4处理后最终得到的字符进行字符识别；
S3、利用步骤S1中识别出的车型信息、车位占用信息，步骤S2识别得到的车牌信息，与车主的信息进行绑定并自动进行支付宝或者微信的扣费，实现真正的完全自动化。
2.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S1中，在利用摄像头获取到的车辆图像对车辆进行识别和实时追踪钱，首先进行亮度修正，使得车辆图像归一化；具体按下式进行：
Figure FDA0002245579780000031
ξ表示图像的均值，υ表示车辆图像的方差，k(x,y)表示原始的车辆图像，K(x,y)表示处理后的车辆图像。
3.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S1.1中，通过梯度下降的方式对min(A-Ae)进行求解。
4.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S1.2中，所述设定数量的帧为20帧。
5.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S1.2中，当判定车位被占用后，计算10次前帧和后帧之间的变化，不再发生变化后，判定为车辆进入车位。
6.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S2.1中定位车牌的位置的具体过程包括：
S2.1.1、先对车位内的车辆图像进行二值化处理，其后进行膨胀与腐蚀的操作；
S2.1.2、采用复合特征定位车牌位置：
获取区域图像中的R，G，B三通道的值的大小，先采取阈值定位，选取符合下式的区域：
Figure FDA0002245579780000041
Figure FDA0002245579780000042
Figure FDA0002245579780000043
上式表示在这个颜色区间范围内符合车牌颜色的通道大小，而R,G,B分别对应的区间范围，即φ和
Figure FDA0002245579780000044
的取值是不同的；
采用阈值定位后，对阈值定位得到的区域再用canny边缘检测区域轮廓，最终定位得到车牌位置的图像。
7.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S2.3的具体过程包括：
S2.3.1、扫描车牌位置的图像的像素值，将背景的值设置为0，字符值设置为1；
S2.3.2、遍历车牌位置的图像遍历到值为1的时候，将其压入栈并将其标记为已访问；
S2.3.3、当栈为空的时候结束一个连通区域的判定，寻找栈顶像素相邻的八个邻域值为1的像素点，并将它们入栈，结束后将栈顶元素删除；
S2.3.4、继续找到下一个非空且未访问过的像素点作为起点，并重复步骤S3.3.1-S3.3.3，直到所有的非零像素点都被访问完成；
S2.3.5、当所有的连通区域都遍历完了之后，将像素点个数最大的连通区域标记出来即可，由此完成了字符的提取。
8.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S2.4的具体过程包括：
将每个连通区域进行矩形标记；当汉字为上下结构时，被分开的两个连通区域一定满足判定式：
LT1x-LT2x+RT1x-RT2x<α；
其中，LT1x表示汉字的上半部分的连通区域的左上角x坐标，LT2x表示汉字的下半部分的连通区域左上角的x坐标，RT1x表示矩汉字的上半部分的连通区域的右上角x轴坐标，RT2x表示汉字的下半部分的连通区域的右上角x轴坐标；α表示阈值参数；当上述判定式成立时合并该两个连通区域；
当汉字为左右结构时，其左右部分的连通区域的间距一定会比两个正常的连通区域之间的间距要小，因此采用合并判定式如下：
|RT1x-LT2x+RB1x-LB2x|<β；
其中RT1x表示汉字的左半部分的连通区域的右上角x轴坐标，LT2x表示汉字的右半部分的连通区域的左上角x轴坐标，RB1x表示汉字的左半部分的连通区域的右下角x坐标，LB2x表示汉字的右半部分的连通区域的左下角x坐标；β表示阈值参数，当合并判定公式成立则合并该两个连通域。
9.根据权利要求1所述的基于视觉人工智能的无人监管智能停车计费方法，其特征在于，步骤S2.5中，采用cnn训练的方式完成字符的识别。
CN201911015511.XA 2019-10-24 2019-10-24 一种基于视觉人工智能的无人监管智能停车计费方法 Active CN110766006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911015511.XA CN110766006B (zh) 2019-10-24 2019-10-24 一种基于视觉人工智能的无人监管智能停车计费方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911015511.XA CN110766006B (zh) 2019-10-24 2019-10-24 一种基于视觉人工智能的无人监管智能停车计费方法

Publications (2)

Publication Number Publication Date
CN110766006A true CN110766006A (zh) 2020-02-07
CN110766006B CN110766006B (zh) 2022-07-12

Family

ID=69333224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911015511.XA Active CN110766006B (zh) 2019-10-24 2019-10-24 一种基于视觉人工智能的无人监管智能停车计费方法

Country Status (1)

Country Link
CN (1) CN110766006B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129785A (zh) * 2011-03-18 2011-07-20 沈诗文 大场景停车场智能管理系统
US20130039532A1 (en) * 2011-08-11 2013-02-14 International Business Machines Corporation Parking lot information system using image technology for identifying available parking spaces
CN105279512A (zh) * 2015-10-22 2016-01-27 东方网力科技股份有限公司 一种倾斜车牌识别方法和装置
CN106327918A (zh) * 2016-09-07 2017-01-11 武汉安可威视科技有限公司 一种车牌识别的停车场智能收费管理系统
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法
CN107274495A (zh) * 2017-05-16 2017-10-20 南京信息工程大学 一种无人值守的路边停车收费系统
CN107665599A (zh) * 2016-07-28 2018-02-06 北海和思科技有限公司 基于视觉检测的停车场车位自动识别方法
CN207637309U (zh) * 2017-12-28 2018-07-20 湖南省新时代防伪信息科技有限公司 一种全智能无人值守路内停车位收费管理系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129785A (zh) * 2011-03-18 2011-07-20 沈诗文 大场景停车场智能管理系统
US20130039532A1 (en) * 2011-08-11 2013-02-14 International Business Machines Corporation Parking lot information system using image technology for identifying available parking spaces
CN105279512A (zh) * 2015-10-22 2016-01-27 东方网力科技股份有限公司 一种倾斜车牌识别方法和装置
CN107665599A (zh) * 2016-07-28 2018-02-06 北海和思科技有限公司 基于视觉检测的停车场车位自动识别方法
CN106327918A (zh) * 2016-09-07 2017-01-11 武汉安可威视科技有限公司 一种车牌识别的停车场智能收费管理系统
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法
CN107274495A (zh) * 2017-05-16 2017-10-20 南京信息工程大学 一种无人值守的路边停车收费系统
CN207637309U (zh) * 2017-12-28 2018-07-20 湖南省新时代防伪信息科技有限公司 一种全智能无人值守路内停车位收费管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HARSHITHA BURA ET AL.: "An Edge Based Smart Parking Solution Using Camera Networks and Deep Learning", 《2018 IEEE INTERNATIONAL CONFERENCE ON COGNITIVE COMPUTING》 *
刘圃卓: "关于图像处理的空车位监控方法的探讨", 《软件》 *

Also Published As

Publication number Publication date
CN110766006B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN109886896B (zh) 一种蓝色车牌分割与矫正方法
CN111178291B (zh) 一种停车支付系统以及停车支付方法
CN109145915B (zh) 一种复杂场景下车牌快速畸变矫正方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN110969160B (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
CN104700072B (zh) 基于车道线历史帧的识别方法
CN108256521B (zh) 用于车身颜色识别的有效区域定位方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN110414355A (zh) 基于视觉的右方位空停车位与泊车过程中车位线检测方法
Li et al. Nighttime lane markings recognition based on Canny detection and Hough transform
CN104036262B (zh) 一种lpr车牌筛选识别的方法和系统
CN109785291A (zh) 一种车道线自适应检测方法
CN107665327B (zh) 一种车道线检测方法及装置
CN109190483B (zh) 一种基于视觉的车道线检测方法
CN108921813A (zh) 一种基于机器视觉的无人机检测桥梁结构裂缝识别方法
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN108492306A (zh) 一种基于图像轮廓的x型角点提取方法
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN109145797B (zh) 基于车底阴影定位车牌的道路救援装备正方位诱导方法
CN108765456B (zh) 基于直线边缘特征的目标跟踪方法、系统
CN110766006B (zh) 一种基于视觉人工智能的无人监管智能停车计费方法
CN111339824A (zh) 基于机器视觉的路面抛洒物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant