CN115713736A - 一种基于仿射变换的全天候车牌单目测距方法及装置 - Google Patents

一种基于仿射变换的全天候车牌单目测距方法及装置 Download PDF

Info

Publication number
CN115713736A
CN115713736A CN202310037490.1A CN202310037490A CN115713736A CN 115713736 A CN115713736 A CN 115713736A CN 202310037490 A CN202310037490 A CN 202310037490A CN 115713736 A CN115713736 A CN 115713736A
Authority
CN
China
Prior art keywords
image
license plate
coordinate system
right corner
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310037490.1A
Other languages
English (en)
Inventor
张霄
段鳕玲
邓科
梁倩云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202310037490.1A priority Critical patent/CN115713736A/zh
Publication of CN115713736A publication Critical patent/CN115713736A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于仿射变换的全天候车牌单目测距方法及装置,包括:通过相机采集道路中行车的图像,并得到灰度化后的图像,通过sobel算子提取出灰度化后的图像的边缘信息;对灰度图像进行二值化处理,设置计数器来对二值化处理后的图像中具有闭合表面的图形轮廓进行计数,并获得具有设定特征的图形轮廓;得到车牌在整个图像中的位置信息后,根据记录下的车牌在图片中的像素坐标信息,选取screenCnt中车牌的四个顶点;将获取的车牌在图片中的像素坐标信息,转换到世界坐标系;根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点在世界坐标系中的坐标得到车辆与相机的距离。

Description

一种基于仿射变换的全天候车牌单目测距方法及装置
技术领域
本发明涉及交通领域,具体是一种基于仿射变换的全天候车牌单目测距方法及装置。
背景技术
目前的道路上的行车测距方法分为主动式和被动式,主动式测距存在输出稀疏、成本高昂、整体集成度低下、模块间配准难度大等缺点。被动式测距大多需要通过神经网络或插值拟合等技术实现,会导致所需数据量大且运算成本较高等问题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于仿射变换的全天候车牌单目测距方法,包括:
步骤一,通过相机采集道路中行车的图像,对采集的道路中行车的图像进行灰度化,得到灰度化后的图像,通过sobel算子提取出灰度化后的图像的边缘信息;
步骤二,对灰度图像进行二值化处理,设置计数器来对二值化处理后的图像中具有闭合表面的图形轮廓进行计数,得到计数结果,遍历所有计数结果,并获得具有设定特征的图形轮廓;
步骤三,将获得的具有设定特征的图形轮廓,保存在screenCnt的变量中,此时screenCnt中存储了车牌的各个点的像素和位置信息,根据screenCnt在该二值图片中的位置信息,即车牌在图片中的像素坐标信息,选取screenCnt中左上角、右上角、左下角、右下角四个点作为车牌的四个顶点;
步骤四,将获取的车牌在图片中的像素坐标信息,转换到世界坐标系,得到车牌在世界坐标系下的左上角、右上角、左下角、右下角的世界坐标;
步骤五,根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点在世界坐标系中的坐标得到车辆与相机的距离。
进一步的,所述的对采集的道路中行车的图像进行灰度化,采用如下公式:
Figure DEST_PATH_IMAGE001
其中,
Figure DEST_PATH_IMAGE002
分别代表采集的道路中行车的图像中每个像素中红色、绿色、蓝色的RGB颜色值。
进一步的,所述的得到灰度化后的图像,通过Sobel算子提取出灰度化后的图像的边缘信息,包括:
Figure DEST_PATH_IMAGE003
为图像的灰度信息,其中x和y代表图像像素的横纵坐标,图像在水平方向和垂直方上的偏导数,和图像某一像素点在
Figure DEST_PATH_IMAGE004
角度方向上的偏导数
Figure DEST_PATH_IMAGE005
分别为:
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE008
图像的梯度定义为:
Figure DEST_PATH_IMAGE009
其中,
Figure DEST_PATH_IMAGE010
的转置向量,
Figure DEST_PATH_IMAGE011
Figure DEST_PATH_IMAGE012
分别表示灰度值沿水平和垂直方向上的变化率;
利用Sobel算子得到经横向及纵向边缘检测的图像,其公式如下:
Figure DEST_PATH_IMAGE013
Figure DEST_PATH_IMAGE014
利用Sobel算子垂直方向和水平方向的模板,Sobel算子垂直方向的模板检测出图像中的水平方向的边缘,Sobel算子水平方向的模板则检测图像中垂直方向的边缘;以A代表原始图像的灰度信息,
Figure DEST_PATH_IMAGE015
Figure DEST_PATH_IMAGE016
分别代表经横向及纵向边缘检测的图像,其公式如下:
Figure DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合,来计算梯度的大小。
Figure DEST_PATH_IMAGE019
然后可用以下公式计算梯度方向
Figure DEST_PATH_IMAGE020
若角度
Figure DEST_PATH_IMAGE021
等于零,即代表图像该处拥有纵向边缘;反之,该图像拥有横向边缘;通过基于行扫描的边缘密度分析提取出边缘信息。
进一步的,所述的对图像进行二值化处理,设置计数器来对二值化处理后的图像中具有闭合表面的图形轮廓进行计数,得到计数结果,遍历所有计数结果,并获得具有设定特征的图形轮廓,包括:
对图像进行二值化处理后,设置计数器contours来对具有闭合表面的图形轮廓进行计数,过滤计数器contours获得的结果中的车牌的部分图像,遍历所有结果,并检查其具有设定特征的图形轮廓,即具有四个侧面和闭合图形的矩形轮廓,找到获得具有设定特征的图形轮廓后,保存在screenCnt的变量中,得到车牌在整个图片中的位置信息后,根据记录下的车牌在图片中的坐标信息,选取screenCnt中左上角、右上角、左下角、右下角四个点作为车牌的四个顶点。
进一步的,所述的将获取的车牌在图片中的像素坐标信息,转换到世界坐标系,得到车牌在世界坐标系下的左上角、右上角、左下角、右下角的世界坐标,包括:
设车牌的四个顶点在世界坐标系下的坐标分别是:
右上角
Figure 260939DEST_PATH_IMAGE022
,左上角
Figure DEST_PATH_IMAGE023
,右下角
Figure 219667DEST_PATH_IMAGE024
,左下角
Figure DEST_PATH_IMAGE025
在像素坐标系下的坐标分别是:右上角
Figure 15585DEST_PATH_IMAGE026
,左上角
Figure DEST_PATH_IMAGE027
,右下角
Figure 34357DEST_PATH_IMAGE028
,左下角
Figure DEST_PATH_IMAGE029
,得到:
Figure 181304DEST_PATH_IMAGE030
其中
Figure DEST_PATH_IMAGE031
是车牌的长度;
Figure 943724DEST_PATH_IMAGE032
为世界坐标系与像素坐标系之间的变换函数,得到:
Figure DEST_PATH_IMAGE033
由上述方程组得到车牌四个角的世界坐标分别为:
Figure 100002_DEST_PATH_IMAGE034
其中,
Figure 100002_DEST_PATH_IMAGE035
表示从图像坐标系到像素坐标系的转化矩阵中的参数,转化矩阵如下所示:
Figure 843416DEST_PATH_IMAGE036
其中,
Figure DEST_PATH_IMAGE037
分别为图像传感器
Figure 767509DEST_PATH_IMAGE038
方向的像元尺寸。
进一步的,所述的根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点
Figure DEST_PATH_IMAGE039
,在世界坐标系中的坐标得到车辆与相机的距离,采用如下公式:
Figure 401753DEST_PATH_IMAGE040
应用所述的一种基于仿射变换的全天候车牌单目测距方法的一种基于仿射变换的全天候车牌单目测距装置,包括数据处理模块、相机模块一、相机模块二、相机模块控制装置、通信装置、环境光照检测装置;所述的相机模块一、相机模块二分别与所述的相机模块控制装置连接;所述的相机模块控制装置、通信装置、环境光照检测装置分别与所述的数据处理模块连接;
其中的数据处理模块用于执行权利要求1-6任一项的一种基于仿射变换的全天候车牌单目测距方法;
所述的相机模块控制装置用于根据环境光照检测装置检测的光强,控制相机模块一、相机模块二在不同的光强下工作;
所述的环境光照检测装置用于监测行车环境的光照强度。
本发明的有益效果是:本方法不需要通过自适应网络等技术实现目标距离和真实距离之间的转换,只需要进行少量的数值计算,不仅导致零误差,且所需数据量小,运算成本低。同时还可以进行全天候测距,保证了不同天气状况下都能实现对汽车车牌的自动测距。
附图说明
图1为一种基于仿射变换的全天候车牌单目测距方法的流程示意图;
图2为一种基于仿射变换的全天候车牌单目测距装置的原理示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
为了使本发明的目的,技术方案及优点更加清楚明白,结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且,术语“包括”,“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程,方法,物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程,方法,物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程,方法,物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1所示,一种基于仿射变换的全天候车牌单目测距方法,包括:
步骤一,通过相机采集道路中行车的图像,对采集的道路中行车的图像进行灰度化,得到灰度化后的图像,通过sobel算子提取出灰度化后的图像的边缘信息;
步骤二,对灰度图像进行二值化处理,设置计数器来对二值化处理后的图像中具有闭合表面的图形轮廓进行计数,得到计数结果,遍历所有计数结果,并获得具有设定特征的图形轮廓;
步骤三,将获得的具有设定特征的图形轮廓,保存在screenCnt的变量中,此时screenCnt中存储了车牌的各个点的像素和位置信息,根据screenCnt在该二值图片中的位置信息,即车牌在图片中的像素坐标信息,选取screenCnt中左上角、右上角、左下角、右下角四个点作为车牌的四个顶点;
步骤四,将获取的车牌在图片中的像素坐标信息,转换到世界坐标系,得到车牌在世界坐标系下的左上角、右上角、左下角、右下角的世界坐标;
步骤五,根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点在世界坐标系中的坐标得到车辆与相机的距离。
进一步的,所述的对采集的道路中行车的图像进行灰度化,采用如下公式:
Figure DEST_PATH_IMAGE041
其中,
Figure 702284DEST_PATH_IMAGE002
分别代表采集的道路中行车的图像中每个像素中红色、绿色、蓝色的RGB颜色值。
进一步的,所述的得到灰度化后的图像,通过Sobel算子提取出灰度化后的图像的边缘信息,包括:
Figure 3953DEST_PATH_IMAGE042
为图像的灰度信息,其中x和y代表图像像素的横纵坐标,图像在水平方向和垂直方上的偏导数,和图像某一像素点在
Figure 98948DEST_PATH_IMAGE004
角度方向上的偏导数
Figure DEST_PATH_IMAGE043
分别为:
Figure 220487DEST_PATH_IMAGE044
Figure DEST_PATH_IMAGE045
Figure 324710DEST_PATH_IMAGE046
图像的梯度定义为:
Figure DEST_PATH_IMAGE047
其中,
Figure 215305DEST_PATH_IMAGE048
的转置向量,
Figure 996048DEST_PATH_IMAGE011
Figure 604884DEST_PATH_IMAGE012
分别表示灰度值沿水平和垂直方向上的变化率;
利用Sobel算子得到经横向及纵向边缘检测的图像,其公式如下:
Figure DEST_PATH_IMAGE049
Figure 512797DEST_PATH_IMAGE050
利用Sobel算子垂直方向和水平方向的模板,Sobel算子垂直方向的模板检测出图像中的水平方向的边缘,Sobel算子水平方向的模板则检测图像中垂直方向的边缘;以A代表原始图像的灰度信息,
Figure DEST_PATH_IMAGE051
Figure 257899DEST_PATH_IMAGE052
分别代表经横向及纵向边缘检测的图像,其公式如下:
Figure DEST_PATH_IMAGE053
Figure 960276DEST_PATH_IMAGE054
图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合,来计算梯度的大小。
Figure DEST_PATH_IMAGE055
然后可用以下公式计算梯度方向
Figure 790829DEST_PATH_IMAGE020
若角度
Figure 236854DEST_PATH_IMAGE021
等于零,即代表图像该处拥有纵向边缘;反之,该图像拥有横向边缘;通过基于行扫描的边缘密度分析提取出边缘信息。
进一步的,所述的对图像进行二值化处理,设置计数器来对二值化处理后的图像中具有闭合表面的图形轮廓进行计数,得到计数结果,遍历所有计数结果,并获得具有设定特征的图形轮廓,包括:
对图像进行二值化处理后,设置计数器contours来对具有闭合表面的图形轮廓进行计数,过滤计数器contours获得的结果中的车牌的部分图像,遍历所有结果,并检查其具有设定特征的图形轮廓,即具有四个侧面和闭合图形的矩形轮廓,找到获得具有设定特征的图形轮廓后,保存在screenCnt的变量中,得到车牌在整个图片中的位置信息后,根据记录下的车牌在图片中的坐标信息,选取screenCnt中左上角、右上角、左下角、右下角四个点作为车牌的四个顶点。
进一步的,所述的将获取的车牌在图片中的像素坐标信息,转换到世界坐标系,得到车牌在世界坐标系下的左上角、右上角、左下角、右下角的世界坐标,包括:
设车牌的四个顶点在世界坐标系下的坐标分别是:
右上角
Figure 836462DEST_PATH_IMAGE022
,左上角
Figure 975320DEST_PATH_IMAGE023
,右下角
Figure DEST_PATH_IMAGE056
,左下角
Figure 293169DEST_PATH_IMAGE025
在像素坐标系下的坐标分别是:右上角
Figure 542884DEST_PATH_IMAGE026
,左上角
Figure 508917DEST_PATH_IMAGE027
,右下角
Figure 818675DEST_PATH_IMAGE028
,左下角
Figure 623820DEST_PATH_IMAGE029
,得到:
Figure DEST_PATH_IMAGE057
其中
Figure 411648DEST_PATH_IMAGE031
是车牌的长度;
Figure 251428DEST_PATH_IMAGE032
为世界坐标系与像素坐标系之间的变换函数,得到:
Figure 466508DEST_PATH_IMAGE033
由上述方程组得到车牌四个角的世界坐标分别为:
Figure DEST_PATH_IMAGE058
其中,
Figure DEST_PATH_IMAGE059
表示从图像坐标系到像素坐标系的转化矩阵中的参数,转化矩阵如下所示:
Figure 493370DEST_PATH_IMAGE036
其中,
Figure DEST_PATH_IMAGE060
分别为图像传感器
Figure 84888DEST_PATH_IMAGE038
方向的像元尺寸。
所述的根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点
Figure DEST_PATH_IMAGE061
,在世界坐标系中的坐标得到车辆与相机的距离,采用如下公式:
Figure DEST_PATH_IMAGE062
应用所述的一种基于仿射变换的全天候车牌单目测距方法的一种基于仿射变换的全天候车牌单目测距装置,包括数据处理模块、相机模块一、相机模块二、相机模块控制装置、通信装置、环境光照检测装置;所述的相机模块一、相机模块二分别与所述的相机模块控制装置连接;所述的相机模块控制装置、通信装置、环境光照检测装置分别与所述的数据处理模块连接;
其中的数据处理模块用于执行权利要求1-6任一项的一种基于仿射变换的全天候车牌单目测距方法;
所述的相机模块控制装置用于根据环境光照检测装置检测的光强,控制相机模块一、相机模块二在不同的光强下工作;
所述的环境光照检测装置用于监测行车环境的光照强度。
具体的,本方法首先对道路中行车的成像图片进行边缘提取,并确定出车牌的四个顶点,再通过四个顶点的像素坐标求出世界坐标,最后通过世界坐标计算行车的距离。
1.确定车辆车牌的四个顶点
1.1. 用Sobel算子提取图像的边缘
通过相机获得道路中行车的图片后,我们首先对相机拍摄的照片进行灰度化
Figure DEST_PATH_IMAGE063
其中,
Figure DEST_PATH_IMAGE064
分别代表每个像素中红色、绿色、蓝色的RGB颜色值。
再用Sobel算子提取垂直边缘。令
Figure DEST_PATH_IMAGE065
表示一幅图像的灰度信息,其中x和y代表图像像素的横纵坐标,则该图像在水平方向和垂直方上的偏导数,和图像某一像素点在
Figure DEST_PATH_IMAGE066
角度方向上的偏导数
Figure DEST_PATH_IMAGE067
可以分别表示为
Figure DEST_PATH_IMAGE068
Figure DEST_PATH_IMAGE069
Figure DEST_PATH_IMAGE070
于是,将图像的梯度定义为:
Figure DEST_PATH_IMAGE071
上式中,
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
分别表示灰度值沿水平和垂直方向上的变化率。然后利用Sobel算子边缘算子,其数学表达式和矩阵形式如下:
Figure DEST_PATH_IMAGE074
Figure DEST_PATH_IMAGE075
用Sobel算子垂直方向和水平方向的模板,Sobel算子垂直方向的模板检测出图像中的水平方向的边缘,Sobel算子水平方向的模板则检测图像中垂直方向的边缘;实际应用中,每个像素点取两个模板卷积的最大值作为该像素点的输出值,运算结果是一副边缘图像。该算子包含两组的矩阵,分别为横向及纵向,将之与图像作平面卷积,即可分别得出横向及纵向的亮度差分近似值。以A代表原始图像的灰度信息,
Figure DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE077
分别代表经横向及纵向边缘检测的图像,其公式如下:
Figure DEST_PATH_IMAGE078
Figure DEST_PATH_IMAGE079
图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合,来计算梯度的大小。
Figure DEST_PATH_IMAGE080
然后可用以下公式计算梯度方向
Figure DEST_PATH_IMAGE081
若角度
Figure DEST_PATH_IMAGE082
等于零,即代表图像该处拥有纵向边缘;反之,该图像拥有横向边缘;通过基于行扫描的边缘密度分析提取出边缘信息。
1.2.选出车牌
对图像进行二值化处理后,使用OpenCV中的cv2.findContours,imutils.grab_contours函数来查找检测物体的轮廓。我们设置一个计数器contours来对具有闭合表面的任何事物进行计数(以下是python代码):
#寻找轮廓。三个输入参数:输入图像(二值图像,黑色作为背景,白色作为目标),轮廓检索方式,轮廓近似方法。opencv2返回两个值:contours、hierarchy。opencv3返回三个值:img(图像)、countours(轮廓)、hierarchy(层次结构)
Contours1=cv2.findContours(edged.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
#返回cnts中的countors(轮廓)
Contours2 = imutils.grab_contours(contours1)
#计数器
contours = sorted(contours2,key=cv2.contourArea, reverse = True)[:10]
为了过滤上述计数器获得的结果中的车牌的部分图像,我们将遍历所有结果,并检查其具有四个侧面和闭合图形的矩形轮廓(以下是python代码):
for c in cnts:
peri = cv2.arcLength(c, True) # 轮廓周长
approx = cv2.approxPolyDP(c, 0.018 * peri, True) # 轮廓近似,准确率参数(从原始轮廓到近似轮廓的最大距离)设置为0.018 * peri
if len(approx) == 4:
screenCnt = approx
break
找到正确的计数器(即车牌)后,我们将其保存在名为screenCnt的变量中(如上代码所示)。得到车牌在整个图片中的位置信息后,我们根据记录下的车牌在图片中的坐标信息,我们可以选取screenCnt中左上角、右上角、左下角、右下角四个点作为车牌的四个顶点。
2.求出车辆的世界坐标
2.1.相机坐标系介绍
为了系统地描述相机中物和像的坐标,我们定义四种坐标系:世界坐标系、相机坐标系、图像坐标系和像素坐标系,此四种坐标系是分别出现于相机成像中的每个步骤中,两两之间的转换关系表示成像中的变换过程。
(1)世界坐标系:现实世界中的三维坐标系,用来描述现实物理空间中的任一目标的具体位置,坐标系的原点与坐标轴可以任意地选取,通常使用
Figure DEST_PATH_IMAGE083
进行表示;
(2)相机坐标系:从相机的角度去观察现实物理空间的三维坐标系,坐标系的原点选取为相机的成像中心,相机光轴的方向为坐标系的 Z 轴,通常使用
Figure DEST_PATH_IMAGE084
来表示;
(3)图像坐标系:定义在相机的成像平面上的二维坐标系,用来描述相机成像后的目标,坐标系原点选取在成像平面的中心,通常使用
Figure DEST_PATH_IMAGE085
来表示;
(4)像素坐标系:定义在数字图像上的坐标系,描述计算机中的数字图像,坐标原点选取在数字图像的左上角处,通常使用
Figure DEST_PATH_IMAGE086
表示。
首先世界坐标系与相机坐标系之间的转换关系仅涉及三维坐标系的平移和旋转,所以是仿射变换,如下式所示:
Figure DEST_PATH_IMAGE087
其中,
Figure DEST_PATH_IMAGE088
是旋转矩阵,
Figure DEST_PATH_IMAGE089
是平移向量,定义如下:
Figure DEST_PATH_IMAGE090
相机坐标系与图像坐标系的转换是相机成像的模型,通常将成像过程简化为小孔成像模型,用矩阵表示为如下式所示:
Figure DEST_PATH_IMAGE091
其中,
Figure DEST_PATH_IMAGE092
是相机镜头的焦距。
像素坐标系表示的是物理的像经过图像传感器的量化采样,为仿射变换,如下式所示:
Figure DEST_PATH_IMAGE093
其中,
Figure DEST_PATH_IMAGE094
Figure DEST_PATH_IMAGE095
分别为图像传感器
Figure DEST_PATH_IMAGE096
方向的像元尺寸。
综上,可以得到世界坐标系到像素坐标系的转化关系如下图所示:
Figure DEST_PATH_IMAGE097
其中,
Figure 497284DEST_PATH_IMAGE098
为尺度因子。
通过像素坐标反解世界坐标
由上述转化关系,我们可以看出,世界坐标系和相机坐标系的转化矩阵是可逆的,这说明两个坐标系中的点是一一对应的,从而我们不妨假设,世界坐标系就是相机坐标系,且方向为汽车在道路中行驶的方向。同理可得,图像坐标系和像素坐标系中的点也是一一对应的,但相机坐标系和图像坐标系中的点不是一一对应关系。尽管如此,由上式可以看出,若我们得知了目标的像素坐标系,为了求出它的世界坐标系,只需要再给出目标在世界坐标系下满足的一个方程即可。
设车牌的四个顶点在相机坐标系下的坐标分别是:右上角
Figure 132534DEST_PATH_IMAGE022
,左上角
Figure 177850DEST_PATH_IMAGE023
,右下角
Figure DEST_PATH_IMAGE099
,左下角
Figure 307480DEST_PATH_IMAGE025
在像素坐标系下的坐标分别是:右上角
Figure 856273DEST_PATH_IMAGE026
,左上角
Figure 678736DEST_PATH_IMAGE100
,右下角
Figure 945769DEST_PATH_IMAGE028
,左下角
Figure DEST_PATH_IMAGE101
,得到:
Figure 879090DEST_PATH_IMAGE102
其中
Figure 16810DEST_PATH_IMAGE031
是车牌的长度;
Figure 275753DEST_PATH_IMAGE032
为世界坐标系与像素坐标系之间的变换函数,得到:
Figure 764503DEST_PATH_IMAGE033
由上述方程组得到车牌四个角的世界坐标分别为:
Figure DEST_PATH_IMAGE103
其中,
Figure 235936DEST_PATH_IMAGE104
表示从图像坐标系到像素坐标系的转化矩阵中的参数,转化矩阵如下所示:
Figure 759321DEST_PATH_IMAGE036
其中,
Figure 923586DEST_PATH_IMAGE060
分别为图像传感器
Figure 899633DEST_PATH_IMAGE038
方向的像元尺寸。
所述的根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点
Figure 426953DEST_PATH_IMAGE061
,在世界坐标系中的坐标得到车辆与相机的距离,采用如下公式:
Figure 70424DEST_PATH_IMAGE062
3.全天候单目测距技术
为了道路上的行车安全规范,车辆的测距工作需要覆盖全天候24小时,不应只局限于白天或者黑夜,因此,我们需要在全天候场景中应用该单目测距技术,为此,我们选择使用两个相机A和B设置不同曝光度,分别用于拍摄光线较暗和光线较亮的情况。具体而言,相机A使用较大光圈,较高感光度,长快门,这使得相机A可以在阴雨天或夜晚等光照不足的条件下能够获得充足的曝光,从而能够实现清晰成像,最终完成在夜晚或阴雨天的成像工作,而在晴天等光照较强的天气下,由于过曝,各个像素单位接受的光线基本都超过了像素能接受的最大阈值,导致成像效果极差,无法完成测距任务;相机B使用较小光圈,较低感光度,短快门,这使得相机B可以在晴天等光照较强的天气下,能够获得适宜的曝光,从而能够实现清晰成像,最终完成在晴天的成像工作,而在夜晚或阴雨天等光照不足的天气下,由于镜头单位时间内接受的光线不足,导致成像图片几乎是漆黑一片,成像效果极差,无法完成测距任务。
基于此,我们便可以保证在晴天相机A不能正常工作而相机B可以正常工作,在阴雨天或夜晚,相机A能够正常工作,而相机B不能够正常工作。尽管我们用到了两台相机,但由于他们正常工作的阈值并没有重叠,故可以把由该系统实现的测距工作视作全天候单目测距工作,而非多目测距。综上,全天候单目测距技术保证了在任何光照条件下,有且仅有一台相机能够正常工作。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种基于仿射变换的全天候车牌单目测距方法,其特征在于,包括:
步骤一,通过相机采集道路中行车的图像,对采集的道路中行车的图像进行灰度化,得到灰度化后的图像,通过sobel算子提取出灰度化后的图像的边缘信息;
步骤二,对灰度图像进行二值化处理,设置计数器来对二值化处理后的图像中具有闭合表面的图形轮廓进行计数,得到计数结果,遍历所有计数结果,并获得具有设定特征的图形轮廓;
步骤三,将获得的具有设定特征的图形轮廓,保存在screenCnt的变量中,此时screenCnt中存储了车牌的各个点的像素和位置信息,根据screenCnt在该二值图片中的位置信息,即车牌在图片中的像素坐标信息,选取screenCnt中左上角、右上角、左下角、右下角四个点作为车牌的四个顶点;
步骤四,将获取的车牌在图片中的像素坐标信息,转换到世界坐标系,得到车牌在世界坐标系下的左上角、右上角、左下角、右下角的世界坐标;
步骤五,根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点在世界坐标系中的坐标得到车辆与相机的距离。
2.根据权利要求1所述的一种基于仿射变换的全天候车牌单目测距方法,其特征在于,所述的对采集的道路中行车的图像进行灰度化,采用如下公式:
Figure 504742DEST_PATH_IMAGE001
其中,
Figure 408500DEST_PATH_IMAGE002
分别代表采集的道路中行车的图像中每个像素中红色、绿色、蓝色的RGB颜色值。
3.根据权利要求1所述的一种基于仿射变换的全天候车牌单目测距方法,其特征在于,所述的得到灰度化后的图像,通过Sobel算子提取出灰度化后的图像的边缘信息,包括:
Figure 922658DEST_PATH_IMAGE003
为图像的灰度信息,其中x和y代表图像像素的横纵坐标,图像在水平方向和垂直方向上的偏导数,和图像某一像素点在
Figure 317868DEST_PATH_IMAGE004
角度方向上的偏导数
Figure 866661DEST_PATH_IMAGE005
分别为:
Figure 689123DEST_PATH_IMAGE006
Figure 690577DEST_PATH_IMAGE007
Figure 889477DEST_PATH_IMAGE008
图像的梯度定义为:
Figure 292777DEST_PATH_IMAGE009
其中,
Figure 286141DEST_PATH_IMAGE010
的转置向量,
Figure 40470DEST_PATH_IMAGE011
Figure 511903DEST_PATH_IMAGE012
分别表示灰度值沿水平和垂直方向上的变化率;
利用Sobel算子得到经横向及纵向边缘检测的图像,其公式如下:
Figure 769709DEST_PATH_IMAGE013
Figure 199553DEST_PATH_IMAGE014
利用Sobel算子垂直方向和水平方向的模板,Sobel算子垂直方向的模板检测出图像中的水平方向的边缘,Sobel算子水平方向的模板则检测图像中垂直方向的边缘;以A代表原始图像的灰度信息,
Figure 441178DEST_PATH_IMAGE015
Figure 450723DEST_PATH_IMAGE016
分别代表经横向及纵向边缘检测的图像,其公式如下:
Figure 94194DEST_PATH_IMAGE017
Figure 413048DEST_PATH_IMAGE018
图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合,来计算梯度的大小;
Figure 141970DEST_PATH_IMAGE019
然后可用以下公式计算梯度方向
Figure 955205DEST_PATH_IMAGE020
若角度
Figure 453183DEST_PATH_IMAGE021
等于零,即代表图像该处拥有纵向边缘,;反之,该图像拥有横向边缘;通过基于行扫描的边缘密度分析提取出边缘信息。
4.根据权利要求1所述的一种基于仿射变换的全天候车牌单目测距方法,其特征在于,所述的对图像进行二值化处理,设置计数器来对二值化处理后的图像中具有闭合表面的图形轮廓进行计数,得到计数结果,遍历所有计数结果,并获得具有设定特征的图形轮廓,包括:
对图像进行二值化处理后,设置计数器contours来对具有闭合表面的图形轮廓进行计数,过滤计数器contours获得的结果中的车牌的部分图像,遍历所有结果,并检查其具有设定特征的图形轮廓,即具有四个侧面和闭合图形的矩形轮廓,找到获得具有设定特征的图形轮廓后,保存在screenCnt的变量中,得到车牌在整个图片中的位置信息后,根据记录下的车牌在图片中的坐标信息,选取screenCnt中左上角、右上角、左下角、右下角四个点作为车牌的四个顶点。
5.根据权利要求4所述的一种基于仿射变换的全天候车牌单目测距方法,其特征在于,所述的将获取的车牌在图片中的像素坐标信息,转换到世界坐标系,得到车牌在世界坐标系下的左上角、右上角、左下角、右下角的世界坐标,包括:
设车牌的四个顶点在世界坐标系下的坐标分别是:
右上角
Figure DEST_PATH_IMAGE022
,左上角
Figure 959250DEST_PATH_IMAGE023
,右下角
Figure DEST_PATH_IMAGE024
,左下角
Figure 644310DEST_PATH_IMAGE025
在像素坐标系下的坐标分别是:右上角
Figure 261236DEST_PATH_IMAGE026
,左上角
Figure 613720DEST_PATH_IMAGE027
,右下角
Figure DEST_PATH_IMAGE028
,左下角
Figure 290689DEST_PATH_IMAGE029
,得到:
Figure DEST_PATH_IMAGE030
其中
Figure 463044DEST_PATH_IMAGE031
是车牌的长度;
Figure DEST_PATH_IMAGE032
为世界坐标系与像素坐标系之间的变换函数,得到:
Figure 618082DEST_PATH_IMAGE033
由上述方程组得到车牌四个角的世界坐标分别为:
Figure DEST_PATH_IMAGE034
其中,
Figure DEST_PATH_IMAGE035
表示从图像坐标系到像素坐标系的转化矩阵中的参数,转化矩阵如下所示:
Figure DEST_PATH_IMAGE036
其中,
Figure 74340DEST_PATH_IMAGE037
分别为图像传感器
Figure DEST_PATH_IMAGE038
方向的像元尺寸。
6.根据权利要求5所述的一种基于仿射变换的全天候车牌单目测距方法,其特征在于,所述的根据世界坐标系下的车牌右上角的顶点坐标和相机坐标系原点
Figure 922210DEST_PATH_IMAGE039
,在世界坐标系中的坐标得到车辆与相机的距离,采用如下公式:
Figure DEST_PATH_IMAGE040
7.应用权利要求1-6任一项所述的一种基于仿射变换的全天候车牌单目测距方法的一种基于仿射变换的全天候车牌单目测距装置,其特征在于,包括数据处理模块、相机模块一、相机模块二、相机模块控制装置、通信装置、环境光照检测装置;所述的相机模块一、相机模块二分别与所述的相机模块控制装置连接;所述的相机模块控制装置、通信装置、环境光照检测装置分别与所述的数据处理模块连接;
其中的数据处理模块用于执行权利要求1-6任一项的一种基于仿射变换的全天候车牌单目测距方法;
所述的相机模块控制装置用于根据环境光照检测装置检测的光强,控制相机模块一、相机模块二在不同的光强下工作;
所述的环境光照检测装置用于监测行车环境的光照强度。
CN202310037490.1A 2023-01-10 2023-01-10 一种基于仿射变换的全天候车牌单目测距方法及装置 Pending CN115713736A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310037490.1A CN115713736A (zh) 2023-01-10 2023-01-10 一种基于仿射变换的全天候车牌单目测距方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310037490.1A CN115713736A (zh) 2023-01-10 2023-01-10 一种基于仿射变换的全天候车牌单目测距方法及装置

Publications (1)

Publication Number Publication Date
CN115713736A true CN115713736A (zh) 2023-02-24

Family

ID=85236236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310037490.1A Pending CN115713736A (zh) 2023-01-10 2023-01-10 一种基于仿射变换的全天候车牌单目测距方法及装置

Country Status (1)

Country Link
CN (1) CN115713736A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304819A (zh) * 2023-03-15 2023-06-23 四川大学 一种基于LeNet-5算法的核反应堆运行工况判断方法
CN116753900A (zh) * 2023-08-18 2023-09-15 合肥联宝信息技术有限公司 一种距离确定方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法
CN105956567A (zh) * 2016-05-06 2016-09-21 安凯 一种利用数字图像确定车牌四个顶点坐标的方法
CN106802144A (zh) * 2016-12-28 2017-06-06 深圳市美好幸福生活安全系统有限公司 一种基于单目视觉和车牌的车距测量方法
CN109444912A (zh) * 2018-10-31 2019-03-08 电子科技大学 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN111327800A (zh) * 2020-01-08 2020-06-23 深圳深知未来智能有限公司 一种适应复杂光照环境的全天候车载视觉系统及方法
CN111998823A (zh) * 2020-08-26 2020-11-27 吉林大学 基于双目异光源测距装置的目标测距方法
CN113516121A (zh) * 2021-04-16 2021-10-19 浙江工业大学 一种多特征融合的非机动车车牌区域定位方法
CN115205365A (zh) * 2022-07-14 2022-10-18 小米汽车科技有限公司 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法
CN105956567A (zh) * 2016-05-06 2016-09-21 安凯 一种利用数字图像确定车牌四个顶点坐标的方法
CN106802144A (zh) * 2016-12-28 2017-06-06 深圳市美好幸福生活安全系统有限公司 一种基于单目视觉和车牌的车距测量方法
CN109444912A (zh) * 2018-10-31 2019-03-08 电子科技大学 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN111327800A (zh) * 2020-01-08 2020-06-23 深圳深知未来智能有限公司 一种适应复杂光照环境的全天候车载视觉系统及方法
CN111998823A (zh) * 2020-08-26 2020-11-27 吉林大学 基于双目异光源测距装置的目标测距方法
CN113516121A (zh) * 2021-04-16 2021-10-19 浙江工业大学 一种多特征融合的非机动车车牌区域定位方法
CN115205365A (zh) * 2022-07-14 2022-10-18 小米汽车科技有限公司 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王丽丽: "无人驾驶车辆障碍检测及测距方法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304819A (zh) * 2023-03-15 2023-06-23 四川大学 一种基于LeNet-5算法的核反应堆运行工况判断方法
CN116753900A (zh) * 2023-08-18 2023-09-15 合肥联宝信息技术有限公司 一种距离确定方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN115713736A (zh) 一种基于仿射变换的全天候车牌单目测距方法及装置
CN105488454B (zh) 基于单目视觉的前方车辆检测与测距
GB2569751A (en) Static infrared thermal image processing-based underground pipe leakage detection method
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN107451982B (zh) 一种基于无人机影像的高郁闭度林分树冠面积获取方法
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
CN110400315B (zh) 一种缺陷检测方法、装置及系统
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN110414334A (zh) 一种基于无人机巡视的智能水质识别方法
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN105405138B (zh) 基于显著性检测的水面目标跟踪方法
CN117094914B (zh) 基于计算机视觉的智慧城市道路监控系统
CN109146859A (zh) 一种基于机器视觉的路面裂缝检测系统
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN113554646B (zh) 基于计算机视觉的智慧城市道路路面检测方法及系统
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
CN113033385A (zh) 一种基于深度学习的违章建筑遥感识别方法及系统
CN117037105B (zh) 基于深度学习的路面灌缝检测方法、系统、终端及介质
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
Tiwari et al. Automatic vehicle number plate recognition system using matlab
CN113034583A (zh) 基于深度学习的车辆停车测距方法、装置及电子设备
CN111881982A (zh) 一种无人机目标识别方法
CN115147450A (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN111626180B (zh) 基于偏振成像的车道线检测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230224