CN113433339A - 一种基于双摄像机的测速方法、系统、计算机设备及可读介质 - Google Patents
一种基于双摄像机的测速方法、系统、计算机设备及可读介质 Download PDFInfo
- Publication number
- CN113433339A CN113433339A CN202110673283.6A CN202110673283A CN113433339A CN 113433339 A CN113433339 A CN 113433339A CN 202110673283 A CN202110673283 A CN 202110673283A CN 113433339 A CN113433339 A CN 113433339A
- Authority
- CN
- China
- Prior art keywords
- target
- distance
- cameras
- automobile
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012937 correction Methods 0.000 claims abstract description 45
- 238000000691 measurement method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双摄像机的测速方法、系统、计算机设备及可读介质,属于测速技术领域。测速方法包括:根据两个摄像机,分别采集具有目标汽车的目标图像;将两个目标图像输入到边框模型,从而得到目标图像中的边框信息;根据目标图像中的边框信息、两个摄像机的间距和透视原理,分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离;将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中,从而得到目标汽车和一个摄像机的一个实际距离;基于单位时间和两个实际距离,计算得到目标汽车的车速。本发明提供的一种基于双摄像机的测速方法可以有效提高测速精度。
Description
技术领域
本发明属于测速技术领域,更具体地,涉及一种基于双摄像机的测速方法、系统、计算机设备及可读介质。
背景技术
双目视觉定位(双摄像机)是一种常见的视觉定位方法,它的定位算法简单,因此可以广泛适用于高速公路上,以测量汽车的实时车速。
相关技术中,在高速公路上,龙门架上间隔安装两个左右两个间隔布置的摄像机,通过在两个摄像机的成像中快速找到车身上同一个点的位置,然后使用像素距离和摄像机实际距离推断出车和摄像机之间的距离,从而最终计算出汽车的车速。
然而,上述测试方法中在两个摄像机的成像中找同一个点的位置往往难以实现精确定位,使得上述测速方法精度较低。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于双摄像机的测速方法、系统、计算机设备及可读介质,其目的在提高测速精度。
第一方面,本发明提供了一种基于双摄像机的测速方法,所述测速方法包括:
根据两个摄像机,分别采集具有目标汽车的目标图像,两个所述摄像机沿所述目标汽车的行驶方向间隔布置;
将两个所述目标图像输入到边框模型,从而得到所述目标图像中的边框信息,所述边框模型用于确定目标图像的边框信息;
根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理,分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离;
将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中,从而得到所述目标汽车和一个所述摄像机的一个实际距离,所述校正模型用于校正所述目标汽车的目标距离;
在单位时间后,获取所述目标汽车和一个所述摄像机的另一个实际距离,并基于所述单位时间和两个所述实际距离,计算得到所述目标汽车的车速。
可选地,在所述根据两个摄像机,分别采集具有目标汽车的目标图像之前,所述测速方法还包括:
对两个所述摄像机的镜头进行校正,以校准两个所述摄像机的光轴误差。
可选地,所述对两个所述摄像机的镜头进行校正,包括:
确定两个所述摄像机的单应性矩阵;
基于两个所述摄像机的单应性矩阵,以对所述目标汽车的两个所述目标图像进行视角校正。
可选地,所述确定两个所述摄像机的单应性矩阵,包括:
通过以下公式分别计算得到两个所述摄像机的单应性矩阵:
H=K×Mideal×pinv(Mreal)×inv(K);
其中,K为所述摄像机的内参矩阵;Mreal为所述摄像机的实际外参矩阵;Mideal为所述摄像机的理想外参矩阵,inv和pinv分别为矩阵求逆和求伪逆操作。
可选地,在所述将两个所述目标图像输入到边框模型之前,所述测速方法还包括:
构建第一训练样本集,第一训练样本集包括图像和所述图像中边框信息,用所述第一训练样本集来训练所述边框模型。
可选地,在所述将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中之前,所述测速方法还包括:
构建第二训练样本集,第二训练样本集包括通过所述边框模型获取的样本汽车的边框信息、所述样本汽车的第一目标距离和第二目标距离、所述样本汽车到一个所述摄像机的实际距离,用所述第二训练样本集来训练所述校正模型。
可选地,所述校正模型为:
Z=MLP(Zh,Zw,[x1,y1,w1,h1],[x2,y2,w2,h2]);
其中,Z为所述目标汽车和一个所述摄像机的实际距离;MLP为多层感知机;Zw为所述目标汽车的第一目标距离;Zh为所述目标汽车的第二目标距离;x1和x2分别为两个所述目标图像的中心点的横坐标;y1和y2分别为两个所述目标图像的中心点的纵坐标;w1和w2分别为两个所述目标图像中目标汽车外包框的宽度;h1和h2分别为两个所述目标图像中目标汽车外包框的高度。
第二方面,本发明提供了一种基于双摄像机的测速系统,所述测速系统包括:
目标图像模块,用于根据两个摄像机,分别采集具有目标汽车的目标图像,两个所述摄像机沿所述目标汽车的行驶方向间隔布置;
边框模型模块,用于将两个所述目标图像输入到边框模型,从而得到所述目标图像中的边框信息,所述边框模型用于确定目标图像的边框信息;
目标距离模块,用于根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理,分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离;
校正模型模块,用于将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中,从而得到所述目标汽车和一个所述摄像机的一个实际距离,所述校正模型用于校正所述目标汽车的目标距离;
车速模块,用于在单位时间后,获取所述目标汽车和一个所述摄像机的另一个实际距离,并基于所述单位时间和两个所述实际距离,计算得到所述目标汽车的车速。
第三方面,本发明提供了一种计算机设备,包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述计算机程序被所述处理单元执行时,使得所述处理单元执行第一方面所述测速方法的步骤。
第四方面,本发明提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行第一方面所述测速方法的步骤。
本发明实施例提供的技术方案带来的有益效果是:
对于本发明实施例提供的一种基于双摄像机的测速方法,在对高速公路上的目标汽车进行测试时,首先,根据两个摄像机,分别采集具有目标汽车的目标图像,两个摄像机沿目标汽车的行驶方向间隔布置。然后,将两个目标图像输入到边框模型,从而得到目标图像中的边框信息,边框模型用于确定目标图像的边框信息,也就可以通过边框模型获取目标图像中的边框信息,由于目标汽车的边框较大,易于在目标图像中获取,这样可以大大提高定位精度,从而最终提高车速的测量精度,避免在图像中找同一点而难以精确定位的问题。
接着,根据目标图像中的边框信息、两个摄像机的间距和透视原理,分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离,从而便于后续对目标汽车的目标距离(第一目标距离和第二目标距离)进行校正,以提高计算精度。再接着,将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中,从而得到目标汽车和一个摄像机的一个实际距离,校正模型用于校正目标汽车的目标距离,从而通过校正模型可以消除透视影响和汽车位置偏转的影响,修正目标汽车的第一目标距离和第二目标距离。最后,在单位时间后,获取目标汽车和一个摄像机的另一个实际距离,并基于单位时间和两个实际距离,计算得到目标汽车的车速,从而通过两个实际距离的差值与单位时间的比值,最终计算得到目标汽车的车速。
也就是说,本发明提供的一种基于双摄像机的测速方法,不仅能通过获取目标图像的边框信息能够大大提高精确定位精度,减少测速误差,还能修正目标汽车的目标距离,以得到精度更高的实际距离,从而进一步减少测速误差。
附图说明
图1是本发明实施例提供的一种基于双摄像机的测速方法的流程图;
图2是本发明实施例提供的测试组件安装示意图;
图3是本发明实施例提供的另一种基于双摄像机的测速方法的流程图;
图4是本发明实施例提供的目标图像的边框示意图;
图5是本发明实施例提供的校正模型的结构示意图;
图6是本发明实施例提供的一种基于双摄像机的测速系统的结构示意图。
图中各符号表示含义如下:
1、目标图像模块;2、边框模型模块;3、目标距离模块;4、校正模型模块;5、车速模块;100、龙门架;200、轴杆;300、摄像机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1是本发明实施例提供的一种基于双摄像机的测速方法的流程图,如图1所示,该测速方法包括:
S101、根据两个摄像机,分别采集具有目标汽车的目标图像。
步骤S101中,两个摄像机沿目标汽车的行驶方向间隔布置(见图2)。
S102、将两个目标图像输入到边框模型,从而得到目标图像中的边框信息,边框模型用于确定目标图像的边框信息。
步骤S102中,边框信息包括汽车的宽、高和中心点坐标。
S103、根据目标图像中的边框信息、两个摄像机的间距和透视原理,分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离。
S104、将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中,从而得到目标汽车和一个摄像机的一个实际距离,校正模型用于校正目标汽车的目标距离。
S105、在单位时间后,获取目标汽车和一个摄像机的另一个实际距离,并基于单位时间和两个实际距离,计算得到目标汽车的车速。
对于本发明实施例提供的一种基于双摄像机的测速方法,在对高速公路上的目标汽车进行测试时,首先,根据两个摄像机,分别采集具有目标汽车的目标图像,两个摄像机沿目标汽车的行驶方向间隔布置。然后,将两个目标图像输入到边框模型,从而得到目标图像中的边框信息,边框模型用于确定目标图像的边框信息,也就可以通过边框模型获取目标图像中的边框信息,由于目标汽车的边框较大,易于在目标图像中获取,这样可以大大提高定位精度,从而最终提高车速的测量精度,避免在图像中找同一点而难以精确定位的问题。
接着,根据目标图像中的边框信息、两个摄像机的间距和透视原理,分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离,从而便于后续对目标汽车的目标距离(第一目标距离和第二目标距离)进行校正,以提高计算精度。再接着,将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中,从而得到目标汽车和一个摄像机的一个实际距离,校正模型用于校正目标汽车的目标距离,从而通过校正模型可以消除透视影响和汽车位置偏转的影响,修正目标汽车的第一目标距离和第二目标距离。最后,在单位时间后,获取目标汽车和一个摄像机的另一个实际距离,并基于单位时间和两个实际距离,计算得到目标汽车的车速,从而通过两个实际距离的差值与单位时间的比值,最终计算得到目标汽车的车速。
也就是说,本发明提供的一种基于双摄像机的测速方法,不仅能通过获取目标图像的边框信息能够大大提高精确定位精度,减少测速误差,还能修正目标汽车的目标距离,以得到精度更高的实际距离,从而进一步减少测速误差。
需要说明的是,在本实施例中,边框模型和校正模型均为神经网络模型。
图3是本发明实施例提供的另一种基于双摄像机的测速方法的流程图,如图3所示,该测速方法包括:
S301、在龙门架上安装测试组件。
步骤S301中,测试组件包括用于安装在龙门架100上的轴杆200和两个摄像机300。轴杆200与龙门架100的横轴垂直,轴杆200在水平方向上倾斜,两个摄像机300间隔布置在轴杆200上,以拍摄路面,两个摄像机300的光轴与轴杆200的轴向一致,且轴杆200夹设在两个摄像机300之间(见图2)。
需要说明的是,安装过程中需要将两个摄像机光轴下倾5°正对地面,使得距离摄像机20到60米之内的车辆的成像最为清晰。
S302、确定两个摄像机的单应性矩阵。
可选地,确定两个摄像机的单应性矩阵,包括:
通过以下公式分别计算得到两个摄像机的单应性矩阵:
H=K×Mideal×pinv(Mreal)×inv(K); (1)
其中,K为摄像机的内参矩阵;Mreal为摄像机的实际外参矩阵;Mideal为摄像机的理想外参矩阵,inv和pinv分别为矩阵求逆和求伪逆操作。
示例性地,4*3大小的矩阵Mreal在经过求伪逆操作后大小为3*4,3*3大小的矩阵K在进行求逆操作后变为3*3,最终的单应性变换矩阵H大小为3*3。另外,两个摄像机的单应性矩阵可以分别表示为H1和H2。
容易理解的是,摄像机在轴杆上安装时,为了补偿安装时造成的摄像机角度偏移,需要先进行摄像机视角矫正。
S303、根据两个摄像机,分别采集具有目标汽车的目标图像。
S304、构建第一训练样本集,第一训练样本集包括图像和图像中边框信息,用第一训练样本集来训练边框模型。
步骤S304中,边框信息包括样本汽车的宽、高和中心点坐标。
S305、基于两个摄像机的单应性矩阵,以对目标汽车的两个目标图像进行视角校正。
示例性地,H'1=H1×img1,H'2=H2×img2; (2)
其中,H'1为前一个摄像机修正后的单应性矩阵,H'2为后一个摄像机修正后的单应性矩阵。img1为一个目标图像,img2为另一个目标图像。
S306、将校正后的两个目标图像输入到训练好的边框模型,从而得到目标图像中的边框信息。
示例性地,训练好的边框模型可以表示为:
[x1,y1,w1,h1]=Dnet(H1×img1); (3)
[x2,y2,w2,h2]=Dnet(H2×img2); (4)
其中,Dnet为边框模型,边框模型可以视为为关于“(H1×img1)”和“[x1,y1,w1,h1]”的函数,x1和x2分别为两个目标图像的中心点的横坐标;y1和y2分别为两个目标图像的中心点的纵坐标;w1和w2分别为两个目标图像中目标汽车外包框的宽度;h1和h2分别为两个目标图像中目标汽车外包框的高度。
在本实施例中,训练好的边框模型可以为多目标追踪的目标检测神经网络,其主要功能是在一幅图像中找到目标汽车的位置并找出的其最佳边框(见图4)。
S307、根据目标图像中的边框信息、两个摄像机的间距和透视原理,分别计算出目标汽车的第一目标距离和第二目标距离。
需要说明的是,目标汽车的第一目标距离为在目标汽车宽度基础下计算得到的一个摄像机到目标汽车的初步实际距离,目标汽车的第二目标距离为在目标汽车高度基础下计算得到的一个摄像机到目标汽车的初步实际距离。
通过以下公式计算出目标汽车的第一目标距离:
其中,Zw为目标汽车的第一目标距离,L为两个摄像机的间距;w1和w2分别为两个目标图像中目标汽车外包框的宽度。
通过以下公式计算出目标汽车的第二目标距离:
其中,Zh为目标汽车的第二目标距离,L为两个摄像机的间距;h1和h2分别为两个目标图像中目标汽车外包框的高度。
需要说明的是:由透视原理可以得出:
w1Z1=w2Z2; (7)
其中Z1和Z2分别为目标汽车距离前后两个摄像机的初步实际距离。w1和w2分别为前后两个目标图像中的目标汽车外包框的宽度。又由两摄像机相对位置可知,Z2=Z1+L,其中L为两摄像机之间的距离。两者结合可以推导出:
实际上,把公式中宽度比换成高度比也成立。为了推导出目标汽车和后一个摄像机的距离Z2(需要指出的是,本发明专利以目标汽车与后一个摄像机的距离为例,即图2中左侧摄像机,在本发明的其它实施例中,也可以为前一个实施例作为计算依据),只需要找到两张成像结果中的目标汽车的宽度比或者高度比即可,因此找到两图像中的目标汽车边框并找到其长度和宽度就是本测距技术的关键所在。即公式(8)可以修改为:
其中,Z2w为目标汽车的第一目标距离,即为目标汽车宽度基础下计算得到的后一个摄像机到目标汽车的初步实际距离,Z2h目标汽车的第二目标距离,即为目标汽车高度基础下计算得到的后一个摄像机到目标汽车的初步实际距离。
S308、构建第二训练样本集,第二训练样本集包括通过边框模型获取的样本汽车的边框信息、样本汽车的第一目标距离和第二目标距离、样本汽车到后一个摄像机的实际距离,用第二训练样本集来训练校正模型。
需要说明的是,通过大量样本汽车及对应的图像、边框信息来进行边框模型和校正模型的训练,即通过已知的数据来训练边框模型和校正模型。
S309、将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到训练好的校正模型中,从而得到目标汽车和后一个摄像机的一个实际距离Z2。
训练好的校正模型为:
Z=MLP(Zh,Zw,[x1,y1,w1,h1],[x2,y2,w2,h2]); (11)
其中,Z为目标汽车和一个摄像机的实际距离;MLP为多层感知机;Zw为目标汽车的第一目标距离;Zh为目标汽车的第二目标距离;x1和x2分别为两个目标图像的中心点的横坐标;y1和y2分别为两个目标图像的中心点的纵坐标;w1和w2分别为两个目标图像中目标汽车外包框的宽度;h1和h2分别为两个目标图像中目标汽车外包框的高度。
那么对于后一个摄像机,训练好的校正模型即为:
Z2=MLP(Z2h,Z2w,[x1,y1,w1,h1],[x2,y2,w2,h2]) (12)
其中,Z2为目标汽车和后一个摄像机的实际距离。
容易理解的是,训练好的校正模型(见图5)可以视为一个10维度向量送入多层感知机,其总共有5层,节点数分别为10,64,128,64,32,其激活函数为负斜率为0.2的LeakyReLU。
需要说明的是,由于透视影响和目标汽车位置偏移,实际目标汽车的长度远大于其宽度与高度,在成像结果中就能够看到目标汽车的顶部,成像中看到的高度往往是不准确的;而且实际情况中的目标汽车行驶并非沿着摄像机光轴驶近或远离,往往会有数米的偏移,因此成像中看到的宽度往往也是不准确的(通常会有大于10%的误差),因此需要通过第二目标模型对目标距离Z2w和Z2h(初步实际距离)进行修正,以得到更加精确的实际距离Z2。
也就是说,通过校正模型的矫正,本发明能够较为准确地推断出目标汽车和后摄像机之间距离。在模拟测试中,此方法的距离测量平均误差可以小于1%,充分说明本发明提出的方法的有效性。
S310、在单位时间t后,获取目标汽车和后一个摄像机的另一个实际距离Z2-1。
即在单位时间t后,重复上述步骤获取目标汽车和后一个摄像机的另一个实际距离Z2-1。
S311、基于单位时间和两个实际距离,计算得到目标汽车的车速v。
其中,v=(Z2-1-Z2)/t。
需要说明的是,在处理过程中,两摄像机的成像结果的前后顺序不可混乱,两次截图的推断出的目标汽车距离也不可弄混,否则会产生非常严重的误差。并且两次截图之间的时间(t)不宜过长,否则两次截图中无法通过多目标追踪的目标检测网络找出同一辆车的图像。理论上截图时间越短测量结果越精确,但由于数据处理元件计算能力限制通常不能设定的很短,实际情况中可以根据多次截图获得的测距结果综合计算更为精确的车辆速度。
对于本发明实施例提供的一种基于双摄像机的测速方法,在对高速公路上的目标汽车进行测试时,首先,在龙门架上安装测试组件,测试组件包括用于安装在龙门架上的轴杆和两个摄像机,从而使得两个摄像机的光轴一致,且两个摄像机的镜头不会相互干涉。然后,根据两个摄像机,分别采集具有目标汽车的目标图像。再然后,构建第一训练样本集,第一训练样本集包括图像和图像中边框信息,用第一训练样本集来训练边框模型,边框信息包括样本汽车的宽、高和中心点坐标(中心点坐标为图像中宽和高对应的轮廓的中点坐标),从而可以构建边框模型。接着,将两个目标图像输入到训练好的边框模型,从而得到目标图像中的边框信息,从而通过边框模型获取目标图像中的边框信息,由于目标汽车的边框较大,易于在目标图像中获取,这样可以大大提高定位精度,从而最终提高车速的测量精度,避免在图像中找同一点而难以精确定位的问题。
再接着,根据目标图像中的边框信息、两个摄像机的间距和透视原理,分别计算出目标汽车的第一目标距离和第二目标距离,目标汽车的第一目标距离为在目标汽车宽度基础下计算得到的一个摄像机到目标汽车的初步实际距离,目标汽车的第二目标距离为在目标汽车高度基础下计算得到的一个摄像机到目标汽车的初步实际距离,从而可以得到目标汽车的第一目标距离和第二目标距离,进而便于后续建立校正模型。另外,构建第二训练样本集,第二训练样本集包括通过边框模型获取的样本汽车的边框信息、样本汽车的第一目标距离和第二目标距离、样本汽车到一个摄像机的实际距离,用第二训练样本集来训练校正模型,从而通过校正模型可以消除透视影响和汽车位置偏转的影响,修正目标汽车的第一目标距离和第二目标距离。
最后,将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到训练好的校正模型中,从而得到目标汽车和一个摄像机的一个实际距离,从而通过校正模型修正目标汽车的第一目标距离和第二目标距离(初步实际距离),得到一个实际距离。再此基础上,在单位时间后,获取目标汽车和一个摄像机的另一个实际距离,基于单位时间和两个实际距离,从而通过两个实际距离的差值与单位时间的比值,最终计算得到目标汽车的车速。
也就是说,本发明提供的一种基于双摄像机的测速方法,不仅能通过获取目标图像的边框信息能够大大提高精确定位精度,减少测速误差,还能修正目标汽车的目标距离,以得到精度更高的实际距离,从而进一步减少测速误差。
本发明的有益效果在于:本发明提出了一种基于双摄像机的测速方法,可以应用于高速公路上的目标汽车速度测量。此发明考虑了摄像机自身光轴偏移和安装倾角等原因,使用了单应性矩阵进行视角纠正。此外,在使用前后物体成像结果进行推断后,还讨论了近距离车辆透视效果对于测量结果的影响,并且使用校正模型进行结果矫正,获得较为精确的推断结果。而完成测距仅需要两摄像机,此发明具有成本低同时精度高的特点,也更加符合工程应用中的实际情况,具有较高的实用价值。
图6是本发明实施例提供的一种基于双摄像机的测速系统的结构示意图,如图6所示,该测速系统包括:
目标图像模块1,用于根据两个摄像机,分别采集具有目标汽车的目标图像,两个摄像机沿目标汽车的行驶方向间隔布置。
边框模型模块2,用于将两个目标图像输入到边框模型,从而得到目标图像中的边框信息,边框模型用于确定目标图像的边框信息。
目标距离模块3,用于根据目标图像中的边框信息、两个摄像机的间距和透视原理,分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离。
校正模型模块4,用于将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中,从而得到目标汽车和一个摄像机的一个实际距离,校正模型用于校正目标汽车的目标距离。
车速模块5,用于在单位时间后,获取目标汽车和一个摄像机的另一个实际距离,并基于单位时间和两个实际距离,计算得到目标汽车的车速。
本发明还提供了一种计算机设备,包括至少一个处理单元、以及至少一个存储单元,其中,存储单元存储有计算机程序,当计算机程序被处理单元执行时,使得处理单元执行上述测速方法的步骤。
本发明还提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当计算机程序在计算机设备上运行时,使得计算机设备执行上述测速方法的步骤。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于双摄像机的测速方法,其特征在于,所述测速方法包括:
根据两个摄像机,分别采集具有目标汽车的目标图像,两个所述摄像机沿所述目标汽车的行驶方向间隔布置;
将两个所述目标图像输入到边框模型,从而得到所述目标图像中的边框信息,所述边框模型用于确定目标图像的边框信息;
根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理,分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离;
将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中,从而得到所述目标汽车和一个所述摄像机的一个实际距离,所述校正模型用于校正所述目标汽车的目标距离;
在单位时间后,获取所述目标汽车和一个所述摄像机的另一个实际距离,并基于所述单位时间和两个所述实际距离,计算得到所述目标汽车的车速。
2.根据权利要求1所述的一种基于双摄像机的测速方法,其特征在于,在所述根据两个摄像机,分别采集具有目标汽车的目标图像之前,所述测速方法还包括:
对两个所述摄像机的镜头进行校正,以校准两个所述摄像机的光轴误差。
3.根据权利要求2所述的一种基于双摄像机的测速方法,其特征在于,所述对两个所述摄像机的镜头进行校正,包括:
确定两个所述摄像机的单应性矩阵;
基于两个所述摄像机的单应性矩阵,以对所述目标汽车的两个所述目标图像进行视角校正。
4.根据权利要求3所述的一种基于双摄像机的测速方法,其特征在于,所述确定两个所述摄像机的单应性矩阵,包括:
通过以下公式分别计算得到两个所述摄像机的单应性矩阵:
H=K×Mideal×pinv(Mreal)×inv(K);
其中,K为所述摄像机的内参矩阵;Mreal为所述摄像机的实际外参矩阵;Mideal为所述摄像机的理想外参矩阵,inv和pinv分别为矩阵求逆和求伪逆操作。
5.根据权利要求1所述的一种基于双摄像机的测速方法,其特征在于,在所述将两个所述目标图像输入到边框模型之前,所述测速方法还包括:
构建第一训练样本集,第一训练样本集包括图像和所述图像中边框信息,用所述第一训练样本集来训练所述边框模型。
6.根据权利要求1所述的一种基于双摄像机的测速方法,其特征在于,在所述将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中之前,所述测速方法还包括:
构建第二训练样本集,第二训练样本集包括通过所述边框模型获取的样本汽车的边框信息、所述样本汽车的第一目标距离和第二目标距离、所述样本汽车到一个所述摄像机的实际距离,用所述第二训练样本集来训练所述校正模型。
7.根据权利要求6所述的一种基于双摄像机的测速方法,其特征在于,所述校正模型为:
Z=MLP(Zh,Zw,[x1,y1,w1,h1],[x2,y2,w2,h2]);
其中,Z为所述目标汽车和一个所述摄像机的实际距离;MLP为多层感知机;Zw为所述目标汽车的第一目标距离;Zh为所述目标汽车的第二目标距离;x1和x2分别为两个所述目标图像的中心点的横坐标;y1和y2分别为两个所述目标图像的中心点的纵坐标;w1和w2分别为两个所述目标图像中目标汽车外包框的宽度;h1和h2分别为两个所述目标图像中目标汽车外包框的高度。
8.一种基于双摄像机的测速系统,其特征在于,所述测速系统包括:
目标图像模块,用于根据两个摄像机,分别采集具有目标汽车的目标图像,两个所述摄像机沿所述目标汽车的行驶方向间隔布置;
边框模型模块,用于将两个所述目标图像输入到边框模型,从而得到所述目标图像中的边框信息,所述边框模型用于确定目标图像的边框信息;
目标距离模块,用于根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理,分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离;
校正模型模块,用于将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中,从而得到所述目标汽车和一个所述摄像机的一个实际距离,所述校正模型用于校正所述目标汽车的目标距离;
车速模块,用于在单位时间后,获取所述目标汽车和一个所述摄像机的另一个实际距离,并基于所述单位时间和两个所述实际距离,计算得到所述目标汽车的车速。
9.一种计算机设备,其特征在于,包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述计算机程序被所述处理单元执行时,使得所述处理单元执行权利要求1~7任一项所述测速方法的步骤。
10.一种计算机可读存储介质,其特征在于,其存储有可由计算机设备执行的计算机程序,当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~7任一项所述测速方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110673283.6A CN113433339B (zh) | 2021-06-17 | 2021-06-17 | 一种基于双摄像机的测速方法、系统、计算机设备及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110673283.6A CN113433339B (zh) | 2021-06-17 | 2021-06-17 | 一种基于双摄像机的测速方法、系统、计算机设备及可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113433339A true CN113433339A (zh) | 2021-09-24 |
CN113433339B CN113433339B (zh) | 2023-09-08 |
Family
ID=77756294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110673283.6A Active CN113433339B (zh) | 2021-06-17 | 2021-06-17 | 一种基于双摄像机的测速方法、系统、计算机设备及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113433339B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002311038A (ja) * | 2001-04-06 | 2002-10-23 | Toshiba Corp | 車両速度算出システム及び車両速度算出方法 |
CN101187671A (zh) * | 2007-12-27 | 2008-05-28 | 北京中星微电子有限公司 | 一种确定汽车行驶速度的方法及装置 |
CN203365452U (zh) * | 2013-05-02 | 2013-12-25 | 中国计量学院 | 基于双目立体视觉的车速检测系统 |
CN104155470A (zh) * | 2014-07-15 | 2014-11-19 | 华南理工大学 | 一种基于双目摄像头的实时车速检测方法及系统 |
KR101633619B1 (ko) * | 2016-03-23 | 2016-06-27 | 주식회사 토페스 | 2차원 영상에서 차량번호 인식을 이용한 주행 차량의 속도 검출 방법 및 장치 |
US20160232410A1 (en) * | 2015-02-06 | 2016-08-11 | Michael F. Kelly | Vehicle speed detection |
CN107705331A (zh) * | 2017-10-30 | 2018-02-16 | 中原工学院 | 一种基于多视点摄像机的车辆视频测速方法 |
CN110672874A (zh) * | 2019-09-24 | 2020-01-10 | 五邑大学 | 基于双侧远心镜头的列车视觉测速方法、装置和存储介质 |
CN110850109A (zh) * | 2019-11-21 | 2020-02-28 | 中科智云科技有限公司 | 一种基于模糊图像测量车速的方法 |
KR20200064873A (ko) * | 2018-11-29 | 2020-06-08 | 주식회사 케이티앤씨 | 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법 |
CN111797659A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 辅助驾驶方法、装置、存储介质及电子设备 |
CN112489447A (zh) * | 2020-11-24 | 2021-03-12 | 杭州海康威视数字技术股份有限公司 | 一种车辆行驶速度的检测方法、装置、系统及电子设备 |
CN112798811A (zh) * | 2020-12-30 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 速度测量方法、装置和设备 |
CN112861700A (zh) * | 2021-02-03 | 2021-05-28 | 西安仁义智机电科技有限公司 | 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 |
-
2021
- 2021-06-17 CN CN202110673283.6A patent/CN113433339B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002311038A (ja) * | 2001-04-06 | 2002-10-23 | Toshiba Corp | 車両速度算出システム及び車両速度算出方法 |
CN101187671A (zh) * | 2007-12-27 | 2008-05-28 | 北京中星微电子有限公司 | 一种确定汽车行驶速度的方法及装置 |
CN203365452U (zh) * | 2013-05-02 | 2013-12-25 | 中国计量学院 | 基于双目立体视觉的车速检测系统 |
CN104155470A (zh) * | 2014-07-15 | 2014-11-19 | 华南理工大学 | 一种基于双目摄像头的实时车速检测方法及系统 |
US20160232410A1 (en) * | 2015-02-06 | 2016-08-11 | Michael F. Kelly | Vehicle speed detection |
KR101633619B1 (ko) * | 2016-03-23 | 2016-06-27 | 주식회사 토페스 | 2차원 영상에서 차량번호 인식을 이용한 주행 차량의 속도 검출 방법 및 장치 |
CN107705331A (zh) * | 2017-10-30 | 2018-02-16 | 中原工学院 | 一种基于多视点摄像机的车辆视频测速方法 |
KR20200064873A (ko) * | 2018-11-29 | 2020-06-08 | 주식회사 케이티앤씨 | 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법 |
CN111797659A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 辅助驾驶方法、装置、存储介质及电子设备 |
CN110672874A (zh) * | 2019-09-24 | 2020-01-10 | 五邑大学 | 基于双侧远心镜头的列车视觉测速方法、装置和存储介质 |
CN110850109A (zh) * | 2019-11-21 | 2020-02-28 | 中科智云科技有限公司 | 一种基于模糊图像测量车速的方法 |
CN112489447A (zh) * | 2020-11-24 | 2021-03-12 | 杭州海康威视数字技术股份有限公司 | 一种车辆行驶速度的检测方法、装置、系统及电子设备 |
CN112798811A (zh) * | 2020-12-30 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 速度测量方法、装置和设备 |
CN112861700A (zh) * | 2021-02-03 | 2021-05-28 | 西安仁义智机电科技有限公司 | 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 |
Non-Patent Citations (1)
Title |
---|
李胜旺;陈凯悦;: "一种基于双目视觉原理的距离测量系统的设计", 信息通信, no. 08 * |
Also Published As
Publication number | Publication date |
---|---|
CN113433339B (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112018006161B4 (de) | System und Verfahren zum Steuern eines Fahrzeugs | |
DE112009001197B4 (de) | Selbstkalibrierung von extrinsischen Kameraparametern für eine Fahrzeugkamera | |
US10424081B2 (en) | Method and apparatus for calibrating a camera system of a motor vehicle | |
DE102019216071A1 (de) | Fahrzeugsensor-feldkalibrierung unter nutzung anderer fahrzeuge | |
DE102021100101A1 (de) | Fahrzeugsensorkalibrierung | |
CN102915532A (zh) | 确定车辆视觉系统外部参数的方法以及车辆视觉系统 | |
EP3505865B1 (en) | On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system | |
CN111142091A (zh) | 一种融合车载信息的自动驾驶系统激光雷达在线标定方法 | |
CN112819711B (zh) | 一种基于单目视觉的利用道路车道线的车辆反向定位方法 | |
US9892519B2 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
CN109345591B (zh) | 一种车辆自身姿态检测方法和装置 | |
US20210264170A1 (en) | Compensation for vertical road curvature in road geometry estimation | |
DE112018004529T5 (de) | Positionsschätzeinrichtung und positionsschätzverfahren einer mobileinheit | |
CN112348752A (zh) | 一种基于平行约束的车道线消失点补偿方法及装置 | |
DE102022108712A1 (de) | Gemeinsame Schätzung und Korrektur eines Ausrichtungsfehlers einer LIDAR-Mittelachse und eines Lokalisierungsfehlers eines Trägerfahrzeugs | |
Ruland et al. | Hand-eye autocalibration of camera positions on vehicles | |
CN112161685A (zh) | 一种基于表面特征的车辆荷载测量方法 | |
CN114913500B (zh) | 位姿确定方法、装置、计算机设备和存储介质 | |
CN113433339A (zh) | 一种基于双摄像机的测速方法、系统、计算机设备及可读介质 | |
CN113643355A (zh) | 一种目标车辆位置和朝向的检测方法、系统及存储介质 | |
CN113870367B (zh) | 相机外参的生成方法、装置、设备、存储介质和程序产品 | |
Loktev et al. | Determination of the dynamic vehicle model parameters by means of computer vision | |
CN115731305A (zh) | 单目相机三维车道线感知方法、系统、电子设备 | |
CN112634354B (zh) | 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 | |
DE102021120968A1 (de) | Fahrzeugsensorbetrieb |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |