CN113433339B - 一种基于双摄像机的测速方法、系统、计算机设备及可读介质 - Google Patents

一种基于双摄像机的测速方法、系统、计算机设备及可读介质 Download PDF

Info

Publication number
CN113433339B
CN113433339B CN202110673283.6A CN202110673283A CN113433339B CN 113433339 B CN113433339 B CN 113433339B CN 202110673283 A CN202110673283 A CN 202110673283A CN 113433339 B CN113433339 B CN 113433339B
Authority
CN
China
Prior art keywords
target
distance
automobile
cameras
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110673283.6A
Other languages
English (en)
Other versions
CN113433339A (zh
Inventor
王家奎
朱正宇
田卫卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Veilytech Co ltd
Original Assignee
Wuhan Veilytech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Veilytech Co ltd filed Critical Wuhan Veilytech Co ltd
Priority to CN202110673283.6A priority Critical patent/CN113433339B/zh
Publication of CN113433339A publication Critical patent/CN113433339A/zh
Application granted granted Critical
Publication of CN113433339B publication Critical patent/CN113433339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双摄像机的测速方法、系统、计算机设备及可读介质，属于测速技术领域。测速方法包括：根据两个摄像机，分别采集具有目标汽车的目标图像；将两个目标图像输入到边框模型，从而得到目标图像中的边框信息；根据目标图像中的边框信息、两个摄像机的间距和透视原理，分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离；将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中，从而得到目标汽车和一个摄像机的一个实际距离；基于单位时间和两个实际距离，计算得到目标汽车的车速。本发明提供的一种基于双摄像机的测速方法可以有效提高测速精度。

Description

一种基于双摄像机的测速方法、系统、计算机设备及可读介质
技术领域
本发明属于测速技术领域，更具体地，涉及一种基于双摄像机的测速方法、系统、计算机设备及可读介质。
背景技术
双目视觉定位(双摄像机)是一种常见的视觉定位方法，它的定位算法简单，因此可以广泛适用于高速公路上，以测量汽车的实时车速。
相关技术中，在高速公路上，龙门架上间隔安装两个左右两个间隔布置的摄像机，通过在两个摄像机的成像中快速找到车身上同一个点的位置，然后使用像素距离和摄像机实际距离推断出车和摄像机之间的距离，从而最终计算出汽车的车速。
然而，上述测试方法中在两个摄像机的成像中找同一个点的位置往往难以实现精确定位，使得上述测速方法精度较低。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双摄像机的测速方法、系统、计算机设备及可读介质，其目的在提高测速精度。
第一方面，本发明提供了一种基于双摄像机的测速方法，所述测速方法包括：
根据两个摄像机，分别采集具有目标汽车的目标图像，两个所述摄像机沿所述目标汽车的行驶方向间隔布置；
将两个所述目标图像输入到边框模型，从而得到所述目标图像中的边框信息，所述边框模型用于确定目标图像的边框信息；
根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理，分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离；
将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中，从而得到所述目标汽车和一个所述摄像机的一个实际距离，所述校正模型用于校正所述目标汽车的目标距离；
在单位时间后，获取所述目标汽车和一个所述摄像机的另一个实际距离，并基于所述单位时间和两个所述实际距离，计算得到所述目标汽车的车速。
可选地，在所述根据两个摄像机，分别采集具有目标汽车的目标图像之前，所述测速方法还包括：
对两个所述摄像机的镜头进行校正，以校准两个所述摄像机的光轴误差。
可选地，所述对两个所述摄像机的镜头进行校正，包括：
确定两个所述摄像机的单应性矩阵；
基于两个所述摄像机的单应性矩阵，以对所述目标汽车的两个所述目标图像进行视角校正。
可选地，所述确定两个所述摄像机的单应性矩阵，包括：
通过以下公式分别计算得到两个所述摄像机的单应性矩阵：
H＝K×Mideal×pinv(Mreal)×inv(K)；
其中，K为所述摄像机的内参矩阵；Mreal为所述摄像机的实际外参矩阵；Mideal为所述摄像机的理想外参矩阵，inv和pinv分别为矩阵求逆和求伪逆操作。
可选地，在所述将两个所述目标图像输入到边框模型之前，所述测速方法还包括：
构建第一训练样本集，第一训练样本集包括图像和所述图像中边框信息，用所述第一训练样本集来训练所述边框模型。
可选地，在所述将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中之前，所述测速方法还包括：
构建第二训练样本集，第二训练样本集包括通过所述边框模型获取的样本汽车的边框信息、所述样本汽车的第一目标距离和第二目标距离、所述样本汽车到一个所述摄像机的实际距离，用所述第二训练样本集来训练所述校正模型。
可选地，所述校正模型为：
Z＝MLP(Zh,Zw,[x1,y1,w1,h1],[x2,y2,w2,h2])；
其中，Z为所述目标汽车和一个所述摄像机的实际距离；MLP为多层感知机；Zw为所述目标汽车的第一目标距离；Zh为所述目标汽车的第二目标距离；x1和x2分别为两个所述目标图像的中心点的横坐标；y1和y2分别为两个所述目标图像的中心点的纵坐标；w1和w2分别为两个所述目标图像中目标汽车外包框的宽度；h1和h2分别为两个所述目标图像中目标汽车外包框的高度。
第二方面，本发明提供了一种基于双摄像机的测速系统，所述测速系统包括：
目标图像模块，用于根据两个摄像机，分别采集具有目标汽车的目标图像，两个所述摄像机沿所述目标汽车的行驶方向间隔布置；
边框模型模块，用于将两个所述目标图像输入到边框模型，从而得到所述目标图像中的边框信息，所述边框模型用于确定目标图像的边框信息；
目标距离模块，用于根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理，分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离；
校正模型模块，用于将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中，从而得到所述目标汽车和一个所述摄像机的一个实际距离，所述校正模型用于校正所述目标汽车的目标距离；
车速模块，用于在单位时间后，获取所述目标汽车和一个所述摄像机的另一个实际距离，并基于所述单位时间和两个所述实际距离，计算得到所述目标汽车的车速。
第三方面，本发明提供了一种计算机设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行第一方面所述测速方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行第一方面所述测速方法的步骤。
本发明实施例提供的技术方案带来的有益效果是：
对于本发明实施例提供的一种基于双摄像机的测速方法，在对高速公路上的目标汽车进行测试时，首先，根据两个摄像机，分别采集具有目标汽车的目标图像，两个摄像机沿目标汽车的行驶方向间隔布置。然后，将两个目标图像输入到边框模型，从而得到目标图像中的边框信息，边框模型用于确定目标图像的边框信息，也就可以通过边框模型获取目标图像中的边框信息，由于目标汽车的边框较大，易于在目标图像中获取，这样可以大大提高定位精度，从而最终提高车速的测量精度，避免在图像中找同一点而难以精确定位的问题。
接着，根据目标图像中的边框信息、两个摄像机的间距和透视原理，分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离，从而便于后续对目标汽车的目标距离(第一目标距离和第二目标距离)进行校正，以提高计算精度。再接着，将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中，从而得到目标汽车和一个摄像机的一个实际距离，校正模型用于校正目标汽车的目标距离，从而通过校正模型可以消除透视影响和汽车位置偏转的影响，修正目标汽车的第一目标距离和第二目标距离。最后，在单位时间后，获取目标汽车和一个摄像机的另一个实际距离，并基于单位时间和两个实际距离，计算得到目标汽车的车速，从而通过两个实际距离的差值与单位时间的比值，最终计算得到目标汽车的车速。
也就是说，本发明提供的一种基于双摄像机的测速方法，不仅能通过获取目标图像的边框信息能够大大提高精确定位精度，减少测速误差，还能修正目标汽车的目标距离，以得到精度更高的实际距离，从而进一步减少测速误差。
附图说明
图1是本发明实施例提供的一种基于双摄像机的测速方法的流程图；
图2是本发明实施例提供的测试组件安装示意图；
图3是本发明实施例提供的另一种基于双摄像机的测速方法的流程图；
图4是本发明实施例提供的目标图像的边框示意图；
图5是本发明实施例提供的校正模型的结构示意图；
图6是本发明实施例提供的一种基于双摄像机的测速系统的结构示意图。
图中各符号表示含义如下：
1、目标图像模块；2、边框模型模块；3、目标距离模块；4、校正模型模块；5、车速模块；100、龙门架；200、轴杆；300、摄像机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1是本发明实施例提供的一种基于双摄像机的测速方法的流程图，如图1所示，该测速方法包括：
S101、根据两个摄像机，分别采集具有目标汽车的目标图像。
步骤S101中，两个摄像机沿目标汽车的行驶方向间隔布置(见图2)。
S102、将两个目标图像输入到边框模型，从而得到目标图像中的边框信息，边框模型用于确定目标图像的边框信息。
步骤S102中，边框信息包括汽车的宽、高和中心点坐标。
S103、根据目标图像中的边框信息、两个摄像机的间距和透视原理，分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离。
S104、将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中，从而得到目标汽车和一个摄像机的一个实际距离，校正模型用于校正目标汽车的目标距离。
S105、在单位时间后，获取目标汽车和一个摄像机的另一个实际距离，并基于单位时间和两个实际距离，计算得到目标汽车的车速。
对于本发明实施例提供的一种基于双摄像机的测速方法，在对高速公路上的目标汽车进行测试时，首先，根据两个摄像机，分别采集具有目标汽车的目标图像，两个摄像机沿目标汽车的行驶方向间隔布置。然后，将两个目标图像输入到边框模型，从而得到目标图像中的边框信息，边框模型用于确定目标图像的边框信息，也就可以通过边框模型获取目标图像中的边框信息，由于目标汽车的边框较大，易于在目标图像中获取，这样可以大大提高定位精度，从而最终提高车速的测量精度，避免在图像中找同一点而难以精确定位的问题。
接着，根据目标图像中的边框信息、两个摄像机的间距和透视原理，分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离，从而便于后续对目标汽车的目标距离(第一目标距离和第二目标距离)进行校正，以提高计算精度。再接着，将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中，从而得到目标汽车和一个摄像机的一个实际距离，校正模型用于校正目标汽车的目标距离，从而通过校正模型可以消除透视影响和汽车位置偏转的影响，修正目标汽车的第一目标距离和第二目标距离。最后，在单位时间后，获取目标汽车和一个摄像机的另一个实际距离，并基于单位时间和两个实际距离，计算得到目标汽车的车速，从而通过两个实际距离的差值与单位时间的比值，最终计算得到目标汽车的车速。
也就是说，本发明提供的一种基于双摄像机的测速方法，不仅能通过获取目标图像的边框信息能够大大提高精确定位精度，减少测速误差，还能修正目标汽车的目标距离，以得到精度更高的实际距离，从而进一步减少测速误差。
需要说明的是，在本实施例中，边框模型和校正模型均为神经网络模型。
图3是本发明实施例提供的另一种基于双摄像机的测速方法的流程图，如图3所示，该测速方法包括：
S301、在龙门架上安装测试组件。
步骤S301中，测试组件包括用于安装在龙门架100上的轴杆200和两个摄像机300。轴杆200与龙门架100的横轴垂直，轴杆200在水平方向上倾斜，两个摄像机300间隔布置在轴杆200上，以拍摄路面，两个摄像机300的光轴与轴杆200的轴向一致，且轴杆200夹设在两个摄像机300之间(见图2)。
需要说明的是，安装过程中需要将两个摄像机光轴下倾5°正对地面，使得距离摄像机20到60米之内的车辆的成像最为清晰。
S302、确定两个摄像机的单应性矩阵。
可选地，确定两个摄像机的单应性矩阵，包括：
通过以下公式分别计算得到两个摄像机的单应性矩阵：
H＝K×Mideal×pinv(Mreal)×inv(K)； (1)
其中，K为摄像机的内参矩阵；Mreal为摄像机的实际外参矩阵；Mideal为摄像机的理想外参矩阵，inv和pinv分别为矩阵求逆和求伪逆操作。
示例性地，4*3大小的矩阵Mreal在经过求伪逆操作后大小为3*4，3*3大小的矩阵K在进行求逆操作后变为3*3，最终的单应性变换矩阵H大小为3*3。另外，两个摄像机的单应性矩阵可以分别表示为H1和H2。
容易理解的是，摄像机在轴杆上安装时，为了补偿安装时造成的摄像机角度偏移，需要先进行摄像机视角矫正。
S303、根据两个摄像机，分别采集具有目标汽车的目标图像。
S304、构建第一训练样本集，第一训练样本集包括图像和图像中边框信息，用第一训练样本集来训练边框模型。
步骤S304中，边框信息包括样本汽车的宽、高和中心点坐标。
S305、基于两个摄像机的单应性矩阵，以对目标汽车的两个目标图像进行视角校正。
示例性地，H'1＝H1×img1,H'2＝H2×img2； (2)
其中，H'1为前一个摄像机修正后的单应性矩阵，H'2为后一个摄像机修正后的单应性矩阵。img1为一个目标图像，img2为另一个目标图像。
S306、将校正后的两个目标图像输入到训练好的边框模型，从而得到目标图像中的边框信息。
示例性地，训练好的边框模型可以表示为：
[x1,y1,w1,h1]＝Dnet(H1×img1)； (3)
[x2,y2,w2,h2]＝Dnet(H2×img2)； (4)
其中，Dnet为边框模型，边框模型可以视为为关于“(H1×img1)”和“[x1,y1,w1,h1]”的函数，x1和x2分别为两个目标图像的中心点的横坐标；y1和y2分别为两个目标图像的中心点的纵坐标；w1和w2分别为两个目标图像中目标汽车外包框的宽度；h1和h2分别为两个目标图像中目标汽车外包框的高度。
在本实施例中，训练好的边框模型可以为多目标追踪的目标检测神经网络，其主要功能是在一幅图像中找到目标汽车的位置并找出的其最佳边框(见图4)。
S307、根据目标图像中的边框信息、两个摄像机的间距和透视原理，分别计算出目标汽车的第一目标距离和第二目标距离。
需要说明的是，目标汽车的第一目标距离为在目标汽车宽度基础下计算得到的一个摄像机到目标汽车的初步实际距离，目标汽车的第二目标距离为在目标汽车高度基础下计算得到的一个摄像机到目标汽车的初步实际距离。
通过以下公式计算出目标汽车的第一目标距离：
其中，Zw为目标汽车的第一目标距离，L为两个摄像机的间距；w1和w2分别为两个目标图像中目标汽车外包框的宽度。
通过以下公式计算出目标汽车的第二目标距离：
其中，Zh为目标汽车的第二目标距离，L为两个摄像机的间距；h1和h2分别为两个目标图像中目标汽车外包框的高度。
需要说明的是：由透视原理可以得出：
w1Z1＝w2Z2； (7)
其中Z1和Z2分别为目标汽车距离前后两个摄像机的初步实际距离。w1和w2分别为前后两个目标图像中的目标汽车外包框的宽度。又由两摄像机相对位置可知，Z2＝Z1+L，其中L为两摄像机之间的距离。两者结合可以推导出：
实际上，把公式中宽度比换成高度比/>也成立。为了推导出目标汽车和后一个摄像机的距离Z2(需要指出的是，本发明专利以目标汽车与后一个摄像机的距离为例，即图2中左侧摄像机，在本发明的其它实施例中，也可以为前一个实施例作为计算依据)，只需要找到两张成像结果中的目标汽车的宽度比或者高度比即可，因此找到两图像中的目标汽车边框并找到其长度和宽度就是本测距技术的关键所在。即公式(8)可以修改为：
其中，Z2w为目标汽车的第一目标距离，即为目标汽车宽度基础下计算得到的后一个摄像机到目标汽车的初步实际距离，Z2h目标汽车的第二目标距离，即为目标汽车高度基础下计算得到的后一个摄像机到目标汽车的初步实际距离。
S308、构建第二训练样本集，第二训练样本集包括通过边框模型获取的样本汽车的边框信息、样本汽车的第一目标距离和第二目标距离、样本汽车到后一个摄像机的实际距离，用第二训练样本集来训练校正模型。
需要说明的是，通过大量样本汽车及对应的图像、边框信息来进行边框模型和校正模型的训练，即通过已知的数据来训练边框模型和校正模型。
S309、将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到训练好的校正模型中，从而得到目标汽车和后一个摄像机的一个实际距离Z2。
训练好的校正模型为：
Z＝MLP(Zh,Zw,[x1,y1,w1,h1],[x2,y2,w2,h2])； (11)
其中，Z为目标汽车和一个摄像机的实际距离；MLP为多层感知机；Zw为目标汽车的第一目标距离；Zh为目标汽车的第二目标距离；x1和x2分别为两个目标图像的中心点的横坐标；y1和y2分别为两个目标图像的中心点的纵坐标；w1和w2分别为两个目标图像中目标汽车外包框的宽度；h1和h2分别为两个目标图像中目标汽车外包框的高度。
那么对于后一个摄像机，训练好的校正模型即为：
Z2＝MLP(Z2h,Z2w,[x1,y1,w1,h1],[x2,y2,w2,h2]) (12)
其中，Z2为目标汽车和后一个摄像机的实际距离。
容易理解的是，训练好的校正模型(见图5)可以视为一个10维度向量送入多层感知机，其总共有5层，节点数分别为10，64，128，64，32，其激活函数为负斜率为0.2的LeakyReLU。
需要说明的是，由于透视影响和目标汽车位置偏移，实际目标汽车的长度远大于其宽度与高度，在成像结果中就能够看到目标汽车的顶部，成像中看到的高度往往是不准确的；而且实际情况中的目标汽车行驶并非沿着摄像机光轴驶近或远离，往往会有数米的偏移，因此成像中看到的宽度往往也是不准确的(通常会有大于10％的误差)，因此需要通过第二目标模型对目标距离Z2w和Z2h(初步实际距离)进行修正，以得到更加精确的实际距离Z2。
也就是说，通过校正模型的矫正，本发明能够较为准确地推断出目标汽车和后摄像机之间距离。在模拟测试中，此方法的距离测量平均误差可以小于1％，充分说明本发明提出的方法的有效性。
S310、在单位时间t后，获取目标汽车和后一个摄像机的另一个实际距离Z2-1。
即在单位时间t后，重复上述步骤获取目标汽车和后一个摄像机的另一个实际距离Z2-1。
S311、基于单位时间和两个实际距离，计算得到目标汽车的车速v。
其中，v＝(Z2-1-Z2)/t。
需要说明的是，在处理过程中，两摄像机的成像结果的前后顺序不可混乱，两次截图的推断出的目标汽车距离也不可弄混，否则会产生非常严重的误差。并且两次截图之间的时间(t)不宜过长，否则两次截图中无法通过多目标追踪的目标检测网络找出同一辆车的图像。理论上截图时间越短测量结果越精确，但由于数据处理元件计算能力限制通常不能设定的很短，实际情况中可以根据多次截图获得的测距结果综合计算更为精确的车辆速度。
对于本发明实施例提供的一种基于双摄像机的测速方法，在对高速公路上的目标汽车进行测试时，首先，在龙门架上安装测试组件，测试组件包括用于安装在龙门架上的轴杆和两个摄像机，从而使得两个摄像机的光轴一致，且两个摄像机的镜头不会相互干涉。然后，根据两个摄像机，分别采集具有目标汽车的目标图像。再然后，构建第一训练样本集，第一训练样本集包括图像和图像中边框信息，用第一训练样本集来训练边框模型，边框信息包括样本汽车的宽、高和中心点坐标(中心点坐标为图像中宽和高对应的轮廓的中点坐标)，从而可以构建边框模型。接着，将两个目标图像输入到训练好的边框模型，从而得到目标图像中的边框信息，从而通过边框模型获取目标图像中的边框信息，由于目标汽车的边框较大，易于在目标图像中获取，这样可以大大提高定位精度，从而最终提高车速的测量精度，避免在图像中找同一点而难以精确定位的问题。
再接着，根据目标图像中的边框信息、两个摄像机的间距和透视原理，分别计算出目标汽车的第一目标距离和第二目标距离，目标汽车的第一目标距离为在目标汽车宽度基础下计算得到的一个摄像机到目标汽车的初步实际距离，目标汽车的第二目标距离为在目标汽车高度基础下计算得到的一个摄像机到目标汽车的初步实际距离，从而可以得到目标汽车的第一目标距离和第二目标距离，进而便于后续建立校正模型。另外，构建第二训练样本集，第二训练样本集包括通过边框模型获取的样本汽车的边框信息、样本汽车的第一目标距离和第二目标距离、样本汽车到一个摄像机的实际距离，用第二训练样本集来训练校正模型，从而通过校正模型可以消除透视影响和汽车位置偏转的影响，修正目标汽车的第一目标距离和第二目标距离。
最后，将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到训练好的校正模型中，从而得到目标汽车和一个摄像机的一个实际距离，从而通过校正模型修正目标汽车的第一目标距离和第二目标距离(初步实际距离)，得到一个实际距离。再此基础上，在单位时间后，获取目标汽车和一个摄像机的另一个实际距离，基于单位时间和两个实际距离，从而通过两个实际距离的差值与单位时间的比值，最终计算得到目标汽车的车速。
也就是说，本发明提供的一种基于双摄像机的测速方法，不仅能通过获取目标图像的边框信息能够大大提高精确定位精度，减少测速误差，还能修正目标汽车的目标距离，以得到精度更高的实际距离，从而进一步减少测速误差。
本发明的有益效果在于：本发明提出了一种基于双摄像机的测速方法，可以应用于高速公路上的目标汽车速度测量。此发明考虑了摄像机自身光轴偏移和安装倾角等原因，使用了单应性矩阵进行视角纠正。此外，在使用前后物体成像结果进行推断后，还讨论了近距离车辆透视效果对于测量结果的影响，并且使用校正模型进行结果矫正，获得较为精确的推断结果。而完成测距仅需要两摄像机，此发明具有成本低同时精度高的特点，也更加符合工程应用中的实际情况，具有较高的实用价值。
图6是本发明实施例提供的一种基于双摄像机的测速系统的结构示意图，如图6所示，该测速系统包括：
目标图像模块1，用于根据两个摄像机，分别采集具有目标汽车的目标图像，两个摄像机沿目标汽车的行驶方向间隔布置。
边框模型模块2，用于将两个目标图像输入到边框模型，从而得到目标图像中的边框信息，边框模型用于确定目标图像的边框信息。
目标距离模块3，用于根据目标图像中的边框信息、两个摄像机的间距和透视原理，分别计算出目标汽车基于宽度、高度下与一个摄像机的第一目标距离和第二目标距离。
校正模型模块4，用于将两个目标图像中的边框信息、目标汽车的第一目标距离和第二目标距离输入到校正模型中，从而得到目标汽车和一个摄像机的一个实际距离，校正模型用于校正目标汽车的目标距离。
车速模块5，用于在单位时间后，获取目标汽车和一个摄像机的另一个实际距离，并基于单位时间和两个实际距离，计算得到目标汽车的车速。
本发明还提供了一种计算机设备，包括至少一个处理单元、以及至少一个存储单元，其中，存储单元存储有计算机程序，当计算机程序被处理单元执行时，使得处理单元执行上述测速方法的步骤。
本发明还提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当计算机程序在计算机设备上运行时，使得计算机设备执行上述测速方法的步骤。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双摄像机的测速方法，其特征在于，所述测速方法包括：
根据两个摄像机，分别采集具有目标汽车的目标图像，两个所述摄像机沿所述目标汽车的行驶方向间隔布置；
将两个所述目标图像输入到边框模型，从而得到所述目标图像中的边框信息，所述边框模型用于确定目标图像的边框信息；
根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理，分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离；
将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中，从而得到所述目标汽车和一个所述摄像机的一个实际距离，所述校正模型用于校正所述目标汽车的目标距离；
在单位时间后，获取所述目标汽车和一个所述摄像机的另一个实际距离，并基于所述单位时间和两个所述实际距离，计算得到所述目标汽车的车速；
其中，目标汽车的第一目标距离为在目标汽车宽度基础下计算得到的一个摄像机到目标汽车的初步实际距离，目标汽车的第二目标距离为在目标汽车高度基础下计算得到的一个摄像机到目标汽车的初步实际距离；
其中，Zw为目标汽车的第一目标距离，L为两个摄像机的间距；w1和w2分别为两个目标图像中目标汽车外包框的宽度；
其中，Zh为目标汽车的第二目标距离，L为两个摄像机的间距；h1和h2分别为两个目标图像中目标汽车外包框的高度。
2.根据权利要求1所述的一种基于双摄像机的测速方法，其特征在于，在所述根据两个摄像机，分别采集具有目标汽车的目标图像之前，所述测速方法还包括：
对两个所述摄像机的镜头进行校正，以校准两个所述摄像机的光轴误差。
3.根据权利要求2所述的一种基于双摄像机的测速方法，其特征在于，所述对两个所述摄像机的镜头进行校正，包括：
确定两个所述摄像机的单应性矩阵；
基于两个所述摄像机的单应性矩阵，以对所述目标汽车的两个所述目标图像进行视角校正。
4.根据权利要求3所述的一种基于双摄像机的测速方法，其特征在于，所述确定两个所述摄像机的单应性矩阵，包括：
通过以下公式分别计算得到两个所述摄像机的单应性矩阵：
H＝K×Mideal×pinv(Mreal)×inv(K)；
其中，K为所述摄像机的内参矩阵；Mreal为所述摄像机的实际外参矩阵；Mideal为所述摄像机的理想外参矩阵，inv和pinv分别为矩阵求逆和求伪逆操作。
5.根据权利要求1所述的一种基于双摄像机的测速方法，其特征在于，在所述将两个所述目标图像输入到边框模型之前，所述测速方法还包括：
构建第一训练样本集，第一训练样本集包括图像和所述图像中边框信息，用所述第一训练样本集来训练所述边框模型。
6.根据权利要求1所述的一种基于双摄像机的测速方法，其特征在于，在所述将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中之前，所述测速方法还包括：
构建第二训练样本集，第二训练样本集包括通过所述边框模型获取的样本汽车的边框信息、所述样本汽车的第一目标距离和第二目标距离、所述样本汽车到一个所述摄像机的实际距离，用所述第二训练样本集来训练所述校正模型。
7.根据权利要求6所述的一种基于双摄像机的测速方法，其特征在于，所述校正模型为：
Z＝MLP(Zh,Zw,[x1,y1,w1,h1],[x2,y2,w2,h2])；
其中，Z为所述目标汽车和一个所述摄像机的实际距离；MLP为多层感知机；Zw为所述目标汽车的第一目标距离；Zh为所述目标汽车的第二目标距离；x1和x2分别为两个所述目标图像的中心点的横坐标；y1和y2分别为两个所述目标图像的中心点的纵坐标；w1和w2分别为两个所述目标图像中目标汽车外包框的宽度；h1和h2分别为两个所述目标图像中目标汽车外包框的高度。
8.一种基于双摄像机的测速系统，其特征在于，所述测速系统包括：
目标图像模块，用于根据两个摄像机，分别采集具有目标汽车的目标图像，两个所述摄像机沿所述目标汽车的行驶方向间隔布置；
边框模型模块，用于将两个所述目标图像输入到边框模型，从而得到所述目标图像中的边框信息，所述边框模型用于确定目标图像的边框信息；
目标距离模块，用于根据所述目标图像中的边框信息、两个所述摄像机的间距和透视原理，分别计算出所述目标汽车基于宽度、高度下与一个所述摄像机的第一目标距离和第二目标距离；
校正模型模块，用于将两个所述目标图像中的边框信息、所述目标汽车的第一目标距离和所述第二目标距离输入到校正模型中，从而得到所述目标汽车和一个所述摄像机的一个实际距离，所述校正模型用于校正所述目标汽车的目标距离；
车速模块，用于在单位时间后，获取所述目标汽车和一个所述摄像机的另一个实际距离，并基于所述单位时间和两个所述实际距离，计算得到所述目标汽车的车速；
其中，目标汽车的第一目标距离为在目标汽车宽度基础下计算得到的一个摄像机到目标汽车的初步实际距离，目标汽车的第二目标距离为在目标汽车高度基础下计算得到的一个摄像机到目标汽车的初步实际距离；
其中，Zw为目标汽车的第一目标距离，L为两个摄像机的间距；w1和w2分别为两个目标图像中目标汽车外包框的宽度；
其中，Zh为目标汽车的第二目标距离，L为两个摄像机的间距；h1和h2分别为两个目标图像中目标汽车外包框的高度。
9.一种计算机设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1～7任一项所述测速方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行权利要求1～7任一项所述测速方法的步骤。
CN202110673283.6A 2021-06-17 2021-06-17 一种基于双摄像机的测速方法、系统、计算机设备及可读介质 Active CN113433339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110673283.6A CN113433339B (zh) 2021-06-17 2021-06-17 一种基于双摄像机的测速方法、系统、计算机设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110673283.6A CN113433339B (zh) 2021-06-17 2021-06-17 一种基于双摄像机的测速方法、系统、计算机设备及可读介质

Publications (2)

Publication Number Publication Date
CN113433339A CN113433339A (zh) 2021-09-24
CN113433339B true CN113433339B (zh) 2023-09-08

Family

ID=77756294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110673283.6A Active CN113433339B (zh) 2021-06-17 2021-06-17 一种基于双摄像机的测速方法、系统、计算机设备及可读介质

Country Status (1)

Country Link
CN (1) CN113433339B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002311038A (ja) * 2001-04-06 2002-10-23 Toshiba Corp 車両速度算出システム及び車両速度算出方法
CN101187671A (zh) * 2007-12-27 2008-05-28 北京中星微电子有限公司 一种确定汽车行驶速度的方法及装置
CN203365452U (zh) * 2013-05-02 2013-12-25 中国计量学院 基于双目立体视觉的车速检测系统
CN104155470A (zh) * 2014-07-15 2014-11-19 华南理工大学 一种基于双目摄像头的实时车速检测方法及系统
KR101633619B1 (ko) * 2016-03-23 2016-06-27 주식회사 토페스 ２차원 영상에서 차량번호 인식을 이용한 주행 차량의 속도 검출 방법 및 장치
CN107705331A (zh) * 2017-10-30 2018-02-16 中原工学院 一种基于多视点摄像机的车辆视频测速方法
CN110672874A (zh) * 2019-09-24 2020-01-10 五邑大学 基于双侧远心镜头的列车视觉测速方法、装置和存储介质
CN110850109A (zh) * 2019-11-21 2020-02-28 中科智云科技有限公司 一种基于模糊图像测量车速的方法
KR20200064873A (ko) * 2018-11-29 2020-06-08 주식회사 케이티앤씨 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
CN111797659A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 辅助驾驶方法、装置、存储介质及电子设备
CN112489447A (zh) * 2020-11-24 2021-03-12 杭州海康威视数字技术股份有限公司 一种车辆行驶速度的检测方法、装置、系统及电子设备
CN112798811A (zh) * 2020-12-30 2021-05-14 杭州海康威视数字技术股份有限公司 速度测量方法、装置和设备
CN112861700A (zh) * 2021-02-03 2021-05-28 西安仁义智机电科技有限公司 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232410A1 (en) * 2015-02-06 2016-08-11 Michael F. Kelly Vehicle speed detection

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002311038A (ja) * 2001-04-06 2002-10-23 Toshiba Corp 車両速度算出システム及び車両速度算出方法
CN101187671A (zh) * 2007-12-27 2008-05-28 北京中星微电子有限公司 一种确定汽车行驶速度的方法及装置
CN203365452U (zh) * 2013-05-02 2013-12-25 中国计量学院 基于双目立体视觉的车速检测系统
CN104155470A (zh) * 2014-07-15 2014-11-19 华南理工大学 一种基于双目摄像头的实时车速检测方法及系统
KR101633619B1 (ko) * 2016-03-23 2016-06-27 주식회사 토페스 ２차원 영상에서 차량번호 인식을 이용한 주행 차량의 속도 검출 방법 및 장치
CN107705331A (zh) * 2017-10-30 2018-02-16 中原工学院 一种基于多视点摄像机的车辆视频测速方法
KR20200064873A (ko) * 2018-11-29 2020-06-08 주식회사 케이티앤씨 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
CN111797659A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 辅助驾驶方法、装置、存储介质及电子设备
CN110672874A (zh) * 2019-09-24 2020-01-10 五邑大学 基于双侧远心镜头的列车视觉测速方法、装置和存储介质
CN110850109A (zh) * 2019-11-21 2020-02-28 中科智云科技有限公司 一种基于模糊图像测量车速的方法
CN112489447A (zh) * 2020-11-24 2021-03-12 杭州海康威视数字技术股份有限公司 一种车辆行驶速度的检测方法、装置、系统及电子设备
CN112798811A (zh) * 2020-12-30 2021-05-14 杭州海康威视数字技术股份有限公司 速度测量方法、装置和设备
CN112861700A (zh) * 2021-02-03 2021-05-28 西安仁义智机电科技有限公司 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于双目视觉原理的距离测量系统的设计;李胜旺;陈凯悦;;信息通信(第08期);全文 *

Also Published As

Publication number Publication date
CN113433339A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN109859278B (zh) 车载相机系统相机外参的标定方法及标定系统
US20180286078A1 (en) Vehicle-mounted camera calibration system
DE112009001197B4 (de) Selbstkalibrierung von extrinsischen Kameraparametern für eine Fahrzeugkamera
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN109532662B (zh) 一种车距及碰撞时间计算方法及装置
CN103026198B (zh) 用于确定车辆的车轮和车身运动的方法和设备
CN110298307B (zh) 一种基于深度学习的异常停车实时检测方法
JP2010537331A (ja) ビデオ画像のオンライン較正方法およびシステム
CN102915532A (zh) 确定车辆视觉系统外部参数的方法以及车辆视觉系统
US7982772B2 (en) Image correction apparatus and image correction method for correcting image blur using a mobile vector
CN112529966B (zh) 一种车载环视系统的在线标定方法及其车载环视系统
CN111263142A (zh) 一种摄像模组光学防抖的测试方法、装置、设备及介质
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN112348752B (zh) 一种基于平行约束的车道线消失点补偿方法及装置
JP4872890B2 (ja) 画像の歪曲補正方法
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN109949364B (zh) 一种基于路侧单目摄像头的车辆姿态检测精度优化方法
CN112819711B (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法
US20220073084A1 (en) Travel amount estimation apparatus
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR101394770B1 (ko) 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템
CN110796604A (zh) 一种图像校正方法及装置
CN113433339B (zh) 一种基于双摄像机的测速方法、系统、计算机设备及可读介质
CN112161685A (zh) 一种基于表面特征的车辆荷载测量方法
DE102020109598A1 (de) System und Verfahren zum Verfolgen eines angekoppelten Fahrzeugs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant