CN109166155B - 一种车载双目摄像机测距误差的计算方法和装置 - Google Patents

一种车载双目摄像机测距误差的计算方法和装置 Download PDF

Info

Publication number
CN109166155B
CN109166155B CN201811122289.9A CN201811122289A CN109166155B CN 109166155 B CN109166155 B CN 109166155B CN 201811122289 A CN201811122289 A CN 201811122289A CN 109166155 B CN109166155 B CN 109166155B
Authority
CN
China
Prior art keywords
vehicle
binocular camera
target
distance
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811122289.9A
Other languages
English (en)
Other versions
CN109166155A (zh
Inventor
计平元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201811122289.9A priority Critical patent/CN109166155B/zh
Publication of CN109166155A publication Critical patent/CN109166155A/zh
Application granted granted Critical
Publication of CN109166155B publication Critical patent/CN109166155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的实施方式提供了一种车载双目摄像机测距误差的计算方法,包括:在当前车辆的车载双目摄像机拍摄的图像中确定目标车辆;利用所述车载双目摄像机拍摄的图像计算当前车辆到目标车辆的第一距离;利用当前车辆和/或目标车辆的参考车载设备测量当前车辆到目标车辆的第二距离;将所述第一距离与所述第二距离的差值确定为所述车载双目摄像机的测距误差。本发明可快速、准确地计算出两辆正在运动的车辆的距离,进而计算车载双目摄像机的测距误差,该方法简单、实用、准确性高,有利于评判双目测距算法的准确性。此外,本发明的实施方式提供了一种车载双目摄像机测距误差的计算装置。

Description

一种车载双目摄像机测距误差的计算方法和装置
技术领域
本发明的实施方式涉及计算机视觉领域,更具体地,本发明的实施方式涉及一种车载双目摄像机测距误差的计算方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
双目摄像机是一种通过模仿人类双眼视觉特性获取拍摄场景的三维信息的设备,因其可以测量物体距离、价格低廉,常被应用在自动驾驶领域。
发明内容
在研究本发明的过程中,发明人发现:每个双目摄像机都具备根据左右摄像头拍摄的图像计算物体到相机的距离(即物体的深度信息)的算法,即双目测距算法。在开发双目测距算法时,常会需要知道双目摄像机到物体的准确距离,将该准确距离与双目摄像机的测量结果进行对比,以计算双目摄像机的测距误差,从而评判双目测距算法的准确性。
基线是双目摄像机的左右摄像头的物镜光学中心的连线,对于基线长度较小的双目摄像机,其测距范围一般较短,直接使用尺子测量摄像机到物体的距离是可以实现的。而在自动驾驶领域,车载双目摄像机的基线长度会较大(例如0.5m),测据范围可达200m左右,且观测的物体是道路上行驶的车辆,一方面车辆与相机相距太远,另一方面,被观测的车辆一直处于运动状态,这种情况下,测量相机到车辆的距离就很难实现。
另外,车辆行驶过程会影响车载双目摄像机的各种参数,例如随着车辆的颠簸,基线的长度会发生变化,为了确保测量准确性,就需要经常调整双目测距算法,这个过程也需要双目摄像机到物体的准确距离。
因此,需要有一种可靠的方法来测量相机到车辆的距离,以便计算车载双目摄像机的测距误差,从而有效调整双目测距算法。
为此,本发明提供一种车载双目摄像机测距误差的计算方法和装置。
在本发明实施方式的第一方面中,提供了一种车载双目摄像机测距误差的计算方法,包括:
步骤1,在当前车辆的车载双目摄像机拍摄的图像中确定目标车辆;
步骤2,利用所述车载双目摄像机拍摄的图像计算当前车辆到目标车辆的第一距离;
步骤3,利用当前车辆和/或目标车辆的参考车载设备测量当前车辆到目标车辆的第二距离;
步骤4,将所述第一距离与所述第二距离的差值确定为所述车载双目摄像机的测距误差。
在本发明实施方式的第二方面中,提供了一种车载双目摄像机测距误差的计算装置,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器在运行所述计算机程序时,执行上述车载双目摄像机测距误差的计算方法。
在本发明实施方式的第二方面中,提供了一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时实现上述车载双目摄像机测距误差的计算方法。
借助于上述技术方案,本发明可快速、准确地计算出两辆正在运动的车辆的距离,进而计算车载双目摄像机的测距误差,该方法简单、实用、准确性高,有利于评判双目测距算法的准确性。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1示意性地示出了根据本发明实施方式的车载双目摄像机测距误差的计算方法的流程示意图;
图2示意性地示出了本发明的一种应用场景示意图;
图3示意性地示出了根据本发明实施方式的车载双目摄像机测距误差的计算装置的结构示意图;
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种车载双目摄像机测距误差的计算方法和装置。
在本文中,需要理解的是:
本发明所称的“当前车辆”是指应用车载双目摄像机观测所处环境的三维信息,且需要计算该车载双目摄像机的测距误差的自动驾驶车辆。
本发明所称的“自动驾驶车辆”是指利用自动驾驶技术实现的具有载人(如家用轿车、公共汽车等类型)、载货(如普通货车、厢式货车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等类型)或者特殊救援功能(如消防车、救护车等类型)的车辆。
本发明所称的“参考车载设备”是车载双目摄像机以外的、装载于车辆上可独立用于测量两辆车之间的距离的设备,或者,是装载于车辆上的定位设备,用于定位所在车辆的位置。
本发明将装载于车辆上可独立用于测量两辆车之间的距离的参考车载设备简称为“独立测距设备”,将装载于车辆上用于定位所在车辆的位置的参考车载设备简称为“车载定位设备”。本发明利用当前车辆和目标车辆上的车载定位设备分别对当前车辆和目标车辆进行定位,然后利用定位结果计算当前车辆到目标车辆的距离。
本发明中,独立测距设备包括但不限于:飞行时间TOF相机、激光雷达、超声波雷达、毫米波雷达。
本发明中,车载定位设备包括但不限于:全球定位系统GPS定位设备、载波相位差分RTK定位设备、北斗卫星定位系统定位设备、GLONASS定位系统定位设备、Galileo定位系统定位设备、全球导航卫星系统GNSS定位设备、自建基站定位设备、超宽带UWB定位设备、蓝牙定位设备。
此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
发明概述
如图1所示,本发明人提供一种车载双目摄像机测距误差的计算方法,包括:
步骤S1,在当前车辆的车载双目摄像机拍摄的图像中确定目标车辆;
步骤S2,利用所述车载双目摄像机拍摄的图像计算当前车辆到目标车辆的第一距离;
步骤S3,利用当前车辆和/或目标车辆的参考车载设备测量当前车辆到目标车辆的第二距离;
步骤S4,将所述第一距离与所述第二距离的差值确定为所述车载双目摄像机的测距误差。
本发明在利用车载双目相机测量当前车辆到目标车辆的第一距离的基础上,利用参考车载设备测量当前车辆到目标车辆的第二距离,然后通过计算二者的差值得到车载双目摄像机的测距误差。
本发明可快速、准确地计算出两辆正在运动的车辆的距离,进而计算车载双目摄像机的测距误差,该方法简单、实用、准确性高,有利于评判双目测距算法的准确性。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
图2所示为本发明的一种应用场景示意图,如图2所示,当前车辆上装载有车载双目摄像机,目标车辆行驶于当前车辆的前方,处于车载双目摄像机的拍摄视野中。目标车辆的数量可以是一个或多个。
当前车辆和/或目标车辆上装载有参考车载设备,其中参考车载设备可以是TOF相机、激光雷达、超声波雷达、毫米波雷达等类型的独立测距设备,也可以是GPS定位设备、RTK定位设备、北斗定位设备、GLONASS定位设备、Galileo定位设备、GNSS定位设备、自建基站定位设备、超宽带UWB定位设备、蓝牙定位设备等类型的车载定位设备。
需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
示例性方法
下面结合图2的应用场景,详细介绍图1所示的车载双目摄像机测距误差的计算方法的各种非限制性实施方式。如图1所示,本发明提供的车载双目摄像机测距误差的计算方法包括:
步骤S1,在当前车辆的车载双目摄像机拍摄的图像中确定目标车辆。
具体的,目标车辆是作为当前车辆的车载双目摄像机的拍摄对象,用于协助当前车辆完成车载双目摄像机测距误差的计算过程。
具体实施时,目标车辆可以是专门用于配合任意类型的当前车辆计算车载双目摄像机测距误差的车辆。为了满足任意类型的当前车辆计算车载摄像机测距误差的需要,可以在这种专门配合计算车载双目摄像机测距误差的目标车辆上装载尽可能多类型的参考车载设备。
为了便于确定这种专门配合计算车载双目摄像机测距误差的目标车辆,可选地,步骤S1可以按照步骤S1-1~步骤S1-2实施:
步骤S1-1,判断当前车辆的车载双目摄像机的拍摄图像中是否存在符合预定条件的车辆。
步骤S1-2,若存在,则将拍摄图像中符合预定条件的车辆确定为目标车辆。
具体的,符合预定条件可以包括:
(1)具有预定的车牌号码;
(2)车身设置有预定的标识(如印刷预定样式的文字或图案、车顶竖立预定样式的旗帜);
(3)车灯按照预定规则闪烁;
具体实施时,当前车辆可以通过对其车载双目摄像机的拍摄图像进行视觉识别来判断其中是否存在符合预定条件的车辆,即判断车载双目摄像机的拍摄图像中是否有目标车辆。一旦确定车载双目摄像机的拍摄图像中有符合预定条件的目标车辆,就可以执行计算车载双目摄像机测距误差的流程。
具体实施时,目标车辆还可以是任意一辆能够配合当前车辆计算车载双目摄像机测距误差的车辆。这种情况下,目标车辆同当前车辆类似,也是具有载人、载货或特殊救援功能的自动驾驶车辆,但大多不能通过判断是否符合预定条件来分辨。这种情况下,步骤S1可以按照步骤S1-3~步骤S1-4实施:
步骤S1-3,广播测距请求消息。
具体的,为了便于其他车辆对测距请求消息进行应答,该步骤在测距请求消息中携带当前车辆的标识,例如当前车辆的MAC地址或车牌号码等。
为了提高该广播测距请求消息的应答效率,可选地,该步骤可以先判断当前车辆的车载双目摄像机的拍摄图像中是否存在其他车辆,若存在,才广播测距请求消息。
步骤S1-4,接收其他车辆返回的测距同意消息,并判断返回测距同意消息的该其他车辆是否出现在当前车辆的车载双目摄像机的拍摄图像中,若出现,则将该其他车辆确定为目标车辆。
可选地,为了便于判断返回测距同意消息的其他车辆是否在当前车辆的车载双目摄像机的拍摄图像中,可令其他车辆在返回的测距同意消息中携带自身车辆的可视觉识别特征(即可通过对图像进行视觉识别得出的特征),例如车牌号码、车辆类型、车辆所在车道的标识,或者车灯闪烁规则(如车灯频繁双闪)等,当前车辆收到测距同意消息后,从测距同意消息中解析出可视觉识别特征,然后对车载双目摄像机拍摄的图像进行视觉识别,当在图像中识别出该可视觉识别特征时,确定该返回测距同意消息的其他车辆出现在车载双目摄像机拍摄的图像中。即,当前车辆通过解析该可视觉识别特征即可获知如何通过对车载双目摄像机的拍摄图像进行视觉识别来分辨出相应车辆。
此外,为了便于与当前车辆建立通信,其他车辆在返回的测距同意消息中携带自身的标识,例如自身的MAC地址或车牌号码等。
具体的,其他车辆在接收到测距请求消息后,可以通过判断自身车辆是否满足一定的条件(例如判断自身车辆上是否装设有参考车载设备)来确定是否对测距请求消息作出应答,即向当前车辆反馈是否能配合其计算车载双目摄像机的测距误差。
具体实施时,可能会出现多个其他车辆都返回测距同意消息的情况,这种情况下,可以先判断这些其他车辆是否都出现在车载双目摄像机的拍摄视野中,然后将其中出现在拍摄视野的其他车辆都确定为目标车辆,或者从中筛选出一个或多个确定为目标车辆。
可选地,步骤S1-4进一步包括:若接收到多个其他车辆返回的测距同意消息,则先判断该多个其他车辆是否都出现在当前车辆的车载双目摄像机的拍摄图像中,若最终确定该多个其他车辆中有至少一个其他车辆出现在当前车辆的车载双目摄像机的拍摄图像中,则将该至少一个其他车辆确定为目标车辆,或者从该至少一个其他车辆中筛选出一个或多个确定为目标车辆。
在一种实施方式中,可以按照如下规则从返回测距同意消息且出现在当前车辆的车载双目摄像机的拍摄图像中的多个其他车辆中筛选出一个或多个确定为目标设备:获取这些其他车辆使用的参考车载设备的测量精准度,将其中测量精准度最高的参考车载设备所在的其他车辆确定为目标车辆。
例如在一实施例中,返回测距同意消息且出现在当前车辆的车载双目摄像机的拍摄图像中的多个其他车辆所使用的参考车载设备分别为激光雷达(测量精准度为2~3cm)、TOF相机(测量精准度为4~5cm)、毫米波雷达(测量精准度为1cm左右),则将使用毫米波雷达的其他车辆确定为目标车辆。
具体实施时,若当前车辆使用的参考车载设备为车载定位设备而不是独立测距设备,只能测得当前车辆的位置,则还需要目标车辆上的车载定位设备测得目标车辆的位置,才能计算出当前车辆到目标车辆的距离。考虑到这种情况,在另一种实施方式中,可以按照如下规则从返回测距同意消息且出现在当前车辆的车载双目摄像机的拍摄图像中的多个其他车辆中筛选出一个或多个确定为目标设备:获取这些其他车辆使用的参考车载设备的类型,若当前车辆使用的参考车载设备为车载定位设备,则将也使用车载定位设备的其他车辆确定为目标车辆,以便在后续过程中利用当前车辆和目标车辆上的车载定位设备先测得当前车辆和目标车辆的经纬度坐标,然后计算当前车辆到目标车辆的第二距离。
步骤S2,利用当前车辆的车载双目摄像机拍摄的图像测量当前车辆到目标车辆的第一距离。
具体的,该步骤基于车载双目摄像机的测距算法,对拍摄的图像进行计算,得到当前车辆到目标车辆的第一距离。
当目标车辆不只有一个时,该步骤需要利用当前车辆的车载双目摄像机测量当前车辆到各个目标车辆的第一距离。
步骤S3,利用当前车辆和/或目标车辆的参考车载设备测量当前车辆到目标车辆的第二距离。
其中,当参考车载设备是TOF相机、激光雷达、毫米波雷达、超声波雷达等独立测距设备时,只需要当前车辆或者目标车辆上的独立测距设备即可完成测量第二距离的目的。例如,当前车辆利用其车载的TOF相机或激光雷达的扫描数据可以直接计算出当前车辆到目标车辆的第二距离。或者,利用目标车辆上的TOF相机或激光雷达的扫描数据,计算出目标车辆到当前车辆的第二距离,再由目标车辆将计算的第二距离发送给当前车辆,以便当前车辆在后续计算其车载双目摄像机的误差。
而当参考车载设备是GPS定位设备、RTK定位设备、北斗定位设备、GLONASS定位设备、Galileo定位设备、GNSS定位设备等车载定位设备时,则需要当前车辆上的车载定位设备和目标车辆上的车载定位设备同时工作,才可以完成测量第二距离的目的。例如,利用当前车辆上装载的GPS定位设备、RTK定位设备、北斗定位设备、GLONASS定位设备、Galileo定位设备或GNSS定位设备测得当前车辆的经纬度坐标,同时利用目标车辆上装载的GPS定位设备、RTK定位设备、北斗定位设备、GLONASS定位设备、Galileo定位设备或GNSS定位设备测得目标车辆的经纬度坐标,然后再利用当前车辆的经纬度坐标、目标车辆的经纬度坐标,计算出当前车辆到目标车辆的第二距离。
不同类型、型号的参考车载设备的测距原理不同,测量范围也存在较大的区别,例如,TOF相机、激光雷达、毫米波雷达、超声波雷达等独立测距设备都是通过直接扫描当前车辆或目标车辆的方式来测距,测量范围基本在百米以内,而GPS定位设备、RTK定位设备、北斗定位设备、GLONASS定位设备、Galileo定位设备或GNSS定位设备等车载定位设备是先获取当前车辆和目标车辆的经纬度坐标,然后再利用二者的经纬度坐标计算二者的距离,测量范围可达千米甚至更远。考虑到这个因素,具体实施时,可以先基于步骤S2测量出的第一距离,预估当前车辆与目标车辆之间的实际距离适合使用哪类参考车载设备测量,若二者的实际距离较短,则可以选择TOF相机、激光雷达、毫米波雷达、超声波雷达等独立测距设备,若二者的实际距离较长,则选择、RTK定位设备、北斗定位设备、GLONASS定位设备、Galileo定位设备或GNSS定位设备等车载定位设备。
具体实施时,若车辆上同时有多种独立测距设备,则优先选择使用精准度较高的独立测距设备。例如一般情况下激光雷达相比于TOF相机的测距结果更精准,在车辆上同时有TOF相机和激光雷达时,优先选择使用激光雷达。
具体实施时,GNSS定位设备和RTK定位设备相比于GPS定位设备、北斗定位设备、GLONASS定位设备、Galileo定位设备的定位结果更精准,若目标车辆为专门用于配合其他任意车辆进行车载双目摄像机测距误差计算的车辆,则优选使用GNSS定位设备或RTK定位设备作为目标车辆的参考车载设备。
可选地,步骤S3进一步包括如下步骤:
步骤S3-1,根据已知的第一距离与参考车载设备之间的关联关系,确定步骤S2计算出的第一距离对应的参考车载设备;
下表为第一距离与参考车载设备之间的关联关系示例:
第一距离 参考车载设备
小于或等于5m TOF相机
大于5m,小于或等于50m 激光雷达
大于50m,小于30km RTK定位设备
大于30km GNSS定位设备
步骤S3-2,利用步骤S3-1确定出的参考车载设备测量当前车辆到目标车辆的第二距离。
具体的,步骤S3-2进一步包括如下步骤:
步骤S3-2-1,当步骤S3-1确定出的参考车载设备是车载定位设备时,启动当前车辆的车载定位设备,测得当前车辆的经纬度坐标;
步骤S3-2-2,向目标车辆发送启动指令,以使目标车辆的车载定位设备被启动并测得目标车辆的经纬度坐标;
步骤S3-2-3,接收目标车辆返回的经纬度坐标;
步骤S3-2-4,根据当前车辆的经纬度坐标和目标车辆的经纬度坐标,计算当前车辆到目标车辆的第二距离。
具体的,假设当前车辆的RTK定位设备定位得到的经纬度坐标为PA(LonA,LatA),目标车辆的RTK定位设备定位得到的经纬度坐标为PB(LonB,LatB)。则根据以下三角公式可以计算出辆车之间的距离:
C=sin(LatA’)*sin(LatB’)*cos(LonA-LonB)+cos(LatA’)*cos(LatB’)
Distance=R*arccos(C)*Pi/180
若车辆处于北半球,则LatA’=90°-LatA,LatB’=90°-LatB
若车辆处于南半球,则LatA’=90°+LatA,LatB’=90°+LatB
其中R=6371004m,为地球半径。
实际应用时,当前车辆和目标车辆上的车载定位设备的启动时间、定位频率可能不同,这就可能造成针对当前车辆和目标车辆定位得到的经纬度坐标的时间戳不一致,即不能获得同一时刻当前车辆和目标车辆的经纬度坐标,进而导致计算出的第二距离存在误差。
另外,车载定位设备的定位频率是离散的(例如RTK定位设备的定位频率为50Hz,即每20ms对车辆进行一次定位),而车载双目摄像机的图像采集频率也是离散的,这就可能导致车载定位设备定位得到的经纬度坐标的时间戳与车载双目摄像机采集图像的时间戳不一致,进而导致第一距离和第二距离不是基于同一时刻的当前车辆和目标车辆的真实位置计算出的,最终导致后续计算出的车载双目摄像机的测距误差不准确。
考虑到以上情况,本发明可先确定当前车辆的车载双目摄像机采集图像的时间戳,然后获取当前车辆和目标车辆上的车载定位设备在该时间戳前后相邻的两次定位结果,最后对该时间戳前后相邻的两次定位结果进行线性插值,以得到当前车辆和目标车辆在该时间戳的经纬度坐标。由于车速是连续的,且车载定位设备相邻两次定位的时间差很短(如20ms),因此经过线性插值得到的经纬度坐标与车辆在相应时刻的真实位置非常近似,插值结果可靠性较高,可以作为后续计算车载双目摄像机测距误差的依据。
例如在一实施例中,当前车辆的车载双目摄像机采集图像的时间戳是T,当前车辆的车载定位设备在时间戳T前后相邻的两次定位时间分别是T1和T2(T1<T<T2),且在T1和T2的定位结果分别是经纬度坐标P1(Lon1,Lat1)、P2(Lon2,Lat2),则可采用如下线性插值公式计算当前车辆在T时刻的经纬度坐标PA(LonA,LatA):
Figure BDA0001811467670000101
Figure BDA0001811467670000102
在该实施例中,目标车辆的车载定位设备在时间戳T前后相邻的两次定位时间分别是T3和T4(T3<T<T4),且在T3和T4的定位结果分别是经纬度坐标P3(Lon3,Lat3)、P4(Lon4,Lat4),则可采用如下线性插值公式计算目标车辆在T时刻的经纬度坐标PB(LonB,LatB):
Figure BDA0001811467670000103
Figure BDA0001811467670000104
在该实施例中,利用T时刻车载双目摄像机采集的图像计算出当前车辆到目标车辆的第一距离,再利用T时刻当前车辆的经纬度坐标PA(LonA,LatA)和目标车辆的经纬度坐标PB(LonB,LatB)计算出当前车辆到目标车辆的第二距离。
步骤S4,将所述第一距离与所述第二距离的差值确定为当前车辆的车载双目摄像机的测距误差。
具体的,当目标车辆有多个时,步骤S3计算出的当前车辆到目标车辆的第二距离也会有多个,这种情况下,步骤S4可以按照如下方式实施:
步骤S4-1,针对步骤S3计算出的每一个第二距离,分别计算第一距离与第二距离的差值;
步骤S4-2,将步骤S4-1计算得到的各个差值的平均值确定为当前车辆的车载双目摄像机的测距误差。
步骤S4通过将车载双目摄像机测得的第一距离与当前车辆到多个目标车辆的第二距离进行对比,可多次计算得出车载双目摄像机的测距误差,再取这些测距误差的平均值作为最终的车载双目摄像机的测距误差,这种处理方式提高了计算结果的准确性和可靠性,有利于对双目测距算法进行评判。
可选地,图1所示的车载双目摄像机测距误差的计算方法还包括:
步骤S5,根据步骤S4计算得到的车载双目摄像机的测距误差,对该车载双目摄像机的双目测距算法进行调整。
具体的,该步骤可以对双目测距算法的各种参数进行调整,并通过循环执行步骤S1~步骤S5,使车载双目摄像机的测距误差尽量降低,逐步提高双目测距算法的准确性。
示例性装置
基于相同的发明思想,本发明还提供一种车载双目摄像机测距误差的计算装置,如图3所示,包括处理器100、存储器200及存储在存储器200上并可在处理器100上运行的计算机程序,所述处理器100在运行所述计算机程序时,执行图1所示的车载双目摄像机测距误差的计算方法。
其中,存储器200中的计算机程序被运行时所执行的方法与图1所示的车载双目摄像机测距误差的计算方法基于相同的发明思想实现,且有相同的非限制性实施方式,具体可参照前面示例性方法中对图1所示方法的介绍,此处不再赘述。
可选地,本发明中,处理器100可以通过电路、芯片或其他电子部件来实现。例如,处理器100还可以包括一个或多个微控制器、一个或多个现场可编程门阵列(FPGA)、一个或多个专用电路(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个集成电路等。
可选地,本发明中,存储器200可以通过电路、芯片或其他电子部件来实现。例如,存储器200可以包括一个或多个只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、电可编程存储器(EPROM)、电可编程和可擦除存储器(EEPROM)、嵌入式多媒体卡(eMMC)、硬盘驱动器或任何易失性或非易失性介质等。
可选地,本发明中,车载双目摄像机测距误差的计算装置装载于具有车载双目摄像机的自动驾驶车辆(当前车辆)上。
基于相同的发明思想,本发明还提供一种计算机可读的存储介质,其上存储有计算机程序,该计算机程序被处理器运行时本发明提供的车载双目摄像机测距误差的计算方法。该存储介质可以是一个或多个只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、电可编程存储器(EPROM)、电可编程和可擦除存储器(EEPROM)、嵌入式多媒体卡(eMMC)、硬盘驱动器或任何易失性或非易失性介质等。
本发明提供的车载双目摄像机测距误差的计算方法和装置具有如下有益效果:
(1)一旦确定目标车辆,即可计算车载双目摄像机的测距误差,即使在车辆行驶过程中也可以进行;
(2)目标车辆可以是专门配合计算车载双目摄像机测距误差的车辆,也可以是任意的车辆,可选择性高,为执行提供了方便;
(3)可根据当前车辆到目标车辆的第一距离的长短情况,选择不同类型的参考车载设备,例如实际距离较短时选择独立测距设备直接测量当前车辆到目标车辆的第二距离,实际距离较长时选择车载定位设备先对当前车辆和目标车辆定位,再计算当前车辆到目标车辆的第二距离,通过以上选择,可尽量提高测量精度、加快测量速度、减少计算量;
(4)通过对当前车辆和目标车辆上的车载定位设备的定位结果进行线性插值,可以得到车载双目摄像机采集图像的时间戳对应的当前车辆和目标车辆的位置数据,尽量降低因车载定位设备的启动时间、定位频率和车载双目相机的启动时间、采集频率不一致所导致的计算误差;
(5)确定多个目标车辆,通过多次计算车载双目摄像机的测距误差,再取这些测距误差的平均值作为最终的测距误差,提高了计算结果的准确性和可靠性;
(6)该方法简单、实用、准确性高,有利于评判和调整双目测距算法。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logicalblock),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元,或装置都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims (14)

1.一种车载双目摄像机测距误差的计算方法,其特征在于,包括:
步骤1,在当前车辆的车载双目摄像机拍摄的图像中确定目标车辆,所述目标车辆和当前车辆均为行驶中的车辆,且所述目标车辆行驶在当前车辆的前方,该步骤具体包括:
广播测距请求消息;接收其他车辆返回的测距同意消息;从所述测距同意消息中解析出可视觉识别特征;当从所述车载双目摄像机拍摄的图像识别出所述可视觉识别特征时,确定返回测距同意消息的所述其他车辆为目标车辆;
步骤2,利用所述车载双目摄像机拍摄的图像计算当前车辆到目标车辆的第一距离,根据已知的第一距离与参考车载设备之间的关联关系,确定所计算出的第一距离对应的参考车载设备;
步骤3,利用当前车辆和/或目标车辆的所述第一距离对应的参考车载设备测量当前车辆到目标车辆的第二距离;
步骤4,将所述第一距离与所述第二距离的差值确定为所述车载双目摄像机的测距误差;
步骤5,根据所述车载双目摄像机的测距误差,调整车载双目摄像机的双目测距算法。
2.根据权利要求1所述的车载双目摄像机测距误差的计算方法,其特征在于,所述步骤1包括:
判断所述车载双目摄像机拍摄的图像中是否有符合预定条件的车辆;
若有,则将所述符合预定条件的车辆确定为目标车辆。
3.根据权利要求2所述的车载双目摄像机测距误差的计算方法,其特征在于,所述符合预定条件包括如下各项中的一项或多项:
具有预定的车牌号码;
车身设置有预定的标识;
车灯按照预定规则闪烁。
4.根据权利要求1所述的车载双目摄像机测距误差的计算方法,其特征在于,所述可视觉识别特征包括如下各项中的一项或多项:车牌号码、车辆类型、车辆所在车道的标识、车灯闪烁规则。
5.根据权利要求1所述的车载双目摄像机测距误差的计算方法,其特征在于,接收其他车辆返回的测距同意消息,包括:接收多个其他车辆返回的测距同意消息;
则,确定返回测距同意消息的所述其他车辆为目标车辆,包括:
判断返回测距同意消息的多个其他车辆是否都出现在所述车载双目摄像机拍摄的图像中;
若确定所述多个其他车辆中有至少一个其他车辆出现在所述车载双目摄像机的拍摄图像中,则将该至少一个其他车辆确定为目标车辆,或者,从该至少一个其他车辆中筛选出一个或多个确定为目标车辆。
6.根据权利要求5所述的车载双目摄像机测距误差的计算方法,其特征在于,从该至少一个其他车辆中筛选出一个或多个确定为目标车辆,包括:
获取该至少一个其他车辆的参考车载设备的测量精准度;
将其中测量精准度最高的参考车载设备所在的其他车辆确定为目标车辆。
7.根据权利要求5所述的车载双目摄像机测距误差的计算方法,其特征在于,从该至少一个其他车辆中筛选出一个或多个确定为目标车辆,包括:
获取该至少一个其他车辆使用的参考车载设备的类型;
判断当前车辆使用的参考车载设备为车载定位设备时,将该至少一个其他车辆中也使用车载定位设备的其他车辆确定为目标车辆;
所述车载定位设备为以下各项中的一项或多项:全球定位系统GPS定位设备、载波相位差分RTK定位设备、北斗卫星定位系统定位设备、GLONASS定位系统定位设备、Galileo定位系统定位设备、全球导航卫星系统GNSS定位设备。
8.根据权利要求1所述的车载双目摄像机测距误差的计算方法,其特征在于,所述步骤3包括:利用当前车辆或目标车辆的独立测距设备测量当前车辆到目标车辆的第二距离;
所述独立测距设备为以下各项中的一项或多项:飞行时间TOF相机、激光雷达、超声波雷达、毫米波雷达。
9.根据权利要求1所述的车载双目摄像机测距误差的计算方法,其特征在于,所述步骤3包括:
利用当前车辆和目标车辆的车载定位设备分别测量当前车辆和目标车辆的位置;
根据当前车辆和目标车辆的位置计算当前车辆到目标车辆的第二距离;
所述车载定位设备为以下各项中的一项或多项:全球定位系统GPS定位设备、载波相位差分RTK定位设备、北斗卫星定位系统定位设备、GLONASS定位系统定位设备、Galileo定位系统定位设备、全球导航卫星系统GNSS定位设备。
10.根据权利要求9所述的车载双目摄像机测距误差的计算方法,其特征在于,当所述第一距离对应的参考车载设备是车载定位设备时,所述步骤3包括:
启动当前车辆的车载定位设备,测得当前车辆的经纬度坐标;
向目标车辆发送启动指令,以使目标车辆的车载定位设备被启动并测得目标车辆的经纬度坐标;
接收目标车辆返回的经纬度坐标;
根据当前车辆的经纬度坐标和目标车辆的经纬度坐标,计算当前车辆到目标车辆的第二距离。
11.根据权利要求10所述的车载双目摄像机测距误差的计算方法,其特征在于,根据当前车辆的经纬度坐标和目标车辆的经纬度坐标,计算当前车辆到目标车辆的第二距离,包括:
确定所述车载双目摄像机采集图像的时间戳;
对当前车辆和目标车辆上的车载定位设备在该时间戳前后相邻的两次定位结果进行线性插值,得到当前车辆和目标车辆在该时间戳的经纬度坐标;
利用当前车辆和目标车辆在该时间戳的经纬度坐标计算当前车辆到目标车辆的第二距离。
12.根据权利要求1所述的车载双目摄像机测距误差的计算方法,其特征在于,所述目标车辆为多个;
则,所述步骤3包括:计算当前车辆到每一个目标车辆的第二距离;
所述步骤4包括:针对当前车辆到每一个目标车辆的第二距离,分别计算其与第一距离的差值;将计算得到的各个差值的平均值确定为当前车辆的车载双目摄像机的测距误差。
13.一种车载双目摄像机测距误差的计算装置,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器在运行所述计算机程序时,执行权利要求1~12任一项所述的方法。
14.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时实现权利要求1~12任一项所述的方法。
CN201811122289.9A 2018-09-26 2018-09-26 一种车载双目摄像机测距误差的计算方法和装置 Active CN109166155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811122289.9A CN109166155B (zh) 2018-09-26 2018-09-26 一种车载双目摄像机测距误差的计算方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811122289.9A CN109166155B (zh) 2018-09-26 2018-09-26 一种车载双目摄像机测距误差的计算方法和装置

Publications (2)

Publication Number Publication Date
CN109166155A CN109166155A (zh) 2019-01-08
CN109166155B true CN109166155B (zh) 2021-12-17

Family

ID=64892500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811122289.9A Active CN109166155B (zh) 2018-09-26 2018-09-26 一种车载双目摄像机测距误差的计算方法和装置

Country Status (1)

Country Link
CN (1) CN109166155B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111664829A (zh) * 2019-03-08 2020-09-15 上海博泰悦臻电子设备制造有限公司 一种校正方法、装置及计算机存储介质
CN110188665B (zh) * 2019-05-28 2022-02-22 阿波罗智联(北京)科技有限公司 图像处理方法、装置以及计算机设备
CN112446920A (zh) * 2019-09-05 2021-03-05 华为技术有限公司 一种摄像机位置的确定方法及装置
CN111835811B (zh) * 2019-10-12 2023-07-18 广州骑安科技有限公司 用于校正车辆位置的方法、电子设备和计算机可读介质
CN111601101A (zh) * 2020-04-30 2020-08-28 欧菲微电子技术有限公司 摄像头的精度评测方法、装置、系统及电子设备
CN112130178A (zh) * 2020-09-27 2020-12-25 北京百度网讯科技有限公司 车载单元定位误差测试方法、装置及车路协同测试方法
CN112729341A (zh) * 2020-11-20 2021-04-30 上海汽车集团股份有限公司 一种视觉测距精度测试方法及系统
CN112926493B (zh) * 2021-03-19 2023-11-03 浙江大华技术股份有限公司 一种车牌检测方法、装置、设备及介质
CN113777616A (zh) * 2021-07-27 2021-12-10 武汉市异方体科技有限公司 一种运动车辆测距方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法
CN101900531A (zh) * 2010-07-14 2010-12-01 北京理工大学 双目视觉位移测量误差的测算方法及测量系统
CN102358333A (zh) * 2011-08-16 2012-02-22 郭建国 高速列车防追尾无线信号系统
CN102661733A (zh) * 2012-05-28 2012-09-12 天津工业大学 一种基于单目视觉的前方车辆测距方法
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN106926843A (zh) * 2017-03-17 2017-07-07 奇瑞汽车股份有限公司 一种用于观光电动汽车的自动驾驶控制系统及控制方法
CN107167826A (zh) * 2017-03-31 2017-09-15 武汉光庭科技有限公司 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032264B2 (en) * 1999-12-15 2011-10-04 Automotive Technologies International, Inc. Vehicular heads-up display system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法
CN101900531A (zh) * 2010-07-14 2010-12-01 北京理工大学 双目视觉位移测量误差的测算方法及测量系统
CN102358333A (zh) * 2011-08-16 2012-02-22 郭建国 高速列车防追尾无线信号系统
CN102661733A (zh) * 2012-05-28 2012-09-12 天津工业大学 一种基于单目视觉的前方车辆测距方法
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN106926843A (zh) * 2017-03-17 2017-07-07 奇瑞汽车股份有限公司 一种用于观光电动汽车的自动驾驶控制系统及控制方法
CN107167826A (zh) * 2017-03-31 2017-09-15 武汉光庭科技有限公司 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于车载系统双目CCD相机测距;张颖红;《实践方法》;20161231;57-62页 *

Also Published As

Publication number Publication date
CN109166155A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109166155B (zh) 一种车载双目摄像机测距误差的计算方法和装置
CN109215083B (zh) 车载传感器的外部参数标定的方法和设备
US11448770B2 (en) Methods and systems for detecting signal spoofing
US20150378015A1 (en) Apparatus and method for self-localization of vehicle
EP3350618B1 (en) Method and system of location estimation and navigation of autonomous vehicles
CN110795984A (zh) 信息处理方法、信息处理装置及程序记录介质
CN109828571A (zh) 基于v2x的自动驾驶车辆、方法和装置
CN111507129B (zh) 车道级定位方法及系统、计算机设备、车辆、存储介质
CN111742326A (zh) 车道线的检测方法、电子设备与存储介质
CN110906939A (zh) 自动驾驶定位方法、装置、电子设备、存储介质及汽车
CN106405601A (zh) 车辆定位方法、装置和车辆
CN114764876A (zh) 用于感知融合算法的评价方法以及评价装置
CN111982532A (zh) 一种自动泊车性能评价方法
CN112292582A (zh) 用于生成高清晰度地图的方法和系统
KR20180048985A (ko) 주변 환경에서 자동차를 정밀 위치 추적하기 위한 방법, 디바이스, 맵 관리 장치 및 시스템
CN111522003A (zh) 车辆定位方法及系统、计算机设备、车辆、存储介质
CN114034307A (zh) 基于车道线的车辆位姿校准方法、装置和电子设备
EP3640665A1 (en) Method to improve the determination of a position of a roadside unit, roadside unit and system to provide position information
JP2020067402A (ja) センサ校正方法、及びセンサ校正装置
CN113093104A (zh) 一种定位方法、装置和车辆
US20230111364A1 (en) Method for detecting crosswalk using lidar sensor and crosswalk detection device for performing the method
CN113192353B (zh) 地图生成用数据收集装置、地图生成用数据收集方法以及车辆
CN112781893B (zh) 一种车载传感器性能测试数据的空间同步方法、装置及存储介质
CN114383620A (zh) 车辆精准位置获取方法、系统、可读存储介质及车辆
CN111323029A (zh) 导航方法及车载终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200327

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant