CN104715473B - 用于对自动车辆车载的摄像机的位置进行角度校准的方法 - Google Patents

用于对自动车辆车载的摄像机的位置进行角度校准的方法 Download PDF

Info

Publication number
CN104715473B
CN104715473B CN201410765830.3A CN201410765830A CN104715473B CN 104715473 B CN104715473 B CN 104715473B CN 201410765830 A CN201410765830 A CN 201410765830A CN 104715473 B CN104715473 B CN 104715473B
Authority
CN
China
Prior art keywords
angle
image
lane
width
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410765830.3A
Other languages
English (en)
Other versions
CN104715473A (zh
Inventor
L·舍瓦尔雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot SA
Original Assignee
Parrot Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Motor Co Ltd filed Critical Parrot Motor Co Ltd
Publication of CN104715473A publication Critical patent/CN104715473A/zh
Application granted granted Critical
Publication of CN104715473B publication Critical patent/CN104715473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Abstract

该方法包括在车辆正在运行时拍摄对公路的各行车道进行划界的公路标记的图像,并包括通过迭代过程基于并排位于图像上的两个车道的位置完全估计相机相对于车辆的定向。该校准主要包括:纠正图像中的车道边缘的位置(10,12);估计残余俯仰和偏航(16);更新旋转矩阵(18);估计残余滚转(20);更新旋转矩阵(24)。这些步骤被迭代,直到由每一模块所估计出的纠正角是可忽略的(22)。

Description

用于对自动车辆车载的摄像机的位置进行角度校准的方法
本发明涉及对车辆(尤其为自动车辆)车载的相机的位置进行角度校准。
它尤其适用于计算机辅助驾驶系统的初始校准,而不管计算机辅助驾驶系统是作为不具有特定校准的“原始装备”在工厂中安装的还是作为“售后装备”被用户安装在用户车辆上的的。需要校准相机定向的情况的另一示例是对智能电话应用的使用,该智能电话应用使用安装在固定于车辆的仪表板或挡风玻璃的支架上的这个智能电话的相机所拍摄的图像。
许多计算机辅助驾驶系统都是已知的,其使得图像被固定于车辆中并“观察”公路的相机拍摄。各算法允许执行诸如以下的各种功能:驶离公路检测、估计与其他车辆的距离、防撞警报、障碍物检测等。
对于所有这些应用而言,准确知道相机相对于车辆的位置和定向是必须的。
在所有这些情况下,相机的安装可能是非常近似的,这要求该应用在能够适当地分析相机所递送的信号之前对该信号进行重大的校正。可能还需要继续进行对校正参数的后续重调,例如以补偿容易被安装所经历的变形。
由于车辆型号的多样性和技术约束的多样性,将相机安装在准确位置是困难的。如果在平动自由度方面确定相机在车辆中的位置(测量相机的焦点与车辆中央或地面水平面之间的距离)相对简单,那么在另一方面,在旋转自由度方面准确测量相机的定向相对于车辆的定向(即,确定相机的光轴与车辆的纵轴之间的角度偏离)要困难的多。
本发明的目的是提出一种对车辆车载的相机的定向进行自动校准的方法,其中相机的固有参数(焦距、分辨率、失真)是已知的,但相机相对于车辆的相对定向是未知的。
如将明白的,该方法不需要驾驶员的干预,并且是在车辆正在正常运行时基于相机所拍摄的场景的图像直接实现的。还将明白,该方法同样可适用于位于车辆前面的相机或位于其后面的相机,例如后视相机,或跟随所配备的车辆的、用于估计与车辆的距离的相机。
角度校准包括评估与相机相关的坐标系和与车辆相关的坐标系之间的旋转(其可被表达为矩阵)。
该旋转可被分解为分别由俯仰、滚转和偏航角度定义的三个基本旋转。对相机和车辆之间的旋转的完全估计因此需要确定这三个角度。
许多角度校准方法已经被提出。
在这些方法中,多个方法允许完全估计相机和车辆之间的旋转,但例如由于对固定于该系统的特定网格、置于地面或墙上的交错标签、或固定于车辆的车盖并由相机可见的标记的使用而需要人类干预和/或先前步骤。
到现在为止,不使用外部元件并且不需要人类干预的其他方法仅允许部分校准,因为不可能一起估计所有的旋转自由度(俯仰、滚转、偏航)。
具体地,已提出了具体通过分析地平线在相机所拍摄的场景的图像中的位置和/或消失点在该图像中的位置来估计俯仰和偏航旋转的许多方法,如在例如FR 2 874 300A1中所描述的。
但这些技术允许仅自动估计相机和车辆之间的俯仰角和偏航角,但不估计滚转角。
其他方法(诸如由例如US 2011/0228181 A1和US 2009/0290032 A1所提出的那些方法)基于标识出位于地面的兴趣点(“特征区域”),这些兴趣点是普通点但必须被命令性地从一个图像到下一图像找到。因此必须具有连续的图像序列,并实现允许可靠地标识出两个接近图像中的“相同”兴趣点以便能够跟随该点从一个图像到紧接其后的图像的位移的复杂算法。
它仅将以涉及多对相机的技术的方式来提到,这些相机产生场景的立体表示。校准一对相机的位置要简单地多,但如在目前情况下,已实现的技术不可调换成单个相机。
本发明具有通过提出以下技术来解决以上提到的问题的目的:在公路上驾驶阶段期间,以完全自动的方式而无需用户的干预也无需在先前阶段使用任何标记或目标,对车辆车载的(单个)相机的定向进行全角度校准(即,根据俯仰、滚转和偏航三个自由度)。
本发明的另一目的是提供使得其实现既不需要连续的图像序列也不需要检测并跟踪两个接近图像中的兴趣点的复杂算法的校准技术。
本发明的基本概念包括在车辆正在运行时拍摄对公路的各行车道进行划界的公路标记的图像,并包括通过迭代过程基于并排位于图像上的两个车道的位置(例如(车辆在其上运行的)中央车道的宽度以及位于中央车道左边和/或右边的车道的宽度)来完全估计相机相对于车辆的定向。
具体地,如此后将明白的,“边缘”检测必须被理解为对由公路边界和/或行车道分隔符(连续或短划线白线)所形成的线的检测,其中这样的检测可由不需要从一个图像到下一图像地标识、识别和跟踪地面上的“相同”点的非常简单的算法来实现。一旦执行了识别这些线的步骤后,需要很少用于该校准的算法,并且没有必要具有附加的兴趣点。
另一优点在于根据本发明的校准即使在不存在连续的图像序列也不存在检测和跟踪两个接近图像中的兴趣点的复杂算法的情况下也可被获得。具体地,本发明可基于不连续的图像(例如,在不同位置处记录的图像)来实现。
此外,本发明不需要准确地知道车辆的高度或车道的宽度。仅逼近量被用来初始化这些值,这些值将通过算法来估计。
更精确地,本发明提议了一种以上提到的FR 2 874 300 A1所公开的以下通用类型的方法,即在车辆在公路上的位移阶段期间,包括以下步骤:
a)拍摄公路的场景的视频图像序列,该序列中的每一图像包括表示平行行车道的地面标记的多个感兴趣迹线;
b)检测这些视频图像上的边缘以获得每一图像中对应于所述感兴趣迹线的直线边缘列表;
c)通过向每一边缘应用根据校准矩阵的估计的旋转来纠正该边缘列表;
d)通过检测向在步骤c)获得的经纠正边缘列表应用的消失点的方法来计算残余俯仰角和偏航角;
e)通过应用根据在步骤d)计算出的残余俯仰角和偏航角的旋转来更新校准矩阵的估计。
本发明的特征在于,该方法还包括以下后续步骤:
f)通过以下方式基于在步骤c)获得的经纠正边缘列表以及在步骤e)获得的对校准矩阵的估计来计算残余滚转角:
基于该边缘列表来估计至少两个行车道的相应宽度;
比较这样估计出的相应宽度,并计算至少一个车道宽度差异;以及
假设这些车道的真实宽度是相同的情况下,根据这样计算的宽度差异来计算滚转角;
g)通过应用根据在步骤f)计算出的残余滚转角的旋转来更新校准矩阵的估计;以及
h)对至少一个图像序列迭代步骤c)到g),直到残余俯仰角、偏航角和滚转角小于预定阈值。
非常有利地,估计滚转角的步骤f)包括以下后续步骤:
f1)通过向每一边缘应用根据对校准矩阵的估计的旋转和根据对滚转矩阵的估计的旋转来纠正边缘列表;
f2)对于每一图像,基于在步骤f1)获得的边缘列表并根据车道宽度参考:
计算在该图像中检测到的每一行车道的宽度,以及
为在该图像中检测到的每一对行车道计算残余滚转角;
f3)对于该图像序列,根据在步骤f2)针对该序列中的不同图像估计出的车道宽度来计算平均宽度;
f4)对于该图像序列,基于在步骤f2)针对该序列中的不同图像计算出的残余滚转角来计算平均残余滚转角;
f5)通过应用根据在步骤f4)计算出的平均残余滚转角的旋转来更新滚转矩阵,以及
依据在步骤f3)计算出的平均宽度来更新平均参考宽度;
f6)迭代步骤f1)到f5),直到残余滚转角小于预定阈值;以及
f7)提取基于滚转矩阵所估计出的滚转角。
在优选实施例中,计算每一行车道的宽度和每一对行车道的滚转角的步骤f2)包括:
在于当前图像中检测到两个以上行车道的情况下,将三个车道宽度值和两个残余滚转角值作为输出来递送;
在于当前图像中检测到两个行车道的情况下,将仅两个车道宽度值和一个滚转角值作为输出来递送;
在于当前图像中检测到仅一个行车道的情况下,将仅一个车道宽度值作为输出来递送。
具体地,估计这些行车道中的每一个的宽度可包括应用以下关系:
是对车道宽度的估计,
Hv是相机相对于地面的高度,
α是车辆相对于其所运行的车道的轴的角度,以及
a1和a2是对图像中的行车道进行划界的边缘的指示系数。
在步骤f2),估计滚转角可包括应用以下关系:
W是宽度车道参考或其估计,
是所考虑的一对车道的车道宽度估计,
α是车辆相对于其所运行的车道的轴的角度,以及
Hv是相机相对于地面的高度。
现在将参考附图描述本发明的示例性实施例,在所有附图中,相同的附图标记指示相同或功能上相似的元素。
图1是配备有前置相机的车辆的示意性表示,该示意表示示出了本发明的校准方法中所涉及的相应坐标系。
图2是相机所拍摄的场景示例,该场景示例示出了对行车道进行划界的地面标记以及各直线与这个表示相对应的直线的几何形状。
图3是通用功能框图,该通用功能框图解释了本发明的校准方法的操作模式。
图4是详细解释图3的图表的滚转估计算法的功能框图。
图5是详细解释图4的图表的车道宽度分析算法的功能框图。
图1示出了用于定义相机C相对于车辆的位置和定向的不同坐标系。
它们是以下坐标系:
相机坐标系(Xc,Yc,Zc),(Xc,Yc,Zc)对应于相机的各轴,轴Zc是小孔模型的光轴,且轴Xc和Yc对应于小孔模型的光平面的轴;
车辆坐标系(Xv,Yv,Zv),其中轴OZv对应于车辆的纵轴,且平面(OXv,OZv)对应于地面;以及
基于公路的全球坐标系(Xg,Yg,Zg),轴Zg对应于公路的轴。
校准的目的是确定存在于车辆坐标系和相机坐标系之间的旋转。
考虑普通点,其中Pv是其在车辆坐标系中的坐标,且Pc是其在相机坐标系中的坐标。我们有
其中,T是这两个坐标系的原点O和C之间的平移。
通过定义车辆坐标系,我们具有:
T=[0 -Hv 0]T
其中,Hv是从相机到车辆坐标系中的点O的距离(高度)。
它还可被写成:
R=RotX×RotY×RotZ
其中:
其中,ax、ay和az分别对应于俯仰角、偏航角和滚转角。
图2示出了由相机拍摄的场景示例,该场景示例示出了对行车道进行划界的地面标记,在本示例中这些行车道具有中央车道VC、右车道VD和左车道VG。这些车道在该图像中由直线D1…D4来定义,这些直线D1…D4对应于在相机所收集的该图像中对这些行车道进行划界的地面标记(这些标记此后被称为“边缘”)的迹线。
更一般地,在图像上获得的车道边缘将用Dk来表示,并且在连续图像的序列上获得的各边缘的列表由{(Dk)i}来表示。
对旋转的估计将用Re来表示。基于该估计,在虚拟相机的图像中的各边缘相对于相机在旋转Re方面的位置可被容易地计算出。这些边缘或经纠正边缘将用来表示。图像序列的经纠正边缘的列表将用来表示。
对边缘的提取(即,对定义图像中的直线Dk的参数的确定)通过传统的图像分析技术来执行,例如通过以下方式来执行:检测边界(其将图像变换成二进制值表,向该二进制值表应用梯度计算技术),随后执行Hough变换,Hough变换是允许非常快速地检测到数字化图像中的直线并表征这些直线的公知技术(其原理具体在US3 069 654 A中展示)。
在表现出失真的图像的情况中(即,边缘的迹线在相机所拍摄的原图中将不是直线),该失真将在检测边缘之前得到纠正,这些边缘稍后将被假设为是直线。
根据本发明的自动校准算法
现将参考图3的一般示图(其部分将由图4和5更详细地解释)来描述允许表征相机相对于车辆的角位置(即,确定以上定义的相应俯仰角、偏航角和滚转角ax、ay和az,)的本发明的校准方法的操作模式。
图3到图5的示图是示出校准过程的不同步骤的功能框图。要注意,尽管这些示图被表示为互连框,但这些不同功能是以软件形式实现的,这种表示仅是解说性的。
由于其非线性特征,本发明的方法实现迭代算法,其中该算法可在一图像序列上迭代,或者在几个图像序列上迭代,在每一迭代中序列被改变。该第二种可能性允许限制测量误差对视频的一部分的影响;对俯仰角、滚转角和偏航角的第一估计将因此被获得,并且该估计将随后随着时间以及各后续序列进行而被细化。
还将注意,本发明的方法可允许初始的校准,以及通过细微地纠正在相机的使用期间易于出现的机械变形(例如,相机由所经受的振动、温度变化等所造成的在其支架上的位移)来实现的稍后重校准。
最终将注意到,本发明的方法可适用于安装在车辆中并观察公路的任何类型的相机,而不管该相机是位于汽车前面的相机还是后视相机,只要所拍摄的场景包括至少两个恒定宽度的平行行车道即可。
该校准主要包括以下步骤:
通过估计旋转Re来纠正各边缘的位置(框12);
估计残余俯仰和偏航(框16);
更新旋转矩阵(框18);
估计残余滚转(框20);
更新旋转矩阵(框24)。
这些步骤被迭代,直到每一模块所估计出的纠正角是可忽略的(框22的测试)。
更精确地,边缘检测处理(框10)被应用于输入图像序列,其允许获得边缘列表{(Dk)i}。
此边缘列表是通过应用对于当前迭代为期望旋转的估计的旋转Re来纠正的(框12)。最初,此估计Re依据如由开关14概略表示的身份矩阵Id来初始化。
基于经纠正边缘列表该算法根据这两个组件来估计(框16)对应于迭代算法的误差信号的残余俯仰角和偏航角
由框16所操作的估计有利地由消失点方法(其是公知方法)来执行:实质上,该方法考虑该图像中的消失点,其是该图像中的公路的所有边缘的交点。令(uVP,vVP)为该图像中的这个消失点的坐标,且f是是相机的焦距,如果车辆优选与公路对齐,则与地面相关的全球坐标系(Xg,Yg,Zg)以及与车辆相关的坐标系(Xv,Yv,Zv)是相同的,并且会获得以下结果:
VVP=tan(ax)×f
而不管滚转角az是什么。
因此,可获得俯仰角ax和偏航角ay
在实践中,车辆永远不会与公路的轴完美地对齐,使得先前的等式不再准确。为了补偿这个,图像序列被使用,该图像序列长到足以使得车辆可被认为在该序列的持续时间内与公路大体对齐,并且针对每一图像计算这些边缘的交点,随后所有这样计算的交点的平均值被确定,以便定义消失点,该消失点的坐标将随后允许估计俯仰和偏航。
以下步骤(框18)包括通过向先前迭代的值Re应用依据通过框16所确定的残余俯仰和偏航值的补偿旋转来更新旋转矩阵
这样纠正的旋转矩阵Re随后被应用于残余滚转的估计模块(框20),从而实现本身迭代的算法,其细节将在此后参考图4和图5来展示。
构成该循环的误差信号的残余俯仰、偏航和滚转值被测试(框22),并且该算法在被新更新需要的情况下被迭代(框24),以操作滚转纠正(俯仰和偏航已经在框18被纠正)。得到的旋转矩阵Re将构成框12处的算法的针对接下来的迭代的新输入值。
该过程随后被继续,直到残余俯仰角、偏航角和滚转角被认为是可忽略的(框22的测试)。如果情况是这样的,则意味着该算法已收敛,并且在针对依据之前确定的最后值的滚转纠正应用了最后更新(与框24相同的框26)后,最终估计出的值Re可随后作为输出被递送。
滚转角的估计模块
图4以更详细的方式示出了对残余滚转的确定是如何通过图3处的框20来操作的。
该方法基于以下原理:对于给定图像,估计该图像上可见的各车道(已被检测到的中央车道和左和/或右车道)的宽度:将有可能使用车道的估计宽度和真实宽度之间的差异来估计滚转。
由滚转引起的旋转将被表示为Rz并且对参考车道宽度的估计(其不是已知的)将被表示为We
为了朝向滚转和真实宽度的正确估计收敛,该算法作出若干迭代。在每一迭代处,使用先前估计Rz来纠正这些边缘,随后估计残余滚转角δaz
该算法的输入是:
对其应用边缘检测模块(框10)的图像序列。边缘列表{(Dk)i}被获得;
纠正矩阵Re,该纠正矩阵Re来自俯仰和偏航纠正模块(图3的框16),并可能来自对整个算法的先前迭代;
对公路的参考宽度的初始化(由开关30概略表示)(例如We=3m),以及对由滚转引起的旋转的估计的初始化:Rz=Id.
以下步骤被迭代,直到残余滚转δaz足够小(框38的测试):
使用Rz x Re纠正这些边缘以纠正俯仰、偏航、及滚转的部分(框28);
对于每个图像:估计每一对车道的宽度和滚转(框32,其细节将在此后参考图5来描述);
在给定残余滚转δaz的情况下,对整个序列上的角度求平均(框34);
基于在整个序列期间估计的宽度来估计新宽度
更新Rz(框40)。
更精确地,关于估计参考宽度的步骤(框36),为了估计这些车道的真实宽度,整个图像序列被使用,基于该图像序列计算出右、左和中间车道的宽度(标准图像)。这些宽度的平均是随后根据车道类型来计算的,并且所获得的最小宽度被使用。对该最小值的使用允许将具有负因素的风险限制到最低。
在图像序列中,该模块不总是检测若干车道。当在单个图像上检测到中央车道时,对其宽度的估计均同样被用于估计参考宽度,但不可能计算该图像的滚转的估计。
在计算每个图像的滚转的平均值的时刻,验证已存在足够的图像,针对这些图像,已检测到了若干车道。
随着迭代的继续,对车道的真实宽度的估计收敛(框38的测试)。
该算法随后由提取(框42)角度az的值使得Rz=Rot(az)来结束,从而允许测量滚转纠正的重要性。
估计车道宽度和残余滚转的模块
图5更详细地示出了由图4的框32所执行的操作。
对于给定图像,该估计如下操作:
检测图像的边缘Dk(框10),除了中央车道外,该模块还可能检测右车道或左车道;
纠正所估计的旋转,尤其纠正偏航和俯仰(图4的框28);
估计每一可见车道的宽度:中央车道(框44)和右和/或左车道(框46)(如果右和/或左车道在相机的图像上可见的话);
对于每一对车道:估计残余滚转(框48)。
如果检测到三个车道,则每一车道的宽度和两个滚转纠正角and被估计出。如果仅检测到两个车道,则单个滚转纠正角度被估计出。如果仅检测到中央车道,则其宽度被估计,但不存在滚转估计。
更精确地,对车道的宽度的估计(框44、46)使用这些车道边缘的直线的等式,这样的等式由边缘检测模块10为每一图像给出。更精确地,车道由(在左边和在右边的)两个边缘定义,其具有以下等式:
D左t:u=a1v+b1 D:u=a2v+b2
基于这些边缘,可将宽度估计为:
其中,α表示车辆和公路之间的角度,且Hv表示相机的高度。
如果相机相对于地面的高度Hv已知,则这个值可被有用地用于计算滚转角;在相反的情况下,有可能取任何任意值,例如Hv=1m,其随后将在该算法的迭代期间被消除。实际上,每一车道的宽度的估计与Hv成正比。但是,由于We是基于这些测量估计出的,因此We也与Hv成正比,而az因此不依赖于Hv。Hv的单个影响是在We的初始化期间:如果Hv是未知的,则仅有必要赋予其与We的初始化一致的合适值,以便没有必要知道相机的真实高度。
由于b1=b2=f tan(α),因此有可能通过下式估计出每一图像的α:
估计车道宽度的先前公式仅在边缘被完美地纠正的情况下才是有效的。当保留有部分旋转时,它只是宽度的估计,但由于迭代,该估计将朝向好的结果收敛。
该计算对中间车道和对右车道和左车道一样有效。
关于对每一对车道的残余滚转的估计,由我们作主来检测两个平行车道(例如中间车道和左车道)。由于车道的宽度已针对每一图像估计出,并且W表示车道的参考宽度,因此可证明滚转az可通过应用以下表达式来计算出:
该关系是一阶逼近,其在az较小时是有效的。Hv是相机相对于地面的高度,且表示车辆和公路之间的角度的α是基于车道边缘的等式来估计的。
对右车道和中间车道对应用相同的公式。

Claims (5)

1.一种通过估计定义在与相机相关的坐标系(Xc,Yc,Zc)和与车辆相关的坐标系(Xv,Yv,Zv)之间的旋转的校准矩阵(Re)来对自动车辆车载的摄像机的位置进行角度校准的方法,所述旋转被定义为俯仰角(ax)、偏航角(ay)和滚转(az)角,
在所述车辆在公路上的位移阶段期间,所述方法包括以下步骤:
a)拍摄所述公路的场景的视频图像序列,所述序列中的每一图像包括表示平行的行车道的地面标记的多个感兴趣迹线;
b)检测所述视频图像上的边缘(10)以获得每一图像中对应于所述感兴趣迹线的直线边缘列表(Dk);
c)通过向每一边缘应用根据校准矩阵的估计的旋转来纠正(12)所述边缘列表;
d)通过检测向在步骤c)获得的经纠正边缘列表应用的消失点的方法来计算(16)残余俯仰角和偏航角;
e)通过应用根据在步骤d)计算出的所述残余俯仰角和偏航角的旋转来更新(18)所述校准矩阵的估计;
所述方法的特征在于,所述方法包括以下后续步骤:
f)通过以下方式从在步骤c)获得的经纠正边缘列表以及在步骤e)获得的所述校准矩阵的估计中计算(20;28,32,34,35)残余滚转角:
基于所述边缘列表来估计至少两个行车道的相应宽度;
比较这样估计出的相应宽度,并计算至少一个车道宽度差异;以及
假设所述车道的真实宽度是相同的情况下,根据这样计算出的宽度差异来计算所述滚转角;
g)通过应用根据在步骤f)计算出的所述残余滚转角的旋转来更新(40)所述校准矩阵的估计;以及
h)对至少一个图像序列迭代步骤c)到g),直到所述残余俯仰角、偏航角和滚转角小于预定阈值。
2.如权利要求1所述的方法,其特征在于,估计所述滚转角的步骤f)包括如下后续步骤:
f1)通过向每一边缘应用根据所述校准矩阵的估计的旋转和根据滚转矩阵的估计的旋转来纠正(28)所述边缘列表;
f2)对于每一图像,基于在步骤f1)获得的所述边缘列表并根据车道宽度参考(We):
计算(32)在所述图像中检测到的所述行车道中的每一个行车道的宽度,以及
为在所述图像中检测到的每一对行车道计算(32)残余滚转角;
f3)对于所述图像序列,根据在步骤f2)针对所述序列中的不同图像估计出的车道宽度来计算(36)平均宽度;
f4)对于所述图像序列,基于在步骤f2)针对所述序列中的不同图像计算出的残余滚转角来计算(34)平均残余滚转角;
f5)通过应用根据在步骤f4)计算出的平均残余滚转角的旋转来更新所述滚转矩阵,以及
依据在步骤f3)计算出的平均宽度来更新所述车道宽度参考;
f6)迭代步骤f1)到f5),直到所述残余滚转角小于预定阈值;以及
f7)提取基于所述滚转矩阵估计出的滚转角。
3.如权利要求2所述的方法,其特征在于,计算所述行车道中的每一个行车道的宽度和每一对行车道的滚转角的步骤f2)包括:
在于当前图像中检测到两个以上行车道的情况下,将三个车道宽度值和两个残余滚转角值作为输出来递送;
在于所述当前图像中检测到两个行车道的情况下,将仅两个车道宽度值和一个滚转角值作为输出来递送;
在于所述当前图像中检测到仅一个行车道的情况下,将仅一个车道宽度值作为输出来递送。
4.如权利要求2所述的方法,其特征在于,在步骤f2),估计所述行车道中的每一个行车道的宽度包括应用以下关系:
是车道宽度的估计,
Hv是所述相机相对于所述地面的高度,
α是所述车辆相对于其所运行的车道的轴的角度,以及
a1和a2是对所述图像中的行车道进行划界的边缘的指示系数。
5.如权利要求2所述的方法,其特征在于,在步骤f2),估计所述滚转角包括应用以下关系:
W是宽度车道参考或其估计,
是所考虑的一对车道的车道宽度估计,
α是所述车辆相对于其所运行的车道的轴的角度,以及
Hv是所述相机相对于所述地面的高度。
CN201410765830.3A 2013-12-11 2014-12-11 用于对自动车辆车载的摄像机的位置进行角度校准的方法 Active CN104715473B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1362390A FR3014553A1 (fr) 2013-12-11 2013-12-11 Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
FR1362390 2013-12-11

Publications (2)

Publication Number Publication Date
CN104715473A CN104715473A (zh) 2015-06-17
CN104715473B true CN104715473B (zh) 2018-12-25

Family

ID=50029124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410765830.3A Active CN104715473B (zh) 2013-12-11 2014-12-11 用于对自动车辆车载的摄像机的位置进行角度校准的方法

Country Status (4)

Country Link
US (1) US9576207B2 (zh)
EP (1) EP2884226B1 (zh)
CN (1) CN104715473B (zh)
FR (1) FR3014553A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
EP3113145B1 (en) * 2014-02-24 2019-11-27 Nissan Motor Co., Ltd. Local location computation device and local location computation method
DE102014209137B4 (de) * 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
JP6499047B2 (ja) * 2015-09-17 2019-04-10 株式会社東芝 計測装置、方法及びプログラム
US10587863B2 (en) * 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
EP3174007A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
JP6256509B2 (ja) * 2016-03-30 2018-01-10 マツダ株式会社 電子ミラー制御装置
FR3053554B1 (fr) * 2016-06-30 2018-08-03 Continental Automotive France Procede de calibration rapide d'une camera de vehicule automobile
FR3056171B1 (fr) * 2016-09-20 2020-05-08 Renault S.A.S Methode d'installation d'un referentiel geometrique sur un sol pour la calibration de composants electriques ou electroniques d'un vehicule automobile et un equipement adapte.
CN106651963B (zh) * 2016-12-29 2019-04-26 清华大学苏州汽车研究院(吴江) 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法
US10846541B2 (en) * 2017-01-04 2020-11-24 Qualcomm Incorporated Systems and methods for classifying road features
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
CN109141347A (zh) * 2017-06-28 2019-01-04 京东方科技集团股份有限公司 车载摄像机测距方法及装置、存储介质和电子设备
EP3435333B1 (en) * 2017-07-26 2020-01-29 Aptiv Technologies Limited Method of determining the roll angle of a vehicle mounted camera
CN107357296B (zh) * 2017-08-18 2021-02-02 西安鸣士机电开发有限公司 一种育秧机自动纠偏系统、方法及育秧机
DE102017215552A1 (de) 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
KR101969030B1 (ko) * 2017-09-13 2019-04-16 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
CN108062774B (zh) * 2017-10-24 2020-11-13 智车优行科技(北京)有限公司 车辆俯仰角确定方法、装置及其汽车
EP3531376B1 (en) * 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
EP3534333A1 (en) 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
CN109300159B (zh) * 2018-09-07 2021-07-20 百度在线网络技术(北京)有限公司 位置检测方法、装置、设备、存储介质及车辆
GB2579843A (en) * 2018-12-18 2020-07-08 Continental Automotive Gmbh Method and apparatus for calibrating the extrinsic parameter of an image sensor
CN109782755B (zh) * 2018-12-27 2022-05-31 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
US10997737B2 (en) * 2019-05-02 2021-05-04 GM Global Technology Operations LLC Method and system for aligning image data from a vehicle camera
US10891747B1 (en) * 2019-06-28 2021-01-12 Baidu Usa Llc Sensor calibration system for autonomous driving vehicles
US11885893B2 (en) * 2019-08-12 2024-01-30 Motional Ad Llc Localization based on predefined features of the environment
CN110672017B (zh) * 2019-10-11 2021-07-16 大连海事大学 一种激光位移传感器振动补偿平台
CN111121849B (zh) * 2020-01-02 2021-08-20 大陆投资(中国)有限公司 传感器的方位参数的自动校准方法、边缘计算单元和路侧传感系统
FR3106402B1 (fr) * 2020-01-16 2023-04-14 Continental Automotive Procédé de calibration d’un support rotatif de dispositif d’imagerie de véhicule automobile
CN113727064B (zh) * 2020-05-26 2024-03-22 北京罗克维尔斯科技有限公司 一种摄像头视场角的确定方法及装置
CN111703584B (zh) * 2020-08-17 2020-12-08 北京远度互联科技有限公司 一种回中方法、光电吊舱、无人机及存储介质
JP2022150929A (ja) * 2021-03-26 2022-10-07 本田技研工業株式会社 軸ずれ推定装置
US20230136214A1 (en) * 2021-10-29 2023-05-04 Omnitracs, Llc Highly-accurate and self-adjusting imaging sensor auto-calibration for in-vehicle advanced driver assistance system (adas) or other system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
CN102013099A (zh) * 2010-11-26 2011-04-13 中国人民解放军国防科学技术大学 车载摄像机外参数交互式标定方法
CN102037735A (zh) * 2008-05-22 2011-04-27 通用汽车环球科技运作公司 用于车辆照相机的照相机外在参数的自标定
CN102356633A (zh) * 2009-03-31 2012-02-15 爱信精机株式会社 车载照相机的校正装置、方法以及程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
ATE203844T1 (de) * 1992-03-20 2001-08-15 Commw Scient Ind Res Org Gegenstands-überwachungsystem
FR2874300B1 (fr) * 2004-08-11 2006-11-24 Renault Sas Procede de calibration automatique d'un systeme de stereovision
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
KR101772153B1 (ko) 2010-03-17 2017-08-29 삼성디스플레이 주식회사 회절 렌즈를 이용한 영상 표시 장치
US8885049B2 (en) * 2010-03-19 2014-11-11 Sony Corporation Method and device for determining calibration parameters of a camera
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
EP2541498B1 (en) * 2011-06-30 2017-09-06 Harman Becker Automotive Systems GmbH Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102037735A (zh) * 2008-05-22 2011-04-27 通用汽车环球科技运作公司 用于车辆照相机的照相机外在参数的自标定
CN102356633A (zh) * 2009-03-31 2012-02-15 爱信精机株式会社 车载照相机的校正装置、方法以及程序
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
CN102013099A (zh) * 2010-11-26 2011-04-13 中国人民解放军国防科学技术大学 车载摄像机外参数交互式标定方法

Also Published As

Publication number Publication date
FR3014553A1 (fr) 2015-06-12
EP2884226A1 (fr) 2015-06-17
EP2884226B1 (fr) 2018-06-06
CN104715473A (zh) 2015-06-17
US20150161456A1 (en) 2015-06-11
US9576207B2 (en) 2017-02-21

Similar Documents

Publication Publication Date Title
CN104715473B (zh) 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN111448591B (zh) 不良光照条件下用于定位车辆的系统和方法
TWI722355B (zh) 用於基於障礙物檢測校正高清晰度地圖的系統和方法
EP3631494B1 (en) Integrated sensor calibration in natural scenes
US20190356830A1 (en) Image distortion correction of a camera with a rolling shutter
CN107305632B (zh) 基于单目计算机视觉技术的目标对象距离测量方法与系统
EP3193306B1 (en) A method and a device for estimating an orientation of a camera relative to a road surface
CN105835880B (zh) 车道追踪系统
CN102648115B (zh) 用于在行驶的汽车中估算侧倾角的方法
CN109791598A (zh) 用于识别地面标记的图像处理方法以及地面标记检测系统
JP6779365B2 (ja) 物体検出装置及び車両
CN109703465B (zh) 车载图像传感器的控制方法和装置
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
WO2019208101A1 (ja) 位置推定装置
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
KR101803340B1 (ko) 영상 기반 주행거리 측정 시스템 및 방법
EP3901577B1 (en) Adaptive gaussian derivative sigma systems and methods
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
CN112833889A (zh) 一种车辆的定位方法及装置
EP3288260B1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
CN112837365B (zh) 一种基于图像的车辆定位方法及装置
Murashov et al. Method of determining vehicle speed according to video stream data
JP2016139172A (ja) 空港監視装置
CN117372534A (zh) 一种基于道路标识线的车载相机外参动态补偿方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151203

Address after: France

Applicant after: Parrot

Address before: France

Applicant before: Parrot SA

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant