CN104952062A

CN104952062A - 相机标定

Info

Publication number: CN104952062A
Application number: CN201510132990.9A
Authority: CN
Inventors: 布莱恩·沃尔斯基; 乔·马修·比克曼; 亚伦·L·米尔斯
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2014-03-25
Filing date: 2015-03-25
Publication date: 2015-09-30
Anticipated expiration: 2035-03-25
Also published as: RU2015110577A; RU2662411C2; US20150279035A1; CN104952062B; MX351805B; MX2015003775A; RU2015110577A3; DE102015103877A1; US9953420B2

Abstract

测量从标称相机中心线分别到第一和第二位置的第一和第二角度。第一位置由相机定位在第一板中的第一中心点来确定。第二位置由相机定位在第二板中的第二中心点来确定。相机与第一板和第二板的第一和第二角度和第一和第二水平距离分别被用于获得确定的垂直距离和确定的角度。确定的垂直距离测量从第二中心点至由穿过第二板的第一直线和平行于地面且在相机处有一端点的第二直线的交点来确定的点的距离。确定的角度测量自标称位置的相机延伸的第三直线和第二直线之间的夹角。

Description

相机标定

相关申请

本申请要求2014年3月25日提交的题为“相机标定”的序列号为61/969,956的美国临时专利申请的优先权。上述临时专利申请的内容在此通过引用整体并入本文。

背景技术

各种类型的车辆，例如小汽车、运动型多用途车辆、轻型、中型以及重型车辆等，可以包括面向外部的相机，例如安装至车辆内部挡风玻璃后面。这种相机被用于各种操作，例如车道偏离或车道保持警告、前照灯控制(例如，远光控制)、检测交通标志和信号、接近中的车辆，等。然而，如果相机的高度和校准角度(相机相对于水平线的角度)确定不准确，则相机可能无法为如前所述的操作提供精确的测量和/或检测数据(例如，相机到道路标志的横向距离)。相机的校准角度可以通过得知相机的高度(例如，车辆内部安装相机处距地面的距离)以及靶板参数(距离、尺寸)来确定。因此，确定相机校准角度取决于可预测的车辆高度。然而，一些车辆拥有许多配置和/或重量，并且因此当装配过程结束时——相机通常在此时被校准——车辆的高度可能变化显著。缺乏用于确定高度未知车辆(例如，没有如轮罩或行驶高度这样的附加的参考高度测量)的相机高度和/或对准角度的机制。

发明内容

根据本发明，提供一种包含处理器和存储器的计算装置，其中计算装置被编程以：

在存储器中储存相机距第一板的第一水平距离和相机距第二板的第二水平距离；

接收从标称相机中心线分别到第一和第二位置的第一和第二角度，第一位置由相机定位在第一板中的第一中心点来确定，以及第二位置由相机定位在第二板中的第二中心点来确定；以及

分别使用相机与第一板和第二板的第一和第二角度和第一和第二水平距离来确定：

垂直距离，该垂直距离为从第二中心点至由穿过第二板的第一直线和平行于地面且在相机处有一端点的第二直线的交点来确定的点的距离；以及

偏离角度(misalignment angle)，该偏离角度为延伸自标称位置的相机的第三直线和第二直线之间的夹角。

根据本发明的一个实施例，第一和第二角度通过处理至少一张由相机获得的图片来确定。

根据本发明的一个实施例，计算装置进一步被编程以通过求解第一和第二角度各自的三角函数，并使用求解的三角函数和第一和第二水平距离确定偏离角度的三角函数值，来确定偏离角度。

根据本发明的一个实施例，计算装置进一步被编程以通过依据以下方程的形式获得偏离角度的正切值来确定偏离角度

x²(R₁z-R₂y)+x(R₁-R₂)-x(R₁yz+R₂yz)-R₁y+R₂z＝0

其中x＝tanθ_A，y＝tanθ₁，z＝tanθ₂，以及进一步地其中θ_A表示偏离角度，θ₁表示第一角度，以及θ₂表示第二角度。

根据本发明的一个实施例，计算装置包括在相机中。

根据本发明的一个实施例，第一板的第一中心点位于距地面第一垂直距离处，以及第二板的第二中心点位于距地面第二垂直距离处。

根据本发明的一个实施例，第一垂直距离和第二垂直距离为相同的垂直距离。

根据本发明的一个实施例，计算装置进一步被编程以使用第一垂直距离和第二垂直距离之中的至少一个来确定相机相对于地面的高度。

根据本发明，提供一种在包括处理器和存储器的计算装置中执行的方法，该方法包含：

测量从标称相机中心线分别到第一和第二位置的第一和第二角度，第一位置由相机定位在第一板中的第一中心点来确定，第二位置由相机定位在第二板中的第二中心点来确定；以及

使用相机与第一板和第二板的第一和第二角度和第一和第二水平距离分别获得确定的垂直距离和确定的角度；其中

确定的垂直距离测量从第二中心点至由穿过第二板的第一直线和平行于地面且在相机处有一端点的第二直线的交点来确定的点的距离；以及

确定的角度测量自标称位置的相机延伸的第三直线和第二直线之间的夹角。

根据本发明的一个实施例，进一步包含通过求解第一和第二角度各自的三角函数，并使用求解的三角函数和第一和第二水平距离确定偏离角度的三角函数值，来确定偏离角度。

x²(R₁z-R₂y)+x(R₁-R₂)-x(R₁yz+R₂yz)-R₁y+R₂z＝0

根据本发明的一个实施例，计算装置包括在相机中。

根据本发明的一个实施例，进一步包含使用第一垂直距离和第二垂直距离之中的至少一个来确定相机相对于地面的高度。

根据本发明，提供一种系统，包含：

包括第一中心点的第一板和包括第二中心点的第二板；

位于距第一板第一水平距离和距第二板第二水平距离的相机；以及

包含处理器和存储器的计算装置，存储器储存第一和第二水平距离以及由处理器执行的指令，该指令用于：

测量从标称相机中心线分别到第一和第二位置的第一和第二角度，第一位置由相机定位第一中心点来确定，第二位置由相机定位第二中心点来确定；以及

使用第一和第二角度和第一和第二水平距离分别获得确定的垂直距离和确定的角度；其中

根据本发明的一个实施例，由处理器执行的指令进一步包括用于使用第一垂直距离和第二垂直距离之中的至少一个来确定相机相对于地面的高度的指令。

附图说明

图1公开了用于确定相机偏离角度和高度的示例性系统；

图2说明了图1的系统所包括的示例性第一相机靶板；

图3说明了图1的系统所包括的示例性第二相机靶板；

图4说明了用于确定相机角度和高度的示例性过程。

具体实施方式

图1公开了用于确定相机12的偏离角度和高度的示例性系统10，例如，相机12可以在装配过程期间——例如接近装配过程结束时——位于车辆中。相机12被放置于距第一相机靶板14第一预定和已知的水平距离R₁，并距第二相机靶板16第二预定和已知水平距离R₂的位置。板14、16可以放置使其各自的中心点CP₁、CP₂距地面18的垂直距离相同。需要注意的是中心点CP₁、CP₂可以不是板14、16的实际几何中心，但通常总体位于板14、16的中央，并在此为了方便参考在任何情况下称之为中心点，但是可以更通常地被称为参考点。此外，虽然需要理解的是将中心点CP₁、CP₂定位为距地面18的垂直距离相同使如下所述的计算简化，但需要注意的是中心点CP₁、CP₂距地面18的垂直距离可以不同。

图2说明了参考牛眼图案(bull’s-eye pattern)来定位中心点CP₁的示例性第一相机靶板14。图3说明了参棋盘图案(checkerboard pattern)来定位中心点CP₂的示例性第二相机靶板16。进一步地，点I₃可以表示相机12聚焦的标称点或起始点，以及点I₂可以表示相机12定向的靶点或水平点。需要理解的是，在实施中，点CP₂、I₂、I₃可以使用提供于板16上的各种形状、图案等来表示，例如直线、牛眼图案等。例如，图3所示的板16包括棋盘图案，借此可以由相机12来识别点CP₂。相应的，板14、16可以与相机12对齐使用，借此可以做出本文所述的测量以确定相机12相对于中心点CP₁、CP₂的高度以及相机12相对于地面18的高度。

如图1所示，垂直轴V₁和V₂分别穿过板14、16。水平轴A从相机12处的原点O延伸与垂直轴V₁相交于点I₁，并与垂直轴V₂相交于点I₂。原点O总体为相机12镜头的中心点。水平线A代表相对于相机12的水平面，即，当相机拥有平行于地面18的方向时的相机12的水平方向。直线D代表安装于车辆中的相机12视场的所谓的标称、或中心线方向，即相机12可以与板16上的点I₃对齐。直线C代表相机12的中心线与在靶板14上的中心点CP₁处检测到的图案之间的直线。直线B代表相机12的中心线与在靶板16上的中心点CP₂处检测到的图案之间的直线。

角度θ₁被定义为直线D和直线C之间的夹角，即，角度θ₁代表从相机12的标称中心线(直线D)到板14的中心点CP₁(直线C)的角度。同样地，角度θ₂代表从相机12的标称中心线(直线D)到板16的中心点CP₂(直线B)的角度。如本文所公开的，提供用于确定相机12的标称或起始位置(直线D)与相机12的水平线(直线A)——即水平方向——之间的角度θ_A的机制。进一步地，提供用于确定高度H的机制，即板16的中心点CP₂和限定水平线A的点I₂之间的距离。通过确定高度H，并得知中心点CP₂距地面18的距离，例如，根据板16的中心点CP₂的位置以及板16距地面18的悬挂高度来确定的，从而使相机12相对于地面18的高度CH可以被确定。

相机12可以包括处理器和存储器，存储器储存用于测量角度θ₁、θ₂的指令。例如，测定中心点CP₁、CP₂并测量角度θ₁、θ₂，可以使用标准的图像处理技术来执行，例如计算已知的板14、16的中心点CP₁、CP₂以及板14、16上检测到靶特征(例如边缘、十字等)的位置(例如像素行)的像素。储存于相机12并可以由相机12来执行的指令可以进一步伴随与距离相关的数据使用这种测量来获得高度H和角度θ_A，例如，如下所述。角度θ_A由于其衡量相机12实际和预期、或理想的校正之间的差异而有时被称为偏离角度。在任何情况下，包括角度θ_A和/或高度H的信息可以随后被相机12和/或其他车辆中的计算装置所使用，该计算装置用于使用来自相机12的数据来执行各种操作，例如监测车道变更、接近中的车辆、交通标志和/或停止灯等。需要注意的是，附加地或可选地，相机可以通信地耦合，例如通过已知的有线或无线连接器，至第二装置，例如包含处理器和存储器的计算装置，该处理器和存储器置配置用于基于相机12所做出的测量来执行一些或所有在此公开的测定。

例如，由于距离R₁、R₂以及角度θ₁、θ₂已知，高度H和角度θ_A可以使用代数和三角函数来确定，如以下公式所述。(需要注意的是，虽然在下列说明性公式中使用了正切函数，但是其他三角函数也可以单独或彼此相接合，连同如上所述可以获得的值R₁、R₂、θ₁和θ₂来使用)

\tan (θ_{A} - θ_{1}) = \frac{H}{R_{1}}

方程(1)；

\tan (θ_{A} - θ_{2}) = \frac{H}{R_{2}}

方程(2)；

H＝R₁(tan(θ_A-θ₁) 方程(3)；

H＝R₂(tan(θ_A-θ₂) 方程(4)；

因此

R₁(tan(θ_A-θ₁)＝R₂(tan(θ_A-θ₂) 方程(5)；

以及，继续方程(5)的进一步形式，以方程(12)结束，

R₁[(tanθ_A-tanθ₁)/(tanθ_Atanθ₁+1)]＝R₂[(tanθ_A-tanθ₂)/(tanθ_Atanθ₂+1)]

方程(6)；

令x＝tanθ_A，y＝tanθ₁，z＝tanθ₂则

R₁[(x+y)/(xz+1)]＝R₂[(x-z)/(xy+1)] 方程(7)；

R₁(zx²+x-yzx-y)＝R₂(yx²+x-yzx-z) 方程(8)；

R₁zx²+R₁x-R₁yzx-R₁y＝R₂yx²+R₂x-R₂yzx-R₂z) 方程(9)；

R₁zx²+R₁x-R₁yzx-R₁y-R₂yx²-R₂x+R₂yzx+R₂z＝0 方程(10)；

x²(R₁z-R₂y)+x(R₁-R₂)-R₁yzx-R₁y+R₂yzx+R₂z＝0 方程(11)；

以及

x²(R₁z-R₂y)+x(R₁-R₂)-x(R₁yz+R₂yz)-R₁y+R₂z＝0 方程(12)。

带回x＝tanθ_A。因此，从方程11求解x可以确定θ_A。进一步地，一旦θ_A已知，高度H可以从以上方程1-4的任何一个来确定。

图4说明了用于确定相机12的角度θ_A和高度的示例性过程。过程48开始于框50，在框50中相机12被安置。例如，处于制造过程中的车辆可以如上所述相对于板14、16来安置。

接下来，在框52，相机12可以如上所述记录来自于板14、16的图片，以及可以如上所述地测量相机12的方向角，例如，角度θ₁、θ₂。

接下来在框54，可以计算偏离角度θ_A，例如根据如上所述的方程1-12。例如，如上所述，相机12可以包括处理器和存储器，其中存储器装备有用于计算角度的指令以及用于计算角度的数据，包括距离R₁，R₂以及记录的角度θ₁、θ₂。

接下来，在框56，相机12计算并储存高度H。

接下来，在框58，相机12基于高度H来计算代表相机12距地面18的距离的垂直高度CH，因此相机12可以在应用来自相机12的数据的操作中使用相机12的垂直高度。

紧随框56，过程48结束。

结论

计算装置，例如本发明中所讨论的那些，通常各自包括一个或多个计算装置(如上所述的那些)可执行的指令，用于执行上述过程的框或步骤。例如上述讨论的过程框可以呈现为计算机可执行的指令。

计算机可执行的指令可以从使用多种程序设计语言和/或技术建立的计算机程序中被编译或解读，这些程序设计语言和/或技术，非为限制，包括Java^TM，C，C++，Visual Basic，Java Script，Perl，HTML等中单独一个或结合。通常，处理器(如微处理器)如从存储器，计算机可读介质等接收指令，并且执行这些指令，从而执行一个或多个过程，包括本发明中所述过程的一个或多个。这样的指令和其它数据可以被存储且使用多种计算机可读介质传送。计算装置中的文件通常是存储在计算机可读介质(例如存储介质，随机存取存储器等)中的数据集。

计算机可读介质包括参与提供计算机可读数据(如指令)的任何介质。这样的介质可以采取许多形式，包括但不限于非易失性介质，易失性介质等。非易失性介质包括，例如光盘或磁盘以及其他持续内存。易失性介质包括动态随机存取存储器(DRAM)，其典型地构成主存储器。计算机可读介质的普遍形式包括，例如软盘(floppy disk)，可折叠磁盘(flexible disk)，硬盘，磁带，其它磁性介质，CD-ROM，DVD，其它光学介质，穿孔卡片，纸带，其它具有孔排列模块的物理介质，RAM(随机存取存储器)，PROM(可编程只读存储器)，EPROM(可擦除可编程只读存储器)，FLASH-EEPROM(闪速电可擦除可编程只读存储器)，其它存储芯片或磁片盒，或其它计算机可读的介质。

在附图中，相同的附图标记指示相同元件。进一步地，这些元件中的一些或全部可以被改变。至于本发明中所述的介质，过程，系统，方法等，应当理解的是，虽然这些过程等的步骤等被描述成根据一定的有序序列发生，这些过程可以实施为以不同于本发明所述顺序的顺序来执行所述的步骤。进一步应当理解，某些步骤可以同时执行，其它步骤可以增加，或在此所述的某些步骤可以省略。换句话说，提供本发明过程的描述目的在于说明某些实施例，而不应以任何方式被解释为限制要求保护的发明。

因此，应当理解的是，上述说明旨在说明而不是限制。除了提供的例子，在阅读上述说明基础之上许多实施例和应用对本领域技术人员来说是显而易见的。本发明的范围不应参照上述说明来确定，而是应该参照权利要求连同这些权利要求所享有的全部等效范围确定。可以预见和预期未来的发展将会发生在本发明讨论的领域，且本发明所公开的系统和方法将会被结合到这些未来的实施例中。总之，应当理解的是，本发明能够进行修改和变化并且仅被以下权利要求限定。

在权利要求中使用的所有术语旨在被给予它们最宽泛的合理解释和它们如本领域中技术人员理解的通常含义，除非在此作出明确相反的指示。特别是单数冠词如“一”，“该”，“所述”等的使用应被理解为叙述一个或多个所示元件，除非权利要求中叙述了明确相反的限制。

Claims

1.一种包含处理器和存储器的计算装置，其中计算装置被编程以：

偏离角度，该偏离角度为自标称位置延伸的相机的第三直线和第二直线之间的夹角。

2.根据权利要求1所述的计算装置，其中第一和第二角度通过处理至少一张由相机获得的图片来确定。

3.根据权利要求1所述的计算装置，其中计算装置进一步被编程以通过求解第一和第二角度各自的三角函数，并使用求解的三角函数和第一和第二水平距离确定偏离角度的三角函数值，来确定偏离角度。

4.根据权利要求3所述的计算装置，其中计算装置进一步被编程以通过依据以下方程的形式获得偏离角度的正切值来确定偏离角度

x²(R₁z-R₂y)+x(R₁-R₂)-x(R₁yz+R₂yz)-R₁y+R₂z＝0

5.根据权利要求1所述的计算装置，其中计算装置包括在相机中。

6.一种在包括处理器和存储器的计算装置中执行的方法，该方法包含：

7.根据权利要求6所述的方法，其中第一和第二角度通过处理至少一张由相机获得的图片来确定。

8.根据权利要求6所述的方法，进一步包含通过求解第一和第二角度各自的三角函数，并使用求解的三角函数和第一和第二水平距离确定偏离角度的三角函数值，来确定偏离角度。

9.根据权利要求8所述的方法，其中计算装置进一步被编程以通过依据以下方程的形式获得偏离角度的正切值来确定偏离角度

x²(R₁z-R₂y)+x(R₁-R₂)-x(R₁yz+R₂yz)-R₁y+R₂z＝0

其中x＝tanθ_A，y＝tanθ₁，z＝tanθ₂，以及进一步地，其中θ_A表示偏离角度，θ₁表示第一角度，以及θ₂表示第二角度。

10.根据权利要求8所述的方法，其中计算装置包括在相机中。