CN109813282B - 车用影像校正方法与系统 - Google Patents

Abstract

本发明提出一种车用影像校正方法，包括：通过影像撷取装置截取标靶位于第一距离的第一影像，并撷取标靶位于第二距离的第二影像，其中标靶具有多个纵向图案；在第一影像中撷取对应纵向图案的多个第一特征点，并在第二影像中撷取对应纵向图案的多个第二特征点；根据第一特征点与第二特征点的坐标取得消失点；以及根据消失点的坐标以及纵向图案的实际高度来计算出影像撷取装置的实际高度。借此，可以自动地校正参数。

Description

车用影像校正方法与系统

技术领域

本发明是涉及一种车用影像校正方法，且特别涉及一种使用单一个影像撷取装置与标靶的车用影像校正方法与系统。

背景技术

前向碰撞预警系统(forward collision warning system，FCWS)以及车道偏离预警系统(lane departure warning system，LDWS)目前的需求已经越来越大。一般来说可用影像撷取模块来撷取关于车子周围的影像，然而为了判断车前物体与车子之间的距离或者车子是否偏移了车道，这都需要景深的信息。在一些作法中，是用双镜头来取得景深的信息，但双镜头的设置有较高的成本，因此如何使用单镜头便可以计算出前向碰撞预警系统以及车道偏离预警系统所需要的信息，为此领域技术人员所关心的议题。

发明内容

本发明的实施例提出一种车用影像校正方法，应用于一个车用影像校正系统，可以自动地校正参数，此车用影像校正系统包括影像撷取装置。车用影像校正方法包括：通过影像撷取装置截取位于第一距离的标靶的第一影像，并撷取位于第二距离的标靶的第二影像，其中标靶具有多个纵向图案，并且第一距离不同于第二距离；在第一影像中撷取对应纵向图案的多个第一特征点，并在第二影像中撷取对应纵向图案的多个第二特征点；根据第一特征点的坐标以及第二特征点的坐标取得一消失点，其中消失点在第一影像中的坐标实质上相同于消失点在第二影像中的坐标；以及根据消失点的坐标以及纵向图案的实际高度来计算出影像撷取装置的实际高度。

在一些实施例中，取得消失点的步骤包括：将第一特征点的坐标分别与第二特征点的坐标相减以取得多个差值；以及根据差值与一内差演算法计算出差值为0时的坐标以作为消失点的坐标。

在一些实施例中，计算出影像撷取装置的实际高度的步骤包括：根据数值为0的差值取得两个纵向图案；以及根据这两个纵向图案的实际高度计算出消失点的实际高度以作为影像撷取装置的实际高度。

在一些实施例中，车用影像校正方法还包括：根据以下方程式(1)计算出影像撷取装置的一倾斜角度。

其中θ_c为影像撷取装置的倾斜角度，h为影像撷取装置的实际高度，d为常数，y_vp为消失点的坐标，H为第一影像或第二影像的高度，scale为常数，f为影像撷取装置的焦距。

在一些实施例中，车用影像校正方法还包括：根据以下方程式(2)计算出坐标y所对应的实际位置与影像撷取装置之间的实际距离d_y。

在一些实施例中，标靶还具有多个横向图案，车用影像校正方法还包括：在第一影像中撷取对应横向图案的多个第三特征点；根据第三特征点之间的坐标差以及横向图案的实际距离计算出横向转换比率；根据车道宽度与横向转换比率计算出车道像素宽度；根据第一距离与方程式(2)计算出第一像素长度；以及根据消失点的坐标、车道像素宽度与第一像素长度计算对应于坐标y所对应的车道警戒宽度。

在一些实施例中，计算对应于坐标y所对应的车道警戒宽度的步骤包括：根据以下方程式(3)计算出车道警戒宽度。

其中x_lane为车道警戒宽度，y_vp为消失点的坐标，w_lane为车道像素宽度，并且y₁为第一像素长度。

以另外一个角度来说，本发明的实施例提出一种车用影像校正系统，包括影像撷取装置与计算模块。影像撷取装置用以截取位于第一距离的标靶的第一影像，并撷取位于第二距离的标靶的第二影像，其中标靶具有多个纵向图案，并且第一距离不同于第二距离。计算模块用以在第一影像中撷取对应纵向图案的多个第一特征点，并在第二影像中撷取对应纵向图案的多个第二特征点。计算模块也根据第一特征点的坐标以及第二特征点的坐标取得消失点，其中消失点在第一影像中的坐标实质上相同于消失点在第二影像中的坐标。计算模块还根据消失点的坐标以及纵向图案的实际高度来计算出影像撷取装置的实际高度。

在一些实施例中，计算模块将第一特征点的坐标分别与第二特征点的坐标相减以取得多个差值，并根据差值与内差演算法计算出差值为0时的坐标以作为消失点的坐标。

在一些实施例中，计算模块根据数值为0的差值取得两个纵向图案，并根据这两个纵向图案的实际高度计算出消失点的实际高度以作为影像撷取装置的实际高度。

在一些实施例中，计算模块根据上述方程式(1)计算出影像撷取装置的倾斜角度。

在一些实施例中，计算模块根据上述方程式(2)计算出坐标y所对应的实际位置与影像撷取装置之间的实际距离。

在一些实施例中，标靶还具有多个横向图案，计算模块在第一影像中撷取对应横向图案的多个第三特征点，根据第三特征点之间的坐标差以及横向图案的实际距离计算出横向转换比率，根据车道宽度与横向转换比率计算出车道像素宽度，根据第一距离与方程式(2)计算出第一像素长度，并且根据消失点的坐标、车道像素宽度与第一像素长度计算对应于坐标y所对应的车道警戒宽度。

在一些实施例中，计算模块根据上述方程式(3)计算出车道警戒宽度。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是根据一实施例绘示车用影像校正系统的示意图。

图2是根据一实施例绘示标靶的示意图。

图3是根据一实施例绘示计算消失点的示意图。

图4是根据一实施例绘示影像撷取装置有倾斜角度时的投影示意图。

图5是根据一实施例绘示计算车道警戒宽度的示意图。

图6是根据一实施例绘示车用影像校正方法的流程图。

其中，附图标记说明如下：

100：车用影像校正系统

110：影像撷取模块

120：计算模块

130：标靶

d₁～d₃：距离

h：高度

210～212：纵向图案

220：横向图案

231～242、251、252：特征点

X、Y：坐标轴

310：第一影像

311、312：车道线

320：第二影像

321、322：车道线

330：消失点

341、342、351、352：特征点

θ₁、θ_c：角度

d_y：实际距离

O：影像撷取模块

OC：光轴

H：消失点

D：真实世界中的位置

F、G：影像中的位置

DZ：地面

w_lane：车道像素宽度

y、y_vp、y₁：影像中Y轴坐标

x_lane：车道警戒宽度

601～604：步骤

具体实施方式

关于本发明中所使用的“第一”、“第二”、…等，并非特别指次序或顺位的意思，其仅为了区别以相同技术用语描述的元件或操作。另外，关于本文中所使用之“耦接”，可指两个元件直接地或间接地作电性连接。也就是说，当以下描述“第一物件耦接至第二物件”时，第一物件与第二物件之间还可设置其他的物件。

本发明实施例提出的车用影像校正方法可用于前向碰撞预警系统(forwardcollision warning system，FCWS)以及/或者车道偏离预警系统(lane departurewarning system，LDWS)，可根据单一个影像撷取装置来取得3度空间的距离，并且可以用来修正关于影像撷取装置的高度与倾斜角度等参数。

图1是根据一实施例绘示车用影像校正系统的示意图。请参照图1，车用影像校正系统100例如是安装在前挡风玻璃的上缘，但此安装位置仅是一范例，本发明并不在此限。车用影像校正系统100包括影像撷取装置110与计算模块120，计算模块120是耦接至影像撷取装置110。计算模块120可以为中央处理器、微处理器、微控制器、数位信号处理器、影像处理芯片、特殊应用集成电路等合适的电路。影像撷取装置110可包括感光耦合元件(Charge-coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-OxideSemiconductor)感光元件或其他合适的感光元件，用以撷取影像以及/或者影片。在一些实施例中，影像撷取装置110以及计算模块120是被整合在一个装置当中，但在其他实施例中影像撷取装置110以及计算模块120也可以设置在不同的装置当中，本发明并不在此限。

首先，使用者可输入一或多个参数，这些参数可包括影像撷取装置110距离地面的实际高度h、影像撷取装置110到车头的距离d₁、车子左前轮与右前轮之间的距离、影像撷取装置110到左A柱的距离、影像撷取装置110到右A柱的距离等等。

接下来是校正程序，影像撷取装置110会截取标靶130在不同的位置的两张影像。具体来说，影像撷取装置110可撷取标靶130在第一距离d₁时的第一影像，并撷取标靶130在第二距离d₂时的第二影像，此第一距离d₁不同于第二距离d₂。在一些实施例中，第一距离d₁与第二距离d₂之间的差距d₃为1米(公尺)，但在其他实施例中此差距d₃也可以为2米、3米等其他的数值。

图2是根据一实施例绘示标靶130的示意图。请参照图2，标靶具有多个纵向图案210～212与多个横向图案220。在此，纵向图案210～212是沿着Y轴方向排列，纵向图案211、212是分别设置于上下两侧，有相对较大的面积，而纵向图案210是设置于纵向图案211与纵向图案212之间。横向图案220是设置在纵向图案210的左右两侧。在图2的实施例中，纵向图案210与横向图案220为矩形，然而在其他实施例中也可以为三角形、圆形或其他任意的形状。此外，在其他实施例中这些纵向图案与横向图案也可以有其他的配置位置，只要这些图案具有预设的图形与位置以供辨识即可，本发明并不限于图2的实施例。

以下说明的各个计算步骤可由计算模块120来执行，以下不再赘述。在取得对应于标靶130的第一影像与第二影像以后，可撷取对应于纵向图案210～212的多个特征点231～242。举例来说，可采用haar-like特征以及适应性增强(Adaboost)演算法来做影像辨识，但在其他实施例中也可以采用支持向量机(support vector machine)或是类神经网路等其他合适的演算法来做影像辨识，本发明并不在此限。在此，在第一影像中撷取的特征点231～242被称为第一特征点，而在第二影像中撷取的特征点231～242被称为第二特征点。接下来，可根据第一特征点的坐标以及第二特征点的坐标取得一消失点，此消失点代表的是地平线，因此消失点在第一影像中的坐标实质上是相同于消失点在第二影像中的坐标，上述的“实质上”例如是相差5％以内。

图3是根据一实施例绘示计算消失点的示意图。请参照图3，图3绘示有第一影像310与第二影像320，由于第二影像320是在较远的第二距离d₂所截取，因此第二影像320中的标靶相对地较小。然而，在第一影像310中的车道线311、312与在第二影像320中的车道线321、322并没有移动，长度也相同。车道线311、312往无穷远的方向延伸会相交于消失点330，类似地，车道线321、322往无穷远的方向延伸会相交于消失点330。值得注意的是，在第一影像310中消失点330在介于第一特征点341、342之间，而在第二影像320中消失点330是介于第二特征点351、352之间。第一特征点341与第二特征点351都是对应至同一个纵向图案，而第一特征点342与第二特征点352也是对应至同一个纵向图案。换句话说，消失点330与纵向图案的相对位置在不同的影像中应该是相同的，据此可以计算出消失点的坐标。

具体来说，请参照以下的表1，第一栏所表示的纵向图案的编号，分别对应至图2中的特征点242～231。第二栏所表示的是第一特征点的Y坐标p1，第三栏所表示的是第二特征点的Y坐标p2。

表1

在一些实施例中，可将第一特征点的坐标p1分别与第二特征点的坐标p2相减以取得多个差值(p1-p2)，以得到表1中的第四栏。从第四栏中可以看到，从近到远，差值(p1-p2)是从负值逐渐增加而变成正值，而消失点就位于差值为0的地方，因此可以根据这些插值与一个内差演算法来计算出差值为0的坐标以作为消失点的坐标，在此实施例中为187.8，此消失点是位于编号3与编号4的两个纵向图案之间。在一些实施例中，上述的内差演算法可以是线性内差、多项式内差或其他任意适合的内差演算法，本发明并不在此限。

此外，根据消失点的坐标以及纵向图案的实际高度可以计算出影像撷取装置110的实际高度。具体来说，由于每个纵向图案的大小为已知，且标靶与地面之间的距离也为已知，因此可以得到每个特征点(纵向图案)的实际高度，如表1的第五栏所示。如上所述，根据数值为0的差值(p1-p2)可以取得两个纵向图案(编号分别为3、4)，根据这两个纵向图案的实际高度(136.3以及131.3)可以执行内差演算法来计算出消失点的实际高度，在此例子中为133.8。此消失点的实际高度便可以作为影像撷取装置110的实际高度。在一些实施例中，使用者可以先手动地输入影像撷取装置110的实际高度，但在执行上述的方法以后，可以计算出更精准的数值，借此可以修正影像撷取装置110的实际高度。

在取得影像撷取装置110的实际高度以后，便可以计算影像撷取装置的倾斜角度，如以下方程式(1)。

θ_c为影像撷取装置110的倾斜角度。h为影像撷取装置110的实际高度，单位例如为米。d为常数，代表消失点与影像撷取装置的距离，在此实施例中是设定为9000米，但在其他实施例中也可设定为其他数值。y_vp为消失点的坐标(例如上述的187.8)。H为第一影像或第二影像的高度，在一些实施例中影像的解析度为720x480，因此H为480，但本发明并不限制影像的解析度。scale为常数，可经过实验来取得。f为影像撷取装置110的焦距，也可经过实验来取得。

图4是根据一实施例绘示影像撷取装置有倾斜角度时的投影示意图。请参照图4，在此采用单孔透视，O为影像撷取模块，OC代表影像撷取装置的光轴，θ_c为影像撷取装置的倾斜角度。D为真实世界中的一个位置。F、G位于感光元件上，代表影像中的位置，其中G在影像中的Y坐标为H/2，OG表示影像撷取装置110的焦距，D是投影至影像中的F。DZ为地面，OH平行地面，H便是投影至影像中的消失点，其中DZ＝d_y。假设F在影像中的Y坐标为y，因此角度tan(θ₁)可表示为以下方程式(2)。

另外，从三角形HOD可得知以下关系(3)。

将方程式(2)代入方程式(3)便可以得到以下方程式(4)。

也就是说，对于第一影像中的一个坐标y，可以计算出所对应的实际位置D与影像撷取装置110之间的实际距离d_y。

请参照图2，在第一影像中也可以截取出横向图案220所对应的特征点251、252(亦称为第三特征点)。由于特征点251、252之间的实际距离是已知，因此可以根据特征点251、252之间X坐标的坐标差以及特征点251、252之间的实际距离来计算出一个横向转换比率。举例来说，特征点251、252之间X坐标的坐标差为146，而特征点251、252之间的实际距离为21公分，因此横向转换比率为21/146＝0.143836cm/pixel。

图5是根据一实施例绘示计算车道警戒宽度的示意图。请参照图5，在此是用等比例的三角形来计算影像中的坐标y上所对应的车道警戒宽度是多少。以消失点330为顶点，根据坐标y所画出的横线可形成一个小三角形，此小三角形的高为y-y_vp，底长为x_lane。而大三角形所代表的是在第一距离的情形，详细来说，车道像素宽度w_lane所代表的是车道宽度在第一距离d1时于影像中的宽度，可根据预设的车道宽度(例如325公分)与上述的横向转换比率计算出车道像素宽度w_lane，例如是325/0.143836＝2259.5。此外，把第一距离d₁代入上述的方程式(4)中的d_y，可以求出y₁(亦称为第一像素长度)。接着根据以下方程式(5)便可以计算出车道警戒宽度x_lane。

如此一来，在影像中的任何一个坐标点，都可以计算出所对应的距离(可用于前向碰撞预警系统)，也可计算出对应的车道警戒宽度(可用于车道偏离预警系统)。

图6是根据一实施例绘示车用影像校正方法的流程图。请参照图6，在步骤601中，通过影像撷取装置截取位于第一距离的标靶的第一影像，并撷取位于第二距离的标靶的第二影像。在步骤602中，在第一影像中撷取对应纵向图案的第一特征点，并在第二影像中撷取对应纵向图案的第二特征点。在步骤603中，根据第一特征点的坐标以及第二特征点的坐标取得消失点，其中消失点在第一影像中的坐标实质上相同于消失点在第二影像中的坐标。在步骤604中，根据消失点的坐标以及纵向图案的实际高度来计算出影像撷取装置的实际高度。然而，图中各步骤已详细说明如上，在此便不再赘述。值得注意的是，图6中各步骤可以实作为多个程式码或是电路，本发明并不在此限。此外，图6的方法可以搭配以上实施例使用，也可以单独使用。换言之，图6的各步骤之间也可以加入其他的步骤。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的改动与润饰，故本发明的保护范围当视后附的权利要求范围所界定者为准。

Claims (10)

1.一种车用影像校正方法，应用于一车用影像校正系统，所述车用影像校正系统包括一影像撷取装置，其特征在于，所述车用影像校正方法包括：

通过所述影像撷取装置截取位于一第一距离的一标靶的一第一影像，并撷取位于一第二距离的所述标靶的一第二影像，其中所述标靶具有多个纵向图案，并且所述第一距离不同于所述第二距离；

在所述第一影像中撷取对应所述纵向图案的多个第一特征点，并在所述第二影像中撷取对应所述纵向图案的多个第二特征点；

将所述第一特征点的坐标分别与所述第二特征点的坐标相减以取得多个差值；

根据所述差值与一内差演算法计算出差值为0时的一坐标以作为一消失点的坐标，其中所述消失点在所述第一影像中的坐标实质上相同于所述消失点在所述第二影像中的坐标；

根据数值为0的所述差值取得所述纵向图案的其中之二；以及

根据所述纵向图案的所述其中之二的实际高度计算出所述消失点的实际高度以作为所述影像撷取装置的实际高度。

2.如权利要求1所述的车用影像校正方法，其特征在于，还包括：

根据以下方程式(1)计算出所述影像撷取装置的一倾斜角度，

其中θ_c为所述影像撷取装置的所述倾斜角度，h为所述影像撷取装置的所述实际高度，d为常数，y_vp为所述消失点的所述坐标，H为所述第一影像或所述第二影像的高度，scale为常数，f为所述影像撷取装置的一焦距。

3.如权利要求2所述的车用影像校正方法，其特征在于，还包括：

根据以下方程式(2)计算出一坐标y所对应的实际位置与所述影像撷取装置之间的一实际距离，

其中d_y为所述坐标y所对应的所述实际位置与所述影像撷取装置之间的所述实际距离。

4.如权利要求3所述的车用影像校正方法，其中所述标靶还具有多个横向图案，其特征在于，所述车用影像校正方法还包括：

在所述第一影像中撷取对应所述横向图案的多个第三特征点；

根据所述第三特征点之间的坐标差以及所述横向图案的实际距离计算出一横向转换比率；

根据一车道宽度与所述横向转换比率计算出一车道像素宽度；

根据所述第一距离与所述方程式(2)计算出一第一像素长度；以及

根据所述消失点的所述坐标、所述车道像素宽度与所述第一像素长度计算对应于所述坐标y所对应的一车道警戒宽度。

5.如权利要求4所述的车用影像校正方法，其特征在于，其中根据所述消失点的所述坐标、所述车道像素宽度与所述第一像素长度计算对应于所述坐标y所对应的所述车道警戒宽度的步骤包括：

根据以下方程式(3)计算出所述车道警戒宽度，

其中x_lane为所述车道警戒宽度，y_vp为所述消失点的所述坐标，w_lane为所述车道像素宽度，并且y₁为所述第一像素长度。

6.一种车用影像校正系统，其特征在于，包括：

一影像撷取装置，用以截取位于一第一距离的一标靶的一第一影像，并撷取位于一第二距离的所述标靶的一第二影像，其中所述标靶具有多个纵向图案，并且所述第一距离不同于所述第二距离；以及

一计算模块，用以在所述第一影像中撷取对应所述纵向图案的多个第一特征点，并在所述第二影像中撷取对应所述纵向图案的多个第二特征点，

所述计算模块将所述第一特征点的坐标分别与所述第二特征点的坐标相减以取得多个差值，并根据所述差值与一内差演算法计算出差值为0时的坐标以作为一消失点的坐标，其中所述消失点在所述第一影像中的坐标实质上相同于所述消失点在所述第二影像中的坐标，

所述计算模块根据数值为0的所述差值取得所述纵向图案的其中之二，并根据所述纵向图案的所述其中之二的实际高度计算出所述消失点的实际高度以作为所述影像撷取装置的实际高度。

7.如权利要求6所述的车用影像校正系统，其特征在于，其中所述计算模块根据以下方程式(1)计算出所述影像撷取装置的一倾斜角度，

其中θ_c为所述影像撷取装置的所述倾斜角度，h为所述影像撷取装置的所述实际高度，d为常数，y_vp为所述消失点的所述坐标，H为所述第一影像或所述第二影像的高度，scale为常数，f为所述影像撷取装置的一焦距。

8.如权利要求7所述的车用影像校正系统，其特征在于，其中所述计算模块根据以下方程式(2)计算出一坐标y所对应的实际位置与所述影像撷取装置之间的一实际距离，

其中d_y为所述坐标y所对应的所述实际位置与所述影像撷取装置之间的所述实际距离。

9.如权利要求8所述的车用影像校正系统，其特征在于，其中所述标靶还具有多个横向图案，所述计算模块在所述第一影像中撷取对应所述横向图案的多个第三特征点，根据所述第三特征点之间的坐标差以及所述横向图案的实际距离计算出一横向转换比率，根据一车道宽度与所述横向转换比率计算出一车道像素宽度，根据所述第一距离与所述方程式(2)计算出一第一像素长度，并且根据所述消失点的所述坐标、所述车道像素宽度与所述第一像素长度计算对应于所述坐标y所对应的一车道警戒宽度。

10.如权利要求9所述的车用影像校正系统，其特征在于，其中所述计算模块根据以下方程式(3)计算出所述车道警戒宽度，

其中x_lane为所述车道警戒宽度，y_vp为所述消失点的所述坐标，w_lane为所述车道像素宽度，并且y₁为所述第一像素长度。

Images