CN105403230A - 物体坐标融合校正方法及其校正板装置 - Google Patents

Abstract

本发明公开了一种物体坐标融合校正方法及其校正板装置，提供一校正板装置，其具有多个特征点与一中心反射元件，其中央具有一中心特征点，距离传感器发出距离感测信号至中心反射元件，以取得中心真实坐标，并利用摄影机外部与内部参数建立转换方程式，将中心真实坐标转换为中心影像坐标，最后撷取校正板装置的校正影像，搜寻中心特征点并将中心影像坐标投射至校正影像上，调整校正中心影像坐标至校正影像的中心特征点上，产生校正的内部与外部参数。本发明可将不同的系统的坐标融合，并直接于校正板装置设置多个特征点，避免在影片手动设定特征点。

Description

物体坐标融合校正方法及其校正板装置

技术领域

本发明涉及一种坐标融合方法，特别是指一种可融合多种传感器所侦测物体坐标的物体坐标融合校正方法及其校正板装置。

背景技术

提升行车安全为交通运输产业发展中的重要的一环，因此使用完善的障碍物侦测算法技术于车辆四周侦测行人、脚踏车、机车与汽车等是一项相当重要的技术。

目前各种车辆的感测系统中，发展最成熟的系统为影像撷取系统及距离撷取系统，利用多种不同传感器的信息进行融合，产生互补的效果，可达到良好的侦测效果，能有效的应用在障碍物的侦测系统中。然而，由于摄影机所撷取的影像为通过内部参数以及外部参数等来判断障碍物的位置或深度等，但在利用摄影机计算出内部参数以及外部参数时，皆须以人工介入判断，并做相关参数的设定。举例来说，目前取得的摄影机内部参数以及外部参数的方法为利用摄影机拍摄取得校正装置的校正影像后，运用手动方式，撷取多张校正影像中的多个特征角点，藉此估算出摄影机的内部参数，当然估算摄影机外部参数的同时，亦须人工介入判断并做相关的参数设定，流程不仅耗时且缺乏便利性。

有鉴于此，本发明遂针对上述现有技术的不便性，提出一种物体坐标融合校正方法及其校正板装置，以有效克服上述多个问题。

发明内容

本发明的主要目的在于提供一种物体坐标融合校正方法及其校正板装置，其可转换不同系统的坐标，将不同的系统坐标融合，以于影像中呈现距离传感器所侦测出的障碍物的坐标，精确的估算出障碍物于影像中的位置。

本发明的另一目的在于提供一种物体坐标融合校正方法及其校正板装置，其可直接于对位装置上设置多个特征点，避免后续于影像中手动设定特征点，可加快计算速度。

为了达到上述目的，本发明提供了一种物体坐标融合校正方法，步骤包括，首先，提供一校正板装置，校正板装置中央具有至少一中心反射元件，且中心反射元件的中央具有一中心特征点；至少一距离传感器发出至少一距离感测信号至中心反射元件，以取得中心反射元件的中心真实坐标；利用一摄影机的外部参数以及内部参数建立一转换方程式，将中心真实坐标转换为一中心影像坐标；接着利用摄影机撷取校正板装置的至少一校正影像，以搜寻校正影像中的该中心特征点，并将中心影像坐标投射于校正影像上；最后使用估算算法调整误差，校正中心影像坐标对准于校正影像中的中心特征点上，以产生校正的内部参数与校正的外部参数。

在本发明的一实施例中，使用估算算法调整误差的步骤为使用蒙地卡罗算法进行校正，以调整该摄影机的该内部参数以及该外部参数，产生校正的该内部参数与校正的该外部参数。

在本发明的一实施例中，该转换方程式如下所示：

P_I＝H_I·H_E·P_D

其中该P_I为该中心影像坐标；该P_D为该中心真实坐标；该H_I为该内部参数；该H_E为该外部参数。

在本发明的一实施例中，该内部参数以及该外部参数为通过该摄影机撷取该校正板装置的多个校正影像，并寻找出该校正板装置的多个特征点在该校正影像中及真实空间的对应关系，以求出该摄影机的该内部参数以及该外部参数。

在本发明的一实施例中，该外部参数还包括该摄影机与该距离传感器的相对位置。

在本发明的一实施例中，该距离传感器为雷达传感器或激光传感器。

在本发明的一实施例中，该中心反射元件具有一反射凹面。

另外，本发明亦提供一种使用于物体坐标融合校正方法的校正板装置，包括一板体和一中心反射元件，板体上具有一对位图案，且对位图案上具有多个特征点，利用摄影机撷取多个校正影像，以计算摄影机的内部参数以及外部参数，中心反射元件设置于对位图案中央，该中心反射元件具有一反射凹面，且反射凹面的中央还具有一中心特征点。

在本发明的一实施例中，该多个特征点以及该中心特征点为发光二极管。

在本发明的一实施例中，校正板装置还包括：

一切换开关控制器，设置于该板体上，并电性连接该多个发光二极管，该切换开关控制器用于开启或关闭该多个发光二极管以及切换该多个发光二极管所发射的光源的颜色；以及

一储能元件，设置于该板体上，并电性连接该多个发光二极管以及该切换开关控制器，以提供电能至该多个发光二极管以及该切换开关控制器。

在本发明的一实施例中，该发光二极管发光的颜色为红色、蓝色或绿色。

在本发明的一实施例中，该中心反射元件为金属三角形中心反射元件。

在本发明的一实施例中，该板体上相对于该对位图案的另一表面还具有两个把手杆。

下面通过具体实施例详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为本发明的系统方块图；

图2A为本发明提供的校正板装置的正视图；

图2B为本发明提供的校正板装置的后视图；

图2C为本发明提供的校正板装置的系统方块图；

图3为本发明的系统定位融合方法流程图。

附图标记说明：10-校正板装置；12-板体；14-对位图案；16-特征点；18-中心反射元件；181-反射凹面；20-中心特征点；22-切换开关控制器；24-储能元件；26-把手杆；30-处理器；32-摄影机；34-距离传感器。

具体实施方式

如图1所示为本发明提供的应用于系统定位融合方法的系统，包括一校正板装置10，一处理器30电性连接一摄影机32以及距离传感器34。其中，校正板装置10如图2A以及图2B所示，校正板装置10包括一板体12，板体12为塑料板体，板体12上具有一对位图案14，本实施例举例对位图案14为黑白方格相间排列的棋盘状对位图案，且对位图案14上具有多个特征点16，其可为发光二极管，可发出光线，亦或可以其他可产生特征点的方式替代，如与对位图案14的颜色不同的贴纸，本实施例举例特征点16为发光二极管，特征点16可使摄影机32撷取多个校正影像后，不须使用手动定义特征点，只需通过特征点16所产生的光，搭配特定的光源特征搜寻算法，即可直接找到特征点16，以利于计算摄影机32的内部参数以及外部参数。板体12的对位图案14中央上还具有一中心反射元件18，其上具有一反射凹面181，中心反射元件18为三角形金属中心反射元件，如不锈钢材质，且反射凹面181中央还具有一中心特征点20，中心特征点20亦为发光二极管。其中上述所有发光二极管皆可发出红色、蓝色或绿色，以根据外部光线的不同，产生与外部光线对比的光线，以明显的显示特征点。如图2B以及图2C所示，板体12上且相对于对位图案14的另一表面具有一切换开关控制器22，切换开关控制器22电性连接发光二极管的特征点16以及中心特征点20，以开关并切换特征点16以及中心特征点20所发射的光源的颜色，因此即可根据环境的状态来改变特征点16以及中心特征点20所发射的光源的颜色，如在红外光线较多的环境下，可使用发出蓝色光的特征点16以及中心特征点20，使特征点16以及中心特征点20能突出，以利摄影机32辨识；板体12上且相对于对位图案14的另一表面还具有一储能元件24，储能元件24电性连接特征点16以及中心特征点20以及切换开关控制器22，以提供电能至特征点16、中心特征点20以及切换开关控制器22；板体12上且相对于对位图案14的另一表面还具有两个把手杆26，以便于使用者通过把手杆26拿取校正板装置10。

如图1以及图2A所示，摄影机32用以拍摄校正板装置10的对位图案14的影像，以产生多个校正影像，将校正影像提供给处理器30，使处理器30寻找出校正板装置10的多个特征点16，以根据校正影像及真实空间的对应关系求出摄影机32的内部参数以及外部参数；一距离传感器34为雷达传感器或激光传感器，可发出一距离感测信号至中心反射元件18的反射凹面181上，以取得校正板装置10的反射凹面181的真实空间的坐标。

在上述说明完应用于系统定位融合方法的系统后，接续说明本发明的系统定位融合方法步骤流程，如图1至图3所示，系统定位融合方法首先进入步骤S10，提供一校正板装置10，其校正板装置10的结构如上述，故不重复叙述；接着进入步骤S12，距离传感器34发出至少一距离感测信号至校正板装置10的中心反射元件18的反射凹面181，以取得反射凹面181的中心真实坐标；接着进入步骤S14，利用摄影机32的外部参数以及内部参数建立一转换方程式，将中心真实坐标转换为可投影于影像中的一中心影像坐标，其中转换方程式(1)如下所示：

P_I＝H_I·H_E·P_D(1)

其中P_I为中心影像坐标；P_D为中心真实坐标；H_I为内部参数(IntrinsicParameter)；H_E为外部参数(ExtrinsicParameter)。

上述摄影机32的内部参数以及外部参数通过摄影机32撷取校正板装置10的多个校正影像后，通过参数校正软件CaltechCameraCalibrationToolbox的判断所产生，CaltechCameraCalibrationToolbox为加州理工学院所发展的摄影机校正工具，可寻找出校正板装置10上的多个特征点16后，再比对校正影像及真实空间的对应关系，取得水平的焦距尺度系数、垂直的焦距尺度系数、影像坐标中心点、旋转矩阵与平移矩阵、轴的角度参数等，藉此求出摄影机32的内部参数以及外部参数。

其中内部参数的目的是将摄影机32的坐标转换到影像坐标，即为摄影机模型的三维坐标转换至二维的影像空间坐标，其中内部参数为通过一内部参数方程式取得，内部参数方程式(2)如下所示：

$H_I=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

其中H_I为内部参数；f_x为水平的焦距尺度系数；f_y为垂直的焦距尺度系数；u₀与v₀为影像坐标中心点。

外部参数的目的为将真实的三维坐标系统空间的坐标转换成三维摄影机坐标系统，本发明的外部参数还包括了摄影机32与距离传感器34的相对位置，将摄影机32与距离传感器34的相对位置带入外部参数中，外部参数方程式(3)如下所示：

$H_E=\left[\begin{array}{cc}{R}_{3\×3}& T_{3\×1}\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\γ}}_1& {\mathrm{\γ}}_2& {\mathrm{\γ}}_3& t_1\\ {\mathrm{\α}}_1& {\mathrm{\α}}_2& {\mathrm{\α}}_3& t_2\\ {\mathrm{\β}}_1& {\mathrm{\β}}_2& {\mathrm{\β}}_3& t_3\end{array}\right]---\left(3\right)$

其中H_E为外部参数；其中R与T分别表示旋转矩阵与平移矩阵；γ_i、α_i、β_i为摄影机坐标系统相对于距离传感器坐标系统x、y、z轴的角度参数；t_i为摄影机与距离传感器安装的相对水平、垂直与深度距离。

因此，当距离传感器34取得一真实的坐标位置时，即可通过转换方程式(1)，将中心真实坐标转换成中心影像坐标，以投射在影像空间中，从而了解在影像空间上实际的物体位置。

在步骤S14转换完成中心影像坐标之后，进入步骤S16，利用摄影机32撷取校正板装置10的至少一校正影像，以搜寻校正影像中校正板装置10的中心特征点20，并将上述转换后的中心影像坐标投射于校正影像上，由于中心影像坐标在上述转换的过程中可能因为参数的设定，或其他不确定的因素，导致中心影像坐标转换误差，使中心影像坐标投影至校正影像时，无法准确的投影在校正影像的中心特征点20上，因此为了使中心影像坐标可准确的投影在校正影像的中心特征点20，接续进入步骤S18，本实施例使用估算算法调整误差，校正中心影像坐标对准于校正影像的中心特征点，同时产生出校正的内部参数与校正的外部参数。本实施例举例使用蒙地卡罗算法(MonteCarloAlgorithm)进行校正，例如估算出来的外部参数以及内部参数皆为产生误差值：ε_16×1，假设p₁为第一次估计出来的摄影机内部与外部参数，其中

$p_1=\[f_{x_1},f_{y_1},u_{0_1},v_{0_1},{\mathrm{\γ}}_{1_1},{\mathrm{\γ}}_{2_1},{\mathrm{\γ}}_{3_1},{\mathrm{\α}}_{1_1},{\mathrm{\α}}_{2_1},{\mathrm{\α}}_{3_1},{\mathrm{\β}}_{1_1},{\mathrm{\β}}_{2_1},{\mathrm{\β}}_{3_1},t_{1_1},t_{2_1},t_{3_1}\]\′$

并假设目前一共撷取出来n张影像，运用自动撷取特征方法可了解距离传感器34的距离感测信号打在校正板装置10上的位置G_i＝(x_i,y_i),i＝1，…，n，并已知距离传感器34所得到反射凹面181中心真实坐标为以计算中心影像坐标影为因此可得第一次结果总误差为下一步为运用蒙地卡罗算法(MonteCarloAlgorithm)，从外部参数以及内部参数的误差范围任意挑参数

$p_j=\[f_{x_j},f_{y_j},u_{0_j},v_{0_j},{\mathrm{\γ}}_{1_j},{\mathrm{\γ}}_{2_j},{\mathrm{\γ}}_{3_j},{\mathrm{\α}}_{1_j},{\mathrm{\α}}_{2_j},{\mathrm{\α}}_{3_j},{\mathrm{\β}}_{1_j},{\mathrm{\β}}_{2_j},{\mathrm{\β}}_{3_j},t_{1_j},t_{2_j},t_{3_j}\]\′,j=1,\·\·\·,m,$ 其中

$f_{x_j}\∈(f_{x_1}-{\mathrm{\ϵ}}_1,f_{x_1}+{\mathrm{\ϵ}}_1),f_{y_j}\∈(f_{y_1}-{\mathrm{\ϵ}}_2,f_{y_1}+{\mathrm{\ϵ}}_2),u_{0_j}\∈(u_{0_1}-{\mathrm{\ϵ}}_3,u_{0_1}+{\mathrm{\ϵ}}_3),v_{0_j}\∈(v_{0_1}-{\mathrm{\ϵ}}_4,v_{0_1}+{\mathrm{\ϵ}}_4),$ ${\mathrm{\γ}}_{1_j}\∈({\mathrm{\γ}}_{1_1}-{\mathrm{\ϵ}}_5,{\mathrm{\γ}}_{1_1}+{\mathrm{\ϵ}}_5),{\mathrm{\γ}}_{2_j}\∈({\mathrm{\γ}}_{2_1}-{\mathrm{\ϵ}}_6,{\mathrm{\γ}}_{2_1}+{\mathrm{\ϵ}}_6),{\mathrm{\γ}}_{3_j}\∈({\mathrm{\γ}}_{3_1}-{\mathrm{\ϵ}}_7,{\mathrm{\γ}}_{3_1}+{\mathrm{\ϵ}}_7),{\mathrm{\α}}_{1_j}\∈({\mathrm{\α}}_{1_1}-{\mathrm{\ϵ}}_8,{\mathrm{\α}}_{1_1}+{\mathrm{\ϵ}}_8),$ ${\mathrm{\α}}_{2_j}\∈({\mathrm{\α}}_{2_1}-{\mathrm{\ϵ}}_9,{\mathrm{\α}}_{2_1}+{\mathrm{\ϵ}}_9),{\mathrm{\α}}_{3_j}\∈({\mathrm{\α}}_{3_1}-{\mathrm{\ϵ}}_{10},{\mathrm{\α}}_{3_1}+{\mathrm{\ϵ}}_{10}),{\mathrm{\β}}_{1_j}\∈({\mathrm{\β}}_{1_1}-{\mathrm{\ϵ}}_{11},{\mathrm{\β}}_{1_1}+{\mathrm{\ϵ}}_{11}),{\mathrm{\β}}_{2_j}\∈({\mathrm{\β}}_{2_1}-{\mathrm{\ϵ}}_{12},{\mathrm{\β}}_{2_1}+{\mathrm{\ϵ}}_{12}),$ ${\mathrm{\β}}_{3_j}\∈({\mathrm{\β}}_{3_1}-{\mathrm{\ϵ}}_{13},{\mathrm{\β}}_{3_1}+{\mathrm{\ϵ}}_{13}),t_{1_j}\∈(t_{1_1}-{\mathrm{\ϵ}}_{14},t_{1_1}+{\mathrm{\ϵ}}_{14}),t_{2_j}\∈(t_{2_1}-{\mathrm{\ϵ}}_{15},t_{2_1}+{\mathrm{\ϵ}}_{15})$ 与 $t_{3_j}\∈(t_{3_1}-{\mathrm{\ϵ}}_{16},t_{3_1}+{\mathrm{\ϵ}}_{16})$ 更新后可从重新计算出新的影像投影点坐标可得新误差最后j_out＝argminE_j,可得j_out为校正的内部与外部参数。之后产生的校正的外部参数以及校正的内部参数即可再次带入于转换方程式(1)中，以更新内部参数以及外部参数，使坐标转换时能够更加准确。

因此通过上述方法可将距离传感器34所计算的距离准确的与影像结合，故可相当精确的判断出障碍物的位置及距离，使本发明可有效应用于自主刹车辅助系统与自主驾驶车等系统。

综上所述，本发明可转换不同系统的坐标，将不同的系统坐标融合在一系统中，能有效的在影像中呈现距离传感器所侦测出的障碍物的坐标，精确的估算出障碍物于影像中的位置。除此之外，本发明还可直接于对位装置上设置多个特征点，避免后续人工在影像中手动设定特征点，因此本发明在计算参数时，可加快计算流程速度并于系统中加强可信度。

以上所述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围。故凡是依本发明权利要求范围所述的特征及精神所为的均等变化或修饰，均应包括于本发明的保护范围内。

Claims (13)

1.一种物体坐标融合校正方法，其特征在于，包括下列步骤：

提供一校正板装置，该校正板装置中央具有至少一中心反射元件，该中心反射元件中央具有一中心特征点；

至少一距离传感器发出至少一距离感测信号至该中心反射元件，以取得该中心反射元件的中心真实坐标；

利用一摄影机的外部参数以及内部参数建立一转换方程式，将该中心真实坐标转换为一中心影像坐标；

利用该摄影机撷取该校正板装置的至少一校正影像，以搜寻该校正影像中的该中心特征点，并将该中心影像坐标投射于该校正影像上；以及

使用估算算法调整误差，校正该中心影像坐标对准于该校正影像中的该中心特征点上，以产生校正的该内部参数与校正的该外部参数。

2.根据权利要求1所述的物体坐标融合校正方法，其特征在于，使用估算算法调整误差的步骤为使用蒙地卡罗算法进行校正，以调整该摄影机的该内部参数以及该外部参数，产生校正的该内部参数与校正的该外部参数。

3.根据权利要求1所述的物体坐标融合校正方法，其特征在于，该转换方程式如下所示：

P_I＝H_I·H_E·P_D

其中该P_I为该中心影像坐标；该P_D为该中心真实坐标；该H_I为该内部参数；该H_E为该外部参数。

4.根据权利要求3所述的物体坐标融合校正方法，其特征在于，该内部参数以及该外部参数为通过该摄影机撷取该校正板装置的多个校正影像，并寻找出该校正板装置的多个特征点在该校正影像中及真实空间的对应关系，以求出该摄影机的该内部参数以及该外部参数。

5.根据权利要求4所述的物体坐标融合校正方法，其特征在于，该外部参数还包括该摄影机与该距离传感器的相对位置。

6.根据权利要求1所述的物体坐标融合校正方法，其特征在于，该距离传感器为雷达传感器或激光传感器。

7.根据权利要求1所述的物体坐标融合校正方法，其特征在于，该中心反射元件具有一反射凹面。

8.一种使用于物体坐标融合校正方法的校正板装置，其特征在于，包括：

一板体，其上具有一对位图案，且该对位图案上具有多个特征点，利用摄影机撷取多个校正影像，以计算该摄影机的内部参数以及外部参数；以及

一中心反射元件，设置于该对位图案中央，且该中心反射元件具有一反射凹面，且该反射凹面中央还具有一中心特征点。

9.根据权利要求8所述的校正板装置，其特征在于，该多个特征点以及该中心特征点为发光二极管。

10.根据权利要求9所述的校正板装置，其特征在于，还包括：

一切换开关控制器，设置于该板体上，并电性连接该多个发光二极管，该切换开关控制器用于开启或关闭该多个发光二极管以及切换该多个发光二极管所发射的光源的颜色；以及

一储能元件，设置于该板体上，并电性连接该多个发光二极管以及该切换开关控制器，以提供电能至该多个发光二极管以及该切换开关控制器。

11.根据权利要求10所述的校正板装置，其特征在于，该发光二极管发光的颜色为红色、蓝色或绿色。

12.根据权利要求8所述的校正板装置，其特征在于，该中心反射元件为金属三角形中心反射元件。

13.根据权利要求8所述的校正板装置，其特征在于，该板体上相对于该对位图案的另一表面还具有两个把手杆。