CN104008530A - 一种图像合成标定方法 - Google Patents
一种图像合成标定方法 Download PDFInfo
- Publication number
- CN104008530A CN104008530A CN201410239145.7A CN201410239145A CN104008530A CN 104008530 A CN104008530 A CN 104008530A CN 201410239145 A CN201410239145 A CN 201410239145A CN 104008530 A CN104008530 A CN 104008530A
- Authority
- CN
- China
- Prior art keywords
- point
- point coordinate
- coordinate
- record
- rearview mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000015572 biosynthetic process Effects 0.000 title abstract 5
- 238000003786 synthesis reaction Methods 0.000 title abstract 5
- 238000010586 diagram Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开一种图像合成标定方法，涉及汽车领域，解决了汽车的安全驾驶性能的问题。所述图像合成标定方法，包括：获取后视镜摄像头展开下任一点的第一点坐标并记录；建立其与相同世界点坐标的关系并记录；用内部参数模型获取第一畸变图像中相同点的像素值与第一点坐标的关系并记录；获取第一畸变图像中相同点的像素值与世界点坐标的关系并记录；获取摄像头折叠下任一点的第二点坐标并记录；建立相同点的第二点坐标与第一点坐标的关系并记录；用内部参数模型获取第二畸变图像中相同点的像素值与第二点坐标的关系并记录；获取第二畸变图像中相同点的像素值与世界点坐标的关系并记录。本发明用在汽车安全系统中。
Description
技术领域
本发明涉及汽车智能安全驾驶领域，尤其涉及一种图像合成标定方法。
背景技术
随着社会的发展，汽车已进入家家户户，人们对汽车的安全性能也越发关注，汽车的智能安全驾驶系统已成为发展趋势。
在实际驾驶过程中，由于汽车驾驶员无法同时知晓四周的环境情况，易造成剐蹭、磕碰等事故，因此目前的汽车智能安全驾驶系统可以为驾驶员提供汽车周边360度全景环视影像，以方便驾驶员进行安全泊车等操作。其中，该影像系统由四个广角摄像头和一个控制器构成，前摄像头安装于前保险杠位置、后摄像头安装于后牌照位置(牌照上方或下方)、左右两摄像头分别安装于展开的左右后视镜下方；且核心标定算法集成于控制器中，主要是完成对摄像头与车身安装角度及其内部参数的计算。具体地，该影像系统的工作过程包括：通过每一个摄像头获取拍摄图像，并将四个图像进行处理(校正、转化为鸟瞰图等)，最后通过图像的拼接，实现360度全景影像输出。
然而现有技术中，当汽车处于某种特殊的复杂环境(泊车空间狭小等)下，无法将左右后视镜展开时，即后视镜处于折叠状态，该状态下后视镜摄像头拍摄的图像会发生变化，导致无法与前后摄像头拍摄的图像进行拼接合成，从而使360度全景环视影像系统无法正常工作，则无法为驾驶员提供智能的安全驾驶信息，影响汽车的安全驾驶性能。
发明内容
本发明的实施例提供一种图像合成标定方法，解决了现有技术中在后视镜处于折叠状态下，智能安全驾驶系统无法为驾驶员提供360度全景影像，从而影响汽车的安全驾驶性能的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
一种图像合成标定方法，包括：
步骤1、获取汽车后视镜摄像头在展开状态下的第一坐标系中任一点的第一点坐标并记录。
步骤2、建立所述第一点坐标与相同点在世界坐标系中的世界点坐标之间的对应关系并记录。
步骤3、在汽车后视镜摄像头展开状态下，用内部参数模型获取第一畸变图像中相同点的像素值与所述第一点坐标之间的对应关系并记录。
步骤4、在汽车后视镜摄像头展开状态下，获取所述第一畸变图像中相同点的像素值与所述世界点坐标的对应关系并记录。
步骤5、获取汽车摄像头在折叠状态下的第二坐标系中任一点的第二点坐标并记录。
步骤6、建立相同点的所述第二点坐标与所述第一点坐标之间的对应关系并记录。
步骤7、在汽车后视镜摄像头折叠状态下，用内部参数模型获取第二畸变图像中相同点的像素值与所述第二点坐标之间的对应关系并记录。
步骤8、在汽车后视镜摄像头折叠状态下，获取所述第二畸变图像中相同点的像素值与所述世界点坐标的对应关系并记录。
具体地，在所述步骤1之前，具体还包括：
步骤101、铺设标定板，所述标定板为黑白棋盘状的百格图。
步骤102、控制汽车行驶至所述标定板指定位置。
步骤103、确定标定诊断工具接口与所述汽车的车载诊断系统接口相连接。
其中，所述步骤1具体包括：
步骤11、操作所述标定诊断工具与所述汽车的电子控制单元建立通讯认证。
步骤12、通过所述汽车的电子控制单元激活所述汽车后视镜摄像头，并将所述汽车后视镜摄像头调整为展开状态。
步骤13、以所述汽车后视镜摄像头的光心为所述第一坐标系原点，获取所述第一坐标系中任一点的第一点坐标并记录。
其中，所述步骤2具体包括：
步骤21、确定相同点的所述第一点坐标与所述世界点坐标相对应的第一空间变量，所述第一空间变量包括第一旋转矩阵R1以及第一平移向量T1。
步骤22、用第一旋转矩阵R1和第一平移向量T1建立相同点的所述第一点坐标与所述世界点坐标对应关系并记录。
其中，所述步骤3具体包括：用内部参数模型g获得相同点在第一畸变图像中的像素值与所述第一点坐标之间的投影关系，其中，所述第一坐标系原点与所述第一畸变图像原点共线。
其中，所述步骤4具体包括：根据相同点的所述像素值与所述第一点坐标的投影关系，获得相同点在所述第一畸变图像的像素值与所述世界点坐标的对应关系并记录。
其中，所述步骤5具体包括：
步骤51、通过所述汽车的电子控制单元控制所述汽车后视镜折叠。
步骤52、所述汽车的电子控制单元记录所述汽车后视镜折叠后的折叠角度信息。
步骤53、以所述汽车后视镜摄像头的光心为所述第二坐标系原点，获取所述第二坐标系中任一点的第二点坐标并记录。
其中，所述步骤6具体包括：
步骤61、根据所述折叠角度信息，确定相同点的所述第一点坐标与所述第二点坐标相对应的第二空间变量，所述第二空间变量包括第二旋转矩阵R2以及第二平移向量T2。
步骤62、用第二旋转矩阵R2和第二平移向量T2建立相同点的所述第一点坐标与所述第二点坐标对应关系并记录。
其中，所述步骤7具体包括：用内部参数模型g获得相同点在第二畸变图像中的像素值与所述第二点坐标之间的投影关系，其中，所述第二坐标系原点与所述第二畸变图像原点共线。
其中，所述步骤8具体包括：
步骤81、根据相同点的所述像素值与所述第二点坐标的投影关系，获得所述相同点在第二畸变图像的像素值与所述第一点坐标的对应关系并记录。
步骤82、根据相同点的所述第一点坐标与所述世界点坐标的对应关系，获得相同点在所述第二畸变图像的像素值与所述世界点坐标的对应关系并记录。
本发明实施例提供的一种图像合成标定方法中，首先，通过汽车控制器获取汽车后视镜摄像头在展开状态下的第一坐标系Oc中的任一点(以实物中一点A为例)的第一点坐标(Xc,Yc,Zc)并记录；之后，控制器建立点A的第一点坐标(Xc,Yc,Zc)与该点A在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)之间的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一坐标系Oc中的位置；然后，在汽车后视镜摄像头展开状态下，控制器可以通过用内部参数模型g来获取第一畸变图像中点A的像素值(U1,V1)与其第一点坐标(Xc,Yc,Zc)之间的对应关系并记录，即用在第一坐标系Oc中的第一点坐标(Xc,Yc,Zc)来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值(U1,V1)，可以用函数：(U1,V1)＝g(Xc,Yc,Zc)来描述；这之后，在汽车后视镜摄像头展开状态下，控制器可以通过逻辑换算来获取第一畸变图像中点A的像素值(U1,V1)与其在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值(U1,V1)；再然后，控制器获取汽车摄像头在折叠状态下的第二坐标系Ov中任一点(仍然以实物中相同的点A为例)的第二点坐标(Xv,Yv,Zv)并记录；之后，控制器建立点A在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)与点A在第一坐标系Oc中第一点坐标(Xc,Yc,Zc)之间的对应关系并记录，即用在汽车摄像头展开状态下拍摄的点A在第一坐标系Oc中第一点坐标(Xc,Yc,Zc)来描述汽车后视镜摄像头在折叠状态下拍摄的点A在第一坐标系Oc中的位置；再之后，在汽车后视镜摄像头折叠状态下，控制器可以通过用内部参数模型g获取第二畸变图像中点A的像素值(U2,V2)与其第二点坐标(Xv,Yv,Zv)之间的对应关系并记录，即用在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)来描述汽车后视镜摄像头在折叠状态下拍摄的点A在第二畸变图像中的像素值(U2,V2)，可以用函数：(U2,V2)＝g(Xv,Yv,Zv)来描述；最后，在汽车后视镜摄像头折叠状态下，控制器可以通过逻辑换算来获取第二畸变图像中点A的像素值(U2,V2)与其在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在折叠状态下拍摄的点A在第二畸变图像中的像素值(U2,V2)。
由此分析可知，当汽车处于泊车空间狭小等特殊复杂环境下，后视镜只能处于折叠状态，由于该状态下后视镜摄像头拍摄的图像会发生变化，因此通过本实施例提供的图像合成标定方法中的内部参数模型及后视镜摄像头处于展开和折叠两个状态下的空间机械角度对应关系等进行图像算法标定，控制器能够将后视镜处于折叠状态下拍摄的第二畸变图像与世界坐标系建立对应关系，从而将后视镜处于折叠状态下拍摄的第二畸变图像中的各点像素值一一转换成后视镜处于展开状态下的第一畸变图像中的相应像素值，从而可以顺利与前后摄像头拍摄的图像进行拼接合成，进而为驾驶员提供汽车周边360度全景环视影像等安全驾驶信息，提高汽车的安全驾驶性能；而且，由于通过图像算法标定的转换，能够减少单独标定的时间，提高效率。
附图说明
图1为本发明实施例提供的图像合成标定方法流程图；
图2为本发明实施例提供的图像合成标定方法步骤1之前的准备步骤流程图；
图3为本发明实施例提供的图像合成标定方法步骤1的具体步骤流程图；
图4为本发明实施例提供的图像合成标定方法步骤2的具体步骤流程图；
图5为本发明实施例提供的图像合成标定方法步骤5的具体步骤流程图；
图6为本发明实施例提供的图像合成标定方法步骤6的具体步骤流程图；
图7为本发明实施例提供的图像合成标定方法步骤8的具体步骤流程图；
图8为应用了本发明实施例提供的图像合成标定方法的成像过程流程图。
具体实施方式
下面结合附图对本发明实施例一种图像合成标定方法进行详细描述。
本发明实施例提供一种图像标定方法，如图1所示，包括：
步骤1、获取汽车后视镜摄像头在展开状态下的第一坐标系中任一点的第一点坐标并记录。
步骤2、建立第一点坐标与相同点在世界坐标系中的世界点坐标之间的对应关系并记录。
步骤3、在汽车后视镜摄像头展开状态下，用内部参数模型获取第一畸变图像中相同点的像素值与第一点坐标之间的对应关系并记录。
步骤4、在汽车后视镜摄像头展开状态下，获取第一畸变图像中相同点的像素值与世界点坐标的对应关系并记录。
步骤5、获取汽车摄像头在折叠状态下的第二坐标系中任意点的第二点坐标并记录。
步骤6、建立相同点的第二点坐标与第一点坐标之间的对应关系并记录。
步骤7、在汽车后视镜摄像头折叠状态下，用内部参数模型获取第二畸变图像中相同点的像素值与第二点坐标之间的对应关系并记录。
步骤8、在汽车后视镜摄像头折叠状态下，获取所述第二畸变图像中相同点的像素值与世界点坐标的对应关系并记录。
本发明实施例提供的一种图像合成标定方法中，首先，通过汽车控制器获取汽车后视镜摄像头在展开状态下的第一坐标系Oc中的任一点(以实物中一点A为例)的第一点坐标(Xc,Yc,Zc)并记录；之后，控制器建立点A的第一点坐标(Xc,Yc,Zc)与该点A在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)之间的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一坐标系Oc中的位置；然后，在汽车后视镜摄像头展开状态下，控制器可以通过用内部参数模型g来获取第一畸变图像中点A的像素值(U1,V1)与其第一点坐标(Xc,Yc,Zc)之间的对应关系并记录，即用在第一坐标系Oc中的第一点坐标(Xc,Yc,Zc)来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值(U1,V1)，可以用函数：(U1,V1)＝g(Xc,Yc,Zc)来描述；这之后，在汽车后视镜摄像头展开状态下，控制器可以通过逻辑换算来获取第一畸变图像中点A的像素值(U1,V1)与其在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值(U1,V1)；再然后，控制器获取汽车摄像头在折叠状态下的第二坐标系Ov中任一点(仍然以实物中相同的点A为例)的第二点坐标(Xv,Yv,Zv)并记录；之后，控制器建立点A在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)与点A在第一坐标系Oc中第一点坐标(Xc,Yc,Zc)之间的对应关系并记录，即用在汽车摄像头展开状态下拍摄的点A在第一坐标系Oc中第一点坐标(Xc,Yc,Zc)来描述汽车后视镜摄像头在折叠状态下拍摄的点A在第一坐标系Oc中的位置；再之后，在汽车后视镜摄像头折叠状态下，控制器可以通过用内部参数模型g获取第二畸变图像中点A的像素值(U2,V2)与其第二点坐标(Xv,Yv,Zv)之间的对应关系并记录，即用在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)来描述汽车后视镜摄像头在折叠状态下拍摄的点A在第二畸变图像中的像素值(U2,V2)，可以用函数：(U2,V2)＝g(Xv,Yv,Zv)来描述；最后，在汽车后视镜摄像头折叠状态下，控制器可以通过逻辑换算来获取第二畸变图像中点A的像素值(U2,V2)与其在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在折叠状态下拍摄的点A在第二畸变图像中的像素值(U2,V2)。
由此分析可知，当汽车处于泊车空间狭小等特殊复杂环境下，后视镜只能处于折叠状态，由于该状态下后视镜摄像头拍摄的图像会发生变化，因此通过本实施例提供的图像合成标定方法中的内部参数模型及后视镜摄像头处于展开和折叠两个状态下的空间机械角度对应关系等进行图像算法标定，控制器能够将后视镜处于折叠状态下拍摄的第二畸变图像与世界坐标系建立对应关系，从而将后视镜处于折叠状态下拍摄的第二畸变图像中的各点像素值一一转换成后视镜处于展开状态下的第一畸变图像中的相应像素值，从而可以顺利与前后摄像头拍摄的图像进行拼接合成，进而为驾驶员提供汽车周边360度全景环视影像等安全驾驶信息，提高汽车的安全驾驶性能；而且，由于通过图像算法标定的转换，能够减少单独标定的时间，提高效率。
此处需要说明的是，上述步骤1中获取的点A是任意一点，但控制器获取的是摄像头在展开状态下拍摄的图像中的所有点，即第一坐标系中的点有A、B、C、D、E、F……等，相应的步骤6中建立第二点坐标与第一点坐标之间的点的对应关系时，此时的点应对应同一点，即在相同的点A、点B或点C…下，建立第一点坐标与第二点坐标的对应关系，从而将第一坐标系中的所有点与第二坐标系中所有相应点一一建立对应关系，进而将后视镜处于折叠状态下拍摄的第二畸变图像中的各点像素值一一转换成后视镜处于展开状态下的第一畸变图像中的相应像素值，方便完成图像合成标定。其中，在上述步骤1之前还需要进行标定准备，如图2所示，具体可以包括：步骤101、铺设标定板，该标定板可以为黑白棋盘状的百格图，且每个格的尺寸为10cm*10cm，也可以为圆形等其他图形的平面棋盘格状标定板；其中，黑白棋盘状的百格图仅包括黑、白色，像素值对应最大值和最小值，便于进行图像处理、方便试验。步骤102、控制汽车行驶至标定板指定位置，该指定位置通常可以是标定板的中心位置；步骤103、确定(控制器)标定诊断工具接口与汽车的车载诊断系统接口相连接，并通信正常，从而保证汽车的智能安全驾驶系统可以正常工作，并顺利完成图像合成标定及输出360度全景环视影像。
具体地，如图3所示，上述步骤1可以具体包括：步骤11、操作标定诊断工具与汽车电子控制单元建立通讯认证，以保证后续控制汽车后视镜处于展开和折叠两种不同状态下，均与标定诊断工具和车载诊断系统相连通。
步骤12、控制电子控制单元激活汽车后视镜摄像头，并将汽车后视镜摄像头调整为展开状态，从而后续获取第一坐标系Oc中所有点的第一点坐标(Xc,Yc,Zc)并记录。
步骤13、以汽车后视镜在展开状态下的摄像头的光心为第一坐标系Oc的原点，并获取第一坐标系Oc中各点的第一点坐标(Xc,Yc,Zc)并记录。
具体地，图像处理主要通过标定诊断工具集合车载诊断系统完成图像的畸变校正、拼接等。其中，由于汽车摄像头多为广角摄像头，因此所拍摄到的初始图片为畸变图像，在对畸变图像进行处理时，需要预先标定各参数，从而控制器能够根据各参数进行校正，进而将图像转化为俯视图(鸟瞰图)，便于后续图像合成。
其中，如图4所示，上述步骤2具体可以包括：步骤21、以第一坐标系Oc中的点A为例，标定诊断工具确定点A的第一点坐标(Xc,Yc,Zc)与世界坐标系Ow中的该点的世界点坐标(Xw,Yw,Zw)之间相对应的关系，即第一空间变量，该第一空间变量具体可以包括第一旋转矩阵R1以及第一平移向量T1。
步骤22、标定诊断工具通过第一旋转矩阵R1和第一平移向量T1建立点A的第一点坐标(Xc,Yc,Zc)与其世界点坐标(Xw,Yw,Zw)之间的对应关系并记录，即可以通过函数：(Xc,Yc,Zc)＝R1(Xw,Yw,Zw)+T1来描述。
补充说明，上述第一旋转矩阵R1和第一平移向量T1，为经过多次试验得到的合理常量。
其中，上述步骤3可以具体为：标定诊断工具用内部参数模型g获得点A在第一畸变图像中的像素值(U1,V1)与其第一点坐标(Xc,Yc,Zc)之间的投影关系，即可以通过函数：(U1,V1)＝g(Xc,Yc,Zc)来描述；其中，第一坐标系原点与第一畸变图像原点共线，即处于展开状态下的摄像头光心延长线与第一畸变图像垂直，且垂足为该畸变图像的原点。
其中，上述步骤4可以具体为：标定诊断工具根据点A的像素值(U1,V1)与其第一点坐标(Xc,Yc,Zc)之间的投影关系，获得该点在第一畸变图像的像素值(U1,V1)与其世界点坐标(Xw,Yw,Zw)的对应关系并记录，即可以通过函数(U1,V1)＝g[R1(Xw,Yw,Zw)+T1]来描述。从而，通过该函数，能够得到展开状态下，汽车后视镜摄像头所拍摄的畸变图像与实物对应位置的参数，从而控制器通过参数进行畸变图像的校正，以合成汽车后视镜展开时的360度全景环视影像，便于驾驶员进行泊车等操作。
其中，如图5所示，上述步骤5可以具体包括：步骤51、通过汽车电子控制单元(Electronic Control Unit，ECU)控制汽车后视镜折叠，为后续进行后视镜处于折叠状态下的标定做准备。
步骤52、汽车电子控制单元记录汽车后视镜折叠后的空间折叠角度信息等，即确定后视镜折叠状态与展开状态下的空间角度对应关系，并发送给标定诊断工具。
步骤53、以汽车后视镜处于折叠状态下的摄像头的光心为第二坐标系Ov的原点，获取第二坐标系Ov中任一点(仍然以实物中相同的点A为例)的第二点坐标(Xv,Yv,Zv)并记录。
其中，如图6所示，上述步骤6可以具体包括：步骤61、标定诊断工具根据折叠角度信息，确定相同点的点A第一点坐标(Xc,Yc,Zc)与第二点坐标(Xv,Yv,Zv)之间相对应的第二空间变量，该第二空间变量具体可以包括第二旋转矩阵R2以及第二平移向量T2。
步骤62、标定诊断工具用第二旋转矩阵R2和第二平移向量T2建立相同点的点A第一点坐标(Xc,Yc,Zc)与第二点坐标(Xv,Yv,Zv)之间的对应关系并记录，即可以通过函数：(Xv,Yv,Zv)＝R2(Xc,Yc,Zc)+T2来描述。
补充说明，上述第二旋转矩阵R2和第二平移向量T2，为经过多次试验得到的合理常量。
其中，上述步骤7可以具体为：标定诊断工具用内部参数模型g获得点A在第二畸变图像中的像素值(U2，V2)与其第二点坐标(Xv,Yv,Zv)之间的投影关系，即可以通过函数：(U2，V2)＝g(Xv,Yv,Zv)来描述；其中，第二坐标系原点与第二畸变图像原点共线，即处于折叠状态下的摄像头光心延长线与第二畸变图像垂直，且垂足为该畸变图像的原点。
其中，如图7所示，上述步骤8可以具体包括：步骤81、标定诊断工具根据点A的像素值(U2，V2)与其第二点坐标(Xv,Yv,Zv)之间的投影关系，获得该点A在第二畸变图像的像素值(U2，V2)与其第一点坐标(Xc,Yc,Zc)之间的对应关系并记录，即可以通过函数：(U2，V2)＝g[R2(Xc,Yc,Zc)+T2]来描述。
步骤82、标定诊断工具根据点A的第一点坐标(Xc,Yc,Zc)与其世界点坐标(Xw,Yw,Zw)之间的对应关系，获得对应点的点A在第二畸变图像的像素值(U2，V2)与其世界点坐标(Xw,Yw,Zw)之间的对应关系并记录，即可以通过函数：(U2，V2)＝g{R2[R1(Xw,Yw,Zw)+T1]+T2}来描述。此时标定诊断工具可以通过逻辑换算获取点A在第二畸变图像中的像素值(U2，V2)与相应的点A在第一畸变图像中的像素值(U1,V1)之间的对应关系并记录，即(U2，V2)＝常量*(U1,V1)。
其中常量＝g{R2[R1(Xw,Yw,Zw)+T1]+T2}/g[R1(Xw,Yw,Zw)+T1]。
此时，汽车的四个摄像头已经分别拍摄了四个方位的百格图图像(即使后视镜处于折叠状态，其百格图图像也可通过上述实施例提供的标定方法转换成后视镜处于展开状态下的百格图图像)，电子控制单元对四个方位的百格图上的像素重合点进行拼接并剪切边界图像，并形成完整的360度环视影像。
补充说明，为了便于理解，图8为应用了本实施例提供的标定方法进行成像的完整流程图。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像合成标定方法，其特征在于，包括：
步骤1、获取汽车后视镜摄像头在展开状态下的第一坐标系中任一点的第一点坐标并记录；
步骤2、建立所述第一点坐标与相同点在世界坐标系中的世界点坐标之间的对应关系并记录；
步骤3、在汽车后视镜摄像头展开状态下，用内部参数模型获取第一畸变图像中相同点的像素值与所述第一点坐标之间的对应关系并记录；
步骤4、在汽车后视镜摄像头展开状态下，获取所述第一畸变图像中相同点的像素值与所述世界点坐标的对应关系并记录；
步骤5、获取汽车摄像头在折叠状态下的第二坐标系中任一点的第二点坐标并记录；
步骤6、建立相同点的所述第二点坐标与所述第一点坐标之间的对应关系并记录；
步骤7、在汽车后视镜摄像头折叠状态下，用内部参数模型获取第二畸变图像中相同点的像素值与所述第二点坐标之间的对应关系并记录；
步骤8、在汽车后视镜摄像头折叠状态下，获取所述第二畸变图像中相同点的像素值与所述世界点坐标的对应关系并记录。
2.根据权利要求1所述的一种图像合成标定方法，其特征在于，在所述步骤1之前，具体还包括：
步骤101、铺设标定板，所述标定板为黑白棋盘状的百格图；
步骤102、控制汽车行驶至所述标定板指定位置；
步骤103、确定标定诊断工具接口与所述汽车的车载诊断系统接口相连接。
3.根据权利要求2所述的一种图像合成标定方法，其特征在于，所述步骤1具体包括：
步骤11、操作所述标定诊断工具与所述汽车的电子控制单元建立通讯认证；
步骤12、通过所述汽车的电子控制单元激活所述汽车后视镜摄像头，并将所述汽车后视镜摄像头调整为展开状态；
步骤13、以所述汽车后视镜摄像头的光心为所述第一坐标系原点，获取所述第一坐标系中任一点的第一点坐标并记录。
4.根据权利要求3所述的一种图像合成标定方法，其特征在于，所述步骤2具体包括：
步骤21、确定相同点的所述第一点坐标与所述世界点坐标相对应的第一空间变量，所述第一空间变量包括第一旋转矩阵R1以及第一平移向量T1；
步骤22、用第一旋转矩阵R1和第一平移向量T1建立相同点的所述第一点坐标与所述世界点坐标对应关系并记录。
5.根据权利要求4所述的一种图像合成标定方法，其特征在于，所述步骤3具体包括：
用内部参数模型g获得相同点在第一畸变图像中的像素值与所述第一点坐标之间的投影关系，其中，所述第一坐标系原点与所述第一畸变图像原点共线。
6.根据权利要求5所述的一种图像合成标定方法，其特征在于，所述步骤4具体包括：
根据相同点的所述像素值与所述第一点坐标的投影关系，获得相同点在所述第一畸变图像的像素值与所述世界点坐标的对应关系并记录。
7.根据权利要求6所述的一种图像合成标定方法，其特征在于，所述步骤5具体包括：
步骤51、通过所述汽车的电子控制单元控制所述汽车后视镜折叠；
步骤52、所述汽车的电子控制单元记录所述汽车后视镜折叠后的折叠角度信息；
步骤53、以所述汽车后视镜摄像头的光心为所述第二坐标系原点，获取所述第二坐标系中任一点的第二点坐标并记录。
8.根据权利要求7所述的一种图像合成标定方法，其特征在于，所述步骤6具体包括：
步骤61、根据所述折叠角度信息，确定相同点的所述第一点坐标与所述第二点坐标相对应的第二空间变量，所述第二空间变量包括第二旋转矩阵R2以及第二平移向量T2；
步骤62、用第二旋转矩阵R2和第二平移向量T2建立相同点的所述第一点坐标与所述第二点坐标对应关系并记录。
9.根据权利要求8所述的一种图像合成标定方法，其特征在于，所述步骤7具体包括：
用内部参数模型g获得相同点在第二畸变图像中的像素值与所述第二点坐标之间的投影关系，其中，所述第二坐标系原点与所述第二畸变图像原点共线。
10.根据权利要求9所述的一种图像合成标定方法，其特征在于，所述步骤8具体包括：
步骤81、根据相同点的所述像素值与所述第二点坐标的投影关系，获得所述相同点在第二畸变图像的像素值与所述第一点坐标的对应关系并记录；
步骤82、根据相同点的所述第一点坐标与所述世界点坐标的对应关系，获得相同点在所述第二畸变图像的像素值与所述世界点坐标的对应关系并记录。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410239145.7A CN104008530B (zh) | 2014-05-30 | 2014-05-30 | 一种图像合成标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410239145.7A CN104008530B (zh) | 2014-05-30 | 2014-05-30 | 一种图像合成标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104008530A true CN104008530A (zh) | 2014-08-27 |
| CN104008530B CN104008530B (zh) | 2017-01-18 |
Family
ID=51369171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410239145.7A Expired - Fee Related CN104008530B (zh) | 2014-05-30 | 2014-05-30 | 一种图像合成标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104008530B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046647A (zh) * | 2015-06-19 | 2015-11-11 | 江苏新通达电子科技股份有限公司 | 全液晶仪表360°全景车用监控系统及其工作方法 |
| WO2017161608A1 (zh) * | 2016-03-21 | 2017-09-28 | 完美幻境(北京)科技有限公司 | 一种相机几何标定处理方法及装置 |
| CN117557660A (zh) * | 2024-01-09 | 2024-02-13 | 北京集度科技有限公司 | 数据处理方法、装置、电子设备以及车辆 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02293229A (ja) * | 1989-05-02 | 1990-12-04 | Kentaro Shioda | 後写鏡により運転者の目の位置を測定する装置 |
| US20100119172A1 (en) * | 2008-11-12 | 2010-05-13 | Chi-Chang Yu | Fisheye Correction with Perspective Distortion Reduction Method and Related Image Processor |
| CN103116878A (zh) * | 2013-02-25 | 2013-05-22 | 徐渊 | 校正图像桶形失真的方法、装置以及图像处理装置 |
| CN103600695A (zh) * | 2013-11-22 | 2014-02-26 | 奇瑞汽车股份有限公司 | 一种检测后视盲区内车辆的方法及设备 |
| KR20140036592A (ko) * | 2012-09-17 | 2014-03-26 | 주식회사 이미지넥스트 | 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 |
-
2014
- 2014-05-30 CN CN201410239145.7A patent/CN104008530B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02293229A (ja) * | 1989-05-02 | 1990-12-04 | Kentaro Shioda | 後写鏡により運転者の目の位置を測定する装置 |
| US20100119172A1 (en) * | 2008-11-12 | 2010-05-13 | Chi-Chang Yu | Fisheye Correction with Perspective Distortion Reduction Method and Related Image Processor |
| KR20140036592A (ko) * | 2012-09-17 | 2014-03-26 | 주식회사 이미지넥스트 | 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 |
| CN103116878A (zh) * | 2013-02-25 | 2013-05-22 | 徐渊 | 校正图像桶形失真的方法、装置以及图像处理装置 |
| CN103600695A (zh) * | 2013-11-22 | 2014-02-26 | 奇瑞汽车股份有限公司 | 一种检测后视盲区内车辆的方法及设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046647A (zh) * | 2015-06-19 | 2015-11-11 | 江苏新通达电子科技股份有限公司 | 全液晶仪表360°全景车用监控系统及其工作方法 |
| CN105046647B (zh) * | 2015-06-19 | 2017-12-05 | 江苏新通达电子科技股份有限公司 | 全液晶仪表360°全景车用监控系统及其工作方法 |
| WO2017161608A1 (zh) * | 2016-03-21 | 2017-09-28 | 完美幻境(北京)科技有限公司 | 一种相机几何标定处理方法及装置 |
| CN117557660A (zh) * | 2024-01-09 | 2024-02-13 | 北京集度科技有限公司 | 数据处理方法、装置、电子设备以及车辆 |
| CN117557660B (zh) * | 2024-01-09 | 2024-04-12 | 北京集度科技有限公司 | 数据处理方法、装置、电子设备以及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104008530B (zh) | 2017-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102045546B (zh) | 一种全景泊车辅助系统 | |
| CN105763854B (zh) | 一种基于单目摄像头的全景成像系统及其成像方法 | |
| CN109435852A (zh) | 一种针对大型卡车的全景式辅助驾驶系统及方法 | |
| CN104512328B (zh) | 汽车环视图像生成方法及汽车环视系统 | |
| CN103763517B (zh) | 一种车载环视显示方法及系统 | |
| JP4640238B2 (ja) | 車両周囲映像作成装置及び車両周囲映像作成方法 | |
| JP2021170826A (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| JP2018531530A5 (zh) | ||
| CN101442618A (zh) | 用于车辆辅助驾驶的360度环形视频合成方法 | |
| CN103871071A (zh) | 一种用于全景泊车系统的摄像头外参标定方法 | |
| CN108124095B (zh) | 用于交通工具的影像处理方法及影像系统 | |
| CN102774324A (zh) | 一种全景泊车辅助系统及其实现方法 | |
| CN102521817A (zh) | 一种用于全景泊车系统的图像融合方法 | |
| JP5546321B2 (ja) | 複数カメラ画像使用車外表示装置 | |
| CN105321160B (zh) | 三维立体全景泊车的多摄像头标定方法 | |
| CN106274684A (zh) | 一种小角度摄像头实现的汽车全景环视系统 | |
| CN102510475A (zh) | 基于红外标定的汽车全景成像装置及方法 | |
| CN106855999A (zh) | 汽车环视图像的生成方法及装置 | |
| CN104008530A (zh) | 一种图像合成标定方法 | |
| CN107492125A (zh) | 汽车鱼眼镜头环视图像的处理方法 | |
| CN106993154B (zh) | 具有故障安全功能的车辆侧面和后方监视系统及其方法 | |
| CN206287929U (zh) | 一种3d全景泊车装置及系统 | |
| CN203759754U (zh) | 车载全景成像系统标定装置 | |
| CN105774657B (zh) | 一种单摄像头全景倒车影像系统 | |
| US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170118 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |