CN111540022A - 一种基于虚拟相机的图像一致化方法 - Google Patents

Abstract

本发明公开了一种基于虚拟相机的图像一致化方法，属于图像处理技术领域。步骤包括：标定设置物理相机和虚拟相机的内部参数和外部参数；分别计算从世界坐标系到虚拟相机坐标系和物理相机坐标系转换的旋转矩阵；建立虚拟图像坐标与世界坐标的关系；计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；将交点由世界坐标系转换到物理图像坐标系；建立虚拟图像坐标与物理图像坐标的关系；虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。本发明通过模拟出一个特定相机在某个位置的成像，让不同的相机产生相似的成像效果，满足了摄像头型号不同安装位置不同情况下终端图像视觉一致性需求。

Description

一种基于虚拟相机的图像一致化方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于虚拟相机的图像一致化方法。

背景技术

摄像机作为图像传感器在机器视觉领域是必不可少的。尤其在车载领域，包括记录仪、流媒体后视镜、电子后视镜等都需要摄像头作为图像显示的。对于不同的车辆往往摄像头的安装位置不同，有的高有的低，这就导致摄像机的成像效果差别较大。摄像头千差万别。是否可以在使用不同摄像头，安装在车辆不同位置的同时具备相同或者接近的成像效果呢，急需提供一种解决方法。

发明内容

有鉴于此，本公开提供一种基于虚拟相机的图像一致化方法，通过模拟出一个特定相机在某个位置的成像，从而可以让不同的相机有着相似的成像效果，包括如下步骤：

步骤1：标定物理相机的内部参数和外部参数，设置虚拟相机的内部参数和外部参数；

步骤2：分别计算从世界坐标系到物理相机坐标系转换的旋转矩阵、从世界坐标系到虚拟相机坐标系转换的旋转矩阵；

步骤3：建立虚拟图像坐标与世界坐标的关系；

步骤4：计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；

步骤5：将步骤4的交点由世界坐标系转换到物理图像坐标系；

步骤6：建立虚拟图像坐标与物理图像坐标的关系；

步骤7：虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。

进一步地，所述的步骤1，物理相机的内部参数为相机摄像头的固有属性，包括但不限于:光心、焦距、畸变系数。

进一步地，所述的步骤1，物理相机的外部参数为安装参数，包括空间上3个坐标轴方向的位移自由度和绕3个坐标轴的旋转自由度。

根据本发明实施例的一种具体实现方式，所述的步骤3，建立虚拟图像坐标与世界坐标的关系，包括如下步骤：

步骤3.1：运用三维坐标转换原理，通过平移和旋转，建立世界坐标与虚拟相机坐标的关系；

步骤3.2：运用相机的小孔成像原理，通过相机内参变换，建立虚拟相机坐标与虚拟图像坐标系。

根据本发明实施例的一种具体实现方式，所述的步骤5，从世界坐标系转换到物理图像坐标系，包括如下步骤：

步骤5.1：运用三维坐标转换原理，通过平移和旋转，将步骤4的交点从世界坐标系转换到物理相机坐标系。

步骤5.2：运用相机的小孔成像原理，通过相机内参变换，从物理相机坐标系转换到物理图像坐标系。

进一步地，所述的步骤3建立虚拟图像坐标与世界坐标的关系所采用的公式、或者步骤 5中的交点由世界坐标系转换到物理图像坐标系所采用的公式如下：

x＝PX

X＝P^-1x

P＝K[Rt]

其中：

x表示二维图像坐标，这里可以是虚拟图像坐标也可以是物理图像坐标；

X表示三维世界坐标；

P表示世界坐标系转换到图像坐标系的投影矩阵；

K表示物理相机或虚拟相机的内部参数，物理相机内部参数是固有的，虚拟相机的内部参数是人为定义的；

R表示世界坐标与物理相机坐标转换的坐标轴旋转矩阵或世界坐标与虚拟相机坐标转换的坐标轴旋转矩阵；

t表示世界坐标与物理相机坐标转换的平移向量或世界坐标与虚拟相机坐标转换的平移向量。

本公开提供一种基于虚拟相机的图像一致化方法，通过模拟出一个特定相机在某个位置的成像，从而可以让不同的相机有着相似的成像效果，使得摄像头安装在车辆不同位置且使用不同摄像头的情况下，能够产生相同或者接近的成像效果，满足了摄像头终端图像视觉一致性需求。

附图说明

图1为本发明提供的一种基于虚拟相机的图像一致化方法示意图；

图2为本发明实施例物理相机安装位置示意图；

图3为本发明实施例物理相机外部参数t_x，t_y示意图；

图4至图7为利用本发明的虚拟相机生成的虚拟图像示意图；

图8为三维坐标系转换示意图；

图9为相机的小孔成像模型示意图；

图10为图像坐标系与像平面坐标系示意图；

图11为本发明实施例的3D圆柱投影面示意图

图12为本发明的虚拟图像坐标与物理图像坐标转换关系演变示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本发明公开了一种基于虚拟相机的图像一致化方法，针对摄像头型号不同安装位置不同情况，提供了终端图像视觉一致化方法。引入了虚拟相机，通过模拟出一个特定相机在某个位置的成像，使得不同的相机能够产生相似的成像效果。实施步骤如图1所示。

步骤1：标定物理相机的内部参数和外部参数，设置虚拟相机的内部参数和外部参数。

具体地，每个相机的摄像头都具有其独有的固有参数，是摄像头的固有属性，称为内部参数(intrinsic parameters)，相同品牌相同型号的摄像头内部参数接近，是提供好的。内部参数包括但不限于：光心(Optical Center简称OC)(x_OC,y_OC)，焦距f:(f_x,f_y)，畸变系数K:k₁,k₂,k₃,k₄,k₅。具体实施时，内部参数还可以包括主点p(主轴与像平面相交的点)的位置，以及像素与真实环境的大小比例等。除了内部参数，摄像头在安装过程中还有外部参数。外部参数主要有以下几个参数：空间上3个方向的位移自由度:t_x，t_y，t_z；绕3个坐标轴旋转的自由度：R_x，R_y，R_z。经过标定可以得到这些参数的准确数值。

本发明实施例中多次提到坐标系和坐标，说明如下：坐标系是建立图形与数之间对应联系的参考系，可以直观方便的描述图形的几何信息、大小、位置，例如世界坐标系、物理相机坐标系、虚拟相机坐标系是三维直角坐标，物理图像坐标系和虚拟图像坐标系为二维直角坐标系，特征为其原点位置和坐标轴的方向；坐标是在坐标系中为确定坐标系上一点的位置，按规定方法选取的有次序的一组数据，例如在三维坐标系中某点的坐标表示为(X,Y,Z)，二维坐标系中某点的坐标表示为(x，y)。

具体实施例的一个物理相机安装位置如图2所示，世界坐标系是以O(X,Y,Z),为原点的，图2中箭头方向为正，其中：X是车左右中心位置；Y是相机高度位置；Z是相机纵深位置； R_x是绕x轴旋转的角度；R_y是绕y轴旋转的角度；R_z是绕z轴旋转的角度。相机安装的外部参数，例如t_x，t_y，示意如图3。

具体实施时，物理相机内部参数和外部参数一般使用的专门的软件进行标定的，这种类似的软件有很多，标定原理可参照张正友2020年12月1日发表于电气和电子工程师协会模式分析与机器智能汇刊的一篇论文《一种灵活的摄像机标定新技术》，《A flexiblenew technique for camera calibration》，IEEE Transactions on Pattern Analysis&Machine Intelligence，2000/12/01，Zhengyou Zhang。

本方法引入了虚拟相机，与物理相机类似，虚拟相机也具有内部参数和外部参数，不同的是：虚拟相机的内部参数和外部参数是人为定义的，并不是物理相机所固有的参数。虚拟相机的内部参数和外部参数是根据自己的需要设置的，可以使用任意已知相机的内部参数，外部参数就是安装位置的模拟。具体实施时，可以选择变更不同的相机高度，即t_y。

具体实施例，设置了4个虚拟相机分别是：

FrontView：车辆的正后方R_xF＝0,R_yF＝0,R_zF＝0光心指向图2中的Z轴正方向。

LeftView:车辆的左视图R_xL＝0,R_yL＝90,R_zL＝0光心指向图2中的X轴负方向。

RightView:车辆的右视图R_xR＝0,R_yR＝-90,R_zR＝0光心指向图2中的X轴正方向。

TopView：车辆的顶视图R_xR＝-90,R_yR＝0,R_zR＝0光心指向图2中的Y轴负方向。

上述虚拟相机的实施例中并没有设置虚拟相机的位移(默认位移是0)也没有设置虚拟相机的畸变系数(默认是无畸变的平面相机)。如果设置就可以得到用户所涉及的畸变程度和相应的成像位置。如果设置就可以得到用户所指定的畸变程度和相应的成像位置。由同一张图生成的4张虚拟相机的图像，F视图、L视图、R视图、T视图，分别如图4至图7所示。

步骤2：分别计算从世界坐标系到物理相机坐标系转换的旋转矩阵、从世界坐标系到虚拟相机坐标系转换的旋转矩阵。

具体地，从世界坐标系转换到相机坐标系是三维空间到三维空间的变换，一般来说需要一个平移操作和一个旋转操作就可以完成这个转换，如图8所示，可以理解为世界坐标系原点先平移到相机坐标系的位置然后在做一次坐标系旋转，使坐标轴对齐，用公式1表示如下：

X^～ _cam＝R(X^～-C^～)

其中：

X^～ _cam表示X点在相机坐标系中的位置；

X^～表示X点在世界坐标系中的位置；

C^～表示相机原点C在世界坐标系中的位置，由外部参数t_x，t_y，t_z可得，分别表示在x， y，z三个方向上的平移量；

R表示坐标轴旋转矩阵，可以转换为三维的旋转向量(R_x，R_y，R_z)，分别表示绕x，y，z三个轴的旋转角度。

具体实施时，步骤2计算所得的坐标转换旋转矩阵用旋转向量(R_x，R_y，R_z)和平移向量(t_x，t_y，t_z)，来合并表示，记作Rt。

由此得出，从世界坐标系到物理相机坐标系转换的旋转矩阵Rt和从世界坐标系到虚拟相机坐标系转换的旋转矩阵Rt_v。

步骤3：建立虚拟图像坐标与世界坐标的关系。

根据本发明实施例的一种具体实现方式，所述的步骤3，建立虚拟图像坐标与世界坐标的关系，包括如下步骤：

步骤3.1：运用三维坐标转换原理，通过平移和旋转，建立世界坐标与虚拟相机坐标的关系。

具体实施原理方法参照步骤2。世界坐标与虚拟相机坐标的关系,：

X^～ _V＝R_v(X^～-C^～ _v)

其中：

X^～ _cam表示X点在相机坐标系中的位置；

X^～表示X点在世界坐标系中的位置；

C^～ _v表示虚拟相机原点C在世界坐标系中的位置，由外部参数t_x，t_y，t_z可得，分别表示在x，y，z三个方向上的平移量；

R_v表示世界坐标系和虚拟相机坐标系的坐标轴旋转矩阵，由其外部参数R_x，R_y，R_z可得, 可以转换为三维的旋转向量(R_x，R_y，R_z)，分别表示绕x，y，z三个轴的旋转角度。

具体实施时，也可以表示为：

X_v＝Rt_vX_world

其中：

X_v表示X点在相机坐标系中的位置；

X_world表示X点在世界坐标系中的位置；

Rt_v表示步骤2中所得的从世界坐标系到虚拟相机坐标系转换的旋转矩阵。

具体实施时，也可以用齐次坐标表示如下：

步骤3.2：运用相机的小孔成像原理，通过相机内参变换，建立虚拟相机坐标与虚拟图像坐标系。

具体地，相机的小孔成像模型如图9所示。这里的相机可以是物理相机也可以是虚拟相机，代入各自的内部参数和外部参数即可。

C点表示相机的中心点，也是相机坐标系的原点；

Z轴表示相机的主轴；

p点所在的平面表示相机的像平面，也就是图像坐标系所在的二维平面；

p点表示主点，主轴与像平面相交的点；

f表示相机的焦距即图9右边图中的focal length，也就是C点到p点的距离，；

像平面上的x和y坐标轴与相机坐标系上的X和Y坐标轴互相平行的；

相机坐标系是以X，Y，Z(大写)三个轴组成的且原点在C点，度量值为米(m)；

像平面坐标系是以x，y(小写)两个轴组成的且原点在p点，度量值为米(m)；

图像坐标系一般指图片相对坐标系，在这里可以认为和像平面坐标系在一个平面上，不过原点是在图片的角上，而且度量值为像素的个数(pixel)。

如果知道相机坐标系中的一个点X(现实三维世界中的点)，在像平面坐标系对应的点是 x，要求从相机坐标系转为像平面坐标系的转换，也就是从X点的(X,Y,Z)通过一定的转换变为x点的(x,y)。

注：(X,Y,Z)(大写)是在相机坐标系，而(x，y)(小写)是在像平面坐标系(还不是图像坐标系，原点不同。)

观察图9右边的图，可以得到相机坐标系到像平面坐标系的转换：

x＝fX/Z

y＝fY/Z

相机坐标系到像平面坐标系的转换可以表示为矩阵计算：

简写为：

x＝PX

X＝P^-1x

P就是所谓的投影矩阵，暂时还不完整，表示相机坐标系到像平面坐标系的转换关系，将图像坐标系与像平面坐标系的差异计算进去，可以得出相机坐标系到图像坐标系的转换关系。

图像坐标系与像平面坐标系示意如图10所示，其中主点p是像平面坐标系的原点，在图像坐标系中的位置为(p_x，p_y)，在这里，图像坐标系的原点是图片的左下角，相机坐标系到像平面坐标系的转换关系中，加入图像坐标系与像平面坐标系的偏移量，所以可以得到相机坐标系到图像坐标系的转换关系：

相机坐标系到图像坐标系的转换关系可以表示为矩阵计算：

由此可以得到K，也就是平时所说的相机内参(Intrinsic parameters)：

已经知道了怎样从世界坐标系转换到相机坐标系(平移和旋转)以及从相机坐标系转换到图像坐标系(相机内参变换)，所以带入上面的矩阵计算，可以得到：

这样就得到了从世界坐标系转换到图像坐标系最终的投影矩阵P：

x＝PX

X＝P^-1x

P＝K[Rt]

其中：t＝-RC^～

在这里，K一般称为相机内参(intrinsic parameters)，描述了相机的内部参数，包括焦距f、主点p的位置、以及像素与真实环境的大小比例等，这个是固有属性，是提供好的； R和t称为相机外参(extrinsic parameters)，R在这里是旋转矩阵，可以转换为三维的旋转向量，分别表示绕x，y，z三个轴的旋转角度，t目前就是一个平移向量，分别表示在 x，y，z三个方向上的平移量。

通过以上得到了从世界坐标系到图像坐标系的转换关系，这里的图像坐标系可以是物理图像坐标系也可以是虚拟图像坐标系，代入物理相机或虚拟相机各自的内部参数和外部参数即可。

本发明的具体实施例，设置合适的内参K,世界坐标与虚拟图像坐标系的转换关系为：

其中：

表示世界坐标位置；

表示虚拟图像坐标位置；

R_v表示世界坐标系和虚拟相机坐标系的坐标轴旋转矩阵；

C_V表示虚拟相机原点C在世界坐标系中的位置；

步骤4：计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点。

当相机坐标系向世界坐标系投影的时候是用的是齐次坐标，投影的3D点只有比例也就是一条射线，要确定具体的坐标值就要有射线的终止点。本发明实施例中使用圆柱面作为3D投影面为柱面，柱面示意如图11，使用者设置圆柱的半径以及圆柱的中心R_cylinder，X_cylinder，Y_cylinder, 柱面的方程表示如下：

f(x,y,z)＝(x-X_Cylider)²+(y-Y_Cylider)²-R_cylinder ²,z∈[0,+∞)

计算虚拟相机Camera零点与

连线表示一条射线，这个向量乘以任何数都是投影点。要确定最终投影点，就要计算其与柱面的交点p_cross(X_cross，Y_CROSS，Z_cross)：

f(x_cross,y_cross,z_cross)＝0,x_cross＝X_world×z_cross,y_cross＝Y_world×z_cross

其中X_world，Y_world是已知量,进而该方程为一元二次方程，用求根公式即可求解。

步骤5：将步骤4的交点由世界坐标系转换到物理图像坐标系。

根据本发明实施例的一种具体实现方式，所述的步骤5，从世界坐标系转换到物理图像坐标系，包括如下步骤：

步骤5.1：运用三维坐标转换原理，通过平移和旋转，将步骤4的交点从世界坐标系转换到物理相机坐标系。

具体实施时，步骤5.1参照步骤2和步骤3.1的原理方法，可以得到一个三维点从世界坐标系转换到物理相机坐标的变换公式：

X_cam＝R(X_world-C_world)

其中：

X_cam表示X点在物理相机坐标系中的位置；

X_world表示X点在世界坐标系中的位置；

R表示坐标轴旋转矩阵，表征旋转变换；

C_world表示物理相机原点C在世界坐标系中的位置，表征平移变换。

具体实施时，也可以表示为：

X_cam＝RtX_world

其中Rt表示步骤2中所得的从世界坐标系到物理相机坐标系转换的旋转矩阵。

具体实施时，也可以用齐次坐标表示如下：

步骤5.2：运用相机的小孔成像原理，通过相机内参变换，从物理相机坐标系转换到物理图像坐标系。

具体实施时，步骤5.2参照步骤3.2的原理方法，可以直接运用从世界坐标系转换到图像坐标系最终的投影矩阵P。

通过步骤5，由公式x＝PX将步骤4得到的交点p_cross从世界坐标系转换到物理相机坐标系。其中：P＝K[Rt]为从世界坐标系转换到物理图像坐标系最终的投影矩阵，代入物理相机的内部参数和外部参数即可。

步骤6：建立虚拟图像坐标与物理图像坐标的关系。

虚拟图像坐标与物理图像坐标分别通过与世界坐标的转换关系彼此联系起来，转换关系演变如图12所示。设虚拟相机的虚拟图像坐标系上任意一点坐标为p_v(x_v,y_v),物理相机的物理图像坐标系上对应的一点为p(x,y)。通过以上各个步骤，虚拟图像坐标与物理图像坐标分别建立了与世界坐标系的关系，从而间接建立起虚拟图像坐标与物理图像坐标的关系。

步骤7：虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。

具体实施时，利用步骤6建立的虚拟图像坐标与物理图像坐标的关系，对虚拟图像坐标的每一个点，建立与物理图像的映射关系，得到虚拟图像坐标p_v(x_v,y_v)与物理图像坐标 p(x,y)对应关系的映射表Map。根据需要可以迅速从映射表Map中物理相机成像的物理图像坐标查到的虚拟相机的虚拟图像坐标，查得到最终的虚拟图像。安装在车辆不同位置且使用不同型号摄像头的相机，通过模拟出的一个特定的虚拟相机在某个位置的成像，在终端输出满足图像视觉一致性要求的虚拟图像。

以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于虚拟相机的图像一致化方法，其特征在于，包括如下步骤：

步骤1: 标定物理相机的内部参数和外部参数，设置虚拟相机的内部参数和外部参数；

步骤2：分别计算从世界坐标系到物理相机坐标系转换的旋转矩阵、从世界坐标系到虚拟相机坐标系转换的旋转矩阵；

步骤3：建立虚拟图像坐标与世界坐标的关系；

步骤4：计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；

步骤5：将步骤4的交点由世界坐标系转换到物理图像坐标系；

步骤6：建立虚拟图像坐标与物理图像坐标的关系；

步骤7：虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。

2.根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤1，物理相机的内部参数为相机摄像头的固有属性，包括但不限于:光心、焦距、畸变系数。

3.根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤1，物理相机的外部参数为安装参数，包括空间上3个坐标轴方向的位移自由度和绕3个坐标轴的旋转自由度。

4.根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤3，建立虚拟图像坐标与世界坐标的关系，包括如下步骤：

步骤3.1：运用三维坐标转换原理，通过平移和旋转，建立世界坐标与虚拟相机坐标的关系；

步骤3.2：运用相机的小孔成像原理，通过相机内参变换，建立虚拟相机坐标与虚拟图像坐标系。

5.根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤5，从世界坐标系转换到物理图像坐标系，包括步骤：

步骤5.1：运用三维坐标转换原理，通过平移和旋转，将步骤4的交点从世界坐标系转换到物理相机坐标系；

步骤5.2：运用相机的小孔成像原理，通过相机内参变换，从物理相机坐标系转换到物理图像坐标系。

6. 根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤3建立虚拟图像坐标与世界坐标的关系所采用的公式、或者步骤5中的交点由世界坐标系转换到物理图像坐标系所采用的公式如下：

x=PX

X=

x

P=K[Rt]

其中：

x表示二维图像坐标，这里可以是虚拟图像坐标也可以是物理图像坐标；

X表示三维世界坐标；

P表示世界坐标系转换到图像坐标系的投影矩阵；

K表示物理相机或虚拟相机的内部参数，物理相机内部参数是固有的，虚拟相机的内部参数是人为定义的；

R表示世界坐标与物理相机坐标转换的坐标轴旋转矩阵或世界坐标与虚拟相机坐标转换的坐标轴旋转矩阵；

t表示世界坐标与物理相机坐标转换的平移向量或世界坐标与虚拟相机坐标转换的平移向量。

Images