CN102110299A

CN102110299A - 在三维模型中应用畸变的投影方法及装置

Info

Publication number: CN102110299A
Application number: CN2009102439309A
Authority: CN
Inventors: 谢宏
Original assignee: China Digital Video Beijing Ltd
Current assignee: China Digital Video Beijing Ltd
Priority date: 2009-12-25
Filing date: 2009-12-25
Publication date: 2011-06-29

Abstract

本发明公开了一种在三维模型中应用畸变的投影方法，包括：确定当前图像摄像机坐标系下的归一化图像坐标(x，y)；根据所述归一化的图像坐标(x，y)，计算畸变后的图像坐标

将三维模型经过投影所述畸变后的图像坐标后，叠加到真实的二维图像中。本发明可以使三维模型与图像中的真实场景相匹配，实现更真实、自然的虚实结合。

Description

在三维模型中应用畸变的投影方法及装置

技术领域

本发明涉及电视节目制作的技术领域，特别是涉及一种在三维模型中应用畸变的投影方法及一种在三维模型中应用畸变的投影装置。

背景技术

虚拟演播室是近年发展起来的一种独特的电视节目制作技术。它的实质是将计算机制作的虚拟三维模型与摄像机现场拍摄的物体活动图像进行数字化的实时合成，使物体图像与虚拟背景能够同步变化，从而实现两者的融合，以获得完美的合成画面。虚拟演播室技术是在传统色键抠像技术的基础上，充分利用了计算机三维图形技术和视频合成技术，根据摄像机的位置与参数，使三维虚拟场景的透视关系与前景保持一致，经过色键合成后，使得前景中的图像看起来完全处于计算机所产生的三维虚拟场景中，而且能在其中运动，从而创造出逼真的、立体感很强的电视演播室效果。

相应地，在虚拟演播室系统中，我们需要把虚拟的三维模型按照当前摄像机的姿态投影到二维图像中去，从而实现虚实的结合。对于摄像机的姿态，一般都是基于机器视觉中针孔成像模型的透视投影成像原理确定，公知的是，它具有把直线映射成直线的特点。

然而，实际上真实的镜头并非理想的针孔成像模型，往往还带有微小的畸变，如图1所示，真实的镜头往往会把现实场景中的直线投影成图像上的一条带弧度的曲线。此时，若直接把虚拟的三维模型投影到图像上去，直线仍是直线，就会显得跟图像中的场景不协调，缺少真实感。

发明内容

本发明所要解决的技术问题是提供一种在三维模型中应用畸变的投影方法，以使三维模型与图像中的真实场景相匹配，实现更真实、自然的虚实结合。

为了解决上述技术问题，本发明实施例公开了一种在三维模型中应用畸变的投影方法，包括：

确定当前图像摄像机坐标系下的归一化图像坐标(x，y)；

根据所述归一化的图像坐标(x，y)，计算畸变后的图像坐标

将三维模型经过投影所述畸变后的图像坐标

后，叠加到真实的二维图像中。

优选的，所述确定当前图像摄像机坐标系下的归一化图像坐标(x，y)的步骤包括：

将三维模型在世界坐标系中的坐标点变换为摄像机坐标系中的坐标点；

对所述变换的坐标点进行归一化，获得归一化的图像坐标(x，y)。

将三维模型按针孔成像模型投影到像平面上，获得图像坐标系下的图像坐标(u，v)；

获取图像坐标的变换关系，并依据所述变换关系计算图像坐标(u，v)对应的摄像机坐标系下的归一化图像坐标(x，y)。

优选的，所述根据所述归一化的图像坐标(x，y)计算畸变后的图像坐标的步骤包括：

根据所述归一化的图像坐标(x，y)计算畸变后的归一化图像坐标

将所述畸变后的归一化图像坐标

投影到像平面上，获得畸变后的图像坐标

优选的，所述根据所述归一化的图像坐标(x，y)计算畸变后的图像坐标

的步骤包括：

构造当前图像的径向畸变模型；

将所述归一化的图像坐标(x，y)代入径向畸变模型中，获得畸变后的图像坐标

的步骤包括：

将所述畸变后的归一化图像坐标

投影到像平面上，获得畸变后的图像坐标

优选的，所述获取图像坐标的变换关系的步骤包括：

生成摄像机内参数投影矩阵为：

K = [\begin{matrix} f_{x} & 0 & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}];

通过如下公式把归一化坐标变换为图像坐标：

[\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} f_{x} & 0 & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}];

其中，所述f_x、f_y为焦距参数，u₀、v₀为摄像机光心在像平面的像素坐标；

依据所述摄像机内参数投影矩阵获得以下变换关系：

x = \frac{u - u_{0}}{f_{x}},

y = \frac{v - v_{0}}{f_{y}};

将所述图像坐标(u，v)代入上述公式中，计算对应的摄像机坐标系下的归一化图像坐标(x，y)。

优选的，所述径向畸变模型为：

其中，k₁、k₂为径向畸变系数；f_x、f_y为焦距参数，u₀、v₀为摄像机光心在像平面的像素坐标；r²＝x²+y²；所述k₁、k₂、f_x、f_y、u₀、v₀采用张正友摄像机标定方法获得。

优选的，所述畸变后的归一化图像坐标

通过以下公式计算获得；

其中，r²＝x²+y²，k₁和k₂为采用张正友摄像机标定方法获得的径向畸变系数；

所述畸变后的图像坐标

通过所述摄像机内参数投影矩阵按以下公式变换获得：

本发明实施例还公开了一种在三维模型中应用畸变的投影装置，包括：

归一化图像坐标确定单元，用于确定当前图像摄像机坐标系下的归一化图像坐标(x，y)；

畸变后的图像坐标计算单元，用于根据所述归一化的图像坐标(x，y)，计算畸变后的图像坐标

虚实叠加单元，用于将三维模型经过投影所述畸变后的图像坐标

后，叠加到真实的二维图像中。

与现有技术相比，本发明具有以下优点：

本发明通过引入畸变系数来描述镜头的畸变影响，并将该系数作用到投影的过程中，让三维模型也产生畸变，使之与图像中的场景相匹配。采用该技术处理之后，可以使虚拟三维模型与真实环境更加融合，显得更真实自然。

附图说明

图1是镜头畸变引起的直线投影成曲线的示意图；

图2是本发明的一种在三雏模型中应用畸变的投影方法实施例1的步骤流程图；

图3是本发明的一种在三维模型中应用畸变的投影方法实施例2的步骤流程图；

图4是本发明的一种在三维模型中应用畸变的投影方法实施例3的步骤流程图；

图5是本发明的一种在三维模型中应用畸变的投影方法实施例4的步骤流程图；

图6是本发明的一种在三维模型中应用畸变的投影装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参考图2，示出了本发明的一种在三维模型中应用畸变的投影方法实施例1的步骤流程图，具体可以包括以下步骤：

步骤101、确定当前图像摄像机坐标系下的归一化图像坐标(x，y)；

步骤102、根据所述归一化的图像坐标(x，y)，计算畸变后的图像坐标

步骤103、将三维模型经过投影所述畸变后的图像坐标

后，叠加到真实的二维图像中。

本发明实施例通过引入畸变系数来描述镜头的畸变影响，并将该系数作用到投影的过程中，让三维模型也产生畸变，使之与图像中的场景相匹配。公知的是，镜头的畸变主要有两种，一种是径向畸变，一种是切向畸变。切向畸变很小，所以在本发明中，我们只考虑径向畸变的影响。径向畸变的特点是，距离图像中心越远，畸变越明显，直线被投影成曲线的弧度越大。因此，径向畸变应该是图像点到中心距离的函数。

为使本领域技术人员更好地理解本发明，以下先简单介绍本发明实施例所涉及的图像坐标系、世界坐标系及摄像机坐标系。

摄像机采集的图像以标准电视信号的形式经高速图像采集系统转换为数字图像，并输入计算机。每幅数字图像在计算机内为M*N数组，M行N列的图像中的每一个元素(称为像素，pixel)的数值即是图像点的亮度(或称灰度)。在图像上定义直角坐标系u，v，每个像素的坐标(u，v)分别以该像素为单位的图像坐标系坐标。由于(u，v)只表示像素位于数组中的列数和行数，并没有用物理单位表示出该像素在图像中的位置。因此，需要再建立以物理单位(毫米)表示的图像坐标系。该坐标系以图像内某一点(摄像机光轴与图像平面的交点)为原点。X轴与Y轴分别与u，v轴平行。每个像素在X轴、Y轴方向上的物理尺寸为dX、dY，则可建立两个坐标系的关系。

由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。

摄影机坐标系的原点为摄像机光心，x轴与y轴与图像的X，Y轴平行，z轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系称为摄像机坐标系。

参考图3，示出了本发明的一种在三维模型中应用畸变的投影方法实施例2的步骤流程图，具体可以包括以下步骤：

步骤201、将三维模型在世界坐标系中的坐标点变换为摄像机坐标系中的坐标点；

摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。

在本发明实施例中，在从世界坐标系变换到摄像机坐标系的时候，需要通过逐点遍历才能完成，因而优选的是，本发明适用于对简单几何图形的三维模型进行处理。

步骤202、对所述变换的坐标点进行归一化，获得归一化的图像坐标(x，y)；

即针对摄像机坐标系中的坐标点进行归一化处理，在本发明实施例中，所述归一化的图像坐标(x，y)是指理想pin-hole摄像机模型下的、无畸变的归一化的图像坐标。在实际中，归一化图像坐标是指把齐次坐标[x，y，w]变为[x/w，y/w，1]，因为从世界坐标系变到摄像机坐标系下，使用的公式为

[\begin{matrix} x^{'} \\ y^{'} \\ z^{'} \end{matrix}] = [R | T] [\begin{matrix} x \\ y \\ z \\ 1 \end{matrix}],

其中，[x′y′z′]是一个三维的非齐次坐标，

把[x′y′z′]归一化之后，就变成了平面上一个二维的齐次坐标[x′/z′，y′/z′，1]。而这个平面，相对于像平面来说，其到光心的距离等于1，即有fx＝1，fy＝1；写成投影公式就是：

[\begin{matrix} u^{'} \\ v^{'} \\ 1 \end{matrix}] = \frac{1}{z^{'}} [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x^{'} \\ y^{'} \\ z^{'} \end{matrix}]

上式描述了归一化的过程，实际上就是把摄像机坐标系下的三维坐标[x′y′z′]投影成f＝1平面上的二维图像坐标[u′v′1]；即在本发明中，所述归一化就是化到焦距＝1的平面上。

步骤203、根据所述归一化的图像坐标(x，y)计算畸变后的归一化图像坐标

作为一种优选的实施例，所述畸变后的归一化图像坐标可以通过以下公式计算获得；

其中，r²＝x²+y²，k₁和k₂为采用张正友摄像机标定方法获得的径向畸变系数。

步骤204、将所述畸变后的归一化图像坐标

投影到像平面上，获得畸变后的图像坐标

在本发明的一种优选实施例中，所述畸变后的图像坐标

可以通过以下矩阵投影获得：

其中，所述f_x、f_y为焦距参数，u₀、v₀为摄像机光轴与图像平面的交点，所述f_x、f_y、u₀、v₀均采用张正友摄像机标定方法获得。

即上述k1、k2、fx、fy、u0、v0都可以通过张正友摄像机标定方法方便地计算出来，1998年张正友考虑径向畸变，提出了一种可以利用多幅平面模板标定摄像机所有内外参数的方法——平面标定法。该方法能高精度地标定摄像机，且简便易行。在上述式(2)中，f_x、f_y、u₀、v₀只与摄像机内部参数有关，故上述矩阵在现有技术中为被称为摄像机内参数投影矩阵。具体而言，其中f_x＝f/dX，f_y＝f/dY，分别称为x轴和y轴上的归一化焦距；f是相机的焦距，dX和dY分别表示u轴和v轴上单位像素的尺寸大小。u₀和v₀则表示的是光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半。

本发明通过上述步骤，即先把三维模型在世界坐标系中的坐标点变换到摄像机坐标系下，做归一化，得到归一化的图像坐标(x，y)。然后按照公式(1)(2)，即可直接得到畸变过后的图像坐标十分简单快捷。

步骤205、将三维模型经过投影所述畸变后的图像坐标

后，叠加到真实的二维图像中。

参考图4，示出了本发明的一种在三维模型中应用畸变的投影方法实施例3的步骤流程图，具体可以包括以下步骤：

步骤301、将三维模型按针孔成像模型投影到像平面上，获得图像坐标系下的图像坐标(u，v)；

公知的是，针孔成像模型是用来描述空间中的任意点和其在图像上的成像点之间的对应关系的几何模型。这些几何模型参数就是摄像机标定参数。具体而言，摄像机标定参数包括外参数和内参数，其中，外参数包括摄像机的位置、姿态等几何信息，内参数包括摄像机的焦距，主点、以及镜头畸变系数等光学参数。

步骤302、获取图像坐标的变换关系，并依据所述变换关系计算图像坐标(u，v)对应的摄像机坐标系下的归一化图像坐标(x，y)；

在本发明的一种优选实施例中，本步骤可以包括如下子步骤：

子步骤S1、生成所述摄像机内参数投影矩阵，可以表示为：

生成摄像机内参数投影矩阵为：

K = [\begin{matrix} f_{x} & 0 & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}];

子步骤S2、把归一化坐标变换为图像坐标的公式为：

[\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} f_{x} & 0 & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}];

其中，所述f_x、f_y为焦距参数，u₀、v₀为摄像机光心在像平面的像素坐标。

即上述f_x、f_y、u₀、v₀可以通过张正友摄像机标定方法方便地计算出来，1998年张正友考虑径向畸变，提出了一种可以利用多幅平面模板标定摄像机所有内外参数的方法——平面标定法。该方法能高精度地标定摄像机，且简便易行。在上述式(1)中，f_x、f_y、u₀、v₀只与摄像机内部参数有关，故上述矩阵在现有技术中为被称为摄像机内参数投影矩阵。

具体而言，其中fx＝f/dX，fy＝f/dY，分别称为x轴和y轴上的归一化焦距；f是相机的焦距，dX和dY分别表示u轴和v轴上单位像素的尺寸大小。u0和v0则表示的是光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半。

子步骤S3、依据所述摄像机内参数投影矩阵获得以下变换关系的计算公式：

x = \frac{u - u_{0}}{f_{x}},

y = \frac{v - v_{0}}{f_{y}};

子步骤S4、根据所述公式计算所述图像坐标(u，v)对应的摄像机坐标系下的归一化图像坐标(x，y)。

通过上述步骤，即可简单地将图像在图像坐标系下的坐标变换为摄像机坐标系下的坐标(有限个点)，而无需逐点遍历三维模型，将模型中的每一个点都从世界坐标系下变换到摄像机坐标系下，能有效节约系统资源，提高处理效率。

在本发明实施例中，所述归一化的图像坐标(x，y)是指理想pin-hole摄像机模型下的、无畸变的归一化的图像坐标。

步骤303、构造当前图像的径向畸变模型；

在本发明的一种优选实施例中，所述径向畸变模型为：

其中，r²＝x²+y²。

步骤304、将所述归一化的图像坐标(x，y)代入径向畸变模型中，获得畸变后的图像坐标

步骤305、将三维模型经过投影所述畸变后的图像坐标

后，叠加到真实的二维图像中。

本实施例对于实际任何复杂的三维模型，都只需要一次投影变换，然后就是针对图像像素进行处理。由于一般图像的尺寸是固定的，且像素个数有限，所以处理效率很高。在具体实现中，本发明可以在GPU(Graphic Processing Unit，图形处理器)上完成。

参考图5，示出了本发明的一种在三维模型中应用畸变的投影方法实施例4的步骤流程图，具体可以包括以下步骤：

步骤401、将三维模型按针孔成像模型投影到像平面上，获得图像坐标系下的图像坐标(u，v)；

步骤402、获取图像坐标的变换关系，并依据所述变换关系计算图像坐标(u，v)对应的摄像机坐标系下的归一化图像坐标(x，y)；

步骤403、根据所述归一化的图像坐标(x，y)计算畸变后的归一化图像坐标

步骤404、将所述畸变后的归一化图像坐标

投影到像平面上，获得畸变后的图像坐标

步骤405、将三维模型经过投影所述畸变后的图像坐标后，叠加到真实的二维图像中。

上述各步骤的具体计算方法可以参考前述实施例中的相关部分，本发明在此就不赘述了。

通过上述步骤，即可使虚拟三维模型与真实环境更加融合，实现更真实自然的虚实结合。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

参考图6，示出了本发明的一种在三维模型中应用畸变的投影装置实施例的结构框图，具体可以包括以下单元：

归一化图像坐标确定单元601，用于确定当前图像摄像机坐标系下的归一化图像坐标(x，y)；

畸变后的图像坐标计算单元602，用于根据所述归一化的图像坐标(x，y)，计算畸变后的图像坐标

虚实叠加单元603，用于将三维模型经过投影所述畸变后的图像坐标后，叠加到真实的二维图像中。

在本发明的一种优选实施例中，所述归一化图像坐标确定单元601可以包括如下子单元：

坐标系变换子单元，用于将三维模型在世界坐标系中的坐标点变换为摄像机坐标系中的坐标点；

坐标归一化处理子单元，用于对所述变换的坐标点进行归一化，获得归一化的图像坐标(x，y)。

在本实施例中更为优选的是，所述畸变后的图像坐标计算单元602可以包括如下子单元：

畸变坐标预计算子单元，用于根据所述归一化的图像坐标(x，y)计算畸变后的归一化图像坐标

畸变坐标投影子单元，用于将所述畸变后的归一化图像坐标

投影到像平面上，获得畸变后的图像坐标

在本发明的另一种优选实施例中，所述归一化图像坐标确定单元601可以包括如下子单元：

针孔投影子单元，用于将三维模型按针孔成像模型投影到像平面上，获得图像坐标系下的图像坐标(u，v)；

坐标系映射子单元，用于获取图像坐标的变换关系，并依据所述变换关系计算图像坐标(u，v)对应的摄像机坐标系下的归一化图像坐标(x，y)

更为优选的是，所述坐标系映射子单元进一步包括：

矩阵生成子单元，用于生成所述摄像机内参数投影矩阵为：

K = [\begin{matrix} f_{x} & 0 & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}];

图像坐标变换子单元，用于通过以下公式将归一化坐标变换为图像坐标：

[\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} f_{x} & 0 & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}];

其中，所述f_x、f_y为焦距参数，u₀、v₀为摄像机光心在像平面的像素坐标；所述f_x、f_y、u₀、v₀均采用张正友摄像机标定方法获得。

变换关系获取子单元，用于依据所述摄像机内参数投影矩阵获得以下计算公式：

x = \frac{u - u_{0}}{f_{x}},

y = \frac{v - v_{0}}{f_{y}};

代入计算子单元，用于将所述图像坐标(u，v)代入上述公式中，计算对应的摄像机坐标系下的归一化图像坐标(x，y)。

在本发明的一种优选实施例中，所述畸变后的图像坐标计算单元602还可以包括如下子单元：

畸变模型构造子单元，用于构造当前图像的径向畸变模型；

畸变坐标计算子单元，用于将所述归一化的图像坐标(x，y)代入径向畸变模型中，获得畸变后的图像坐标

或者，所述畸变计算单元602也可以包括如下子单元：：

畸变坐标投影子单元，用于将所述畸变后的归一化图像坐标

投影到像平面上，获得畸变后的图像坐标

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明主要应用在虚拟演播室系统，以及，基于虚拟演播室系统进一步发展起来的虚拟体育系统中。具体而言，虚拟演播室系统是近年来随着计算机技术飞速发展和色键技术不断改进而出现的一种新的电视节目制作系统。在虚拟演播室系统中，摄像机的工作状态信息传送给图形工作站，计算机依此得到前景物体与摄像机之间的距离和相对位置，可以计算出虚拟场景最适宜的大小、位置，并按要求计算生成虚拟场景的三维模型。通过将虚拟的三维模型按照当前摄像机的姿态投影到二维图像中实现虚实的结合。

以上对本发明所提供的一种在三维模型中应用畸变的投影方法及一种在三维模型中应用畸变的投影装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。