CN103260008B - 一种影像位置到实际位置的射影转换方法 - Google Patents

Abstract

一种影像位置到实际位置的射影转换方法，它包括：在地面建立好坐标系x_woy_w，并且在地面标记四个点的位置P1,P2,P3,P到摄像机画面中找到这四个点的对应点p1，p2,p3,p4,建立好画面坐标系XOY，每个点都有一个表示为(x,y)的坐标；将上述需要进行转换的画面坐标输入，利用一公式进行转换以得到其在地面的位置的实际坐标；以及根据得到的监测目标的上述地面的位置的实际坐标，确定检测目标的空间形状和在空间中的位置图。本发明通过画面的像素坐标就能计算出它在地面的实际位置坐标，然后根据实际位置坐标，就可以显示出被监视目标的实际大小、实际影像以及监视范围内的实际场景，这样方便监控系统的后台的指挥和监控，特别适合于安全防范系统使用。

Description

一种影像位置到实际位置的射影转换方法

技术领域

本发明涉及在监控器画面中识别像素的实际位置和大小，从而对目标进行定位与识别的方法。

背景技术

在监视技术领域，人们需要将摄像机监测到的目标在图像中的位置恢复实际空间中的位置，以便得到实际的空间监视图。通过对空间物体取表面一些点在影像画面中的像点，利用影像位置识别方法，还原出它们在空间中的实际位置，可以实现对物体的形状，位置的识别。然而，采用何种方式转换影像位置到实际位置是一个困惑的技术问题，人们一直试图解决。

被称为摄像机标定的技术是一种基于摄像机成像模型与射影几何学来实现的摄像机标定方法，其目的在于从二维的摄像机画面中重建与识别三维世界的物体。

美国耶鲁大学一名学者提出了利用双目摄像机实现三维景深的还原，使得摄像机所看到的世界类似于人眼所看到的。这种方法的提出，极大地推动了计算视觉领域的发展。

著名的以我国计算视觉专家张正友名字命名的张正友标定法也是被广泛接受的相机标定方法。

典型的所谓相机标定方法实际上是测定所用摄像机的焦距等内部参数的方法，通常要利用专门的标定模版来进行精细的实验来确定这些参数。有了这些参数以后再结合摄像机的安放位置，角度等信息来实现摄像画面重的物体与三维世界中的实际物体之间位置坐标的转换。此种方法优点是精确度高，甚至可以实现景深的还原，缺点是计算量大，操作专业性强，在很多精度要求不高的应用场合不利于推广使用。

发明内容

本发明的目的在于提供一种影像位置到实际位置的射影转换方法，它利用影像画面中物体的位置坐标还原其在地面的实际坐标，从而得到待监测目标的实际影像和位置图。

为了实现上述目的，本发明在已知影像画面中的位置坐标，求解该位置在地面对应的实际位置；监视的影像画面实际上就是摄像机将地面投影而来的，这样地面上的点和影像画面的点是一一对应的关系，如果设X,Y为影像画面中点的像素坐标，x_w,y_w为地面物体的实际坐标，f为摄像机镜头的焦距，那么有

$\left.\begin{array}{c}{y}_w=\frac{\left(Y+L_6\right)\left(L_1+{\mathrm{XL}}_7\right)-\left(X+L_3\right)\left({\mathrm{YL}}_7+L_4\right)}{\left(L_2+{\mathrm{XL}}_8\right)\left(L_4+{\mathrm{YL}}_7\right)-\left(L_5+{\mathrm{YL}}_8\right)\left(L_1+{\mathrm{XL}}_7\right)}\\ x_w=\frac{(Y+L_6)(L_2+{\mathrm{XL}}_8)-(X+L_3)(L_5+{\mathrm{YL}}_8)}{(L_1+{\mathrm{XL}}_7)(L_5+{\mathrm{YL}}_8)-(L_4+{\mathrm{YL}}_7)(L_2+{\mathrm{XL}}_8)}\end{array}\right\}---\left(3\right);$

当地面坐标系建立好了以后，上述(3)式所代表的坐标就给出了地面上的点的位置，根据该地面(实际空间)的点的实际位置坐标，就可以得到。

本发明通过研究摄像机成像的几何模型和特点，通过利用上面公式(3)的转换，仅仅通过画面的像素坐标就能计算出它在地面的实际位置坐标，然后根据实际位置坐标，就可以显示出被监视目标的实际大小、实际影像以及监视范围内的实际场景，这样方便监控系统的后台的指挥和监控，特别适合于安全防范系统使用。

本发明所提出的一种所谓标定方法并不是进行关于摄像机参数的标定，而是一种直接的变换方法，即不需要考虑摄像机内部参数，安放位置和角度等信息，直接把画面中的物体与其在三维世界中的实际物体之间的位置对应起来，以一个简单的公式来表示他们之间的转换关系。

本发明所提出的标定方法实际上是基于射影几何学原理的一种变换方法，其优点体现在操作简便，不需要利用相机内部参数，因此不需要专门为标定相机参数而做实验，在应用现场，建立好地面坐标系和相机画面坐标系以后，通过若干个地面点和他们在画面中的对应点之间的对应关系确定相关的系数以后，代入本发明所提出的转换公式(3)就能实现给定画面中的点的位置，计算其在地面上的实际位置。本发明利用影像画面中物体的位置坐标还原其在地面的实际坐标，从而得到待监测目标的实际影像和位置图的方法既实用又方便，并且较准确。

附图说明

图1是本发明的一个实施例的工作流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，

下面结合具体图示，进一步阐述本发明。

根据本发明，在检测系统中，空间物体表面某点的三维位置与其在画面中的位置之间的对应关系是由摄像机成像的几何模型决定的，这些几何模型所涉及的参数就是摄像机的内部参数，这些参数通常需要通过精确的实验来确定，所有标定方法通用的模型，虽然不是特点，在现有技术已经使用过这些参数，但是模型只是为得到最后的公式而起过渡作用的工具，本发明的特点就是将这些参数高度抽象到上述标定系数中。

通过以相机成像中心为原点，光轴为z轴，建立三维直角坐标系，然后利用空间两点和它们在画面里对应的两个像点之间的相机坐标的对应关系，可以确定这些相机的内部参数。

在三维空间中建立世界坐标系，所谓世界坐标系，就是以地面的某点作为原点说建立的三维直角坐标系，所谓摄像机坐标系就是以摄像机所在位置为坐标原点，以摄像机光轴为Z轴所建立的三维直角坐标系，世界坐标系与摄像机坐标系是同一空间中的不同坐标系，所谓画面坐标系就是摄像机画面坐标系，即以画面的左上角顶点为原点建立的2维平面坐标系。这样，借助摄相机坐标系可以实现物体的坐标与其在相机画面中的坐标的转换关系，最后的转换归结为一个3行4列的矩阵，这里面采用了射影几何学中的齐次坐标方法。

上面所提到的矩阵隐式地包含了相机的内部参数信息以及其在空间中的高度角度等信息。所谓隐式地就是前文所提到的抽象地，即与摄像机内部，外部参数相关但是不等同，当这些参数变化时，矩阵也会变化，但是从矩阵来看，得不到相机参数的任何信息，这就是所谓的抽象化的。

这种转换关系写成等式的形式就是物点在画面中的坐标分量与物点在空间中的世界坐标分量之间的关系，由此关系可以反解出空间坐标分量。

在三维空间中要进行这种操作是非常困难的，但是在二维空间中，上面所提到的3行4列矩阵变成3行3列的可逆矩阵。因此，可以由画面中点的位置信息来推算出其在空间中的位置。上述可逆矩阵是一代数名词，即有另外一个矩阵与之相乘可以得到单位矩阵，类似于算数中的倒数，5*(1/5)＝1，某种程度上说1/5是5的逆，而称5是可逆的。

本发明正是通过上述原理，利用影像画面中物体的位置坐标还原其在地面(实际空间)的实际坐标的方法。

本发明是在已知影像画面中的位置坐标，求解该位置在地面对应的实际位置。监视的影像画面实际上就是摄像机将地面投影而来的，因此，地面上的点和影像画面的点是一一对应的关系，本发明通过研究摄像机成像的几何模型和特点，得到了利用下面的转换公式从来监视的影像画面的得到地面的实际坐标，从而最后得到实际的影像：

如果设X,Y为影像画面中点的像素坐标，x_w,y_w,z_w为地面物体的实际坐标，f为摄像机镜头的焦距，那么有

$\frac{X}{f}=\frac{r_{11}{x}_w+r_{12}{y}_w+r_{13}{z}_w+t_x}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_z}$

$\frac{Y}{f}=\frac{r_{21}{x}_w+r_{22}{y}_w+r_{23}{z}_w+t_y}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_z}$

在本发明考虑的模型中由于只考虑地面的物体，因此公式中z_w是个常数，对上述公式做进一步抽象处理后得到本发明实际应用的公式

$\left.\begin{array}{c}X+\frac{L_1{x}_w+L_2{y}_w+L_3}{L_7{x}_w+L_8{y}_w+1}=0\\ Y+\frac{L_4{x}_w+L_5{y}_w+L_6}{L_7{x}_w+L_8{y}_w+1}=0\end{array}\right\}---\left(1\right)$

通过对公式(1)进行变换，得到两个关于系数L的线性方程组，

$\left.\begin{array}{c}{L}_1{x}_w+L_2{y}_w+L_3+X(L_7{x}_w+L_8{y}_w+1)=0\\ L_4{x}_w+L_5{y}_w+L_6+Y\left(L_7{x}_w+L_8{y}_y+1\right)=0\end{array}\right\}---\left(2\right)$

由于该方程组包含8个未知数，因此要想完全获得系数就需要8个对应的方程。注意到每一个地面坐标与对应的画面坐标都有(1)式的关系，所以每一对这样的点便提供了2个方程，本发明利用4个预标定点来初始化各个L的系数，当得到8个线性方程组以后，我们使用高斯约当消去法来解出各个L的系数。

利用上述预标定方法得到的L系数,通过解方程组(2)得到了

$\left.\begin{array}{c}{y}_w=\frac{\left(Y+L_6\right)\left(L_1+{\mathrm{XL}}_7\right)-\left(X+L_3\right)\left({\mathrm{YL}}_7+L_4\right)}{\left(L_2+{\mathrm{XL}}_8\right)\left(L_4+{\mathrm{YL}}_7\right)-\left(L_5+{\mathrm{YL}}_8\right)\left(L_1+{\mathrm{XL}}_7\right)}\\ x_w=\frac{(Y+L_6)(L_2+{\mathrm{XL}}_8)-(X+L_3)(L_5+{\mathrm{YL}}_8)}{(L_1+{\mathrm{XL}}_7)(L_5+{\mathrm{YL}}_8)-(L_4+{\mathrm{YL}}_7)(L_2+{\mathrm{XL}}_8)}\end{array}\right\}---\left(3\right)$

当地面坐标系建立好了以后，上述(3)式所代表的坐标就给出了监测目标在地面上(实际空间)的点的位置坐标。根据得到的监测目标的地面位置坐标，确定检测目标的空间形状和在空间中的位置图(像)。

这种转换目的在于仅仅通过画面的像素坐标就能计算出它在地面的实际位置坐标，而不需要摄像机的内部与外部参数，可以很好地满足许多简单的应用场景。

下面结合图1对一个实施例进行详细说明。

首先，我们在地面建立好坐标系X_WOY_W,并且在地面标记四个点的位置P1,P2,P3,P4。

然后到摄像机画面中找到这四个点的对应点p1，p2,p3,p4,建立好画面坐标系XOY，并初始化系数矩阵后，每个点都有一个表示为(x,y)的坐标，将这些坐标代入上述公式(2),得到八个线性方程，然后利用此方程组解出各个L系数以后代入上述公式(3)。公式(3)中有8个L参数，在应用时，这些参数需要确定下来，此处所做的工作就是利用四个标定点来确定下各个L参数，这样以后该公式就可以直接使用了。

得到公式(3)以后再根据图1所示，把需要进行转换的画面坐标输入，利用公式(3)进行转换，就得到其在地面的位置的实际坐标了。

根据得到的监测目标的地面位置坐标，确定检测目标的空间形状和在空间中的位置图(像)。

如图1所示，要进行系数矩阵是否奇异的判定，即某些时候线性方程组可能没有唯一解，这说明上述所取的地面四个点与画面四个像素点过于特殊，例如，其中三个点在一条线上等特殊情况，这时，就要重新选取地面四个点。在确定各个L参数过程中需要解线性方程组，上述系数矩阵是解线性方程组的时候所应用到的一种通用的代数名词。

本发明的整体特征在于无需考虑摄像机的内部参数以及其安放的高度，角度等信息。只需要在使用前对地面上的四个点位置与其相应的在监控画面中的位置信息进行一次录入即可。这样可以大幅减少人工矫正的工作量，在实际应用过程中非常方便。并且利用多台摄像机实现对某一地域的全地图无缝拼接监视，排除监视死角，降低安全隐患，提高识别的有效性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种影像位置到实际位置的射影转换方法，其特征在于，它包括以下步骤：

在地面建立好坐标系X_WOY_W，并且在地面标记四个点的位置P1,P2,P3,P4；

到摄像机画面中找到这四个点的对应点p1，p2,p3,p4,建立好画面坐标系XOY，每个点都有一个表示为(x,y)的坐标；

将上述需要进行转换的画面坐标输入，利用下面公式(3)进行转换以得到其在地面的位置的实际坐标

$\left.\begin{array}{c}{y}_w=\frac{(Y+L_6)(L_1+{\mathrm{XL}}_7)-(X+L_3)({\mathrm{YL}}_7+L_4)}{(L_2+{\mathrm{XL}}_8)(L_4+{\mathrm{YL}}_7)-(L_5+{\mathrm{YL}}_8)(L_1+{\mathrm{XL}}_7)}\\ x_w=\frac{(Y+L_6)(L_2+{\mathrm{XL}}_8)-(X+L_3)(L_5+{\mathrm{YL}}_8)}{(L_1+{\mathrm{XL}}_7)(L_5+{\mathrm{YL}}_8)-(L_4+{\mathrm{YL}}_7)(L_2+{\mathrm{XL}}_8)}\end{array}\right\}---\left(3\right);$

根据得到的监测目标的上述地面的位置的实际坐标，确定检测目标的空间形状和在空间中的位置图；

其中，X,Y为影像画面中点的像素坐标，且

$\frac{X}{f}=\frac{r_{11}{x}_w+r_{12}{y}_w+r_{13}{z}_w+t_x}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_z}$

$\frac{Y}{f}=\frac{r_{21}{x}_w+r_{22}{y}_w+r_{23}{z}_w+t_y}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_z}$

x_w,y_w,z_w为地面物体的实际坐标，z_w是个常数，f为摄像机镜头的焦距，由此进一步抽象处理后得到实际应用的公式

$\left.\begin{array}{c}X+\frac{L_1{x}_w+L_2{y}_w+L_3}{L_7{x}_w+L_8{y}_w+1}=0\\ Y+\frac{L_4{x}_w+L_5{y}_w+L_6}{L_7{x}_w+L_8{y}_w+1}=0\end{array}\right\}---\left(1\right)$

通过对公式(1)进行变换，得到两个关于系数L的线性方程组，

$\left.\begin{array}{c}{L}_1{x}_w+L_2{y}_w+L_3+X(L_7{x}_w+L_8{y}_w+1)=0\\ L_4{x}_w+L_5{y}_w+L_6+X(L_7{x}_w+L_8{y}_w+1)=0\end{array}\right\}---\left(2\right)$

据此利用4个预标定点来初始化各个L的系数，当得到8个线性方程组以后，使用高斯约当消去法来解出各个L的系数。

2.如权利要求1所述的一种影像位置到实际位置的射影转换方法，其特征在于，它进一步包括：对系数矩阵是否奇异的判定，如有奇异，重新选取地面四个点坐标。