CN102609949A - 一种基于三焦点张量像素点转移的目标定位方法 - Google Patents

Abstract

一种基于三焦点张量像素点转移的目标定位方法。从二维视图恢复物体的三维结构是计算机视觉的一个重要研究方向。本发明通过研究不同摄像机对同一场景拍摄的三幅图像之间的几何关系，以及三焦点张量仅依赖于摄像机间的相对位置和摄像机内参数的性质，提出了一种基于三焦点张量像素点转移的目标定位方法，该方法在目标出现前，通过对地面上的两个摄像机对同一场景拍摄的图像以及由实际测量处理后得到的虚拟顶视图输入计算机进行处理，然后通过随机采样一致性算法计算得到三焦点张量；在目标出现后，利用三焦点张量恢复目标在虚拟顶视图上的像素点投影坐标，最后对投影坐标按比例放大得到目标的实际方位，该发明对于复杂遮挡环境下的目标定位有重要的理论意义和实际应用价值。

Description

一种基于三焦点张量像素点转移的目标定位方法

技术领域

本发明涉及室内有遮挡环境下的目标定位技术领域，尤其涉及一种基于三焦点张量像素点转移的目标定位方法。

背景技术

随着物联网的发展，传感器技术的应用也越来越广泛，由传感器构成的无线传感网络可连接物理世界和信息世界。目前国际上已经有研究工作将其应用于环境监测和保护，以用来及时发现和定位事故源，也被用在军事目标的定位与跟踪、航空航天的落点控制等方面。在各种应用中，位置信息对物联网的检测活动至关重要，可以通过全球定位系统实现定位或者无线传感网实现目标定位，但是这些定位技术均需要在目标身上放置节点，通过节点发送数据包以获得目标的具体位置方位，且全球定位系统的用户节点通常能耗高、体积大、成本较高，还需要固定的基础设施，并且定位不够精确；而无线传感网的定位技术虽然体积小、能量消耗低、价格低廉，但定位结果也不甚稳定。若是未知目标出现，如何检测及定位仍然没有得到解决。

发明内容

技术问题：鉴于以上技术的缺陷，本发明要解决的技术问题是提出一种在室内有遮挡情况下的目标精确定位的技术，该发明仅需要几台手持数码相机、标尺和普通个人计算机。

技术方案：本发明公开了一种基于三焦点张量的于三焦点张量像素点转移的目标精确定位方法，

现场的摄像机对同一场景以不同角度拍摄的视野有重叠的两幅图像及该场景的虚拟顶视图，三者之间存在不依赖于景物结构的射影几何关系，这种射影几何关系由三焦点张量来描述，而三焦点张量由从三幅图像中所提取的信息得到，也同样能由其中两幅图像中的信息和三焦点张量得到第三幅图像中的信息；

目标出现前，现场的两个摄像机对同一场景拍摄的视野有重叠的两幅图像和虚拟顶视图组成已知的三幅图像，利用三幅图像输入计算机通过随机采样一致性算法RANSAC计算得到三焦点张量；

目标出现后，现场的摄像机对目标进行拍摄，将图像输入计算机，对图像进行特征提取得到目标的中心点坐标，利用三焦点张量像素点转移公式得到目标在虚拟顶视图中的坐标，坐标按比例放大得到目标的实际位置。

所述的现场的摄像机包括不少于两个不同方位的摄像机，若目标有遮挡，用多个摄像机找到对目标无遮挡的两幅图像。

所述的虚拟顶视图是由假想的无穷远摄像机拍摄所得，而无穷远摄像机指的是摄像机中心在无穷远处的摄像机。

所述的虚拟顶视图是由测量后的现实中的场景方位按比例缩放得到的。

所述的三焦点张量通过以下方法获得：目标出现前，由虚拟顶视图和现实中的两个摄像机拍摄的图像组成的三个一组的图像组，提取图像信息由随机采样一致算法RANSAC，即，计算得到。

所述的目标出现后，由三焦点张量和已知的两幅视图结合像素点转移公式，即

其中x_l″为第三幅图像上第l维的像素点坐标值，x_i′为第二幅图像上的第i维像素点坐标值，x_k为第一幅图像上的第k维像素点坐标值，

为三焦点张量，i，j，l＝1，2，3。利用此公式恢复目标在虚拟顶视图中图像像素点坐标。

本发明具体包括以下步骤：

步骤一：让室内两个或两个以上摄像机对室内某一场景进行拍摄，将拍摄所得两幅或者两幅以上的图像读入计算机；

步骤二：将实际室内场景按比例缩放得到和步骤一中图像大小一致的图像；

步骤三：将步骤一和步骤二得到的图像组，利用下述方法计算三幅图像之间的三焦点张量：

(1)提取出三幅图像的匹配特征点对其中x、x′、x″分别代表第一、第二和第三幅图像上对应的像素点坐标；

(2)计算三焦点张量的初始值；

三焦点张量和对应特征点坐标之间满足如下式(1)所示的点-点-点关系式：

${\left[x^{\′}\right]}_{\×}\left(\underset{i}{\mathrm{\Σ}}{x}^i{T}_i\right){\left[x^{\′\′}\right]}_{\×}=0_{3\×3}---\left(1\right)$

其中[x′]_×为对应于第二幅图像像素点坐标x′的反对称矩阵，同样，[x″]_×为对应于第三幅图像像素点坐标x″的反对称矩阵，xⁱ为第一幅图像像素点的第i维坐标，T_i为第i幅图像的三焦点张量。利用此关系式可以计算得到三焦点张量的直接线性估计值。

(3)最小化代价函数 $d^{\⊥}=\frac{1}{N}\underset{i}{\mathrm{\Σ}}\sqrt{d^2(x_i,{\hat{x}}_i)+d^2({x_i}^{\′},{{\hat{x}}_i}^{\′})+d^2({x_i}^{\′},{{\hat{x}}_i}^{\′\′})};$

其中

分别表示第一、第二、第三幅图像提取出的第i对图像点与估计值之间的欧氏距离，其中

为精确满足点-点-点关系式的与初始三焦点张量相容的估计点坐标，N为匹配点对的个数。

以T作为模型计算每一组假设对应到T所相容的代数簇的距离d^⊥：设定阈值t，若d^⊥该大于该阈值为外点，小于该阈值为内点，选定具有内点数最多的那一组点集(最大一致抽样点集)的组合中的三焦点张量即为所求。

步骤四：目标出现后，根据下面的像素点转移公式计算目标在虚拟顶视图中的坐标。

$x_l^{\′\′}=x_i^{\′}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{x}_k{T}_k^{\mathrm{jl}}-x_j^{\′}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{x}_k{T}_k^{\mathrm{il}}$ 其中i，j，l＝1，2，3   (2)

其中x_l″为第三幅图像上第l维的像素点坐标值，x_i′为第二幅图像上的第i维像素点坐标值，x_k为第一幅图像上的第k维像素点坐标值，

为三焦点张量，i，j，l＝1，2，3。利用此公式恢复目标在虚拟顶视图中图像像素点坐标。

步骤五：根据目标在虚拟顶视图中的坐标，按照比例放大即可得到目标在现实世界中的真实方位信息。

有益效果：

1、本发明的计算精度高，三焦点张量是精确反映三幅图像之间不依赖于景物结构的射影几何关系的高级几何量，它仅与摄像机的内部参数和摄像机之间的相对位置有关，利用三焦点张量计算出的目标的真实空间坐标相对于其他的定位方法更为准确有效。

2、本发明实施方式简单、便于操作，仅需要对场景一次测量和放置不少于2台摄像机并在目标出现前后对同一场景拍摄两次即可定位出目标。

3、本发明成本较低，仅需要不少于2台数码摄像机、一般标尺和常用个人计算机，不需要昂贵的节点设备。

附图说明

图1是本发明的总体流程图，

图2是ransac算法计算三焦点张量的流程图。

具体实施方式

在实施本发明之前需进行以下准备工作：

准备两台或者两台以上的数码相机，一台普通个人计算机，一把标尺。下面结合附图和具体实施方式对本发明做进一步描述。

如图1所示为本发明的总体流程图包括以下几个步骤：

步骤一：目标出现前，利用两个或两个以上的摄像机对场景进行拍摄，所的图像读入计算机，假设该图像大小为m×n(像素值)；

步骤二：目标出现前，利用标尺标记步骤一摄像机所拍摄的场景的主要特征点的实际尺寸坐标，得到二维矩阵，测量场景的实际大小(长和宽)M×N，并按比例缩放至m×n，得到像素点坐标的二维矩阵；

步骤三：将步骤一和步骤二所得图像读入计算机，对步骤一所得图像进行harris角点提取，利用相关函数法，匹配特征点，手动匹配前两幅图像的特征点与第三幅图像所标记的特征点，得到三维数组；

步骤四：如图3所示，利用ransac算法计算三幅图像的三焦点张量。其中初始值设定TrialCount＝0；最大采样次数MaxTrialCount＝1000；阈值t＝0.05；每一次计算开始内点个数count＝0。

(1)首先，对每幅图像中特征点坐标进行归一化处理，使得每幅图像中的特征点坐标的形心在原点，到原点的距离为

求得适应于这三幅图像的变换矩阵H，H′，H″。利用三焦点张量满足的点-点-点三线性关系，如下公式所示，线性计算得到三焦点张量的初始估计。

${\left[x^{\′}\right]}_{\×}\left(\underset{i}{\mathrm{\Σ}}{x}^i{T}_i\right){\left[x^{\′\′}\right]}_{\×}=0_{3\×3}$

其中[x′]_×为对应于第二幅图像像素点坐标x′的反对称矩阵，同样，[x″]_×为对应于第三幅图像像素点坐标x″的反对称矩阵，xⁱ为第一幅图像像素点的第i维坐标，T_i为3×3矩阵，表示第i幅图像的三焦点张量。

(2)计算与三焦点张量相容的点坐标，即点坐标

完全满足点-点-点三线性关系。

首先，计算三个摄像机投影矩阵，用给定矩阵[T₁，T₂，T₃]表示三焦点张量，共分两步计算得到摄像机投影矩阵；

第一，求出对极点e、e″。

令u_i和v_i分别是T_i的左和右零矢量，即

T_iv_i＝0。对极点可以通过求下面所示的3×3矩阵的零矢量获得：

e′^T[u₁，u₂，u₃]＝0^Th和e″^T[v₁，v₂，v₃]＝0^Th      (3)

第二，把对极点归一化为单位范数，那么摄像机投影矩阵为

P′＝[[T₁，T₂，T₃]e′|e″]P″＝[(e″e″^T-I)[T₁ ^T，T₂ ^T，T₃ ^T]e′|e″]    (4)

其中将虚拟顶视图的摄像机投影矩阵看作参考矩阵，将无穷远摄像机所在的坐标系看作标准坐标系，即P＝[I|0]。

其次，由线性三角形法可以计算得到世界坐标X。

$\left(\begin{array}{cccc}{P}_1& x_1& & \\ P_2& & x_2& \\ P_3& & & x_3\end{array}\right)\left(\begin{array}{c}X\\ -k_1\\ -k_2\\ -k_3\end{array}\right)=0---\left(5\right)$

由X重新投影到三个平面即可计算得到与三焦点张量相容的估计点坐标。

${\hat{x}}_1=P_{1}X$ ${\hat{x}}_2=P_{2}X$ ${\hat{x}}_3=P_{3}X---\left(6\right)$

(3)计算一致点集的大小，按如下公式对匹配点组的每一组计算距离d^⊥，设定阈值t(通常设定为0.05个像素)。

$d^{\⊥}=\sqrt{d^2(x,\hat{x})+d^2(x^{\′},{\hat{x}}^{\′})+d^2(x^{\′\′},{\hat{x}}^{\′\′})}---\left(7\right)$

其中

分别表示第一、第二、第三幅图像提取出的图像点与估计值之间的欧氏距离，其中

为精确满足点-点-点关系式的与初始三焦点张量相容的估计点坐标。

若d^⊥＜t，则判定此组点为内点，否则记为外点，记录下一次计算三焦点张量的内点总数，即为一致集的大小。

(4)在采样次数达到预设采样次数时，寻找具有最大一致集的那一次计算所得的三焦点张量即为所求，对三焦点张量按照公式(7)进行反归一化处理。

$T_i^{\mathrm{jk}}=H_i^r{\left(H^{\′-1}\right)}_s^j\left(H^{\′\′-1}\right){\hat{T}}_r^{\mathrm{st}}---\left(8\right)$

其中H，H′，H″为(1)中所求得的变换矩阵，为矩阵H的第r行第i列的元素，H′^-1为矩阵H的逆矩阵，H″^-1为矩阵H″的逆矩阵，

为三焦点张量的初始线性估计值。

步骤五：目标出现之后，由两个或两个以上摄像机对目标进行拍摄(保证无遮挡)，得到目标中心在两幅图像中的图像坐标，利用像素点转移公式计算目标在虚拟顶视图中的坐标。

$x_l^{\′\′}=x_i^{\′}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{x}_k{T}_k^{\mathrm{jl}}-x_j^{\′}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{x}_k{T}_k^{\mathrm{il}}$ 其中i，j，l＝1，2，3    (9)

其中x_l″为第三幅图像上第l维的像素点坐标值，x_i′为第二幅图像上的第i维像素点坐标值，x_k为第一幅图像上的第k维像素点坐标值，

为三焦点张量，i，j，l＝1，2，3。

步骤六：如图1所示，虚拟顶视图中的坐标按比例放大即可得到目标在真实场景中的实际位置坐标。

本技术为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于三焦点张量像素点转移的目标定位方法，其特征在于该方法为：

现场的摄像机对同一场景以不同角度拍摄的视野有重叠的两幅图像及该场景的虚拟顶视图，该三幅图像之间存在不依赖于景物结构的射影几何关系，这种射影几何关系由三焦点张量来描述，而三焦点张量由从三幅图像中所提取的信息得到，也同样能由其中两幅图像中的信息和三焦点张量得到第三幅图像中的信息；

目标出现前，现场的两个摄像机对同一场景拍摄的视野有重叠的两幅图像和虚拟顶视图组成已知的三幅图像，利用三幅图像输入计算机通过随机采样一致性算法RANSAC计算得到三焦点张量；

目标出现后，现场的摄像机对目标进行拍摄，将图像输入计算机，对图像进行特征提取得到目标的中心点坐标，利用三焦点张量像素点转移公式得到目标在虚拟顶视图中的坐标，坐标按比例放大得到目标的实际位置。

2.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法，其特征在于，所述的现场的摄像机包括不少于两个不同方位的摄像机，若目标有遮挡，用多个摄像机找到对目标无遮挡的两幅图像。

3.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法，其特征在于，所述的虚拟顶视图是由假想的无穷远摄像机拍摄所得，而无穷远摄像机指的是摄像机中心在无穷远处的摄像机。

4.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法，其特征在于，所述的虚拟顶视图是由测量后的现实中的场景方位按比例缩放得到的。

5.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法，其特征在于所述的三焦点张量通过以下方法获得：目标出现前，由虚拟顶视图和现实中的两个摄像机拍摄的图像组成的三个一组的图像组，提取图像信息由随机采样一致算法即RANSAC算法，计算得到。

6.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法，其特征在于，所述的目标出现后，由三焦点张量和已知的两幅视图结合像素点转移公式，即 $x_l^{\′\′}=x_i^{\′}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{x}_k{T}_k^{\mathrm{jl}}-x_j^{\′}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{x}_k{T}_k^{\mathrm{il}},$ 其中x_l″为第三幅图像上第l维的像素点坐标值，x_i′为第二幅图像上的第i维像素点坐标值，x_k为第一幅图像上的第k维像素点坐标值，代表三焦点张量，i，j，l＝1，2，3，利用此公式恢复目标在虚拟顶视图中图像像素点坐标。

Images