CN102509309A - 一种基于图像匹配的目标点定位系统 - Google Patents

Abstract

本发明涉及一种基于图像匹配的目标点定位系统，即将长焦镜头中的图像准确的定位到广角镜头图像中的位置，应用SIFT算法和粒子滤波方法，达到最终准确定位和追踪的目的。本发明可以在广角图像中迅速定位特定物体与区域，例如可以帮助警察在人群中利用长焦镜头中的画面锁定犯罪嫌疑人，在广角图像中迅速确定其位置及其运动轨迹、飞行员手动瞄准来不及时，可以在头盔上安装长焦摄像机，采用该技术自动瞄准，按钮后发射炮弹等。

Description

一种基于图像匹配的目标点定位系统

技术领域

本发明涉及基于图像的目标定位装置和技术，涉及一种图像匹配技术，尤其涉及一种基于图像匹配的目标点定位系统。

背景技术

所谓定位技术，通常是指将特定物体发出的信号进行分析并根据已有的数据来确定物体所在位置，例如众所周知的GPS全球卫星定位技术以及广泛应用于高速铁路上的传感器定位。近年来，由于人们在日常生活中对于定位设备的依赖性有了广泛增强，定位技术得到了突飞猛进的发展。当对于传统的定位技术而言，当输入信号发生变化，输入信号变为图像时，例如某人的额头如果佩戴一个长焦摄像机(帽沿、眼镜脚等处)，在胸前配戴一个广角摄像机对该人所在区域进行全景拍摄，若长焦摄像机所拍画面没有超出我们广角图像的范围，则如何根据长焦摄像机所传回的图像对该人的视角图像进行定位，以实现对此人的注视点进行定位，传统的定位技术，包括GPS及其他的定位系统都是无法实现的。

发明内容

鉴于现有技术所存在的上述问题，本发明旨在提供一种基于图像匹配的目标点定位系统，将处于特定位置的长焦镜头中的图像与相应广角镜头中图像进行匹配，达到窄角视场图像在广角图像中进行定位的目的。

技术方案

一种基于图像匹配的目标点定位系统，包括以下三部分：

一部为信息采集单元，包括安装有长焦镜头和广角镜头的实时图像观测系统和对所述长焦镜头和广角镜头中的图像进行提取的信息提取部件；所述长焦镜头的安装位置相对于广角镜头的安装位置是运动的并且长焦镜头所指图像一直为广角图像的一部分；所述信息提取部件包括图像采集卡和图像校正设备；

具体说，所述长焦镜头即窄视场，广角镜头即宽视场，前者相对后者是运动的，在其运动范围内能够指向任意方向及物体，但保证长焦镜头所指图像应为广角图像的一部分，即为广角图像的子集；反之，广角镜头中的图像相对于长焦镜头的图像应包含更大视野，即其所涉及的范围应更大。

二部为数据处理单元，用于处理信息采集单元采集的图像信息、计算长焦镜头的图像在广角镜头图像中的准确位置，包括

首先将长焦镜头及广角镜头中的图像进行捕获和预处理；

继而应用尺度不变特征变换算法，即SIFT算法，将长焦镜头中的图像与广角镜头中的图像进行关键点的定位与匹配，得出图像上的特征匹配点的样本；

进而应用引入重要性采样的粒子滤波算法，对所确定的特征匹配点进行局部取样，将计算得到的后验概率较低的特征匹配点进行过滤，最终所选取的观测点样本得出后验概率较高所处状态，即为所定位的区域；

通过所述SIFT算法及粒子滤波算法的结合，得到相应的长焦镜头图像在广角镜头图像的数字位置描述；

三部为输出单元，用于在广角镜头图像中显示长焦镜头图像的准确位置，以及对长焦镜头所示图像中的移动物体进行跟踪和实时定位。

所述信息采集单元与数据处理单元进行输入输出转换，并将最终的定位结果显示在广角镜头所示图像中。

所述数据处理单元装有特定分析软件，应用于快速分析图像信息并作出匹配结果，内部主要利用SIFT算法及粒子滤波算法计算图像特征，包括两幅图像特征点的梯度场，最终进行匹配的特征点，基于匹配特征点取样过滤后的定位区域的数字量化，并将结果进行转化按合适的输出方式进行切换，由输出单元中的广角镜头图像中显示定位结果；

所述匹配特征点的正确率由SIFT算法中关键点不变描述向量的最小欧式距离邻域与次小欧式距离邻域的比例系数所决定，数据处理单元应用理论最佳比例算出匹配特征，对图像点的定位通过匹配点的取样和重取样，通过后验概率分布的计算，对之前确定的定位区域进行更新，直至达到满意解。

技术效果

本发明将长焦镜头摄像机的图像作为定位对象，对其所描述的图像在相应的广角图像中进行定位，这与之前将具体物体当作对象的定位技术有很大不同，解决了之前实时变化的目标不能进行实时定位的缺陷：

本发明可以对行人的注视点进行定位，也可以帮助警察在人群中利用长焦镜头中的画面锁定犯罪嫌疑人，在广角图像中迅速确定其位置及其运动轨迹。也可以应用在战斗机瞄准系统，当飞行员手动瞄准来不及时，可以采用该技术自动瞄准，按钮后发射炮弹等。本系统的特点是不需要对眼睛和图像内容进行识别，不需要特别的光源，具有极大的灵活性。

本发明设备适用性良好，可满足多种需求，例如将长焦摄像机安装在坦克发射口旁，广角镜头安装在坦克前端不随发射口位置变化的地方，则可将长焦镜头中的目标定位在广角镜头中帮助指挥了解周围目标情况；此装置也可装配在人上，例如可以将长焦镜头安装在人的额头前，广角镜头则安装在胸前，那么此定位装置可以定位和跟踪人的注视点变化；装置也可以安装在监控设备前端，飞机头部等，帮助了解飞行员的注视内容，对周围环境有更清晰的了解。

附图说明

图1是实施例的定位设备示意图；

图2是实施例的定位系统算法流程图。图中，

1.长焦镜头摄像机，2.广角镜头摄像机，3.匹配区域，4.数据处理单元

具体实施方式

一种基于图像匹配的目标点定位系统，其设备如图1所示，其由长焦镜头摄像机1、广角镜头摄像机2与相应的数据处理单元4组成，所述长焦镜头作为广角镜头的辅助，即长焦镜头中的图像为广角镜头图像的一部分，动态选定定位和跟踪的目标；故而安装位置有如下要求：广角镜头摄像机位置相对固定，长焦镜头摄像机可以灵活运动，但保证长焦镜头所指图像应为广角图像的一部分，图像重叠区即为匹配区域3；如将广角摄像机固定在胸前，而将长焦镜头摄像机固定在帽沿、眼镜脚等处，即可实现对头部朝向确定的注视点进行定位。在设备运行过程中，长焦镜头中的画面与广角镜头中的画面在数据处理单元进行数据计算与图像特征点的匹配，最终数据处理单元将所得到的匹配结果返回广角镜头显示界面，并在其界面上以相应标识来表示长焦镜头中的画面在广角镜头中的位置。

基于图像匹配的目标点定位算法，如图2所示：

通过长焦镜头摄像机采集小场景图像，通过广角镜头摄像机采集广角图像，经图像校正，输入数据处理单元；在所述数据处理单元，首先应用SIFT算法将广角镜头中的图像与长焦镜头中的图像进行关键点的匹配，进而对匹配点进行局部取样，利用粒子滤波算法对不合格的取样点进行剔除，进而得到符合条件的匹配点，最终得到长焦镜头中的图像在广角镜头图像中的准确位置；通过数据传输装置，将所得定位结果以明显标识的方式展示在广角镜头的图像中。

本发明基于两个核心算法，SIFT算法及粒子滤波算法，下面将对这两个算法进行简要描述。

SIFT算法

SIFT算法，全称Scale Invariant Feature Transform-尺度不变特征变换，是搜寻图像中稳定特征点的重要算法，这些特征点对于图像尺度的变换，旋转，以及对部分光照强度的变化和3D投影变化均稳定不变。它们的位置无论在空间域或者频率域均有很强的鲁棒性，这大大降低了噪声以及杂乱因素对它们的影响。这些特点非常独特，它们能有效的与已知相似特征进行匹配。下面是生成图像特征点集的主要步骤：

1.尺度空间极值点的挖掘：通过高斯甄别函数

$f(x;\mathrm{\μ},{\mathrm{\σ}}_1,{\mathrm{\σ}}_2)=\frac{1}{{\mathrm{\σ}}_1\sqrt{2\mathrm{\π}}}\exp (-\frac{{(x-\mathrm{\μ})}^2}{{2\mathrm{\σ}}_1^2})-\frac{1}{{\mathrm{\σ}}_2\sqrt{2\mathrm{\π}}}\exp (-\frac{{(x-\mathrm{\μ})}^2}{{2\mathrm{\σ}}_2^2})$

识别潜在对尺度与方位的变化不敏感的特征点。

2.关键点定位：在图像中的每一个候选位置，依据它们各自的稳定性，用更为细致的模型来筛选最终符合条件的位置。

3.定向设定：基于图像局部的梯度方向，对每一个关键点的位置均赋予一个或多个方向。所有即将进行的操作都在转换时与设定的方向，尺度，位置密切相关的特征点上的图像数据上进行。

4.关键点的描述：图像局部的梯度由选取的每个关键点的尺度邻域范围所测定，并将对这些梯度的描述转化为对图像局部形状扭曲和光照变化不敏感的描述形式。

以上变换将图像数据转化为与图像局部特征有关的尺度不变的坐标。此算法的核心在于其在图像所有覆盖范围(标尺及位置)下能生成分布很密的特征点。这对于物体的识别有特殊的意义，这是由于对于识别在复杂环境下的小物体，至少需要三个特征点与给定图像进行正确的匹配。对图像匹配来说，SIFT的特征首先由已给的图像提取，在本发明中即为广角镜头中的图像，然后逐个比对长焦镜头中的图像特征点来发现它们中符合要求的匹配点-图像特征点向量的欧式距离应尽可能小，最终决定匹配结果。图像的特征需进行多次检测才能被最终认定为关键点，这样才能保证匹配的准确性。

在进行图像匹配时我们进行了有容忍度匹配，即对每个关键点设定了两个邻域，即两个有相对大小的邻域，得到最佳邻近区域与次临近最佳区域的距离比来提高最后的匹配程度。

粒子滤波算法

粒子滤波器是基于序贯Monte Carlo仿真方法的非线性滤波算法。

当我们不能用理论分析的方法得到后验概率分布时，我们将随机取一些观测值并给予其权重，这里随机选取是蒙特卡罗算法。例如若要估计服从均值为0的高斯分布的随机变量方差，则方法如下：从观测值选出M个结果，这里x^(m)～N(0，σ²)，其中x^(m)为随机变量，则估值为 $\widehat{{\mathrm{\σ}}^2}=\frac{1}{M}{\mathrm{\Σ}}_{m=1}^M{\left(x^{\left(m\right)}\right)}^2,$

传统的蒙特卡罗方法在样本点的选取上有很大困难，因为我们不能确定所选的样本点就完全代表我们期望的概率分布。故引入重要性取样，此取样方法允许取样点与我们期望的分布有误差，随后我们会给每个取样点设定其权重，设定权重依据取样点与原概率分布的匹配程度，这里取样点自身形成另一概率分布。这样取样会相对容易，不过我们要求取样点形成的分布与其相对应的随机变量服从的概率分布的绝对误差应相对小。由

$E\left(f\left(X\right)\right)=\underset{X}{\∫}f\left(x\right)p\left(x\right)\mathrm{dx}={\∫}_{X}f\left(x\right)\frac{p\left(x\right)}{\mathrm{\π}\left(x\right)}\mathrm{\π}\left(x\right)\mathrm{dx}$

则依据蒙特卡洛方法，有仿真样本x^(m)～π(x)，均值为

$E\left(f\left(X\right)\right)\≈\frac{1}{M}{\mathrm{\Σ}}_{m=1}^{M}f\left(x^{\left(m\right)}\right)\frac{p\left(x^{\left(m\right)}\right)}{\frac{\mathrm{\π}\left(x^{\left(m\right)}\right)}{w^{\left(m\right)}}}$

因此，用重要性取样即可算出积分值，将其嵌入贝叶斯滤波中，则后验概率密度函数p(x_j|z_1:k)可用所选样本点，这里也称为粒子，与其相应的权重值表示，即

其中

$w_k^{\left(m\right)}=\frac{p(x_k^{\left(m\right)},z_{1;k})}{\mathrm{\π}(x_k^{\left(m\right)},z_{1;k})}$

基于序列的重要性采样，这里我们已知π(x)，并将其作为先验概率密度，则对m＝1，2，...，M粒子滤波算法步骤如下：

1.生成粒子(样本点)： $x_k^{\left(m\right)}~p\left(x_k\right|x_{k-1});$

2a.计算权重： $w_k^{*\left(m\right)}=w_{k-1}^{*\left(m\right)}p\left(z_k\right|x_k^{\left(m\right)});$

2b.权重归一化： $w_k^{\left(m\right)}=\frac{w_k^{*\left(m\right)}}{{\mathrm{\Σ}}_{j=1}^M{w}_k^{*\left(j\right)}};$

3.计算估计值： $E\left(g\left(x_k\right|z_{1;k})\right)={\mathrm{\Σ}}_{m=1}^{M}g\left(x_k^{\left(m\right)}\right)w_k^{\left(m\right)};$

由于基于序列的重要性采样方法不可避免的会有退化现象，就要对样本进行重采样，主要为了将权重大的粒子进行复制进而淘汰权重小的粒子。对此我们进行以下采样 ${\{{\hat{x}}_k^{\left(m\right)},\frac{1}{M}\}}_{m=1.}^M~{\{x_k^{\left(m\right)},w_k^{\left(m\right)}\}}_{m=1}^M$

权重较小的点逐渐被挑出并最终被排除出取样点，这个控制过程是不断加时间点k完成的，最终我们得到想要的取样点。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于图像匹配的目标点定位系统，其特征在于，包括以下三部分：

一部为信息采集单元，包括安装有长焦镜头和广角镜头的实时图像观测系统和对所述长焦镜头和广角镜头中的图像进行提取的信息提取部件；所述长焦镜头的安装位置相对于广角镜头的安装位置是运动的并且长焦镜头所指图像一直为广角图像的一部分；所述信息提取部件包括图像采集卡和图像校正设备；

二部为数据处理单元，用于处理信息采集单元采集的图像信息、计算长焦镜头的图像在广角镜头图像中的准确位置，包括

首先将长焦镜头及广角镜头中的图像进行捕获和预处理；

继而应用尺度不变特征变换算法，即SIFT算法，将长焦镜头中的图像与广角镜头中的图像进行关键点的定位与匹配，得出图像上的特征匹配点的样本；

进而应用引入重要性采样的粒子滤波算法，对所确定的特征匹配点进行局部取样，将计算得到的后验概率较低的特征匹配点进行过滤，最终所选取的观测点样本得出后验概率较高所处状态，即为所定位的区域；

通过所述粒子算法及粒子滤波算法的结合，得到相应的长焦镜头图像在广角镜头图像的数字位置描述；

三部为输出单元，用于在广角镜头图像中显示长焦镜头图像的准确位置，以及对长焦镜头所示图像中的移动物体进行跟踪和实时定位；

所述信息采集单元与数据处理单元进行输入输出转换，并将最终的定位结果显示在广角镜头所示图像中。

2.根据权利要求1所述的定位系统，其特征在于：

所述匹配特征点的正确率由SIFT算法中关键点不变描述向量的最小欧式距离邻域与次小欧式距离邻域的比例系数所决定，数据处理单元应用理论最佳比例算出匹配特征，对图像点的定位通过匹配点的取样和重取样，通过后验概率分布的计算，对之前确定的定位区域进行更新，直至达到满意的定位结果；

所述图像匹配是有容忍度匹配，即对每个关键点设定了两个邻域，即两个大小不同的邻域，对两个不同的邻域分别进行匹配运算，通过得到最佳邻近区域与次邻近最佳区域的距离比来提高最后的匹配程度。

Images