CN111383205B - 一种基于特征点和三维模型的图像融合定位方法 - Google Patents

Abstract

本发明属于图像处理领域，公开了一种基于特征点和三维模型的图像融合定位方法，包括以下步骤：采取两个传感器进行定位；利用传感器获取实时的自主定位信息获取特征点；对获取的传感器地理信息，映射到已知三维模型上；使用映射的地理信息，三维模型坐标信息、地理信息，获取三维模型坐标与原图像坐标的对应关系；输入目标原始图像像素点坐标到融合系统中，能够获得精确的目标定位信息。与现有技术相比，本发明提供的直接地理定位方法能够实现具备高精度实时地理定位功能，且定位计算过程简单，能够有效提高定位效率。

Description

一种基于特征点和三维模型的图像融合定位方法

技术领域

本发明属于地理定位与图像处理技术领域，涉及一种图像融合定位方法，尤其涉及一种基于特征点和三维模型的定位方法。

背景技术

图像地理定位是根据图像视觉信息确定或估计图像中特定目标的地理位置。这个问题有许多的运用场景，例如汽车自动驾驶，移动终端导航，视频地理轨迹生成等，尤其在GIS(地理信息系统)技术不断成熟的情况下，结合GIS提供的地理信息能够快速准确地定位。

在无人侦察机、城市多目标搜索跟踪系统等项目中，通过图像定位技术可以快速获取目标地理信息，解决在强对抗环境下传统定位方法误差大、甚至无效等问题。

在学术研究领域，Zamir等作者提出了每个查询特征点检索距离其最近的一个特征点，然后用比值过滤误匹配的外点，最后选择特征点最多对应的参考图片作为最佳匹配。如果根据错误的匹配结果进行定位就会得出错误结论，其它算法(如ORB、SIFT等)都存在类似问题。如何快速的提高定位精度，及实时的定位是图像定位的重要研究问题之一。

定位精度较低缺少一种使特征点与图像精确匹配及减少图像形变的方法，专利“石悦,付琨,孙显,等.一种多源传感器的遥感图像配准方法[P].中国：CN103020945B,2016”介绍了一种多源遥感图像配准方法，通过随机一致性抽样算法剔除误匹配点。CN110569861A,2019”介绍了一种基于点特征和轮廓特征融合的图像匹配定位方法，并根据飞行平台姿态信息补偿得到飞行平台当前地理位置信息。利用这些方法提高定位精度不能取得满意效果。

在实际运用领域，Google公司研发了一个定位一张图片位置的Google Photos技术。用户把图片上传到服务器中，当服务器接收到需要定位的图片时，它首先会将图片分解成像素级别，然后将这些信息和数据库中的信息进行比对，通过一定的算法判断出照片所在大概区域，如某个国家的某个景区等。接着再根据数据库中保存的GPS地理信息进一步判断，如照片特征符合某个经纬度信息就为其匹配对应的地理位置，这样通过实际经纬度信息就可以对照片进行定位。然而此定位方法是在全球范围内，定位准确率低，无法满足实际要求。因此，要实现有效的图像定位必须研究和寻找更为有效、准确、实时的技术途径。

发明内容

(一)发明目的

本发明的目的是：为满足有效、高精度、实时的图像定位的需求，为城市目标多目标定位提供一种基于特征点和三维模型的图像融合定位方法，实现计算过程简单，能够有效提高定位效率。

(二)技术方案

为了解决上述技术问题，本发明提供一种基于特征点和三维模型的图像融合定位方法，其包括以下步骤：

步骤一：采集一幅原始图像，并从该原始图像中获取至少两个自主定位点的地理信息及图像信息；

步骤二：选取两个自主定位点，在三维模型Unity3D中标注两个自主定位点的位置并获得该两个位置对应的两点的经纬度：点1(A，B)、点4(C，D)，及三维模型坐标差对应的经纬度差，在三维模型上绘制地理上正矩形区域，由已知点1(A，B)、点4(C，D)，使用点1的经度A及点4的纬度D生成点2(A，D)，使用点1的纬度B及点4的经度C生成点3(C，B)，同时记录该正矩形区域的长宽比，点3和点4作为两个新特征点；

步骤三：根据两个新特征点，利用Harris角点检测算子，计算出图像中新特征点在原始图像中的位置，即像素坐标，由此获得全部四个特征点的地理信息及图像信息；

步骤四：基于四个特征点，在原始图像上绘制一个不规则的四边形，利用透射变换将该四边形映射为一个规则的正矩形，长宽比使用步骤二中记录的三维模型Unity3D上正矩形的长宽比；

步骤五：保存透射变换前后图像坐标转换的对应关系；

步骤六：建立并保存透射变换后图像坐标与经纬度的对应关系；

步骤七：输入原始图像中像素位置得到对应的地理信息

根据输入的原始像素位置，带入步骤五中得到相应变换后图像的坐标位置，将变换后图像的坐标位置带入步骤六图像像素坐标与经纬度对应关系，得到该像素位置的地理信息，完成定位功能。

(三)有益效果

上述技术方案所提供的基于特征点和三维模型的图像融合定位方法，能够实现具备高精度实时地理定位功能，且定位计算过程简单，能够有效提高定位效率。

附图说明

图1是本发明用于定位的四个特征点及其定理信息关系。

图2是本发明图像定位方法的操作流程图。

图3是本发明四个特征点在图像上位置。

图4是截取四个特征点变换为正矩形的图像。

图5是透射变换的图形说明。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明的主要任务是利用特征点及三维模型对该图像任意像素点提供一种图像融合定位方法，输入任意像素值可得该像素值对应于特征点同高度的经纬度地理数据。由此可见，本发明需要生成图像像素与经纬度的对应关系，且该对应关系为线性关系。因此先要获取图像中地理上构成正矩形的四个特征点，并且消除图像中四个特征点的形变是整个发明的关键。

本发明使用普通的可见光相机作为光学传感器，Unity3D作为三维模型引擎，树莓派3B作为算法处理板。

本发明图像融合定位方法包括以下过程：

一、特征点的获取

1.1初始特征点获取

为了获取在地理位置上成正矩形的四个特征点，即有图1特点的四个特征点，首先在测量传感器视场内放置两个带有GPS信息的标志物，本实施例中使用两个带GPS模块的可见光传感器作为标志物放入测量传感器视场内，由测量传感器采集一幅原始图像，同时通过GPS模块获得两个标志物对应的两个初始特征点的地理信息及图像信息，将这两个初始特征点作为图1正矩形的对角点，记为：点1、点4。

本实施例中，所选用可见光传感器分辨率在1024×768～2048×1536之间。

1.2其余两个特征点获取

在三维模型Unity3D中标注两个传感器的位置，通过三维模型Unity3D，获得两个位置对应的两点的经纬度：(A，B)、(C，D)，及三维模型坐标差对应的经纬度差，在三维模型上绘制地理上正矩形区域，如图1，由已知点1(A，B)、点4(C，D)，使用点1的经度A及点4的纬度D生成点2(A，D)，使用点1的纬度B及点4的经度C生成点3(C，B)，同时记录该正矩形区域的长宽比。点3和点4作为两个新特征点。在正矩形区域中，对角线两个特征点经纬度差大于3"。

二、映射关系的获取及保存

1.1新特征点图像映射

根据两个新特征点，利用Harris角点检测算子，计算出图像中新特征点在原始图像中的位置，即像素坐标，由此获得全部四个特征点的地理信息及图像信息。

Harris角点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使其信息的含量很高，有效地提高计算的速度，有利于图像的可靠匹配，使得实时处理成为可能。对于同一场景，即使视角发生变化，也能具备稳定性质的特征。

1.2透射变换关系的保存

因为在地理信息上四个特征点应为一个正矩形，但由于传感器观测角度的问题，在传感器图像上四个特征点往往形成一个不规则的四边形。如果要准确地定位每个像素点地理信息就要将该不规则的四边形变换成一个正矩形，并且在变换的过程中尽可能的降低形变损失。

基于四个特征点，在原始图像上绘制一个不规则的四边形，利用透射变换将该四边形映射为一个规则的正矩形，长宽比使用前述记录的三维模型Unity3D上正矩形的长宽比，如图2所示。

本发明使用透射变换进行变换，其通用的变换公式如下：

其中，(u，v)是原始图像的像素坐标位置，如果设变换后的图像像素坐标位置为(x，y)。那么对应关系为x＝X′/W′,y＝Y′/W′，w为中间变量。变换矩阵

可以拆分成四部分，/>

表示线性变换，[a₃₁ a₃₂]用于平移，[a₁₃ a₂₃]^T产生透视变换。

所以可以理解成仿射等是透视变换的特殊形式。因为透射变换是将四边形变换为一个矩形，利用特殊的矩形(正方形)到四边形的变换可以求出变换矩阵的系数。如图5所示，过程如下：

预设将要变换后的四边形四个点为((x₀,y₀),(x₁,y₁),(x₂,y₂),(x₃,y₃))，由于已知了正矩形的长宽比，可用原始图像获取的两个初始特征点的x方向像素差及y方向像素差作为变换后图像的(x₃,y₃)坐标，即为(x方向像素差，y方向像素差)，(x₀,y₀)坐标为(0,0)，(x₁,y₁)的坐标为(0，y方向像素差)，(x₂,y₂)的坐标为(x方向像素差，0)。

已知变换对应的几个点就可以求取变换公式。反之，特定的变换公式也能求取新的变换后的图片。简单的看一个正方形到四边形的变换：

变换对应的四组对应点可表示为：

(0,0)→(x₀,y₀),(1,0)→(x₁,y₁),

(1,1)→(x₂,y₂),(0,1)→(x₃,y₃)。

根据变换公式得到：

a₃₁＝x₀

a₁₁+a₃₁-a₁₃x₁＝x₁

a₁₁+a₂₁+a₃₁-a₁₃x₂-a₂₃x₂＝x₂

a₂₁+a₃₁-a₂₃x₃＝x₃

a₃₂＝y₀

a₁₂+a₃₂-a₁₃y₁＝y₁

a₁₂+a₂₂+a₃₂-a₂₃y₂-a₂₃y₂＝y₂

a₂₂+a₃₂-a₂₃y₃＝y₃

由此可得到：

a₁₁＝x₁-x₀+a₁₂x₁

a₂₁＝x₃-x₀+a₁₂x₂

a₃₁＝x₀

a₁₂＝y₁-y₀+a₁₃y₁

a₂₂＝y₃-y₀+a₂₃y₃

a₃₂＝y₀

其中几个辅助变量值为：

Δx₁＝x₁-x₂,Δx₂＝x₃-x₂,Δx₃＝x₀-x₁+x₂-x₃

Δy₁＝y₁-y₂,Δy₂＝y₃-y₂,Δy₃＝y₀-y₁+y₂-y₃

根据以上透射变换的原理，可以将原图像坐标转换到正矩形图像对应的坐标，其对应关系如下：

(u，v)为原图像坐标

(x，y)为变换图像坐标

上述公式为图像像素坐标对应的转换关系，保存该对应关系。

1.3特征点图像与经纬度对应关系

由于四个特征点在经纬度地理信息上为一个正矩形，且变换后的图像也为一个相同长宽比的正矩形，两者存在线性关系。

首先计算经度差为：

Lanoffset＝C-A

其次纬度差为：

Latoffset＝D-B

然后像素横坐标差为：

Xoffset＝c-a

最后像素纵坐标差为：

Yoffset＝d-b

因此已知变换后图像的像素坐标(x，y)，可得该坐标对应的经纬度M，N如下：

M＝(x-a)×Lanoffset/Xoffset+A

N＝(y-d)×Latoffset/Yoffset+D

上述公式为图像像素坐标与经纬度的对应转换关系，保存该对应关系。

四、目标定位实现

检测原始图像上感兴趣的目标，根据目标的中心像素坐标，转换到透射变换后正矩形的图形中，并存储相应的像素坐标。将该变换后的像素坐标输入到像素坐标和经纬度的转换公式中，可得到相应的经纬度信息，完成定位功能。

以上三部分内容是对一个目标进行图像定位的过程，因此在实际应用过程中该过程是反复进行的，直到获取所有感兴趣目标地理信息。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于特征点和三维模型的图像融合定位方法，其特征在于，包括以下步骤：

步骤一：采集一幅原始图像，并从该原始图像中获取至少两个自主定位点的地理信息及图像信息；

步骤二：选取两个自主定位点，在三维模型Unity3D中标注两个自主定位点的位置并获得该两个位置对应的两点的经纬度：点1(A，B)、点4(C，D)，及三维模型坐标差对应的经纬度差，在三维模型上绘制地理上正矩形区域，由已知点1(A，B)、点4(C，D)，使用点1的经度A及点4的纬度D生成点2(A，D)，使用点1的纬度B及点4的经度C生成点3(C，B)，同时记录该正矩形区域的长宽比，点3和点4作为两个新特征点；

步骤三：根据两个新特征点，利用Harris角点检测算子，计算出图像中新特征点在原始图像中的位置，即像素坐标，由此获得全部四个特征点的地理信息及图像信息；

步骤四：基于四个特征点，在原始图像上绘制一个不规则的四边形，利用透射变换将该四边形映射为一个规则的正矩形，长宽比使用步骤二中记录的三维模型Unity3D上正矩形的长宽比；

步骤五：保存透射变换前后图像坐标转换的对应关系；

步骤六：建立并保存透射变换后图像坐标与经纬度的对应关系；

步骤七：输入原始图像中像素位置得到对应的地理信息

根据输入的原始像素位置，带入步骤五中得到相应变换后图像的坐标位置，将变换后图像的坐标位置带入步骤六图像像素坐标与经纬度对应关系，得到该像素位置的地理信息，完成定位功能。

2.如权利要求1所述的基于特征点和三维模型的图像融合定位方法，其特征在于，所述步骤一中，使用两个带GPS模块的可见光传感器作为标志物放入测量传感器视场内，由测量传感器采集一幅原始图像，同时通过GPS模块获得两个标志物对应的两个初始特征点的地理信息及图像信息。

3.如权利要求2所述的基于特征点和三维模型的图像融合定位方法，其特征在于，所述步骤一中，所选用可见光传感器分辨率在1024×768～2048×1536之间。

4.如权利要求3所述的基于特征点和三维模型的图像融合定位方法，其特征在于，所述步骤二中，正矩形区域中对角线上两个特征点经纬度差大于3"。

5.如权利要求1所述的基于特征点和三维模型的图像融合定位方法，其特征在于，所述步骤四中，透射变换的变换公式如下：

其中，(u，v)是原始图像的像素坐标位置，设变换后的图像像素坐标位置为(x，y)，那么对应关系为x＝X′/W′,y＝Y′/W′，w为中间变量；变换矩阵

拆分成四部分，

表示线性变换，[a₃₁ a₃₂]用于平移，[a₁₃ a₂₃]^T产生透视变换。

6.如权利要求5所述的基于特征点和三维模型的图像融合定位方法，其特征在于，所述步骤四中，透射变换的过程为：

预设将要变换后的四边形四个点为((x₀,y₀),(x₁,y₁),(x₂,y₂),(x₃,y₃))，根据已知的正矩形的长宽比，用原始图像获取的两个初始特征点的x方向像素差及y方向像素差作为变换后图像的(x₃,y₃)坐标，即为(x方向像素差，y方向像素差)，(x₀,y₀)坐标为(0,0)，(x₁,y₁)的坐标为(0，y方向像素差)，(x₂,y₂)的坐标为(x方向像素差，0)；

根据变换公式得到：

a₃₁＝x₀

a₁₁+a₃₁-a₁₃x₁＝x₁

a₁₁+a₂₁+a₃₁-a₁₃x₂-a₂₃x₂＝x₂

a₂₁+a₃₁-a₂₃x₃＝x₃

a₃₂＝y₀

a₁₂+a₃₂-a₁₃y₁＝y₁

a₁₂+a₂₂+a₃₂-a₂₃y₂-a₂₃y₂＝y₂

a₂₂+a₃₂-a₂₃y₃＝y₃

由此可得到：

a₁₁＝x₁-x₀+a₁₂x₁

a₂₁＝x₃-x₀+a₁₂x₂

a₃₁＝x₀

a₁₂＝y₁-y₀+a₁₃y₁

a₂₂＝y₃-y₀+a₂₃y₃

a₃₂＝y₀

其中几个辅助变量值为：

Δx₁＝x₁-x₂,Δx₂＝x₃-x₂,Δx₃＝x₀-x₁+x₂-x₃

Δy₁＝y₁-y₂,Δy₂＝y₃-y₂,Δy₃＝y₀-y₁+y₂-y₃

根据以上透射变换的原理，将原图像坐标转换到正矩形图像对应的坐标，其对应关系如下：

(u，v)为原图像坐标

(x，y)为变换图像坐标

上述公式为图像像素坐标对应的转换关系。

7.如权利要求6所述的基于特征点和三维模型的图像融合定位方法，其特征在于，所述步骤六中，透射变换后图像坐标与经纬度的对应关系换算过程为：

首先计算经度差为：

Lanoffset＝C-A

其次纬度差为：

Latoffset＝D-B

然后像素横坐标差为：

Xoffset＝c-a

最后像素纵坐标差为：

Yoffset＝d-b

因此已知变换后图像的像素坐标(x，y)，得该坐标对应的经纬度M，N如下：

M＝(x-a)×Lanoffset/Xoffset+A

N＝(y-d)×Latoffset/Yoffset+D

上述公式为图像像素坐标与经纬度的对应转换关系。

Images