CN111914048A - 经纬度坐标与图像坐标对应点自动生成方法 - Google Patents

Abstract

本发明涉及经纬度坐标与图像坐标对应点自动生成方法，在场景和图像中人工选定若干相对对应的点作为初始的标定点，建立初始的标定点的经纬度坐标和图像坐标之间的对应关系；在场景中的前代的标定点对的连续上插入若干点作为本代的标定点，计算获得场景中本代的标定点的经纬度坐标，计算获得图像中与场景中本代的标定点对应的本代的标定点的图像坐标，建立起本代标定点的经纬度坐标和图像坐标之间的对应关系，累积各代的标定点，直至标定点满足要求。本方法能够大幅降低人工标定的工作量和成本，显著提高坐标映射的准确性。

Description

经纬度坐标与图像坐标对应点自动生成方法

技术领域

本发明涉及经纬度坐标与图像坐标对应点自动生成方法。

背景技术

在增强显示系统中，需要将场景中的对象的相关信息增强显示在图像上的对应位置；如果关注的对象是运动的，则需要实时获取对象的空间位置(如来自GPS等的经纬度坐标值)并且将计算其对应的图像坐标。如，在机场场面监视中，为了让指挥人员知道视频画面上运动中的飞机的航班等相关信息，就需要实时接收飞机发出的自身位置信息以及身份等信息，根据位置信息计算出飞机在画面的位置，把身份等信息叠加显示出来。

对于场景限定为在地面上的运动目标，并且相机保持静止不动，在这种条件下，运动目标的经纬度和图像上像素坐标之间存在一一对应关系。解决坐标映射问题的常用方法是求单应矩阵^[1]，通过单应矩阵把一个投影平面上的点映射到另一个投影平面上，并且把直线映射为直线，具有保线性质。基于这个性质，只需要四个点就可以求解物理世界坐标与图像坐标的对应关系。

对于由单镜头相机获取的图像，单应矩阵严格定义了空间经纬度坐标和图像像素坐标之间的映射关系，但对于由多个镜头拼接而成的全景图像等大视场角图像，由于图像拼接过程中图像经过了剪裁、旋转、切变等复杂的变化，无法用单个解析式的形式来表达，单应矩阵失效。这种情况下，可以采用局部变换的方法^[2]，事先选取场景中的若干特征点，这些特征点把整个场景分成多个小的局部区域，通过人工标定其对应的图像像素坐标后，就可以针对每个局部区域，建立空间经纬度坐标与图像像素坐标的映射关系。这种方法需要事先人工进行特征点的标定，标定点数量太少会有较大的映射误差；标定点数量要求太多，又会大大增加标定工作量。而且，有些场景本身特征点少，无法选取稠密的特征点进行标定。

现有技术在计算单个镜头获取的图像画面的图像坐标和物理坐标之间的映射关系时性能良好，但应用在对多个镜头获取的全景图像中会产生较大的误差。在全景图像中，其画面来源于多个相机的融合，物理空间坐标与图像坐标的映射关系不再满足统一的映射公式，只能通过增加人工标定点建立局部变换关系的方法。但人工标定的工作量大，而且如果相机位置、姿态、焦距有调整，需要重新标定。因此在实际应用中，出于成本或场景特殊性的原因，往往只能建立较少的标定点。而这些点不足以描述全景图像和物理世界的映射关系，误差较大，难以达到实用效果。

发明内容

为克服现有技术的上述缺陷，本发明提供了经纬度坐标与图像坐标对应点自动生成方法，以减少对人工标定的依赖，提高映射的准确性。

本发明的技术方案是：纬度坐标与图像坐标对应点自动生成方法，包括下列步骤：

1)从图像中人工选定若干点作为初始的标定点(第0代标定点)，从图像中获取这些点的图像坐标，从外部获取这些点在物理空间(真实场景)中的经纬度坐标，建立初始的标定点的经纬度坐标和图像坐标之间的对应关系；

2)计算生成新一代标定点：在经纬度坐标系下，在场景中的若干前代的标定点对的连线上插入一个或多个新的点作为本代的标定点，计算获得这些点(所述本代的标定点)在物理空间中的经纬度坐标，依据经纬度坐标与图像坐标的函数关系(关联性的任意定量描述或计算公式，或称映射关系)计算获得这些点在图像中的图形坐标，建立本代的标定点的经纬度坐标和图像坐标之间的对应关系；

3)判断已有(已有各代)标定点是否满足要求，如不满足要求，返回步骤2)继续生成新一代标定点，直至获得满足要求的标定点集。

所述场景可以为平面场景，所述平面场景为其任意位置能够用经纬度坐标标识且允许忽略高度的场景。

所述图像可以为由多幅局部图像(例如多镜头拍摄)拼接成的全景图像。

优选地，在步骤2)中，遍历场景中所有前代的标定点，判断其与前代的其他各标定点组成的标定点对是否满足在其连线上插入本代的标定点的条件。

在场景中任意两前代的标定点P₁(l₁，t₁)和P₂(l₂，t₂)(经纬度坐标系下)的连线上插入本代的标定点的条件可以为：

dist(x₁，y₁，x₂，y₂)×dist(l₁，t₁，l₂，t₂)≤thresh

其中，dist(x₁，y₁，x₂，y₂)为场景中的标定点P₁(l₁，t₁)和P₂(l₂，t₂)所对应的图像中的标定点p₁(x₁，y₁)、p₂(x₂，y₂)(图像坐标系下)间的欧式距离，dist(l₁，t₁，l₂，t₂)为场景中的标定点P₁(l₁，t₁)和P₂(l₂，t₂)间的欧式距离，(x₁，y₁)和(x₂，y₂)为标定点p₁(x₁，y₁)、p₂(x₂，y₂)的图像坐标，(l₁，t₁)和(l₂，t₂)为标定点P₁(l₁，t₁)和P₂(l₂，t₂)的经纬度坐标，thresh为设定的阈值。

在步骤2)中，可以依据下列方式确定本代的标定点的经纬度坐标和图像坐标之间的函数关系：

q＝r^α

其中，r为在经纬度坐标系下，在P₁(l₁，t₁)和P₂(l₂，t₂)的连线上插入的本代的标定点P(l，t)至P₂(l₂，t₂)的距离与P₁(l₁，t₁)至P₂(l₂，t₂)的距离之比，q为图像坐标系下，图像中与P(l，t)对应的本代的标定点p(x，y)至p₂(x₂，y₂)的距离与p₁(x₁，y₁)至p₂(x₂，y₂)的距离之比，α表示设定的缩放因子，假设场景中P₂(l₂，t₂)至相机(图像的视口相机)位置的距离不小于P₁(l₁，t₁)至相机(图像的视口相机)位置的距离，(l，t)是标定点P(l，t)的经纬度坐标，(x，y)是标定点p(x，y)的图像坐标。

可以在任何两前代的标定点P₁(l₁，t₁)、P₂(l₂，t₂)之间插入本代的标定点P(l，t)的方式为在P₁(l₁，t₁)和P₂(l₂，t₂)的连线上均匀插入n个本代的标定点，任一本代的标定点P_k(l_k，t_k)的经纬度坐标为：

图像中与P_k(l_k，t_k)对应的本代的标定点p_k(x_k，y_k)的图像坐标为：

其中，

k＝1，2......n。

优选地，对插入的标定点(场景中插入的本代的标定点和图像中与场景中插入的本代的标定点对应的本代的标定点)进行整合，以整合后的标定点作为本代的标定点。

所述整合可以包括下列任意一种、多种或全部：

1)删除位于前代的标定点附近的标定点。

2)删除可信度低的标定点。

3)合并邻近的标定点。

本发明的有益效果是：本发明能够基于一定数目的人工标定点生成新的对应点，增加标定点的数量直至达到要求，在标定点数量不能达到要求或标定的成本极高时，本方法可以大幅降低人工标定的工作量和成本，在对应点达到一定数目后，就能够依据现有技术，通过单应矩阵法或其他内插方法求解空间中任意点对应的图像坐标点。

对于全景图像，本发明的方法能够显著提高坐标映射的准确性。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面，结合附图对本发明做进一步的说明。

1、整体流程

本发明的整体流程如图1所示。

首先，选取场景中若干点作为起始的标定点进行标定，标点定的选择应考虑这些点的显著性或者在物理空间和图像中的易识别性，还应考虑在场景中的分布。利用场景的已知测量数据或谷歌地图等工具获取这些标定点在物理空间中的经纬度坐标，将经纬度坐标与其在全景画面中的像素坐标进行标定，即建立图像中的坐标点(x，y)和物理世界(真实场景)的坐标(l，t)(通常可以采用经纬度坐标)之间的对应关系，可以表示为若干个四元组(x，y，l，t)。

这些起始的标定点是人工选取、人工标定的，视作第0代标定点，记为G₀。然后按照一定的规则由G₀生成G₁，其中包括按照一定的规则删除可能错误的点，合并相近的点。重复这个过程直到生成的标定点数满足预先设定的条件。最后，用人工标定的和生成的标定点计算空间任意点对应的图像像素坐标。

在本说明书中，G_i表示第i代标定点，其中第0代标定点为人工标定点，其他为自动生成标定点。

2、人工标定

给定一幅图像(特别是由多幅图像拼接成的全景图像)后，首先通过人工对若干点图像像素坐标和物理世界坐标进行关联。在图像上寻找明显的标志点(如道路标志的角点或安装点，交通车道线的角点，地面装饰物的角点等)，并记录坐标(x，y)，然后在可以显示物理世界坐标的电子地图上记录这些点的实际坐标(l，t)，记为(x，y，l，t)。标志点要尽可能覆盖整个场景且尽可能均匀分布。这些人工标定点记为G₀。

在不易标定的场景中，也至少需要三个不共线的标定点。

3、选择点对

自动标定点通过在两个已知标定点连线上进行插值而得到。两个已知标定点称为一组点对，其选取基于下面的观察。即，物理世界中两个点连线上的一点，其在图像上的对应点也处于或靠近对应两点的连线上，且空间中的这两个点距离越近，其连线上的点在图像上也越靠近直线。例如，P₁(l₁，t₁)和P₂(l₂，t₂)是物理空间中邻近的两点，设二者的中点为P(l，t)。而在图像中，P₁、P₂和P的对应点分别为p₁(x₁，y₁)、p₂(x₂，y₂)和p(x，y)。则p位于p₁和p₂的连线上，且更靠近离相机较远的点(不妨假设为p₂，下同)。为了保证这种在已知点的连线上插值的误差足够小，要求这两点的距离不能过远。

本发明采用下式约束插入点的条件：

dist(x₁，y₁，x₂，y₂)×dist(l₁，t₁，l₂，t₂)≤thresh式(1)

dist表示两点欧式距离，后面括号中的前两个数是第一个点的坐标，后两个数是第二个点的坐标，例如，dist(x₁，y₁，x₂，y₂)表示图像中的点p₁(x₁，y₁)和p₂(x₂，y₂)之间的欧式距离，dist(l₁，t₁，l₂，t₂)表示物理空间中的点P₁(l₁，t₁)和P₂(l₂，t₂)之间的欧式距离，thresh为设定的阈值，只有两点的距离满足式(1)时，才会在这两个之间插入未知点。

为了保证每一个标定点都至少与另一点插入一次点，可以计算任一标点a到其他各标定点b的最近距离：

d_a＝min(dist(x_a，y_a，x_b，y_b)×dist(l_a，t_a，l_b，t_b))(b≠a) 式(2)

其中b和a为不同的两点，(x_a，y_a)、(x_b，y_b)分别为a点和b点的图像坐标，(l_a，t_a)(l_b，t_b)分别a点和b点的经纬度坐标，坐标中的下标a和b分别代表该坐标为a点和b点的坐标。

可以理解的是，当采用图像坐标(x，y)时，表示的是在图像坐标系中的点或坐标值，当采用经纬度坐标(l，t)或其他物理世界坐标时，表示的是真实场景中的点，除非另有明确含义。

设定阈值为：

thresh＝max d_a 式(3)

由式(3)得到的阈值保证了大于每一个点到其他点图像距离乘物理距离的最小值，因此可以使每一个点，都至少能找到一个点并在两点中间插入点。

在实际中，也可以适当提高阈值来生成更多的点。

4、生成新标定点(初标点)

对符合式(1)的每一组点对，在其连线上(通常采用真实场景中两点的直线连线，或称两点间的直线段)生成新点。由于近大远小的原理，离相机越远的点像素被压缩的程度越高。根据实践经验，本发明采用下式描述这种关系：

q＝r^α 式(4)

其中r表示P₁、P₂连线上任一点到P₂的物理距离占P₁P₂物理距离的比例，q表示该点到p₂的图像距离占p₁p₂图像长度的比例，α表示缩放因子，其取值通常可以根据经验预设，一般有α＞1。当这两点离相机的距离差越远，或相机高度越低时，远处点映射到图像上就越稠密，α越大。

当标定点较多时，也可以通过标定点反推。例如，在任意两点P₁(l₁，t₁)和P₂(l₂，t₂)(对应于图像中的点p₁(x₁，y₁)、p₂(x₂，y₂))中均匀插入n个点时，对于插入的第k个点(k＝1，2......n)，其物理世界坐标为：

根据式(4)，其对应图像坐标预测值为：

其中：

例如，插入三个点n＝3，根据式(7)r_k＝0.25，0.5，0.75，然后代入式(5)，式(6)可分别求得这三个点物理世界坐标和图像坐标。

5、初标点整合

依据上述步骤生成任一代点(初选标定点，或称初标点)后，还需要对这代点进行整合，整合的过程可以分为以下三个步骤：

1)删除前代标定点附近的本代初标点。

整合G_i(i＞0)时，首先删除G₀，G₁...G_i-1中已有标定点(前代点)附近的本代初标点，因为G_i是由其前代点生成的，其准确性不如前代点，但数量一般多于前代点。为了防止前代点附近的后代点影响预测，将这些精度较前代点低的初标点删除。假设G_i在图像标定点的控制半径为d_m，物理世界标定点的控制半径为d_l，则满足下式的点将被删除：

dist(x_cur，y_cur，x_pre，y_pre)＜d_m OR dist(l_cur，t_cur，l_pre，t_pre)＜d_l

(x_cur，y_cur，l_cur，t_cur)∈G_i(x_pre，y_pre，l_pre，t_pre)∈G₀，G₁...G_i-1式(8)

其中(x_cur，y_cur，l_cur，t_cur)为当前整合的G_i(初标点)，(x_pre，y_pre，l_pre，t_pre)为前代点。控制半径的含义是“认为多远距离的范围内只需要一个点就已能够准确预测”的一个经验值。控制半径的大小决定了生成点的稠密程度，通常前代标定点的控制半径大于后代标定点的控制半径，越前代的控制半径越大。一般取d_m＝31，15，7，3...，d_l＝10^-5，8×10^-6，6×10^-6...等。也可以根据实际应用调整控制半径。

2)删除可信度低的本代点。

对于经过步骤1)处理后剩下的G_i(初标点)，遍历其中所有点的两两组合(a，b)，存在以下四种情况：

(I)dist(x_a，y_a，x_b，y_b)＜t_m dist(l_a，t_a，l_b，t_b)＜t_l

(II)dist(x_a，y_a，x_b，y_b)＜t_m dist(l_a，t_a，l_b，t_b)＞t_l

(III)dist(x_a，y_a，x_b，y_b)＞t_m dist(l_a，t_a，l_b，t_b)＜t_l

(IV)dist(x_a，y_a，x_b，y_b)＞t_m dist(l_a，t_a，l_b，t_b)＞t_l

其中t_m和t_l分别为图像标定点的距离阈值和物理世界标定点的距离阈值，一般可以取本代相应标定点控制半径的一半。

对于情况(I)，a，b两点在空间和图像上均距离较小，认为二者准确生成的可信度高，保留这两个点；对于情况(IV)，认为这两个点空间和图像上均距离较大，将来不会在二者之间进行线性插值，也予以保留；对于情况(II)和(III)，两个点的距离在空间和图像上，一个大而另一个小，可以认为两个点至少有一个准确生成的可信度不能保证，但是又无法判断哪一个点，所以同时删除这两个点。遍历完全部点对后，使可信度低的点对均被删除。

3)合并邻近本代点。

对于剩下的点，为了缓解点数冗余，对邻近的点进行合并。将图像划分成M×N个区域，同一个区域内的G_i可以合并为一个点，即将这些点的坐标平均值(x_av，y_av，l_av，t_av)作为一个新点加入G_i，同时删除这些被合并的点。重复这个过程直到合并完所有区域内的点。

经上述整合后确定的点即为本代的标定点(点对)。

6、生成下一代点

重复上述过程可以继续生成下一代点，直至各代的标定点达到预先设定的条件或密布整个图像，累积各代的标定点，形成符合要求的标定点集。

7、任意点预测

基于稠密标定点，即可进行物理坐标和图像坐标之间的映射。可采用最近相邻点查找法、邻近点线形插值、投影变换等常规算法。

在本说明书中，G_i表示第i代标定点或初标点，其中第0代标定点为人工标定点，其他各代均为自动生成的标定点。

本发明中的经纬度坐标可以等效替换为物理空间的其他平面坐标。

本发明中，涉及阈值判断及区域划分等情形时，包含或不包含端点以及将两区域之间的边界划分在哪个区域等均具有相同的技术效果或解决相同的技术问题，可以同功能替换。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

参考文献

[1]曲天伟，安波.二维投影变换模型的单应矩阵表示[J].信息技术，2008(03):88-90.

[2]江璐，郑文涛，王国夫.基于视频分析与定位信息结合的航空器挂牌方法[P].CN108133028A，2018-06-08.

Claims (10)

1.经纬度坐标与图像坐标对应点自动生成方法，包括下列步骤：

1)从图像中人工选定若干点作为初始的标定点，从图像中获取这些点的图像坐标，从外部获取这些点在物理空间(真实场景)中的经纬度坐标，建立初始的标定点的经纬度坐标和图像坐标之间的对应关系；

2)计算生成新一代标定点：在经纬度坐标系下，在场景中的若干前代的标定点对的连线上插入一个或多个新的点作为本代的标定点，计算获得这些点在物理空间中的经纬度坐标，依据经纬度坐标与图像坐标的函数关系计算获得这些点在图像中的图形坐标，建立本代的标定点的经纬度坐标和图像坐标之间的对应关系；

3)判断已有标定点是否满足要求，如不满足要求，返回步骤2)继续生成新一代标定点，直至获得满足要求的标定点集。

2.如权利要求1所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于所述场景为平面场景，所述平面场景为其任意位置能够用经纬度坐标标识且允许忽略高度的场景。

3.如权利要求1所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于所述图像为由多幅局部图像拼接成的全景图像。

4.如权利要求1所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于在步骤2)中，遍历场景中所有前代的标定点，判断其与前代的其他各标定点组成的标定点对是否满足在其连线上插入本代的标定点的条件。

5.如权利要求4所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于在场景中任意两前代的标定点P₁(l₁，t₁)和P₂(l₂，t₂)的连线上插入本代的标定点的条件为：

dist(x₁，y₁，x₂，y₂)×dist(l₁，t₁，l₂，t₂)≤thresh

其中，dist(x₁，y₁，x₂，y₂)为场景中的标定点P₁(l₁，t₁)和P₂(l₂，t₂)所对应的图像中的标定点p₁(x₁，y₁)、p₂(x₂，y₂)间的欧式距离，dist(l₁，t₁，l₂，t₂)为场景中的标定点P₁(l₁，t₁)和P₂(l₂，t₂)间的欧式距离，(x₁，y₁)和(x₂，y₂)为标定点p₁(x₁，y₁)、p₂(x₂，y₂)的图像坐标，(l₁，t₁)和(l₂，t₂)为标定点P₁(l₁，t₁)和P₂(l₂，t₂)的经纬度坐标，thresh为设定的阈值。

6.如权利要求5所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于在步骤2)中，依据下列方式确定本代的标定点的经纬度坐标和图像坐标之间的函数关系：

q＝r^α

其中，r为在经纬度坐标系下，在P₁(l₁，t₁)和P₂(l₂，t₂)的连线上插入的本代的标定点P(l，t)至P₂(l₂，t₂)的距离与P₁(l₁，t₁)至P₂(l₂，t₂)的距离之比，q为图像坐标系下，图像中与P(l，t)对应的本代的标定点p(x，y)至p₂(x₂，y₂)的距离与p₁(x₁，y₁)至p₂(x₂，y₂)的距离之比，α表示设定的缩放因子，假设场景中P₂(l₂，t₂)至相机位置的距离不小于P₁(l₁，t₁)至相机位置的距离，(l，t)是标定点P(l，t)的经纬度坐标，(x，y)是标定点p(x，y)的图像坐标。

7.如权利要求6所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于在任何两前代的标定点P₁(l₁，t₁)、P₂(l₂，t₂)之间插入本代的标定点P(l，t)的方式为在P₁(l₁，t₁)和P₂(l₂，t₂)的连线上均匀插入n个本代的标定点，任一本代的标定点P_k(l_k，t_k)的经纬度坐标为：

图像中与P_k(l_k，t_k)对应的本代的标定点p_k(x_k，y_k)的图像坐标为：

其中，

k＝1，2……n。

8.如权利要求1-7任一项所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于对插入的标定点进行整合，以整合后的标定点作为本代的标定点，所述整合包括删除位于前代的标定点附近的标定点。

9.如权利要求1-7任一项所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于其特征在于对插入的标定点进行整合，以整合后的标定点作为本代的标定点，所述整合包括删除可信度低的标定点。

10.如权利要求1-7任一项所述的经纬度坐标与图像坐标对应点自动生成方法，其特征在于对插入的标定点进行整合，以整合后的标定点作为本代的标定点，所述整合包括合并邻近的标定点。

Images