CN114440834B - 一种非编码标志的物方与像方匹配方法 - Google Patents

Abstract

本发明提出一种非编码标志的物方与像方匹配方法，属于摄影测量标志匹配技术领域。首先在目标区内布设关键标志点和一般标志点；然后根据关键标志区的构型特征构建特征匹配模板，对摄像机拍摄的图像进行关键标志点的识别与匹配；根据关键标志点的物方与像方坐标解算摄影中心的外方位元素，并根据一般标志点的物方坐标求解其概略像方坐标；最后根据求解的一般标志点的概略像方坐标与实际图像上的像方坐标的差值，确定符合设定阈值的像方上的一般标志点，实现非编码标志点的物方与像方的匹配。本发明解决了现有非编码标志在考虑边缘特征时受到场地限制的问题，在灵活布设时匹配效率低、容易出现误匹配且现有匹配方法适用性不强的问题。

Description

一种非编码标志的物方与像方匹配方法

技术领域

本发明涉及一种非编码标志的物方与像方匹配方法，属于摄影测量标志匹配技术领域。

背景技术

随着摄影测量技术的快速发展和广泛应用，通过单像空间后方交会方法，即拍摄目标区标志并构建共线条件方程，解算该方程可以获得摄影瞬间摄站中心的六个外方位元素(线元素与角元素)，进而求解出拍摄时载体的位置与姿态信息。在像片处理过程中，摄影测量标志物方坐标与像方坐标能否一一对应，即摄影测量标志的匹配好坏是保证最终位姿解算精度的关键。根据不同应用场景特点与条件，可以将摄影测量标志分为编码标志和非编码标志两类：目前常用的编码标志多以圆形和环形为主，圆形编码标志如Hattori、GSI等编码方案，以编码点的不同位置组合对应一个编码；环形编码标志如CCT方案，以环形内编码带的交替排列顺序为一个编码，编码标志目前存在的问题有解码唯一性、解码效率与准确率、编码容量有限等问题。目前常用的非编码标志中，有一种为“H”形和“T”形，其边缘特征较为明显，但是要想达到特征的最佳可视效果，每个标志的尺寸往往比同效果的非编码标志大很多，这样就对标志场场地条件要求较高，适用性受到限制；而另一种以圆形标志点为主，布设灵活、识别高效，但是该类标志成像时显示的是无关联的多个像点，这就导致此类标志物方与像方坐标匹配时，识别速度慢、效率不高，而且由于各个像点没有关联，容易出现匹配错误的情况，一旦匹配有误，将会影响到利用共线条件方程解算摄影中心外方位元素。

目前常用非编码标志匹配方法主要包括以下几种：1)通过搭建非编码标志与已知匹配关系的编码标志相互之间的拓扑关系进而实现非编码标志的匹配，该方法对编码标志与非编码标志粘贴时的位置关系要求严格，适用性不强；2)基于交比不变性极限约束法的Delaunay三角化方法，该方法要求有效像点数量要足够多且点位构型严密合理，这在航母甲板上难以实现；3)两步法摄影物方与像方快速匹配方法，该方法需要遍历标志之间的距离再根据设定的逻辑关系进行匹配判断，当某(几)个标志受到遮掩时该方法无法继续使用，缺乏一定的适用性；上述现有的非编码标志匹配方法均存在适用性不强的问题。

发明内容

本发明的目的是提供一种非编码标志的物方与像方匹配方法，以解决现有非编码标志在考虑边缘特征时受到场地限制的问题，在灵活布设时匹配效率低、容易出现误匹配且现有匹配方法适用性不强的问题。

本发明提供了一种非编码标志的物方与像方匹配方法，该方法包括以下步骤：

1)在目标区内至少布设一个关键标志区，每个关键标志区内至少布设3个关键标志点，由关键标志点构成的关键标志区具有一定的几何构型；在关键标志区外布设有一般标志点，关键标志点和一般标志点均为非编码标志点；

2)利用摄像机拍摄目标区的图像，利用关键标志区的几何构型构建特征匹配模板，并利用构建好的特征匹配模板进行对关键标志区内的关键标志点物方与图像像方的匹配；

3)利用匹配好的关键标志点的物方与像方坐标进行解算，得到摄像机的概略摄影中心外方位元素；基于解算得到的概略摄影中心外方位元素和一般标志点的物方坐标，计算一般标志点的概略像方坐标；

4)将计算得到的一般标志点的概略像方坐标与图像上的一般标志点坐标做差，按照差值小于设定阈值找到图像上匹配的一般标志点，实现一般标志点的物方与像方的匹配。

本发明首先布设具有一定几何构型的关键标志区，并通过构建特征匹配模板进行关键标志点的匹配，通过匹配成功的关键标志点的物方和像方坐标，可以先计算得到摄像机的概略摄影中心外方位元素，然后根据得到的概略摄影中心外方位元素和一般标志点的物方坐标计算一般标志点的概略像方坐标，并与图像上的像方坐标进行比较，按照差值小于设定阈值实现一般标志点物方与像方的匹配。相比于散点标志点的匹配，本发明避免了由于标志点间毫无关联而导致的误匹配情况；同时在存在关键标志点被遮挡的情况下，本发明仍能根据剩余关键标志点的几何构型调整特征匹配模板，实现关键标志点的匹配，进而实现一般标志点的匹配，解决了现有匹配方法中标志点被遮挡时无法继续匹配的问题，该方法适用性更强。

进一步地，所述一定的几何构型包括矩形、三角形或梯形。

通过上述过程，设置几何结构简单的关键标志区，无需占用过多面积，可以实现灵活布设，适应性较强；而且由于几何结构简单，使得在经过相机透视变换后能快速识别、提取几何特征。

进一步地，所述设定阈值与摄像机的拍摄精度相关，当拍摄精度较高时，设定阈值较小，当拍摄精度较低时，设定阈值较大。

通过上述过程，根据不同摄像机拍摄精度确定设定阈值的大小，以保证在不同实际测量精度下一般标志点的匹配精度，可以满足实际应用需求。

进一步地，根据一般标志点在物方上的编号，对图像上匹配成功的一般标志点进行编号，对图像上匹配失败的一般标志点不进行编号。

通过上述过程，对成功匹配的一般标志点进行编号，以直观展示一般标志点在物方与像方上的对应位置，对匹配失败的一般标志点不进行编号，将其作为干扰标志点不进行展示。

进一步地，当关键标志区布设两个及以上时，构建一个包括有所有关键标志区的特征匹配模板进行关键标志点的匹配。

进一步地，当关键标志区布设两个及以上时，分别对每个关键标志区构建一个特征匹配模板，按照对应的特征模板实现对应关键标志区内关键标志点的匹配。

通过上述过程，实现了特征模板的灵活构建，进一步灵活实现关键标志点的识别与匹配；当关键标志区布设两个及以上时，可以根据整体关键标志点之间的几何结构特征，或每个关键标志区的几何结构特征，实现关键标志点的识别与匹配。

进一步地，当关键标志区布设两个及以上时，各关键标志区的几何构型不同。

通过上述过程，避免因构建的关键标志区存在相同几何构型，而导致关键标志点物方与像方匹配时出现误匹配的问题。

进一步地，所述概略摄影中心外方位元素通过构建的共线条件方程解算得到。

附图说明

图1是本发明非编码标志的物方与像方匹配流程图；

图2是关键标志区的构型设计图；

图3是非编码标志布设图；

图4是非编码标志匹配结果图；

图5是某些标志被遮挡情况下非编码标志匹配结果。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步地说明。

本发明提出的基于非编码标志的物方与像方匹配方法，具体过程如图1所示。首先在目标区内布设关键标志点和一般标志点；然后根据关键标志点的构型构建特征匹配模板，对摄像机拍摄的图像进行关键标志点的识别与匹配；根据关键标志点的物方与像方坐标解算摄影中心的外方位元素，并根据一般标志点的物方坐标求解其概略像方坐标；最后根据求解的一般标志点的概略像方坐标与实际图像上的像方坐标的差值，确定符合设定阈值的像方上的一般标志点，实现一般标志点的物方与像方的匹配。

步骤1.布设关键标志区和一般标志点

本发明在目标区内至少布设一个关键标志区，每个关键标志区内至少布设3个关键标志点，以满足后续摄影中心外方位元素的解算条件，在关键标志区外布设有一般标志点，关键标志点和一般标志点均为非编码标志点。

其中，由关键标志点构成的关键标志区具有一定的几何构型，例如矩形、三角形或梯形。为了可以很好地区分这些关键标志点的位置，在设计构型时，可以利用关键标志点间不同距离区分其位置，例如图2中所示，在基于正方形进行关键标志区的构型设计时，更改正方形中一个顶点位置处的关键标志点位置，使其至少与其他两个关键标志点的距离不同，可以更好地区分这些关键标志点的位置。在设计关键标志区的几何构型时，要考虑到布设区域的可用面积，实际应用中的可用来布设摄影测量标志的区域较为分散且每一区域相对可用面积较小，常用的“T”形、“H”形、组合图形等标志以及Hattori、GSI、CCT等编码标志并不适合用在此处；同时设置几何结构简单的关键标志区，使得在经过相机透视变换后能快速识别并提取几何特征。

本发明采用LED主动光源进行圆形非编码标志的布设，相较于常用的漫反射材料、回光反射材料等标志依靠被动反射光线与周围物体形成强烈对比特征，该标志需能够自主产生强对比度特征并具备一定的穿透力(所选相机对自主光源捕捉较为敏感)。选择LED灯用作主动光源标志，其强度高，作用距离远，与普通光源相比，LED标志辐射功率较大、灵敏度较高、光谱窄光色纯、易识别检测、性能稳定可靠，既能在自然光照射下使用，也能够满足在夜晚及大雾等低能见度环境下使用，而且单个标志易于改变位置，更有利于关键标志区构型的设计与实现。

本实施例中，如图3所示，采用LED主动光源，在目标区内共布设有25个非编码标志点，并按照从上到下、从左到右的顺序对其进行编号，图3中非编码标志点10-16为关键标志点，将非编码标志点10-13作为一个关键标志区，该关键标志区为矩形，非编码标志点14-16作为另一个关键标志区，这三个关键标志点处于一条直线上。

步骤2.获取目标区图像

本发明在布设完非编码标志后，在离目标区一定距离处，采用事先经过标校的摄像机拍摄目标区的图像。本实施例中，摄像机与目标区的距离为30米。作为其他实施方式，拍摄距离可以根据实际精度需求及目标区实际环境进行选择。在拍摄过程中，圆形标志成像形状与相机主光轴和标志平面法线夹角有关，一般为圆形和椭圆形。在识别这两类形状时，虽然整体形状差异较大，但是它们的中心只有极小的位移，另外，它们的边缘均为曲率圆曲线，在保证测量精度的前提下，均能满足后续匹配需求。本实施例中摄像机的标校结果如表1所示：

表1：

步骤3.构建特征匹配模板、实现关键标志点物方与像方的匹配

本发明利用关键标志区的几何构型构建特征匹配模板，通过特征匹配模板实现关键标志点物方与像方的匹配。摄像机拍摄的每张图像上都包含有内容、特征、边缘、关系、纹理以及灰度等要素信息，模板匹配就是参考各类要素信息的对应关系，在待匹配图像与模板之间不断搜索并分析相似性和一致性，最后匹配到相似目标。用于图像处理的模板匹配方法主要有基于像素和基于特征两种匹配方法，基于像素的匹配方法是在像素层级对待匹配图像和模板进行操作，通过区域属性的比较来刻画之间的相似性，但是存在着时间复杂度高、对图像尺寸要求较高，对图像的灰度变化和对目标的旋转、形变等都较为敏感等缺陷，尤其是非线性光照变化会大大降低匹配算法的性能；基于特征的匹配方法是在图像特征层级进行操作，一般涉及到几何与图像形态学计算，且没有固定模板，需要根据不同应用场景选择合适的特征。同时，基于特征的匹配方法提取出的模板图像往往包含更高层的语义信息，且大部分具有尺度不变性和仿射不变性，可以实现图像的多尺度分解和由粗略到精确的匹配，本发明基于构型特征进行模板构建。

首先根据设置的关键标志区的几何构型，构建特征匹配模板，以保证在不同影响因素下，关键标志点的识别与匹配的准确性。同时，当关键标志区布设两个及以上时，可以对特征匹配模板进行灵活构建；例如对有所有关键标志区的构建一个特征匹配模板，或者分别对每个关键标志区构建一个特征匹配模板。在本实施例中，利用图3中两个关键标志区的构型特征(矩形、三点共线)构建特征匹配模板，共有两个关键标志区，因此可以构建一个包括两个关键标志区(非编码标志点10-16)的特征匹配模板，或者构建两个特征匹配模板(一个包括非编码标志点10-13的特征匹配模板和一个包括非编码标志点14-16的特征匹配模板)。作为其他实施方式，特征匹配模板构建的数量可以根据实际布设关键标志区的几何构型决定。

然后，利用构建好的特征匹配模板实现关键标志点物方与像方的匹配。利用仿射变换将模板的轮廓对照图像上的区域进行匹配寻找。搜索到目标位置后，在对应构型的位置上生成一个附带角度的矩形区域，矩形的大小规定为包含所有关键标志区，得到固定的区域后，选择连通区域分析或特征拟合方法进行定位定向。虽然连通区域分析方法简洁，拟合精度高，但是没有较好方法直接做到无规律排序，因此需要利用行、列坐标的筛选。在进行逐个关键标志点排序时，首先创建一个空的数组，每识别一个关键标志点就将其坐标存入数组。通过数组内的排列顺序对图像上的关键标志点进行排序，并完成关键标志点物方与像方的匹配。

步骤4.解算概略摄影中心外方位元素、计算一般标志点的概略像方坐标

本发明利首先利用匹配好的关键标志点的物方与像方坐标，构建共线条件方程，解算摄像机的概略摄影中心外方位元素(角元素和线元素)。再基于解算得到的概略摄影中心外方位元素和一般标志点的物方坐标，计算一般标志点的概略像方坐标。在本实施例中，根据匹配好的关键标志点10-16在像方和物方上的坐标，构建共线条件方程，对其进行解算得到概略摄影中心外方位元素；再根据18个一般标志点的物方坐标和解算出来的摄影中心外方位元素，计算这18个一般标志点的概略像方坐标。

步骤5.非编码标志的匹配

根据步骤3计算得到的一般标志点的概略像方坐标，将其与图像上一般标志点的坐标做差，并与设定阈值进行比较，将差值小于设定阈值的一般标志点认为匹配成功，并根据一般标志点在物方上的编号，对图像上匹配成功的一般标志点进行编号，以直观展示一般标志点在物方与像方上的对应位置，将差值大于等于设定阈值的一般标志点看做干扰标志点，即匹配失败，不对其进行编号。其中，设定阈值的大小根据不同摄像机的拍摄精度确定，当拍摄精度较高时，设定阈值较小，当拍摄精度较低时，设定阈值较大，以保证在不同实际测量精度下一般标志点的匹配精度，可以满足实际应用需求。

在本实施例，分别对计算得到的18个一般标志点的概略像方坐标和实际图像上的每一个一般标志点的像方坐标求差，找到其中最小的差值，将最小差值与设定阈值比较，当最小差值小于设定阈值的时候，可认为该一般标志点的物方与像方匹配成功，并对匹配成功的一般标志点进行编号。以在物方上标志编号为1的一般标志点为例，将计算出的一般标志点1的像方概略坐标与图像上所有一般标志点坐标求差，在得到的差值中找到其中最小的差值，并将这个最小差值与设定阈值比较，若得到的这个最小差值小于设定阈值，此时认为一般标志点1在像方与物方上匹配成功，并将图像上最小差值对应的一般标志点编号设为1，即实现1号一般标志点像方和物方的匹配。按照上述过程，可以实现其他一般标志点的匹配，其中，根据计算结果，发现在图像上找不到与一般标志点3、6、24匹配的像方坐标，即这三个一般标志点匹配失败，有可能是拍摄时有遮挡导致；同时将图像上未成功匹配的像方坐标点作为干扰标志不进行编号。最终匹配结果如图4所示，对比图3可以看到在一般标志点3、6、24处没有标记。完成匹配后，非编码标志物方与对应像方坐标如表2所示：

表2：

此外，本发明当关键标志区中某些标志点因外界因素在拍摄时受到遮挡或者在布设标志时因无法避开的障碍等原因导致关键标志区的构型不规则时，例如本实施将图3中的关键标志点11进行遮挡处理，同时对其他一般标志点1、8、18、19、21、23也进行了遮挡，在这种情况下可以调整特征匹配模板，重新根据遮挡后关键标志所构成的关键标志区的构型特征新建一个特征匹配模板，由于关键标志点11被遮挡，关键标志点10、12、13构成新的关键标志区，此时的关键标志区构型由之前的矩形变为三角形，根据三角形构型特征新建一个特征匹配模板，再进行关键标志点像方与物方的匹配，仍按上述过程进行非编码标志匹配工作，结果如图5所示，从图5中可以看出，在没有关键标志点11的情况下，与未遮挡关键标志点时一样，一般标志点3、6匹配失败，其他标志点正常标记，说明在关键标志点存在遮挡的情况下仍能实现其他一般标志点的匹配。

Claims (8)

1.一种非编码标志的物方与像方匹配方法，其特征在于，该方法包括以下步骤：

1)在目标区内至少布设一个关键标志区，每个关键标志区内至少布设3个关键标志点，由关键标志点构成的关键标志区具有一定的几何构型；在关键标志区外布设有一般标志点，关键标志点和一般标志点均为非编码标志点；

2)利用摄像机拍摄目标区的图像，利用关键标志区的几何构型构建特征匹配模板，并利用构建好的特征匹配模板进行对关键标志区内的关键标志点物方与图像像方的匹配；

3)利用匹配好的关键标志点的物方与像方坐标进行解算，得到摄像机的概略摄影中心外方位元素；基于解算得到的概略摄影中心外方位元素和一般标志点的物方坐标，计算一般标志点的概略像方坐标；

4)将计算得到的一般标志点的概略像方坐标与图像上的一般标志点坐标做差，按照差值小于设定阈值找到图像上匹配的一般标志点，实现一般标志点的物方与像方的匹配。

2.根据权利要求1所述的非编码标志的物方与像方匹配方法，其特征在于，所述一定的几何构型包括矩形、三角形或梯形。

3.根据权利要求1所述的非编码标志的物方与像方匹配方法，其特征在于，所述设定阈值与摄像机的拍摄精度相关，当拍摄精度较高时，设定阈值较小，当拍摄精度较低时，设定阈值较大。

4.根据权利要求1或3所述的非编码标志的物方与像方匹配方法，其特征在于，根据一般标志点在物方上的编号，对图像上匹配成功的一般标志点进行编号，对图像上匹配失败的一般标志点不进行编号。

5.根据权利要求1所述的非编码标志的物方与像方匹配方法，其特征在于，当关键标志区布设两个及以上时，构建一个包括有所有关键标志区的特征匹配模板进行关键标志点的匹配。

6.根据权利要求1所述的非编码标志的物方与像方匹配方法，其特征在于，当关键标志区布设两个及以上时，分别对每个关键标志区构建一个特征匹配模板，按照对应的特征模板实现对应关键标志区内关键标志点的匹配。

7.根据权利要求5或6所述的非编码标志的物方与像方匹配方法，其特征在于，当关键标志区布设两个及以上时，各关键标志区的几何构型不同。

8.根据权利要求1所述的非编码标志的物方与像方匹配方法，其特征在于，所述概略摄影中心外方位元素通过构建的共线条件方程解算得到。

Images