CN109141372A - 一种用于港口起重机械摄影测量的模糊匹配方法 - Google Patents

Abstract

本发明公开了一种用于港口起重机械摄影测量的模糊匹配方法，包括依据估测参数化模型与左、右片外方位元素计算作为关键点的各待测点像平面坐标系坐标；依据解算得出的各待测点在像平面坐标系的平面坐标，分别得到模拟左方照片待测点分布图和模拟左方照片待测点分布图；利用特征识别算子，得到左方照片与右方照片的自动识别点图；基于几何关系匹配的点筛选过程，包括首先根据预先设置的匹配点模糊识别半径进行范围筛选，再利用几何约束选点，得到物点在像平面坐标系内的投影点，判断是否有匹配结果，当无结果输出时，再更改匹配点模糊识别半径，扩大选点范围，返回迭代直至得到匹配结果。本发明能够解决港口起重机械摄影的特殊复杂环境问题。

Description

一种用于港口起重机械摄影测量的模糊匹配方法

技术领域

本发明属于港口起重机械摄影测量技术领域，用于港口起重机械摄影测量的同名点模糊匹配方法。

背景技术

在摄影测量的过程中，同名点的识别与匹配是一个至关重要的步骤，它是测量过程效率与测量结果准确准确性的有力保障。目前，在大地测量、建筑测绘以及文物保护领域，已有较为成熟的相关算法，然而，这些算法在被应用于港口机械的测量时，其效果却并能令人满意，而由于港口起重机械自身的结构特征与工作环境的特殊性导致的较低的特征点识别率，是造成这一现象的主要原因。

与传统法的摄影测量对象不同，港口起重机械具有以下不利于同名点识别与匹配的因素：

(1)特征点无明显颜色特征，港口起重机械的涂装多为单一的蓝色或橘红色，这使得港口起重机械待测点的颜色特征相较于背景并不突出，采用现有点识别算子进行自动识别时会产生大量的噪点；

(2)港口起重机械的拍摄背景复杂，在港口，经常会出现同种类甚至同型号港口起重机械并排安置的现象，如岸边集装箱起重机就常常会并排沿码头布置，这就使得会导致用于摄影测量的照片上会存在着复杂且难以区分的背景，而这将进一步增加采用现有点识别算子进行自动识别时，噪点的数量；

(3)港口起重机械摄影测量所用照片一般具有较大的拍摄间距和角度，港口环境复杂，存在着大量诸如海侧、物流通道等无法设置测量站的区域，因此用于解算的照片的拍摄位置与拍摄角度的变化一般较大，这无疑会大幅增加同名点匹配的难度。

发明内容

本发明的目的在于克服现有技术缺陷，提供一套用于港口起重机械摄影测量的同名点模糊匹配方法，包含同名点的自动识别与匹配。

为实现上述目的，本发明的技术方案提供一种用于港口起重机械摄影测量的模糊匹配方法，包括以下步骤：

步骤1，依据估测参数化模型与左、右片外方位元素计算作为关键点的各待测点像平面坐标系坐标；

步骤2，依据解算得出的各待测点在像平面坐标系的平面坐标，分别得到模拟左方照片待测点分布图和模拟左方照片待测点分布图；

步骤3，利用特征识别算子，得到左方照片与右方照片的自动识别点图；

步骤4，基于几何关系匹配的点筛选过程，包括以下流程，

步骤a，首先根据预先设置的匹配点模糊识别半径进行范围筛选；

步骤b，再利用几何约束选点，得到物点在像平面坐标系内的投影点；

步骤c，判断是否有匹配结果，当无结果输出时，再更改匹配点模糊识别半径，扩大选点范围，返回步骤a，迭代直至得到匹配结果。

而且，步骤a中范围筛选的实现方式为，以模拟左方照片待测点分布图和模拟左方照片待测点分布图上的各点为圆心，依据预先设置的匹配点模糊识别半径，在左方照片与右方照片的自动识别点图中筛选出若干点。

而且，步骤b中利用几何约束选点，是基于港口起重机械自身几何特征进行三线交会加权选点。

而且，三线交会加权选点的实现方式为，从左片自对应点组选点，从右片自对应点组选点，依摄影测量算法计算物方坐标，依三线交会点原理计算点组权重，依权重选择最佳点组输出结果，使得预测交汇点到三条直线的距离之和为最小。

而且，所述几何约束选点包括但不限于以下情况，

(1)若干点组成的直线成平行关系；

(2)若干点组成圆弧。

与传统方法直接进行自动点识别，再运用摄影测量算法得出测量结果不同，本发明引入了一种全新的点匹配方法，能够解决港口起重机械摄影的特殊复杂环境问题。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的人工估测参数化模型示意图。

图3为本发明实施例的模拟左方照片待测点分布图。

图4为本发明实施例的模拟右方照片待测点分布图。

图5为本发明实施例的迭代匹配流程图。

图6为本发明实施例的轮胎龙门吊三维重建关键节点示意图。

图7为本发明实施例的三线交会点示意图。

图8为本发明实施例的预测交汇点示意图。

图9为本发明实施例的三线交会加权选点算流程示意图。

具体实施方式

为了更加清楚地阐述本发明的目的、技术方案和有益效果，以下结合附图和具体实施例进行详细描述。应理解本发明的具体实施方式不限于这里的示例描述。

参见图1，本发明实施例引入了一种全新的点匹配方法，包括以下步骤：

步骤1，依据估测参数化模型与左、右片外方位元素计算作为关键点的各待测点的像平面坐标系坐标。

估测参数化模型是指，依据经验或类似图纸，估测被测量对象各关键参数所建立的模型。首先，依据估测值建立如图2所示的预测参数化模型。其中，点1、2、3、4为控制点，点a、b、c、d、e、f、o为待测点。然后，依据自动/人工识别如图2中的点1、2、3、4所示的控制点在各相片坐标系中的坐标，并以此为基础，解算出各照片的外方位元素。利用各照片的外方位元素，可以求解如图2中的点a、b、c、d、e、f、o所示的各待测点在像平面坐标系的平面坐标。

以图2中的点o为例，设其在物方坐标系中的坐标为：o(X,Y,Z)，可依据摄影测量算法中物方坐标系坐标与像平面坐标系坐标的转化算法，计算得出其在像平面坐标系内的像点：o'(x'₀,y'₀)的坐标：

其中：

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

(X₀,Y₀,Z₀)-摄影中心坐标

f、ω、κ、△x、△y为相机标定获得的参数

步骤2，获取模拟左、右片待测点分布图

以使用两张照片进行结算的情况为例，依据解算得出的各待测点在像平面坐标系的平面坐标，可以分别得到如图3、图4所示的模拟左方照片待测点分布图和模拟左方照片待测点分布图。

待测点分布图可以直观地反映出各待测点在照片中的大致位置，为自动识别同名点提供条件。

步骤3，自动点识别

利用现有的传统特征识别算子(例如Sobel算子、Moravec算子等)处理照片，可以得到左方照片与右方照片的自动识别点图。

但利用现有算子得出的自动识别点数量庞杂，必须经过处理，才能得提取到摄影测量所需的信息，即：各待测点在左方照片与右方照片中的投影位置信息，而本专利所提出的方法的核心，正是体现在完成这一步骤之上。

步骤4，基于几何关系匹配的点筛选过程

利用图3、图4所示的模拟左方照片待测点分布图、右片待测点分布图，结合步骤3所得的自动识别点图与右方自动识别点图便可以筛选出待测点在各相片坐标系中所对应的点。

要达到这一目的，现有技术中可用的手段有两种：

(1)使用范围筛选法则，匹配图像，即在模拟待测点分布图上的每一个像点周边划出一块区域，再选出自动识别点图上位于这一区域内的自动识别点作为物点在像平面坐标系内的投影点。这一方法的优点是识别速度较快，算法简单，而缺点则是对初估模型的质量要求极高，因此这一方法在实际应用时可用性堪虞；

(2)利用几何约束，采用穷举法在全平面选点，即依据模拟待测点分布图上各点的几何关系，对自动识别点图上所有的自动识别点的组合进行鉴别，选出匹配度最高的组合作为物点在像平面坐标系内的投影点。这一方法的优点是对初估模型的要求相对较低，匹配精度较高。制约这一方法应用的主要因素是运算量过于巨大，一般的PC难以承担。

为了克服以上问题，本专利提出了一种全新的迭代匹配方法，结合了两种传统算法的优势，该方法的详细流程如图5所示：

步骤a，首先根据预先设置的匹配点模糊识别半径进行范围筛选，去掉绝大部分杂讯；

步骤b，再利用几何约束选点，得到物点在像平面坐标系内的投影点

步骤c，判断是否有匹配结果，当无结果输出时，再更改匹配点模糊识别半径扩大选点范围，返回步骤a，重新进行以上流程，迭代直至输出所得匹配结果。

基于几何关系匹配的点筛选过程是本发明的关键步骤，而自动识别点的初筛以及利用几何约束选点则是这一关键步骤的核心内容。以下分别进行说明：

1)范围筛选

范围筛选即依据估测参数化模型所得的左、右片待测点分布图(即模拟左方照片待测点分布图和模拟左方照片待测点分布图)上的各点为圆心，依据预先设置的匹配点模糊识别半径在左、右片自动点识别的结果(即左方照片与右方照片的自动识别点图)中筛选出一定数量的点。

设：

设置匹配点模糊识别半径为：R；

左方照片通过自动识别所的点的个数为：i，各点在像平面坐标系内的坐标为：(x_l1,y_l1)、(x_l2,y_l2)、(x_l3,y_l3)、…(x_li,y_li)，这些点所构成的集合名称为：集合M_l；

左方照片依据估测参数化模型计算所得的待测点个数为m，各点在像平面坐标系内的坐标为：(x_ycl1,y_ycl1)、(x_ycl2,y_ycl2)、(x_ycl3,y_ycl3)、…(x_yclm,y_yclm)；

右方照片通过自动识别所的点的个数为：k，各点在像平面坐标系内的坐标为：(x_r1,y_r1)、(x_r2,y_r2)、(x_r3,y_r3)、…(x_rk,y_rk)，这些点所构成的集合名称为：集合M_r；

右方照片依据估测参数化模型计算所得的待测点个数为n，各点在像平面坐标系内的坐标为：(x_ycr1,y_ycr1)、(x_ycr2,y_ycr2)、(x_ycr3,y_ycr3)、…(x_ycrn,y_ycrn)；

左方照片范围筛选的规则为：

(X_lIM,Y_lIM)∈M_l∩(X_lIM-X_yclM)²+(Y_lIM-Y_yclM)²≤R²

其中：

I-左方照片筛选点编号,I＝1,2,3,…,且I≤i；

M-左方照片估测参数化模型计算所得的待测点编号，M＝1,2,3,…,m；

(X_lIM,Y_lIM)-左方照片中，以编号为M的左方照片估测参数化模型计算所得的待测点为中心的筛选点在像平面坐标系中的坐标。

同理，右方照片范围筛选的规则为：

(X_rKN,Y_rKN)∈M_r∩(X_rKN-X_ycrN)²+(Y_rKN-Y_ycrN)²≤R²

其中：

K-右方照片筛选点编号,K＝1,2,3,…,且K≤k；

N-右方照片估测参数化模型计算所得的待测点编号，N＝1,2,3,…,n；

(X_rKN,Y_rKN)-右方照片中，以编号为N的右方照片估测参数化模型计算所得的待测点为中心的筛选点在像平面坐标系中的坐标。

2)几何约束选点

目前本专利采用的几何约束选点方法是基于港口起重机械自身几何特征的三线交会加权选点法。

与大地测量、建筑测绘不同，港口起重机械的摄影测量并不需要对细节过度苛求[14,15。因此，相关算法可以直接忽略诸如楼梯扶手、护栏在内的不重要的复杂结构，并专注于前大梁、T型架等重要结构件。由于没有曲面、曲线等复杂特征的存在，这些结构件的三维重建，仅需要一些“关键节点”的空间坐标，即可完成。

而这些关键的尺寸参数，可以通过一些关键点的空间位置关系计算得出。以图6所示的轮胎龙门吊大梁为例，只需准确测出a、b、c、d、e、f、g、h等八个关键节点的三维坐标，就可以准确还原大梁的外形尺寸。

这些关键节点还有一个共同特征，那就是它们都属于三线交汇点，即由三条空间直线交会所得的点。以图8中的d点为例，可以如图7所示，通过测量d1、d2、d3、d4、d5、d6的空间坐标，可以得到空间直线l12、l34、l56的表达式，再利用d点为l12、l34、l56交点的特性，便可求得d点的空间坐标。与直接求解d点的空间坐标相比，上述利用d点为三线交汇点的特性进行测量的方法引入了点d1、d2、d3、d4、d5、d6测量数据，这为d点的空间坐标解算引入了多余观测数据。

然而，在实际的测量工作中，这套理论可行的方法却并不适用。如图8所示，点a、b、c、d、e、f是真是空间中的点，而点a'、b'、c'、d'、e'、f'。在摄影测量结果所确定的空间中，与它们相对应的点。在真实空间中，由立方体上的点a、b所确定的棱线l_ab，由立方体上的点c、d所确定的棱线l_cd，由立方体上的点e、f所确定的棱线l_fe相交于点i。但由于测量相机光学畸变的存在，实际还原到物方坐标系中的点a'、b'所确定的棱线l_a'b'，由立方体上的点c'、d'所确定的棱线l_c'd'，由立方体上的点e'、f'所确定的棱线l_f'e'并不能相交于一点。

因此，需要在物方坐标系中找到一个可通过计算得出的点来代表点i，本发明称这一点为预测交汇点，下文简称TPPOI。在图中点i'即是TPPOI的示例。为了。基于这一原理，三线交会加权选点法的求解算法流程如图9所示：

从左片自对应点组选点，从右片自对应点组选点，依摄影测量算法计算物方坐标，依三线交会点原理计算点组权重，依权重选择最佳点组输出结果。

计算各点组的权重系数是该算法的核心内容，而要计算权重系数，就需要选择一个可量化评价点组精确程度的指标。

依据传统摄影测量方法，可求得图8中用来确定直线l_a'b'、l_c'd'、l_f'e'的各点在物方坐标系内的坐标，即：点a'(x_a',y_a',z_a')；点b'(x_b',y_b',z_b')；点c'(x_c',y_c',z_c')；点d'(x_d',y_d',z_d')；点e'(x_e',y_e',z_e')；点f'(x_f',y_f',z_f')。

依据这些点的坐标，可求得l_a'b'、l_c'd'、l_f'e'的表达式如下：

为了求解预测交汇点到直线l_a'b'、l_c'd'、l_f'e'的距离d₁、d₂、d₃，令：

则有：

其中：

在理想情况下，直线l_a'b'、l_c'd'、l_f'e'应交于一点，而随着误差的增大，预测交会点到三条直线的距离之和也会相应增大，因此，各点组的权重Q的计算方法如下：

Q＝(d₁+d₂+d₃)^-1

在完成各点组的权重计算后，只需选出其中权重系数Q值最大的点组输出为结果即可。

此外，随着被测量对象的不同，相应的几何约束选点算法包括但不限于以下情况：

(1)若干点组成的直线成平行关系；

(2)若干点组成圆弧。

以上约束可以灵活调整。

以上就是本发明的详细步骤，应当理解的是本说明书未详细阐述的部分均属于现有技术。具体实施时，可采用计算机软件技术实现以上流程的自动运行。

Claims (5)

1.一种用于港口起重机械摄影测量的模糊匹配方法，其特征在于，包括以下步骤：

步骤1，依据估测参数化模型与左、右片外方位元素计算作为关键点的各待测点像平面坐标系坐标；

步骤2，依据解算得出的各待测点在像平面坐标系的平面坐标，分别得到模拟左方照片待测点分布图和模拟左方照片待测点分布图；

步骤3，利用特征识别算子，得到左方照片与右方照片的自动识别点图；

步骤4，基于几何关系匹配的点筛选过程，包括以下流程，

步骤a，首先根据预先设置的匹配点模糊识别半径进行范围筛选；

步骤b，再利用几何约束选点，得到物点在像平面坐标系内的投影点；

步骤c，判断是否有匹配结果，当无结果输出时，再更改匹配点模糊识别半径，扩大选点范围，返回步骤a，迭代直至得到匹配结果。

2.根据权利要求1所述用于港口起重机械摄影测量的模糊匹配方法，其特征在于：步骤a中范围筛选的实现方式为，以模拟左方照片待测点分布图和模拟左方照片待测点分布图上的各点为圆心，依据预先设置的匹配点模糊识别半径，在左方照片与右方照片的自动识别点图中筛选出若干点。

3.根据权利要求1所述基于深度学习的跨摄像头行人检测跟踪方法，其特征在于：步骤b中利用几何约束选点，是基于港口起重机械自身几何特征进行三线交会加权选点。

4.根据权利要求3所述基于深度学习的跨摄像头行人检测跟踪方法，其特征在于：三线交会加权选点的实现方式为，从左片自对应点组选点，从右片自对应点组选点，依摄影测量算法计算物方坐标，依三线交会点原理计算点组权重，依权重选择最佳点组输出结果，使得预测交汇点到三条直线的距离之和为最小。

5.根据权利要求1或2或3或4所述基于深度学习的跨摄像头行人检测跟踪方法，其特征在于：所述几何约束选点包括但不限于以下情况，

(1)若干点组成的直线成平行关系；

(2)若干点组成圆弧。