CN116734806A - 一种基于近景摄影测量标志点的自动识别与定位方法 - Google Patents

Abstract

本发明公开了一种基于近景摄影测量标志点的自动识别与定位方法，首先从高速近景摄影影像中获取包含圆形标志点的影像样本数据集，接着基于YOLOv5算法对影像样本数据集中的圆形标志点进行自动化初始识别与定位，然后采用Canny算法和改进Zernike矩对圆形标志点进行精确识别，最后采用最小二乘拟合方法对圆形标志点进行中心点精确定位。实验结果证明，本发明能够高效自动化、精确地识别定位出影像的所有圆形标志点。

Description

一种基于近景摄影测量标志点的自动识别与定位方法

技术领域

本发明属于近景摄影测量技术领域，具体涉及一种基于近景摄影测量标志点的自动识别与定位方法的设计。

背景技术

近景摄影测量技术是指利用对物距不大于300m的目标物摄取的立体像对进行的摄影测量，高速近景摄影测量技术广泛应用于土木工程、航空航天工程、体育运动学和工业制造等领域。在近景摄影测量技术中，通常布设特定的圆形标志点并通过对拍摄的影像进行识别检测来获取目标物的运动变化轨迹。然而，目前针对圆形标志点的自动识别提取研究较少，缺少一种能够高效自动化、精确地识别定位出影像的所有圆形标志点的方法。

发明内容

本发明的目的是为了解决现有的近景摄影测量技术中缺少能够高效自动化且精确地识别定位出影像的所有圆形标志点的方法的问题，提出了一种基于近景摄影测量标志点的自动识别与定位方法。

本发明的技术方案为：一种基于近景摄影测量标志点的自动识别与定位方法，包括以下步骤：

S1、从高速近景摄影影像中获取包含圆形标志点的影像样本数据集。

S2、基于YOLOv5算法对影像样本数据集中的圆形标志点进行自动化初始识别与定位。

S3、采用Canny算法和改进Zernike矩对圆形标志点进行精确识别。

S4、采用最小二乘拟合方法对圆形标志点进行中心点精确定位。

进一步地，步骤S1具体为：在高速近景摄影影像中使用黑底白色圆圆形标志点作为检测目标，在多场景下对影像数据中的圆形标志点进行框选标注，得到包含圆形标志点的影像样本数据集。

进一步地，步骤S2包括以下分步骤：

S21、对影像样本数据集中的影像数据进行随机旋转、平移、缩放、错切和HSV增强处理，得到增强影像数据。

S22、采用Mosaic数据增强算法对增强影像数据中的多张图片进行随机裁剪，再拼接到一张图片上作为训练数据。

S23、采用K-means算法和遗传算法对训练数据进行分析，获得适合圆形标志点的预设锚定框。

S24、针对训练数据中不同尺寸的特征图，采用不同尺寸的锚定框生成包含置信度、类别和检测框的最终输出向量。

S25、通过最终输出向量训练得到YOLOv5训练模型。

S26、将实际工程获取的高速近景摄影影像输入到YOLOv5训练模型中，实现对影像样本数据集中的圆形标志点的自动化初始识别与定位。

进一步地，步骤S3包括以下分步骤：

S31、针对YOLOv5算法获取的圆形标志点初始识别与定位结果，采用Canny算法进行边缘检测，得到包含圆形标志点的像素级边缘信息。

S32、基于椭圆特征限制条件剔除非圆形标志点的像素级边缘信息，保留只含圆形标志点的像素级边缘信息。

S33、采用改进Zernike矩获取圆形标志点的亚像素级边缘信息，实现对圆形标志点的精确识别。

进一步地，步骤S32中的椭圆特征限制条件包括椭圆的长半轴、短半轴和离心率。

进一步地，步骤S33包括以下分步骤：

S331、获取包含圆形标志点的影像f(x,y)的Zernike矩A_nm：

其中(x,y)为二维影像坐标位置，n为阶数，m为重复度，ρ为边缘位置，θ为ρ与X轴的夹角，为积分核函数V_nm的共轭复数，/>为归一化因子。

S332、将影像f(x,y)旋转角度φ，得到旋转后影像f(x,y)的Zernike矩A′_nm：

A′_nm＝A_nme^-jmφ

S333、分别得到旋转后影像的Zernike矩A′₀₀、A′₁₁和A′₂₀：

其中A₀₀、A₁₁和A₂₀均为原始影像的Zernike矩。

S334、根据旋转后影像的Zernike矩A′₀₀、A′₁₁和A′₂₀获取Zernike矩计算亚像素级边缘的四个参数k、h、l和φ：

其中φ表示影像边缘与x轴的夹角，l表示Zernike矩圆心到影像边缘的垂直距离，k表示阶跃高度，h表示背景灰度，Im(·)表示虚部，Re(·)表示实部。

S335、获取参数k和l的阈值判定条件：

l≤l_t∩k≥k_t

其中l_t表示距离阈值且N为Zernike矩模板大小，k_t表示阶跃阈值。

S336、采用Kittler最小误差法自适应确定阶跃阈值k_t，遍历影像中的所有像素点，并根据步骤S335中的阈值判定条件判断当前像素点是否为边缘点，若是则保留该像素点为边缘点，否则剔除该像素点。

S337、根据保留的边缘点计算得到亚像素级边缘点的坐标(x′,y′)：

S338、通过亚像素级边缘点的坐标(x′,y′)确定圆形标志点的亚像素级边缘信息，实现对圆形标志点的精确识别。

进一步地，步骤S336中采用Kittler最小误差法自适应确定阶跃阈值k_t的具体方法为：

A1、将影像的像素点分为目标像素点和背景像素点，则目标像素点的数目B₁(t)和背景像素点的数目B₂(t)为：

其中h(g)表示灰度级为g的像素点个数，t表示分割阈值，L表示影像的灰度级数量。

A2、根据目标像素点的数目B₁(t)和背景像素点的数目B₂(t)计算目标的均值μ₁(t)、方差和背景的均值μ₂(t)、方差/>

A3、根据目标的均值μ₁(t)、方差和背景的均值μ₂(t)、方差/>基于最小误差分类原则构建准则函数J(t)：

J(t)＝1+2{B₁(t)lnσ₁(t)+B₂(t)lnσ₂(t)}-2{B₁(t)lnB₁(t)+B₂(t)lnB₂(t)}

A4、根据准则函数J(t)计算最优分割阈值t*：

其中G＝{0,1,2,…,L-1}表示影像的灰度级集合。

A5、将最优分割阈值t*对应的灰度值作为阶跃阈值k_t。

进一步地，S4中采用最小二乘拟合方法对圆形标志点进行中心点精确定位的公式为：

其中F(·)表示最小二乘拟合方法的目标函数，A、B、C、D、E为5个椭圆参数，(x_Si,y_Si)为圆形标志点的边缘点坐标，(x₀,y₀)为圆形标志点的中心坐标。

本发明的有益效果是：

(1)本发明基于YOLOv5算法，可以对影像中所有的圆形标志点实现快速自动化的初始识别定位。

(2)本发明采用Kittler最小误差法对Zernike矩进行改进，相较于传统的Zernike矩，能够更加有效地获取更为准确的圆形标志点亚像素边缘，实现对圆形标志点的精确识别。

(3)本发明采用最小二乘拟合方法，能够精确定位得到圆形标志点的中心点。

附图说明

图1所示为本发明实施例提供的一种基于近景摄影测量标志点的自动识别与定位方法流程图。

图2所示为本发明实施例提供的Zernike矩理想边缘阶跃模型示意图。

图3所示为本发明实施例提供的Zernike矩模板系数示意图。

图4所示为本发明实施例提供的理想阶跃边缘示意图。

图5所示为本发明实施例提供的实际边缘示意图。

图6所示为本发明实施例提供的高速视频相机拍摄的三层框架结构影像图。

图7所示为本发明实施例提供的YOLOv5算法获取的所有圆形标志点的初始位置信息示意图。

图8所示为本发明实施例提供的所有圆形标志点的亚像素级边缘信息及圆形标志点的中心位置示意图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

本发明实施例提供了一种基于近景摄影测量标志点的自动识别与定位方法，如图1所示，包括以下步骤S1～S4：

S1、从高速近景摄影影像中获取包含圆形标志点的影像样本数据集。

本发明实施例中，在高速近景摄影影像中使用黑底白色圆圆形标志点作为检测目标，在多场景下对影像数据中的圆形标志点进行框选标注，得到包含圆形标志点的影像样本数据集。

S2、基于YOLOv5算法对影像样本数据集中的圆形标志点进行自动化初始识别与定位。

步骤S2包括以下分步骤S21～S26：

S21、对影像样本数据集中的影像数据进行随机旋转、平移、缩放、错切和HSV增强处理，得到增强影像数据。

S22、采用Mosaic数据增强算法对增强影像数据中的多张图片进行随机裁剪，再拼接到一张图片上作为训练数据，这样得到的训练数据丰富了图片的背景，达到提升模型泛化能力的作用。

S23、采用K-means算法和遗传算法对训练数据进行分析，获得适合圆形标志点的预设锚定框。

S24、针对训练数据中不同尺寸的特征图，采用不同尺寸的锚定框生成包含置信度、类别和检测框的最终输出向量。

本发明实施例中，针对大、中、小三种不同尺寸的特征图，分别采用大、中、小三种不同尺寸的锚定框对其目标进行检测，生成包含置信度、类别和检测框的最终输出向量。

S25、通过最终输出向量训练得到YOLOv5训练模型。

S26、将实际工程获取的高速近景摄影影像输入到YOLOv5训练模型中，实现对影像样本数据集中的圆形标志点的自动化初始识别与定位。

S3、采用Canny算法和改进Zernike矩对圆形标志点进行精确识别。

步骤S3包括以下分步骤S31～S33：

S31、针对YOLOv5算法获取的圆形标志点初始识别与定位结果，采用Canny算法进行边缘检测，得到包含圆形标志点的像素级边缘信息。

S32、基于椭圆特征限制条件剔除非圆形标志点的像素级边缘信息，保留只含圆形标志点的像素级边缘信息。

本发明实施例中，椭圆特征限制条件包括椭圆的长半轴、短半轴和离心率。

S33、采用改进Zernike矩获取圆形标志点的亚像素级边缘信息，实现对圆形标志点的精确识别。

步骤S33包括以下分步骤S331～S338：

S331、获取包含圆形标志点的影像f(x,y)的Zernike矩A_nm：

其中(x,y)为二维影像坐标位置，n为阶数，m为重复度，ρ为边缘位置，θ为ρ与X轴的夹角，为积分核函数V_nm的共轭复数，/>为归一化因子。

Zernike矩的理想边缘阶跃模型如图2所示，其中φ表示影像边缘与x轴的夹角，l表示Zernike矩圆心到影像边缘的垂直距离，k表示阶跃高度，h表示背景灰度。Zernike矩的模板系数如图3所示，通常采用7×7。

S332、将影像f(x,y)旋转角度φ，得到旋转后影像f(x,y)的Zernike矩A′_nm：

A′_nm＝A_nme^-jmφ

S333、分别得到旋转后影像的Zernike矩A′₀₀、A′₁₁和A′₂₀：

其中A₀₀、A₁₁和A₂₀均为原始影像的Zernike矩。

S334、根据旋转后影像的Zernike矩A₀′₀、A₁′₁和A₂′₀获取Zernike矩计算亚像素级边缘的四个参数k、h、l和φ：

其中φ表示影像边缘与x轴的夹角，l表示Zernike矩圆心到影像边缘的垂直距离，k表示阶跃高度，h表示背景灰度，Im(·)表示虚部，Re(·)表示实部。

S335、获取参数k和l的阈值判定条件：

l≤l_t∩k≥k_t

其中l_t表示距离阈值且N为Zernike矩模板大小，通常取值为7，k_t表示阶跃阈值。

S336、采用Kittler最小误差法自适应确定阶跃阈值k_t，遍历影像中的所有像素点，并根据步骤S335中的阈值判定条件判断当前像素点是否为边缘点，若是则保留该像素点为边缘点，否则剔除该像素点。

阶跃阈值k_t的选择显著影响边缘的信息，当k_t取值较小时则边缘会存在很多的伪边缘信息，当k_t取值较大时则一定程度上能够有效地抑制伪边缘，但同时也会丢失圆形标志点的真实边缘信息。由于传统Zernike矩方法获取亚像素级边缘公式时，将理想阶跃模型(如图4所示)作为边缘模型来计算的，但实际应用中其边缘存在着中间过渡区(如图5所示)。因此，只利用理想阶跃模型检测边缘时会存在着伪边缘现象，有可能对后续的圆形标志点的中心定位产生影响。因此，本发明实施例中采用Kittler最小误差法自适应确定最佳的阶跃阈值k_t，具体方法为：

A1、将影像的像素点分为目标像素点和背景像素点，则目标像素点的数目B₁(t)和背景像素点的数目B₂(t)为：

其中h(g)表示灰度级为g的像素点个数，t表示分割阈值，L表示影像的灰度级数量。

A2、根据目标像素点的数目B₁(t)和背景像素点的数目B₂(t)计算目标的均值μ₁(t)、方差和背景的均值μ₂(t)、方差/>

A3、根据目标的均值μ₁(t)、方差和背景的均值μ₂(t)、方差/>基于最小误差分类原则构建准则函数J(t)：

J(t)＝1+2{B₁(t)lnσ₁(t)+B₂(t)lnσ₂(t)}-2{B₁(t)lnB₁(t)+B₂(t)lnB₂(t)}

A4、根据准则函数J(t)计算最优分割阈值t*：

其中G＝{0,1,2,…,L-1}表示影像的灰度级集合。

A5、将最优分割阈值t*对应的灰度值作为阶跃阈值k_t。

S337、根据保留的边缘点计算得到亚像素级边缘点的坐标(x′,y′)：

S338、通过亚像素级边缘点的坐标(x′,y′)确定圆形标志点的亚像素级边缘信息，实现对圆形标志点的精确识别。

S4、采用最小二乘拟合方法对圆形标志点进行中心点精确定位。

本发明实施例中，采用最小二乘拟合方法对圆形标志点进行中心点精确定位的公式为：

其中F(·)表示最小二乘拟合方法的目标函数，A、B、C、D、E为5个椭圆参数，(x_Si,y_Si)为圆形标志点的边缘点坐标，(x₀,y₀)为圆形标志点的中心坐标。

下面以一个具体实验例对本发明实施例提供的基于近景摄影测量标志点的自动识别与定位方法的效果作进一步描述。

选取近景摄影高速相机拍摄获取三层框架结构的影像，拍摄区域的三层框架结构上布设了22个圆形标志点，如图6所示。然后，采用本发明方法进行分析与验证，图7为所有圆形标志点经YOLOv5算法获取的准确的初始位置信息，图8为所有圆形标志点经Canny边缘检测、椭圆特征限制条件、改进Zernike矩和最小二乘拟合方法后获取的所有圆形标志点的亚像素级边缘及其中心位置。从上述实验结果可知，本发明方法能够自动精确地识别定位圆形标志点的边缘信息和中心位置。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于近景摄影测量标志点的自动识别与定位方法，其特征在于，包括以下步骤：

S1、从高速近景摄影影像中获取包含圆形标志点的影像样本数据集；

S2、基于YOLOv5算法对影像样本数据集中的圆形标志点进行自动化初始识别与定位；

S3、采用Canny算法和改进Zernike矩对圆形标志点进行精确识别；

S4、采用最小二乘拟合方法对圆形标志点进行中心点精确定位。

2.根据权利要求1所述的基于近景摄影测量标志点的自动识别与定位方法，其特征在于，所述步骤S1具体为：在高速近景摄影影像中使用黑底白色圆圆形标志点作为检测目标，在多场景下对影像数据中的圆形标志点进行框选标注，得到包含圆形标志点的影像样本数据集。

3.根据权利要求1所述的基于近景摄影测量标志点的自动识别与定位方法，其特征在于，所述步骤S2包括以下分步骤：

S21、对影像样本数据集中的影像数据进行随机旋转、平移、缩放、错切和HSV增强处理，得到增强影像数据；

S22、采用Mosaic数据增强算法对增强影像数据中的多张图片进行随机裁剪，再拼接到一张图片上作为训练数据；

S23、采用K-means算法和遗传算法对训练数据进行分析，获得适合圆形标志点的预设锚定框；

S24、针对训练数据中不同尺寸的特征图，采用不同尺寸的锚定框生成包含置信度、类别和检测框的最终输出向量；

S25、通过最终输出向量训练得到YOLOv5训练模型；

S26、将实际工程获取的高速近景摄影影像输入到YOLOv5训练模型中，实现对影像样本数据集中的圆形标志点的自动化初始识别与定位。

4.根据权利要求1所述的基于近景摄影测量标志点的自动识别与定位方法，其特征在于，所述步骤S3包括以下分步骤：

S31、针对YOLOv5算法获取的圆形标志点初始识别与定位结果，采用Canny算法进行边缘检测，得到包含圆形标志点的像素级边缘信息；

S32、基于椭圆特征限制条件剔除非圆形标志点的像素级边缘信息，保留只含圆形标志点的像素级边缘信息；

S33、采用改进Zernike矩获取圆形标志点的亚像素级边缘信息，实现对圆形标志点的精确识别。

5.根据权利要求4所述的基于近景摄影测量标志点的自动识别与定位方法，其特征在于，所述步骤S32中的椭圆特征限制条件包括椭圆的长半轴、短半轴和离心率。

6.根据权利要求4所述的基于近景摄影测量标志点的自动识别与定位方法，其特征在于，所述步骤S33包括以下分步骤：

S331、获取包含圆形标志点的影像f(x,y)的Zernike矩A_nm：

其中(x,y)为二维影像坐标位置，n为阶数，m为重复度，ρ为边缘位置，θ为ρ与X轴的夹角，为积分核函数V_nm的共轭复数，/>为归一化因子；

S332、将影像f(x,y)旋转角度φ，得到旋转后影像f(x,y)的Zernike矩A′_nm：

A′_nm＝A_nme^-jmφ

S333、分别得到旋转后影像的Zernike矩A′₀₀、A′₁₁和A′₂₀：

其中A₀₀、A₁₁和A₂₀均为原始影像的Zernike矩；

S334、根据旋转后影像的Zernike矩A′₀₀、A′₁₁和A′₂₀获取Zernike矩计算亚像素级边缘的四个参数k、h、l和φ：

其中φ表示影像边缘与x轴的夹角，l表示Zernike矩圆心到影像边缘的垂直距离，k表示阶跃高度，h表示背景灰度，Im(·)表示虚部，Re(·)表示实部；

S335、获取参数k和l的阈值判定条件：

l≤l_t∩k≥k_t

其中l_t表示距离阈值且N为Zernike矩模板大小，k_t表示阶跃阈值；

S336、采用Kittler最小误差法自适应确定阶跃阈值k_t，遍历影像中的所有像素点，并根据步骤S335中的阈值判定条件判断当前像素点是否为边缘点，若是则保留该像素点为边缘点，否则剔除该像素点；

S337、根据保留的边缘点计算得到亚像素级边缘点的坐标(x′,y′)：

S338、通过亚像素级边缘点的坐标(x′,y′)确定圆形标志点的亚像素级边缘信息，实现对圆形标志点的精确识别。

7.根据权利要求6所述的基于近景摄影测量标志点的自动识别与定位方法，其特征在于，所述步骤S336中采用Kittler最小误差法自适应确定阶跃阈值k_t的具体方法为：

A1、将影像的像素点分为目标像素点和背景像素点，则目标像素点的数目B₁(t)和背景像素点的数目B₂(t)为：

其中h(g)表示灰度级为g的像素点个数，t表示分割阈值，L表示影像的灰度级数量；

A2、根据目标像素点的数目B₁(t)和背景像素点的数目B₂(t)计算目标的均值μ₁(t)、方差和背景的均值μ₂(t)、方差/>

A3、根据目标的均值μ₁(t)、方差和背景的均值μ₂(t)、方差/>基于最小误差分类原则构建准则函数J(t)：

J(t)＝1+2{B₁(t)lnσ₁(t)+B₂(t)lnσ₂(t)}-2{B₁(t)lnB₁(t)+B₂(t)lnB₂(t)}

A4、根据准则函数J(t)计算最优分割阈值t*：

其中G＝{0,1,2,…,L-1}表示影像的灰度级集合；

A5、将最优分割阈值t*对应的灰度值作为阶跃阈值k_t。

8.根据权利要求1所述的基于近景摄影测量标志点的自动识别与定位方法，其特征在于，所述S4中采用最小二乘拟合方法对圆形标志点进行中心点精确定位的公式为：

其中F(·)表示最小二乘拟合方法的目标函数，A、B、C、D、E为5个椭圆参数，(x_Si,y_Si)为圆形标志点的边缘点坐标，(x₀,y₀)为圆形标志点的中心坐标。