CN115359124A - 用于复杂环境条件下的高精度双目视觉测量方法和装置 - Google Patents

Abstract

本发明提供了用于复杂环境条件下的高精度双目视觉测量方法和装置，所述方法包括：步骤1，在需要进行空间位置测量的对象区域表面布置主动发光特殊标记点；步骤2，采用张正友标定方法得到两个相机的内参数矩阵和外参数矩阵；步骤3，优化双目相机的曝光时间，采集不同环境和天气状态下的特殊标记点及周围图像，实现双目系统发光标记点边界的自动检测；步骤4，对不同拍摄角度获得的标记点形状进行拟合和识别，并确定标记点的中心位置坐标；步骤5，将标记点中心位置坐标转换为空间三维坐标，获得被测对象的空间位置信息。本发明方法解决了复杂成像环境中图像退化对测量精度的影响问题，实现了对目标的非接触、高精度测量。

Description

用于复杂环境条件下的高精度双目视觉测量方法和装置

技术领域

本发明涉及测量技术领域，尤其涉及用于复杂环境条件下的高精度双目视觉测量方法和装置。

背景技术

在云、雾、雨、雪、黑暗等复杂天气和环境条件中，双目视觉测量系统会受到复杂成像环境的影响导致测量结果不准确。变形监测方法分为接触式测量和非接触式测量。接触式测量要求在内部或表面安装光纤或应变传感器，存在传感器对温度敏感、测量点数量有限、传感器及线缆会改变重量等缺点。非接触式测量的主要方法为机器视觉系统，在表面布置特征标记点，利用相机进行图像采集及特征标记点像素坐标的测量。双目视觉测量系统可以将特征标记点像素坐标转换成空间三维坐标，从而得到的变形量。该方法不改变的原始重量，具有多点测量、实时性、精度高等特点。

双目视觉测量系统对拍摄图像的质量要求较高，只有在清晰图像中才可以识别出准确的特征标记点坐标。在实际使用中，恶劣的使用环境，比如云、雾、沙尘、雨、冰、光线不足、黑暗等，成像过程中会导致图像退化，测试精度降低或者无法使用双目视觉测试技术。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供用于复杂环境条件下的高精度双目视觉测量方法和装置，以解决复杂成像环境中的图像退化问题，实现在云、雾、沙尘、雨、冰、黑暗、光线不足等条件下的特征标记点识别，从而实现被测对象的精确测量。

本发明方法包括以下步骤：

步骤1，在需要进行空间位置测量的对象表面区域布置主动发光特殊标记点；

步骤2，标定双目视觉系统，所述双目视觉系统包括双目相机；

步骤3，优化双目相机的曝光时间，采用现有技术，根据不同的天气环境采用不同的曝光时间，采集不同环境和天气状态下的特殊标记点及周围图像，利用轮廓检测图像特征提取算法，实现双目系统发光标记点边界的自动检测；

步骤4，采用标记点形状拟合方法，对不同拍摄角度获得的标记点形状进行拟合和识别，并确定标记点的中心位置坐标；

步骤5，根据双目系统三维重建算法将标记点中心位置坐标转换为空间三维坐标，获得被测对象的空间位置信息。

步骤1中，所述主动发光特殊标记点包括发光灯板和圆形标记点，圆形标记点布置在发光灯板中心，根据发光区域实现标记点定位。主动发光特殊标记点分布在被测对象的关键位置，如应力集中区域、易被复杂环境影响成像的区域、空间位置改变较大以及其他需要监测空间位置变化的区域等。对于需要测量整体区域空间变化的被测对象，可以在表面均匀排布多个特殊标记点，测量每个特殊标记点的空间位置从而还原整个关键区域的变化信息。

步骤2中，相机的成像模型包括世界坐标系O_WX_WY_WZ_W、相机坐标系O_CX_CY_CZ_C、图像像素坐标系O_uvUV和图像物理坐标系O_xyxy；根据张正友标定方法得到两个相机的内参数矩阵和外参数矩阵，将世界坐标系中的一点P(X_W,Y_W,Z_W)通过相机成像模型生成图像物理坐标系中的点p(x,y)。

步骤3中，所述的优化双目相机曝光时间，在低曝光时间下的图像会弱化背景，减少周围环境对成像的影响。低曝光时间可以强化图像中高亮部分，突出主动发光区域，使得主动发光标记点在图像中与周围环境形成强烈对比，实现复杂环境下标记点清晰图像的采集。

步骤4中，所述对不同拍摄角度获得的标记点形状进行拟合，对于发光区域内部的圆形标记点，不同角度的拍摄形状均为椭圆形；采用边缘检测方法识别圆形标记点的边缘像素坐标，利用离散的边缘像素坐标拟合椭圆方程，减少边界提取产生的像素偏差，实现高精度标记点中心位置坐标检测。具体包括如下步骤：

步骤4-1，灰度图转换二值图；

步骤4-2，识别发光标记点；

步骤4-3，二值图像腐蚀；

步骤4-4，各向异性高斯方向导数边缘检测；

步骤4-5，边缘像素坐标的椭圆方程拟合；

步骤4-1包括：双目相机的采集图像为灰度图，根据图像特性设置灰度阈值，灰度阈值的取值范围为180～220，对图像中的每一个像素，0≤像素灰度值≤灰度阈值时，该像素点的灰度值设置为0；当灰度阈值<像素灰度值≤255时，该像素点的灰度值设置为255，将灰度图转换为二值图像；

步骤4-2包括：设定特殊标记点与发光区域的面积比值为检测阈值，将步骤4-1得到的二值图像中标记区域的像素点个数与发光区域的像素点个数进行比值，如果比值小于检测阈值的80％，表明标记点图像受环境影响干扰较大，无法正确地用于双目视觉测量；对小于阈值的标记点，删除该标记点的图像，不用于后续步骤。

步骤4-3包括：设定第i次迭代时标记点中心坐标为(x_i,y_i)，i代表图像腐蚀的迭代次数，两次腐蚀迭代之间的标记点中心坐标的偏移量δ_i定义为：

标记点中心坐标偏移量的变化Δ_j定义为：

Δ_j＝|δ_j+1-δ_j|

其中，δ_j+1表示第j+1次图像腐蚀，δ_j表示第j次图像腐蚀。多次腐蚀迭代可以消除图像的部分噪声，减小复杂成像环境对图像标记点识别的影响。当Δ_j≤0.05时，标记点像素坐标的偏差小于等于0.05像素，判定第j次图像腐蚀后的标记点中心为实际值。图像停止腐蚀，最终标记点中心坐标为(x_j,y_j)；

步骤4-4包括：设定I(x)表示一幅图像，x＝(x,y)^T表示每个像素的像素坐标，其中x,y分别表示像素的横坐标和纵坐标，T表示矩阵转置，离散的二维各向异性高斯核函数g_σ,ρ(x)表示为：

其中，σ为尺度因子，ρ为各向异性因子；

对x进行求导，得到二维高斯核函数的方向导数g_σ,ρ,θ(x)：

R_θ为旋转矩阵，表示为：

其中θ为旋转角度；

将二维高斯核函数的方向导数与图像卷积，选取每个像素领域内的局部梯度最大值作为边缘检测结果，最终边缘检测后的离散像素坐标记为(x_i,y_i)^T；

步骤4-5包括：椭圆方程表示为：

ax²+bxy+cy²+dx+ey+f＝0

椭圆方程的约束为b²-4ac<0，对边缘检测后的离散像素坐标进行最小二乘处理，得到椭圆方程的系数，即求下式中目标函数f(a,b,c,d,e,f)的最小值确定各系数：

将标记点的边缘像素坐标进行椭圆方程拟合，椭圆中心点坐标即为标记点的特征坐标。

本发明还提供了用于复杂环境条件下的高精度双目视觉测量装置，包括：

标记模块，用于在需要进行空间位置测量的对象表面区域布置主动发光特殊标记点；

标定模块，用于标定双目视觉系统，所述双目视觉系统包括双目相机；

优化模块，用于优化双目相机的曝光时间，采集不同环境和天气状态下的特殊标记点及周围图像，利用轮廓检测图像特征提取算法，实现双目系统发光标记点边界的自动检测；

坐标计算模块，用于采用标记点形状拟合方法，对不同拍摄角度获得的标记点形状进行拟合和识别，并确定标记点的中心位置坐标；

空间位置信息获取模块，用于根据双目系统三维重建算法将标记点中心位置坐标转换为空间三维坐标，获得被测对象的空间位置信息。

本发明与现有技术相比，具有以下技术效果：

(1)本发明采用非接触式测量可以不改变结构重量，并且温度漂移小，能够更准确地测量对象的空间位置。

(2)本发明采用一种主动发光特殊标记点，满足夜间的图像采集要求，在外部环境光线条件不好的情况下仍然可以拍摄到清晰的标记点图像。

(3)本发明能够实现对云、雾、沙尘、雨、冰不同复杂天气环境的图像进行精确的测量。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的双目相机安装示意图。

图2a、图2b、图2c、图2d是本发明分别在云、雾、沙尘、雨成像环境下的图像，图2e、图2f是本发明在冰成像环境下的图像。

图3a、图3b、图3c是本发明以翼梢小翼偏转为检测对象的实施例，说明在不同成像环境模拟图像的小翼偏转角度测量结果图。

具体实施方式

实施例

本发明中结构采用自适应可偏转翼稍小翼模型，双目相机安装及翼稍小翼模型如图1所示，小翼偏转角度测量的步骤如下：

(1)在小翼可偏转区域的表面布置标记点。一种主动发光的特殊标记点由白色LED方形发光灯板和黑色圆形标记点组成，黑色圆形标记点布置在发光灯板中心。在小翼表面前缘处、中间处和后缘处表面粘贴三个发光标记点，根据标记点的坐标变化计算变形量。

(2)标定双目视觉系统，相机的成像模型包括世界坐标系O_WX_WY_WZ_W、相机坐标系O_CX_CY_CZ_C、图像像素坐标系O_uvUV和图像物理坐标系O_xyxy。根据张正友标定方法得到左右相机的内参数矩阵和外参数矩阵，将世界坐标系中的一点P(X_W,Y_W,Z_W)通过相机成像模型生成图像物理坐标系中的点p(x,y)。

(3)双目相机采集复杂环境下小翼不同偏转角的图像，采用图像特征提取算法，实现双目系统发光标记点的自动检测及定位。云、雾、沙尘、雨、冰恶劣成像环境下的图像如图2a～图2e所示。

进一步地，步骤(3)中图像特征提取算法包括：

步骤3-1，灰度图转换二值图：双目相机的采集图像为灰度图，根据图像特性设置灰度阈值为200，对图像中的每一个像素，0≤像素灰度值≤200时，该像素点的灰度值设置为0；当200<像素灰度值≤255时，该像素点的灰度值设置为255，将灰度图转换为二值图像；

步骤3-2，识别发光标记点：特殊标记点与发光区域的面积比值为检测阈值，设定检测阈值为0.40，将步骤3-1得到的二值图像中标记区域的像素点个数与发光区域的像素点个数进行比值，如果比值小于检测阈值的0.40×80％＝0.32，表明标记点图像受环境影响干扰较大，无法正确地用于双目视觉测量。对小于阈值的标记点，如图2f所示，删除该标记点的图像，不用于后续计算步骤；对大于阈值的标记点，如图2a、图2b、图2c、图2d、图2e所示，表明标记点图像可以准确识别发光标记点，并进行后续的计算步骤。

步骤3-3，二值图像腐蚀：设定标记点中心坐标为(x_i,y_i)，i代表图像腐蚀的迭代次数，两次腐蚀迭代之间的标记点中心坐标的偏移量δ_i定义为：

标记点中心坐标偏移量的变化Δ_j定义为：

Δ_j＝|δ_j+1-δ_j|

其中，δ_j+1表示第j+1次图像腐蚀，δ_j表示第j次图像腐蚀。多次腐蚀迭代可以消除图像的部分噪声，减小复杂成像环境对图像标记点识别的影响。当Δ_j<＝0.05时，标记点像素坐标的偏差小于等于0.05像素，认为第j次图像腐蚀后的标记点中心为实际值。图像停止腐蚀，最终标记点中心坐标为(x_j,y_j)；

步骤3-4，各向异性高斯方向导数边缘检测：假设I(x)表示一幅图像，x＝(x,y)^T表示每个像素的像素坐标，离散的二维各向异性高斯核函数g_σ,ρ(x)表示为：

其中，σ为尺度因子，ρ为各向异性因子；

对x进行求导，得到二维高斯核函数的方向导数g_σ,ρ,θ(x)：

R_θ为旋转矩阵，表示为：

其中θ为旋转角度；

将二维高斯核函数的方向导数与图像卷积，选取每个像素领域内的局部梯度最大值作为边缘检测结果，最终边缘检测后的离散像素坐标记为(x_i,y_i)^T；

步骤3-5，边缘像素坐标的椭圆方程拟合：椭圆方程表示为：

ax²+bxy+cy²+dx+ey+f＝0

椭圆方程的约束为b²-4ac<0，对边缘检测后的离散像素坐标进行最小二乘处理，得到椭圆方程的系数，即求下式中目标函数f(a,b,c,d,e,f)的最小值确定各系数：

将标记点的边缘像素坐标进行椭圆方程拟合，椭圆中心点坐标即为标记点的特征坐标。

(4)检测不同飞行环境图像标记点的特征坐标，并根据步骤(2)的标定结果将标记点像素坐标转换为空间三维坐标，基于三维坐标变化得到变形量。

(5)角度偏转主要表现为标记点三维空间Z坐标的变化，通过Z坐标计算得到小翼偏转角度，取三个标记点角度的平均值作为双目视觉角度测量值。将不同天气环境模拟图像与清晰原始图像的角度测量值进行对比分析，测量误差如图3a、图3b、图3c所示。测量误差表明在小翼偏转-15°～20°的范围内，不同天气环境模拟图像与清晰原始图像的角度测量偏差小于0.08°。对比于现有技术，本发明可以实现在复杂成像环境下的小翼偏转角度高精度识别。具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的用于复杂环境条件下的高精度双目视觉测量方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供了用于复杂环境条件下的高精度双目视觉测量方法和装置，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.用于复杂环境条件下的高精度双目视觉测量方法，其特征在于，包括以下步骤：

步骤1，在需要进行空间位置测量的对象表面区域布置主动发光特殊标记点；

步骤2，标定双目视觉系统，所述双目视觉系统包括双目相机；

步骤3，优化双目相机的曝光时间，采集不同环境和天气状态下的特殊标记点及周围图像，利用轮廓检测图像特征提取算法，实现双目系统发光标记点边界的自动检测；

步骤4，采用标记点形状拟合方法，对不同拍摄角度获得的标记点形状进行拟合和识别，并确定标记点的中心位置坐标；

步骤5，根据双目系统三维重建算法将标记点中心位置坐标转换为空间三维坐标，获得被测对象的空间位置信息。

2.根据权利要求1所述的方法，其特征在于，步骤1中，所述主动发光特殊标记点包括发光灯板和圆形标记点，圆形标记点布置在发光灯板中心，根据发光区域实现标记点定位；主动发光特殊标记点分布在被测对象的关键位置。

3.根据权利要求2所述的方法，其特征在于，步骤2中，相机的成像模型包括世界坐标系O_WX_WY_WZ_W、相机坐标系O_CX_CY_CZ_C、图像像素坐标系O_uvUV和图像物理坐标系O_xyxy；根据张正友标定方法得到两个相机的内参数矩阵和外参数矩阵，将世界坐标系中的一点P(X_W,Y_W,Z_W)通过相机成像模型生成图像物理坐标系中的点p(x,y)。

4.根据权利要求3所述的方法，其特征在于，步骤4包括：

步骤4-1，灰度图转换二值图；

步骤4-2，识别发光标记点；

步骤4-3，二值图像腐蚀；

步骤4-4，各向异性高斯方向导数边缘检测；

步骤4-5，边缘像素坐标的椭圆方程拟合。

5.根据权利要求4所述的方法，其特征在于，步骤4-1包括：双目相机的采集图像为灰度图，根据图像特性设置灰度阈值，对图像中的每一个像素，0≤像素灰度值≤灰度阈值时，像素点的灰度值设置为0；当灰度阈值＜像素灰度值≤255时，像素点的灰度值设置为255，将灰度图转换为二值图像。

6.根据权利要求5所述的方法，其特征在于，步骤4-2包括：设定特殊标记点与发光区域的面积比值为检测阈值，将步骤4-1得到的二值图像中标记区域的像素点个数与发光区域的像素点个数进行比值，如果比值小于检测阈值的80％，表明标记点图像受环境影响干扰较大，无法正确地用于双目视觉测量；对小于阈值的标记点，删除标记点的图像，不用于后续步骤。

7.根据权利要求6所述的方法，其特征在于，步骤4-3包括：设定第i次迭代时标记点中心坐标为(x_i,y_i)，i代表图像腐蚀的迭代次数，两次腐蚀迭代之间的标记点中心坐标的偏移量δ_i定义为：

标记点中心坐标偏移量的变化Δ_j定义为：

Δ_j＝|δ_j+1-δ_j|

其中，δ_j+1表示第j+1次图像腐蚀，δ_j表示第j次图像腐蚀；当Δ_j≤0.05时，标记点像素坐标的偏差小于等于0.05像素，判定第j次图像腐蚀后的标记点中心为实际值；图像停止腐蚀，最终标记点中心坐标为(x_j,y_j)。

8.根据权利要求7所述的方法，其特征在于，步骤4-4包括：设定I(x)表示一幅图像，x＝(x,y)^T表示每个像素的像素坐标，其中x,y分别表示像素的横坐标和纵坐标，T表示矩阵转置，离散的二维各向异性高斯核函数g_σ,ρ(x)表示为：

其中，σ为尺度因子，ρ为各向异性因子；

对x进行求导，得到二维高斯核函数的方向导数g_σ,ρ,θ(x)：

R_θ为旋转矩阵，表示为：

其中θ为旋转角度；

将二维高斯核函数的方向导数与图像卷积，选取每个像素领域内的局部梯度最大值作为边缘检测结果，最终边缘检测后的离散像素坐标记为(x_i,y_i)^T。

9.根据权利要求8所述的方法，其特征在于，步骤4-5包括：椭圆方程表示为：

ax²+bxy+cy²+dx+ey+f＝0

椭圆方程的约束为b²-4ac＜0，对边缘检测后的离散像素坐标进行最小二乘处理，求下式中目标函数f(a,b,c,d,e,f)的最小值确定各系数：

将标记点的边缘像素坐标进行椭圆方程拟合，椭圆中心点坐标即为标记点的特征坐标。

10.用于复杂环境条件下的高精度双目视觉测量装置，其特征在于，包括：

标记模块，用于在需要进行空间位置测量的对象表面区域布置主动发光特殊标记点；

标定模块，用于标定双目视觉系统，所述双目视觉系统包括双目相机；

优化模块，用于优化双目相机的曝光时间，采集不同环境和天气状态下的特殊标记点及周围图像，利用轮廓检测图像特征提取算法，实现双目系统发光标记点边界的自动检测；

坐标计算模块，用于采用标记点形状拟合方法，对不同拍摄角度获得的标记点形状进行拟合和识别，并确定标记点的中心位置坐标；

空间位置信息获取模块，用于根据双目系统三维重建算法将标记点中心位置坐标转换为空间三维坐标，获得被测对象的空间位置信息。

Images