CN117329977A - 复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法 - Google Patents

Abstract

本发明公开了一种复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，取代了人工测量裂纹长度，降低了人工测量的风险，同时可适用于复杂的载荷变形，可以实现复杂变形情况下裂纹更高的测量精度和效率。相比于一般的机器视觉测量方法从框架系统的搭建、裂纹尖端的处理、图像的特征匹配和作差处理以及裂纹自动测量的判定方法和测量效果的验证方面均进行了改进和提升，可以在复杂疲劳试验工况下实现裂纹扩展的精确和高效测量。

Description

复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法

技术领域

本发明涉及飞机结构强度试验领域，具体涉及一种复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法。

背景技术

疲劳裂纹的产生和扩展对于飞机结构安全有很大的威胁。疲劳裂纹的扩展机理复杂，受到的影响因素较多，需要通过疲劳试验进行验证。获取有效且高精度的裂纹扩展数据，才能制定合理的检查间隔，保障飞机的安全飞行。飞机结构疲劳裂纹扩展的准确测量对保障结构安全和检修维护具有重要意义。为了验证飞机结构的裂纹扩展性能，开展相关的试验，获取结构裂纹扩展参数，为飞机结构研制提供重要保障。

复杂载荷工况下的飞机结构疲劳强度试验需开展裂纹扩展测量的结构很多位于高空或空间较狭窄的地方，结构特征复杂，目前的人工检测，难以实施以及存在安全隐患，且精度较差。

基于机器视觉进行裂纹扩展测量可实现疲劳试验过程中多个关键结构部位裂纹扩展的高效和精确测量，但是目前对于飞机复杂载荷工况下的裂纹扩展测量目前的方法存在一定的不足：

1）全机疲劳试验对裂纹扩展测量精度要求高。目前的方法主要是针对静态拉伸情况或者在试验机上的简单疲劳拉伸，对于复杂载荷工况无法直接应用。

2）疲劳试验过程中载荷工况复杂，不同时刻飞机金属结构运动方向不规则，各向异性变形，通过简单的图像识别获取裂纹的轮廓进行测量，没有考虑到复杂载荷工况下结构不规则运动导致的裂纹长度测量不准确的情况，会导致产生较大的误差。

发明内容

针对上述现有技术中的不足，本发明提供了一种复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，包括如下步骤：

S1、构建疲劳裂纹扩展处的机器视觉识别系统，包括视觉图像采集与捕获装置、辅助支架及光源装置、图像处理及显示装置，对所构建的疲劳裂纹扩展处的机器视觉识别系统进行参数设置，并进行视觉标定；

S2、采用人工渗透的方法对疲劳裂纹扩展位置进行标记，将疲劳裂纹尖端扩展到构建机器视觉识别系统的视野中并利用所构建的机器视觉识别系统对疲劳裂纹进行图像采集，得到疲劳裂纹图像；

S3、对所得到的疲劳裂纹图像进行图像处理得到变形后的疲劳裂纹图像，将变形后的疲劳裂纹图像与既有模板图像放置于同一视野中进行特征图像匹配；

S4、对不同时刻的疲劳裂纹图像进行降噪并进行重新匹配，得到最终裂纹尖端的识别图像。

进一步的，所述S1中视觉标定采用多点标定法，具体方式为：

S11、在复杂曲面结构上贴上标准棋盘格，获取标准棋盘格特征图案的角点坐标，并将角点连接成网络；

S12、根据理想坐标和实际坐标获取图像中每一个点的映射关系，获得实际像素的坐标位置；

S13、利用反算测试计算测量精度。

进一步的，所述S13中测量精度的计算方式为：

测量精度=视野长或宽/像素数量。

进一步的，所述S3具体包括如下步骤：

S31、对所采集的疲劳裂纹图像进行高斯内核卷积，并将所有偶数行和列去除；

S32、通过平移和旋转角度调整变形后的图像的位置，使变形后的图像和模板图像在同一视野范围内；

S33、采用旋转对称和相似度对变形后的图像和模板图像的匹配进行评价，其相似度与匹配效果呈正相关，确定变形图像的变化方式；

S34、利用仿射变换将模板图像转换为当前图像。

进一步的，所述S31中高斯内核表示为：

式中，为像素坐标，/>为方差。

进一步的，所述S34中仿射变换的计算公式为：

式中,为像素坐标，/>为原始图像中的坐标，/>为待定参数，为待定参数的角标。

进一步的，所述S4具体包括如下步骤：

S41、将经过特征匹配的满足图像尺寸相同和类型相同的两幅图像相减得到裂纹新图像；

S42、根据所得到的裂纹新图像判断是否为裂纹尖端，若裂纹新图像区域方向偏移在30°以内则认定是裂纹扩展区域，若裂纹扩展区域比上次图像区域离更远则判定为裂纹尖端；

S43、对判定为裂纹尖端的区域进行区域内的阈值分割，获取灰度图像上的裂纹，统计各个灰度级所包含的像素个数并找出最大类间方差所对应的各个灰度值的平均值作为分割阈值，并计算可分性度量完成图像分割，得到最终的裂纹尖端的识别图像。

进一步的，所述S43中可分性度量的计算方式为：

式中，为全局灰度方差，/>为类间方差，/>为像素编号。

本发明具有以下有益效果：

本发明取代了人工测量裂纹长度，降低了人工测量的风险，同时可适用于复杂的载荷变形，可以实现复杂变形情况下裂纹更高的测量精度和效率。相比于一般的机器视觉测量方法从框架系统的搭建、裂纹尖端的处理、图像的特征匹配和作差处理以及裂纹自动测量的判定方法和测量效果的验证方面均进行了改进和提升，可以在复杂疲劳试验工况下实现裂纹扩展的精确和高效测量。

附图说明

图1为本发明复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法流程示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

一种复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，如图1所示，包括如下步骤：

S1、构建疲劳裂纹扩展处的机器视觉系统，包括视觉图像采集与捕获装置、辅助支架及光源装置、图像处理及显示装置，对所构建的疲劳裂纹扩展处的机器视觉系统进行参数设置，并进行视觉标定；

搭建疲劳裂纹扩展处的机器视觉系统，主要包含视觉图像采集与捕获装置、辅助支架和蓝色光源、图像处理与显示系统，保证机器视觉系统可以在试验加载过程中能够有效的捕捉到裂纹的扩展信息。对系统中各模块参数进行设置，系统参数的设置主要包括框架的移动转动等机械运动参数的调整，相机的参数设置主要包括曝光、增益、触发、焦距设置和保存等参数的设置，相机的分辨率和帧率应满足疲劳试验裂纹扩展测量需求。光源色度和补光角度等参数的设置。多组参数需要结合需求进行调整，保证可以清晰的看到裂纹的全貌和尖端的位置信息，尽量使裂纹的尖端位置处在图像的中间位置，保证可以有效地观测到裂纹，同时在裂纹扩展时可以留出一定的空间进行继续观测。系统检测精度可达0.02mm，帧率大于试验加载频率。

为了建立图像坐标系与世界坐标系之间的关系，需要对系统进行视觉标定。标定采用两点标定或多点标定。两点标定用于摄像机相对被测面垂直的情况。多点标定用于摄像机与被测面倾角较大的情况。由于结构特征复杂，本专利采用多点标定的方法。精确已知多个标志点的实际物理尺寸，利用图像处理方法提取多个标志点的中心坐标，根据标志点的物理尺寸和对应的坐标关系获得映射矩阵。对于复杂曲面结构，在结构上贴上标准棋盘格，获取标准棋盘格特征图案的角点坐标，然后将角点连接成网格，为计算图像每一像素点的映射关系成做准备，最后根据理想坐标和实际坐标，可获得图像中每一点的映射关系，获得实际像素的坐标位置。最后利用反算测试可以获得的测量精度。反算测试的计算方法为：测量精度=视野长或宽/像素数量。视野范围为135mm×69mm，实际像素数量为6464×3334，所以检测精度为0.02mm。

S2、采用人工渗透的方法对疲劳裂纹扩展位置进行标记，将疲劳裂纹尖端扩展到构建机器视觉系统的视野中并利用所构建的机器视觉系统对疲劳裂纹进行图像采集，得到疲劳裂纹图像；

在疲劳裂纹扩展位置处采用人工渗透的方法，明显的标记裂纹尖端的位置。刚开始裂纹尖端不明显，需要对结构表面进行处理。主要利用渗透液涂抹在裂纹表面，通过在裂纹表面喷涂特殊的渗透液体，渗透液会渗入到裂纹部分的表面，等渗透液先渗透半分钟，然后清洗掉表面上所有的渗透液，使得裂纹尖端可以明显的显示出来，随着载荷的施加裂纹出现扩展，渗透液可以进入扩展的裂纹尖端。当裂纹扩展到一定程度，渗透液无法到达裂纹尖端处的时候，需要对表面进行再次处理，使得裂纹尖端再次出现在扩展的视野当中。

S3、对所得到的疲劳裂纹图像进行图像处理得到变形后的疲劳裂纹图像，将变形后的疲劳裂纹图像与既有模板图像放置于同一视野中进行特征图像匹配；

本实施例里，具体包括如下步骤：

S31、对所采集的图像进行高斯内核卷积，并将所有偶数行和列去除；

对采集的图像进行金字塔处理，图像金字塔方法是通过高斯金字塔进行图像下采样形成不同分辨率的图像。高斯图像下采样是指对图像进行高斯内核卷积，然后将所有偶数行和列去除。高斯内核卷积为

式中x,y为像素坐标，为方差。

S32、通过平移和旋转角度调整变形后的图像的位置，使变形后的图像和模板图像在统一视野范围内；

S33、采用旋转对称和相似度对变形后的图像和模板图像的匹配进行评价，其相似度与匹配效果呈正相关，确定变形图像的变化方式；

通过平移和旋转角度来调节变形后图像的位置，使得变形后的图像和模板图像在同一视野范围内，保证测量的准确性。对变形图像和模板图像的匹配进行评价，评价采用旋转对称和相似度进行评价，相似度越大，则匹配效果越好。

S34、利用仿射变换将参考图像转换为当前图像。

确定了模型的变化方式后，然后进行仿射变换，将参考图像变为当前的图像。仿射变换的公式为：

式中表示原始图像中的坐标，/>为变换后的图像坐标，t为待定参数。如果效果不好，可以开展基于无监督的深度学习的特征匹配，比如基于图卷积的特征匹配方法，通过增加图像数据量提升特征匹配的精度。

S4、对不同时刻的疲劳裂纹图像进行降噪并进行重新匹配，得到最终裂纹尖端的识别图像。

将不同时刻的图像通过前面的匹配算法放置到同一视野下，和模板图像进行比较作差分析。将经过特征匹配的满足图像大小尺寸相同和类型相同的两幅图像作差相减。图像相减后，通过放大因子实现差值的放大，使得图像之间的差异更加明显，裂纹的尖端部分会变得更加明显，便于识别损伤特征。因为图像匹配的偏差，导致图像作差后会产生一些噪声信号或纹理明显的现象，尤其是在裂纹尖端附近产生这种现象时，尖端处的噪声信号和纹理信息可能会和过细的裂纹尖端信息混合在一起，在自动识别的过程中有可能将裂纹尖端附近的噪声信号/纹理信息判定为裂纹的尖端。此时则需要重新进行匹配，使得裂纹尖端附近的噪声信号和纹理信息弱化。通过以下方式降低裂纹尖端判定的错误。对于裂纹图像，新的图像区域方向偏移在30度以内认为是裂纹扩展区域，新区域比上一次区域离原点更远，则判定为裂纹尖端，裂纹从图像左侧向右侧发展，在裂纹扩展的反方向则认为不是裂纹尖端。通过图像作差后，获取差值图像上的裂纹区域，并进行区域内的阈值分割，获取灰度图像上的裂纹。图像作差的方法为，其中/>为像素坐标，/>为前一时刻的图像，/>为后一时刻的图像。阈值分割采用自适应Otsu全局阈值分割法，即统计各个灰度级所包含的像素个数，找出最大类间方差所对应的各个灰度值的平均值作为分割阈值，计算可分性度量，实现对图像的分割，将大于等于分割阈值的灰度值为255，小于分割阈值的灰度值设为0。可分性度量的计算如下：

式中为全局灰度方差，/>为类间方差。

具体实施过程

读取初始化参数，启动图像处理与显示系统开始OCR(字符识别)识别机测量，等待摄像机触发信号，通过图像处理与显示对屏幕实时分析，当识别结果有变动，触发摄像机采集一帧图像。针对采集到的图像进行OCR处理，获取识别结果，反馈设备状态，进入下一次信号等待。在前面S1到S4的方法处理之后，对模板区域图像进行自适应Otsu以及形态学些处理，形态学处理包含图像的腐蚀、膨胀以及二值化处理等。获取特征连续、主干和尖端明显的裂纹，获取像素之间的坐标值，计算裂纹长度值。通过OCR方法获取疲劳试验的工况数或循环数，通过一段时间的统计对比，观察裂纹长度的变化趋势。测量过程中同时绘制记录不同时刻的裂纹长度，绘制时间和裂纹长度曲线，裂纹长度应该随着时间的增加而逐渐增加，如果出现随着时间增加裂纹长度下降此时的数据点应该是特征匹配过程中匹配不好导致的结果，此时的裂纹尖端和周围特征点混在一起无法给出真实有效的裂纹尖端，应该剔除这些的数据点，保证裂纹扩展测量的有效性。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，包括如下步骤：

S1、构建疲劳裂纹扩展处的机器视觉识别系统，包括视觉图像采集与捕获装置、辅助支架及光源装置、图像处理及显示装置，对所构建的疲劳裂纹扩展处的机器视觉识别系统进行参数设置，并进行视觉标定；

S2、采用人工渗透的方法对疲劳裂纹扩展位置进行标记，将疲劳裂纹尖端扩展到构建机器视觉识别系统的视野中并利用所构建的机器视觉识别系统对疲劳裂纹进行图像采集，得到疲劳裂纹图像；

S3、对所得到的疲劳裂纹图像进行图像处理得到变形后的疲劳裂纹图像，将变形后的疲劳裂纹图像与既有模板图像放置于同一视野中进行特征图像匹配；

S4、对不同时刻的疲劳裂纹图像进行降噪并进行重新匹配，得到最终裂纹尖端的识别图像。

2.根据权利要求1所述的复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，所述S1中视觉标定采用多点标定法，具体方式为：

S11、在复杂曲面结构上贴上标准棋盘格，获取标准棋盘格特征图案的角点坐标，并将角点连接成网络；

S12、根据理想坐标和实际坐标获取图像中每一个点的映射关系，获得实际像素的坐标位置；

S13、利用反算测试计算测量精度。

3.根据权利要求2所述的复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，所述S13中测量精度的计算方式为：

测量精度=视野长或宽/像素数量。

4.根据权利要求1所述的复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，所述S3具体包括如下步骤：

S31、对所采集的疲劳裂纹图像进行高斯内核卷积，并将所有偶数行和列去除；

S32、通过平移和旋转角度调整变形后的图像的位置，使变形后的图像和模板图像在同一视野范围内；

S33、采用旋转对称和相似度对变形后的图像和模板图像的匹配进行评价，其相似度与匹配效果呈正相关，确定变形图像的变化方式；

S34、利用仿射变换将模板图像转换为当前图像。

5.根据权利要求4所述的复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，所述S31中高斯内核表示为：

式中，为像素坐标，/>为方差。

6.根据权利要求4所述的复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，所述S34中仿射变换的计算公式为：

式中, 为像素坐标，/>为原始图像中的坐标，/>为待定参数，/>为待定参数的角标。

7.根据权利要求1所述的复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，所述S4具体包括如下步骤：

S41、将经过特征匹配的满足图像尺寸相同和类型相同的两幅图像相减得到裂纹新图像；

S42、根据所得到的裂纹新图像判断是否为裂纹尖端，若裂纹新图像区域方向偏移在30°以内则认定是裂纹扩展区域，若裂纹扩展区域比上次图像区域离更远则判定为裂纹尖端；

S43、对判定为裂纹尖端的区域进行区域内的阈值分割，获取灰度图像上的裂纹，统计各个灰度级所包含的像素个数并找出最大类间方差所对应的各个灰度值的平均值作为分割阈值，并计算可分性度量完成图像分割，得到最终的裂纹尖端的识别图像。

8.根据权利要求7所述的复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法，其特征在于，所述S43中可分性度量的计算方式为：

式中，为全局灰度方差，/>为类间方差，/>为像素编号。