CN117146727A - 基于机器视觉的塔筒焊缝监测方法及系统 - Google Patents

Abstract

本申请公开了一种基于机器视觉的塔筒焊缝监测方法及系统。方法包括：S1、利用图像采集装置获取塔筒焊缝区域的多个散斑图像；S2、基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌；S3、从所述塔筒焊缝区域的三维形貌中选择待分析区域及参考点；S4、根据待分析区域中的点和参考点的距离以及坐标变化计算应变量。本申请可以低成本地远程自动监测塔筒焊缝情况，提高了监测效率。

Description

基于机器视觉的塔筒焊缝监测方法及系统

技术领域

本发明涉及视觉图像检测技术领域，更具体的，涉及一种基于机器视觉的塔筒焊缝监测方法及系统。

背景技术

风电塔筒作为风电机组和基础环间的连接构件，传递上部数百吨重的风电

机组重量，是实现风电机组维护、输变电等功能所需重要部件。在运行过程中塔筒焊缝往往承受着巨大的压力，也是极易受到腐蚀的地方，因此保证塔筒焊缝质量是关键。

目前，塔筒焊缝在运行过程中变形数据的采集大多是通过应变片和引伸计来获取，这些方法虽然操作简单，但是具有较大的局限性，往往只能测得某一点的数据或者整体宏观变形的数据，因此无法获取充足的有效数据。

发明内容

本发明的目的是提供一种基于机器视觉的塔筒焊缝监测方法及系统，通过自动采集塔筒焊缝不同时刻的图像并处理，可以随时掌握塔筒焊缝的形变情况。

本发明第一方面提供了一种基于机器视觉的塔筒焊缝监测方法，包括：

S1、利用图像采集装置获取塔筒焊缝区域的多个散斑图像；

S2、基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌；

S3、从所述塔筒焊缝区域的三维形貌中选择待分析区域及参考点；

S4、根据待分析区域中的点和参考点的距离以及坐标变化计算应变量。

进一步地，在所述步骤S1之前，还包括：

在所述塔筒焊缝区域制作形成均匀的散斑，所述塔筒焊缝区域包括所述塔筒焊缝及其附近预设范围的塔筒表面。

进一步地，按照下述方式得到所述图像采集装置的标定参数：

将黑白棋盘标定板放置于所述塔筒焊缝的区域，采集所述黑白棋盘标定板在不同方向上的图片，得到标定散斑图像；

根据所述标定散斑图像，使用Harris角点检测算法提取棋盘格的角点坐标，计算得到所述图像采集装置的标定参数。

进一步地，所述步骤S2具体包括：

基于所述图像采集装置的标定参数利用极线约束对齐所述多个散斑图像；

利用快速ZNCC方法计算所述多个散斑图像的相关系数；

基于相关系数曲面拟合方法实现所述多个散斑图像的相关性匹配，得到塔筒焊缝区域上各点的三维坐标信息；

基于所述各点的三维坐标信息重建塔筒焊缝区域的三维形貌。

进一步地，所述相关系数的计算方式如下：

；

其中，f和g分别代表参考子集与目标子集中某一点的灰度值，而和/>表示参考子集与目标子集所有像素点的灰度值，所述参考子集和目标子集来自不同散斑图像。

进一步地，所述步骤S3具体包括：

从塔筒焊缝区域的三维形貌中选择待分析区域，对选定区域设置子集和步长；

选择所述待分析区域中的参考点；

使用插值法计算待分析区域中的缺失点。

进一步地，所述步骤S4具体包括：

求取两点之间的距离L以及变形前、后该两点之间的横坐标变形量ΔL,计算变化率ΔL/L，即应变量。

本发明第二方面提供了一种基于机器视觉的塔筒焊缝监测系统，包括：

图像采集装置，用于获取塔筒焊缝区域的多个散斑图像；

焊缝监测装置，与所述图像采集装置连接，用于基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌；从所述塔筒焊缝区域的三维形貌中选择待分析区域及参考点；根据待分析区域中的点和参考点的距离以及坐标变化计算应变量。

进一步地，所述图像采集装置包括均匀分布在塔筒焊缝区域四周的4个相机。

进一步地，按照下述方式得到所述图像采集装置的标定参数：

将黑白棋盘标定板放置于所述塔筒焊缝的区域，采集所述黑白棋盘标定板在不同方向上的图片，得到标定散斑图像；

根据所述标定散斑图像，使用Harris角点检测算法提取棋盘格的角点坐标，计算得到所述图像采集装置的标定参数。

进一步地，所述基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌包括：

基于所述图像采集装置的标定参数利用极线约束对齐所述多个散斑图像；

利用快速ZNCC方法计算所述多个散斑图像的相关系数；

基于相关系数曲面拟合方法实现所述多个散斑图像的相关性匹配，得到塔筒焊缝区域上各点的三维坐标信息；

基于所述各点的三维坐标信息重建塔筒焊缝区域的三维形貌。

本发明公开的一种基于机器视觉的塔筒焊缝监测方法及系统，通过采集塔筒焊缝不同时刻的图像并处理，能够更直观捕捉到塔筒焊缝外观的变形量，随时掌握曲面结构的塔筒焊缝处的质量情况，对实际的工程应用具有重要意义。而且，通过对图像采集装置采用基于Harris角点检测的双目标定方法，有利于获得高精度的标定参数且易于实现、抗干扰性强、更适用于复杂恶劣的环境；对所采集的图像基于快速ZNCC法和曲面拟合法相结合的匹配方法，能够实现参考子集与目标子集的快速相关性匹配且明显提高了位移测量精度，更适用于塔筒焊缝的长期监测；本发明公开的视觉监测装置简单易操作，对现场环境要求不高，且成本相对较低，可以长期远程监测塔筒焊缝情况，省去了大量人力物力，大大提高了监测效率；在塔筒外采用无接触的DIC监测装置，不与塔筒焊缝及塔筒产生接触，更加的安全节能，大大减小了造成火灾、导电等危险因素，保证了塔筒与检测人员的安全。

附图说明

图1示出了根据本公开示例性实施例的塔筒焊缝监测方法的流程图；

图2示出了根据本公开示例性实施例的散斑的侧面展开示意图；

图3示出了根据本公开示例性实施例的塔筒焊缝监测系统的示意图；

图4示出了根据本公开示例性实施例的图像采集装置设置的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

以下参照附图描述本公开的方案。

图1为根据本公开示例性实施例的塔筒焊缝监测方法的流程图。所述方法包括以下步骤：

S1、利用图像采集装置获取塔筒焊缝区域的多个散斑图像；

可选地，在所述步骤S1之前，还包括：

在所述塔筒焊缝区域制作形成均匀的散斑，所述塔筒焊缝区域包括所述塔筒焊缝及其附近预设范围的塔筒表面。具体地，先用细砂纸对待测的塔筒焊缝区域的塔筒表面进行打磨，打磨结束后先均匀喷涂哑光白底漆，再与塔筒表面呈45°均匀喷涂哑光黑漆，保证散斑大小均匀，如果出现局部区域无散斑，则用马克笔补充无散斑的区域，最终得到如图2所示的散斑。

S2、基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌；；

可选地，按照下述方式得到所述图像采集装置的标定参数：

将黑白棋盘标定板放置于所述塔筒焊缝的区域，采集所述黑白棋盘标定板在不同方向上的图片，得到标定散斑图像；

根据所述标定散斑图像，使用Harris角点检测算法提取棋盘格的角点坐标，计算得到所述图像采集装置的标定参数。

具体地，该步骤S2包括：

基于所述图像采集装置的标定参数利用极线约束对齐所述多个散斑图像；

利用快速ZNCC方法计算所述多个散斑图像的相关系数；

基于相关系数曲面拟合方法实现所述多个散斑图像的相关性匹配，得到塔筒焊缝区域上各点的三维坐标信息；

基于所述各点的三维坐标信息重建塔筒焊缝区域的三维形貌。

其中，所述相关系数的计算方式如下：

；

其中，f和g分别代表参考子集与目标子集中某一点的灰度值，而和/>表示参考子集与目标子集所有像素点的灰度值，所述参考子集和目标子集来自不同散斑图像。

S3、从所述塔筒焊缝区域的三维形貌中选择待分析区域及参考点；

具体包括：

从塔筒焊缝区域的三维形貌中选择待分析区域，对选定区域设置子集和步长；

选择所述待分析区域中的参考点；

使用插值法计算缺失点。

S4、根据待分析区域中的点和参考点的距离以及坐标变化计算应变量。

具体包括：

求取两点之间的距离L以及变形前、后该两点之间的横坐标变形量ΔL,计算变化率ΔL/L，即应变量。

本公开上述实施例中提供的方法通过采集塔筒焊缝不同时刻的图像并处理，能够更直观捕捉到塔筒焊缝外观的变形量，随时掌握曲面结构的塔筒焊缝处的质量情况，对实际的工程应用具有重要意义。而且，通过对图像采集装置采用基于Harris角点检测的双目标定方法，有利于获得高精度的标定参数且易于实现、抗干扰性强、更适用于复杂恶劣的环境；对所采集的图像基于快速ZNCC法和曲面拟合法相结合的匹配方法，能够实现参考子集与目标子集的快速相关性匹配且明显提高了位移测量精度，更适用于塔筒焊缝的长期监测。

图3为根据本公开示例性实施例的塔筒焊缝监测系统的示意图。所述系统包括图像采集装置1和焊缝监测装置2，所述图像采集装置1，用于获取塔筒焊缝区域的多个散斑图像；所述焊缝监测装置2，与所述图像采集装置1连接，用于基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌；从所述塔筒焊缝区域的三维形貌中选择待分析区域及参考点；根据待分析区域中的点和参考点的距离以及坐标变化计算应变量。

可选地，所述图像采集装置1为多个，分别通过支架5固定在塔筒3上，并经由数据线4连接至焊缝监测装置2。如图4所示，包括均匀分布在塔筒3的焊缝区域四周的4个相机1-1、1-2、1-3、1-4，与待测区域的中心位置保持在同一水平面上。所述相机可选地为高速工业相机，像素为800万及以上。

可选地，所述系统还包括黑白棋盘标定板6，用于对图像采集装置1进行标定。

可选地，所述焊缝监测装置2实施为计算机，用于执行参照图1所述的塔筒焊缝监测方法。

本发明公开的一种基于机器视觉的塔筒焊缝监测系统通过采集塔筒焊缝不同时刻的图像并处理，能够更直观捕捉到塔筒焊缝外观的变形量，随时掌握曲面结构的塔筒焊缝处的质量情况，通过对图像采集装置采用基于Harris角点检测的双目标定方法，有利于获得高精度的标定参数且易于实现、抗干扰性强、更适用于复杂恶劣的环境；对所采集的图像基于快速ZNCC法和曲面拟合法相结合的匹配方法，能够实现参考子集与目标子集的快速相关性匹配且明显提高了位移测量精度，更适用于塔筒焊缝的长期监测；而且装置简单易操作，对现场环境要求不高，且成本相对较低，可以长期远程监测塔筒焊缝情况，省去了大量人力物力，大大提高了监测效率；在塔筒外采用无接触的监测装置，不与塔筒焊缝及塔筒产生接触，更加的安全节能，大大减小了造成火灾、导电等危险因素，保证了塔筒与检测人员的安全。

作为一个示例，为便于本领域技术人员充分理解并实施本公开，下面结合上述实施例的方法和系统，具体阐述塔筒焊缝监测系统的安装和运行过程：

步骤一、散斑的制作：

对塔筒焊缝附近塔筒表面制作均匀细致散斑。在制作散斑时首先用细砂纸对塔筒表面进行打磨，打磨结束后先喷涂哑光白底漆，与塔筒表面呈现45°均匀喷涂哑光黑漆，常常散斑反光率为2%~5%，哑光白底漆和哑光黑漆的光泽度均为20及以下，如果出现局部区域无散斑，则用马克笔补充无散斑的区域。均匀的散斑更能提高采集数据及其分析的准确性。

步骤二、安装图像采集装置：

首先安装固定CCD相机的支架，保证4个CCD相机与塔筒焊缝在同一水平面上，均布在塔筒焊缝一周。所述CCD相机为高速工业相机，像素为800万及以上，选择更高分辨率的相机可以获得更精确的数据。

安装有DIC（数字图像相关）软件的计算机作为焊缝监测装置，将4个USB3.0光纤数据线的一端与相对应的CCD相机连接，另一端与计算机USB3.0接口相连接，保证CCD相机采集到数据准确地传输至计算机；调整4个CCD相机的位置和角度，使相机拍摄画面与塔筒焊缝保持水平，并调节相机镜头的光圈和焦距，设置计算机中DIC软件参数，控制曝光时长，使拍摄的画面亮度正常且清晰。

步骤三、相机标定

在正式采集前进行双目标定，将黑白棋盘标定板平行放置于塔筒焊缝待测区域，利用DIC处理软件采集18张黑白棋盘标定板在不同方向上图片，采集过程中每次将标定板顺时针旋转20°。使用Harris检测算法提取棋盘格角点，获取更精确的角点坐标，以CCD相机1-1为统一标准，在CCD相机1-1和1-2之间标定，修改1-2相机参数，然后在CCD相机1-2和1-3之间标定，修改1-3相机参数，以此类推，完成所有相机的标定。其中，使用Harris检测算法提取棋盘格角点包括：

对图像灰度函数求一阶偏导数/>、/>，计算/>、/>、/>。将/>、/>、/>分别与高斯模板进行卷积后得到/>、/>、/>，写入矩阵/>：

；

角点响应函数为：，其中，/>通常取0.04~0.06，,/>；

在计算出图中所有位置的角点响应函数值后，设定阈值并找到局部最大值。只有某点同时满足其角点响应函数值/>并且是局部最大值时，该点才是角点，利用角点进行双目标定。

将标定后的相机采集的棋盘标定板图像导入，使用Harris角点检测算法提取棋盘格角点从而获取更精确的角点坐标，计算得到高精度的系统标定参数，如：相机的内、外、畸变参数。

步骤四、图像采集与分析

在风机运行期间，利用所述CCD相机对焊缝图像进行采集。选择合适的采集频率以保证不会因为较大的间隔失去捕捉能力。可选地，在采集完成后，可以有选择的选取需要分析的散斑图像。

将待分析的散斑图像通过USB3.0光纤数据线传输到计算机中，由计算机利用内置的软件对采集的图像进行分析处理，具体步骤如下：

导入采集的散斑图像与步骤三中得到的标定参数，将快速ZNCC方法和相关系数曲面拟合方法相结合实现参考子集与目标子集的相关性匹配，从而提高整像素与亚像素的匹配精度与匹配速度，在标定的基础上利用极线约束实现左右CCD相机采集图片的立体匹配。具体地，基于所述图像采集装置的标定参数利用极线约束对齐所述多个散斑图像；利用快速ZNCC方法计算所述多个散斑图像的相关系数：

；

其中，f和g分别代表参考子集与目标子集中某一点的灰度值，而和/>表示参考子集与目标子集所有像素点的灰度值，所述参考子集和目标子集来自不同散斑图像。相关系数表示不同散斑图像的相关性。基于计算得到的上述相关系数，利用相关系数曲面拟合方法实现所述多个散斑图像的相关性匹配，得到塔筒焊缝区域上各点的三维坐标信息，进而重建塔筒焊缝区域的三维形貌。

选择分析ROI区域：根据试验需要选择分析区域；对选定区域进行设置子集和步长，子集大小控制用于跟踪图像之间位移的图像区域。子集大小必须足够大，以确保在用于关联的区域中包含足够独特的图案；步长控制关联过程中分析的点的间距；

选择参考点：参考点的选取应该避开大变形位置，在分析塔筒焊缝时应选取底板的端部那些变形较小的位置；对于图像中存在的缺失点，使用插值法计算任一缺失点的值，缺失点常常因为散斑制作不清晰或采集偏差产生，通过距离缺失点最近的两点，/>估计缺失点的位置，假设/>是一条直线，通过已知的两点/>，选取拉格朗日插值法计算函数/>，/>，然后通过/>求出/>，以此来计算缺失点的值；

变形量分析：通过点对点距离以及坐标变化获取区域变形量以及应变量，点对点距离原理是“虚拟引伸计”通过两点之间的距离变化值计算两点之间的变形量，通过距离变化反应变形量的发展；求取两点之间的距离L以及变形前、后该两点之间的横坐标变形量ΔL,计算变化率ΔL/L，即应变量。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种基于机器视觉的塔筒焊缝监测方法，其特征在于，包括：

S1、利用图像采集装置获取塔筒焊缝区域的多个散斑图像；

S2、基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌；

S3、从所述塔筒焊缝区域的三维形貌中选择待分析区域及参考点；

S4、根据待分析区域中的点和参考点的距离以及坐标变化计算应变量。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S1之前，还包括：

在所述塔筒焊缝区域制作形成均匀的散斑，所述塔筒焊缝区域包括所述塔筒焊缝及其附近预设范围的塔筒表面。

3.根据权利要求1或2所述的方法，其特征在于，按照下述方式得到所述图像采集装置的标定参数：

将黑白棋盘标定板放置于所述塔筒焊缝的区域，采集所述黑白棋盘标定板在不同方向上的图片，得到标定散斑图像；

根据所述标定散斑图像，使用Harris角点检测算法提取棋盘格的角点坐标，计算得到所述图像采集装置的标定参数。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

基于所述图像采集装置的标定参数利用极线约束对齐所述多个散斑图像；

利用快速ZNCC方法计算所述多个散斑图像的相关系数；

基于相关系数曲面拟合方法实现所述多个散斑图像的相关性匹配，得到塔筒焊缝区域上各点的三维坐标信息；

基于所述各点的三维坐标信息重建塔筒焊缝区域的三维形貌。

5.根据权利要求4所述的方法，其特征在于，所述相关系数的计算方式如下：

；

其中，f和g分别代表参考子集与目标子集中某一点的灰度值，和/>表示参考子集与目标子集所有像素点的灰度值，所述参考子集和目标子集来自不同散斑图像。

6.根据权利要求4所述的方法，其特征在于，所述步骤S3具体包括：

从塔筒焊缝区域的三维形貌中选择待分析区域，对选定区域设置子集和步长；

选择所述待分析区域中的参考点；

使用插值法计算待分析区域中的缺失点。

7.根据权利要求6所述的方法，其特征在于，所述步骤S4具体包括：

求取两点之间的距离L以及变形前、后该两点之间的横坐标变形量ΔL,计算变化率ΔL/L，即应变量。

8.一种基于机器视觉的塔筒焊缝监测系统，其特征在于，包括：

图像采集装置，用于获取塔筒焊缝区域的多个散斑图像；

焊缝监测装置，与所述图像采集装置连接，用于基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌；从所述塔筒焊缝区域的三维形貌中选择待分析区域及参考点；根据待分析区域中的点和参考点的距离以及坐标变化计算应变量。

9.根据权利要求8所述的系统，其特征在于，所述图像采集装置包括均匀分布在塔筒焊缝区域四周的4个相机；

按照下述方式得到所述图像采集装置的标定参数：

将黑白棋盘标定板放置于所述塔筒焊缝的区域，采集所述黑白棋盘标定板在不同方向上的图片，得到标定散斑图像；根据所述标定散斑图像，使用Harris角点检测算法提取棋盘格的角点坐标，计算得到所述图像采集装置的标定参数。

10.根据权利要求8所述的系统，其特征在于，所述基于所述图像采集装置的标定参数对所述多个散斑图像进行立体匹配，得到塔筒焊缝区域的三维形貌包括：

基于所述图像采集装置的标定参数利用极线约束对齐所述多个散斑图像；

利用快速ZNCC方法计算所述多个散斑图像的相关系数；

基于相关系数曲面拟合方法实现所述多个散斑图像的相关性匹配，得到塔筒焊缝区域上各点的三维坐标信息；

基于所述各点的三维坐标信息重建塔筒焊缝区域的三维形貌。