CN109410272B - 一种变压器螺母识别与定位装置及方法 - Google Patents

Abstract

本公开揭示了一种变压器螺母识别与定位装置及方法。在变压器的正前方以及上方放置三维深度感知摄像头。红外散斑投射器投射散斑至变压器，IR摄像头接受红外散斑图像，进行预处理，运动匹配和后处理等操作得到深度图信息。两个摄像头采集处理之后的点云进行点云配准，与融合，添加rgb彩色信息实现三维重建，再进行目标物体检测，分割出识别的螺母三维模型，确定每个螺母(变压器高压侧和负载测)的位置信息。本发明通过识别确定变压器螺母的位置信息，便于工业化生产中利用。

Description

一种变压器螺母识别与定位装置及方法

技术领域

本发明涉及属于识别技术领域，特别涉及一种变压器螺母识别与定位装置及方法。

背景技术

随着人工智能技术发展，基于计算机视觉的测量方法越来越得到重视。计算机视觉的本质是实现二维图像到三维空间的重建，而基于计算机视觉的测量技术中关键的步骤就是获取目标物体的三维信息，近年来研究比较热门的深度感知技术为我们提供了获取三维信息的重要途径。通过该技术不仅获取重要参数信息还实现了三维重建，进而对物体的几何参数、位置信息进行更加精确的测量。

随着人工智能的火热，人工智能识别技术已经应用到了工业化生产等领域。智能化也在不断的发展，特别计算机视觉在工业化生产中占据着重要的位置，无论工业化生产中的机械物体抓取、还是目标物体检测都可以通过智能化实现。通过智能化的方式可以减少人工消耗，提高工业化生产效率。这也使得工业化趋向智能化。

发明内容

本发明的目的在于提供一种变压器螺母的识别与定位方法及装置，旨在通过智能化自动识别装置提高工业化生产效率。

本发明采用如下技术方案：一种变压器螺母识别与定位装置，所述装置包括：

红外散斑投射模块：用于投射散斑至变压器上；

图像采集模块：利用IR摄像头和RGB摄像头采集变压器的红外散斑图像序列和RGB彩色图像，并将采集的红外散斑图像序列发送至深度感知处理模块，将 RGB彩色图像发送给三维重建模块；

深度感知处理模块：用于将接收到的红外散斑图序列进行处理，得到显示效果平滑的深度图；

三维重建模块：用于将所述深度图进行处理得到点云数据，再将所述点云数据经过处理并添加RGB彩色图像形成三维模型；

目标识别模块：基于所述三维模型，对变压器中的螺母进行识别，确定所述螺母在空间中的实时位置信息，并将变压器中螺母的实时位置信息传递给PC端进行显示。

本发明还提供一种变压器螺母识别与定位方法，所述方法包括如下步骤：

S100、利用红外散斑投射模块投射散斑至变压器上方以及前方位置；

S200、利用变压器的上方前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和R6B彩色图像；

S300、对红外散斑图像序列进行图像处理得到显示效果平滑的深度图序列，将所述深度图序列与RGB彩色图像结合进行点云配准与融合得到三维模型；

S400、对场景中的变压器进行检测，识别出变压器的高压侧和负载侧的螺母，并对所述螺母位置信息进行定位，将得到的螺母位置信息传入PC端。

本发明通过实时检测识别场景中目标物体，达到精准定位的目的。

附图说明

图1本公开一个实施例中应用于变压器螺母识别与定位装置图；

其中6是变压器的主体，在变压器的上方和前方可以看到放有三维深度感知摄像头7，其中三维深度感知摄像头7包括：1红外散斑投射器，2 IR摄像头， 3 R6B摄像头，变压器主体6上包括高压侧的螺母5和低压侧的螺母4；

图2本公开一个实施例的整体流程框图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述，但不作为对本发明的限定。

图1是本发明应用于变压器螺母识别与定位装置图。基于三维深度感知摄像头。其中6是变压器的主体，在变压器的上方和前方可以看到放有三维深度感知摄像头7。其中三维深度感知摄像头7包括：1红外散斑投射器，2 IR摄像头， 3 RGB摄像头。变压器主体6上包括高压侧的螺母5和低压侧的螺母4。

在一个实施例中，本公开揭示了一种变压器螺母识别与定位装置，所述装置包括：

红外散斑投射模块：用于投射散斑至变压器上；

图像采集模块：利用IR摄像头和RGB摄像头采集变压器的红外散斑图像序列和RGB彩色图像，并将采集的红外散斑图像序列发送至深度感知处理模块，将 RGB彩色图像发送给三维重建模块；

深度感知处理模块：用于将接收到的红外散斑图序列进行处理，得到显示效果平滑的深度图；

三维重建模块：用于将所述深度图进行处理得到点云数据，再将所述点云数据经过处理并添加RGB彩色图像形成三维模型；

目标识别模块：基于所述三维模型，对变压器中的螺母进行识别，确定所述螺母在空间中的实时位置信息，并将变压器中螺母的实时位置信息传递给PC端进行显示。

在本实施例中，通过实时检测识别场景中变压器螺母的位置，达到对变压器螺母精准定位的目的。本实施例采用IR摄像头的帧率是30fps，通过实时获取图像帧，实时进行处理显示，达到实时性。

本实施例中利用目标识别模块得到螺母在空间中的位置(x，y，z)，然后在三维重建的模型中标出所识别出的螺母的世界位置信息(利用颜色信息)，最后能够在PC端看到并确定所标出的螺母的实时位置信息是否是所要识别的螺母位置信息。

在一个实施例中，所述图像采集模块包括上方采集模块和前方采集模块，所述上方采集模块利用IR摄像头和RGB摄像头采集变压器上方的红外散斑图序列和RGB彩色图像，所述前方采集模块利用IR摄像头和RGB摄像头采集变压器前方的红外散斑图序列和RGB彩色图像。

在一个实施例中，所述深度感知模块用于接收变压器上方和前方的红外散斑图像序列，并对所述红外散斑图像序列进行进行图像预处理、运动估计匹配及图像后处理，得到显示效果平滑的深度图；

所述图像预处理包括：将所述红外散斑图像序列转化成灰度散斑图序列；

运动估计匹配包括：将预处理后的灰度散斑图序列与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配得到深度图信息；

图像后处理包括：将所述深度图信息进行图像滤波去噪和图像分割，得到显示效果平滑的深度图信息。

在本实施例中，所述图像预处理、运动估计匹配、图像后处理中采用的图像处理方法均为现有的处理方法，此处不做限制。

在一个实施例中，所述三维重建模块利用空间坐标转换公式对所述深度图信息进行处理得到点云数据，再利用icp算法对所述点云数据进行点云配准，点云融合，并添加RGB信息形成三维模型。

在本实施例中，通过空间坐标转换公式得到空间点云坐标，采用icp算法进行点云配准，融合，

所述icp算法能够使不同的坐标下的点云数据合并到同一个坐标系统中， icp算法本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。

icp算法的目的是要找到待配准点云数据与参考云数据之间的旋转参数R和平移参数T，使得两点数据之间满足某种度量准则下的最优匹配。

icp算法具体步骤如下：

(1)、输入的两幅深度图像，分3层抽样，按照coarse-to-fine的方式配准，对于抽样后的点云做滤波。

(2)、通过原始深度图像计算点的三维坐标(用于点云的配准和融合)，通过滤波后的图像计算三维点云坐标(用于计算法向量)。

(3)、对于两幅点云计算匹配点。

(4)、根据匹配点极小化目标函数计算位姿。

(5)、目标函数误差小于一定值时，停止迭代，得到点云配准、点云融合的结果，否则进入步骤(3)。

在一个实施例中，所述图像识别模块用于对场景中变压器高压侧的3个螺母和低压侧的4个螺母进行识别。

在本实施例中，所述图像识别模块用于对变压器中的螺母进行识别，以完成工程上的需要，另外，所述图像识别模块还可用于其他相关部件的识别。

所述目标识别模块用于识别出螺母后在三维重建后的模型上显示标记出具体识别的的位置，保证实时检查识别出的位置的准确性。

在一个实施例中，本公开揭示了一种变压器螺母识别与定位方法，所述方法包括如下步骤：

S100、利用红外散斑投射模块投射散斑至变压器上方以及前方位置；

S200、利用变压器的上方前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和RGB彩色图像；

S300、对红外散斑图像序列进行图像处理得到显示效果平滑的深度图序列，将所述深度图序列与RGB彩色图像结合进行点云配准与融合得到三维模型；

S400、对场景中的变压器进行检测，识别出变压器的高压侧和负载侧的螺母，并对所述螺母位置信息进行定位，将得到的螺母位置信息传入PC端。

本实施例中所述的方法通过实时检测识别场景中变压器螺母的位置，达到对变压器螺母精准定位的目的。所述方法在变压器附近放置三维深度感知摄像头。红外散斑投射器投射散斑至变压器，IR摄像头接受红外散斑图像，进行预处理，运动匹配和后处理等操作得到深度图信息。两个摄像头采集处理之后的点云进行点云配准，与融合，添加rgb彩色信息实现三维重建，再进行目标物体检测，分割出识别的螺母三维模型，确定每个螺母(变压器高压侧和负载测)的位置信息。

在一个实施例中，所述步骤S300前还包括下述步骤：

S301、利用张氏标定法对变压器上方和前方的IR摄像头进行标定，标定出 IR摄像头和RGB摄像头的内外参数。

在本实施例中，还可使用下述方法对IR摄像头进行标定；

1)打印一张棋盘格，把它贴在一个平面上，作为标定物。

2)通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。

3)从照片中提取特征点(如角点)。

4)应用最小二乘法估算理想无畸变的情况下，IR摄像头的内参数和所有外参数。

在一个实施例中，所述步骤S300包括以下步骤：

S3001、对所述红外散斑图像序列进行进行图像预处理、运动估计匹配及图像后处理，得到显示效果平滑的深度图序列；

S3002、利用空间坐标转换公式对所述深度图序列进行处理得到点云数据；

S3003、利用icp算法及IR摄像头的内外参数对所述点云数据进行点云配准，点云融合，并添加RGB信息形成三维模型。

在本实施例中，所述icp算法能够使不同的坐标下的点云数据合并到同一个坐标系统中，icp算法本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。

icp算法的目的是要找到待配准点云数据与参考云数据之间的旋转参数R和平移参数T，使得两点数据之间满足某种度量准则下的最优匹配。

在一个实施例中，步骤S400中识别出变压器的高压侧和负载侧的螺母包括以下步骤：

S401、采用模板匹配进行螺母识别；

S402、根据螺母的形心在图像中的坐标位置，结合RGB摄像头的内参数K 及外参数R、T，计算出螺母形心的三维坐标，计算公式如下：

其中p_r＝[i_r，j_r，1]^T为检测到的形心的齐次坐标，其中Z^t是缩放因子p_r＝[X_r，Y_r，Z_r]^T为空间坐标。内参矩阵为：

在一个实施例中，所述步骤S401中模板匹配中的模板包括：模板库中存储的RGB彩色图像。

本实施例所述模板库中存储的RGB彩色图像是利用RGB摄像头提前采集好并存储起来的。

所述模板匹配包括将采集的rgb图像与模板中的图像转换为灰度图，以存储的灰度化处理之后图像为模板，对采集进行灰度化处理之后图像进行从左向右遍历搜索，计算搜索图与模板图的相似度，找到与中模板图相似度最高的子图即为最终匹配结果。

本公开揭示了一种变压器螺母识别与定位装置，如图1所示：包括红外散斑投射模块、图像采集模块、图像处理、目标识别模块定位模块。

其中，红外散斑投射模块：用于投射散斑至待测物体；

图像采集模块：分为上方采集模块和前方采集模块。用于采集变压器上方以及前方红外散斑图和RGB彩色图像，并将采集的rgb图和深度图信息通过通信接口发送至图像处理模块。

图像处理模块：用于最终形成三维模型图。在PC端实时进行显示。包括深度感知处理模块和三维重建模块。

其中，深度感知处理模块用于将接收到的红外散斑图像进行图像预处理、运

动估计匹配及图像后处理，得到显示效果平滑的深度图，并将显示效果平滑的深度图通过通信接口发送至图形显示模块；

三维重建模块用于将变压器上方和前方采集到的深度信息进行处理得到点云数据，再经过点云配准、点云融合拼接、添加RGB信息形成三维模型。

目标识别定位模块：用于将场景中变压器高压侧的3个螺母和低压侧的4 个螺母进行识别，确定其在空间中的具体位置。

在一个实施例中，如图2所示，一种变压器螺母的识别与定位方法，包括以下步骤：

S100、位于变压器上方和前方的三维深度感知摄像头的红外散斑投射器投射散斑至变压器；

S200、IR摄像头和RGB摄像头实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像；

S300、变压器上方摄像头得到的深度信息与变压器前方摄像头得到的深度信息进行处理得到点云数据。利用张氏标定法对两个摄像头进行标定，计算内外参数，进行点云配准、融合，并将RGB彩色图像经过坐标转换添加至三维模型形成 rgb彩色三维模型。具体步骤：

S301、利用张氏标定法对上方和前方三维深度感知摄像头的IR摄像头进行标定。标定出内参K和外参R和T；

S302、上方和前方摄像头采集深度信息进行处理得到点云数据；

S303、点云配准与融合，将上方摄像头采集处理的数据和前方摄像头采集处理的点云数据进行配准与融合到同一坐标系。添加RGB信息，形成三维模型并显示在PC端；

S400、进行场景中目标识别定位，识别定位出变压器高压侧和低压侧每个螺母、并且计算出每个螺母在空间中的具体位置。具体实现步骤如下：

S401、采用模板匹配的方法进行螺母识别。其中模板的获取根据实际情况提前获取RGB图，并且存储至模板库中。实时测量中变压器上方摄像头进行识别。

S402、目标定位。选用目标边缘形心位置进行定位。a)灰度变化、图像增强， b)使用canny算子进行边缘检测，c)进行膨胀或腐蚀去除噪声的影响，d)提取目标区域，e)获取目标的形心位置。根据形心在图像坐标位置，结合标定参数，计算出形心的三维坐标。其中应用到的计算公式如下：

其中p_r＝[i_r，j_r，1]^T为检测到的形心的齐次坐标，其中Z^t是缩放因子p_r＝[X_r，Y_r，Z_r]^T为空间坐标。内参矩阵为：

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种变压器螺母识别与定位装置，其特征在于，所述装置包括：

红外散斑投射模块：用于投射散斑至变压器的上方以及前方位置；

图像采集模块：利用变压器的上方及前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和RGB彩色图像，并将采集的红外散斑图像序列发送至深度感知处理模块，将RGB彩色图像发送给三维重建模块；

深度感知处理模块：用于将接收到的红外散斑图序列进行处理，得到显示效果平滑的深度图；

三维重建模块：用于将所述深度图进行处理得到点云数据，再将所述点云数据经过处理，并添加RGB彩色图像形成三维模型；

目标识别模块：基于所述三维模型，对变压器中的螺母进行识别，确定所述螺母在空间中的实时位置信息，并将变压器中螺母的实时位置信息传递给PC端进行显示。

2.根据权利要求1所述的装置，其特征在于：所述图像采集模块包括上方采集模块和前方采集模块；所述上方采集模块利用IR摄像头和RGB摄像头采集变压器上方的红外散斑图像序列和RGB彩色图像，所述前方采集模块利用IR摄像头和RGB摄像头采集变压器前方的红外散斑图像序列和RGB彩色图像。

3.根据权利要求2所述的装置，其特征在于：所述深度感知处理模块用于接收变压器上方和前方的红外散斑图像序列，并对所述红外散斑图像序列进行图像预处理、运动估计匹配及图像后处理，得到显示效果平滑的深度图；

所述图像预处理包括：将所述红外散斑图像转化成灰度散斑图序列；

运动估计匹配包括：将图像预处理后的灰度散斑图序列与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配得到深度图信息；

图像后处理包括：将所述深度图信息进行图像滤波去噪和图像分割，得到显示效果平滑的深度图信息。

4.根据权利要求3所述的装置，其特征在于：所述三维重建模块利用空间坐标转换公式对所述深度图信息进行处理得到点云数据，再利用icp算法对所述点云数据进行点云配准，点云融合，并添加RGB信息形成三维模型。

5.根据权利要求1所述的装置，其特征在于：所述目标识别模块用于对场景中变压器高压侧的3个螺母和低压侧的4个螺母进行识别。

6.一种利用权利要求1至5任一所述变压器螺母识别与定位装置对变压器螺母识别与定位的方法，其特征在于：所述方法包括如下步骤：

S100、利用红外散斑投射模块投射散斑至变压器上方以及前方位置；

S200、利用变压器的上方及前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和RGB彩色图像；

S300、对红外散斑图像序列进行图像处理得到显示效果平滑的深度图序列，将所述深度图序列进行点云配准与融合后，与RGB彩色图像结合得到三维模型；

S400、对场景中的变压器进行检测，识别出变压器的高压侧和负载侧的螺母，并对所述螺母位置信息进行定位，将得到的螺母位置信息传入PC端。

7.根据权利要求6所述的方法，其特征在于，所述步骤S300前还包括下述步骤：

S301、利用张氏标定法对变压器上方和前方的IR摄像头和RGB摄像头进行标定，标定出IR摄像头和RGB摄像头的内外参数。

8.根据权利要求7所述的方法，其特征在于：所述步骤S300包括以下步骤：

S3001、对所述红外散斑图像序列进行图像预处理、运动估计匹配及图像后处理，得到显示效果平滑的深度图序列；

S3002、利用空间坐标转换公式对所述深度图序列进行处理得到点云数据；

S3003、利用icp算法及IR摄像头的内外参数对所述点云数据进行点云配准，点云融合，并添加RGB信息形成三维模型。

Images