CN116402723B - 集成机器人平台的紫外成像检测系统 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，提出了集成机器人平台的紫外成像检测系统，包括：获取紫外图像和可见光图像；得到图像块，获取图像块的局部对比直方图；根据局部对比直方图得到图像块的块显著度以及分解层数；获取图像块内每个像素点的局部序列；根据局部序列得到像素点的块内轴线距离；基于此获取轴线距离并获得紫外分布图和可见光分布图；获取紫外分布图和可见光图像的圆形窗口，根据圆形窗口内像素点的轴线距离获得分布差异度；根据分布差异度得到同距离差异度；根据同距离差异度得到每个像素点的融合权重；根据分解层数和融合权重获取融合图像，根据融合图像进行成像检测。本发明提高后续图像融合的精度以及紫外检测的准确率。

Description

集成机器人平台的紫外成像检测系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及集成机器人平台的紫外成像检测系统。

背景技术

紫外成像检测技术作为新兴技术，广泛应用在高压电力设备电晕、电力设备电弧、高压变电站输电线路维护等领域中。紫外成像检测技术能够完成导线外伤、高压设备的破损位置、绝缘缺陷位置等多种类型的检测任务，具有抗干扰强、定位精度高、检测时不影响电力设备正常运行等优点。

传统紫外传感器基于硅基等刚性衬底造成的体积大、不能弯曲的缺陷，现阶段通常是将柔性紫外传感与机器人的视觉装置联合使用。集成机器人具有控制柔顺、更多自由度、更高灵敏度的优点在众多领域内广泛使用，能够实现紫外成像检测的远程控制和实时检测。除此之外，在低辐射照度的条件下会产生各种噪声，例如荧光屏颗粒噪声、转换噪声等；在进行紫外成像检测时紫外光会发生散射现象，上述这些因素会导致输出图像的质量下降或者在紫外成像仪的显示器中出现多个小面积的紫外光斑，影响对检测结果准确性，且使用不同的高频系数或者低频系数重构时发生重叠区域不连续以及过渡不自然的问题。

发明内容

本发明提供集成机器人平台的紫外成像检测系统，以解决使用不同的高频系数或者低频系数重构时发生重叠区域不连续以及过渡不自然的问题，所采用的技术方案具体如下：

本发明一个实施例提供了集成机器人平台的紫外成像检测系统，该系统包括以下模块：

图像采集模块，获取紫外图像和可见光图像；

分解层数获取模块，将紫外图像分块和可见光图像得到若干图像块，获取每个图像块的轴线以及不同亮度值对应的直线，将亮度值以及直线构成局部对比直方图；获取每个图像块轴线和其余直线的DTW距离，根据不同图像块局部对比直方图得到图像块的对比信息度；根据图像块的信息对比度以及DTW距离得到图像块的块显著度；获取预设的分解层数初始值，根据块显著度以及分解层数初始值得到分解层数；

距离分布图获取模块，获取图像块内每个像素点的局部序列；根据每个像素点的局部序列以及到轴线的欧氏距离得到像素点的块内轴线距离；获取有效图像块，根据有效图像块像素点的局部序列和块内轴线距离得到图像块每个像素点的轴线距离；根据轴线距离获得紫外分布图和可见光分布图；

融合权重获取模块，获取紫外分布图和可见光图像的圆形窗口，根据圆形窗口内像素点的轴线距离以及圆形窗口内像素点的数量获得每个像素点在不同半径下的分布差异度；根据每个像素点在不同半径下的分布差异度得到每个像素点的同距离差异度；根据同距离差异度得到每个像素点的融合权重；

紫外成像检测模块，根据图像块的分解层数和融合权重对紫外图像和可见光图像处理得到融合图像，根据融合图像进行模板匹配完成成像检测。

优选的，所述图像块的轴线为图像块进行Radon变换后亮度最大值对应的直线。

优选的，所述将亮度值以及直线构成局部对比直方图的方法为：

将不同亮度值作为一个亮度级，将局部对比直方图的横坐标为亮度级，每个亮度级对应若干直线，将每个亮度级对应的直线的数量作为局部对比直方图的纵坐标。

优选的，所述根据不同图像块局部对比直方图得到图像块的对比信息度的方法为：

计算每个图像块的局部对比直方图其余图像块对应的局部对比直方图的巴氏距离，将所得到的所有巴氏距离求均值作为每个图像块的信息对比度。

优选的，所述获取图像块内每个像素点的局部序列的方法为：

将图像块内每个像素点的八邻域像素点记为邻域像素点，获取邻域像素点的LBP值，计算每个邻域像素点到轴线的欧氏距离，根据欧式距离从小到大的顺序将邻域像素点的LBP值排序得到局部序列。

优选的，所述根据每个像素点的局部序列以及到轴线的欧氏距离得到像素点的块内轴线距离的方法为：

式中，表示第i个图像块内第f个目标像素点的局部序列，/>表示第i个图像块内轴线上第b个目标像素点的局部序列，/>表示皮尔逊相关系数，/>表示第i个图像块的第f个目标像素点到轴线的欧氏距离，/>表示第i个图像块内的轴线上像素点的数量，表示第i个图像块的第f个目标像素点的块内轴线距离。

优选的，所述根据圆形窗口内像素点的轴线距离以及圆形窗口内像素点的数量获得每个像素点在不同半径下的分布差异度的方法为：

式中，表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内的第q个像素点的轴线距离，/>表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内所有像素点轴线距离的均值，/>表示可见光分布图中以第p个像素点为中心，以r为半径的圆形窗口内的第q个像素点的轴线距离，/>表示可见光分布图中以第p个像素点为中心，以r为半径的圆形窗口内所有像素点轴线距离的均值，/>表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内像素点的数量，/>表示第p个像素点在r距离下的分布差异度。

本发明的有益效果是：本发明提出一种集成机器人平台的紫外成像检测系统，通过紫外图像、可见光图像中图像块的Radon变换结果构建块显著度，块显著度考虑了每个图像块内不同直线上像素点的分布特征，其有益效果在于基于图像块之间的局部对比度评估紫外图像中的不同区域内信息量的大小自使用获取对应的分解层数。其次根据不同图像块内轴线像素点与非轴线像素点的局部序列构建同距离差异度，同距离差异度考虑了相同空间位置像素点在不同距离分布图中分布特征的差异，其有益效果在于能够避免使用不同的高频系数或者低频系数重构时发生重叠区域不连续以及过渡不自然的问题，提高后续图像融合的精度以及紫外检测的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的集成机器人平台的紫外成像检测系统的流程示意图；

图2为图像块的局部对比直方图示意图；

图3为图像块的距离分布图示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例提供的集成机器人平台的紫外成像检测系统流程图，该系统包括：图像采集模块、分解层数获取模块、距离分布图获取模块、融合权重获取模块、紫外成像检测模块。

图像采集模块，根据高压电路传输线的高度设置集成机器人的视觉角度，使得集成机器人的拍摄范围能够覆盖传输线，所述集成机器人视觉系统分别搭载紫外CCD相机、可见光CCD相机，分别用于采集高压电路传输线的紫外图像、可见光图像。本实施例中控制集成机器人在检测范围内沿着高压电路传输方向实时巡视，为了消除采集过程中的噪声干扰，提高所获图像质量，利用双边滤波技术对所获紫外图像、可见光图像进行去噪处理，双边滤波去噪为公知技术，具体过程不再赘述。其次将去噪后的紫外图像和可见光图像进行灰度化，将灰度化后的紫外图像、可见光图像。

至此，获得了紫外图像和可见光图像。

分解层数获取模块，紫外图像检测的原理为：在发生外绝缘局部放电过程中，周围气体被击穿而电离，气体电离后的放射光波的频率与气体的种类有关，空气中的主要成分是氮气，氮气在局部放电的作用下电离，电离的氮原子在复合时发射的光谱（波长λ=280~400nm）主要落在紫外光波段，将处理后的紫外图像与可见光图像叠加，从而确定电晕位置和强度。

因此在紫外图像中放电区域和噪声点亮度信息明显大于其余区域，且紫外图像中真实的放电点只出现在缺陷设备附近的局部邻域内，即电晕放电只会发生在输电线附近局部范围内，即紫外图像中灰度信息熵较大的局部区域有可能是放电点的位置，除此之外，像素点的灰度值越大，放电强度可能越大。

对于可见光图像而言，输电线中发生局部放电现象，相应的输电线表面附着异物，例如粉尘、铁丝等，或者输电线表面出现了缺陷，例如毛刺、凸起等，这些缺陷部位的局部场强将会增强，有可能成为线路的起晕部位。即可见光图像中局部纹理复杂度较高的区域，是有可能发生局部放电的起晕部位。

本实施例对紫外图像和可见光图像进行分块处理，首先使用canny边缘检测算法获取紫外图像的边缘图，将边缘图划分成k个大小为n*n的图像块，在本实施例中，令边缘图划分的图像块数量为100个。对每个图像块进行Radon变换，获取每个图像块的Radon变换结果中的亮度最大值对应的直线，将第i个图像块Radon变换后的亮度最大值对应的直线记为轴线，将其余亮度值从大到小排列，获取每个亮度值对应的直线，Radon变换为公知技术，具体过程不再赘述。通过DTW算法计算每个图像块内轴线和其余每条直线的DTW距离，将该距离作为图像块内轴线和其余每条直线的差异度。

对于每个图像块，统计经过Radon变换后，图像块内每条直线的亮度值，将直线的亮度值和直线的数量构成一个局部对比直方图，其中局部对比直方图的横坐标为亮度级，纵坐标为每个亮度级对应的直线数量，如图2所示，获取任意两个图像块的局部对比直方图的巴氏距离作为两个图像块的信息比，巴氏距离为公知技术，在此不多做赘述。根据图像块之间的巴氏距离计算每个图像块的信息对比度，公式如下：

式中，是第i个图像块的信息对比度，k是图像U中的图像块数量，j是图像u中的第j个图像块，/>是第i个图像块对应的局部对比度直方图，/>是第j个图像块对应的局部对比度直方图。

根据每个图像块的信息对比度以及每个图像块内轴线与其余每条直线的差异度的方差得到每个图像块的块显著度，公式如下：

式中，是第i个图像块的信息对比度，/>是第i个图像块中轴线和第a条直线的差异度，/>表示第i个图像块内轴线和其余直线的差异度的方差，/>表示第i个图像块的块显著度。

块显著度反映了每个图像块在紫外图像中的显著程度。图像块内的细节复杂度越高，图像块内直线上像素点的信息差异越大，的值越大；第i个图像块内发生局部放电的可能性越大，第i个图像块与第j个图像块中的信息对比度越大，图像块之间的局部对比度直方图差异越大，/>的值越大，第i个图像块内不同直线上像素点的分布差异越大，/>的值越大，即/>的值越大，第i个图像块中的信息量越多，第i个图像块内的细节信息越多，对应的分解层数应该越多。

块显著度考虑了每个图像块内不同直线上像素点的分布特征，其有益效果在于基于图像块之间的局部对比度评估紫外图像中的不同区域内信息量的大小获取对应的分解层数。

根据图像块的块显著度分别计算紫外头像和可见光图像每个图像块的分解层数，以紫外图像为例，公式如下：

式中，是分解层数的初始值，本实施例中，/>的大小取经验值4，/>、/>分别是紫外图像中图像块的块显著度的最大值、最小值，g()是取整函数，它的含义是对括号内的参数四舍五入取整，/>是紫外图像中所有图像块的块显著度的均值，/>是第i个图像块的块显著度。

同理，针对可见光图像使用同样的方式获得每个图像块的块显著度和分解层数。

至此，获得了可见光图像和紫外图像每个图像块的块显著度和分解层数。

距离分布图获取模块，如果输电线上某个位置发生局部放电现象，由于局部放电方向的不稳定性，在紫外图像和可见光图像的图像块中对应局部放电点所在轴线的斜率将会在一定范围内波动，即存在真实放电点的图像块分布在输电线所在图像块的邻域范围内，因此本实施例中通过判断块显著度较大的图像块是否在输电线范围内，以紫外头像为例，筛选得到紫外图像中真实的放电区域。

具体的，根据Radon变换得到每个图像块中的轴线在图像块中对应的是图像块中灰度值累加结果最大的直线，该直线对应的图像块中的所有像素点为疑似放电区域，获取每个图像块中的轴线，若轴线与输电线之间的相对距离在一个较小值，那么在分解融合的过程中轴线上像素点的邻域内有可能包含更多的图像信息。获取图像块内每个像素点的八邻域像素点记为邻域像素点，使用LBP算法获取邻域像素点的LBP值，计算每个邻域像素点到轴线的欧氏距离，按照欧式距离从小到大将每个像素点的邻域像素点的LBP值进行排序得到一个序列，由此得到了图像块内每个像素点的局部序列。指的说明的是，若邻域像素点与轴线的欧式距离相等，则邻域像素点与轴线上最短距离对应的像素点灰度差值较小的点排在序列前面。

获取每个图像块内轴线上像素点的数量，将轴线上的像素点记为轴线像素点，将图像块内的每个像素点记为目标像素点，对于每个目标像素点，计算目标像素点对应的局部序列与每个轴线像素点对应的局部序列的皮尔逊相关系数，皮尔逊相关系数为公知技术，具体过程不再赘述，基于此得到目标像素点的块内轴线距离，公式如下：

式中，表示第i个图像块内第f个目标像素点的局部序列，/>表示第i个图像块内轴线上第b个目标像素点的局部序列，/>表示皮尔逊相关系数，/>表示第i个图像块的第f个目标像素点到轴线的欧氏距离，/>表示第i个图像块内的轴线上像素点的数量，表示第i个图像块的第f个目标像素点的块内轴线距离。

计算紫外图像所有图像块的块显著度的均值，将块显著度大于均值的图像块记为有效图像块，对于有效图像块，根据所得到的目标像素点的块内轴线距离以及目标像素点和其余所有目标像素点的局部序列得到目标像素点的轴线距离，公式如下：

式中，表示第i个图像块内第f个目标像素点的局部序列，/>表示第o个有效图像块内第c个目标像素点的局部序列，/>表示第o个有效图像块内像素点的数量，/>表示第i个图像块的第f个目标像素点的块内轴线距离，/>表示皮尔逊相关系数，/>表示第i个图像块的第f个目标像素点的轴线距离。

的值越大，目标像素点f与紫外图像内有效图像块内轴线上像素点的局部特征越相似，轴线距离越小。

根据上述步骤，分别获取紫外图像中的每个像素点的轴线距离，其次利用轴线距离替换紫外图像中像素点的灰度值，将替换后的图像记为距离分布图，距离分布图中第i个图像块对应的结果如图3所示。构建距离分布图的有益效果在于考虑了高压电路传输线上局部放电现象或者电晕现象的方向不稳定的特点，通过与轴线上像素点局部序列相似程度得到像素点的局部特征的重要性，便于消除后续图像融合时的重叠区域不连续的问题。

至此，获得了紫外图像和可见光图像的距离分布图，分别记为紫外分布图和可见光分布图。

融合权重获取模块，根据紫外图像和可见光图像中相同空间位置的像素点在距离紫外分布图和可见光分布图中的分布差异评估像素点是否应该成为融合图像中重叠区域内的像素点。即将同一个像素点的空间位置，将该位置在紫外分布图上的距离与可见光分布图的距离差异得到该位置在两张距离分布图上的分布差异。若像素点的位置在距离分布图中的分布差异较小，说明该像素点的图像特征较为稳定，成为融合图像中重叠区域内像素点的可能性应该越大；如果像素点的位置在距离分布图中的分布差异较大，说明该像素点的图像信息并不稳定，该像素点大概率是背景像素点或者孤立的噪声点。

具体的，以紫外分布图中的每个像素点为中心得到不同半径的圆形窗口，得到圆形窗口中所有像素点轴线距离的均值，以可见光分布图中的每个像素点为中心得到不同半径的圆形窗口，得到圆形窗口中所有像素点轴线距离的均值，基于紫外分布图和可见光分布图中像素点轴线距离与轴线距离均值的差异得到每个像素点在不同半径下的分布差异度，公式如下：

式中，表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内的第q个像素点的轴线距离，/>表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内所有像素点轴线距离的均值，/>表示可见光分布图中以第p个像素点为中心，以r为半径的圆形窗口内的第q个像素点的轴线距离，/>表示可见光分布图中以第p个像素点为中心，以r为半径的圆形窗口内所有像素点轴线距离的均值，/>表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内像素点的数量，/>表示第p个像素点在r距离下的分布差异度。值得说明的是，在本实施例中，只要圆形窗口包含像素点的一部分，即认为该像素点在圆形窗口中。

给出的预设半径的阈值为K，在本实施例中K为9，基于每个像素点在不同半径距离下的分布差异度得到每个像素点的同距离差异度，公式如下：

式中，表示第p个像素点在r距离下的分布差异度，/>表示预设半径的阈值，/>表示第p个像素点的同距离差异度。

同距离差异度反映了紫外分布图、可见光分布图中空间位置相同的像素点的分布特征。在两幅距离分布图中，像素点与窗口区域内像素点的分布越相似，与/>的值越接近，/>的值越接近于0，在一定距离范围K内，像素点p在紫外分布图、可见光分布图中的分布情况越稳定，/>的值越小，像素点p越应该在融合后的重叠区域内。同距离差异度考虑了相同空间位置像素点在不同距离分布图中分布特征的差异，其有益效果在于能够避免使用不同的高频系数或者低频系数重构时发生重叠区域不连续以及过渡不自然的问题。

计算每个像素点的同距离差异度后，将图像中所有像素点的同距离差异度累加比上每个像素点的同距离差异度得到每个像素点的融合权重，公式如下：

式中，表示图像中第u个像素点的同距离差异度，/>表示图像中第p个像素点的同距离差异度，/>表示可见光图像和紫外图像的像素点数量，/>表示图像中第p个像素点的融合权重。

至此，获取了紫外图像或可见光图像每个像素点的融合权重。

紫外成像检测模块，根据上述步骤获取小波变换分解紫外图像以及可见光图像时不同图像块的分解层数，将融合权重作为紫外图像和可见光图像进行不同分解结果融合时的权重，基于小波逆变换得到紫外图像和可见光图像的融合图像，小波变换、小波逆变换为公知技术，具体过程不再赘述。

集成机器人在实时巡视过程中通过视觉系统采集得到高压电路传输线的紫外图像、可见光图像得到融合图像，其次利用BBS模板匹配算法将融合图像与模板图像进行匹配，BBS模板匹配算法为公知技术，具体过程不再赘述，将匹配结果传输值集成机器人的内置屏幕，检测人员通过内置屏幕的匹配信息对高压电路传输线中的隐患位置进行实地检测和维修。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.集成机器人平台的紫外成像检测系统，其特征在于，该系统包括以下模块：

图像采集模块，获取紫外图像和可见光图像；

分解层数获取模块，将紫外图像分块和可见光图像得到若干图像块，获取每个图像块的轴线以及不同亮度值对应的直线，将亮度值以及直线构成局部对比直方图；获取每个图像块轴线和其余直线的DTW距离，根据不同图像块局部对比直方图得到图像块的对比信息度；根据图像块的对比信息度以及DTW距离得到图像块的块显著度；获取预设的分解层数初始值，根据块显著度以及分解层数初始值得到分解层数；

距离分布图获取模块，获取图像块内每个像素点的局部序列；根据每个像素点的局部序列以及到轴线的欧氏距离得到像素点的块内轴线距离；获取有效图像块，根据有效图像块像素点的局部序列和块内轴线距离得到图像块每个像素点的轴线距离；根据轴线距离获得紫外分布图和可见光分布图；

融合权重获取模块，获取紫外分布图和可见光图像的圆形窗口，根据圆形窗口内像素点的轴线距离以及圆形窗口内像素点的数量获得每个像素点在不同半径下的分布差异度；根据每个像素点在不同半径下的分布差异度得到每个像素点的同距离差异度；根据同距离差异度得到每个像素点的融合权重；

紫外成像检测模块，根据图像块的分解层数和融合权重对紫外图像和可见光图像处理得到融合图像，根据融合图像进行模板匹配完成成像检测；

所述图像块的轴线为图像块进行Radon变换后亮度最大值对应的直线；

所述根据不同图像块局部对比直方图得到图像块的对比信息度的方法为：

计算每个图像块的局部对比直方图其余图像块对应的局部对比直方图的巴氏距离，将所得到的所有巴氏距离求均值作为每个图像块的对比信息度；

所述根据每个像素点的局部序列以及到轴线的欧氏距离得到像素点的块内轴线距离的方法为：

式中，表示第i个图像块内第f个目标像素点的局部序列，/>表示第i个图像块内轴线上第b个目标像素点的局部序列，/>表示皮尔逊相关系数，/>表示第i个图像块的第f个目标像素点到轴线的欧氏距离，/>表示第i个图像块内的轴线上像素点的数量，/>表示第i个图像块的第f个目标像素点的块内轴线距离。

2.根据权利要求1所述的集成机器人平台的紫外成像检测系统，其特征在于，所述将亮度值以及直线构成局部对比直方图的方法为：

将不同亮度值作为一个亮度级，将局部对比直方图的横坐标为亮度级，每个亮度级对应若干直线，将每个亮度级对应的直线的数量作为局部对比直方图的纵坐标。

3.根据权利要求1所述的集成机器人平台的紫外成像检测系统，其特征在于，所述获取图像块内每个像素点的局部序列的方法为：

将图像块内每个像素点的八邻域像素点记为邻域像素点，获取邻域像素点的LBP值，计算每个邻域像素点到轴线的欧氏距离，根据欧式距离从小到大的顺序将邻域像素点的LBP值排序得到局部序列。

4.根据权利要求1所述的集成机器人平台的紫外成像检测系统，其特征在于，所述根据圆形窗口内像素点的轴线距离以及圆形窗口内像素点的数量获得每个像素点在不同半径下的分布差异度的方法为：

式中，表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内的第q个像素点的轴线距离，/>表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内所有像素点轴线距离的均值，/> 表示可见光分布图中以第p个像素点为中心，以r为半径的圆形窗口内的第q个像素点的轴线距离，/>表示可见光分布图中以第p个像素点为中心，以r为半径的圆形窗口内所有像素点轴线距离的均值，/>表示紫外分布图中以第p个像素点为中心，以r为半径的圆形窗口内像素点的数量，/>表示第p个像素点在r距离下的分布差异度。