CN113610846B - 一种基于人工智能的管状零件内侧异常检测方法及系统 - Google Patents

一种基于人工智能的管状零件内侧异常检测方法及系统 Download PDF

Info

Publication number
CN113610846B
CN113610846B CN202111147644.XA CN202111147644A CN113610846B CN 113610846 B CN113610846 B CN 113610846B CN 202111147644 A CN202111147644 A CN 202111147644A CN 113610846 B CN113610846 B CN 113610846B
Authority
CN
China
Prior art keywords
tubular part
abnormal
image
gray
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111147644.XA
Other languages
English (en)
Other versions
CN113610846A (zh
Inventor
刘秋红
赖罗灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haimen Boyang Foundry Co ltd
Original Assignee
Haimen Boyang Foundry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haimen Boyang Foundry Co ltd filed Critical Haimen Boyang Foundry Co ltd
Priority to CN202111147644.XA priority Critical patent/CN113610846B/zh
Publication of CN113610846A publication Critical patent/CN113610846A/zh
Application granted granted Critical
Publication of CN113610846B publication Critical patent/CN113610846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人工智能的管状零件内侧异常检测方法及系统，属于零件异常检测技术领域。方法包括以下步骤：利用拼接算法对映射图像进行拼接，得到管状零件内侧拼接图像；将拼接图像输入到异常检测网络，得到管状零件内侧的各异常区域；根据各异常区域，得到管状零件内侧各异常区域的面积指标；根据各异常区域内像素点的灰度值，得到管状零件内侧各异常区域的灰度差异指标；根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标，得到管状零件内侧的异常程度。本发明利用拼接图像能够从整体反应管状零件存在的异常情况，也能相对准确的得到管状零件内侧区域整体异常程度的状况。

Description

一种基于人工智能的管状零件内侧异常检测方法及系统
技术领域
本发明涉及零件异常检测技术领域，具体涉及一种基于人工智能的管状零件内侧异常检测方法及系统。
背景技术
在现代制造业中管状零件具有很重要的地位，由于管状零件内部容易出现腐蚀老化等异常问题，这些异常问题严重时可能会引起不可估量的事故和后果；但是由于其位置的原因，使管状零件内侧出现的异常问题多被忽略；例如红雁池事故，事故中其发电站的主蒸汽输送管道突发爆炸断裂，爆炸断裂的原因就是管道内部长期受到蒸汽的冲击作用而产生了裂纹等异常问题，最终导致了事故的发生；因此对于管状零件内侧异常检测至关重要。
现有技术中对于管状零件内侧异常检测多为人工接触式检测和超声波检测，在人工接触式检测过程中由于管状零件不易拿取因此会存在零件表面出现损伤以及刮痕等现象，又因为管状零件内侧异常位置不易于人工观测，所以也会出现大量错检以及误检等现象；而对于超声波检测的方法，由于检测过程中需要耦合剂以及干扰因素过多，因此会存在局限性较大、深管零件和小管零件出现检测操作难度大的问题。
发明内容
本发明提供一种基于人工智能的管状零件内侧异常检测方法及系统，用于解决现有不能准确检测管状零件内侧异常的问题，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于人工智能的管状零件内侧异常检测方法及系统包括以下步骤：
（1）获取多帧管状零件内侧局部图像，所述管状零件内侧局部图像是通过相机采集圆锥反光镜反射的虚像得到的，所述圆锥反光镜设置在管状零件内；
（2）将各管状零件内侧局部图像中的各像素点映射到矩形空白图像上，得到各管状零件内侧局部图像对应的映射图像；
（3）利用拼接算法对所述映射图像进行拼接，得到管状零件内侧拼接图像；
（4）将所述拼接图像输入到异常检测网络，得到管状零件内侧的各异常区域；
（5）根据所述各异常区域，得到管状零件内侧各异常区域的面积指标；根据各异常区域内像素点的灰度值，得到管状零件内侧各异常区域的灰度差异指标；
（6）根据所述管状零件内侧各异常区域的面积指标和所述管状零件内侧各异常区域的灰度差异指标，得到管状零件内侧的异常程度。
本发明还提供了一种基于人工智能的管状零件内侧异常检测系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述的一种基于人工智能的管状零件内侧异常检测方法。
本发明利用拼接算法对所述映射图像进行拼接，得到管状零件内侧拼接图像，该拼接图像相较于各管状零件内侧拼接图像更能够从整体反应管状零件内侧可能存在的异常情况；将拼接图像输入到异常检测网络，得到管状零件内侧各异常区域；根据各异常区域，得到管状零件内侧各异常区域的面积指标；根据各异常区域内像素点的灰度值，得到管状零件内侧各异常区域的灰度差异指标；根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标，得到管状零件内侧的异常程度。本发明将各异常区域作为得到面积指标的依据，将异常区域内像素点的灰度值作为得到灰度差异指标的依据，又将面积指标和灰度差异指标作为得到管状零件内侧异常程度的依据，能够相对准确的得到管状零件内侧区域整体异常程度的状况。
优选的，在步骤（1）之前，还包括对相机进行位姿调整的步骤：
获取相机在当前位姿下的图像记为测验图像，并得到测验图像的圆心坐标；
利用霍夫变换得到管状零件截面圆的圆心坐标；
根据所述测验图像的圆心坐标和所述管状零件截面圆的圆心坐标，得到测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离和垂直距离，以及相机的偏移距离；
根据所述水平距离和垂直距离，得到相机的偏移角度；
根据所述偏移距离和偏移角度对相机进行位姿调整。
优选的，得到各管状零件内侧局部图像对应的映射图像的方法，包括：
根据如下公式计算各管状零件内侧局部图像对应的映射图像中各像素点的坐标：
Figure 100002_DEST_PATH_IMAGE002
Figure 100002_DEST_PATH_IMAGE004
其中，
Figure 100002_DEST_PATH_IMAGE006
为管状零件内侧局部图像中圆心的横坐标，
Figure 100002_DEST_PATH_IMAGE008
管状零件内侧局部图像中圆心的纵坐标，
Figure 100002_DEST_PATH_IMAGE010
为管状零件内侧局部图像中第
Figure 100002_DEST_PATH_IMAGE012
个像素点的横坐标，
Figure 100002_DEST_PATH_IMAGE014
为管状零件内侧局部图像中第
Figure 26223DEST_PATH_IMAGE012
个像素点的纵坐标，
Figure 100002_DEST_PATH_IMAGE016
为管状零件内侧局部图像中第
Figure 499055DEST_PATH_IMAGE012
个像素点的横坐标映射到对应的映射图像中的像素点的横坐标，
Figure 100002_DEST_PATH_IMAGE018
为管状零件内侧局部图像中第
Figure 714181DEST_PATH_IMAGE012
个像素点纵坐标映射到对应的映射图像中的像素点的纵坐标，
Figure 100002_DEST_PATH_IMAGE020
为管状零件内侧局部图像的半径。
优选的，在步骤（3）之后，步骤（4）之前，还包括对管状零件内侧拼接图像处理的步骤：
判断拼接图像中的像素点的位置是否处于两个映射图像拼接的重叠区域；
当像素点的位置处于两个映射图像拼接的重叠区域时，根据如下公式计算像素点的灰度值：
Figure 100002_DEST_PATH_IMAGE022
其中，为重叠区域中任意像素点，
Figure 100002_DEST_PATH_IMAGE024
为像素点
Figure 100002_DEST_PATH_IMAGE026
的横坐标，
Figure 100002_DEST_PATH_IMAGE028
为像素点
Figure 416338DEST_PATH_IMAGE026
的纵坐标，为拼接图像中像素点
Figure 839360DEST_PATH_IMAGE026
的灰度值，
Figure 100002_DEST_PATH_IMAGE030
为两个映射图像拼接的重叠区域的长度，
Figure 100002_DEST_PATH_IMAGE032
为像素点
Figure 850522DEST_PATH_IMAGE026
在两个映射图像拼接中的其中一个映射图像中的灰度值，
Figure 100002_DEST_PATH_IMAGE034
为像素点
Figure 779426DEST_PATH_IMAGE026
到两个映射图像拼接中的其中一个映射图像右边界的距离，
Figure 100002_DEST_PATH_IMAGE036
为像素点
Figure 152900DEST_PATH_IMAGE026
在两个映射图像拼接中的另外一个映射图像中的灰度值，
Figure 100002_DEST_PATH_IMAGE038
为像素点
Figure 458242DEST_PATH_IMAGE026
到两个映射图像拼接中的另外一个映射图像左边界的距离。
优选的，得到管状零件内侧的异常程度的方法，包括：
根据如下公式计算管状零件内侧的异常程度：
Figure 100002_DEST_PATH_IMAGE040
其中，
Figure 100002_DEST_PATH_IMAGE042
为管状零件内侧的异常程度，
Figure 100002_DEST_PATH_IMAGE044
管状零件内侧的异常区域的数量，
Figure 100002_DEST_PATH_IMAGE046
为第
Figure 100002_DEST_PATH_IMAGE048
个异常区域的面积指标，
Figure 100002_DEST_PATH_IMAGE050
为第
Figure 428035DEST_PATH_IMAGE048
个异常区域的灰度差异指标，
Figure 100002_DEST_PATH_IMAGE052
为第
Figure 527841DEST_PATH_IMAGE048
个异常区域的灰度分布指标，
Figure 100002_DEST_PATH_IMAGE054
为
Figure 857453DEST_PATH_IMAGE046
对应的权重，
Figure 100002_DEST_PATH_IMAGE056
为
Figure 700907DEST_PATH_IMAGE050
对应的权重，
Figure 100002_DEST_PATH_IMAGE058
为
Figure 342452DEST_PATH_IMAGE052
对应的权重。
优选的，得到异常区域的灰度分布指标的方法，包括：
根据各异常区域内各像素点灰度值出现的概率，得到各异常区域的熵值；
利用滑窗得到各异常区域内相邻像素点灰度值不同的总数；
根据所述各异常区域的面积和各异常区域内相邻像素点灰度值不同的总数，得到各异常区域的灰度变化程度；
根据各异常区域的熵值和所述各异常区域的灰度变化程度，得到各异常区域的灰度分布指标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的一种基于人工智能的管状零件内侧异常检测方法的流程图；
图2为本发明的图像采集设备示意图。
图3为本发明的管状零件内侧局部图像中的各像素点映射到矩形空白图像上的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明实施例保护的范围。
除非另有定义，本文所使用的所有的技术和科学技术语与属于本发明的技术人员通常理解的含义相同。
本实施例提供了一种基于人工智能的管状零件内侧异常检测方法，详细说明如下：
如图1所示，该基于人工智能的管状零件内侧异常检测方法，包括以下步骤：
步骤S001，获取多帧管状获取多帧管状零件内侧局部图像，所述管状零件内侧局部图像是通过相机采集圆锥反光镜反射的虚像得到的，所述圆锥反光镜设置在管状零件内。
本实施例中，通过图像采集设备采集管状零件内侧局部图像，所述图像采集设备包括：CCD工业相机、光照设备、连接设备以及全景圆锥反光镜等，具体如图2所示；且CCD工业相机采集的图像是RGB图像，本实施例中将RGB图像进行灰度转化，得到灰度图像，因此本实施例中管状零件内侧局部图像是灰度图像。
在理想状态下，管状零件内侧局部图像的采集设备中连接管的轴心和工业相机的光轴都与管状零件的管状轴心相重合，但是在实际采集时大多会出现偏差，当出现偏差时，会对管状零件内侧存在异常的区域的检测结果造成影响；因此，为了避免管状零件内侧局部图像的采集设备对于后续管状零件内侧异常检测精度的影响，本实施例中在图像采集设备采集管状零件内侧局部图像之前，将对图像采集设备的位姿进行调整。
本实施例中，需要对工业相机的位姿进行调整，使工业相机的光轴与管状零件的管状轴心相重合；工业相机位姿的具体调整过程为：首先在圆锥反光镜没有进入管状零件内侧之前，通过上述图像采集设备采集工业相机在当前位姿下的一张图像，记为测验图像，并得到测验图像的圆心坐标为
Figure 100002_DEST_PATH_IMAGE060
；之后通过霍夫变换检测管状零件截面圆的圆心，并得到截面圆的圆心坐标为
Figure DEST_PATH_IMAGE062
，根据测验图像的圆心坐标以及截面圆的圆心坐标，得到测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离和垂直距离，根据如下公式计算水平距离和垂直距离：
Figure DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE068
为测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离，
Figure DEST_PATH_IMAGE070
为测验图像的圆心横坐标，
Figure DEST_PATH_IMAGE072
为截面圆的圆心横坐标；
Figure DEST_PATH_IMAGE074
为测验图像的圆心坐标与截面圆的圆心坐标之间的垂直距离，
Figure DEST_PATH_IMAGE076
为测验图像的圆心纵坐标，
Figure DEST_PATH_IMAGE078
为截面圆的圆心纵坐标。
本实施例中，根据测验图像的圆心坐标与表面圆的圆心坐标之间的水平距离和垂直距离，得到工业相机的偏移角度和工业相机的偏移距离，根据如下公式计算工业相机的偏移角度和工业相机的偏移距离：
Figure DEST_PATH_IMAGE080
Figure DEST_PATH_IMAGE082
其中，
Figure DEST_PATH_IMAGE084
为工业相机的偏移角度，
Figure DEST_PATH_IMAGE086
为工业相机的偏移距离。
本实施例中，基于工业相机的偏移角度和工业相机的偏移距离对工业相机的位姿进行调整；当工业相机的位姿调整完之后，继续对连接管的位姿进行调整，连接管的位姿调整方式与工业相机的调整方式相同，首先获得连接管的轴心坐标，根据连接管的轴心坐标
Figure DEST_PATH_IMAGE088
与管状零件截面圆的圆心坐标
Figure 954437DEST_PATH_IMAGE062
之间的水平距离和垂直距离，得到连接管的偏移角度和连接管的偏移距离；根据连接管的偏移角度和连接管的偏移距离对连接管的位姿进行调整；当工业相机的位姿和连接管的位姿都调整完之后，表明本实施例的图像采集设备调整完成，且工业相机的光轴、连接管的轴心以及管状零件的管状轴心都相重合。
本实施例中，当图像采集设备调整完成之后，驱动圆锥反光镜进入管状零件内侧。由于管状零件可能较长，将圆锥反光镜置于管状零件内侧底部时，相机只能采集到管状零件内侧局部的图像，因此本实施例将圆锥反光镜置于管状零件内之后逐渐移动圆锥反光镜，每个圆锥反光镜对应的位置采集一帧管状零件内侧局部图像，由此可得到多帧管状零件内侧局部图像；本实施例中管状零件内侧局部图像的具体过程为：圆锥反光镜通过连接管进入管状零件的内侧，光源经连接设备射入管状零件内侧，通过圆锥反光镜反射到管状零件内侧达到照明效果，之后工业相机通过采集圆锥反光镜反射的虚像得到管状零件内侧局部图像，实现了对管状零件内侧局部图像的采集；且所述圆锥反光镜设置在管状零件内，采集到的管状零件内侧局部图像是圆形。
本实施例中，圆锥反光镜能将管状零件内侧360度方向反射的光线都反射到工业相机的镜头内，工业相机的成像单元接收后进行成像，进而实现了对管状零件内侧360度方向的采集；本实施例中，圆锥反光镜移动一次就要采集一次图像，所以圆锥反光镜的移动速度与工业相机采集图像的速度同步，本实施例中圆锥反光镜的移动速度与相机采集图像的帧率需要根据实际情况进行设定。
步骤S002，将各管状零件内侧局部图像中的各像素点映射到矩形空白图像上，得到各管状零件内侧局部图像对应的映射图像。
本实施例中，由于采集到的多帧管状零件内侧局部图像为圆形，不利于后续对于管状零件内侧整体状况的分析，因此建立多帧管状零件内侧局部图像对应的空白图像，所述空白图像上没有像素点，将管状零件内侧局部图像中各像素点映射到对应的空白图像上，如图3所示，得到各管状零件内侧局部图像对应的映射图像。
本实施例中，通过霍夫变换检测各管状零件内侧局部图像的圆心，并设置空白图像的的形状为矩形，长为
Figure DEST_PATH_IMAGE090
和宽为
Figure 36924DEST_PATH_IMAGE020
，且映射图像的形状以及长和宽与空白图像相同，其中
Figure 429659DEST_PATH_IMAGE020
为管状零件内侧局部图像对应的半径；本实施例中根据管状零件内侧局部图像中各像素点对应的坐标，得到管状零件内侧局部图像中各像素点对应的映射图像中的像素点坐标，根据如下公式计算各管状零件内侧局部图像对应的映射图像中各像素点的坐标：
Figure DEST_PATH_IMAGE002A
Figure DEST_PATH_IMAGE004A
其中，
Figure 87561DEST_PATH_IMAGE006
为管状零件内侧局部图像中圆心的横坐标，
Figure 450540DEST_PATH_IMAGE008
管状零件内侧局部图像中圆心的纵坐标，
Figure 941696DEST_PATH_IMAGE010
为管状零件内侧局部图像中第个像素点的横坐标，
Figure 48323DEST_PATH_IMAGE014
为管状零件内侧局部图像中第
Figure 308534DEST_PATH_IMAGE012
个像素点的纵坐标，
Figure 842415DEST_PATH_IMAGE016
为管状零件内侧局部图像中第
Figure 809147DEST_PATH_IMAGE012
个像素点的横坐标映射到对应的映射图像中的像素点的横坐标，
Figure 453887DEST_PATH_IMAGE018
为管状零件内侧局部图像中第
Figure 834183DEST_PATH_IMAGE012
个像素点纵坐标映射到对应的映射图像中的像素点的纵坐标，
Figure 273386DEST_PATH_IMAGE020
为管状零件内侧局部图像的半径，也是映射图像的宽。
本实施例中，通过上述过程可以得到各管状零件内侧局部图像中各像素点映射到对应映射图像上的像素点坐标，即得到各管状零件内侧局部图像中各像素点的灰度值映射到对应映射图像上的像素点的灰度值，但是管状零件内侧局部图像的面积是映射图像面积的一半，所以映射图像中会有部分像素点坐标对应的灰度值通过管状零件内侧局部图像得不到，因此需要利用最近邻点插值算法得到上述各映射图像中无法确定的像素点坐标对应的灰度值；本实施例中，最近邻点插值算法为公知技术，因此本实施例不做详细描述。
步骤S003，利用拼接算法对所述映射图像进行拼接，得到管状零件内侧拼接图像。
本实施例中，为了得到管状零件内侧整体进行分析，需要对得到的各映射图像利用拼接算法进行拼接，本实施例是基于RANSAC算法的图像拼接算法完成各映射图像的拼接，得到管状零件内侧拼接图像，且本实施例中拼接时是将重叠区域进行左右拼接的；由于RANSAC算法为公知技术，因此本实施例不做详细描述。
作为其它的实施例，也可以根据需求的不同，利用SIFT图像拼接算法或者基于SRUF 的特征点的提取与匹配等对映射图像进行拼接；也可以根据需求的不同，拼接时将重叠区域进行上下拼接。
本实施例中，在得到管状零件内侧拼接图像之后，为了保证拼接图像的质量，平滑拼接效果，提高融合效果，还对拼接后的重叠区域的图像做进一步的处理，得到处理之后的管状零件内侧拼接图像；首先判断拼接图像中的像素点的位置是否处于两个映射图像拼接的重叠区域；当像素点的位置处于两个映射图像拼接的重叠区域时，根据如下公式计算像素点的灰度值：
Figure DEST_PATH_IMAGE022A
其中，
Figure 630812DEST_PATH_IMAGE026
为重叠区域中任意像素点，
Figure 79242DEST_PATH_IMAGE024
为像素点
Figure 48466DEST_PATH_IMAGE026
的横坐标，
Figure 924149DEST_PATH_IMAGE028
为像素点
Figure 611613DEST_PATH_IMAGE026
的纵坐标，
Figure DEST_PATH_IMAGE092
为拼接图像中像素点的灰度值，
Figure 954082DEST_PATH_IMAGE030
为两个映射图像拼接的重叠区域的长度，
Figure 43391DEST_PATH_IMAGE032
为像素点
Figure 89976DEST_PATH_IMAGE026
在两个映射图像拼接中的其中一个映射图像中的灰度值，
Figure 264736DEST_PATH_IMAGE034
为像素点
Figure 54969DEST_PATH_IMAGE026
到两个映射图像拼接中的其中一个映射图像右边界的距离，为像素点
Figure 733206DEST_PATH_IMAGE026
在两个映射图像拼接中的另外一个映射图像中的灰度值，
Figure 216271DEST_PATH_IMAGE038
为像素点
Figure 878328DEST_PATH_IMAGE026
到两个映射图像拼接中的另外一个映射图像左边界的距离。
因此，通过拼接算法可以确定拼接图像中不是重叠区域的各像素点的灰度值，且通过对拼接后的重叠区域的图像做进一步的处理可以得到拼接图像的重叠区域内各像素点的灰度值。
步骤S004，将所述拼接图像输入到异常检测网络，得到管状零件内侧的各异常区域。
本实施例中，构建异常检测网络，所述异常检测网络采用的是语义感知网络；首先对异常检测网络进行训练，网络的输入为拼接图像样本集，标签数据为异常区域灰度值为1以及其他区域灰度值为0，网络采用交叉熵损失函数进行迭代训练，不断更新网络参数，实现对异常检测网络的训练；本实施例中，异常检测网络的训练及测试过程为公知技术，因此本实施例不做详细描述；作为其它的实施方式，也可以根据需求的不同采用其它的方式进行异常区域检测，例如可采取阈值分割等方法进行异常区域检测。
本实施例中，将处理之后的管状零件内侧拼接图像输入到训练好的异常检测网络中，得到各异常区域的连通域，即构成异常区域的连通域序列{
Figure DEST_PATH_IMAGE094
}，其中，
Figure DEST_PATH_IMAGE096
为管状零件内侧第一个异常区域的连通域，
Figure DEST_PATH_IMAGE098
为管状零件内侧第二个异常区域的连通域，
Figure DEST_PATH_IMAGE100
为管状零件内侧最后一个异常区域的连通域，
Figure 978309DEST_PATH_IMAGE044
为管状零件内侧异常区域的数量。
步骤S005，根据所述各异常区域，得到管状零件内侧各异常区域的面积指标；根据各异常区域内像素点的灰度值，得到管状零件内侧各异常区域的灰度差异指标。
本实施例中，根据管状零件内侧各异常区域的连通域，得到管状零件内各异常区域的面积，构成管状零件内侧异常区域对应的面积序列{
Figure DEST_PATH_IMAGE102
}，其中，
Figure DEST_PATH_IMAGE104
为管状零件内侧第一个异常区域的面积，
Figure DEST_PATH_IMAGE106
管状零件内侧第二个异常区域的面积，
Figure DEST_PATH_IMAGE108
为管状零件内侧最后一个异常区域的面积，将得到管状零件内侧各异常区域的面积，记为管状零件内侧各异常区域的面积指标。
本实施例中，将管状零件内侧各异常区域的连通域与对应的灰度图像进行相乘操作，得到各异常区域对应的灰度图像序列；根据各异常区域对应的灰度图像序列，得到各异常区域的连通域内的灰度均值与管状零件内侧拼接图像正常情况时的灰度均值之间的差值；根据各异常区域的连通域内的灰度均值与管状零件内侧完整图像正常情况时的灰度均值之间的差值，得到各异常区域的灰度均值差异，构成灰度均值差异序列{
Figure DEST_PATH_IMAGE110
}，其中，
Figure DEST_PATH_IMAGE112
为管状零件内侧第一个异常区域对应的灰度均值差异，
Figure DEST_PATH_IMAGE114
为管状零件内侧第二个异常区域对应的灰度均值差异，
Figure DEST_PATH_IMAGE116
为管状零件内侧最后一个异常区域对应的灰度均值差异，将各异常区域对应的灰度均值差异，记为各异常区域的灰度差异指标。
本实施例中，根据管状零件内侧各异常区域内各像素点的灰度值出现的概率，得到各异常区域的熵值，根据如下公式计算各异常区域的熵值信息：
Figure DEST_PATH_IMAGE118
其中，为第
Figure 777898DEST_PATH_IMAGE048
个异常区域对应的熵值，
Figure DEST_PATH_IMAGE120
为第
Figure 713756DEST_PATH_IMAGE048
个异常区域的连通域，
Figure DEST_PATH_IMAGE122
为第
Figure 676158DEST_PATH_IMAGE048
个异常区域中像素点
Figure DEST_PATH_IMAGE124
的坐标，
Figure DEST_PATH_IMAGE126
为第
Figure 44079DEST_PATH_IMAGE048
个异常区域中像素点
Figure 431329DEST_PATH_IMAGE124
处对应的灰度值在第
Figure 990617DEST_PATH_IMAGE048
个异常区域中出现的概率。
本实施例中，利用滑窗对各异常区域内的灰度值进行分析，首先各滑窗的面积需要根据对应的异常区域的面积确定；且各异常区域对应的滑窗面积与对应的异常区域的面积成正相关关系，根据如下公式计算各滑窗的面积：
Figure DEST_PATH_IMAGE128
其中，
Figure DEST_PATH_IMAGE130
为第
Figure 523537DEST_PATH_IMAGE048
个异常区域对应的滑窗的面积，
Figure 459263DEST_PATH_IMAGE046
为为第
Figure 232178DEST_PATH_IMAGE048
个异常区域的面积，
Figure DEST_PATH_IMAGE132
滑窗面积的调整因子，本实施例中
Figure 509838DEST_PATH_IMAGE132
的值为20；作为其它的实施方式，也可以根据需求的不同为滑窗面积的调整因子设置的不同的值，例如可以设置为滑窗面积的调整因子为15。
本实施例中，统计各异常区域每一次滑窗移动对应区域内相邻像素点灰度值不相同的像素点的数量，将各异常区域内各滑窗内相邻像素点灰度值不相同的像素点的数量相加，得到各异常区域内相邻像素点像灰度值不相同的像素点的总数，构成异常区域内相邻灰度值不相同的像素点的总数序列{
Figure DEST_PATH_IMAGE134
}，其中，
Figure DEST_PATH_IMAGE136
为第一个异常区域内相邻像素点灰度值不相同的像素点的总数，
Figure DEST_PATH_IMAGE138
为第二个异常区域内相邻像素点灰度值不相同的像素点的总数，
Figure DEST_PATH_IMAGE140
为最后一个异常区域内相邻像素点灰度值不相同的像素点的总数。
本实施例中，根据各异常区域内相邻像素点灰度值不相同的像素点的总数和各异常区域的面积，得到各异常区域的灰度变化程度；且异常区域内相邻像素点灰度值不相同的像素点的总数与异常区域内灰度值的变化程度成正相关关系，异常区域的面积与异常区域的灰度变化程度成负相关关系，根据如下公式计算各异常区域的灰度变化程度：
Figure DEST_PATH_IMAGE142
其中，
Figure DEST_PATH_IMAGE144
为第
Figure 602426DEST_PATH_IMAGE048
个异常区域的灰度变化程度，
Figure DEST_PATH_IMAGE146
为第
Figure 889313DEST_PATH_IMAGE048
个异常区域内相邻像素点灰度值不相同的像素点的总数，
Figure 516735DEST_PATH_IMAGE046
为第
Figure 683405DEST_PATH_IMAGE048
个异常区域的面积。
本实施例中，根据管状零件内侧各异常区域的熵值和灰度变化程度，得到各异常区域的灰度分布指标；且熵值和灰度变化程度与灰度值分布指标成正相关关系，根据如下公式计算各异常区域的灰度分布指标：
Figure DEST_PATH_IMAGE148
其中，
Figure 377867DEST_PATH_IMAGE052
为第
Figure 389817DEST_PATH_IMAGE048
个异常区域的灰度值分布指标，
Figure DEST_PATH_IMAGE150
为第
Figure 684794DEST_PATH_IMAGE048
个异常区域的熵值，
Figure 22366DEST_PATH_IMAGE144
为第
Figure 855324DEST_PATH_IMAGE048
个异常区域的灰度变化程度。
步骤S006，根据所述管状零件内侧各异常区域的面积指标、所述管状零件内侧各异常区域的灰度差异指标和管状零件内侧各异常区域的灰度分布指标，得到管状零件内侧的异常程度。
本实施例中，根据管状零件内侧各异常区域的面积指标、管状零件内侧各异常区域的灰度差异指标以及管状零件内侧各异常区域的灰度分布指标，得到管状零件内侧的异常程度；且管状零件内侧各异常区域的面积指标、管状零件内侧各异常区域的灰度差异指标以及管状零件内侧各异常区域的灰度分布指标与管状零件内侧的异常程度成正相关关系，根据如下公式计算管状零件内侧的异常程度：
Figure DEST_PATH_IMAGE040A
其中，为管状零件内侧的异常程度，
Figure 562642DEST_PATH_IMAGE044
管状零件内侧异常区域的数量，
Figure 164656DEST_PATH_IMAGE046
为第
Figure 673128DEST_PATH_IMAGE048
个异常区域的面积指标，
Figure 473943DEST_PATH_IMAGE050
为第
Figure 93274DEST_PATH_IMAGE048
个异常区域的灰度差异指标，为第
Figure 815374DEST_PATH_IMAGE048
个异常区域的灰度分布指标，
Figure 963589DEST_PATH_IMAGE054
为
Figure 505560DEST_PATH_IMAGE046
对应的权重，
Figure 397424DEST_PATH_IMAGE056
为
Figure 239609DEST_PATH_IMAGE050
对应的权重，
Figure 558726DEST_PATH_IMAGE058
为
Figure 587993DEST_PATH_IMAGE052
对应的权重；本实施例中
Figure DEST_PATH_IMAGE152
、
Figure DEST_PATH_IMAGE154
；作为其它的实施方式，权重值需要根据实际情况进行设置。
作为其它的实施方式，也可以只根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标，得到管状零件内侧的异常程度。
本实施例中，将得到的管状零件内侧的异常程度进行归一化处理；且当管状零件内侧的异常程度高于设置的异常程度阈值时，判定该管状零件内侧的异常程度较高，则不能投入使用；当管状零件内侧的异常程度低于设置的异常程度阈值时，判定该管状零件内侧的异常程度较低，则能投入使用；本实施例中异常程度阈值设置为0.1；作为其它实施方式，也可以根据需求的不同为异常程度阈值设置不同的数值，例如可以是0.2。
本实施例利用拼接算法对所述映射图像进行拼接，得到管状零件内侧拼接图像，该拼接图像相较于各管状零件内侧拼接图像更能够从整体反应管状零件内侧可能存在的异常情况；将拼接图像输入到异常检测网络，得到管状零件内侧各异常区域；根据各异常区域，得到管状零件内侧各异常区域的面积指标；根据各异常区域内像素点的灰度值，得到管状零件内侧各异常区域的灰度差异指标；根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标，得到管状零件内侧的异常程度。本实施例将各异常区域作为得到面积指标的依据，将异常区域内像素点的灰度值作为得到灰度差异指标的依据，又将面积指标和灰度差异指标作为得到管状零件内侧异常程度的依据，能够相对准确的得到管状零件内侧区域整体异常程度的状况。
本实施例的基于人工智能的管状零件内侧异常检测系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述基于人工智能的管状零件内侧异常检测方法实施例所描述基于人工智能的管状零件内侧异常检测方法。
需要说明的是，上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣，在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。

Claims (6)

1.一种基于人工智能的管状零件内侧异常检测方法，其特征在于，该方法包括如下步骤：
（1）获取多帧管状零件内侧局部图像，所述管状零件内侧局部图像是通过相机采集圆锥反光镜反射的虚像得到的，所述圆锥反光镜设置在管状零件内；
（2）将各管状零件内侧局部图像中的各像素点映射到矩形空白图像上，得到各管状零件内侧局部图像对应的映射图像；
（3）利用拼接算法对所述映射图像进行拼接，得到管状零件内侧拼接图像；
（4）将所述拼接图像输入到异常检测网络，得到管状零件内侧的各异常区域；
（5）根据所述各异常区域，得到管状零件内侧各异常区域的面积指标；根据各异常区域内像素点的灰度值，得到管状零件内侧各异常区域的灰度差异指标；
（6）根据所述管状零件内侧各异常区域的面积指标和所述管状零件内侧各异常区域的灰度差异指标，得到管状零件内侧的异常程度；
在步骤（1）之前，还包括对相机进行位姿调整的步骤：
获取相机在当前位姿下的图像记为测验图像，并得到测验图像的圆心坐标；
利用霍夫变换得到管状零件截面圆的圆心坐标；
根据所述测验图像的圆心坐标和所述管状零件截面圆的圆心坐标，得到测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离和垂直距离，以及相机的偏移距离；
根据所述水平距离和垂直距离，得到相机的偏移角度；
根据所述偏移距离和偏移角度对相机进行位姿调整。
2.如权利要求1所述的一种基于人工智能的管状零件内侧异常检测方法，其特征在于，所述得到各管状零件内侧局部图像对应的映射图像的方法，包括：
根据如下公式计算各管状零件内侧局部图像对应的映射图像中各像素点的坐标：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
为管状零件内侧局部图像中圆心的横坐标，
Figure DEST_PATH_IMAGE008
管状零件内侧局部图像中圆心的纵坐标，
Figure DEST_PATH_IMAGE010
为管状零件内侧局部图像中第
Figure DEST_PATH_IMAGE012
个像素点的横坐标，
Figure DEST_PATH_IMAGE014
为管状零件内侧局部图像中第
Figure 477566DEST_PATH_IMAGE012
个像素点的纵坐标，
Figure DEST_PATH_IMAGE016
为管状零件内侧局部图像中第
Figure 457023DEST_PATH_IMAGE012
个像素点的横坐标映射到对应的映射图像中的像素点的横坐标，
Figure DEST_PATH_IMAGE018
为管状零件内侧局部图像中第
Figure 564657DEST_PATH_IMAGE012
个像素点纵坐标映射到对应的映射图像中的像素点的纵坐标，
Figure DEST_PATH_IMAGE020
为管状零件内侧局部图像的半径。
3.如权利要求1所述的一种基于人工智能的管状零件内侧异常检测方法，其特征在于，在步骤（3）之后，步骤（4）之前，还包括对管状零件内侧拼接图像处理的步骤：
判断拼接图像中的像素点的位置是否处于两个映射图像拼接的重叠区域；
当像素点的位置处于两个映射图像拼接的重叠区域时，根据如下公式计算像素点的灰度值：
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE024
为重叠区域中任意像素点，
Figure DEST_PATH_IMAGE026
为像素点
Figure 615658DEST_PATH_IMAGE024
的横坐标，
Figure DEST_PATH_IMAGE028
为像素点
Figure 492347DEST_PATH_IMAGE024
的纵坐标，
Figure DEST_PATH_IMAGE030
为拼接图像中像素点
Figure 111547DEST_PATH_IMAGE024
的灰度值，
Figure DEST_PATH_IMAGE032
为两个映射图像拼接的重叠区域的长度，
Figure DEST_PATH_IMAGE034
为像素点
Figure 972056DEST_PATH_IMAGE024
在两个映射图像拼接中的其中一个映射图像中的灰度值，
Figure DEST_PATH_IMAGE036
为像素点
Figure 233273DEST_PATH_IMAGE024
到两个映射图像拼接中的其中一个映射图像右边界的距离，
Figure DEST_PATH_IMAGE038
为像素点
Figure 698889DEST_PATH_IMAGE024
在两个映射图像拼接中的另外一个映射图像中的灰度值，
Figure DEST_PATH_IMAGE040
为像素点
Figure 754570DEST_PATH_IMAGE024
到两个映射图像拼接中的另外一个映射图像左边界的距离。
4.如权利要求1所述的一种基于人工智能的管状零件内侧异常检测方法，其特征在于，所述得到管状零件内侧的异常程度的方法，包括：
根据如下公式计算管状零件内侧的异常程度：
Figure DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE044
为管状零件内侧的异常程度，
Figure DEST_PATH_IMAGE046
管状零件内侧异常区域的数量，
Figure DEST_PATH_IMAGE048
为第
Figure DEST_PATH_IMAGE050
个异常区域的面积指标，
Figure DEST_PATH_IMAGE052
为第
Figure 492588DEST_PATH_IMAGE050
个异常区域的灰度差异指标，
Figure DEST_PATH_IMAGE054
为第
Figure 291917DEST_PATH_IMAGE050
个异常区域的灰度分布指标，
Figure DEST_PATH_IMAGE056
为
Figure 612040DEST_PATH_IMAGE048
对应的权重，
Figure DEST_PATH_IMAGE058
为
Figure 104201DEST_PATH_IMAGE052
对应的权重，
Figure DEST_PATH_IMAGE060
为
Figure 142564DEST_PATH_IMAGE054
对应的权重。
5.如权利要求4所述的一种基于人工智能的管状零件内侧异常检测方法，其特征在于，得到异常区域的灰度分布指标的方法，包括：
根据各异常区域内各像素点灰度值出现的概率，得到各异常区域的熵值；
利用滑窗得到各异常区域内相邻像素点灰度值不同的总数；
根据所述各异常区域的面积和各异常区域内相邻像素点灰度值不同的总数，得到各异常区域的灰度变化程度；
根据各异常区域的熵值和所述各异常区域的灰度变化程度，得到各异常区域的灰度分布指标。
6.一种基于人工智能的管状零件内侧异常检测系统，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-5任一项所述的基于人工智能的管状零件内侧异常检测方法。
CN202111147644.XA 2021-09-29 2021-09-29 一种基于人工智能的管状零件内侧异常检测方法及系统 Active CN113610846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111147644.XA CN113610846B (zh) 2021-09-29 2021-09-29 一种基于人工智能的管状零件内侧异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111147644.XA CN113610846B (zh) 2021-09-29 2021-09-29 一种基于人工智能的管状零件内侧异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN113610846A CN113610846A (zh) 2021-11-05
CN113610846B true CN113610846B (zh) 2021-12-14

Family

ID=78343219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111147644.XA Active CN113610846B (zh) 2021-09-29 2021-09-29 一种基于人工智能的管状零件内侧异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN113610846B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793337B (zh) * 2021-11-18 2022-02-08 汶上海纬机车配件有限公司 基于人工智能的机车配件表面异常程度评估方法
CN114519696B (zh) * 2021-12-31 2022-11-29 扬州盛强薄膜材料有限公司 基于光学智能化的pvc热收缩膜检测方法及系统
CN115082841B (zh) * 2022-08-22 2022-11-04 山东海拓天宇智能机器人有限公司 一种仓储物流机器人工作区域异常监测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102608124A (zh) * 2012-04-06 2012-07-25 天津大学 微细管道管内缺陷及形貌测量装置及方法
JP6481217B1 (ja) * 2018-07-30 2019-03-13 新日鐵住金株式会社 管状体内表面検査装置及び管状体内表面検査方法
CN109270953B (zh) * 2018-10-10 2021-03-26 大连理工大学 一种基于同心圆视觉标识的多旋翼无人机自主降落方法
CN110687131A (zh) * 2019-09-27 2020-01-14 天津大学 微细孔内壁缺陷自动检测装置
CN111192198B (zh) * 2019-12-26 2023-08-29 台州学院 一种基于管道机器人的管道全景扫描方法
CN111289526B (zh) * 2020-02-28 2021-08-17 涿州滨海燃气有限公司 一种燃气输送管道内表面缺陷检测方法及系统
CN111650695A (zh) * 2020-07-20 2020-09-11 哈尔滨工程大学 一种用于光纤传输特性测量的空间光-光纤耦合对准方法

Also Published As

Publication number Publication date
CN113610846A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113610846B (zh) 一种基于人工智能的管状零件内侧异常检测方法及系统
US11221107B2 (en) Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing
CN103487729B (zh) 基于紫外视频与红外视频融合的电力设备缺陷检测方法
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN110458839B (zh) 一种有效的电线电缆监测系统
CN113362326A (zh) 一种电池焊点缺陷的检测方法及装置
CN104792794A (zh) 基于机器视觉的光学薄膜表面缺陷检测方法
CN109146832B (zh) 一种视频图像的拼接方法、装置、终端设备及存储介质
CN115131346B (zh) 基于人工智能的发酵罐加工工序检测方法及系统
CN115082744B (zh) 一种基于人工智能的太阳能集热效率分析方法及系统
CN112730454A (zh) 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法
CN110530883A (zh) 一种缺陷检测方法
CN108629790A (zh) 一种基于深度残差网络的光条图像阈值分割方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN115100200A (zh) 基于光学手段的光纤缺陷检测方法及系统
CN111667470A (zh) 一种基于数字图像的工业管道探伤内壁检测方法
CN115752969A (zh) 一种铝箔封口密封性检测方法及系统和设备
WO2022088856A1 (zh) 眼底图像识别方法及装置和设备
CN116823839B (zh) 基于热红外图像的管道泄漏检测方法
CN105229665A (zh) 对基于图像的蛇形带子磨损评估的增强分析
CN112330613B (zh) 一种细胞病理数字图像质量的评价方法及系统
CN109544535B (zh) 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
Haoran et al. Egg crack detection based on support vector machine
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant