CN113610846A - 一种基于人工智能的管状零件内侧异常检测方法及系统 - Google Patents
一种基于人工智能的管状零件内侧异常检测方法及系统 Download PDFInfo
- Publication number
- CN113610846A CN113610846A CN202111147644.XA CN202111147644A CN113610846A CN 113610846 A CN113610846 A CN 113610846A CN 202111147644 A CN202111147644 A CN 202111147644A CN 113610846 A CN113610846 A CN 113610846A
- Authority
- CN
- China
- Prior art keywords
- tubular part
- abnormal
- image
- gray
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 21
- 230000005856 abnormality Effects 0.000 title claims description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 171
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000272814 Anser sp. Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于人工智能的管状零件内侧异常检测方法及系统,属于零件异常检测技术领域。方法包括以下步骤:利用拼接算法对映射图像进行拼接,得到管状零件内侧拼接图像;将拼接图像输入到异常检测网络,得到管状零件内侧的各异常区域;根据各异常区域,得到管状零件内侧各异常区域的面积指标;根据各异常区域内像素点的灰度值,得到管状零件内侧各异常区域的灰度差异指标;根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标,得到管状零件内侧的异常程度。本发明利用拼接图像能够从整体反应管状零件存在的异常情况,也能相对准确的得到管状零件内侧区域整体异常程度的状况。
Description
技术领域
本发明涉及零件异常检测技术领域,具体涉及一种基于人工智能的管状零件内侧异常检测方法及系统。
背景技术
在现代制造业中管状零件具有很重要的地位,由于管状零件内部容易出现腐蚀老化等异常问题,这些异常问题严重时可能会引起不可估量的事故和后果;但是由于其位置的原因,使管状零件内侧出现的异常问题多被忽略;例如红雁池事故,事故中其发电站的主蒸汽输送管道突发爆炸断裂,爆炸断裂的原因就是管道内部长期受到蒸汽的冲击作用而产生了裂纹等异常问题,最终导致了事故的发生;因此对于管状零件内侧异常检测至关重要。
现有技术中对于管状零件内侧异常检测多为人工接触式检测和超声波检测,在人工接触式检测过程中由于管状零件不易拿取因此会存在零件表面出现损伤以及刮痕等现象,又因为管状零件内侧异常位置不易于人工观测,所以也会出现大量错检以及误检等现象;而对于超声波检测的方法,由于检测过程中需要耦合剂以及干扰因素过多,因此会存在局限性较大、深管零件和小管零件出现检测操作难度大的问题。
发明内容
本发明提供一种基于人工智能的管状零件内侧异常检测方法及系统,用于解决现有不能准确检测管状零件内侧异常的问题,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种基于人工智能的管状零件内侧异常检测方法及系统包括以下步骤:
(1)获取多帧管状零件内侧局部图像,所述管状零件内侧局部图像是通过相机采集圆锥反光镜反射的虚像得到的,所述圆锥反光镜设置在管状零件内;
(2)将各管状零件内侧局部图像中的各像素点映射到矩形空白图像上,得到各管状零件内侧局部图像对应的映射图像;
(3)利用拼接算法对所述映射图像进行拼接,得到管状零件内侧拼接图像;
(4)将所述拼接图像输入到异常检测网络,得到管状零件内侧的各异常区域;
(5)根据所述各异常区域,得到管状零件内侧各异常区域的面积指标;根据各异常区域内像素点的灰度值,得到管状零件内侧各异常区域的灰度差异指标;
(6)根据所述管状零件内侧各异常区域的面积指标和所述管状零件内侧各异常区域的灰度差异指标,得到管状零件内侧的异常程度。
本发明还提供了一种基于人工智能的管状零件内侧异常检测系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述的一种基于人工智能的管状零件内侧异常检测方法。
本发明利用拼接算法对所述映射图像进行拼接,得到管状零件内侧拼接图像,该拼接图像相较于各管状零件内侧拼接图像更能够从整体反应管状零件内侧可能存在的异常情况;将拼接图像输入到异常检测网络,得到管状零件内侧各异常区域;根据各异常区域,得到管状零件内侧各异常区域的面积指标;根据各异常区域内像素点的灰度值,得到管状零件内侧各异常区域的灰度差异指标;根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标,得到管状零件内侧的异常程度。本发明将各异常区域作为得到面积指标的依据,将异常区域内像素点的灰度值作为得到灰度差异指标的依据,又将面积指标和灰度差异指标作为得到管状零件内侧异常程度的依据,能够相对准确的得到管状零件内侧区域整体异常程度的状况。
优选的,在步骤(1)之前,还包括对相机进行位姿调整的步骤:
获取相机在当前位姿下的图像记为测验图像,并得到测验图像的圆心坐标;
利用霍夫变换得到管状零件截面圆的圆心坐标;
根据所述测验图像的圆心坐标和所述管状零件截面圆的圆心坐标,得到测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离和垂直距离,以及相机的偏移距离;
根据所述水平距离和垂直距离,得到相机的偏移角度;
根据所述偏移距离和偏移角度对相机进行位姿调整。
优选的,得到各管状零件内侧局部图像对应的映射图像的方法,包括:
根据如下公式计算各管状零件内侧局部图像对应的映射图像中各像素点的坐标:
其中,为管状零件内侧局部图像中圆心的横坐标,管状零件内侧局部图像中圆心的纵坐标,为管状零件内侧局部图像中第个像素点的横坐标,为管状零件内侧局部图像中第个像素点的纵坐标,为管状零件内侧局部图像中第个像素点的横坐标映射到对应的映射图像中的像素点的横坐标,为管状零件内侧局部图像中第个像素点纵坐标映射到对应的映射图像中的像素点的纵坐标,为管状零件内侧局部图像的半径。
优选的,在步骤(3)之后,步骤(4)之前,还包括对管状零件内侧拼接图像处理的步骤:
判断拼接图像中的像素点的位置是否处于两个映射图像拼接的重叠区域;
当像素点的位置处于两个映射图像拼接的重叠区域时,根据如下公式计算像素点的灰度值:
其中,为重叠区域中任意像素点,为像素点的横坐标,为像素点的纵坐标,为拼接图像中像素点的灰度值,为两个映射图像拼接的重叠区域的长度,为像素点在两个映射图像拼接中的其中一个映射图像中的灰度值,为像素点到两个映射图像拼接中的其中一个映射图像右边界的距离,为像素点在两个映射图像拼接中的另外一个映射图像中的灰度值,为像素点到两个映射图像拼接中的另外一个映射图像左边界的距离。
优选的,得到管状零件内侧的异常程度的方法,包括:
根据如下公式计算管状零件内侧的异常程度:
优选的,得到异常区域的灰度分布指标的方法,包括:
根据各异常区域内各像素点灰度值出现的概率,得到各异常区域的熵值;
利用滑窗得到各异常区域内相邻像素点灰度值不同的总数;
根据所述各异常区域的面积和各异常区域内相邻像素点灰度值不同的总数,得到各异常区域的灰度变化程度;
根据各异常区域的熵值和所述各异常区域的灰度变化程度,得到各异常区域的灰度分布指标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的一种基于人工智能的管状零件内侧异常检测方法的流程图;
图2为本发明的图像采集设备示意图。
图3为本发明的管状零件内侧局部图像中的各像素点映射到矩形空白图像上的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明实施例,本领域普通技术人员所获得的所有其它实施例,都属于本发明实施例保护的范围。
除非另有定义,本文所使用的所有的技术和科学技术语与属于本发明的技术人员通常理解的含义相同。
本实施例提供了一种基于人工智能的管状零件内侧异常检测方法,详细说明如下:
如图1所示,该基于人工智能的管状零件内侧异常检测方法,包括以下步骤:
步骤S001,获取多帧管状获取多帧管状零件内侧局部图像,所述管状零件内侧局部图像是通过相机采集圆锥反光镜反射的虚像得到的,所述圆锥反光镜设置在管状零件内。
本实施例中,通过图像采集设备采集管状零件内侧局部图像,所述图像采集设备包括:CCD工业相机、光照设备、连接设备以及全景圆锥反光镜等,具体如图2所示;且CCD工业相机采集的图像是RGB图像,本实施例中将RGB图像进行灰度转化,得到灰度图像,因此本实施例中管状零件内侧局部图像是灰度图像。
在理想状态下,管状零件内侧局部图像的采集设备中连接管的轴心和工业相机的光轴都与管状零件的管状轴心相重合,但是在实际采集时大多会出现偏差,当出现偏差时,会对管状零件内侧存在异常的区域的检测结果造成影响;因此,为了避免管状零件内侧局部图像的采集设备对于后续管状零件内侧异常检测精度的影响,本实施例中在图像采集设备采集管状零件内侧局部图像之前,将对图像采集设备的位姿进行调整。
本实施例中,需要对工业相机的位姿进行调整,使工业相机的光轴与管状零件的管状轴心相重合;工业相机位姿的具体调整过程为:首先在圆锥反光镜没有进入管状零件内侧之前,通过上述图像采集设备采集工业相机在当前位姿下的一张图像,记为测验图像,并得到测验图像的圆心坐标为;之后通过霍夫变换检测管状零件截面圆的圆心,并得到截面圆的圆心坐标为,根据测验图像的圆心坐标以及截面圆的圆心坐标,得到测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离和垂直距离,根据如下公式计算水平距离和垂直距离:
其中,为测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离,为测验图像的圆心横坐标,为截面圆的圆心横坐标;为测验图像的圆心坐标与截面圆的圆心坐标之间的垂直距离,为测验图像的圆心纵坐标,为截面圆的圆心纵坐标。
本实施例中,根据测验图像的圆心坐标与表面圆的圆心坐标之间的水平距离和垂直距离,得到工业相机的偏移角度和工业相机的偏移距离,根据如下公式计算工业相机的偏移角度和工业相机的偏移距离:
本实施例中,基于工业相机的偏移角度和工业相机的偏移距离对工业相机的位姿进行调整;当工业相机的位姿调整完之后,继续对连接管的位姿进行调整,连接管的位姿调整方式与工业相机的调整方式相同,首先获得连接管的轴心坐标,根据连接管的轴心坐标与管状零件截面圆的圆心坐标之间的水平距离和垂直距离,得到连接管的偏移角度和连接管的偏移距离;根据连接管的偏移角度和连接管的偏移距离对连接管的位姿进行调整;当工业相机的位姿和连接管的位姿都调整完之后,表明本实施例的图像采集设备调整完成,且工业相机的光轴、连接管的轴心以及管状零件的管状轴心都相重合。
本实施例中,当图像采集设备调整完成之后,驱动圆锥反光镜进入管状零件内侧。由于管状零件可能较长,将圆锥反光镜置于管状零件内侧底部时,相机只能采集到管状零件内侧局部的图像,因此本实施例将圆锥反光镜置于管状零件内之后逐渐移动圆锥反光镜,每个圆锥反光镜对应的位置采集一帧管状零件内侧局部图像,由此可得到多帧管状零件内侧局部图像;本实施例中管状零件内侧局部图像的具体过程为:圆锥反光镜通过连接管进入管状零件的内侧,光源经连接设备射入管状零件内侧,通过圆锥反光镜反射到管状零件内侧达到照明效果,之后工业相机通过采集圆锥反光镜反射的虚像得到管状零件内侧局部图像,实现了对管状零件内侧局部图像的采集;且所述圆锥反光镜设置在管状零件内,采集到的管状零件内侧局部图像是圆形。
本实施例中,圆锥反光镜能将管状零件内侧360度方向反射的光线都反射到工业相机的镜头内,工业相机的成像单元接收后进行成像,进而实现了对管状零件内侧360度方向的采集;本实施例中,圆锥反光镜移动一次就要采集一次图像,所以圆锥反光镜的移动速度与工业相机采集图像的速度同步,本实施例中圆锥反光镜的移动速度与相机采集图像的帧率需要根据实际情况进行设定。
步骤S002,将各管状零件内侧局部图像中的各像素点映射到矩形空白图像上,得到各管状零件内侧局部图像对应的映射图像。
本实施例中,由于采集到的多帧管状零件内侧局部图像为圆形,不利于后续对于管状零件内侧整体状况的分析,因此建立多帧管状零件内侧局部图像对应的空白图像,所述空白图像上没有像素点,将管状零件内侧局部图像中各像素点映射到对应的空白图像上,如图3所示,得到各管状零件内侧局部图像对应的映射图像。
本实施例中,通过霍夫变换检测各管状零件内侧局部图像的圆心,并设置空白图像的的形状为矩形,长为和宽为,且映射图像的形状以及长和宽与空白图像相同,其中为管状零件内侧局部图像对应的半径;本实施例中根据管状零件内侧局部图像中各像素点对应的坐标,得到管状零件内侧局部图像中各像素点对应的映射图像中的像素点坐标,根据如下公式计算各管状零件内侧局部图像对应的映射图像中各像素点的坐标:
其中,为管状零件内侧局部图像中圆心的横坐标,管状零件内侧局部图像中圆心的纵坐标,为管状零件内侧局部图像中第个像素点的横坐标,为管状零件内侧局部图像中第个像素点的纵坐标,为管状零件内侧局部图像中第个像素点的横坐标映射到对应的映射图像中的像素点的横坐标,为管状零件内侧局部图像中第个像素点纵坐标映射到对应的映射图像中的像素点的纵坐标,为管状零件内侧局部图像的半径,也是映射图像的宽。
本实施例中,通过上述过程可以得到各管状零件内侧局部图像中各像素点映射到对应映射图像上的像素点坐标,即得到各管状零件内侧局部图像中各像素点的灰度值映射到对应映射图像上的像素点的灰度值,但是管状零件内侧局部图像的面积是映射图像面积的一半,所以映射图像中会有部分像素点坐标对应的灰度值通过管状零件内侧局部图像得不到,因此需要利用最近邻点插值算法得到上述各映射图像中无法确定的像素点坐标对应的灰度值;本实施例中,最近邻点插值算法为公知技术,因此本实施例不做详细描述。
步骤S003,利用拼接算法对所述映射图像进行拼接,得到管状零件内侧拼接图像。
本实施例中,为了得到管状零件内侧整体进行分析,需要对得到的各映射图像利用拼接算法进行拼接,本实施例是基于RANSAC算法的图像拼接算法完成各映射图像的拼接,得到管状零件内侧拼接图像,且本实施例中拼接时是将重叠区域进行左右拼接的;由于RANSAC算法为公知技术,因此本实施例不做详细描述。
作为其它的实施例,也可以根据需求的不同,利用SIFT图像拼接算法或者基于SRUF 的特征点的提取与匹配等对映射图像进行拼接;也可以根据需求的不同,拼接时将重叠区域进行上下拼接。
本实施例中,在得到管状零件内侧拼接图像之后,为了保证拼接图像的质量,平滑拼接效果,提高融合效果,还对拼接后的重叠区域的图像做进一步的处理,得到处理之后的管状零件内侧拼接图像;首先判断拼接图像中的像素点的位置是否处于两个映射图像拼接的重叠区域;当像素点的位置处于两个映射图像拼接的重叠区域时,根据如下公式计算像素点的灰度值:
其中,为重叠区域中任意像素点,为像素点的横坐标,为像素点的纵坐标,为拼接图像中像素点的灰度值,为两个映射图像拼接的重叠区域的长度,为像素点在两个映射图像拼接中的其中一个映射图像中的灰度值,为像素点到两个映射图像拼接中的其中一个映射图像右边界的距离,为像素点在两个映射图像拼接中的另外一个映射图像中的灰度值,为像素点到两个映射图像拼接中的另外一个映射图像左边界的距离。
因此,通过拼接算法可以确定拼接图像中不是重叠区域的各像素点的灰度值,且通过对拼接后的重叠区域的图像做进一步的处理可以得到拼接图像的重叠区域内各像素点的灰度值。
步骤S004,将所述拼接图像输入到异常检测网络,得到管状零件内侧的各异常区域。
本实施例中,构建异常检测网络,所述异常检测网络采用的是语义感知网络;首先对异常检测网络进行训练,网络的输入为拼接图像样本集,标签数据为异常区域灰度值为1以及其他区域灰度值为0,网络采用交叉熵损失函数进行迭代训练,不断更新网络参数,实现对异常检测网络的训练;本实施例中,异常检测网络的训练及测试过程为公知技术,因此本实施例不做详细描述;作为其它的实施方式,也可以根据需求的不同采用其它的方式进行异常区域检测,例如可采取阈值分割等方法进行异常区域检测。
本实施例中,将处理之后的管状零件内侧拼接图像输入到训练好的异常检测网络中,得到各异常区域的连通域,即构成异常区域的连通域序列{},其中,为管状零件内侧第一个异常区域的连通域,为管状零件内侧第二个异常区域的连通域,为管状零件内侧最后一个异常区域的连通域,为管状零件内侧异常区域的数量。
步骤S005,根据所述各异常区域,得到管状零件内侧各异常区域的面积指标;根据各异常区域内像素点的灰度值,得到管状零件内侧各异常区域的灰度差异指标。
本实施例中,根据管状零件内侧各异常区域的连通域,得到管状零件内各异常区域的面积,构成管状零件内侧异常区域对应的面积序列{},其中,为管状零件内侧第一个异常区域的面积,管状零件内侧第二个异常区域的面积,为管状零件内侧最后一个异常区域的面积,将得到管状零件内侧各异常区域的面积,记为管状零件内侧各异常区域的面积指标。
本实施例中,将管状零件内侧各异常区域的连通域与对应的灰度图像进行相乘操作,得到各异常区域对应的灰度图像序列;根据各异常区域对应的灰度图像序列,得到各异常区域的连通域内的灰度均值与管状零件内侧拼接图像正常情况时的灰度均值之间的差值;根据各异常区域的连通域内的灰度均值与管状零件内侧完整图像正常情况时的灰度均值之间的差值,得到各异常区域的灰度均值差异,构成灰度均值差异序列{},其中,为管状零件内侧第一个异常区域对应的灰度均值差异,为管状零件内侧第二个异常区域对应的灰度均值差异,为管状零件内侧最后一个异常区域对应的灰度均值差异,将各异常区域对应的灰度均值差异,记为各异常区域的灰度差异指标。
本实施例中,根据管状零件内侧各异常区域内各像素点的灰度值出现的概率,得到各异常区域的熵值,根据如下公式计算各异常区域的熵值信息:
本实施例中,利用滑窗对各异常区域内的灰度值进行分析,首先各滑窗的面积需要根据对应的异常区域的面积确定;且各异常区域对应的滑窗面积与对应的异常区域的面积成正相关关系,根据如下公式计算各滑窗的面积:
其中,为第个异常区域对应的滑窗的面积,为为第个异常区域的面积,滑窗面积的调整因子,本实施例中的值为20;作为其它的实施方式,也可以根据需求的不同为滑窗面积的调整因子设置的不同的值,例如可以设置为滑窗面积的调整因子为15。
本实施例中,统计各异常区域每一次滑窗移动对应区域内相邻像素点灰度值不相同的像素点的数量,将各异常区域内各滑窗内相邻像素点灰度值不相同的像素点的数量相加,得到各异常区域内相邻像素点像灰度值不相同的像素点的总数,构成异常区域内相邻灰度值不相同的像素点的总数序列{},其中,为第一个异常区域内相邻像素点灰度值不相同的像素点的总数,为第二个异常区域内相邻像素点灰度值不相同的像素点的总数,为最后一个异常区域内相邻像素点灰度值不相同的像素点的总数。
本实施例中,根据各异常区域内相邻像素点灰度值不相同的像素点的总数和各异常区域的面积,得到各异常区域的灰度变化程度;且异常区域内相邻像素点灰度值不相同的像素点的总数与异常区域内灰度值的变化程度成正相关关系,异常区域的面积与异常区域的灰度变化程度成负相关关系,根据如下公式计算各异常区域的灰度变化程度:
本实施例中,根据管状零件内侧各异常区域的熵值和灰度变化程度,得到各异常区域的灰度分布指标;且熵值和灰度变化程度与灰度值分布指标成正相关关系,根据如下公式计算各异常区域的灰度分布指标:
步骤S006,根据所述管状零件内侧各异常区域的面积指标、所述管状零件内侧各异常区域的灰度差异指标和管状零件内侧各异常区域的灰度分布指标,得到管状零件内侧的异常程度。
本实施例中,根据管状零件内侧各异常区域的面积指标、管状零件内侧各异常区域的灰度差异指标以及管状零件内侧各异常区域的灰度分布指标,得到管状零件内侧的异常程度;且管状零件内侧各异常区域的面积指标、管状零件内侧各异常区域的灰度差异指标以及管状零件内侧各异常区域的灰度分布指标与管状零件内侧的异常程度成正相关关系,根据如下公式计算管状零件内侧的异常程度:
其中,为管状零件内侧的异常程度,管状零件内侧异常区域的数量,为第个异常区域的面积指标,为第个异常区域的灰度差异指标,为第个异常区域的灰度分布指标,为对应的权重,为对应的权重,为对应的权重;本实施例中、;作为其它的实施方式,权重值需要根据实际情况进行设置。
作为其它的实施方式,也可以只根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标,得到管状零件内侧的异常程度。
本实施例中,将得到的管状零件内侧的异常程度进行归一化处理;且当管状零件内侧的异常程度高于设置的异常程度阈值时,判定该管状零件内侧的异常程度较高,则不能投入使用;当管状零件内侧的异常程度低于设置的异常程度阈值时,判定该管状零件内侧的异常程度较低,则能投入使用;本实施例中异常程度阈值设置为0.1;作为其它实施方式,也可以根据需求的不同为异常程度阈值设置不同的数值,例如可以是0.2。
本实施例利用拼接算法对所述映射图像进行拼接,得到管状零件内侧拼接图像,该拼接图像相较于各管状零件内侧拼接图像更能够从整体反应管状零件内侧可能存在的异常情况;将拼接图像输入到异常检测网络,得到管状零件内侧各异常区域;根据各异常区域,得到管状零件内侧各异常区域的面积指标;根据各异常区域内像素点的灰度值,得到管状零件内侧各异常区域的灰度差异指标;根据管状零件内侧各异常区域的面积指标和管状零件内侧各异常区域的灰度差异指标,得到管状零件内侧的异常程度。本实施例将各异常区域作为得到面积指标的依据,将异常区域内像素点的灰度值作为得到灰度差异指标的依据,又将面积指标和灰度差异指标作为得到管状零件内侧异常程度的依据,能够相对准确的得到管状零件内侧区域整体异常程度的状况。
本实施例的基于人工智能的管状零件内侧异常检测系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述基于人工智能的管状零件内侧异常检测方法实施例所描述基于人工智能的管状零件内侧异常检测方法。
需要说明的是,上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣,在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。
Claims (6)
1.一种基于人工智能的管状零件内侧异常检测方法,其特征在于,该方法包括如下步骤:
(1)获取多帧管状零件内侧局部图像,所述管状零件内侧局部图像是通过相机采集圆锥反光镜反射的虚像得到的,所述圆锥反光镜设置在管状零件内;
(2)将各管状零件内侧局部图像中的各像素点映射到矩形空白图像上,得到各管状零件内侧局部图像对应的映射图像;
(3)利用拼接算法对所述映射图像进行拼接,得到管状零件内侧拼接图像;
(4)将所述拼接图像输入到异常检测网络,得到管状零件内侧的各异常区域;
(5)根据所述各异常区域,得到管状零件内侧各异常区域的面积指标;根据各异常区域内像素点的灰度值,得到管状零件内侧各异常区域的灰度差异指标;
(6)根据所述管状零件内侧各异常区域的面积指标和所述管状零件内侧各异常区域的灰度差异指标,得到管状零件内侧的异常程度;
在步骤(1)之前,还包括对相机进行位姿调整的步骤:
获取相机在当前位姿下的图像记为测验图像,并得到测验图像的圆心坐标;
利用霍夫变换得到管状零件截面圆的圆心坐标;
根据所述测验图像的圆心坐标和所述管状零件截面圆的圆心坐标,得到测验图像的圆心坐标与截面圆的圆心坐标之间的水平距离和垂直距离,以及相机的偏移距离;
根据所述水平距离和垂直距离,得到相机的偏移角度;
根据所述偏移距离和偏移角度对相机进行位姿调整。
3.如权利要求1所述的一种基于人工智能的管状零件内侧异常检测方法,其特征在于,在步骤(3)之后,步骤(4)之前,还包括对管状零件内侧拼接图像处理的步骤:
判断拼接图像中的像素点的位置是否处于两个映射图像拼接的重叠区域;
当像素点的位置处于两个映射图像拼接的重叠区域时,根据如下公式计算像素点的灰度值:
5.如权利要求4所述的一种基于人工智能的管状零件内测异常检测方法,其特征在于,得到异常区域的灰度分布指标的方法,包括:
根据各异常区域内各像素点灰度值出现的概率,得到各异常区域的熵值;
利用滑窗得到各异常区域内相邻像素点灰度值不同的总数;
根据所述各异常区域的面积和各异常区域内相邻像素点灰度值不同的总数,得到各异常区域的灰度变化程度;
根据各异常区域的熵值和所述各异常区域的灰度变化程度,得到各异常区域的灰度分布指标。
6.一种基于人工智能的管状零件内侧异常检测系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如权利要求1-5任一项所述的基于人工智能的管状零件内侧异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147644.XA CN113610846B (zh) | 2021-09-29 | 2021-09-29 | 一种基于人工智能的管状零件内侧异常检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147644.XA CN113610846B (zh) | 2021-09-29 | 2021-09-29 | 一种基于人工智能的管状零件内侧异常检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610846A true CN113610846A (zh) | 2021-11-05 |
CN113610846B CN113610846B (zh) | 2021-12-14 |
Family
ID=78343219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111147644.XA Active CN113610846B (zh) | 2021-09-29 | 2021-09-29 | 一种基于人工智能的管状零件内侧异常检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610846B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113793337A (zh) * | 2021-11-18 | 2021-12-14 | 汶上海纬机车配件有限公司 | 基于人工智能的机车配件表面异常程度评估方法 |
CN114519696A (zh) * | 2021-12-31 | 2022-05-20 | 扬州盛强薄膜材料有限公司 | 基于光学智能化的pvc热收缩膜检测方法及系统 |
CN115082841A (zh) * | 2022-08-22 | 2022-09-20 | 山东海拓天宇智能机器人有限公司 | 一种仓储物流机器人工作区域异常监测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102608124A (zh) * | 2012-04-06 | 2012-07-25 | 天津大学 | 微细管道管内缺陷及形貌测量装置及方法 |
CN109270953A (zh) * | 2018-10-10 | 2019-01-25 | 大连理工大学 | 一种基于同心圆视觉标识的多旋翼无人机自主降落方法 |
CN110687131A (zh) * | 2019-09-27 | 2020-01-14 | 天津大学 | 微细孔内壁缺陷自动检测装置 |
CN111192198A (zh) * | 2019-12-26 | 2020-05-22 | 台州学院 | 一种基于管道机器人的管道全景扫描方法 |
CN111289526A (zh) * | 2020-02-28 | 2020-06-16 | 北京伟杰东博信息科技有限公司 | 一种燃气输送管道内表面缺陷检测方法及系统 |
CN111650695A (zh) * | 2020-07-20 | 2020-09-11 | 哈尔滨工程大学 | 一种用于光纤传输特性测量的空间光-光纤耦合对准方法 |
US20210208085A1 (en) * | 2018-07-30 | 2021-07-08 | Nippon Steel Corporation | Tubular body inner surface inspection apparatus and tubular body inner surface inspection method |
-
2021
- 2021-09-29 CN CN202111147644.XA patent/CN113610846B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102608124A (zh) * | 2012-04-06 | 2012-07-25 | 天津大学 | 微细管道管内缺陷及形貌测量装置及方法 |
US20210208085A1 (en) * | 2018-07-30 | 2021-07-08 | Nippon Steel Corporation | Tubular body inner surface inspection apparatus and tubular body inner surface inspection method |
CN109270953A (zh) * | 2018-10-10 | 2019-01-25 | 大连理工大学 | 一种基于同心圆视觉标识的多旋翼无人机自主降落方法 |
CN110687131A (zh) * | 2019-09-27 | 2020-01-14 | 天津大学 | 微细孔内壁缺陷自动检测装置 |
CN111192198A (zh) * | 2019-12-26 | 2020-05-22 | 台州学院 | 一种基于管道机器人的管道全景扫描方法 |
CN111289526A (zh) * | 2020-02-28 | 2020-06-16 | 北京伟杰东博信息科技有限公司 | 一种燃气输送管道内表面缺陷检测方法及系统 |
CN111650695A (zh) * | 2020-07-20 | 2020-09-11 | 哈尔滨工程大学 | 一种用于光纤传输特性测量的空间光-光纤耦合对准方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113793337A (zh) * | 2021-11-18 | 2021-12-14 | 汶上海纬机车配件有限公司 | 基于人工智能的机车配件表面异常程度评估方法 |
CN113793337B (zh) * | 2021-11-18 | 2022-02-08 | 汶上海纬机车配件有限公司 | 基于人工智能的机车配件表面异常程度评估方法 |
CN114519696A (zh) * | 2021-12-31 | 2022-05-20 | 扬州盛强薄膜材料有限公司 | 基于光学智能化的pvc热收缩膜检测方法及系统 |
CN114519696B (zh) * | 2021-12-31 | 2022-11-29 | 扬州盛强薄膜材料有限公司 | 基于光学智能化的pvc热收缩膜检测方法及系统 |
CN115082841A (zh) * | 2022-08-22 | 2022-09-20 | 山东海拓天宇智能机器人有限公司 | 一种仓储物流机器人工作区域异常监测方法 |
CN115082841B (zh) * | 2022-08-22 | 2022-11-04 | 山东海拓天宇智能机器人有限公司 | 一种仓储物流机器人工作区域异常监测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113610846B (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113610846B (zh) | 一种基于人工智能的管状零件内侧异常检测方法及系统 | |
US11221107B2 (en) | Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing | |
CN103487729B (zh) | 基于紫外视频与红外视频融合的电力设备缺陷检测方法 | |
CN110458839B (zh) | 一种有效的电线电缆监测系统 | |
CN113362326A (zh) | 一种电池焊点缺陷的检测方法及装置 | |
CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 | |
CN113658131B (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
CN116823839B (zh) | 基于热红外图像的管道泄漏检测方法 | |
CN104792794A (zh) | 基于机器视觉的光学薄膜表面缺陷检测方法 | |
WO2022088856A1 (zh) | 眼底图像识别方法及装置和设备 | |
CN112730454B (zh) | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 | |
CN115131346B (zh) | 基于人工智能的发酵罐加工工序检测方法及系统 | |
CN104331978A (zh) | 纸币褶皱的识别装置和方法 | |
CN113487563B (zh) | 一种基于el图像的光伏组件隐裂自适应检测方法 | |
CN115082744B (zh) | 一种基于人工智能的太阳能集热效率分析方法及系统 | |
CN108921003A (zh) | 基于卷积神经网络和图像形态学的无人机障碍物检测方法 | |
CN113313107A (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
CN113674175B (zh) | 用于检测跨海大桥结构损害的水下机器人图像增强方法 | |
CN117612164B (zh) | 基于双重边缘检测的细胞分裂均衡度检测方法 | |
CN116930192B (zh) | 一种高精度铜管缺陷检测方法及系统 | |
CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
Fernandez et al. | Device to evaluate cleanliness of fiber optic connectors using image processing and neural networks | |
CN113567466B (zh) | 一种微型芯片外观缺陷的智能识别方法 | |
CN110956640B (zh) | 一种异源图像边缘点检测与配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |