CN114627116B - 一种基于人工智能的织物疵点识别方法及系统 - Google Patents

一种基于人工智能的织物疵点识别方法及系统 Download PDF

Info

Publication number
CN114627116B
CN114627116B CN202210516868.1A CN202210516868A CN114627116B CN 114627116 B CN114627116 B CN 114627116B CN 202210516868 A CN202210516868 A CN 202210516868A CN 114627116 B CN114627116 B CN 114627116B
Authority
CN
China
Prior art keywords
labd
pixel point
channel image
different sizes
under different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210516868.1A
Other languages
English (en)
Other versions
CN114627116A (zh
Inventor
于鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qidong Xinpenglai Textile Technology Co ltd
Original Assignee
Qidong Xinpenglai Textile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qidong Xinpenglai Textile Technology Co ltd filed Critical Qidong Xinpenglai Textile Technology Co ltd
Priority to CN202210516868.1A priority Critical patent/CN114627116B/zh
Publication of CN114627116A publication Critical patent/CN114627116A/zh
Application granted granted Critical
Publication of CN114627116B publication Critical patent/CN114627116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Abstract

本发明涉及图像识别技术领域,具体涉及一种基于人工智能的织物疵点识别方法及系统,包括:获取待检测织物表面的RGBD图像以获取RGB图像和深度图,进而获取LABD四通道图像;确定该四通道图像中的每一个像素点在不同尺寸下的邻域区域,进而确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值,并确定该四通道图像中的每一个像素点在不同尺寸下的权重值;根据显著值和权重值,确定四通道图像的显著图,从而得到各个形态图,根据各个形态图、显著图和深度图得到疵点识别结果。本发明通过获取检测织物表面的RGBD图像对应的各个形态图、显著图和深度图,从多尺度准确地描述了疵点的特征,有效提高了疵点识别和分类的准确性。

Description

一种基于人工智能的织物疵点识别方法及系统
技术领域
本发明涉及图像识别技术领域,具体涉及一种基于人工智能的织物疵点识别方法及系统。
背景技术
在织物的生产过程中,不可避免的会出现疵点,疵点的出现会降低织物的最终品质,给后续的裁剪、缝制带来困难,因此在织物打包成卷出厂前,通常会进行织物疵点检测,去除疵点或者对织物进行处理。随着计算机视觉和人工智能融入到各行各业,传统用人眼识别疵点并处理的方式也逐渐升级为人工智能协助识别和定位,然后进行人工处理的新方式。这种人工智能识别疵点并通知人工处理的方式克服了人眼识别疵点时主观性强、容易疲劳、对小物体识别不准等缺点,保证了织物生产的准确性和问题上报的及时性,而且提高了生产效率,降低了经营成本。
在织物疵点中,一部分是织物破损、纱线异常和颜色纹理错误等,这类疵点出现的频率低,需要对出现该类疵点的部分织物进行返工;另一部分是附着在织物上的细线、头发丝和碎屑等,这类疵点出现的频率高,但是容易去除,出现的原因可能是空气中漂浮着细线、织物碎屑等污染物掉落到织物上面,也可能是织物经过纺织机器时带来的污染。上述人工智能检测到疵点就上报的方式没有考虑到可吸除疵点是可轻易用吸风机吸除的情况,没有尝试进行可吸除疵点和不可吸除疵点,并尝试做预处理,而是直接通知人工处理,工人得到疵点的位置后还是要去定位一遍,再做处理,这样没有节省太多的人力和成本。
另外,由于织物疵点的特征比较复杂,所以现有的人工智能检测疵点的精度还相对较低。而为了提高疵点检测精度,通常的做法是对进行疵点识别的网络进行改进,以提高疵点特征的提取能力。但是由于改进后的网络是基于输入图像的有限信息来实现疵点特征识别的,疵点识别准确性依旧有待提高。
发明内容
本发明的目的在于提供一种基于人工智能的织物疵点识别方法及系统,用于解决现有的疵点识别准确性相对较低的问题。
为解决上述技术问题,本发明提供了一种基于人工智能的织物疵点识别方法,包括以下步骤:
获取待检测织物表面的RGBD图像,根据RGBD图像,获取RGB图像和深度图,并根据RGB图像和深度图,获取LABD四通道图像;
根据LABD四通道图像的边长和边宽,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域;
根据LABD四通道图像中的每一个像素点的像素值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的像素值,确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值;
确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域在RGB图像中的对应区域,并根据对应区域,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值;
根据LABD四通道图像中的每一个像素点在不同尺寸下的显著值和权重值,确定LABD四通道图像的显著图;
根据LABD四通道图像的显著图,确定LABD四通道图像的各个形态图,并将LABD四通道图像的各个形态图、显著图和深度图输入到织物疵点识别网络中,由织物疵点识别网络输出疵点识别结果。
进一步的,确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值的步骤包括:
根据LABD四通道图像中的每一个像素点的像素值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的像素值,确定LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值;
根据LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的初始的显著值,对LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值进行更新,最终确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值。
进一步的,对LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值进行更新的步骤包括:
计算LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域中各个像素点的初始的显著值的均值,并计算LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值与该像素点在不同尺寸下的邻域区域对应的均值的差值,并利用该差值对LABD四通道图像中的对应的像素点在不同尺寸下的初始的显著值进行更新。
进一步的,确定LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值对应的计算公式为:
Figure 100002_DEST_PATH_IMAGE002
其中,
Figure 100002_DEST_PATH_IMAGE004
为LABD四通道图像中的每一个像素点在第i个尺寸下的初始的显著值,
Figure 100002_DEST_PATH_IMAGE006
为LABD四通道图像中的每一个像素点的像素值,
Figure 100002_DEST_PATH_IMAGE008
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域中第k个像素点的像素值,
Figure 100002_DEST_PATH_IMAGE010
为像素值
Figure 26924DEST_PATH_IMAGE006
Figure 275503DEST_PATH_IMAGE008
之间的欧式距离,
Figure 100002_DEST_PATH_IMAGE012
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域中像素点的总数目。
进一步的,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值的步骤包括:
对LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域在RGB图像中的对应区域进行灰度转化,得到LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域灰度图;
根据LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域灰度图中各个像素点的灰度值,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵,并计算灰度共生矩阵的对比度;
根据LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵的对比度,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值。
进一步的,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值对应的计算公式为:
Figure 100002_DEST_PATH_IMAGE014
其中,
Figure 100002_DEST_PATH_IMAGE016
为LABD四通道图像中的每一个像素点在第i个尺寸下的权重值,
Figure 100002_DEST_PATH_IMAGE018
Figure 100002_DEST_PATH_IMAGE020
为权重调整参数,
Figure 100002_DEST_PATH_IMAGE022
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域对应的对应区域的灰度共生矩阵的对比度,I为LABD四通道图像中的每一个像素点的尺寸的总数目。
进一步的,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域的步骤包括:
根据LABD四通道图像的边长和边宽,确定邻域区域的最大半径和最小半径;
根据邻域区域的最大半径和最小半径,确定邻域区域的各个实际半径;
以LABD四通道图像中的每一个像素点为圆心,并分别以邻域区域的各个实际半径为半径画圆,得到的各个圆形区域即为LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域。
进一步的,确定LABD四通道图像的各个形态图的步骤包括:
根据LABD四通道图像的显著图,获取该显著图的显著性目标二值图,并确定显著性目标二值图中的各个显著性目标连通域;
确定各个显著性目标连通域的最小外接矩形,进而获取各个最小外接矩形中的显著性目标对应的各个不变矩;
将各个不变矩依次赋值给对应的最小外接矩形中的显著性目标,从而得到LABD四通道图像的各个形态图。
进一步的,所述疵点识别结果包括待检测织物是否存在疵点以及在存在疵点情况下的疵点类型和疵点位置,若疵点类型为不可吸除疵点,则上报该不可吸除疵点的疵点类型和疵点位置,若疵点类型为可吸除疵点,则根据该可吸除疵点的疵点位置,进行疵点吸除处理。
本发明还提供了一种基于人工智能的织物疵点识别系统,包括处理器和存储器,所述处理器用于处理存储在所述存储器中的指令,以实现上述任一项所述的基于人工智能的织物疵点识别方法。
本发明具有如下有益效果:通过获取待检测织物表面的RGBD图像,进而获取RGB图像和深度图;结合获取RGB图像和深度图,得到LABD四通道图像,并结合LABD四通道图像和RGB图像,得到显著图和各个形态图;结合各个形态图、显著图和深度图,得到疵点识别结果。由于本发明的各个形态图、显著图和深度图从多尺度准确地描述了疵点的特征,有效提高了疵点识别和分类的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的基于人工智能的织物疵点识别方法对应的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
应用场景:在织物即将出厂前,将要成卷时进行最后的产品筛查,保证织物的品质。
针对上述应用场景,本实施例提供了一种基于人工智能的织物疵点识别方法,其对应的流程如图1所示,包括以下步骤:
(1)获取待检测织物表面的RGBD图像,根据RGBD图像,获取RGB图像和深度图,并根据RGB图像和深度图,获取LABD四通道图像。
在织物成卷之前,在合适的位置设置相机,以获取待检测织物表面的RGBD图像。在本实施中,是在织物成卷前的合适位置设置RGB-D(深度)阵列相机,相机视线垂直于织物平面,从而获取待检测织物表面的RGBD图像。在获取RGBD图像之后,对该RGBD图像进行拆分处理,从而得到RGB图像和深度图,由于具体拆分过程属于现有技术,此处不再赘述。
考虑到细线、头发丝等可吸除疵点的边缘往往不清晰,在得到RGB图像之后,需要使用冲击滤波器对RGB图像进行锐化处理,从而得到锐化处理后的RGB图像。将锐化处理后的RGB图像转化为LAB图,LAB图分为三个通道,L通道是明度,变化范围是[0,100];A通道的颜色是红色到深绿色,变化范围是[-120,+120];B通道的颜色是蓝色到黄色,变化范围也是[-120,+120]。另外,为了让深度图中像素值的取值范围接近LAB图中三通道的取值范围,对深度图进行处理,即将深度图中的像素值按比例缩放并取整后映射到[0,100]区间内,从而得到处理后的深度图。结合LAB图中的三个通道以及处理后的深度图,得到含有四个通道的LABD四通道图像,由于将三通道LAB图和深度图进行融合得到LABD四通道图像的具体实现过程是本领域技术人员能够实现的,此处对其具体实现过程不再详细描述。
(2)根据LABD四通道图像的边长和边宽,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域。
考虑到圆形具有面积大周长小且完美对称的特性,为了便于后续准确计算LABD四通道图像中每个像素点的显著值,因此本实施例所确定的LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域为圆形区域,具体实现步骤包括:
(2-1)根据LABD四通道图像的边长和边宽,确定邻域区域的最大半径和最小半径。
为了让后续LABD四通道图像中的每一个像素点的显著值的感知范围更具适应性,体现疵点像素的显著值与非疵点像素的显著值的差异,从而准确的识别疵点,本实施例需要确定LABD四通道图像中的每一个像素点的4个尺寸的邻域区域,而为了确定4个尺寸的邻域区域的大小,则需要确定邻域区域的最大半径和最小半径,对应的计算公式为:
Figure 100002_DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE026
其中,
Figure DEST_PATH_IMAGE028
为邻域区域的最小半径,
Figure DEST_PATH_IMAGE030
为邻域区域的最大半径,
Figure DEST_PATH_IMAGE032
为LABD四通道图像的边宽,
Figure DEST_PATH_IMAGE034
为LABD四通道图像的边长,
Figure DEST_PATH_IMAGE036
为半径修正系数,其取值决定了邻域区域的半径的取值范围,经验值取
Figure DEST_PATH_IMAGE038
Figure DEST_PATH_IMAGE040
为取最小值函数,
Figure DEST_PATH_IMAGE042
为取最大值函数。
(2-2)根据邻域区域的最大半径和最小半径,确定邻域区域的各个实际半径。
基于步骤(2-1)确定的邻域区域的最大半径
Figure 366650DEST_PATH_IMAGE030
和最小半径
Figure 649864DEST_PATH_IMAGE028
,确定4个尺度的U邻域区域,每个第i个尺度的U邻域区域的半径为
Figure DEST_PATH_IMAGE044
,对应的计算公式为:
Figure DEST_PATH_IMAGE046
其中,
Figure 298757DEST_PATH_IMAGE044
为在第i个尺度下的邻域区域的半径,也就是邻域区域的第i个实际半径,i=1、2、3、4,
Figure 769053DEST_PATH_IMAGE028
为邻域区域的最小半径,
Figure 702374DEST_PATH_IMAGE030
为邻域区域的最大半径。
(2-3)以LABD四通道图像中的每一个像素点为圆心,并分别以邻域区域的各个实际半径为半径画圆,得到的各个圆形区域即为LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域。
在通过上述步骤(2-2)确定在4个尺度下的邻域区域的半径之后,对于LABD四通道图像中的每一个像素点,以该像素点为圆心,以在每个尺度下的邻域区域的实际半径为半径,得到一个实心圆形,该实心圆形即为在每个尺度下的邻域区域,从而得到LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域。
(3)根据LABD四通道图像中的每一个像素点的像素值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的像素值,确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值,具体实现步骤包括:
(3-1)根据LABD四通道图像中的每一个像素点的像素值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的像素值,确定LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值,对应的计算公式为:
Figure DEST_PATH_IMAGE002A
其中,
Figure 777777DEST_PATH_IMAGE004
为LABD四通道图像中的每一个像素点在第i个尺寸下的初始的显著值,
Figure 4097DEST_PATH_IMAGE006
为LABD四通道图像中的每一个像素点的像素值,
Figure 227268DEST_PATH_IMAGE008
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域中第k个像素点的像素值,
Figure 433121DEST_PATH_IMAGE010
为像素值
Figure 425348DEST_PATH_IMAGE006
Figure 589613DEST_PATH_IMAGE008
之间的欧式距离,
Figure 758470DEST_PATH_IMAGE012
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域中像素点的总数目。
(3-2)根据LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的初始的显著值,对LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值进行更新,最终确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值。
其中,对LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值进行更新的步骤包括:
计算LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域中各个像素点的初始的显著值的均值,并计算LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值与该像素点在不同尺寸下的邻域区域对应的均值的差值,并利用该差值对LABD四通道图像中的对应的像素点在不同尺寸下的初始的显著值进行更新。
以LABD四通道图像中的某个像素点a为例,记LABD四通道图像中的某个像素点a在某一尺寸下的初始的显著值为
Figure DEST_PATH_IMAGE048
,计算该像素点a在该尺寸下的邻域区域中各个像素点的初始的显著值的均值
Figure DEST_PATH_IMAGE050
,计算显著值
Figure 843713DEST_PATH_IMAGE048
Figure 221605DEST_PATH_IMAGE050
的差值,并将该差值作为该像素点a在该尺寸下的最终的显著值,从而实现该像素点a在该尺寸下的初始的显著值的更新。按照同样的方式,可实现该像素点a在其他3尺寸下的初始的显著值的更新,从而得到该像素点a在不同尺寸下的最终的显著值。
(4)确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域在RGB图像中的对应区域,并根据对应区域,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值。
对于LABD四通道图像中的每一个像素点,确定其在4个不同尺寸下的邻域区域在RGB图像中的对应区域,并基于该对应区域中各个像素点的像素值,确定每一个像素点在不同尺寸下的权重值,具体实现步骤包括:
(4-1)对LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域在RGB图像中的对应区域进行灰度转化,得到LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域灰度图。
(4-2)根据LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域灰度图中各个像素点的灰度值,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵,并计算灰度共生矩阵的对比度。
以LABD四通道图像中的某个像素点a为例,将其在某一尺寸下的邻域区域对应的对应区域灰度图中各个像素点的灰度值除以32向下取整之后映射到[0,7]区间内,对应得到灰度处理后的对应区域灰度图。取灰度处理后的对应区域灰度图中任意一像素点g1(
Figure DEST_PATH_IMAGE052
,
Figure DEST_PATH_IMAGE054
),距离该像素点k个像素的一像素点g2(
Figure DEST_PATH_IMAGE056
,
Figure DEST_PATH_IMAGE058
),设该对像素点的灰度值为(g1,g2)。在本实施例中,根据经验值取k=1,同时对于任意一像素点g1(
Figure 682671DEST_PATH_IMAGE052
,
Figure 880434DEST_PATH_IMAGE054
)取其上下左右四个位置的像素点g2(
Figure 428090DEST_PATH_IMAGE056
,
Figure 394909DEST_PATH_IMAGE058
),此时对于任意一像素点g1(
Figure 900977DEST_PATH_IMAGE052
,
Figure 320457DEST_PATH_IMAGE054
),可以得到四个g2(
Figure 671804DEST_PATH_IMAGE056
,
Figure 493129DEST_PATH_IMAGE058
),取这四个g2(
Figure 668634DEST_PATH_IMAGE056
,
Figure 575410DEST_PATH_IMAGE058
)的均值,最终得到一对灰度值(g1,g2),以此来减少纹理特征的数量。让像素点g1(
Figure 464868DEST_PATH_IMAGE052
,
Figure 406280DEST_PATH_IMAGE054
)在整个灰度处理后的对应区域灰度图上移动,统计每一种(g1,g2)值出现的次数,结合各种(g1,g2)值出现的总次数进行归一化处理,得到每一种(g1,g2)值出现的概率。以各种(g1,g2)值排列一个矩阵,同时以其对应的概率为矩阵中对应位置的元素值,从而得到LABD四通道图像中的某个像素点a在某一尺寸下的邻域区域对应的对应区域的灰度共生矩阵。按照同样的方式,可以得到该像素点a在其他3个尺寸下的邻域区域对应的对应区域的灰度共生矩阵,从而得到该像素点a在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵。
在得到LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵之后,计算每一个灰度共生矩阵的对比度,由于对比度的计算过程属于现有技术,此处不再赘述。
(4-3)根据LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵的对比度,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值。
一个邻域区域对应的灰度共生矩阵的对比度越大,说明其纹理差异越大,其中的显著性目标难以凸显出来,因此需要提高它的权重来均衡显著值。所以,根据LABD四通道图像中的每一个像素点在不同尺寸下对应的灰度共生矩阵的对比度,合理确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值,对应的计算公式为:
Figure DEST_PATH_IMAGE014A
其中,
Figure 191833DEST_PATH_IMAGE016
为LABD四通道图像中的每一个像素点在第i个尺寸下的权重值,
Figure 851484DEST_PATH_IMAGE018
Figure 544634DEST_PATH_IMAGE020
为权重调整参数,
Figure 573507DEST_PATH_IMAGE018
不受权值影响,
Figure DEST_PATH_IMAGE060
,根据经验取
Figure 61121DEST_PATH_IMAGE018
=1/8,
Figure 942489DEST_PATH_IMAGE020
=1/2,使得权重值不会因为4个尺寸下的邻域区域的对比度差异太大而失衡,
Figure 439329DEST_PATH_IMAGE022
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域对应的对应区域的灰度共生矩阵的对比度,I为LABD四通道图像中的每一个像素点的尺寸的总数目。
(5)根据LABD四通道图像中的每一个像素点在不同尺寸下的最终显著值和权重值,确定LABD四通道图像的显著图。
基于通过上述步骤(3)所确定的LABD四通道图像中的每一个像素点在不同尺寸下的显著值以及步骤(4)所确定的LABD四通道图像中的每一个像素点在不同尺寸下的权重值,计算LABD四通道图像中的每一个像素点在同一尺寸下的显著值和权重值的乘积,然后将每一个像素点在4个尺寸下的乘积进行累加,并将该累加和作为每一个像素点最终对应的显著值,从而得到LABD四通道图像的显著图。
(6)根据LABD四通道图像的显著图,确定LABD四通道图像的各个形态图,并将LABD四通道图像的各个形态图、显著图和深度图输入到织物疵点识别网络中,由织物疵点识别网络输出疵点识别结果。
在通过上述步骤(5)得到LABD四通道图像的显著图之后,需要获取显著性目标的形态图,具体实现步骤包括:
(6-1)根据LABD四通道图像的显著图,获取该显著图的显著性目标二值图,并确定显著性目标二值图中的各个显著性目标连通域。
基于阈值对LABD四通道图像的显著图进行图像分割,得到显著性目标二值图。在显著性目标二值图中,像素值为0的是背景,像素值为1的是显著性目标。然后对显著性目标二值图中像素值为1的像素点进行连通域提取,从而得到显著性目标二值图中的各个显著性目标连通域。
(6-2)确定各个显著性目标连通域的最小外接矩形,进而获取各个最小外接矩形中的显著性目标对应的各个不变矩。
对于通过上述步骤(6-1)所确定的各个显著性目标连通域,确定每个显著性目标连通域的最小外接矩形。然后根据每个最小外接矩形中各个像素值1对应的位置,使用Hu不变矩对最小外接矩形中的显著性目标进行形状描述,得到7个不变矩M1-M7。利用Hu不变矩可以描述最小外接矩形内部显著性目标的全局特征,并且具有旋转、缩放和平移不变性。
(6-3)将各个不变矩依次赋值给对应的最小外接矩形中的显著性目标,从而得到LABD四通道图像的各个形态图。
在通过上述步骤(6-2)得到各个显著性目标连通域的最小外接矩形的7个不变矩M1-M7之后,分别将每个显著性目标连通域的最小外接矩形的不变矩M1赋值给该显著性目标连通域中的像素值1的像素点,从而得到M1形态图,分别将每个显著性目标连通域的最小外接矩形的不变矩M2赋值给该显著性目标连通域中的像素值1的像素点,从而得到M2形态图,以此类推,可以得到M7形态图,至此总共可以得到七个形态图。
在通过上述步骤(6-1)-(6-3)得到LABD四通道图像的七个形态图之后,再加上通过上述步骤(5)得到的LABD四通道图像的显著图以及步骤(1)得到的深度图,构成了疵点的9层特征图。这9层特征图多尺度地从深度、颜色、大小、位置、方向及数字特征出发,准确地描述了疵点的特征,提高了后续织物疵点识别网络识别的具体性和准确性。
将上述9层特征图输入到预先获取的织物疵点识别网络中,由织物疵点识别网络进行语义分割,并输出疵点识别结果。这里的疵点识别结果包括待检测织物是否存在疵点以及在存在疵点情况下的疵点类型和疵点位置,若疵点类型为不可吸除疵点,则上报该不可吸除疵点的疵点类型和疵点位置,若疵点类型为可吸除疵点,则根据该可吸除疵点的疵点位置,进行疵点吸除处理。
具体的,当通过织物疵点识别网络识别到待检测织物表面存在疵点时,此时则会发送指令暂停织物运输线,同时根据识别出的疵点类型,进行相应的处理。其中,若该疵点类型为不可吸除疵点,如划痕型疵点,色差型疵点,破损型疵点等,则上报该不可吸除疵点的疵点类型和疵点位置,由人工进行处理;若该疵点类型为不可吸除疵点,如丝状附着物疵点、碎屑附着物疵点等,则将该疵点位置发送至安装有吸风机的二维机械滑台控制器,该控制器控制带动吸风机到疵点位置坐标处进行疵点吸除操作,预设吸风机的风力和距离织物的高度,保证风力不会损伤织物,能吸除大多数的可吸除疵点即可,此时不进行上报通知,并记录此次操作,这样可以很大程度上减少通知人工处理的次数,提高生产效率。
另外,上述由9层特征图得到疵点识别结果的关键在于预先获取织物疵点识别网络,在本实施中,该织物疵点识别网络由SegNet神经网络构成,SegNet 神经网络是一个编码器-解码器结构的卷积神经网络,编码器部分在VGG-16(Visual Geometry GroupNetwork,VGG)的前13层,并且在删除全连接层的基础上,每个卷积层后都加了一个BN(Batch Normalization)层,在进行最大池化时,记录对应的最大池化索引;解码器部分通过同层对应的编码器记录的最大池化索引进行上采样,再进行卷积密集化处理,最后每个像素用softmax分类器进行分类。该织物疵点识别网络使用交叉熵损失函数作为目标函数。
在构建好织物疵点识别网络之后,获取该网络对应的训练样本。具体获取与上述步骤(1)中待检测织物同类型的织物的表面图像,这些表面图像中需包含常见的疵点类型,如丝状可吸除疵点、碎屑可吸除疵点、划痕型疵点,色差型疵点,破损型疵点等,并混合少量正常织物的图像组成图像数据集。然后通过过采样和数据增强的方式进行扩充,得到大量的图像数据集。参考上述步骤(1)-(6),得到图像数据集中每一张图像对应的9层特征图,并使用Lableme工具为图像数据集中每一张图像进行分类标注,将疵点分为可吸除疵点和不可吸除疵点两大类。其中,可吸除疵点进一步细分为丝状附着物疵点,对应标号为0,碎屑附着物疵点,对应标号为1,其他附着物疵点,对应标号为2;不可吸除疵点进一步细分为划痕型疵点,对应标号为3,色差型疵点,对应标号为4,破损型疵点,对应标号为5,其他疵点,对应标号为6。至此,可以得到织物疵点识别网络的训练样本,也就是9层特征图数据集。
在得到织物疵点识别网络的训练样本之后,取训练样本的80%作为训练集,20%作为测试集,以实现对织物疵点识别网络的训练。在训练过程中,将每一张图像的9层特征图同时输入到织物疵点识别网络中,由织物疵点识别网络进行疵点识别,并根据识别结果对网络参数进行优化。在本实施例中,进行网络参数优化的优化算法选用随机梯度下降法,动量设置为0.9,权重衰弱系数设置为0.001,在32k次和64k次迭代后,学习率按比例缩小0.1倍,以此加快织物疵点识别网络的训练速度。
在织物疵点识别网络训练完成之后,即可将待检测织物的表面图像的9层特征图输入到织物疵点识别网络中,由织物疵点识别网络实现对待检测织物的表面图像中不同疵点的识别与分类,并定位疵点的坐标。
本实施例还提供了一种基于人工智能的织物疵点识别系统,包括处理器和存储器,所述处理器用于处理存储在所述存储器中的指令,以实现一种基于人工智能的织物疵点识别方法。由于该基于人工智能的织物疵点识别方法已在上述内容中进行了详细介绍,此处不再赘述。
本发明通过获取待检测织物表面的RGBD图像,并根据该RGBD图像获取9层特征图,这9层特征图多尺度地从深度、颜色、大小、位置、方向及数字特征出发,准确地描述了疵点的特征,有效提高了疵点识别和分类的具体性和准确性。另外,本发明在识别出疵点为可吸除疵点的情况下,直接控制吸风机去除该可吸除疵点,避免了人工去处理,处理效率更高,保证了织物的完整性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的织物疵点识别方法,其特征在于,包括以下步骤:
获取待检测织物表面的RGBD图像,根据RGBD图像,获取RGB图像和深度图,并根据RGB图像和深度图,获取LABD四通道图像;
根据LABD四通道图像的边长和边宽,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域;
根据LABD四通道图像中的每一个像素点的像素值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的像素值,确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值;
确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域在RGB图像中的对应区域,并根据对应区域,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值;
根据LABD四通道图像中的每一个像素点在不同尺寸下的显著值和权重值,确定LABD四通道图像的显著图;
根据LABD四通道图像的显著图,确定LABD四通道图像的各个形态图,并将LABD四通道图像的各个形态图、显著图和深度图输入到织物疵点识别网络中,由织物疵点识别网络输出疵点识别结果。
2.根据权利要求1所述的基于人工智能的织物疵点识别方法,其特征在于,确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值的步骤包括:
根据LABD四通道图像中的每一个像素点的像素值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的像素值,确定LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值;
根据LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值以及每一个像素点在不同尺寸下的邻域区域中各个像素点的初始的显著值,对LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值进行更新,最终确定LABD四通道图像中的每一个像素点在不同尺寸下的显著值。
3.根据权利要求2所述的基于人工智能的织物疵点识别方法,其特征在于,对LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值进行更新的步骤包括:
计算LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域中各个像素点的初始的显著值的均值,并计算LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值与该像素点在不同尺寸下的邻域区域对应的均值的差值,并利用该差值对LABD四通道图像中的对应的像素点在不同尺寸下的初始的显著值进行更新。
4.根据权利要求2所述的基于人工智能的织物疵点识别方法,其特征在于,确定LABD四通道图像中的每一个像素点在不同尺寸下的初始的显著值对应的计算公式为:
Figure DEST_PATH_IMAGE002
其中,
Figure DEST_PATH_IMAGE004
为LABD四通道图像中的每一个像素点在第i个尺寸下的初始的显著值,
Figure DEST_PATH_IMAGE006
为LABD四通道图像中的每一个像素点的像素值,
Figure DEST_PATH_IMAGE008
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域中第k个像素点的像素值,
Figure DEST_PATH_IMAGE010
为像素值
Figure DEST_PATH_IMAGE012
Figure 393765DEST_PATH_IMAGE008
之间的欧式距离,
Figure DEST_PATH_IMAGE014
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域中像素点的总数目。
5.根据权利要求1-4中任一项所述的基于人工智能的织物疵点识别方法,其特征在于,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值的步骤包括:
对LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域在RGB图像中的对应区域进行灰度转化,得到LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域灰度图;
根据LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域灰度图中各个像素点的灰度值,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵,并计算灰度共生矩阵的对比度;
根据LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域对应的对应区域的灰度共生矩阵的对比度,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值。
6.根据权利要求5所述的基于人工智能的织物疵点识别方法,其特征在于,确定LABD四通道图像中的每一个像素点在不同尺寸下的权重值对应的计算公式为:
Figure DEST_PATH_IMAGE016
其中,
Figure DEST_PATH_IMAGE018
为LABD四通道图像中的每一个像素点在第i个尺寸下的权重值,
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE022
为权重调整参数,
Figure DEST_PATH_IMAGE024
为LABD四通道图像中的每一个像素点在第i个尺寸下的邻域区域对应的对应区域的灰度共生矩阵的对比度,I为LABD四通道图像中的每一个像素点的尺寸的总数目。
7.根据权利要求1所述的基于人工智能的织物疵点识别方法,其特征在于,确定LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域的步骤包括:
根据LABD四通道图像的边长和边宽,确定邻域区域的最大半径和最小半径;
根据邻域区域的最大半径和最小半径,确定邻域区域的各个实际半径;
以LABD四通道图像中的每一个像素点为圆心,并分别以邻域区域的各个实际半径为半径画圆,得到的各个圆形区域即为LABD四通道图像中的每一个像素点在不同尺寸下的邻域区域。
8.根据权利要求1所述的基于人工智能的织物疵点识别方法,其特征在于,确定LABD四通道图像的各个形态图的步骤包括:
根据LABD四通道图像的显著图,获取该显著图的显著性目标二值图,并确定显著性目标二值图中的各个显著性目标连通域;
确定各个显著性目标连通域的最小外接矩形,进而获取各个最小外接矩形中的显著性目标对应的各个不变矩;
将各个不变矩依次赋值给对应的最小外接矩形中的显著性目标,从而得到LABD四通道图像的各个形态图。
9.根据权利要求1所述的基于人工智能的织物疵点识别方法,其特征在于,所述疵点识别结果包括待检测织物是否存在疵点以及在存在疵点情况下的疵点类型和疵点位置,若疵点类型为不可吸除疵点,则上报该不可吸除疵点的疵点类型和疵点位置,若疵点类型为可吸除疵点,则根据该可吸除疵点的疵点位置,进行疵点吸除处理。
10.一种基于人工智能的织物疵点识别系统,其特征在于,包括处理器和存储器,所述处理器用于处理存储在所述存储器中的指令,以实现上述权利要求1-9中任一项所述的基于人工智能的织物疵点识别方法。
CN202210516868.1A 2022-05-13 2022-05-13 一种基于人工智能的织物疵点识别方法及系统 Active CN114627116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210516868.1A CN114627116B (zh) 2022-05-13 2022-05-13 一种基于人工智能的织物疵点识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210516868.1A CN114627116B (zh) 2022-05-13 2022-05-13 一种基于人工智能的织物疵点识别方法及系统

Publications (2)

Publication Number Publication Date
CN114627116A CN114627116A (zh) 2022-06-14
CN114627116B true CN114627116B (zh) 2022-07-15

Family

ID=81907228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210516868.1A Active CN114627116B (zh) 2022-05-13 2022-05-13 一种基于人工智能的织物疵点识别方法及系统

Country Status (1)

Country Link
CN (1) CN114627116B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998346B (zh) * 2022-08-04 2022-10-25 启东市固德防水布有限公司 一种防水布质量数据处理、识别方法
CN115078271B (zh) * 2022-08-23 2022-11-15 启东奈克斯特新材料科技有限公司 一种化纤面料上色质量检测及评估方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261003A (zh) * 2015-09-10 2016-01-20 西安工程大学 一种基于织物自身结构进行疵点检测的方法
CN107085848A (zh) * 2017-04-20 2017-08-22 安徽大学 一种rgb‑d图显著性的检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017096299A1 (en) * 2015-12-04 2017-06-08 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261003A (zh) * 2015-09-10 2016-01-20 西安工程大学 一种基于织物自身结构进行疵点检测的方法
CN107085848A (zh) * 2017-04-20 2017-08-22 安徽大学 一种rgb‑d图显著性的检测方法

Also Published As

Publication number Publication date
CN114627116A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN114627116B (zh) 一种基于人工智能的织物疵点识别方法及系统
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN109816644B (zh) 一种基于多角度光源影像的轴承缺陷自动检测系统
CN110533672B (zh) 一种基于条带识别的染色体排序方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN108108761A (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN104408449B (zh) 智能移动终端场景文字处理方法
CN108564114B (zh) 一种基于机器学习的人体粪便白细胞自动识别方法
CN104112132A (zh) 一种枪械编号自动识别方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN112614062A (zh) 菌落计数方法、装置及计算机存储介质
CN107195069A (zh) 一种人民币冠字号自动识别方法
CN112560941A (zh) 基于图像检测的煤矸识别方法
CN116109637B (zh) 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法
CN110852315A (zh) 环形文字快速识别方法及装置
CN105320970A (zh) 一种马铃薯病害诊断装置、诊断系统及诊断方法
CN107958253A (zh) 一种图像识别的方法和装置
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN111738367A (zh) 一种基于图像识别的零件分类方法
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN102495067B (zh) 一种食用菌杂质在线识别系统
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN115620075A (zh) 白细胞分类模型用数据集的生成方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant