CN116542973B - 基于图像理解的皮革疥癣缺陷精确分级方法及装置 - Google Patents

基于图像理解的皮革疥癣缺陷精确分级方法及装置 Download PDF

Info

Publication number
CN116542973B
CN116542973B CN202310815073.5A CN202310815073A CN116542973B CN 116542973 B CN116542973 B CN 116542973B CN 202310815073 A CN202310815073 A CN 202310815073A CN 116542973 B CN116542973 B CN 116542973B
Authority
CN
China
Prior art keywords
image
mange
leather
color difference
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
CN202310815073.5A
Other languages
English (en)
Other versions
CN116542973A (zh
Inventor
刘小利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Narinko New Materials Nantong Co ltd
Original Assignee
Narinko New Materials Nantong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Narinko New Materials Nantong Co ltd filed Critical Narinko New Materials Nantong Co ltd
Priority to CN202310815073.5A priority Critical patent/CN116542973B/zh
Publication of CN116542973A publication Critical patent/CN116542973A/zh
Application granted granted Critical
Publication of CN116542973B publication Critical patent/CN116542973B/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像理解的皮革疥癣缺陷精确分级方法及装置,涉及图像识别技术领域,科学地、智能地实现了疥癣皮革的疥癣缺陷分级,不仅大大提高了工作效率,而且保障了疥癣缺陷分级的准确度。方案要点为:对采集的待分级疥癣皮革表面图像进行预处理,通过计算正常皮革LAB图像中各像素LAB值和待分级疥癣LAB图像中疥癣LAB值,以及各像素与疥癣的色差值,获取色差图像,进行阈值量化,获取量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,并将嵌入向量和带权邻接矩阵接入预设神经网络,实现待分级疥癣皮革的疥癣缺陷分级。本发明主要用于皮革疥癣缺陷分级中。

Description

基于图像理解的皮革疥癣缺陷精确分级方法及装置
技术领域
本发明涉及图像识别技术领域,尤其涉及一种基于图像理解的皮革疥癣缺陷精确分级方法及装置。
背景技术
近年来, 皮革材料逐渐成为我们日常生活中必不可少的材料,例如皮鞋、皮包、家具、汽车坐垫等等。随着人们生活水平和消费能力地不断提高,人们对皮革制品的品质要求也越来越高,然而,皮革制品原材料在采集的时候,由于动物生长过程中可能存在划伤、疥癣、虫孔、疤痕等缺陷,致使皮革制品质量大大下降。因此,对皮革制品原材料缺陷的检测以及分级,成为了当前急需解决的问题。
现有技术采用人工肉眼检测及分级;检测工人通过肉眼以及以往经验对大量皮革制品原材料进行检测并分级。
上述现有技术,由于皮革制品市场的日益增大,检测工人需要对大量的皮革制品原材料进行检测,工作量极大,耗费大量人工且工作效率低;通过肉眼检测皮革原材料缺陷,因为皮革制品原材料一般存在多种不同类型的缺陷,所以检测结果准确率低下。
发明内容
本发明提供一种基于图像理解的皮革疥癣缺陷精确分级方法及装置,包括:对采集的待分级疥癣皮革表面图像进行预处理,通过计算正常皮革LAB图像中各像素LAB值和待分级疥癣LAB图像中疥癣LAB值,以及各像素与疥癣的色差值,获取色差图像,进行阈值量化,获取量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,并将嵌入向量和带权邻接矩阵接入预设神经网络,实现待分级疥癣皮革的疥癣缺陷分级,相比与现有技术,本发明基于图像视觉科学地、智能地实现了疥癣皮革的疥癣缺陷分级,不仅大大提高了工作效率,而且保障了疥癣缺陷分级的准确度。
为达到上述目的,本发明采用如下技术方案:
本发明提供一种基于图像理解的皮革疥癣缺陷精确分级方法,包括:
获取待分级疥癣皮革表面图像;待分级疥癣皮革图像包含待分级疥癣图像和正常皮革图像。
对待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像。
分别计算正常皮革LAB图像中各像素的LAB值和待分级疥癣LAB图像中疥癣LAB值,并计算各像素与所述疥癣的色差值。
根据色差值,获取色差图像。
对色差图像进行阈值量化,获取量化后色差图像。
对量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图;
对色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,利用Graph2vec法实现嵌入向量的获取;其中,带权邻接矩阵中的数值为两点之间的边权,所述两点之前的边权通过色差聚合联通图计算。将嵌入向量和带权邻接矩阵接入预设神经网络,预设神经网络用于根据色差聚合联通图中嵌入向量和带权邻接矩阵,判断色差聚合联通图中一种或多种疥癣的缺陷等级,从而实现待分级疥癣皮革的疥癣缺陷分级。
优选的,预设神经网络,包括:
预设神经网络由卷积神经网络、第一全连接网络和第二全连接网络组成。
优选的,将嵌入向量和带权邻接矩阵接入预设神经网络,预设神经网络用于根据色差聚合联通图中嵌入向量和带权邻接矩阵,判断色差聚合联通图中一种或多种疥癣的缺陷等级,包括:
将嵌入向量输入所述第一全连接网络,获取第一特征向量。
将带权邻接矩阵输入卷积神经网络,获取特征图,并将特征图展平,进而获取第二特征向量。
将第一特征向量和第二特征向量进行融合,获取第三特征向量。
将第三特征向量输入第二全连接网络中,获取疥癣的缺陷等级概率。
根据疥癣的缺陷等级概率,经由Argmax操作,获取最大概率索引,确定当前疥癣的缺陷等级。
优选的,对待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像,包括:
对待分级疥癣皮革表面图像进行灰度化处理,获取待分级疥癣皮革的灰度图像。
对灰度图像进行阈值化处理,获取二值化图像。
将二值化图像与标准图像相乘,获取标准疥癣图像。
对标准疥癣图像进行LAB空间转换,获取待分级疥癣皮革LAB图像,即分别获取待分级疥癣LAB图像和正常皮革LAB图像。
进一步的,在对色差聚合联通图,分别获取嵌入向量和带权邻接矩阵之后,还包括:
对色差聚合联通图,计算每两个节点之间的边权,以便确定各连通域疥癣的缺陷严重程度。
优选的,所述两点之前的边权通过色差聚合联通图计算,包括:
所述边权的计算公式为:
式中,即为两个节点之间的距离,a,b分别为映射系数,n1表示一个节点的聚合区 域的像素个数,n2表示另一个节点的聚合区域的像素个数,分别表示一个节点的第i 个色差值,另一个节点的第j个色差值,为色差项的映射系数。本发明还提供一种基于图像 理解的皮革疥癣缺陷精确分级装置,包括:
第一获取单元,用于获取待分级疥癣皮革表面图像;待分级疥癣皮革图像包含待分级疥癣图像和正常皮革图像。
预处理单元,用于对待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像。
第一计算单元,用于分别计算正常皮革LAB图像中各像素的LAB值和待分级疥癣LAB图像中疥癣LAB值,并计算各像素与所述疥癣的色差值。
第二获取单元,用于根据色差值,获取色差图像。
量化单元,用于对色差图像进行阈值量化,获取量化后色差图像。
第三获取单元,用于对量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图。
第四获取单元,用于对色差聚合联通图,分别获取嵌入向量和带权邻接矩阵。
分级单元,用于将嵌入向量和带权邻接矩阵接入预设神经网络,预设神经网络用于根据色差聚合联通图中所述嵌入向量和带权邻接矩阵,判断色差聚合联通图中一种或多种疥癣的缺陷等级,从而实现待分级疥癣皮革的疥癣缺陷分级。
优选的,分级单元,包括:
第一输入模块,用于将嵌入向量输入所述第一全连接网络,获取第一特征向量。
第二输入模块,用于将带权邻接矩阵输入卷积神经网络,获取特征图,并将特征图展平,进而获取第二特征向量。
融合模块,用于将第一特征向量和第二特征向量进行融合,获取第三特征向量。
第三输入模块,用于将第三特征向量输入所述第二全连接网络中,获取疥癣的缺陷等级概率。
确定等级模块,用于根据疥癣的缺陷等级概率,经由Argmax操作,获取最大概率索引,确定当前疥癣的缺陷等级。
优选的,预处理单元,包括:
灰度化模块,用于对待分级疥癣皮革表面图像进行灰度化处理,获取待分级疥癣皮革的灰度图像。
二值化模块,用于对灰度图像进行阈值化处理,获取二值化图像。
相乘模块,用于将二值化图像与标准图像相乘,获取标准疥癣图像。
转换模块,用于对标准疥癣图像进行LAB空间转换,获取待分级疥癣皮革LAB图像,即分别获取待分级疥癣LAB图像和正常皮革LAB图像。
进一步的,基于图像理解的皮革疥癣缺陷精确分级装置,还包括:
第二计算单元,用于对色差聚合联通图,计算每两个节点之间的边权,以便确定各连通域疥癣的缺陷严重程度。
本发明提供一种基于图像理解的皮革疥癣缺陷精确分级方法及装置,包括:对采集的待分级疥癣皮革表面图像进行预处理,通过计算正常皮革LAB图像中各像素LAB值和待分级疥癣LAB图像中疥癣LAB值,以及各像素与疥癣的色差值,获取色差图像,进行阈值量化,获取量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,并将嵌入向量和带权邻接矩阵接入预设神经网络,实现待分级疥癣皮革的疥癣缺陷分级,相比与现有技术,本发明基于计算机视觉科学地、智能地实现了疥癣皮革的疥癣缺陷分级,不仅大大提高了工作效率,而且保障了疥癣缺陷分级的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案,以下将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中一种基于图像理解的皮革疥癣缺陷精确分级方法流程示意图;
图2为本发明实施例中另一种基于图像理解的皮革疥癣缺陷精确分级方法流程示意图;
图3为本发明实施例中一种基于图像理解的皮革疥癣缺陷精确分级装置组成结构示意图。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例提供一种基于图像理解的皮革疥癣缺陷精确分级方法,如图1所示,包括:
101、获取待分级疥癣皮革表面图像;待分级疥癣皮革图像包含待分级疥癣图像和正常皮革图像。
疥癣是由于皮革原材料提供者即牲畜身上存在疥癣虫,导致该部位生癣脱毛和结脓壳,最终在皮革表面形成小眼状的伤疤。
待分级疥癣皮革图像包含了未知缺陷等级的疥癣图像和正常不存在疥癣的皮革图像,两者以不规则、自然随机的方式组成待分级疥癣皮革。
本实施例通过采集装置,如相机,获取待分级疥癣皮革表面图像。
102、对待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像。
本实施例对具体的预处理方式不作限制,即能够实现将待分级疥癣皮革表面图像处理为待分级疥癣LAB图像和正常皮革LAB图像即可,此处本实施例仅提供其中一种方式,具体如下所示:
对待分级疥癣皮革表面图像进行灰度化处理,获取待分级疥癣皮革的灰度图像,对灰度图像进行阈值化处理,获取二值化图像,将二值化图像与标准图像相乘,获取标准疥癣图像,对标准疥癣图像进行LAB空间转换,获取待分级疥癣皮革LAB图像,即分别获取待分级疥癣LAB图像和正常皮革LAB图像。
103、分别计算正常皮革LAB图像中各像素的LAB值和待分级疥癣LAB图像中疥癣LAB值,并计算各像素与疥癣的色差值。
本实施例仅提供多种计算方式中的一种,具体为:
式中,n为疥癣的像素总个数,分别为第i个疥癣像素的L、A、B值。
色差公式采用CIEDE2000:
式中,LAB为正常皮革LAB图像中各像素的LAB值,为待分级疥癣LAB图像中疥癣 颜色的LAB值。
104、根据色差值,获取色差图像。
通过计算各像素与疥癣的色差值,所有色差值组成色差图像。
105、对色差图像进行阈值量化,获取量化后色差图像。
其中,量化是一个降维的过程,本实施例对具体的量化方式以及具体的阈值不作限制,以下仅提供其中一种可能性:
本实施例采用均匀量化原则,选用阈值为3。首先,计算所有像素的平均LAB值,作为皮革颜色。其次,获取色差阈值Cmax:
其中,为皮革颜色的LAB值,为待分级疥癣LAB图像中疥癣颜色的LAB值。
最后根据量化阈值3,进行量化:当色差值处在区间时,为第一量化区间, 将色差值变为3;当色差值处在区间时,为第二量化区间,将色差值变为2,当色 差值大于时,为第三量化区间,将色差值变为1,即根据色差值所处区间,将原来的色 差特征量化为1、2、3种色差值,获取量化后色差图像。
106、对量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图。
连通域一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。本实施例中连通域的提取方法为基于行程的标记法或基于轮廓的标记法,由于两种方法被本领域技术人员所熟知,此处不再赘述。
三角网是由一系列连续三角形构成的网状平面控制图形,是实现地形三维可视化的一种有效途径。本实施例构建三角网的方法为逐点插入法或Bowyer-Watson法,由于两种方法被本领域技术人员所熟知,此处不再赘述。
107、对色差聚合联通图,分别获取嵌入向量和带权邻接矩阵。
108、将嵌入向量和带权邻接矩阵接入预设神经网络,预设神经网络用于根据色差聚合联通图中嵌入向量和带权邻接矩阵,判断色差聚合联通图中一种或多种疥癣的缺陷等级,从而实现待分级疥癣皮革的疥癣缺陷分级。
其中,嵌入是一个从离散变量到连续数字向量的映射,神经网络嵌入可以减少类别变量的维数,再转换空间中表示类别。图嵌入(Graph Embedding,也叫NetworkEmbedding)是一种将图数据(通常为高维稠密的矩阵)映射为低微稠密向量的过程,能够很好地解决图数据难以高效输入机器学习算法的问题,本实施例采用整图嵌入方法,具体为Graph2vec法实现嵌入向量的获取。
邻接矩阵是可以表示顶点之间相邻、色差、距离关系的矩阵,由于不同图像的色差聚合联通图的节点数目不同,因此本实施例此处根据经验,将设置最大节点数目为32,最终得到的带权邻接矩阵大小为32*32,矩阵中的数值为两点之间的边权。此处需要说明的是:对于达不到32个节点的图,形成的邻接矩阵中的值用0填充。
本实施例对预设神经网络的具体构成形式不作限制,能够根据色差聚合联通图中嵌入向量和带权邻接矩阵,判断色差聚合联通图中一种或多种疥癣的缺陷等级,从而实现待分级疥癣皮革的疥癣缺陷分级的神经网络,都在本实施例的保护范围之内。
本发明提供一种基于图像理解的皮革疥癣缺陷精确分级方法,包括:对采集的待分级疥癣皮革表面图像进行预处理,通过计算正常皮革LAB图像中各像素LAB值和待分级疥癣LAB图像中疥癣LAB值,以及各像素与疥癣的色差值,获取色差图像,进行阈值量化,获取量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,并将嵌入向量和带权邻接矩阵接入预设神经网络,实现待分级疥癣皮革的疥癣缺陷分级,相比与现有技术,本发明基于计算机视觉科学地、智能地实现了疥癣皮革的疥癣缺陷分级,不仅大大提高了工作效率,而且保障了疥癣缺陷分级的准确度。
实施例2
本实施例提供一种基于图像理解的皮革疥癣缺陷精确分级方法,如图2所示,包括:
201、获取待分级疥癣皮革表面图像;待分级疥癣皮革图像包含待分级疥癣图像和正常皮革图像。
本实施例利用相机拍摄待分级疥癣皮革表面图像,获得待分级疥癣皮革可见光图像,该图像为RGB颜色空间。
202、对待分级疥癣皮革表面图像进行灰度化处理,获取待分级疥癣皮革的灰度图像。
其中,灰度图像是每个像素只有一个采样颜色的图像,这类图像通常显示为从最暗黑色到最亮白色的灰度,灰度图像与黑白图像不同,在计算机图像领域中黑白图像只有黑色、白色两种颜色,灰度图像在黑色与白色之间还有许多级的颜色深度。一幅完整的灰度图像,是由红色、绿色、蓝色三个通道组成的,红色、绿色、蓝色三个通道的缩览图都是以灰度显示的,即用不同的灰度色阶来表示“ 红、绿、蓝”在图像中的比重。
203、对灰度图像进行阈值化处理,获取二值化图像。
本实施例采用大津阈值法对待分级疥癣皮革的灰度图像进行阈值化处理。大津阈值法又叫最大类间方差法或最大类间阈值法,它的基本思想是,用一个阈值将图像中的数据分为两类:其中一类图像中的像素点的灰度均小于该阈值,另一类图像中的像素点的灰度大于或等于该阈值。本实施例采用大津阈值法得到标准二值化图像,其中前景的像素值为1,背景的像素值为0,即前景为待分级疥癣部分,背景为正常皮革部分。
204、将二值化图像与标准图像相乘,获取标准疥癣图像。
图像的乘法运算主要用于实现图像的掩膜处理,即屏蔽掉图像中的某些部分。其中,标准图像(RGB颜色空间),其为附着疥癣的皮革表面,且附着疥癣程度为严重附着,即皮革表面存在较多疥癣,且颜色较深。本实施例此处将二值化图像与标准图像相乘,得到标准疥癣图像,具体图像相乘的方法为本领域技术人员熟知的,此处不再赘述。
205、对标准疥癣图像进行LAB空间转换,获取待分级疥癣皮革LAB图像,即分别获取待分级疥癣LAB图像和正常皮革LAB图像。
具体地,将标准疥癣图像转换颜色空间,转换为LAB空间。其中,Lab是一种与设备无关的颜色模型,也是一种基于生理特征的颜色模型。Lab颜色模型由三个要素组成,一个要素是亮度(L),A 和B是两个颜色通道。其弥补了RGB和CMYK两种色彩模式的不足。
206、分别计算正常皮革LAB图像中各像素的LAB值和待分级疥癣LAB图像中疥癣LAB值,并计算各像素与疥癣的色差值。
本实施例首先根据公式:
分别计算正常皮革LAB图像中各像素的LAB值和待分级疥癣LAB图像中疥癣LAB值。 式中,n为疥癣的像素总个数,分别为第i个疥癣像素的L、A、B值。
其次,计算各像素与疥癣的色差值C,具体的,本实施例优选CIEDE2000作为色差公式:
式中,LAB为正常皮革LAB图像中各像素的LAB值,为待分级疥癣LAB图像中疥癣 颜色的LAB值。
最后,本实施例对每个像素进行色差计算,即计算各像素与疥癣的色差值,得到色差图像,其中,色差值越大代表当前部分与疥癣的颜色差异越大,越不可能是疥癣。
207、根据色差值,获取色差图像。
本实施例通过计算各像素与疥癣的色差值,所有色差值组成色差图像。
208、对色差图像进行阈值量化,获取量化后色差图像。
本实施例优选均匀量化原则,且选用阈值为3。首先,计算所有像素的平均LAB值,作为皮革颜色。其次,获取色差阈值Cmax:
式中,为皮革颜色的LAB值,为待分级疥癣LAB图像中疥癣颜色的LAB值。
最后根据量化阈值3,进行量化:当色差值处在区间时,为第一量化区间, 将色差值变为3;当色差值处在区间时,为第二量化区间,将色差值变为2,当色 差值大于时,为第三量化区间,将色差值变为1,即根据色差值所处区间,将原来的色 差特征量化为1、2、3种色差值,获取量化后色差图像。
209、对量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图。
首先,统计量化后色差图像中每种量化色差值连通域像素数目,对于一个大色差值连通域而言,其连通的像素数目越多,代表该处越可能是疥癣缺陷区域。
其次,本实施例根据经验设定连通阈值G为4,即像素数大于G的连通区域为聚合区域,小于G的连通区域为非聚合区域。
最后,对聚合区域进行图构建,以准确表示图像中不同色差的分布关系以及色差的大小关系。其中,通过构建三角网,可以准确得到图像中各个色差聚合区域之间的联系。该三角网可以认为是一个无向图,每一个点(聚合区域的质心)都可以认为是无向图中的一个节点,对于该图称为色差聚合联通图。当聚合区域的数量大于等于3时,获取每个聚合区域的质心,将所有区域的质心作为第一点集集合,对第一点集集合进行delaunay三角网构建,其构建方法有逐点插入法和Bowyer-Watson等方法,实施者可根据需要进行选择,本实施例此处不再赘述,最终得到皮革色差三角网。
此处需要说明的是:当聚合区域的数量小于3时,无法构建三角网,因此
当聚合区域数量为1时,可根据聚合区域的色差值判断该图像的疥癣缺陷等级,如 色差值为1、2、3、4分别表示皮革材料正常、皮革材料存在较浅的疥癣缺陷、皮革材料存在较 深的疥癣缺陷,皮革材料存在浓密的疥癣缺陷。当聚合区域的数量为2时,直接将两点进行 连接,得到一个两节点的图,两节点之间的边权为,该图同样称为色差聚合联通图。
210、对色差聚合联通图,分别获取嵌入向量和带权邻接矩阵。
本实施例采用整图嵌入方法,具体为Graph2vec法实现嵌入向量的获取;本实施例此处根据经验,将设置最大节点数目为32,最终得到的带权邻接矩阵大小为32*32,矩阵中的数值为两点之间的边权。此处需要说明的是:对于达不到32个节点的图,形成的邻接矩阵中的值用0填充。
211、对色差聚合联通图,计算每两个节点之间的边权,以便确定各连通域疥癣的缺陷严重程度。
本实施例对于色差聚合联通图赋予边权,边权计算公式:
式中,即为两个节点之间的距离,a,b分别为映射系数,a避免d过小导致该项取值 过大,经验值分别为1、20,n1表示一个节点的聚合区域的像素个数,n2表示另一个节点的聚 合区域的像素个数,分别表示一个节点的第i个色差值,另一个节点的第j个色差值,为色差项的映射系数,本实施例根据经验确定其值为0.03。
通过上式,即可得到色差聚合联通图中每两个节点之间的边权,该边权反映两个聚合区域的距离、色差、面积,当该边权值越大,表示两个色差连通域的疥癣缺陷越严重。
212、将嵌入向量输入第一全连接网络,获取第一特征向量。
其中,本实施例神经网络由卷积神经网络、第一全连接网络和第二全连接网络组成。嵌入向量输入到第一全连接网络中,全连接网络起到拟合与特征映射作用,最终输出一个特征向量,称为第一特征向量,向量的经验维数为64维。
213、将带权邻接矩阵输入卷积神经网络,获取特征图,并将特征图展平,进而获取第二特征向量。
其中,卷积神经网络的输入为带权邻接矩阵,输出为特征图,然后特征图经过Flatten即展平操作,变为特征向量,称为第二特征向量,向量的经验维数为64维。
214、将第一特征向量和第二特征向量进行融合,获取第三特征向量。
其中,将第一特征向量与第二特征向量进行融合,本实施例具体选用Concatenate进行融合,得到第三特征向量。
215、将第三特征向量输入第二全连接网络中,获取疥癣的缺陷等级概率。
其中,将第三特征向量输入到第二全连接网络,输出为疥癣缺陷等级的概率,其中 分类函数采用
216、根据疥癣的缺陷等级概率,经由Argmax操作,获取最大概率索引,确定当前疥癣的缺陷等级。
本发明提供一种基于图像理解的皮革疥癣缺陷精确分级方法,包括:对采集的待分级疥癣皮革表面图像进行预处理,通过计算正常皮革LAB图像中各像素LAB值和待分级疥癣LAB图像中疥癣LAB值,以及各像素与疥癣的色差值,获取色差图像,进行阈值量化,获取量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,并将嵌入向量和带权邻接矩阵接入预设神经网络,实现待分级疥癣皮革的疥癣缺陷分级,相比与现有技术,本发明基于计算机视觉科学地、智能地实现了疥癣皮革的疥癣缺陷分级,不仅大大提高了工作效率,而且保障了疥癣缺陷分级的准确度。
实施例3
本实施例提供一种基于图像理解的皮革疥癣缺陷精确分级装置,如图3所示,包括:
31,用于获取待分级疥癣皮革表面图像;所述待分级疥癣皮革图像包含待分级疥癣图像和正常皮革图像。
预处理单元32,用于对所述待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像。
其中,预处理单元32,包括:
灰度化模块321,用于对所述待分级疥癣皮革表面图像进行灰度化处理,获取所述待分级疥癣皮革的灰度图像。
二值化模块322,用于对所述灰度图像进行阈值化处理,获取二值化图像。
相乘模块323,用于将所述二值化图像与标准图像相乘,获取标准疥癣图像。
转换模块324,用于对所述标准疥癣图像进行LAB空间转换,获取所述待分级疥癣皮革LAB图像,即分别获取待分级疥癣LAB图像和正常皮革LAB图像。
第一计算单元33,用于分别计算所述正常皮革LAB图像中各像素的LAB值和所述待分级疥癣LAB图像中疥癣LAB值,并计算所述各像素与所述疥癣的色差值。
第二获取单元34,用于根据所述色差值,获取色差图像。
量化单元35,用于对所述色差图像进行阈值量化,获取量化后色差图像。
第三获取单元36,用于对所述量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图。
第四获取单元37,用于对所述色差聚合联通图,分别获取嵌入向量和带权邻接矩阵。
分级单元38,用于将所述嵌入向量和所述带权邻接矩阵接入预设神经网络,所述预设神经网络用于根据所述色差聚合联通图中所述嵌入向量和所述带权邻接矩阵,判断所述色差聚合联通图中一种或多种疥癣的缺陷等级,从而实现所述待分级疥癣皮革的疥癣缺陷分级。
进一步的,分级单元38,包括:
第一输入模块381,用于将所述嵌入向量输入所述第一全连接网络,获取第一特征向量。
第二输入模块382,用于将所述带权邻接矩阵输入所述卷积神经网络,获取特征图,并将所述特征图展平,进而获取第二特征向量。
融合模块383,用于将所述第一特征向量和所述第二特征向量进行融合,获取第三特征向量。
第三输入模块384,用于将所述第三特征向量输入所述第二全连接网络中,获取疥癣的缺陷等级概率。
确定等级模块385,用于根据所述疥癣的缺陷等级概率,经由Argmax操作,获取最大概率索引,确定当前疥癣的缺陷等级。
进一步的,还包括:
第二计算单元39,用于对色差聚合联通图,计算每两个节点之间的边权,以便确定各连通域疥癣的缺陷严重程度。
此处需要说明的是:本实施例中各单元或各模块的详细介绍,可对应参照其他实施例,此处不再赘述。
本发明提供一种基于图像理解的皮革疥癣缺陷精确分级装置,通过对采集的待分级疥癣皮革表面图像进行预处理,通过计算正常皮革LAB图像中各像素LAB值和待分级疥癣LAB图像中疥癣LAB值,以及各像素与疥癣的色差值,获取色差图像,进行阈值量化,获取量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,并将嵌入向量和带权邻接矩阵接入预设神经网络,实现待分级疥癣皮革的疥癣缺陷分级,相比与现有技术,本发明基于计算机视觉科学地、智能地实现了疥癣皮革的疥癣缺陷分级,不仅大大提高了工作效率,而且保障了疥癣缺陷分级的准确度。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.基于图像理解的皮革疥癣缺陷精确分级方法,其特征在于,包括:
获取待分级疥癣皮革表面图像;所述待分级疥癣皮革图像包含待分级疥癣图像和正常皮革图像;
对所述待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像;
分别计算所述正常皮革LAB图像中各像素的LAB值和所述待分级疥癣LAB图像中疥癣LAB值,并计算所述各像素与所述疥癣的色差值;
根据所述色差值,获取色差图像;
对所述色差图像进行阈值量化,获取量化后色差图像;
对所述量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图;
对所述色差聚合联通图,分别获取嵌入向量和带权邻接矩阵,利用Graph2vec法实现嵌入向量的获取;其中,带权邻接矩阵中的数值为两点之间的边权,所述两点之前的边权通过色差聚合联通图计算;
将所述嵌入向量和所述带权邻接矩阵接入预设神经网络,所述预设神经网络用于根据所述色差聚合联通图中所述嵌入向量和所述带权邻接矩阵,判断所述色差聚合联通图中一种或多种疥癣的缺陷等级,从而实现所述待分级疥癣皮革的疥癣缺陷分级。
2.根据权利要求1所述的基于图像理解的皮革疥癣缺陷精确分级方法,其特征在于,所述预设神经网络,包括:
所述预设神经网络由卷积神经网络、第一全连接网络和第二全连接网络组成。
3.根据权利要求1所述的基于图像理解的皮革疥癣缺陷精确分级方法,其特征在于,将所述嵌入向量和所述带权邻接矩阵接入预设神经网络,所述预设神经网络用于根据所述色差聚合联通图中所述嵌入向量和所述带权邻接矩阵,判断所述色差聚合联通图中一种或多种疥癣的缺陷等级,包括:
将所述嵌入向量输入第一全连接网络,获取第一特征向量;
将所述带权邻接矩阵输入卷积神经网络,获取特征图,并将所述特征图展平,进而获取第二特征向量;
将所述第一特征向量和所述第二特征向量进行融合,获取第三特征向量;
将所述第三特征向量输入第二全连接网络中,获取疥癣的缺陷等级概率;
根据所述疥癣的缺陷等级概率,经由Argmax操作,获取最大概率索引,确定当前疥癣的缺陷等级。
4.根据权利要求1所述的基于图像理解的皮革疥癣缺陷精确分级方法,其特征在于,对所述待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像,包括:
对所述待分级疥癣皮革表面图像进行灰度化处理,获取所述待分级疥癣皮革的灰度图像;
对所述灰度图像进行阈值化处理,获取二值化图像;
将所述二值化图像与标准图像相乘,获取标准疥癣图像;
对所述标准疥癣图像进行LAB空间转换,获取所述待分级疥癣皮革LAB图像,即分别获取待分级疥癣LAB图像和正常皮革LAB图像。
5.根据权利要求1所述的基于图像理解的皮革疥癣缺陷精确分级方法,其特征在于,在对所述色差聚合联通图,分别获取嵌入向量和带权邻接矩阵之后,还包括:
对所述色差聚合联通图,计算每两个节点之间的边权,以便确定各连通域疥癣的缺陷严重程度。
6.根据权利要求1所述的基于图像理解的皮革疥癣缺陷精确分级方法,其特征在于,所述两点之前的边权通过色差聚合联通图计算,包括:
所述边权的计算公式为:
式中,即为两个节点之间的距离,a,b分别为映射系数,n1表示一个节点的聚合区域的像素个数,n2表示另一个节点的聚合区域的像素个数,/>、/>分别表示一个节点的第i个色差值,另一个节点的第j个色差值,/>为色差项的映射系数。
7.一种基于图像理解的皮革疥癣缺陷精确分级装置,其特征在于,包括:
第一获取单元,用于获取待分级疥癣皮革表面图像;所述待分级疥癣皮革图像包含待分级疥癣图像和正常皮革图像;
预处理单元,用于对所述待分级疥癣皮革表面图像进行预处理,分别获取待分级疥癣LAB图像和正常皮革LAB图像;
第一计算单元,用于分别计算所述正常皮革LAB图像中各像素的LAB值和所述待分级疥癣LAB图像中疥癣LAB值,并计算所述各像素与所述疥癣的色差值;
第二获取单元,用于根据所述色差值,获取色差图像;
量化单元,用于对所述色差图像进行阈值量化,获取量化后色差图像;
第三获取单元,用于对所述量化后色差图像,提取连通域并构建三角网,获取色差聚合联通图;
第四获取单元,用于对所述色差聚合联通图,分别获取嵌入向量和带权邻接矩阵;
分级单元,用于将所述嵌入向量和所述带权邻接矩阵接入预设神经网络,所述预设神经网络用于根据所述色差聚合联通图中所述嵌入向量和所述带权邻接矩阵,判断所述色差聚合联通图中一种或多种疥癣的缺陷等级,从而实现所述待分级疥癣皮革的疥癣缺陷分级。
8.根据权利要求7所述的基于图像理解的皮革疥癣缺陷精确分级装置,其特征在于,所述分级单元,包括:
第一输入模块,用于将所述嵌入向量输入第一全连接网络,获取第一特征向量;
第二输入模块,用于将所述带权邻接矩阵输入卷积神经网络,获取特征图,并将所述特征图展平,进而获取第二特征向量;
融合模块,用于将所述第一特征向量和所述第二特征向量进行融合,获取第三特征向量;
第三输入模块,用于将所述第三特征向量输入第二全连接网络中,获取疥癣的缺陷等级概率;
确定等级模块,用于根据所述疥癣的缺陷等级概率,经由Argmax操作,获取最大概率索引,确定当前疥癣的缺陷等级。
9.根据权利要求7所述的基于图像理解的皮革疥癣缺陷精确分级装置,其特征在于,所述预处理单元,包括:
灰度化模块,用于对所述待分级疥癣皮革表面图像进行灰度化处理,获取所述待分级疥癣皮革的灰度图像;
二值化模块,用于对所述灰度图像进行阈值化处理,获取二值化图像;
相乘模块,用于将所述二值化图像与标准图像相乘,获取标准疥癣图像;
转换模块,用于对所述标准疥癣图像进行LAB空间转换,获取所述待分级疥癣皮革LAB图像,即分别获取待分级疥癣LAB图像和正常皮革LAB图像。
10.根据权利要求7所述的基于图像理解的皮革疥癣缺陷精确分级装置,其特征在于,还包括:
第二计算单元,用于对所述色差聚合联通图,计算每两个节点之间的边权,以便确定各连通域疥癣的缺陷严重程度。
CN202310815073.5A 2023-07-05 2023-07-05 基于图像理解的皮革疥癣缺陷精确分级方法及装置 Withdrawn - After Issue CN116542973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310815073.5A CN116542973B (zh) 2023-07-05 2023-07-05 基于图像理解的皮革疥癣缺陷精确分级方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310815073.5A CN116542973B (zh) 2023-07-05 2023-07-05 基于图像理解的皮革疥癣缺陷精确分级方法及装置

Publications (2)

Publication Number Publication Date
CN116542973A CN116542973A (zh) 2023-08-04
CN116542973B true CN116542973B (zh) 2023-08-29

Family

ID=87456403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310815073.5A Withdrawn - After Issue CN116542973B (zh) 2023-07-05 2023-07-05 基于图像理解的皮革疥癣缺陷精确分级方法及装置

Country Status (1)

Country Link
CN (1) CN116542973B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108434233A (zh) * 2018-06-07 2018-08-24 安徽老孙头鞋业有限公司 一种防治脚气、脚癣、脚汗的中药组合物
CN108465062A (zh) * 2018-06-07 2018-08-31 安徽老孙头鞋业有限公司 一种对哮喘病有辅助治疗作用的中药组合物
CN108578591A (zh) * 2018-06-07 2018-09-28 安徽老孙头鞋业有限公司 一种对哮喘病有辅助治疗作用的药物鞋垫
CN108813808A (zh) * 2018-06-07 2018-11-16 安徽老孙头鞋业有限公司 一种具有活血降压作用的药物鞋垫

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108434233A (zh) * 2018-06-07 2018-08-24 安徽老孙头鞋业有限公司 一种防治脚气、脚癣、脚汗的中药组合物
CN108465062A (zh) * 2018-06-07 2018-08-31 安徽老孙头鞋业有限公司 一种对哮喘病有辅助治疗作用的中药组合物
CN108578591A (zh) * 2018-06-07 2018-09-28 安徽老孙头鞋业有限公司 一种对哮喘病有辅助治疗作用的药物鞋垫
CN108813808A (zh) * 2018-06-07 2018-11-16 安徽老孙头鞋业有限公司 一种具有活血降压作用的药物鞋垫

Also Published As

Publication number Publication date
CN116542973A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN104598908B (zh) 一种农作物叶部病害识别方法
CN111275696B (zh) 一种医学图像处理的方法、图像处理的方法及装置
CN104408429A (zh) 一种视频代表帧提取方法及装置
CN109859257B (zh) 一种基于纹理方向性的皮肤图像纹理评估方法及系统
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
US20090148041A1 (en) Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions
CN111143615B (zh) 一种短视频情感类别的识别装置
CN106127234B (zh) 基于特征字典的无参考图像质量评价方法
CN104063686A (zh) 作物叶部病害图像交互式诊断系统与方法
CN112991362B (zh) 一种基于混合高斯模型的色选机粘连物料图像分割方法
CN114241326B (zh) 一种渐进式遥感影像地物要素智能生产方法及系统
CN110706196B (zh) 基于聚类感知的无参考色调映射图像质量评价算法
CN114004834B (zh) 一种图像处理中的雾天情况分析方法、设备及装置
CN110874572B (zh) 一种信息检测方法及装置、存储介质
Yeh et al. Colour bake inspection system using hybrid artificial neural networks
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN110942444A (zh) 物体检测方法和装置
CN112819017B (zh) 基于直方图的高精度色偏图像识别方法
CN116542973B (zh) 基于图像理解的皮革疥癣缺陷精确分级方法及装置
CN116958960A (zh) 一种基于机器学习随机森林算法的鸡蛋暗斑检测方法
CN115880181A (zh) 一种增强图像对比度的方法、装置及终端
CN110197178A (zh) 一种图谱特征融合深度网络的大米种类快速鉴别检测装置及其检测方法
CN109299295A (zh) 蓝印花布图像数据库搜索方法
Alvarado‐Cervantes et al. An adaptive color similarity function suitable for image segmentation and its numerical evaluation
CN111062957B (zh) 一种基于非经典感受野轮廓检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned

Granted publication date: 20230829

Effective date of abandoning: 20230906

AV01 Patent right actively abandoned

Granted publication date: 20230829

Effective date of abandoning: 20230906

AV01 Patent right actively abandoned
AV01 Patent right actively abandoned