CN113112515B - 一种纹样图像分割算法评价方法 - Google Patents

一种纹样图像分割算法评价方法 Download PDF

Info

Publication number
CN113112515B
CN113112515B CN202110515384.0A CN202110515384A CN113112515B CN 113112515 B CN113112515 B CN 113112515B CN 202110515384 A CN202110515384 A CN 202110515384A CN 113112515 B CN113112515 B CN 113112515B
Authority
CN
China
Prior art keywords
image
predicted
semantic
labeled
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110515384.0A
Other languages
English (en)
Other versions
CN113112515A (zh
Inventor
赵海英
朱会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110515384.0A priority Critical patent/CN113112515B/zh
Publication of CN113112515A publication Critical patent/CN113112515A/zh
Application granted granted Critical
Publication of CN113112515B publication Critical patent/CN113112515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种纹样图像分割算法评价方法，包括：收集传统纹样图像，使用图像标注工具对传统纹样图像中的多个目标进行像素级标注，通过标注生成原图对应的标签灰度图，形成数据集，并将数据集划分为训练集和验证集两部分；使用训练集训练分割模型，当损失函数收敛时停止，将验证集中传统纹样图像输入模型，获得对应的预测语义图；将分割模型所输出的图像与验证集中真实图像作对比，分别从准确率、均交并比、边缘一致性、交互复杂度等方面进行衡量，得到客观指标；综合上述客观指标，通过设置指标权重，获得能够综合评价纹样图像语义分割效果的单一指标。本发明可实现对纹样图像语义分割的评价，可以获得有效的评价结果。

Description

一种纹样图像分割算法评价方法
技术领域
本发明涉及计算机图像处理技术领域，特别是涉及一种图像分割评价方法。
背景技术
用户对获得有意义的图案有迫切的需求，使用图像分割技术可以提取出图像中的目标。图像分割是计算机图像处理中最为基础和重要的领域之一，它是由图像处理到图像分析的关键步骤，是各种学者研究的热点之一。
图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，这些区域是具有一定含义的，同一区域内的像素具有某种相似的性质，比如颜色相似、语义相似。
当前传统纹样图像的分割过程中仍有诸多挑战，一方面纹样图案的载体广泛，比如服饰、壁画、瓷器等，得到的图像的纹理复杂，导致分割效果不佳；另一方面分割算法的鲁邦性较差，对传统纹样图像的分割质量参差不齐。现有的模型评价方法多都是从单一评价指标评价分割算法的性能，因而并不能很好地筛选出对传统纹样图案性能更好地分割算法。
发明内容
本发明的目的在于，克服现有分割评价方法的上述缺点，提供一种纹样图像分割算法评价方法。
本发明提供的传统纹样图像分割评价方法，其特征在于：包括以下步骤：
步骤1、收集若干传统纹样图像，人工对传统纹样图像中的实例对象进行标注并得到相应的标签灰度图，从而获得由传统纹样图像和对应标签灰度图组成的数据集；将所述数据集随机划分为训练集和验证集；
步骤2、使用训练集训练语义分割模型，设定语义分割模型的语义种类数量等于标签灰度图的标签种类数量n，直至能量函数收敛，训练结束；
步骤3、使用验证集中的图像对训练完成的语义分割模型进行验证：
3.1、计算图像预测的准确率PA
使用训练完成的语义分割模型对验证集中的传统纹样图像进行分割，获得预测语义图，并根据下式计算预测语义图的准确率
Figure GDA0003793941390000021
pij表示标签为i的类别被预测为标签j的像素数量，则pii表示标签为i的类别被预测为标签i的像素数量，即正确预测的数量，pji则表示标签为j的类别被预测为标签i的像素数量；
3.2、计算预测语义图的均交并比MIoU
根据预测语义图和对应的标签灰度图进行计算均交并比MIoU
Figure GDA0003793941390000022
3.3、计算预测语义图的边缘准确率EA；
获取预测语义图和标签灰度图的边缘轮廓，然后根据下式计算的预测语义图边缘准确率EA
Figure GDA0003793941390000023
Eii表示边缘像素标签为i的类别被正确预测的像素数量，Eij表示为边缘像素标签为i的类别被预测为标签j的像素数量
3.4、计算交互复杂度IA
Figure GDA0003793941390000024
式中，mi表示类别为i的人工交互输入点的像素的数量，若无人工交互则IA为0；
3.5、四个评价指标进行归一化处理，然后进行加权平均获得语义分割模型的评价指标f(I)：
f(I)＝αPA(I)+βMIoU(I)+γEA(I)+δIA(I)
其中，I表示图像，α、β、γ、δ则是不同评价指标的权值。
本发明可实现对纹样图像语义分割的评价，可以获得有效的评价结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为发明实施例提供的统纹样图像分割评价方法流程图。
具体实施方式
如图所示，为本发明一种传统纹样图像分割评价方法流程图，该方法包括以下步骤：
步骤S110、收集若干传统纹样图像，人工对传统纹样图像中的实例对象进行标注并得到相应的标签灰度图，从而获得由传统纹样图像和对应标签灰度图组成的数据集；将所述数据集随机划分为训练集和验证集，训练集和验证集的样本数量比为7:3。
步骤S120、使用训练集训练语义分割模型，设定语义分割模型的语义种类数量等于标签灰度图的标签种类数量n，直至能量函数收敛，训练结束。
步骤S130、使用验证集中的图像对训练完成的语义分割模型进行验证。
3.1、计算图像预测的准确率PA
使用训练完成的语义分割模型对验证集中的传统纹样图像进行分割，获得预测语义图，并根据下式计算预测语义图的准确率
Figure GDA0003793941390000041
pij表示标签为i的类别被预测为标签j的像素数量，则pii表示标签为i的类别被预测为标签i的像素数量，即正确预测的数量，pji则表示标签为j的类别被预测为标签i的像素数量。
3.2、计算预测语义图的均交并比MIoU
同样根据分割后的预测语义图和真实图进行计算。均交并比是指真实值与预测值两个集合的交集和并集之比，可以使用TP(交集)比上TP、FP、FN之和(并集)来计算。MIoU一般是基于类来进行计算，将每一类的IoU计算之后累加，在进行平均。该值越大证明被预测正确的像素越多，而预测为其他类和其他类被预测为本类的像素越少。
交并比MIoU计算公式如下
Figure GDA0003793941390000042
3.3、计算预测语义图的边缘准确率EA
与准确率类似，描述的是预测图像与真实图像的像素一致性。首先对预测语义图图像和真实图像使用相同的Canny算法获取边缘图像，然后计算相同位置相同像素的比例。其中pii表示真实图像与预测图像同为边缘或其他位置的像素。
Figure GDA0003793941390000043
Eii表示边缘像素标签为i的类别被正确预测的像素数量，Eij表示为边缘像素标签为i的类别被预测为标签j的像素数量；
3.4、计算交互复杂度IA
一些模型在预测之前采用交互的方式对预测的目标正向的反馈来提高模型的性能，交互的方式分为无交互、语义点、前景背景划线、边界框标记四种方式，交互越复杂，则对模型的正向反馈越高，模型效果越好，但是反之用户友好度变。
交互复杂度IA的计算公式如下：
Figure GDA0003793941390000051
式中，mi表示类别为i的人工交互输入点的像素的数量，若无人工交互则IA为0。
步骤S130、四个评价指标进行归一化处理，然后进行加权平均获得最终的评价指标。
f(I)＝αPA(I)+βMIoU(I)+γEA(I)+δIA(I)
其中，I表示图像，α、β、γ、δ则是不同评价指标的权值。准确率、边缘准确率的取值范围均在[0,1]之间，值越高代表分割图像的质量越高。交互复杂度也在[0,1]之间，相同性能的情况下，交互复杂度越低，模型分割质量越好。均交并比的取值范围则在[0,+∞]之间，使用对数函数以及RelU函数将其归一化处理后映射到[0,1]之间。本步骤中，α＝0.25，β＝0.25，γ＝0.25，δ＝0.25。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (5)

1.一种传统纹样图像分割评价方法，其特征在于：包括以下步骤：
步骤1、收集若干传统纹样图像，人工对传统纹样图像中的实例对象进行标注并得到相应的标签灰度图，从而获得由传统纹样图像和对应标签灰度图组成的数据集；将所述数据集随机划分为训练集和验证集；
步骤2、使用训练集训练语义分割模型，设定语义分割模型的语义种类数量等于标签灰度图的标签种类数量n，直至能量函数收敛，训练结束；
步骤3、使用验证集中的图像对训练完成的语义分割模型进行验证：
3.1、计算图像预测的准确率PA
使用训练完成的语义分割模型对验证集中的传统纹样图像进行分割，获得预测语义图，并根据下式计算预测语义图的准确率
Figure FDA0003793941380000011
pij表示标签为i的类别被预测为标签j的像素数量，则pii表示标签为i的类别被预测为标签i的像素数量，即正确预测的数量，pji则表示标签为j的类别被预测为标签i的像素数量；
3.2、计算预测语义图的均交并比MIoU
根据预测语义图和对应的标签灰度图进行计算均交并比MIoU
Figure FDA0003793941380000012
3.3、计算预测语义图的边缘准确率EA；
获取预测语义图和标签灰度图的边缘轮廓，然后根据下式计算的预测语义图边缘准确率EA
Figure FDA0003793941380000013
Eii表示边缘像素标签为i的类别被正确预测的像素数量，Eij表示为边缘像素标签为i的类别被预测为标签j的像素数量
3.4、计算交互复杂度IA
Figure FDA0003793941380000021
式中，mi表示类别为i的人工交互输入点的像素的数量，若无人工交互则IA为0；
3.5、四个评价指标进行归一化处理，然后进行加权平均获得语义分割模型的评价指标f(I)：
f(I)＝αPA(I)+βMIoU(I)+γEA(I)+δIA(I)
其中，I表示图像，α、β、γ、δ则是不同评价指标的权值。
2.根据权利要求1所述的传统纹样图像分割评价方法，其特征在于：准确率、边缘准确率的取值范围均在[0,1]之间，值越高代表分割图像的质量越高。
3.根据权利要求1所述的传统纹样图像分割评价方法，其特征在于：交互复杂度取值范围为[0,1]，相同性能的情况下，交互复杂度越低，模型分割质量越好。
4.根据权利要求1所述的传统纹样图像分割评价方法，其特征在于：均交并比的取值范围为[0,+∞)之间，使用对数函数以及RelU函数将其归一化处理后映射到[0,1]之间。
5.根据权利要求1所述的一种传统纹样图像分割评价方法，其特征在于：所述步骤3.5中，α＝0.25，β＝0.25，γ＝0.25，δ＝0.25。
CN202110515384.0A 2021-05-12 2021-05-12 一种纹样图像分割算法评价方法 Active CN113112515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110515384.0A CN113112515B (zh) 2021-05-12 2021-05-12 一种纹样图像分割算法评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110515384.0A CN113112515B (zh) 2021-05-12 2021-05-12 一种纹样图像分割算法评价方法

Publications (2)

Publication Number Publication Date
CN113112515A CN113112515A (zh) 2021-07-13
CN113112515B true CN113112515B (zh) 2023-03-28

Family

ID=76721976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110515384.0A Active CN113112515B (zh) 2021-05-12 2021-05-12 一种纹样图像分割算法评价方法

Country Status (1)

Country Link
CN (1) CN113112515B (zh)

Also Published As

Publication number Publication date
CN113112515A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN108510499B (zh) 一种基于模糊集和Otsu的图像阈值分割方法及装置
JP6393230B2 (ja) オブジェクト検出方法及び画像検索システム
Medina-Carnicer et al. Unimodal thresholding for edge detection
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN114897825A (zh) 基于计算机视觉的实木地板分选方法及系统
CN111626358A (zh) 一种基于bim图片识别的隧道围岩分级方法
CN105469099B (zh) 基于稀疏表示分类的路面裂缝检测和识别方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
Samsi et al. Colorization of H&E stained tissue using Deep Learning
CN116704208B (zh) 基于特征关系的局部可解释方法
CN113112515B (zh) 一种纹样图像分割算法评价方法
CN110443277A (zh) 基于注意力模型的少量样本分类方法
CN114627289A (zh) 基于投票机制的工业零件实例分割方法
CN113139936B (zh) 一种图像分割处理方法及装置
Wen et al. When Distortion Meets Perceptual Quality: A Multi-task Learning Pipeline
Chee et al. Detecting Corruption in Real Video Game Graphics using Deep Convolutional Neural Networks.
CN113191365B (zh) 一种文化语义图像重构效果评价方法
CN116681898B (zh) 一种图像识别及定位方法
CN114119506B (zh) 基于背景信息的图像显著性检测方法
Lu et al. An algorithm for recognition of un-answered question in paperless marking based on segment gray histogram
CN107784662B (zh) 一种图像目标显著性度量方法
CN106340029A (zh) 基于Beta‑Gamma散度的灰度图像阈值分割方法
CN117636385A (zh) 基于神经网络模型绘制展位区域的方法
Liu et al. Research on the Influence of Multi-scene Feature Classification on Ink and Wash Style Transfer Effect of ChipGAN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant