CN112465835A - 用于翡翠图像分割的方法及模型训练方法 - Google Patents

用于翡翠图像分割的方法及模型训练方法 Download PDF

Info

Publication number
CN112465835A
CN112465835A CN202011353434.1A CN202011353434A CN112465835A CN 112465835 A CN112465835 A CN 112465835A CN 202011353434 A CN202011353434 A CN 202011353434A CN 112465835 A CN112465835 A CN 112465835A
Authority
CN
China
Prior art keywords
image
jade
network model
jadeite
highlight region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011353434.1A
Other languages
English (en)
Other versions
CN112465835B (zh
Inventor
易金鹏
王秀辉
刘继澎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Duizhuang Technology Co ltd
Original Assignee
Shenzhen Duizhuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Duizhuang Technology Co ltd filed Critical Shenzhen Duizhuang Technology Co ltd
Priority to CN202011353434.1A priority Critical patent/CN112465835B/zh
Publication of CN112465835A publication Critical patent/CN112465835A/zh
Application granted granted Critical
Publication of CN112465835B publication Critical patent/CN112465835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种用于翡翠图像分割的方法及模型训练方法，其中用于翡翠图像分割的方法包括：首先响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使第一网络模型对原始图像进行分割，输出包含无背景图的初始翡翠图像；而后将初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使第二网络模型对初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。采用机器学习训练模型能够准确地去除翡翠图像的背景和高光区域进而解决了翡翠图像分割采用数字图像处理，适用场景单一、分割边界模糊以及分割不准确的技术问题。

Description

用于翡翠图像分割的方法及模型训练方法
技术领域
本公开涉及图像分割处理技术领域，具体涉及到一种用于翡翠图像分割的方法及模型训练方法。
背景技术
翡翠图像分割大多使用传统数字图像处理，一方面适用场景单一，且分割效率低；另一方面存在分割边界模糊，分割不准。
发明内容
本公开的主要目的在于提供一种用于翡翠图像分割的方法及模型训练方法，以解决传统的数字图像处理技术适用场景单一，且分割不准确的问题。
为了实现上述目的，根据本公开的第一方面，提供了一种用于翡翠图像分割的方法，包括：响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像；将所述初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使所述第二网络模型对所述初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。
可选地，响应于获取到原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像包括：响应于获取到视频中每一帧的图像，确定视频中所有帧的图像中满足预设条件的图像；将所述满足预设条件的图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像。
根据本公开的第二方面，提供了一种用于翡翠图像分割的模型训练方法，包括对原始图像集中每一张包含翡翠的原始图像预处理，得到原始图像中翡翠图像的掩膜；将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中，以训练所述语义分割网络模型识别图像中的背景区域图像和翡翠图像，并将背景区域图像和翡翠图像分割。
根据本公开的第三方面，提供了一种用于翡翠图像分割的模型训练方法，包括获取与背景区域图像分割的翡翠图像；基于图像高光估计算法，选取所述翡翠图像的高光区域图像；将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割。
根据本公开的第四方面，提供了一种用于翡翠图像分割的装置，包括：第一输入单元，被配置成响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像；第二输入单元，被配置成将所述初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使所述第二网络模型对所述初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。
根据本公开的第五方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面任意一项实施例所述的用于翡翠图像分割的方法。
根据本公开的第六方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项实施例所述的用于翡翠图像分割的方法。
在本公开实施例中，首先响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使第一网络模型对原始图像进行分割，输出包含无背景图的初始翡翠图像；而后将初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使第二网络模型对初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。采用机器学习训练模型能够准确地去除翡翠图像的背景和高光区域进而解决了翡翠图像分割采用数字图像处理，适用场景单一、分割边界模糊以及分割不准确的技术问题。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开实施例的用于翡翠图像分割的方法的流程图；
图2a是根据本公开实施例的用于翡翠图像分割的方法应用场景图；
图2b是根据本公开实施例的用于翡翠图像分割的方法的另一应用场景图；
图2c是根据本公开实施例的用于翡翠图像分割的方法的又一应用场景图
图3是根据本公开实施例的用于翡翠图像分割的模型训练方法的流程图；
图4是根据本公开实施例的用于翡翠图像分割的模型训练方法的流程图
图5是根据本公开实施例的用于翡翠图像分割的装置示意图。
图6是根据本公开实施例的电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
根据本公开实施例，提供了一种用于翡翠图像分割的方法，如图1所示，该方法包括如下的步骤101至步骤102：
步骤101：响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像。
在本实施例中，本申请的执行主体可以是服务器，服务器在获取到包含翡翠的原始图像之后，可以将该包含翡翠的原始图像输入至预训练的第一网络模型中进行语义分割，将该原始图像中的翡翠图像和背景图像分割开，得到无背景图的初始翡翠图像。
具体地，在输入至第一网络模型之前可以首先对图像进行预处理，以统一初始翡翠图像的尺寸，可以通过零填充缩放成513＊513大小格式，以保持翡翠图像的长宽比不变。第一网络模型可以是使用deeplabV3的网络结构的模型，为了提高模型的预测速度，将骨干模型Xception＿65替换成mobilenet骨干模型，参数量极大减少，模型大小由157M减少到10M。
更具体地，在得到初始翡翠图像(翡翠轮廓)之后，还可以利用PointRend算法，对初始翡翠利用渲染做填充区域，迭代上采样，针对初始翡翠图像的边缘进行优化。
作为本实施例一种可选的实现方式，响应于获取到原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像包括：响应于获取到视频中每一帧的图像，确定视频中所有帧的图像中满足预设条件的图像；将所述满足预设条件的图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像。
在本实施例中，可以接收用户端发送的包含翡翠图像的视频，对视频进行处理，得到视频中每一帧的图像，一方面可以基于预设的图像质量评分策略，确定质量最优的图像。另一方面还可基于视频帧中的多个不同角度的图像(不同角度翡翠的种、水、色的表现不同)进行综合处理，得到可以输入至第一网络模型中图像。
步骤102：将所述初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使所述第二网络模型对所述初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。
在本实施例中，基于步骤101获得的初始翡翠图像，将初始翡翠图像输入至第二网络模型中，以使第二网络模型对初始翡翠图像的高光区域和非高光区域进行分割，输出不包含高光区域图像的翡翠图像。
具体地，第二网络模型可以是多卡模型，基于该多卡模型可以使用更大的batch＿size，越大的batch size可以使梯度下降方向越准确，震荡越小。在本实施例中将模型中将3x3的空洞卷积替换成1x1的空洞卷积，使得模型能够获取融合图像级特征，捕捉远距离信息。
具体地，训练模型时，可以采用poly策略，在初始学习率基础上，乘以(1-itermax＿iter)＾power，其中，大量实验数据表明power为0.9为最优方案。为了防止模型过拟合，使用dropout系数为0.8的方案为最优方案。
更具体地，为了让模型在面对多尺度的物体表现的更好，在不同的卷积层中使用了不同的atrous rate，当output＿stride＝16时atrous＿rates为[6，12，18]，采用batchsize＝32，同时BN层的参数做参数衰减0.9997。在通过几何变换增强的数据集上，以初始学习率0.006训练40K后，冻结BN层参数。采用output＿stride＝8时atrous＿rates为[12，24，36]，参数量增加，内存溢出，需要减少batchsize为16，再使用初始学习率0.001训练60K。训练output＿stride＝16比output＿stride＝8要快很多，因为中间的特征映射在空间上小的四倍。但因为output＿stride＝16在特征映射上比output＿stride＝8粗糙牺牲了精度，最后采用output＿stride＝8来提升特征映射的准确。
将最终的输出与GroundTruth下采样8倍做比较，验证得到GroundTruth更重要，上采样输出8倍，比GroundTruth下采样8倍模型准确度提升2.1％，所以是保持GroundTruth不变，将最终的输出上采样8倍与完整的GroundTruth进行反向传播。上采样8倍时采用逐渐上采样，将不同分辨率的特征图融合来联合预测，避免直接一次上采样8倍较大倍率而导致的误差。分割背景模型最终准确度miou为87.8。分割高光模型准确度为91.7。
参考图2，图2a示出了包含翡翠图像的原始图像，图2b示出了与背景图像分割后的初始翡翠图像，图2c示出了去除高光区域后的翡翠图像。
本实施例运用预先训练好的deeplabV3模型对翡翠图片中属于同一类别或者同一个体的翡翠的像素划分在一起，以像素级的精细程度对每一个翡翠进行检测并标记准确的边界，再通过对翡翠图像中的高光区域的像素划分在一起。可以去除图片背景、高光的干扰，从而能够有效进一步提升了翡翠后续分级(对翡翠的种水色的属性进行分级)的准确度。
基于机器学习的翡翠图像分割算法与传统的数字图像处理的各种算法相比准确度更高，适用场所更广，所需时间更短，例如，基于边缘检测的图像分割，是需要是图像边缘有两个要素，即：方向和幅度。沿着边缘走向的像素值变化比较平缓；而沿着垂直于边缘的走向，像素值则变化得比较大。需要图像像素差异较大，梯度较大地方的边缘。与基于机器学习的翡翠图像分割相比，传统的数字图像处理不能得到较好的区域结构，边缘检测时抗噪性和检测精度之间存在着矛盾，精度提高，则会牺牲抗噪性。
再例如，基于阈值的图像分割算法，用一个或几个阈值将图像的灰度直方图分成几个类，认为图像中灰度值在同一类中的像素属于同一物体。但是对于相差不大的不同目标和背景不能进行有效的分割。与基于机器学习的翡翠图像分割相比对噪声敏感，对灰度差异不明显以及不同目标灰度值有重叠分割不明显，所以需要与其他方法进行结合合适的阈值查找。
从以上的描述中，可以看出，本公开实现了如下技术效果：基于机器学习的翡翠图像分割算法与传统的数字图像处理的各种算法相比准确度更高，适用场所更广，所需时间更短。能够准确地分割去除翡翠图像中背景和高光区域，提高了对翡翠图像分割的效率。
参考图3，图3示出了用于翡翠图像分割的模型训练方法，该方法包括如下的步骤301至步骤302：
步骤301：对原始图像集中每一张包含翡翠的原始图像预处理，得到原始图像中翡翠图像的掩膜。
在本实施例中，原始图像集包含多张包含翡翠图像的原始图像以及多张图像中不包含翡翠图像的原始图像，可以首先获取翡翠图像，该翡翠图像可以通过预设打标的方式(可以是预设的自动打标，也可以是人工达标，优选人工打标的方式)将翡翠图像与背景图像分离，而后将背景图像替换为纯色图像的例如全黑图像。而后可以对翡翠图像进行二值化处理，提取翡翠图像掩膜。
作为本实施一种可选的实现方式，基于预设的策略，对所述原始图像的翡翠图像与背景图像进行分割并去除背景图像，得到翡翠图像；基于二值化处理策略，提取翡翠图像的掩膜。
步骤302：将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中，以训练所述语义分割网络模型识别图像中的背景区域图像和翡翠图像，并将背景区域图像和翡翠图像分割。
在本实施例中，将提取的掩膜作为正样本，将不包含翡翠的原始图像作为负样本，以3：1的正负样本比例输入至语义分割网络模型中，在输入至语义分割网络模型之前，还需要对正负样本分别添加标签，该标签用于标识有无背景，通过将添加标签的样本输入至语义分割网络模型中进行训练，以使该模型首先识别图像有无背景，而后对翡翠图像和背景图像进行分割。
作为本实施例一种可选的实现方式，将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中，以训练所述语义分割网络模型识别图像中的背景区域图像和非背景区域图像包括：配置所述语义分割网络模型的结构；将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中；训练所述配置完成语义分割网络模型，以使所述语义分割网络模型识别图像中的背景区域图像和非背景区域图像。
在本实施例中，语义分割网络模型的结构可以是采用deeplabV3的网络结构，可以首先对语义分割网络模型的结构进行配置，包括，将骨干模型Xception＿65替换成mobilenet骨干模型，参数量极大减少，模型大小由157M减少到10M。经过上述配置可以提高模型的预测速度。
具体地，为了让模型在面对多尺度的物体表现的更好，在不同的卷积层中使用了不同的atrous rate，当output＿stride＝16时atrous＿rates为[6，12，18]，采用batchsize＝32，同时BN层的参数做参数衰减0.9997。在通过几何变换增强的数据集上，以初始学习率0.006训练40K后，冻结BN层参数。采用output＿stride＝8时atrous＿rates为[12，24，36]，参数量增加，内存溢出，需要减少batchsize为16，再使用初始学习率0.001训练60K。训练output＿stride＝16比output＿stride＝8要快很多，因为中间的特征映射在空间上小的四倍。但因为output＿stride＝16在特征映射上比output＿stride＝8粗糙牺牲了精度，最后采用output＿stride＝8来提升特征映射的准确。
将最终的输出与GroundTruth下采样8倍做比较，最后发现GroundTruth更重要，上采样输出8倍，比GroundTruth下采样8倍模型准确度提升2.1％，所以是保持GroundTruth不变，将最终的输出上采样8倍与完整的GroundTruth进行反向传播。上采样8倍时采用逐渐上采样，将不同分辨率的特征图融合来联合预测，避免直接一次上采样8倍较大倍率而导致的误差。分割背景模型最终准确度miou为87.8。参考图2b，与背景分割后的翡翠图像。
运用预先训练好的deeplabV3模型对翡翠图片中属于同一类别或者同一个体的翡翠的像素划分在一起，以像素级的精细程度对每一个翡翠进行检测并标记准确的边界。能够精确地将背景区域与翡翠图像分割开。
基于机器学习的翡翠图像分割算法与传统的数字图像处理的各种算法相比准确度更高，适用场所更广，所需时间更短，例如，基于边缘检测的图像分割，是需要是图像边缘有两个要素，即：方向和幅度。沿着边缘走向的像素值变化比较平缓；而沿着垂直于边缘的走向，像素值则变化得比较大。需要图像像素差异较大，梯度较大地方的边缘。与基于机器学习的翡翠图像分割相比，传统的数字图像处理不能得到较好的区域结构，边缘检测时抗噪性和检测精度之间存在着矛盾，精度提高，则会牺牲抗噪性。
基于阈值的图像分割算法，用一个或几个阈值将图像的灰度直方图分成几个类，认为图像中灰度值在同一类中的像素属于同一物体。但是对于相差不大的不同目标和背景不能进行有效的分割。与基于机器学习的翡翠图像分割相比对噪声敏感，对灰度差异不明显以及不同目标灰度值有重叠分割不明显，所以需要与其他方法进行结合合适的阈值查找。
参考图4，图4示出了用于翡翠图像分割的模型训练方法，该方法包括如下的步骤401至步骤402：
步骤401：获取与背景区域图像分割的翡翠图像。
在本实施例中，可以首先获取与背景图像分割的翡翠图像。例如，可以是预先获取通过预设打标的方式(可以是预设的自动打标，也可以是人工达标，优选人工打标的方式)将翡翠图像与背景图像分离的翡翠图像。
步骤402：基于图像高光估计算法，选取所述翡翠图像的高光区域图像。
在本实施例中，可以基于频域的双峰阈值高光估计算法来选取已分割背景翡翠中的高光区域，并挑选有效的分割准确的数据作为正样本。
步骤403：将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割。
在本实施例中，可以将作为正样本的高光区域图像和作为负样本的非高光翡翠图像按照3：1比例输入至第一语义分割模型中，在输入至该模型之前，还需要对正负样本分别添加标签，该标签用于标识翡翠有无高光区域，通过将添加标签的样本输入至语义分割网络模型中进行训练，以使该模型首先识别翡翠图像有无高光区域，而后对高光区域和非高光区域进行分割。
作为本实施例一种可选的实现方式，将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割包括：配置所述第一语义分割模型的结构；将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割。
在本实施例中，可以使用多卡模型并行，以实现使用更大的batch＿size，越大的batch size可以使梯度下降方向越准确，震荡越小。将3x3的空洞卷积替换成1x1的空洞卷积，使得模型能够获取融合图像级特征，捕捉远距离信息。训练模型是采用poly策略，在初始学习率基础上，乘以(1-itermax＿iter)＾power，其中power为0.9。为了防止模型过拟合，使用dropout系数为0.8。为了让模型在面对多尺度的物体表现的更好，在不同的卷积层中使用了不同的atrous rate，当output＿stride＝16时atrous＿rates为[6，12，18]，采用batchsize＝32，同时BN层的参数做参数衰减0.9997。在通过几何变换增强的数据集上，以初始学习率0.006训练40K后，冻结BN层参数。采用output＿stride＝8时atrous＿rates为[12，24，36]，参数量增加，内存溢出，需要减少batchsize为16，再使用初始学习率0.001训练60K。训练output＿stride＝16比output＿stride＝8要快很多，因为中间的特征映射在空间上小的四倍。但因为output＿stride＝16在特征映射上比output＿stride＝8粗糙牺牲了精度，最后采用output＿stride＝8来提升特征映射的准确。将最终的输出与GroundTruth下采样8倍做比较，最后发现GroundTruth更重要，上采样输出8倍，比GroundTruth下采样8倍模型准确度提升2.1％，所以是保持GroundTruth不变，将最终的输出上采样8倍与完整的GroundTruth进行反向传播。上采样8倍时采用逐渐上采样，将不同分辨率的特征图融合来联合预测，避免直接一次上采样8倍较大倍率而导致的误差。分割高光模型准确度为91.7。参考图2c，训练得到的模型，去除翡翠图像中的高光区域后得到的翡翠图像，通过比较图2b和图2c可以看出，去除的高光区域非常精准。
运用预先训练好的模型对翡翠图片中属于同一类别或者同一个体的翡翠的像素划分在一起，以像素级的精细程度对每一个翡翠进行检测并标记准确的边界，再通过对翡翠图像中的高光区域的像素划分在一起，能够精确地去除翡翠图像的高光区域。
基于机器学习的翡翠图像分割算法与传统的数字图像处理的各种算法相比准确度更高，适用场所更广，所需时间更短，例如，基于边缘检测的图像分割，是需要是图像边缘有两个要素，即：方向和幅度。沿着边缘走向的像素值变化比较平缓；而沿着垂直于边缘的走向，像素值则变化得比较大。需要图像像素差异较大，梯度较大地方的边缘。与基于机器学习的翡翠图像分割相比，传统的数字图像处理不能得到较好的区域结构，边缘检测时抗噪性和检测精度之间存在着矛盾，精度提高，则会牺牲抗噪性。
基于阈值的图像分割算法，用一个或几个阈值将图像的灰度直方图分成几个类，认为图像中灰度值在同一类中的像素属于同一物体。但是对于相差不大的不同目标和背景不能进行有效的分割。与基于机器学习的翡翠图像分割相比对噪声敏感，对灰度差异不明显以及不同目标灰度值有重叠分割不明显，所以需要与其他方法进行结合合适的阈值查找。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本公开实施例，还提供了一种用于实施上述用于翡翠图像分割的方法的装置，如图5所示，该装置包括：第一输入单元501，被配置成响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像；第二输入单元502，被配置成将所述初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使所述第二网络模型对所述初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。
本公开实施例提供了一种电子设备，如图6所示，该电子设备包括一个或多个处理器61以及存储器62，图6中以一个处理器61为例。
该控制器还可以包括：输入装置63和输出装置64。
处理器61、存储器62、输入装置63和输出装置64可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器61可以为中央处理器(CentralProcessingUnit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的控制方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的翡翠图像分割的方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置63可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置64可包括显示屏等显示设备。
一个或者多个模块存储在存储器62中，当被一个或者多个处理器61执行时，执行如图1所示的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid－StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种用于翡翠图像分割的方法，其特征在于，包括：
响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像；
将所述初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使所述第二网络模型对所述初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。
2.根据权利要求1所述的用于翡翠图像分割的方法，其特征在于，所述响应于获取到原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像包括：
响应于获取到视频中每一帧的图像，确定视频中所有帧的图像中满足预设条件的图像；
将所述满足预设条件的图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像。
3.一种用于翡翠图像分割的模型训练方法，其特征在于，包括：
对原始图像集中每一张包含翡翠的原始图像预处理，得到原始图像中翡翠图像的掩膜；
将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中，以训练所述语义分割网络模型识别图像中的背景区域图像和翡翠图像，并将背景区域图像和翡翠图像分割。
4.根据权利要求3所述的用于翡翠图像分割的模型训练方法，其特征在于，所述对原始图像集中每一张包含翡翠的原始图像预处理，得到原始图像中翡翠图像的掩膜包括：
基于预设的策略，对所述原始图像的翡翠图像与背景图像进行分割并去除背景图像，得到翡翠图像；
基于二值化处理策略，提取翡翠图像的掩膜。
5.根据权利要求3所述的用于翡翠图像分割的模型训练方法，其特征在于，将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中，以训练所述语义分割网络模型识别图像中的背景区域图像和非背景区域图像包括：
配置所述语义分割网络模型的结构；
将作为正样本的所述掩膜和作为负样本的所述原始图像集中不包含翡翠的原始图像按照预设的数量比输入至语义分割网络模型中；
训练所述配置完成语义分割网络模型，以使所述语义分割网络模型识别图像中的背景区域图像和非背景区域图像。
6.一种用于翡翠图像分割的模型训练方法，其特征在于，包括：
获取与背景区域图像分割的翡翠图像；
基于图像高光估计算法，选取所述翡翠图像的高光区域图像；
将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割。
7.根据权利要求6所述的用于翡翠图像分割的模型训练方法，其特征在于，将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割包括：
配置所述第一语义分割模型的结构；
将作为正样本的所述高光区域图像和作为负样本的非高光翡翠图像按照预设的数量比输入至第一语义分割模型中，以训练所述第一语义分割模型识别翡翠图像中的高光区域图像和非高光区域图像，并将高光区域图像和非高光区域图像进行分割。
8.一种用于翡翠图像分割的装置，其特征在于，包括：
第一输入单元，被配置成响应于获取到包含翡翠图像的原始图像，将所述原始图像输入至基于机器学习预训练的第一网络模型中，以使所述第一网络模型对所述原始图像进行分割，输出包含无背景图的初始翡翠图像；
第二输入单元，被配置成将所述初始翡翠图像输入至基于机器学习预训练的第二网络模型中，以使所述第二网络模型对所述初始翡翠图像的高光区域图像进行分割，输出不包含高光区域图像的翡翠图像。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1－2任意一项所述的用于翡翠图像分割的方法。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1－2任意一项所述的用于翡翠图像分割的方法。
CN202011353434.1A 2020-11-26 2020-11-26 用于翡翠图像分割的方法及模型训练方法 Active CN112465835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011353434.1A CN112465835B (zh) 2020-11-26 2020-11-26 用于翡翠图像分割的方法及模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011353434.1A CN112465835B (zh) 2020-11-26 2020-11-26 用于翡翠图像分割的方法及模型训练方法

Publications (2)

Publication Number Publication Date
CN112465835A true CN112465835A (zh) 2021-03-09
CN112465835B CN112465835B (zh) 2022-07-08

Family

ID=74808683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011353434.1A Active CN112465835B (zh) 2020-11-26 2020-11-26 用于翡翠图像分割的方法及模型训练方法

Country Status (1)

Country Link
CN (1) CN112465835B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284138A (zh) * 2021-06-25 2021-08-20 佛山市创智智能信息科技有限公司 一种翡翠颜色的分级方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694345A (zh) * 2017-04-07 2018-10-23 李新富 一种基于物联网技术的艺术品的识别系统
CN110057825A (zh) * 2019-04-30 2019-07-26 中国地质大学（武汉） 一种翡翠蛋面透明度效果分级仪器及其分级方法
CN110097544A (zh) * 2019-04-25 2019-08-06 武汉精立电子技术有限公司 一种显示面板外观缺陷检测方法
CN110135573A (zh) * 2018-02-02 2019-08-16 阿里巴巴集团控股有限公司 一种深度学习模型的训练方法、计算设备以及系统
CN110827505A (zh) * 2019-10-29 2020-02-21 天津大学 一种基于深度学习的烟雾分割方法
CN111007068A (zh) * 2019-11-21 2020-04-14 中国兵器工业信息中心 基于深度学习的黄色培育钻石品级分类方法
CN111179196A (zh) * 2019-12-28 2020-05-19 杭州电子科技大学 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111325698A (zh) * 2020-03-17 2020-06-23 北京迈格威科技有限公司 图像处理方法、装置及系统、电子设备
CN111696065A (zh) * 2020-06-16 2020-09-22 桂林电子科技大学 一种基于图像处理的宝石图像高光去除方法
CN111985554A (zh) * 2020-08-18 2020-11-24 创新奇智(西安)科技有限公司 一种模型训练方法、手镯识别方法及对应装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694345A (zh) * 2017-04-07 2018-10-23 李新富 一种基于物联网技术的艺术品的识别系统
CN110135573A (zh) * 2018-02-02 2019-08-16 阿里巴巴集团控股有限公司 一种深度学习模型的训练方法、计算设备以及系统
CN110097544A (zh) * 2019-04-25 2019-08-06 武汉精立电子技术有限公司 一种显示面板外观缺陷检测方法
CN110057825A (zh) * 2019-04-30 2019-07-26 中国地质大学（武汉） 一种翡翠蛋面透明度效果分级仪器及其分级方法
CN110827505A (zh) * 2019-10-29 2020-02-21 天津大学 一种基于深度学习的烟雾分割方法
CN111007068A (zh) * 2019-11-21 2020-04-14 中国兵器工业信息中心 基于深度学习的黄色培育钻石品级分类方法
CN111179196A (zh) * 2019-12-28 2020-05-19 杭州电子科技大学 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111325698A (zh) * 2020-03-17 2020-06-23 北京迈格威科技有限公司 图像处理方法、装置及系统、电子设备
CN111696065A (zh) * 2020-06-16 2020-09-22 桂林电子科技大学 一种基于图像处理的宝石图像高光去除方法
CN111985554A (zh) * 2020-08-18 2020-11-24 创新奇智(西安)科技有限公司 一种模型训练方法、手镯识别方法及对应装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUOCHEN FAN ET AL.: "S4Net: Single Stage Salient-Instance Segmentation", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
姚建龙: "基于区域生长的翡翠云雾纹理分割方法", 《工业控制计算机》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284138A (zh) * 2021-06-25 2021-08-20 佛山市创智智能信息科技有限公司 一种翡翠颜色的分级方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112465835B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN108171104B (zh) 一种文字检测方法及装置
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN111709420B (zh) 文本检测方法、电子设备及计算机可读介质
CN109978890B (zh) 基于图像处理的目标提取方法、装置及终端设备
WO2021051604A1 (zh) Osd的文字区域的识别方法、装置及存储介质
CN108629286B (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
CN111145209A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN109146832B (zh) 一种视频图像的拼接方法、装置、终端设备及存储介质
CN111259878A (zh) 一种检测文本的方法和设备
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN114897806A (zh) 缺陷检测方法、电子设备及计算机可读存储介质
CN111783524A (zh) 一种场景变换检测方法、装置、存储介质及终端设备
CN113505702A (zh) 基于双神经网络优化的路面病害识别方法及系统
CN107578011A (zh) 视频关键帧的判定方法及装置
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN112417955A (zh) 巡检视频流处理方法及装置
CN112465835B (zh) 用于翡翠图像分割的方法及模型训练方法
CN113570540A (zh) 一种基于检测-分割架构的图像篡改盲取证方法
CN111062347A (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN117541546A (zh) 图像裁剪效果的确定方法和装置、存储介质及电子设备
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN116188906A (zh) 一种识别弹窗图像中关闭标识的方法、装置、设备及介质
CN115600040A (zh) 一种钓鱼网站识别方法及装置
CN111145210B (zh) 一种前景提取方法及装置、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant