CN113888537A - 掩模提取方法、装置、设备及存储介质 - Google Patents

掩模提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113888537A
CN113888537A CN202111466070.2A CN202111466070A CN113888537A CN 113888537 A CN113888537 A CN 113888537A CN 202111466070 A CN202111466070 A CN 202111466070A CN 113888537 A CN113888537 A CN 113888537A
Authority
CN
China
Prior art keywords
feature map
image
graph
fusion
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111466070.2A
Other languages
English (en)
Other versions
CN113888537B (zh
Inventor
李嘉宸
张慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wangxu Technology Co ltd
Original Assignee
Shenzhen Wangxu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wangxu Technology Co ltd filed Critical Shenzhen Wangxu Technology Co ltd
Priority to CN202111466070.2A priority Critical patent/CN113888537B/zh
Publication of CN113888537A publication Critical patent/CN113888537A/zh
Application granted granted Critical
Publication of CN113888537B publication Critical patent/CN113888537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机技术领域,提供了一种掩模提取方法、装置、设备及存储介质。所述方法包括:对从待处理图像中提取到的特征图执行尺寸转换,得到特征图集,根据第一融合策略对特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集,基于预先训练好的像素标记模型对细节特征图集中的细节特征图,执行像素标记处理得到标记图集,根据第二融合策略将标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到待处理图像的目标掩模图。本发明可以提取出图像的高精度掩模,实现像素级别的图像分割。

Description

掩模提取方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种掩模提取方法、装置、设备及存储介质。
背景技术
目前,图像分割主要是通过计算出待分割的目标区域的掩模实现目标区域的分割。现有技术中通常有以下做法提取图像的掩模,以人像前景与背景区域组成的图像,需要分割出人像为例:第一种是基于语义分割技术,通过分析出图像中人像前景的类别区域,将人像前景与背景区域进行二分类,但该方案会导致边缘过度生硬且细节表现较差;第二种是基于显著性检测技术,其可以准确的识别出人像大致区域,同时检测精度达到准像素级别,更贴近真实人像轮廓实现前景分离,但对于毛发等特征难以做到精确提取;第三种是基于trimap图引导的精细化抠图,利用预知的前景、背景及未知区域,在未知区域实现像素级别的精细化检测,从而获得人像的高精度掩模,但该方案在真实场景中易受到trimap质量的影响,导致检测效果不稳定,鲁棒性较差。
因此,如何在各种不同的应用场景中,准确地提取出像素级别的高精度掩模,已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上内容,本发明提供一种掩模提取方法、装置、设备及存储介质,其目的在于实现提取出图像中待分割区域的高精度掩模。
为实现上述目的,本发明提供一种掩模提取方法,该方法包括:
获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
优选的,所述对从所述待处理图像中提取到的特征图执行尺寸转换,包括:
基于预先构建的特征提取模型中的卷积网络和下采样网络,对所述待处理图像执行卷积操作和下采样操作得到编码图像;
基于所述特征提取模型中的上采样网络,对所述编码图像执行上采样操作得到解码图像;
基于所述特征提取模型中的融合传递网络,对所述解码图像和所述编码图像执行传递操作,得到所述待处理图像的特征图;
将所述待处理图像的特征图转换为不同尺寸的特征图,得到所述特征图集。
优选的,所述特征图集包括第一尺寸特征图、第二尺寸特征图及第三尺寸特征图;
所述基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集,包括:
对所述第一尺寸特征图执行赋值操作得到第一细节特征图;
将所述第二尺寸特征图执行赋值操作后与所述第一细节特征图执行融合操作得到第二细节特征图;
对赋值操作后的第二尺寸特征图及所述第三尺寸特征图执行赋值操作后,再执行融合操作得到第三细节特征图;
将所述第一细节特征图、所述第二细节特征图以及所述第三细节特征图汇总得到所述细节特征图集。
优选的,所述对所述第一尺寸特征图执行赋值操作得到第一细节特征图,包括:
对所述第一尺寸特征图执行第一预设倍数的上采样操作后,利用第一计算规则对执行上采样操作后的第一尺寸特征图执行赋值处理得到第一细节特征图,所述第一计算规则包括:
Figure 935238DEST_PATH_IMAGE001
其中,(xf,yf)为赋值前与赋值后的图像的像素坐标,Zf为赋值前的图像,Zf1为赋值前的图像。
优选的,所述将所述第二尺寸特征图执行赋值操作后与所述第一细节特征图执行融合操作得到第二细节特征图,包括:
利用第二计算规则对所述第二尺寸特征图执行赋值操作,对赋值后的第二尺寸特征图与所述第一细节特征图执行融合操作得到所述第二细节特征图,所述第二计算规则包括:
Figure 175727DEST_PATH_IMAGE002
其中,(xg,yg)为赋值前与赋值后的图像的像素坐标,Zg为赋值前的图像,Zg1为赋值前的图像。
优选的,所述对赋值操作后的第二尺寸特征图及所述第三尺寸特征图执行赋值操作后,再执行融合操作得到第三细节特征图,包括:
对所述赋值后的第二尺寸特征图执行第二预设倍数的上采样操作后,利用所述第一计算规则对执行上采样操作后的第二尺寸特征图执行赋值操作,得到赋值后的第二尺寸特征图;
利用所述第二计算规则对所述第三尺寸特征图执行赋值操作,得到赋值后的第三尺寸特征图;
对赋值后的第二尺寸特征图及所述赋值后的第三尺寸特征图执行融合操作得到所述第三细节特征图。
优选的,所述标记图集包括第一标记图、第二标记图及第三标记图;所述基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图,包括:
对所述第一标记图执行赋值操作及融合操作得到第一处理标记图;
利用第三计算规则将所述第一处理标记图与所述第二标记图执行融合操作得到初始融合标记图;
对所述初始融合标记图执行赋值操作和腐蚀操作得到第二处理标记图;
融合所述第二处理标记图及所述第三标记图得到所述待处理图像的目标掩模图;
所述第三计算规则包括:
Figure DEST_PATH_IMAGE003
其中,(xH,yH)为融合前与融合后图像的坐标,ZH为所述第一处理标记图时,ZH1为所述第二标记图,
Figure 736152DEST_PATH_IMAGE004
为所述初始融合标记图。
为实现上述目的,本发明还提供一种掩模提取装置,该掩模提取装置包括:
转换模块:用于获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
第一融合模块:用于基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
标记模块:用于基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
第二融合模块:用于基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
为实现上述目的,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如下步骤:
获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有掩模提取程序,所述掩模提取程序被处理器执行时,实现如上所述掩模提取方法的任意步骤。
本发明提出的掩模提取方法、装置、设备及存储介质,通过对从待处理图像中提取到的特征图执行尺寸转换,可以得到包括多个不同尺寸特征图的特征图集,由于不同尺寸的特征图体现了不同深度的特征,因此对特征图集中执行赋值操作后的特征图执行融合操作得到的细节特征图,能够充分表达待处理图像不同深度的特征,在后续执行像素标记处理时可以得到更加精细的标记结果;通过像素标记模型对细节特征图执行像素标记处理,由于利用了待处理图像不同深度的特征,能够准确地对细节特征图的掩模对应的图像区域进行标记区分,即区分了细节特征图的掩模区域和非掩模区域,得到细节特征图的掩模区域的标记图集;再将标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,由于融合了细节特征图的标记结果,使得输出结果继承了不同尺寸特征图的标记结果,输出结果的细节更丰富,从而得到待处理图像完整的高精度掩模图,无需人工标注的高质量trimap作为引导输入,即可计算出高精度的图像掩模,实现像素级别的图像分割,且在应用于不同复杂程度的图像中提取掩模时,能够提取出较高精度的掩模。
附图说明
图1为本发明掩模提取方法较佳实施例的流程图示意图;
图2为本发明掩模提取装置较佳实施例的模块示意图;
图3为本发明电子设备较佳实施例的示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种掩模提取方法。参照图1所示,为本发明掩模提取方法的实施例的方法流程示意图。该方法可以由一个电子设备执行,该电子设备可以由软件和/或硬件实现。掩模提取方法包括:
步骤S10:获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图。
在本实施例中,待处理图像是指需要提出高精度掩模的图像。掩模是由0和1组成的一个二进制图像,当在某一功能中应用掩模时,1值区域被处理,被屏蔽的0值区域不包括在计算中,因此掩模可以用于提取出图像的特定区域,即用待处理图像的特定区域掩模的数值矩阵与待处理图像的数值矩阵相乘,可以得到待处理图像中特定区域的数值矩阵,待处理图像中特定区域的图像值保持不变,待处理图像中特定区域之外的图像值为0。
例如,将图像中的人像前景与背景区域进行分割时,需要计算出该人像前景的高精度掩模,将人像掩模与原始图像相乘,即可得到去除背景区域的人像,或者提取病灶图像的病灶区域时,通过计算出病灶图像的病灶掩模,将病灶的掩模与病灶图像相乘,可以提取出病灶图像的病灶区域。
由于需要计算掩模的原始图像的尺寸可能大小不一,因此需要将原始图像的尺寸调整为预设尺寸作为待处理图像,预设尺寸可以是512*512的图像尺寸。提取待处理图像的特征图可以利用特征提取模型进行提取,例如卷积神经网络模型的特征提取模块。也可以将用于特征提取的模块嵌入像素标记模型中,从而利用像素标记模型的特征提取模块实现对待处理图像的特征提取。提取到待处理图像的特征图后将特征图转换为第一尺寸特征图、第二尺寸特征图及第三尺寸特征图。例如,对特征图执行下采样处理得到特征图缩小8n倍、4n倍、1n倍三种尺寸的特征图,n为大于1的数。
在一个实施例中,所述对从所述待处理图像中提取到的特征图执行尺寸转换,包括:
基于预先构建的特征提取模型中的卷积网络和下采样网络,对所述待处理图像执行卷积操作和下采样操作得到编码图像;
基于所述特征提取模型中的上采样网络,对所述编码图像执行上采样操作得到解码图像;
基于所述特征提取模型中的融合传递网络,对所述解码图像和所述编码图像执行传递操作,得到所述待处理图像的特征图;
将所述待处理图像的特征图转换为不同尺寸的特征图,得到所述特征图集。
具体地,预先构建的特征提取模型可以包括卷积网络、下采样网络、上采样网络及融合传递网络,卷积网络用于对待处理图像执行卷积操作,下采样网络用于对待处理图像执行下采样操作,下采样网络包括多个级联的编码层,通过多个级联的编码层中的第一个编码层进行下采样编码,将编码结果均进行批归一化处理,使用Leaky Relu函数作为激活函数,并传递到后续级联的编码层,继续进行下采样编码、批归一化处理、以及编码结果的输出,将最后一级编码层的编码结果作为输出的下采样特征图,得到编码图像。
上采样网络用于对待处理图像执行上采样操作,上采样网络包括多个级联的解码层,通过多个级联的解码层的第一个解码层进行上采样解码,并将解码结果输入到后续级联的解码层,将最后一级解码层的解码结果作为输出的上采样特征图,得到解码图像。
融合传递网络用于将编码图像与解码图像进行跨层传递,具体地,将解码网络中的第一个解码层的输出与编码网络中最后一层编码层的输出进行融合,将融合结果作为第一个解码层的结果,输入到后续级联的解码层,以此依次进行编码层与解码层的跨层传递得到待处理图像的特征图。
步骤S20:基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集。
在本实施例中,可以对特征图集中不同尺寸的特征图执行赋值操作得到赋值后的特征图,将赋值后的特征图执行融合操作后的特征图作为细节特征图,融合操作可以是将特征图对应的数值矩阵直接相加。例如,特征图集包括特征图J、特征图K及特征图Q,分别将特征图J与特征图K执行融合、将特征图J与特征图Q执行融合、以及将特征图K与特征图Q执行融合,将执行融合操作后的特征图作为细节特征图,汇总细节特征图可以得到细节特征图集。由于细节特征图融合了待处理图像的不同深度的特征,使得细节特征图可以更好地表达待处理图像的细节特征。由于不同尺寸的特征图体现了待处理图像不同深度的特征,因此对特征图集中执行赋值操作后的特征图执行融合操作,能够充分利用待处理图像不同深度的特征,在后续执行像素标记处理时可以得到更加精细的标记结果。
在一个实施例中,特征图集包括第一尺寸特征图、第二尺寸特征图及第三尺寸特征图,得到细节特征图集的具体过程包括:
对所述第一尺寸特征图执行赋值操作得到第一细节特征图;
将所述第二尺寸特征图执行赋值操作后与所述第一细节特征图执行融合操作得到第二细节特征图;
对赋值操作后的第二尺寸特征图及所述第三尺寸特征图执行赋值操作后,再执行融合操作得到第三细节特征图;
将所述第一细节特征图、所述第二细节特征图以及所述第三细节特征图汇总得到所述细节特征图集。
其中,第一细节特征图是通过对所述第一尺寸特征图执行第一预设倍数(例如,2倍)的上采样操作后,利用第一计算规则对执行上采样操作后的第一尺寸特征图执行赋值处理得到的,所述第一计算规则包括:
Figure 415395DEST_PATH_IMAGE001
其中,(xf,yf)为赋值前与赋值后的图像的像素坐标,Zf为赋值前的图像,Zf1为赋值前的图像。
第二细节特征图是通过利用第二计算规则对所述第二尺寸特征图执行赋值操作,对赋值后的第二尺寸特征图与所述第一细节特征图执行融合操作得到的,所述第二计算规则包括:
Figure DEST_PATH_IMAGE005
其中,(xg,yg)为赋值前与赋值后的图像的像素坐标,Zg为赋值前的图像,Zg1为赋值前的图像。
第三细节特征图是通过对所述赋值后的第二尺寸特征图执行第二预设倍数(例如,4倍)的上采样操作后,利用所述第一计算规则对执行上采样操作后的第二尺寸特征图执行赋值操作,得到赋值后的第二尺寸特征图,利用所述第二计算规则对所述第三尺寸特征图执行赋值操作,得到赋值后的第三尺寸特征图,对赋值后的第二尺寸特征图及所述赋值后的第三尺寸特征图执行融合操作得到的。
步骤S30:基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集。
在本实施例中,像素标记模型可以是根据卷积神经网络或者深度神经网络训练得到的,像素标记网络包括用于执行像素标记处理的像素标记模块,利用像素标记模型的像素标记模块可以对细节特征图集中的各细节特征图执行像素标记处理,得到各细节特征图对应的标记图,将标记图汇总可以得到标记图集。由于利用了待处理图像不同深度的特征,因此可以更准确地对待处理图像的掩模对应的图像区域进行标记,即区分了掩模区域和非掩模区域,得到掩模对应区域的标记图。
其中,像素标记模型的训练过程包括:
获取预设数量(例如,2万张)的样本图像,提取每张样本图像对应的第一、第二及第三细节特征图;
分别将每张样本图像对应的第一、第二及第三细节特征图,输入未调参的像素标记模型像素标记模块得到第一、第二及第三预测标记结果;
利用第一损失函数计算得到第一预测标记结果与样本图像对应的粗糙掩模的损失值;
利用第二损失函数计算得到第二预测标记结果与样本图像对应的精细掩模的损失值,利用第二损失函数计算得到第三预测标记结果与样本图像对应的精细掩模合成的图像的损失值;
当任意一个损失值大于或等于预设阈值时,对像素标记模型的参数进行更新,当所有损失值均小于预设阈值,或者进行训练的迭代次数达到预设次数时,结束训练得到训练好的像素标记模型。
具体地,可以从相关的数据库获取大量的样本图像,提取出样本图像对应的第一、第二及第三细节特征图,分别记为a1、b1、c1。
在训练像素标记模型时,将a1图像输入未调参的像素标记模型像素标记网络得到a1的第一预测标记结果,利用第一损失函数计算出a1图像的预测标记结果与该a1图像对应的粗糙掩模的损失值,得到损失值L1_a,将值λ1L1_a(λ1∈[0,1])作为损失值调整模型的参数,第一损失函数包括:
Figure 580929DEST_PATH_IMAGE006
其中,(x1,y1)为粗糙掩模的像素坐标,(H1,W1)为粗糙掩模的图像尺寸,PGT1为样本图像对应的粗糙掩模,PP1为第一预测标记结果,第一预测标记结果与粗糙掩模的像素坐标和图像尺寸相同。
将b1图像输入未调参的像素标记模型像素标记网络得到b1的第二预测标记结果,利用第二损失函数计算出b1图像的第二预测标记结果,与b1图像对应的精细掩模的损失值得到损失值L2_b,再利用第三损失函数计算出b1图像的第二预测标记结果与b1图像对应的精细掩模合成的图像的损失值得到损失值L3_b,将λ2L2_b3L3_b(λ23∈[0,1])作为损失值调整模型的参数,第二损失函数包括;
Figure 789056DEST_PATH_IMAGE007
其中,(x2,y2)为b1图像对应的精细掩模的像素坐标,(H2,W2)为b1图像对应的精细掩模的图像尺寸,PGT2为样本图像对应的精细掩模,α为10-6,PP2为第二预测标记结果,第二预测标记结果与精细掩模的像素坐标和图像尺寸相同。
第三损失函数包括:
Figure 695832DEST_PATH_IMAGE008
其中,(x3,y3)为b1图像对应的精细掩模合成的图像的像素坐标,(H3,W3)为b1图像对应的精细掩模合成的图像的像素坐标的图像尺寸,PGT3为样本图像对应的精细掩模合成的图像,α为10-6,Rp为预测标记结果,预测标记结果与精细掩模合成的图像的像素坐标和图像尺寸相同。
将c1图像输入未调参的像素标记模型像素标记网络得到c1的第三预测标记结果,利用第二损失函数计算出c1图像的第三预测标记结果,与c1图像对应的精细掩模的损失值得到损失值L2_c,再利用第三损失函数计算出c1图像的第三预测标记结果与c1图像对应的精细掩模合成的图像的损失值得到损失值L3_c,将λ2L2_c3L3_c(λ23∈[0,1])作为损失值调整模型的参数。
需要说明的是,由于对b1图像和c1图像的预测结果计算损失值时,均使用到第二损失函数第三损失函数,当对b1图像的预测结果计算损失值时,PP2表示b1对应的第二预测标记结果,Rp表示b1对应的第二预测标记结果,PGT2为b1对应的精细掩模,PGT3表示b1对应的精细掩模合成的图像;当对c1图像的预测结果计算损失值时,PP2表示c1对应的第三预测标记结果,Rp表示c1对应的第三预测标记结果,PGT2表示c1对应的精细掩模,PGT3表示c1对应的精细掩模合成的图像。
当任意一个损失值大于或等于预设阈值时,对像素标记模型的参数进行更新,当所有损失值均小于预设阈值,或者进行训练的迭代次数达到预设次数时,结束训练得到训练好的像素标记模型。
步骤S40:基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
在本实施例中,对标记图集中一部分标记图执行赋值操作及腐蚀操作后作为下层待融合图像,标记图集中的另一部分标记图不执行赋值操作及腐蚀操作作为上层待融合图像。将经过赋值操作和腐蚀操作得到的下层待融合图像,与标记图集中未执行赋值操作及腐蚀操作的上层待融合图像执行融合,可以得到待处理图像对应的目标掩模图。使目标掩模图继承不同尺寸特征图的最优标记结果,输出结果的细节更丰富。
在一个实施例中,得到待处理图像的目标掩模图的具体过程包括:对第一标记图执行赋值操作及融合操作得到第一处理标记图,利用第三计算规则将第一处理标记图与第二标记图执行融合操作得到初始融合标记图,对初始融合标记图执行赋值操作和腐蚀操作得到第二处理标记图,融合第二处理标记图及第三标记图得到待处理图像的目标掩模图。
具体地,利用第一计算规则对第一标记图中的数值进行赋值处理,对该赋值处理结果执行腐蚀操作得到第一处理标记图;
利用第三计算规则将第一处理标记图与第二标记图执行融合操作得到初始融合标记图;
利用第一计算规则对初始融合标记图中的数值进行赋值处理,再对该赋值处理结果执行腐蚀操作得到第二处理标记图;
利用第三计算规则将第二处理标记图与第三标记图执行融合操作得到高精度的目标掩模图,第三计算规则包括:
Figure 913187DEST_PATH_IMAGE009
其中,(xH,yH)为融合前与融合后图像的坐标,ZH为所述第一处理标记图时,ZH1为所述第二标记图,
Figure 727035DEST_PATH_IMAGE010
为所述初始融合标记图;当ZH为所述第二处理标记图时,ZH1为所述第三标记图,
Figure 309326DEST_PATH_IMAGE010
为所述目标掩模图。
在一个实施例中,所述方法还包括:
将所述待处理图像与所述目标掩模图相乘得到所述待处理图像对应的目标区域。
例如,待处理图像为含有人脸前景和环境背景的图像,通过将人脸掩模与待处理图像相乘,可以准确判定出环境背景与人脸前景,实现发丝精确提取,提取出精细的人脸图像。
参照图2所示,为本发明掩模提取装置100的功能模块示意图。
本发明所述掩模提取装置100可以安装于电子设备中。根据实现的功能,所述掩模提取装置100可以包括转换模块110、第一融合模块120、标记模块130及第二融合模块。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
转换模块110:用于获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
第一融合模块120:用于基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
标记模块130:用于基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
第二融合模块140:用于基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
在一个实施例中,所述对从所述待处理图像中提取到的特征图执行尺寸转换,包括:
基于预先构建的特征提取模型中的卷积网络和下采样网络,对所述待处理图像执行卷积操作和下采样操作得到编码图像;
基于所述特征提取模型中的上采样网络,对所述编码图像执行上采样操作得到解码图像;
基于所述特征提取模型中的融合传递网络,对所述解码图像和所述编码图像执行传递操作,得到所述待处理图像的特征图;
将所述待处理图像的特征图转换为不同尺寸的特征图,得到所述特征图集。
在一个实施例中,所述特征图集包括第一尺寸特征图、第二尺寸特征图及第三尺寸特征图;
所述基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集,包括:
对所述第一尺寸特征图执行赋值操作得到第一细节特征图;
将所述第二尺寸特征图执行赋值操作后与所述第一细节特征图执行融合操作得到第二细节特征图;
对赋值操作后的第二尺寸特征图及所述第三尺寸特征图执行赋值操作后,再执行融合操作得到第三细节特征图;
将所述第一细节特征图、所述第二细节特征图以及所述第三细节特征图汇总得到所述细节特征图集。
在一个实施例中,所述对所述第一尺寸特征图执行赋值操作得到第一细节特征图,包括:
对所述第一尺寸特征图执行第一预设倍数的上采样操作后,利用第一计算规则对执行上采样操作后的第一尺寸特征图执行赋值处理得到第一细节特征图,所述第一计算规则包括:
Figure 828032DEST_PATH_IMAGE001
其中,(xf,yf)为赋值前与赋值后的图像的像素坐标,Zf为赋值前的图像,Zf1为赋值前的图像。
在一个实施例中,所述将所述第二尺寸特征图执行赋值操作后与所述第一细节特征图执行融合操作得到第二细节特征图,包括:
利用第二计算规则对所述第二尺寸特征图执行赋值操作,对赋值后的第二尺寸特征图与所述第一细节特征图执行融合操作得到所述第二细节特征图,所述第二计算规则包括:
Figure 521181DEST_PATH_IMAGE005
其中,(xg,yg)为赋值前与赋值后的图像的像素坐标,Zg为赋值前的图像,Zg1为赋值前的图像。
在一个实施例中,所述对赋值操作后的第二尺寸特征图及所述第三尺寸特征图执行赋值操作后,再执行融合操作得到第三细节特征图,包括:
对所述赋值后的第二尺寸特征图执行第二预设倍数的上采样操作后,利用所述第一计算规则对执行上采样操作后的第二尺寸特征图执行赋值操作,得到赋值后的第二尺寸特征图;
利用所述第二计算规则对所述第三尺寸特征图执行赋值操作,得到赋值后的第三尺寸特征图;
对赋值后的第二尺寸特征图及所述赋值后的第三尺寸特征图执行融合操作得到所述第三细节特征图。
在一个实施例中,所述标记图集包括第一标记图、第二标记图及第三标记图;所述基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图,包括:
对所述第一标记图执行赋值操作及融合操作得到第一处理标记图;
利用第三计算规则将所述第一处理标记图与所述第二标记图执行融合操作得到初始融合标记图;
对所述初始融合标记图执行赋值操作和腐蚀操作得到第二处理标记图;
融合所述第二处理标记图及所述第三标记图得到所述待处理图像的目标掩模图;
所述第三计算规则包括:
Figure 926886DEST_PATH_IMAGE003
其中,(xH,yH)为融合前与融合后图像的坐标,ZH为所述第一处理标记图时,ZH1为所述第二标记图,
Figure 680078DEST_PATH_IMAGE004
为所述初始融合标记图。
参图3所示,电子设备1包括但不限于:存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络,获取原始数据。其中,所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication,GSM)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器11可以是所述电子设备1的内部存储单元,例如该电子设备1的硬盘或内存。在另一些实施例中,所述存储器11也可以是所述电子设备1的外部存储设备,例如该电子设备1配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。当然,所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中,存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件,例如掩模提取程序10的程序代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作,例如执行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行掩模提取程序10的程序代码等。
显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode,OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面,例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口),该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
图3仅示出了具有组件11-14以及掩模提取程序10的电子设备1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,所述电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
该电子设备1还可以包括射频(Radio Frequency,RF)电路、传感器和音频电路等等,在此不再赘述。
在上述实施例中,处理器12执行存储器11中存储的掩模提取程序10时可以实现如下步骤:
获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
所述存储设备可以为电子设备1的存储器11,也可以为与电子设备1通讯连接的其它存储设备。
关于上述步骤的详细介绍,请参照上述图2关于掩模提取装置100实施例的功能模块图以及图1关于掩模提取方法实施例的流程图的说明。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质可以是非易失性的,也可以是易失性的。该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有掩模提取程序10,所述掩模提取程序10被处理器执行时实现如下操作:
获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
本发明之计算机可读存储介质的具体实施方式与上述掩模提取方法的具体实施方式大致相同,在此不再赘述。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,电子装置,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种掩模提取方法,其特征在于,所述方法包括:
获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
2.如权利要求1所述的掩模提取方法,其特征在于,所述对从所述待处理图像中提取到的特征图执行尺寸转换,包括:
基于预先构建的特征提取模型中的卷积网络和下采样网络,对所述待处理图像执行卷积操作和下采样操作得到编码图像;
基于所述特征提取模型中的上采样网络,对所述编码图像执行上采样操作得到解码图像;
基于所述特征提取模型中的融合传递网络,对所述解码图像和所述编码图像执行传递操作,得到所述待处理图像的特征图;
将所述待处理图像的特征图转换为不同尺寸的特征图,得到所述特征图集。
3.如权利要求1或2所述的掩模提取方法,其特征在于,所述特征图集包括第一尺寸特征图、第二尺寸特征图及第三尺寸特征图;
所述基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集,包括:
对所述第一尺寸特征图执行赋值操作得到第一细节特征图;
将所述第二尺寸特征图执行赋值操作后与所述第一细节特征图执行融合操作得到第二细节特征图;
对赋值操作后的第二尺寸特征图及所述第三尺寸特征图执行赋值操作后,再执行融合操作得到第三细节特征图;
将所述第一细节特征图、所述第二细节特征图以及所述第三细节特征图汇总得到所述细节特征图集。
4.如权利要求3所述的掩模提取方法,其特征在于,所述对所述第一尺寸特征图执行赋值操作得到第一细节特征图,包括:
对所述第一尺寸特征图执行第一预设倍数的上采样操作后,利用第一计算规则对执行上采样操作后的第一尺寸特征图执行赋值处理得到第一细节特征图,所述第一计算规则包括:
Figure 44053DEST_PATH_IMAGE001
其中,(xf,yf)为赋值前与赋值后的图像的像素坐标,Zf为赋值前的图像,Zf1为赋值前的图像。
5.如权利要求3所述的掩模提取方法,其特征在于,所述将所述第二尺寸特征图执行赋值操作后与所述第一细节特征图执行融合操作得到第二细节特征图,包括:
利用第二计算规则对所述第二尺寸特征图执行赋值操作,对赋值后的第二尺寸特征图与所述第一细节特征图执行融合操作得到所述第二细节特征图,所述第二计算规则包括:
Figure 644799DEST_PATH_IMAGE002
其中,(xg,yg)为赋值前与赋值后的图像的像素坐标,Zg为赋值前的图像,Zg1为赋值前的图像。
6.如权利要求3所述的掩模提取方法,其特征在于,所述对赋值操作后的第二尺寸特征图及所述第三尺寸特征图执行赋值操作后,再执行融合操作得到第三细节特征图,包括:
对所述赋值后的第二尺寸特征图执行第二预设倍数的上采样操作后,利用所述第一计算规则对执行上采样操作后的第二尺寸特征图执行赋值操作,得到赋值后的第二尺寸特征图;
利用所述第二计算规则对所述第三尺寸特征图执行赋值操作,得到赋值后的第三尺寸特征图;
对赋值后的第二尺寸特征图及所述赋值后的第三尺寸特征图执行融合操作得到所述第三细节特征图。
7.如权利要求1所述的掩模提取方法,其特征在于,所述标记图集包括第一标记图、第二标记图及第三标记图;
所述基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图,包括:
对所述第一标记图执行赋值操作及融合操作得到第一处理标记图;
利用第三计算规则将所述第一处理标记图与所述第二标记图执行融合操作得到初始融合标记图;
对所述初始融合标记图执行赋值操作和腐蚀操作得到第二处理标记图;
融合所述第二处理标记图及所述第三标记图得到所述待处理图像的目标掩模图;
所述第三计算规则包括:
Figure 842562DEST_PATH_IMAGE003
其中,(xH,yH)为融合前与融合后图像的坐标,ZH为所述第一处理标记图时,ZH1为所述第二标记图,
Figure 514852DEST_PATH_IMAGE004
为所述初始融合标记图。
8.一种掩模提取装置,其特征在于,所述装置包括:
转换模块:用于获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
第一融合模块:用于基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
标记模块:用于基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
第二融合模块:用于基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器执行如下步骤:
获取待处理图像,对从所述待处理图像中提取到的特征图执行尺寸转换,得到特征图集,其中,所述特征图集包括多个不同尺寸的特征图;
基于第一融合策略对所述特征图集中执行赋值操作后的特征图执行融合操作,得到细节特征图集;
基于预先训练好的像素标记模型对所述细节特征图集中的细节特征图,执行像素标记处理得到标记图集;
基于第二融合策略将所述标记图集中执行赋值操作及腐蚀操作后的标记图,与未执行赋值操作及腐蚀操作的标记图执行融合操作,得到所述待处理图像的目标掩模图。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有掩模提取程序,所述掩模提取程序被处理器执行时,实现如权利要求1至7中任一项所述掩模提取方法的步骤。
CN202111466070.2A 2021-12-03 2021-12-03 掩模提取方法、装置、设备及存储介质 Active CN113888537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111466070.2A CN113888537B (zh) 2021-12-03 2021-12-03 掩模提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111466070.2A CN113888537B (zh) 2021-12-03 2021-12-03 掩模提取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113888537A true CN113888537A (zh) 2022-01-04
CN113888537B CN113888537B (zh) 2022-04-12

Family

ID=79016298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111466070.2A Active CN113888537B (zh) 2021-12-03 2021-12-03 掩模提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113888537B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150010211A1 (en) * 2008-03-25 2015-01-08 International Business Machines Corporation Real time processing of video frames
CN106530279A (zh) * 2016-10-15 2017-03-22 扬州奥泰光电生物技术有限公司 一种图像处理方法及系统
WO2018022648A1 (en) * 2016-07-25 2018-02-01 Iteris, Inc. Image-based field boundary detection and identification
CN108648197A (zh) * 2018-04-12 2018-10-12 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN110490864A (zh) * 2019-08-22 2019-11-22 易思维(杭州)科技有限公司 图像的自适应缺陷检测方法
CN110826632A (zh) * 2019-11-11 2020-02-21 深圳前海微众银行股份有限公司 图像变化检测方法、装置、设备及计算机可读存储介质
CN111178211A (zh) * 2019-12-20 2020-05-19 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
WO2020243556A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Neural network based identification of areas of interest in digital pathology images
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN113420769A (zh) * 2020-11-12 2021-09-21 阿里巴巴集团控股有限公司 图像掩模的识别、抠取、模型训练方法、装置及电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150010211A1 (en) * 2008-03-25 2015-01-08 International Business Machines Corporation Real time processing of video frames
WO2018022648A1 (en) * 2016-07-25 2018-02-01 Iteris, Inc. Image-based field boundary detection and identification
CN106530279A (zh) * 2016-10-15 2017-03-22 扬州奥泰光电生物技术有限公司 一种图像处理方法及系统
CN108648197A (zh) * 2018-04-12 2018-10-12 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
WO2020243556A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Neural network based identification of areas of interest in digital pathology images
CN110490864A (zh) * 2019-08-22 2019-11-22 易思维(杭州)科技有限公司 图像的自适应缺陷检测方法
CN110826632A (zh) * 2019-11-11 2020-02-21 深圳前海微众银行股份有限公司 图像变化检测方法、装置、设备及计算机可读存储介质
CN111178211A (zh) * 2019-12-20 2020-05-19 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN113420769A (zh) * 2020-11-12 2021-09-21 阿里巴巴集团控股有限公司 图像掩模的识别、抠取、模型训练方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMIT VISHWAKARMA ET AL.: "An optimized non-subsampled shearlet transform-based image fusion using Hessian features and unsharp masking", 《J. VIS. COMMUN. IMAGE R.》 *
刘枢 等: "基于点标注的弱监督实例分割", 《信号处理》 *
袁汉钦 等: "一种基于掩膜组合的多类弹载图像目标分割算法", 《舰船电子工程》 *

Also Published As

Publication number Publication date
CN113888537B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111695439B (zh) 图像结构化数据提取方法、电子装置及存储介质
CN107688772B (zh) 保单信息录入的方法、装置、计算机设备及存储介质
CN111595850B (zh) 切片缺陷检测方法、电子装置及可读存储介质
CN111652845B (zh) 异常细胞自动标注方法、装置、电子设备及存储介质
CN110781859B (zh) 图像标注方法、装置、计算机设备和存储介质
CN112183296B (zh) 模拟票据图像生成、票据图像识别方法和装置
CN113887608A (zh) 一种模型训练的方法、图像检测的方法及装置
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN116843901A (zh) 医学图像分割模型训练方法和医学图像分割方法
CN114548192A (zh) 样本数据处理方法、装置、电子设备及介质
CN112036488A (zh) 基于图像识别的事件识别方法、装置、设备及存储介质
CN114565803A (zh) 用于提取难样本的方法、装置及机械设备
CN113936187A (zh) 文本图像合成方法、装置、存储介质及电子设备
CN113888537B (zh) 掩模提取方法、装置、设备及存储介质
CN115049836B (zh) 图像分割方法、装置、设备及存储介质
CN115775386A (zh) 用户界面组件的识别方法、装置、计算机设备和存储介质
CN114118127B (zh) 一种视觉场景标志检测与识别方法及装置
CN112434631B (zh) 目标物识别方法、装置、电子设备及可读存储介质
CN111695441B (zh) 图像文档处理方法、装置及计算机可读存储介质
CN112633285B (zh) 领域适应方法、装置、电子设备及存储介质
CN109190467A (zh) 一种基于关键点回归的多物体检测方法、系统、终端和存储介质
CN113128496B (zh) 一种从图像中提取结构化数据的方法、装置和设备
CN113468906A (zh) 图形码提取模型构建方法、识别方法、装置、设备和介质
CN113642642A (zh) 控件识别方法及装置
CN113284047A (zh) 基于多重特征的目标物分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant