CN111178211A - 图像分割方法、装置、电子设备及可读存储介质 - Google Patents

图像分割方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111178211A
CN111178211A CN201911331052.6A CN201911331052A CN111178211A CN 111178211 A CN111178211 A CN 111178211A CN 201911331052 A CN201911331052 A CN 201911331052A CN 111178211 A CN111178211 A CN 111178211A
Authority
CN
China
Prior art keywords
image
pixel point
background
segmented
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911331052.6A
Other languages
English (en)
Other versions
CN111178211B (zh
Inventor
李林泽
邹晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN JIHAO TECHNOLOGY CO LTD
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201911331052.6A priority Critical patent/CN111178211B/zh
Publication of CN111178211A publication Critical patent/CN111178211A/zh
Priority to PCT/CN2020/113134 priority patent/WO2021120695A1/zh
Application granted granted Critical
Publication of CN111178211B publication Critical patent/CN111178211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及一种图像分割方法、装置、设备及存储介质，旨在提高图像分割的准确性。所述方法包括：获得待分割图像的图像特征；对所述图像特征进行上采样操作，获得前景特征图和背景特征图；对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，其中，所述目标区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于目标区域的概率，所述背景区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于背景区域的概率；根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。

Description

图像分割方法、装置、电子设备及可读存储介质
技术领域
本申请实施例涉及计算机视觉技术领域，具体而言，涉及一种图像分割方法、装置、电子设备及可读存储介质。
背景技术
随着计算机视觉技术的发展，越来越多的应用场景将计算机视觉技术和人体生物特征相结合，以执行解锁、认证、刑侦或目标追踪等任务。其中，人体生物特征包括但不限于：指纹、掌纹、手形、人脸、虹膜、耳廓等等。在执行上述任务期间，通常需要采集包括人体生物特征的原始图像，然后将人体生物特征的区域从原始图像中分割出，再针对分割出的人体生物特征区域进行关键点提取、特征比对等流程，最终实现对上述各种任务的执行。
以指纹这一人体生物特征为例，首先需要利用指纹采集设备获得指纹的原始图像，然后需要从该原始图像中分割出指纹区域，最后针对分割出的指纹区域进行关键点提取、指纹对齐、比对识别等流程。其中，指纹区域分割的成功与否以及指纹区域分割的准确性，直接影响后续流程，并影响最终的解锁结果、认证结果、刑侦结果或目标追踪结果等等。
相关技术中，为了从原始图像中分割出指纹等人体生物特征的所在区域，通常是从原始图像中获取指纹区域的对比度、方向一致性等特征，然后结合人工归纳的规则从原始图像中分割出指纹区域。但是在原始图像中存在复杂背景的情况下，利用上述方式进行指纹区域分割时，难以成功分割出较准确的指纹区域。
发明内容
本申请实施例提供一种图像分割方法、装置、设备及存储介质，旨在提高图像分割的准确性。
本申请实施例第一方面提供一种图像分割方法，所述方法包括：
对待分割图像进行特征提取，获得所述待分割图像的图像特征；
对所述图像特征进行上采样操作，获得前景特征图和背景特征图，所述前景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述前景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于目标区域的可能性，所述背景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述背景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于背景区域的可能性；
对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，其中，所述目标区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于目标区域的概率，所述背景区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于背景区域的概率；
根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。
本申请实施例第二方面提供一种图像分割装置，所述装置包括：
特征提取模块，用于对待分割图像进行特征提取，获得所述待分割图像的图像特征；
上采样模块，用于对所述图像特征进行上采样操作，获得前景特征图和背景特征图，所述前景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述前景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于目标区域的可能性，所述背景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述背景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于背景区域的可能性；
归一化模块，用于对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，其中，所述目标区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于目标区域的概率，所述背景区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于背景区域的概率；
分割模块，用于根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。
本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。
采用本申请提供的图像分割方法，对待分割图像进行特征提取，以获得待分割图像的图像特征；然后对图像特征进行上采样操作，从而获得前景特征图和背景特征图；再对前景特征图和背景特征图的各个像素点的像素值进行归一化操作，获得目标区域掩模图和背景区域掩模图；最后根据目标区域掩模图和背景区域掩模图，对待分割图像进行分割。
其中，由于前景特征图的各个像素点与待分割图像的各个像素点一一对应，且前景特征图中的每个像素点的像素值表征：待分割图像中与该像素点相对应的像素点属于目标区域的可能性。同时背景特征图的各个像素点与待分割图像的各个像素点一一对应，且背景特征图中的每个像素点的像素值表征：待分割图像中与该像素点相对应的像素点属于背景区域的可能性。因此在对前景特征图和背景特征图的各个像素点的像素值进行归一化操作后，得到的目标区域掩模图中的每个像素点的像素值表示：待分割图像中与该像素点相对应的像素点属于目标区域的概率，背景区域掩模图中的每个像素点的像素值表示：待分割图像中与该像素点相对应的像素点属于背景区域的概率。
如此，根据目标区域掩模图和背景区域掩模图，基于各个像素点属于目标区域和/或背景区域的概率，对待分割图像进行分割，从而获得更准确的分割结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的图像分割方法的流程图；
图2是本申请一实施例提出的图像分割方法的示意图；
图3是本申请一实施例提出的指纹图像区域划分示意图；
图4是本申请一实施例提出的几种上采样方式各自对应的网络结构示意图；
图5是本申请一实施例提出的归一化示意图；
图6是本申请一实施例提出的图像分割方法的分割效果图；
图7是本申请另一实施例提出的图像分割方法的流程图；
图8是本申请另一实施例提出的图像分割方法的示意图；
图9是本申请一实施例提出的特征图融合示意图；
图10是本申请一实施例提出的模型训练流程图；
图11是本申请一实施例提出的图像分割装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，越来越多的应用场景将计算机视觉技术和人体生物特征相结合，以执行解锁、认证、刑侦或目标追踪等任务。其中，人体生物特征包括但不限于：指纹、掌纹、手形、人脸、虹膜、耳廓等等。在执行上述任务期间，通常需要采集包括人体生物特征的原始图像，然后将人体生物特征的区域从原始图像中分割出，再针对分割出的人体生物特征区域进行关键点提取、特征比对等流程，最终实现对上述各种任务的执行。
以指纹这一人体生物特征为例，首先需要利用指纹采集设备获得指纹的原始图像，然后需要从该原始图像中分割出指纹区域，最后针对分割出的指纹区域进行关键点提取、指纹对齐、比对识别等流程。为了从原始图像中分割出指纹等人体生物特征的所在区域，目前通常是从原始图像中获取指纹区域的对比度、方向一致性等特征，然后结合人工归纳的规则从原始图像中分割出指纹区域。但是在原始图像中存在复杂背景的情况下，利用上述方式进行指纹区域分割时，难以成功分割出较准确的指纹区域。
为此，本申请部分实施例提出图像分割方法，旨在提高图像分割的准确性。参考图1，图1是本申请一实施例提出的图像分割方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11：对待分割图像进行特征提取，获得所述待分割图像的图像特征。
其中，待分割图像是包括人体生物特征的图像，例如待分割图像可以是：指纹图像、掌纹图像、人脸图像或虹膜图像等等。示例地，将本申请的图像分割方法应用于指纹识别系统后，该指纹识别系统在执行步骤S11时，对指纹图像进行特征提取。或者示例地，将本申请的图像分割方法应用于人脸识别系统后，该人脸识别系统在执行步骤S11时，对人脸图像进行特征提取。
为了实现对待分割图像的特征提取，在某些实施例中，可以利用特征提取模块CNN对待识别图像进行特征提取。参考图2，图2是本申请一实施例提出的图像分割方法的示意图。如图2所示，以待分割图像是指纹图像为例，将N×H×W的指纹图像输入特征提取模块CNN，获得N'×H'×W'的特征图，即图像特征。其中，N表示指纹图像的图像通道数，H表示指纹图像的高，W表示指纹图像的宽，N'表示图像特征的通道数，H'表示图像特征的高，W'表示图像特征的宽。通常，H'小于H，W'小于W。图2中，特征提取模块CNN的具体结构可选用VGG、ResNet(Residual Network)、或者ShuffleNet等网络的骨干结构backbone。
在利用上述特征提取模块CNN对待识别图像进行特征提取之前，可以预先建立特征提取模块CNN，然后利用样本图像对其进行训练，最后利用训练完毕的特征提取模块CNN对待识别图像进行特征提取，以获得相应的图像特征。对于具体的训练方式，请参见下文。
步骤S12：对所述图像特征进行上采样操作，获得前景特征图和背景特征图，所述前景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述前景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于目标区域的可能性，所述背景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述背景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于背景区域的可能性。
通过执行步骤S12，对图像特征进行上采样，从而获得分辨率与待分割图像的分辨率一致的前景特征图和背景特征图，如此，前景特征图的各个像素点可以与待分割图像的各个像素点一一对应，背景特征图的各个像素点可以与待分割图像的各个像素点一一对应。
其中，目标区域是指准备从待分割图像中分割出的区域，背景区域是指待分割图像中除目标区域以外的区域。参考图3，图3是本申请一实施例提出的指纹图像区域划分示意图。如图3所示，以指纹图像为例，虚线框以内的区域是指纹的有效区域，即目标区域，虚线框以外的区域是背景区域。
如上所述，在前景特征图中，包括多个像素点，多个像素点对应各自的像素值。针对前景特征图中的每个像素点，该像素点的像素值越大，在待分割图像中位于相同位置的像素点越可能属于目标区域。
如上所述，在背景特征图中，包括多个像素点，多个像素点对应各自的像素值。针对背景特征图中的每个像素点，该像素点的像素值越大，在待分割图像中位于相同位置的像素点越可能属于背景区域。
为了实现对图像特征的上采样操作，在某些实施例中，可以利用图像分割模块对图像特征进行上采样。如图2所示，以待分割图像是指纹图像为例，将N'×H'×W'的特征图输入图像分割模块，获得2×H×W的分割结果，即前景特征图和背景特征图，其中前景特征图和背景特征图的分辨率均为H×W。图2中，图像分割模块采用的上采样方式包括但不限于：反卷积上采样、图片缩放上采样、子像素卷积上采样。图像分割模块的上采样方式决定了图像分割模块的网络结构。
参考图4，图4是本申请一实施例提出的几种上采样方式各自对应的网络结构示意图。如图4所示，反卷积上采样对应的网络结构包括反卷积网络deconvlution；图片缩放上采样对应的网络结构包括：卷积神经网络CNN和图片缩放模块；子像素卷积上采样对应的网络结构包括：卷积神经网络CNN(可选的)和子像素卷积模块sub-pixel convlution。
在利用上述图像分割模块对图像特征进行上采样之前，可以预先建立图像分割模块，然后利用样本图像对其进行训练，最后利用训练完毕的图像分割模块对图像特征进行上采样，以获得相应的前景特征图和背景特征图。对于具体的训练方式，请参见下文。
步骤S13：对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，其中，所述目标区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于目标区域的概率，所述背景区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于背景区域的概率。
示例地，参考图5，图5是本申请一实施例提出的归一化示意图。如图5所示，前景特征图中的像素点A1的像素值为7，背景特征图中位于相同位置的像素点A2的像素值为2。如图2所示，可以利用softmax函数对像素点A1的像素值和像素点A2的像素值进行归一化。归一化后的目标区域掩模图中，像素点A1'的像素值等于e7/(e7+e2)，即约等于1；归一化后的背景区域掩模图中，像素点A2'的像素值等于e2/(e7+e2)，即约等于0。如此，待分割图像中位于相同位置的像素点A很可能属于目标区域，而几乎不可能属于背景区域。
继续如图5所示，前景特征图中的像素点B1的像素值为3，背景特征图中位于相同位置的像素点B2的像素值为5。可以利用softmax函数对像素点B1的像素值和像素点B2的像素值进行归一化。归一化后的目标区域掩模图中，像素点B1'的像素值等于e3/(e3+e5)，即等于0.12；归一化后的背景区域掩模图中，像素点B2'的像素值等于e5/(e3+e5)，即约等于0.88。如此，待分割图像中位于相同位置的像素点B属于目标区域的概率为0.12，属于背景区域的概率为0.88。
步骤S14：根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。
具体地，可以根据目标区域掩模图中各个像素点的像素值，从待分割图像中分割出目标区域；根据背景区域掩模图中各个像素点的像素值，从待分割图像中分割出背景区域。
在某些实施例中，上述步骤S14可具体包括以下子步骤：
子步骤S14-1：针对所述目标区域掩模图中的每个像素点，在该像素点的像素值大于第一预设阈值的情况下，将所述待分割图像中与该像素点相对应的像素点确定为属于目标区域，并从所述待分割图像中分割出所述目标区域的像素点；
和/或子步骤S14-2：针对所述背景区域掩模图中的每个像素点，在该像素点的像素值大于第二预设阈值的情况下，将所述待分割图像中与该像素点相对应的像素点确定为属于背景区域；并从所述待分割图像中分割出所述背景区域的像素点。
示例地，以第一预设阈值等于0.5为例，针对目标区域掩模图中的每个像素点，在该像素点的像素值大于0.5的情况下，将该像素点的像素值更新为1，否则更新为0。如此，得到更新后的目标区域掩模图，图中像素值为1的像素点对应待分割图像中的目标区域，图中像素值为0的像素点对应待分割图像中的背景区域。然后将更新后的目标区域掩模图与待分割图像相乘，换言之，将更新后的目标区域掩模图中各个像素点的像素值，与待分割图像中对应像素点的像素值一对一地相乘。如此，待分割图像中背景区域的像素点对应的像素值乘积等于0，目标区域的像素点对应的像素值乘积等于原像素值，从而将目标区域从待分割图像中分割出来。
以第二预设阈值等于0.5为例，针对背景区域掩模图中的每个像素点，在该像素点的像素值大于0.5的情况下，将该像素点的像素值更新为1，否则更新为0。如此，得到更新后的背景区域掩模图，图中像素值为1的像素点对应待分割图像中的背景区域，图中像素值为0的像素点对应待分割图像中的目标区域。然后将更新后的背景区域掩模图与待分割图像相乘，换言之，将更新后的背景区域掩模图中各个像素点的像素值，与待分割图像中对应像素点的像素值一对一地相乘。如此，待分割图像中背景区域的像素点对应的像素值乘积等于原像素值，目标区域的像素点对应的像素值乘积等于0，从而将背景区域从待分割图像中分割出来。
通过执行上述包括步骤S11至步骤S14的图像分割方法，由于前景特征图的各个像素点与待分割图像的各个像素点一一对应，且前景特征图中的每个像素点的像素值表征：待分割图像中与该像素点相对应的像素点属于目标区域的可能性。同时背景特征图的各个像素点与待分割图像的各个像素点一一对应，且背景特征图中的每个像素点的像素值表征：待分割图像中与该像素点相对应的像素点属于背景区域的可能性。因此在对前景特征图和背景特征图的各个像素点的像素值进行归一化操作后，得到的目标区域掩模图中的每个像素点的像素值表示：待分割图像中与该像素点相对应的像素点属于目标区域的概率，背景区域掩模图中的每个像素点的像素值表示：待分割图像中与该像素点相对应的像素点属于背景区域的概率。
如此，根据目标区域掩模图和背景区域掩模图，基于各个像素点属于目标区域和/或背景区域的概率，对待分割图像进行分割，从而获得更准确的分割结果，提高图像分割召回率。参考图6，图6是本申请一实施例提出的图像分割方法的分割效果图。如图6所示，居上的三个指纹图像为三个待分割图像，居下的三个指纹图像为分割后的分割结果图，三个分割结果图中各自的虚线框区域即是分割出的指纹区域。如图6所示，每个待分割图像均被准确地分割出指纹区域。
参考图7，图7是本申请另一实施例提出的图像分割方法的流程图。如图7所示，该方法包括以下步骤：
步骤S71：对所述待分割图像进行多种尺度的特征提取操作，获得所述待分割图像的多个不同尺度的图像特征。
步骤S72：针对所述多个不同尺度的图像特征分别进行上采样操作，获得多个图像特征各自对应的前景特征图和背景特征图。
其中，步骤S71作为上述步骤S11的一种具体实施方式，步骤S72作为上述步骤S12的一种具体实施方式。
为了对待分割图像进行多种尺度的特征提取操作，在某些实施例中，可以将待分割图像分别输入多个卷积神经网络CNN，每个卷积神经网络CNN包括的卷积层的层数互不相同。一个卷积神经网络CNN的卷积层的层数越多，该卷积神经网络CNN对待分割图像进行的特征提取操作的尺度越深，该卷积神经网络CNN输出的图像特征的尺度也越深。
参考图8，图8是本申请另一实施例提出的图像分割方法的示意图。在另一些实施例中，如图8所示，在卷积神经网络CNN1对待分割图像N×H×W进行特征提取，以获得图像特征N'×H'×W'之后。一方面，可以将该图像特征N'×H'×W'输入图像分割模块1进行上采样操作，获得2×H×W的分割结果，即一张前景特征图和一张背景特征图。另一方面，可以将该图像特征N'×H'×W'输入卷积神经网络CNN2。
在卷积神经网络CNN2对图像特征N'×H'×W'进行进一步特征提取，以获得图像特征N”×H”×W”之后。一方面，可以将该图像特征N”×H”×W”输入图像分割模块2进行上采样操作，获得2×H×W的分割结果，即一张前景特征图和一张背景特征图。另一方面，可以将该图像特征N”×H”×W”输入卷积神经网络CNN3。
依次类推，可以获得待分割图像的多个不同尺度的图像特征，并针对多个图像特征分别进行上采样操作，以获得多个图像特征各自对应的前景特征图和背景特征图。图8中，H”'＜H”＜H'＜H，W”'＜W”＜W'＜W，图像特征N'×H'×W'、N”×H”×W”以及N”'×H”'×W”'的尺度依次递增。
本申请通过获得待分割图像的多种不同尺度的图像特征，并基于各种尺度的图像特征执行后续的上采样、融合、归一化流程，从而提升了图像特征的复杂度，使得图像特征能包括尺度更丰富的特征，进而有利于进一步提高图像分割准确性。此外，利用如图8所示的模型执行上述步骤S71和步骤S72，该模型的结构更丰富，在训练期间具有更强的学习能力，因此也有利于进一步提高图像分割准确性。
如图7所示，该图像分割方法还可以包括以下步骤：
步骤S73-1：对多个图像特征各自对应的前景特征图进行融合，获得一张融合的前景特征图，以及对多个图像特征各自对应的背景特征图进行融合，获得一张融合的背景特征图。
步骤S73-2：对所述融合的前景特征图的各个像素点的像素值和所述融合的背景特征图的各个像素点的像素值进行归一化，获得所述目标区域掩模图和背景区域掩模图。
其中，步骤S73-1和步骤S73-2作为上述步骤S13的一种具体实施方式。
在执行步骤S73-1时，可以首先根据多个前景特征图的特征深度顺序，对多个前景特征图进行叠加；然后对叠加后的多个前景特征图进行卷积，获得融合的前景特征图。同样地，可以首先根据多个背景特征图的特征深度顺序，对多个背景特征图进行叠加；然后对叠加后的多个背景特征图进行卷积，获得融合的背景特征图。
示例地，参考图9，图9是本申请一实施例提出的特征图融合示意图。如图9所示，将2M×H×W的图像特征分为M×H×W的前景特征图和M×H×W的背景特征图。其中，2M×H×W的图像特征对应M种尺度的前景特征图和M种尺度的背景特征图，换言之，在上述步骤S71中，对待分割图像进行了M种尺度的特征提取操作。其中，M×H×W的前景特征图是：M个1×H×W的前景特征图按照特征深度顺序依次叠加后形成的。M×H×W的背景特征图是：M个1×H×W的背景特征图按照特征深度顺序依次叠加后形成的。
如图9所示，利用单层卷积神经网络CNN1对M×H×W的前景特征图进行卷积，获得1×H×W的融合的前景特征图。利用单层卷积神经网络CNN2对M×H×W的背景特征图进行卷积，获得1×H×W的融合的背景特征图。最后将融合的前景特征图和融合的背景特征图进行叠加，获得2×H×W的融合特征图。其中，图9所示的网络结构即是图8中的分割结果融合模块。
在执行步骤S73-2时，可参考针对上述步骤S13的解释以及参考附图5所示内容，本申请在此不做赘述。
如图7所示，该图像分割方法还可以包括以下步骤：
步骤S74：根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。
在执行步骤S74时，可参考上述针对步骤S14的解释，本申请在此不做赘述。
此外，在执行上述步骤S12，可以针对上述步骤S11所获得的图像特征同时进行多种方式的上采样操作，从而综合多种上采样方式的优点，进而提高图像分割的准确性。
具体地，针对上述步骤S11所获得的图像特征，通过多个上采样路径对该图像特征分别进行上采样处理，分别获得每个上采样路径输出的一张前景特征图和一张背景特征图。在一种可能的实施方式中，可以将该图像特征输入包括多个上采样路径的图像分割模块，以通过所述图像分割模块中的每个上采样路径对所述图像特征分别进行上采样处理，分别获得每个上采样路径输出的一张前景特征图和一张背景特征图，其中，多个上采样路径各自对应的上采样方式互不相同。
例如，图像分割模块包括三个上采样路径，三个上采样路径的网络结构分别如图4所示，三个上采样路径分别实现对图像特征的反卷积上采样、图片缩放上采样、以及子像素卷积上采样。利用该图像分割模块对图像特征进行上采样后，分别获得各个上采样路径输出的前景图像特征和背景图像特征。
然后在执行上述步骤S13时，可参考图9所示内容，首先对多个上采样路径输出的多张前景特征图进行融合，获得一张融合的前景特征图，以及对多个上采样路径输出的多张背景特征图进行融合，获得一张融合的背景特征图；然后对所述融合的前景特征图的各个像素点的像素值和所述融合的背景特征图的各个像素点的像素值进行归一化，获得所述目标区域掩模图和背景区域掩模图。
或者在执行上述步骤S72时，可以针对上述步骤S71所获得的多个不同尺度的图像特征中的每个图像特征，对该图像特征同时进行多种方式的上采样操作，从而综合多种上采样方式的优点，进而提高图像分割的准确性。
以上，本申请通过实施例介绍了图像分割方法的应用过程，在某些实施例中，图像分割方法的应用过程中涉及到特征提取模块CNN和图像分割模块。以下，本申请通过实施例介绍各个模块的训练过程。应当理解的，上述图像分割模块的实施并非必须依赖于上述各个模块，上述各个模块的应用不应理解为对本申请的限定。
参考图10，图10是本申请一实施例提出的模型训练流程图。如图10所示，该训练流程包括以下步骤：
步骤S10-1：获得样本图像，所述样本图像携带目标区域掩模标注图和背景区域掩模标注图，所述目标区域掩模标注图中目标区域的像素点的像素值为第一像素值，背景区域的像素点的像素值为第二像素值，所述背景区域掩模标注图中目标区域的像素点的像素值为所述第二像素值，背景区域的像素点的像素值为所述第一像素值。
其中，第一像素值和第二像素值不同。在一种可能的实施方式中，第一像素值为1，第二像素值为0。
示例地，获得多张样本指纹图像，针对每张样本指纹图像，根据该样本指纹图像中的指纹区域和背景区域，生成该样本指纹图像的目标区域掩模标注图和背景区域掩模标注图。其中，目标区域掩模标注图中指纹区域的像素点的像素值为1，背景区域的像素点的像素值为0。背景区域掩模标注图中指纹区域的像素点的像素值为0，背景区域的像素点的像素值为1。
为了进一步提高模型的适用范围，多张样本指纹图像可以来自于多种场景。例如包括：寒冷天气情况下采集的样本指纹图像、指尖沾水情况下采集的样本指纹图像、指尖沾有印泥情况下采集的样本指纹图像。
获得为了使得模型可应用于手机、平板电脑等终端设备，考虑到手机、平板电脑等终端设备上预留的指纹采集区域较小，通常小于手指尖的面积。为此，可以对样本指纹图像进行剪裁处理。例如将分辨率为H×W的原始样本指纹图像剪裁为H/2×W/2样本指纹图像，然后再针对该H/2×W/2样本指纹图像，生成H/2×W/2的目标区域掩模标注图和背景区域掩模标注图。
步骤S10-2：将所述样本图像输入预设模型，以通过所述预设模型对所述样本图像进行特征提取，以获得图像特征，并通过所述预设模型对所述图像特征进行上采样操作，以获得前景预测特征图和背景预测特征图。
示例地，预设模型的结构可参考图2或图8所示的网络结构。其中，图像分割模块可包括1个或多个上采样路径。如果图像分割模块包括多个上采样路径，各个上采样路径互不相同。
步骤S10-3：对所述前景预测特征图和背景预测特征图各自的像素值进行归一化操作，获得目标区域掩模预测图和背景区域掩模预测图。
其中，对于归一化操作的具体方式，可以参考针对上述步骤S13的解释以及参考附图5所示内容，本申请在此不做赘述。
步骤S10-4：根据所述目标区域掩模预测图、背景区域掩模预测图、目标区域掩模标注图以及背景区域掩模标注图，对所述预设模型进行更新。
示例地，可以计算目标区域掩模预测图和目标区域掩模标注图的交叉熵损失，然后利用该交叉熵损失对预设模型的各个模块进行更新。或者，可以计算背景区域掩模预测图和背景区域掩模标注图的交叉熵损失，然后利用该交叉熵损失对预设模型的各个模块进行更新。或者可以计算目标区域掩模预测图和目标区域掩模标注图的交叉熵损失，同时计算背景区域掩模预测图和背景区域掩模标注图的交叉熵损失，最后计算两个交叉熵损失的平均损失值，利用该平均损失值对预设模型的各个模块进行更新。
此外，为了简化预设模型，使得该预设模型能在手机、考勤机等计算能力有限的设备上部署，可以将该预设模型的参数由浮点型变更为整型，以实现模型量化。然后将量化前的预设模型作为teacher模型，将量化后的预设模型作为student模型，在两个模型的输出层建立损失函数，进而重新对量化后的预设模型进行训练。
基于同一发明构思，本申请一实施例提供一种图像分割装置。参考图11，图11是本申请一实施例提出的图像分割装置的示意图。如图11所示，该装置包括：
特征提取模块1101，用于对待分割图像进行特征提取，获得所述待分割图像的图像特征；
上采样模块1102，用于对所述图像特征进行上采样操作，获得前景特征图和背景特征图，所述前景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述前景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于目标区域的可能性，所述背景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述背景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于背景区域的可能性；
归一化模块1103，用于对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，其中，所述目标区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于目标区域的概率，所述背景区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于背景区域的概率；
分割模块1104，用于根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。
可选地，所述特征提取模块具体用于：对所述待分割图像进行多种尺度的特征提取操作，获得所述待分割图像的多个不同尺度的图像特征；
所述上采样模块具体用于：针对所述多个不同尺度的图像特征分别进行上采样操作，获得多个图像特征各自对应的前景特征图和背景特征图。
可选地，所述归一化模块包括：
特征图融合子模块，用于对多个图像特征各自对应的前景特征图进行融合，获得一张融合的前景特征图，以及对多个图像特征各自对应的背景特征图进行融合，获得一张融合的背景特征图；
归一化子模块，用于对所述融合的前景特征图的各个像素点的像素值和所述融合的背景特征图的各个像素点的像素值进行归一化，获得所述目标区域掩模图和背景区域掩模图。
可选地，所述特征图融合子模块包括：
第一特征图叠加子单元，用于根据多个前景特征图的特征深度顺序，对多个前景特征图进行叠加；
第一特征图卷积子单元，用于对叠加后的多个前景特征图进行卷积，获得所述融合的前景特征图；
第二特征图叠加子单元，用于根据多个背景特征图的特征深度顺序，对多个背景特征图进行叠加；
第二特征图卷积子单元，用于对叠加后的多个背景特征图进行卷积，获得所述融合的背景特征图。
可选地，所述上采样模块具体用于：通过多个上采样路径对所述图像特征分别进行上采样处理，分别获得每个上采样路径输出的一张前景特征图和一张背景特征图，其中，多个上采样路径各自对应的上采样方式互不相同；
所述归一化模块包括：
特征图融合子模块，用于对多个上采样路径输出的多张前景特征图进行融合，获得一张融合的前景特征图，以及对多个上采样路径输出的多张背景特征图进行融合，获得一张融合的背景特征图；
归一化子模块，用于对所述融合的前景特征图的各个像素点的像素值和所述融合的背景特征图的各个像素点的像素值进行归一化，获得所述目标区域掩模图和背景区域掩模图。
所述分割模块包括：
目标区域分割子模块，用于针对所述目标区域掩模图中的每个像素点，在该像素点的像素值大于第一预设阈值的情况下，将所述待分割图像中与该像素点相对应的像素点确定为属于目标区域，并从所述待分割图像中分割出所述目标区域的像素点；
和/或背景区域分割子模块，用于针对所述背景区域掩模图中的每个像素点，在该像素点的像素值大于第二预设阈值的情况下，将所述待分割图像中与该像素点相对应的像素点确定为属于背景区域；并从所述待分割图像中分割出所述背景区域的像素点。
可选地，所述装置还包括：
样本图像获得模块，用于获得样本图像，所述样本图像携带目标区域掩模标注图和背景区域掩模标注图，所述目标区域掩模标注图中目标区域的像素点的像素值为第一像素值，背景区域的像素点的像素值为第二像素值，所述背景区域掩模标注图中目标区域的像素点的像素值为所述第二像素值，背景区域的像素点的像素值为所述第一像素值；
预测特征图获得模块，用于通过所述预设模型对所述样本图像进行特征提取，以获得图像特征，并通过所述预设模型对所述图像特征进行上采样操作，以获得前景预测特征图和背景预测特征图；
掩模预测图获得模块，用于对所述前景预测特征图和背景预测特征图各自的像素值进行归一化操作，获得目标区域掩模预测图和背景区域掩模预测图；
模型更新模块，用于根据所述目标区域掩模预测图、背景区域掩模预测图、目标区域掩模标注图以及背景区域掩模标注图，对所述预设模型进行更新。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的图像分割方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的图像分割方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像分割方法、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：
对待分割图像进行特征提取，获得所述待分割图像的图像特征；
对所述图像特征进行上采样操作，获得前景特征图和背景特征图，所述前景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述前景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于目标区域的可能性，所述背景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述背景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于背景区域的可能性；
对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，其中，所述目标区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于目标区域的概率，所述背景区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于背景区域的概率；
根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。
2.根据权利要求1所述的方法，其特征在于，所述对待分割图像进行特征提取，获得所述待分割图像的图像特征，包括：
对所述待分割图像进行多种尺度的特征提取操作，获得所述待分割图像的多个不同尺度的图像特征；
所述对所述图像特征进行上采样操作，获得前景特征图和背景特征图，包括：
针对所述多个不同尺度的图像特征分别进行上采样操作，获得多个图像特征各自对应的前景特征图和背景特征图。
3.根据权利要求2所述的方法，其特征在于，所述对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，包括：
对多个图像特征各自对应的前景特征图进行融合，获得一张融合的前景特征图，以及对多个图像特征各自对应的背景特征图进行融合，获得一张融合的背景特征图；
对所述融合的前景特征图的各个像素点的像素值和所述融合的背景特征图的各个像素点的像素值进行归一化，获得所述目标区域掩模图和背景区域掩模图。
4.根据权利要求3所述的方法，其特征在于，所述对多个图像特征各自对应的前景特征图进行融合，获得一张融合的前景特征图，包括：
根据多个前景特征图的特征深度顺序，对多个前景特征图进行叠加；
对叠加后的多个前景特征图进行卷积，获得所述融合的前景特征图；
所述对多个图像特征各自对应的背景特征图进行融合，获得一张融合的背景特征图，包括：
根据多个背景特征图的特征深度顺序，对多个背景特征图进行叠加；
对叠加后的多个背景特征图进行卷积，获得所述融合的背景特征图。
5.根据权利要求1所述的方法，其特征在于，所述对所述图像特征进行上采样操作，获得前景特征图和背景特征图，包括：
通过多个上采样路径对所述图像特征分别进行上采样处理，分别获得每个上采样路径输出的一张前景特征图和一张背景特征图，其中，多个上采样路径各自对应的上采样方式互不相同；
所述对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，包括：
对多个上采样路径输出的多张前景特征图进行融合，获得一张融合的前景特征图，以及对多个上采样路径输出的多张背景特征图进行融合，获得一张融合的背景特征图；
对所述融合的前景特征图的各个像素点的像素值和所述融合的背景特征图的各个像素点的像素值进行归一化，获得所述目标区域掩模图和背景区域掩模图。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割，包括：
针对所述目标区域掩模图中的每个像素点，在该像素点的像素值大于第一预设阈值的情况下，将所述待分割图像中与该像素点相对应的像素点确定为属于目标区域，并从所述待分割图像中分割出所述目标区域的像素点；
和/或，针对所述背景区域掩模图中的每个像素点，在该像素点的像素值大于第二预设阈值的情况下，将所述待分割图像中与该像素点相对应的像素点确定为属于背景区域；并从所述待分割图像中分割出所述背景区域的像素点。
7.根据权利要求1所述的方法，其特征在于，在对待分割图像进行特征提取，获得所述待分割图像的图像特征之前，所述方法还包括：
获得样本图像，所述样本图像携带目标区域掩模标注图和背景区域掩模标注图，所述目标区域掩模标注图中目标区域的像素点的像素值为第一像素值，背景区域的像素点的像素值为第二像素值，所述背景区域掩模标注图中目标区域的像素点的像素值为所述第二像素值，背景区域的像素点的像素值为所述第一像素值；
将所述样本图像输入预设模型，以通过所述预设模型对所述样本图像进行特征提取，以获得图像特征，并通过所述预设模型对所述图像特征进行上采样操作，以获得前景预测特征图和背景预测特征图；
对所述前景预测特征图和背景预测特征图各自的像素值进行归一化操作，获得目标区域掩模预测图和背景区域掩模预测图；
根据所述目标区域掩模预测图、背景区域掩模预测图、目标区域掩模标注图以及背景区域掩模标注图，对所述预设模型进行更新。
8.一种图像分割装置，其特征在于，所述装置包括：
特征提取模块，用于对待分割图像进行特征提取，获得所述待分割图像的图像特征；
上采样模块，用于对所述图像特征进行上采样操作，获得前景特征图和背景特征图，所述前景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述前景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于目标区域的可能性，所述背景特征图中的各个像素点与所述待分割图像中的各个像素点一一对应，所述背景特征图中的每个像素点的像素值表征：所述待分割图像中与该像素点相对应的像素点属于背景区域的可能性；
归一化模块，用于对所述前景特征图的各个像素点的像素值和所述背景特征图的各个像素点的像素值进行归一化，获得目标区域掩模图和背景区域掩模图，其中，所述目标区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于目标区域的概率，所述背景区域掩模图中的每个像素点的像素值表示：所述待分割图像中与该像素点相对应的像素点属于背景区域的概率；
分割模块，用于根据所述目标区域掩模图和所述背景区域掩模图，对所述待分割图像进行分割。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至7任一所述的方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1至7任一所述的方法的步骤。
CN201911331052.6A 2019-12-20 2019-12-20 图像分割方法、装置、电子设备及可读存储介质 Active CN111178211B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911331052.6A CN111178211B (zh) 2019-12-20 2019-12-20 图像分割方法、装置、电子设备及可读存储介质
PCT/CN2020/113134 WO2021120695A1 (zh) 2019-12-20 2020-09-03 图像分割方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911331052.6A CN111178211B (zh) 2019-12-20 2019-12-20 图像分割方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111178211A true CN111178211A (zh) 2020-05-19
CN111178211B CN111178211B (zh) 2024-01-12

Family

ID=70652108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911331052.6A Active CN111178211B (zh) 2019-12-20 2019-12-20 图像分割方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN111178211B (zh)
WO (1) WO2021120695A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723934A (zh) * 2020-06-24 2020-09-29 北京紫光展锐通信技术有限公司 图像处理方法及系统、电子设备及存储介质
CN112465843A (zh) * 2020-12-22 2021-03-09 深圳市慧鲤科技有限公司 图像分割方法及装置、电子设备和存储介质
CN112651959A (zh) * 2020-12-31 2021-04-13 山东众阳健康科技集团有限公司 基于动态地图损失神经网络的ct颅内出血检测系统
WO2021120695A1 (zh) * 2019-12-20 2021-06-24 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN113240696A (zh) * 2021-05-20 2021-08-10 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113240699A (zh) * 2021-05-20 2021-08-10 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113379762A (zh) * 2021-05-28 2021-09-10 上海商汤智能科技有限公司 图像分割方法、装置、电子设备和存储介质
CN113420769A (zh) * 2020-11-12 2021-09-21 阿里巴巴集团控股有限公司 图像掩模的识别、抠取、模型训练方法、装置及电子设备
CN113643304A (zh) * 2021-08-05 2021-11-12 应急管理部天津消防研究所 一种融合多分辨率表征的实时烟雾分割方法
CN113744280A (zh) * 2021-07-20 2021-12-03 北京旷视科技有限公司 图像处理方法、装置、设备及介质
CN113888537A (zh) * 2021-12-03 2022-01-04 深圳市网旭科技有限公司 掩模提取方法、装置、设备及存储介质
CN114445447A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 一种图像分割方法、装置、设备及介质
CN115345895A (zh) * 2022-10-19 2022-11-15 深圳市壹倍科技有限公司 用于视觉检测的图像分割方法、装置、计算机设备及介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219951B (zh) * 2021-11-05 2024-08-30 安徽省配天机器人集团有限公司 形状匹配方法、装置、计算机设备以及存储装置
CN113781505B (zh) * 2021-11-08 2022-11-18 深圳市瑞图生物技术有限公司 染色体分割方法、染色体分析仪及存储介质
CN114494298A (zh) * 2022-01-28 2022-05-13 北京字跳网络技术有限公司 对象分割方法、装置、设备及存储介质
CN114445426B (zh) * 2022-01-28 2022-08-26 深圳大学 内窥镜图像中息肉区域的分割方法、装置及相关组件
CN114612971A (zh) * 2022-03-04 2022-06-10 北京百度网讯科技有限公司 人脸检测方法、模型训练方法、电子设备及程序产品
CN114581433B (zh) * 2022-03-22 2023-09-19 中国工程物理研究院流体物理研究所 一种获取金属球腔内表面形貌检测图像的方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392765B1 (en) * 1997-12-03 2002-05-21 Fuji Photo Film Co., Ltd. Interpolating operation method and apparatus for image signals
EP2669865A1 (en) * 2012-05-31 2013-12-04 Thomson Licensing Segmentation of a foreground object in a 3D scene
CN107808111A (zh) * 2016-09-08 2018-03-16 北京旷视科技有限公司 用于行人检测和姿态估计的方法和装置
KR20180071947A (ko) * 2016-12-20 2018-06-28 서울대학교산학협력단 영상 처리 장치 및 방법
CN109034162A (zh) * 2018-07-13 2018-12-18 南京邮电大学 一种图像语义分割方法
CN109190626A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 一种基于深度学习的多路径特征融合的语义分割方法
CN109242869A (zh) * 2018-09-21 2019-01-18 科大讯飞股份有限公司 一种图像实例分割方法、装置、设备及存储介质
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
CN109492638A (zh) * 2018-11-07 2019-03-19 北京旷视科技有限公司 文本检测方法、装置及电子设备
CN109977793A (zh) * 2019-03-04 2019-07-05 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN110163910A (zh) * 2019-03-22 2019-08-23 腾讯科技（深圳）有限公司 物体对象定位方法、装置、计算机设备和存储介质
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110349167A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种图像实例分割方法及装置
CN110517267A (zh) * 2019-08-02 2019-11-29 Oppo广东移动通信有限公司 一种图像分割方法及装置、存储介质
CN110569731A (zh) * 2019-08-07 2019-12-13 北京旷视科技有限公司 一种人脸识别方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447721B (zh) * 2016-09-12 2021-08-10 北京旷视科技有限公司 图像阴影检测方法和装置
CN111178211B (zh) * 2019-12-20 2024-01-12 天津极豪科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111260666B (zh) * 2020-01-19 2022-05-24 上海商汤临港智能科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392765B1 (en) * 1997-12-03 2002-05-21 Fuji Photo Film Co., Ltd. Interpolating operation method and apparatus for image signals
EP2669865A1 (en) * 2012-05-31 2013-12-04 Thomson Licensing Segmentation of a foreground object in a 3D scene
CN107808111A (zh) * 2016-09-08 2018-03-16 北京旷视科技有限公司 用于行人检测和姿态估计的方法和装置
KR20180071947A (ko) * 2016-12-20 2018-06-28 서울대학교산학협력단 영상 처리 장치 및 방법
CN109034162A (zh) * 2018-07-13 2018-12-18 南京邮电大学 一种图像语义分割方法
CN109190626A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 一种基于深度学习的多路径特征融合的语义分割方法
CN109242869A (zh) * 2018-09-21 2019-01-18 科大讯飞股份有限公司 一种图像实例分割方法、装置、设备及存储介质
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109492638A (zh) * 2018-11-07 2019-03-19 北京旷视科技有限公司 文本检测方法、装置及电子设备
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
CN109977793A (zh) * 2019-03-04 2019-07-05 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN110163910A (zh) * 2019-03-22 2019-08-23 腾讯科技（深圳）有限公司 物体对象定位方法、装置、计算机设备和存储介质
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110349167A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种图像实例分割方法及装置
CN110517267A (zh) * 2019-08-02 2019-11-29 Oppo广东移动通信有限公司 一种图像分割方法及装置、存储介质
CN110569731A (zh) * 2019-08-07 2019-12-13 北京旷视科技有限公司 一种人脸识别方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘忠利;陈光;单志勇;蒋学芹;: "基于深度学习的脊柱CT图像分割", no. 10 *
张巧荣;: "利用背景先验的显著性检测算法", no. 02 *
王婧林;黄剑;: "基于动态减背景图像处理算法的可变形线性物体识别", 天津科技大学学报, no. 06 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120695A1 (zh) * 2019-12-20 2021-06-24 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111723934A (zh) * 2020-06-24 2020-09-29 北京紫光展锐通信技术有限公司 图像处理方法及系统、电子设备及存储介质
CN113420769A (zh) * 2020-11-12 2021-09-21 阿里巴巴集团控股有限公司 图像掩模的识别、抠取、模型训练方法、装置及电子设备
CN112465843A (zh) * 2020-12-22 2021-03-09 深圳市慧鲤科技有限公司 图像分割方法及装置、电子设备和存储介质
CN112651959A (zh) * 2020-12-31 2021-04-13 山东众阳健康科技集团有限公司 基于动态地图损失神经网络的ct颅内出血检测系统
CN112651959B (zh) * 2020-12-31 2023-08-15 众阳健康科技集团有限公司 基于动态地图损失神经网络的ct颅内出血检测系统
CN113240696B (zh) * 2021-05-20 2022-02-08 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113240699B (zh) * 2021-05-20 2022-02-08 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113240699A (zh) * 2021-05-20 2021-08-10 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113240696A (zh) * 2021-05-20 2021-08-10 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113379762A (zh) * 2021-05-28 2021-09-10 上海商汤智能科技有限公司 图像分割方法、装置、电子设备和存储介质
CN113744280A (zh) * 2021-07-20 2021-12-03 北京旷视科技有限公司 图像处理方法、装置、设备及介质
CN113643304A (zh) * 2021-08-05 2021-11-12 应急管理部天津消防研究所 一种融合多分辨率表征的实时烟雾分割方法
CN113643304B (zh) * 2021-08-05 2024-09-06 应急管理部天津消防研究所 一种融合多分辨率表征的实时烟雾分割方法
CN113888537A (zh) * 2021-12-03 2022-01-04 深圳市网旭科技有限公司 掩模提取方法、装置、设备及存储介质
CN114445447A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 一种图像分割方法、装置、设备及介质
CN115345895A (zh) * 2022-10-19 2022-11-15 深圳市壹倍科技有限公司 用于视觉检测的图像分割方法、装置、计算机设备及介质
CN115345895B (zh) * 2022-10-19 2023-01-06 深圳市壹倍科技有限公司 用于视觉检测的图像分割方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
WO2021120695A1 (zh) 2021-06-24
CN111178211B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN111178211B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN113822314B (zh) 图像数据处理方法、装置、设备以及介质
CN111696110B (zh) 场景分割方法及系统
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
JP7246104B2 (ja) テキスト行識別に基づくナンバープレート識別方法
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN111340028A (zh) 一种文本定位方法、装置、电子设备及存储介质
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN113065551A (zh) 利用深度神经网络模型执行图像分割的方法
CN112766028B (zh) 人脸模糊处理方法、装置、电子设备及存储介质
CN115797336A (zh) 光伏组件的故障检测方法、装置、电子设备和存储介质
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质
CN116798041A (zh) 图像识别方法、装置和电子设备
CN114022960B (zh) 模型训练和行为识别方法、装置、电子设备以及存储介质
CN113192060B (zh) 一种图像分割的方法、装置、电子设备及存储介质
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及系统
CN114973268A (zh) 文本识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230407

Address after: No. S, 17/F, No. 1, Zhongguancun Street, Haidian District, Beijing 100082

Applicant after: Beijing Jigan Technology Co.,Ltd.

Address before: 100086 316-318, block a, Rongke Information Center, No.2, south academy of Sciences Road, Haidian District, Beijing

Applicant before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230707

Address after: 201-1, Floor 2, Building 4, No. 188, Rixin Road, Binhai Science Park, Binhai, Tianjin, 300451

Applicant after: Tianjin Jihao Technology Co.,Ltd.

Address before: No. S, 17/F, No. 1, Zhongguancun Street, Haidian District, Beijing 100082

Applicant before: Beijing Jigan Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant