CN116433696B - 抠图方法、电子设备及计算机可读存储介质 - Google Patents

抠图方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116433696B
CN116433696B CN202310702612.4A CN202310702612A CN116433696B CN 116433696 B CN116433696 B CN 116433696B CN 202310702612 A CN202310702612 A CN 202310702612A CN 116433696 B CN116433696 B CN 116433696B
Authority
CN
China
Prior art keywords
image
matting
original image
mask
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310702612.4A
Other languages
English (en)
Other versions
CN116433696A (zh
Inventor
任海涛
田宇桐
李英俊
诸葛超然
陈帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310702612.4A priority Critical patent/CN116433696B/zh
Publication of CN116433696A publication Critical patent/CN116433696A/zh
Application granted granted Critical
Publication of CN116433696B publication Critical patent/CN116433696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请提供一种抠图方法、电子设备及计算机可读存储介质，抠图方法包括：获取第一图像，对第一图像进行特征提取和下采样，得到第一特征图，根据第一特征图生成三分图和边缘细节图，可以使得生成三分图和边缘细节图的计算过程基于较小的特征图，从而可以降低计算复杂度。之后，根据三分图和边缘细节图的融合信息确定掩模图，可以根据更多的图像细节确定掩模图，掩模图用于表示原始图像中目标区域所在的位置，根据掩模图从原始图像抠取目标区域的图像，可以提高抠图精度。因此，本申请提供的抠图方法在保证抠图精度的同时，降低了计算量，能在端侧离线的情况下进行抠图。

Description

抠图方法、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种抠图方法、电子设备及计算机可读存储介质。
背景技术
在图像处理领域，对原始图像进行抠图处理是指将目标区域的图像从原始图像中分离出来，从而可以将目标区域的图像用于图像合成或者对目标区域的图像进行编辑。现有的抠图方法，为了保证抠图精度，抠图算法的计算量较大，因此需要将抠图算法部署在云端，在端侧离线的情况下无法完成抠图。
发明内容
本申请提供一种抠图方法、电子设备及计算机可读存储介质，解决了现有技术中无法在端侧离线的情况下完成抠图的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，提供一种抠图方法，获取由原始图像生成的第一图像，对第一图像进行特征提取和下采样，得到第一特征图，根据第一特征图生成三分图和边缘细节图。三分图用于表示第一特征图中前景区域、背景区域以及过渡区域的分布信息，边缘细节图用于表示过渡区域的像素信息。由于第一特征图是下采样之后的特征图，根据第一特征图生成三分图和边缘细节图，可以使得生成三分图和边缘细节图的计算过程基于较小的特征图，从而可以降低计算复杂度。之后，根据三分图和边缘细节图的融合信息确定掩模图，掩模图用于表示原始图像中目标区域所在的位置，可以使得掩模图保留更多的图像细节，最后再根据掩模图从原始图像抠取目标区域的图像，从而可以提高抠图精度。因此，上述实施例可以在保证抠图精度的同时，降低了计算量，能在端侧离线的情况下进行抠图。
在一实施例中，所述对所述第一图像进行特征提取和下采样，得到第一特征图，包括：对所述第一图像进行卷积处理和第一下采样处理，得到第二图像，所述第二图像满足预设特征提取条件；对所述第二图像进行特征提取和第二下采样处理，得到第一特征图，所述第一特征图满足预设尺寸。第二图像是下采样处理后得到的图像，对第二图像进行特征提取，可以在保证可以提取第一图像中的重要特征的同时，尽可能降低计算量。第一特征图满足预设尺寸，可以与后续上采样后的边缘细节图进入融合，提高得到的边缘细节图的准确度。
在一实施例中，所述根据所述三分图和所述边缘细节图的融合信息确定掩模图，包括：对所述三分图进行第一上采样处理，得到第三图像，所述第三图像的尺寸与所述第一图像的尺寸一致；对所述边缘细节图进行第二上采样处理，得到第四图像，所述第四图像的尺寸与所述第二图像的尺寸一致；对所述第四图像和所述第二图像进行特征融合处理，得到第一融合图像；对所述第一融合图像进行第三上采样处理，得到第五图像，所述第五图像的尺寸与所述第一图像的尺寸一致；对所述第三图像和所述第五图像进行特征融合处理，得到第二融合图像；根据所述第二融合图像确定掩模图。通过融合第二图像的浅层特征信息和边缘细节图生成第四图像，再将第四图像上采样后得到的第五图像与对三分图上采样后得到的第三图像融合，生成掩模图，可以使生成的掩模图保留更多的图像细节信息。
在一实施例中，所述根据所述第二融合图像确定掩模图，包括：将所述第一图像作为引导图，根据连通域算法和导向滤波算法，对所述第二融合图像进行缩放，得到与所述原始图像的尺寸一致的掩模图。通过采用连通域算法和导向滤波算法，可以进一步提高得到的掩模图的精度，进而提高抠图精度。
在一实施例中，所述根据所述第一特征图生成三分图和边缘细节图，包括：对所述第一特征图进行池化处理，得到第二特征图；根据所述第二特征图生成三分图和边缘细节图。通过对第一特征图进行池化处理，可以在保留图像特征的同时，进一步降低图像尺寸，进而降低后续确定三分图和边缘细节图的计算量。
在一实施例中，所述获取第一图像，包括：获取原始图像；对所述原始图像进行缩放和归一化处理，得到第一图像，所述第一图像在缩放至所述原始图像的尺寸时满足预设清晰度。通过将缩放后的第一图像用于后续的抠图算法，可以在保证抠图结果的清晰度的同时降低抠图算法的计算量。
在一实施例中，对所述原始图像进行缩放和归一化处理，得到第一图像，包括：若确定所述原始图像中存在人像，对所述原始图像进行缩放和归一化处理，得到第一图像。所述方法还包括：若确定所述原始图像中不存在人像，确定所述原始图像中的显著性主体；根据所述显著性主体从原始图像中抠取目标区域的图像。由于人像相对于其他类别图像的抠图精度要求更高，因此根据掩模图进行人像抠图，根据显著性主体进行其他类别的抠图，可以满足不同场景下的抠图需求。
在一实施例中，所述根据所述掩模图从所述原始图像中抠取所述目标区域的图像，包括：确定在所述原始图像中选择的第一区域；若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像，从而可以使抠图区域与用户选定的区域一致，进而得到用户实际需求的图像。
在一实施例中，所述若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像，包括：在确定所述第一区域中存在人像的情况下，若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像。所述方法还包括：在确定所述第一区域中不存在人像的情况下，确定所述原始图像中的显著性主体；根据所述显著性主体从所述原始图像中抠取目标区域的图像。第一区域反映用户实际的抠图需求，根据第一区域是否存在人像采用不同的抠图算法，可以满足用户在不同场景下的抠图需求。
第二方面，提供一种抠图装置，包括：
获取模块，用于获取第一图像，所述第一图像由原始图像生成；
特征提取模块，用于对所述第一图像进行特征提取和下采样，得到第一特征图；
分割模块，用于根据所述第一特征图生成三分图和边缘细节图，所述三分图用于表示所述第一特征图中前景区域、背景区域以及过渡区域的分布信息，所述边缘细节图用于表示所述过渡区域的像素信息；
融合模块，用于根据所述三分图和所述边缘细节图的融合信息确定掩模图，所述掩模图用于表示所述原始图像中目标区域所在的位置；
抠图模块，用于根据所述掩模图从所述原始图像中抠取目标区域的图像。
在一实施例中，特征提取模块具体用于：
对所述第一图像进行卷积处理和第一下采样处理，得到第二图像，所述第二图像满足预设特征提取条件；
对所述第二图像进行特征提取和第二下采样处理，得到第一特征图，所述第一特征图满足预设尺寸。
在一实施例中，融合模块具体用于：
对所述三分图进行第一上采样处理，得到第三图像，所述第三图像的尺寸与所述第一图像的尺寸一致；
对所述边缘细节图进行第二上采样处理，得到第四图像，所述第四图像的尺寸与所述第二图像的尺寸一致；
对所述第四图像和所述第二图像进行特征融合处理，得到第一融合图像；
对所述第一融合图像进行第三上采样处理，得到第五图像，所述第五图像的尺寸与所述第一图像的尺寸一致；
对所述第三图像和所述第五图像进行特征融合处理，得到第二融合图像；
根据所述第二融合图像确定掩模图。
在一实施例中，融合模块具体用于：
将所述第一图像作为引导图，根据连通域算法和导向滤波算法，对所述第二融合图像进行缩放，得到与所述原始图像的尺寸一致的掩模图。
在一实施例中，分割模块具体用于：
对所述第一特征图进行池化处理，得到第二特征图；
根据所述第二特征图生成三分图和边缘细节图。
在一实施例中，获取模块具体用于：
获取原始图像；
对所述原始图像进行缩放和归一化处理，得到第一图像，所述第一图像在缩放至所述原始图像的尺寸时满足预设清晰度。
在一实施例中，获取模块具体用于：
若确定所述原始图像中存在人像，对所述原始图像进行缩放和归一化处理，得到第一图像。
在一实施例中，抠图模块还用于：
若确定所述原始图像中不存在人像，确定所述原始图像中的显著性主体；
根据所述显著性主体从所述原始图像中抠取目标区域的图像。
在一实施例中，抠图模块具体用于：
确定在所述原始图像中选择的第一区域；
若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像。
在一实施例中，抠图模块具体用于：
在确定所述第一区域中存在人像的情况下，若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像。
在一实施例中，抠图模块还用于：
在确定所述第一区域中不存在人像的情况下，确定所述原始图像中的显著性主体；
根据所述显著性主体从所述原始图像中抠取目标区域的图像。
第三方面，提供一种电子设备，包括处理器，所述处理器用于执行存储在存储器中的计算机程序，以实现如上述第一方面所述的抠图方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的抠图方法。
第五方面，提供一种芯片，所述芯片包括处理器，所述处理器和存储器耦合，所述处理器执行所述存储器中存储的计算机程序或指令，以实现如上述第一方面所述的抠图方法。
第六方面，提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中所述的抠图方法。
可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1为本申请实施例提供的一种抠图场景图；
图2为本申请实施例提供的一种抠图方法的流程示意图；
图3为本申请实施例提供的通过抠图方法得到的掩模图的示意图；
图4为本申请实施例提供的根据掩模图抠取目标区域的图像的示意图；
图5为本申请实施例提供的根据圈选区域进行抠图的示意图；
图6为本申请实施例提供的确定掩模图的流程图；
图7为本申请实施例提供的抠图方法得到的掩模图与现有技术得到的掩模图的对比图；
图8为本申请实施例提供的抠图方法流程图；
图9为本申请实施例提供的电子设备的结构图；
图10为本申请实施例提供的电子设备的软件架构图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例中提到的电子设备可以是手机、平板电脑、手持计算机、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、媒体播放器、穿戴设备等可单手握持/操作的设备，本申请实施例对该电子设备的具体形态/类型不作特殊限制。上述电子设备包括但不限于搭载iOS®、Android®、Microsoft®、鸿蒙系统（Harmony OS）或者其他操作系统的设备。
在图像处理领域，对原始图像进行抠图处理是指将目标区域的图像从原始图像中分离出来，目标区域可以是人、动物、植物、建筑物等。例如，如图1中的（a）所示，电子设备在显示界面上显示原始图像，原始图像中包括人的图像（人像），根据用户的抠图指令，可以将人像所在的区域从原始图像中抠取出来，得到如图1中的（b）所示的抠图结果。
从原始图像中抠取目标区域的图像后，可以对目标区域的图像进行编辑或图像合成，例如，从原始图像中抠取目标区域的图像后，可以更换目标区域的背景、拖拽目标区域的图像至不同的位置、将目标区域的图像用于证件照的合成、用目标区域的图像生成锁屏壁纸、从原始图像中删除目标区域的图像、对目标区域的图像进行修复等。
现有技术中，为了保证抠图精度，抠图所采用的抠图算法的计算量大，当用户存在抠图需求时，一般是将待抠图的原始图片上传至云端，云端运行抠图算法完成抠图，在端侧离线的情况下无法完成抠图。
为此，本申请提供一种抠图方法，先对原始图像生成的第一图像进行下采样，得到较小的第一特征图，再根据第一特征图生成三分图和边缘细节图，可以降低生成三分图和边缘细节图的计算量。由于生成三分图和边缘细节图的过程为对图像进行深度推理的计算过程，是整个抠图方法的主干部分，因此，降低生成三分图和边缘细节图的计算量可以明显降低整个抠图方法的计算量。之后再根据三分图和边缘细节图的融合信息确定掩模图，可以融合更多的图像细节确定掩模图，提高了掩模图的准确度。最后根据掩模图从原始图像抠取目标区域，提高了抠图精度。因此，本申请可以在保证抠图精度的同时，降低计算量，进而降低抠图算法的功耗，能在端侧离线的情况下进行抠图。
下面对本申请提供的抠图方法进行示例性说明。其中，本申请实施例提供的抠图方法执行于电子设备。
请参阅附图2，本申请一实施例提供的抠图方法包括：
S201：获取第一图像，所述第一图像由原始图像生成。
其中，原始图像是待抠图的图像，可以是通过拍摄所得的图像，也可以是视频中的一帧图像。
在一实施例中，电子设备对原始图像进行缩放和归一化处理，得到第一图像，从而可以基于尺寸较小的第一图像进行抠图方法中后续的算法，降低抠图过程的计算量。其中，第一图像的尺寸可以为固定值，例如，第一图像的尺寸根据终端拍摄的原始图像的尺寸确定，从第一图像缩放至原始图像的尺寸时满足预设清晰度，以保证后续根据第一图像从原始图像中进行抠图时，保证抠取的目标区域的图像的清晰度。其中，图像的清晰度可以根据缩放后的图像的尺寸与原始图像的尺寸之间的大小关系确定。例如，原始图像的尺寸为3840*2160（4k）左右，第一图像的尺寸可以为832*832。若原始图像的尺寸大于设定尺寸（例如6k），可以根据原始图像的尺寸以及预设的尺寸对应关系确定第一图像的尺寸，也可以对原始图像进行压缩，得到4k左右的图像，再根据压缩后的图像生成尺寸为832*832的第一图像。
示例性地，电子设备对原始图像进行缩放后，再对缩放后的图像进行归一化处理，得到第一图像。也可以对缩放后的图像进行归一化处理和标准化处理，得到第一图像。例如，根据公式
对归一化处理的图像进行标准化处理，其中，第一图像为三通道图像，Mean =[0.485, 0.456, 0.406]，std=[0.229, 0.224, 0.225]，表示归一化处理后的图像中的像素的值，/>表示第一图像中的像素的值。
在其他实施例中，第一图像也可以是原始图像，也可以是仅对原始图像进行缩放后得到的图像，也可以是仅对原始图像进行归一化处理后得到的图像。
在一实施例中，电子设备根据用户的抠图指令对原始图像进行处理，得到第一图像。示例性地，用户打开图库中的图片，电子设备在显示界面显示图像，若检测到用户的抠图指令，对原始图像进行处理，得到第一图像。
S202：对所述第一图像进行特征提取和下采样，得到第一特征图。
其中，下采样是指通过减少图像中像素的数量，生成对应图像的缩略图的操作。
在一实施例中，可以采用mobilenetv3网络模型进行特征提取，mobilenetv3网络模型是轻量化网络模型，具有参数少、计算量少的特点，可以提高计算速度。
在一实施例中，mobilenetv3网络模型包括卷积处理模块、特征提取模块以及下采样模块。卷积处理模块包括一层卷积层，卷积处理模块对第一图像进行卷积处理后，电子设备对卷积处理后的图像进行第一下采样处理，得到第二图像。之后，将第二图像输入特征提取模块，特征提取模块对第二图像进行特征提取，下采样模块再对特征提取模块的输出信息进行第二下采样处理，得到第一特征图。其中，第二图像满足预设特征提取条件，即第二图像的尺寸满足能提取图像特征的最小尺寸，从而在保证特征提取模块可以提取到重要图像特征的同时，尽可能降低图像的尺寸，以降低后续抠图过程的计算量。第一特征图满足预设尺寸，从而在后续与上采样后的边缘细节图进行融合，提高得到的边缘细节图的准确度。
示例性地，第一图像为三通图像，第一图像的尺寸为3*832*832，在经过卷积处理模块的处理后，对卷积处理后的图像进行2倍下采样，得到尺寸为c*416*416的第二图像，c表示第二图像的通道数量。对第二图像进行特征提取后，对提取的特征图渐进下采样16倍，得到c*26*26的高层特征图，即第一特征图。渐进下采样是指依次进行多次下采样，例如，依次对提取的特征图进行4次2倍下采样，得到第一特征图。
S203：根据所述第一特征图生成三分图和边缘细节图，所述三分图用于表示所述第一特征图中前景区域、背景区域以及过渡区域的分布信息，所述边缘细节图用于表示所述过渡区域的像素信息。
在一实施例中，电子设置在得到第一特征图后，对第一特征图进行池化处理，得到第二特征图，从而在保留图像特征的同时，进一步降低生成的三分图和边缘细节图的图像的尺寸。在得到第二特征图后，将第二特征图输入第一图像分割模型（例如三分图分割模型），得到三分图。将第二特征图输入第二图像分割模型（例如matting模型），得到边缘细节图。其中，第一图像分割模型和第二图像分割模型为根据训练样本对预设网络模型进行训练所得到的模型，预设网络模型可以是基于神经网络算法的模型。用于训练第一图像分割模型的训练样本中预先将图像分割为前景区域、背景区域和过渡区域。用于训练第二图像分割模型的训练样本中预先标记图像中的过渡区域。
其中，前景区域一般为图像中待抠取的目标区域或显著性区域，背景区域一般为图像中目标区域之外的区域，过渡部分为前景区域和背景区域交界的区域。例如，若第一图像中存在人像，则前景部分为人像，背景部分为人像之外的区域。前景区域、背景区域以及过渡区域的分布信息为前景区域、背景区域以及过渡区域分别在第一特征图中的位置。示例性地，三分图将前景区域、背景区域以及过渡区域分别标记为三个不同的像素值。过渡区域的像素信息即第一特征图中过渡区域中各像素的值。
在其他实施例中，也可以采用第一图像分割模型对第一特征图进行图像分割，根据分割结果得到三分图，采用第二图像分割模型对第一特征图进行图像分割，根据分割结果得到边缘细节图。
S204：根据所述三分图和所述边缘细节图的融合信息确定掩模图，所述掩模图用于表示所述原始图像中目标区域所在的位置。
其中，掩模图（mask）是根据三分图中前景区域的位置、背景区域的位置以及边缘细节图中过渡区域的像素信息所确定的图像，掩模图包括前景区域、背景区域以及过渡区域，掩模图中的过渡区域相对于三分图中的过渡区域的像素信息更丰富。即三分图中的过渡区域的像素值相同，掩模图中的过渡区域的像素值从背景区域到前景区域依次增加或依次降低。例如，待抠取的目标区域是人像，通过图像分割得到的掩模图如图3所示，掩模图的前景部分为人像，背景部分为人像之外的其他区域，前景部分的像素为255，背景部分的像素为0，过渡区域的像素位于0到255之间。
需要说明的是，掩模图的前景部分可以为1个区域，也可以为多个区域。例如，若原始图像中包括两个人像，则对应的掩模图的前景部分为2个区域。
在一实施例中，在第一图像分割模型的输出端，对三分图进行第一上采样处理，得到第三图像。在第二图像分割模型的输出端，对边缘细节图进行第二上采样处理，得到第四图像。其中，第一上采样处理和第二上采样处理均为上采样，上采样是指通过增加图像中像素的数量，生成对应图像的放大图的操作。
第四图像的尺寸与第二图像的尺寸一致，则可以对第四图像和第二图像进行特征融合处理，得到第一融合图像，从而可以使第一融合图像融合边缘细节图的特征信息以及特征提取前的浅层特征信息，提高后续生成的掩模图的精确度。在得到第一融合图像后，对第一融合图像进行第三上采样处理，得到第五图像。第五图像的尺寸与第一图像的尺寸一致，第三图像的尺寸也与第一图像的尺寸一致，因此，可以对第三图像和第五图像进行特征融合处理，得到尺寸与第一图像的尺寸一致的第二融合图像。之后对第二融合图像进行缩放处理，即可得到最终输出的掩模图。
在一实施例中，第一上采样处理、第二上采样处理均可以是渐进上采样操作，即连续多次上采样的操作。第一上采样处理过程中和第二上采样处理过程中，每一次采样后，得到的图像的尺寸依次增大。第二下采样处理为连续多次的下采样操作，每一次采样后，得到的图像的尺寸依次减小。在第二上采样处理过程中，每一次上采样得到的图像与第一上采样处理过程以及第二下采样处理过程中相同的尺寸进行融合，之后再进行下一次上采样。因此，经过第二上采样处理后得到的第四图像融合了三分图的图像特征以及第一特征图的图像特征，可以保留更多的图像细节。
在一实施例中，得到第三图像的具体过程如下：在对第一特征图进行池化处理得到第二特征图后，将第二特征图输入第一图像分割模型，对第一图像分割模型输出的图像进行上采样。将上采样后得到的图像再次输入第一图像分割模型，对第一图像分割模型输出的图像进行上采样。将上采样后得到的图像再次输入第一图像分割模型，对第一图像分割模型输出的图像进行上采样，得到第三图像。
得到第四图像的具体过程如下：在对第一特征图进行池化处理得到第二特征图后，将第二特征图输入第二图像分割模型，对第二图像分割模型输出的图像进行上采样。将上采样后得到的图像再次输入第二图像分割模型，对第二图像分割模型输出的图像再次进行上采样，依次循环。共进行四次上采样，得到第四图像。
在一实施例中，在得到第二融合图像后，将第一图像作为引导图，根据连通域算法和导向滤波算法，对第二融合图像进行缩放，得到与原始图像的尺寸一致的掩模图。具体地，首先采用连通域算法确定第二融合图像中具有相同或相近像素值的像素集合，从而按照像素将第二融合图像分为多个区域。确定多个区域中面积小于预设值的区域并删除，仅保留面积大于预设值的区域，面积大于预设值的区域即为前景区域。面积较小的区域一般不是需要抠取的区域，通过删除面积较小的区域，可以降低后续抠图的计算量。
电子设备在确定面积大于预设值的区域后， 再将第一图像作为引导图，采用导向滤波算法对该区域进行滤波和缩放。
示例性地，导向滤波算法的流程为：
A = upsample(a，(h，w))；
B = upsample(b， (h，w))；
。
其中，表示第一图像的像素，/>表示第三融合图像的像素，/>表示求均值，/>表示第一图像的像素的均值，/>表示第三融合图像的像素的均值，/>表示第一图像的像素的方差，/>表示第一图像和第三融合图像的像素的协方差，/>表示正则化参数，a和b均表示根据均值和方差所得到图像，h表示第一图像的高度，w表示第一图像的宽度，A表示对图像a进行上采样得到的与第一图像的尺寸一致的图像，B表示对图像b进行上采样得到的与第一图像的尺寸一致的图像，H表示由原始图像得到的灰度图，/>表示输出的掩模图。
通过连通域算法和导向滤波算法确定掩模图，可以进一步提高掩模图的精度，进而可以实现高清准确的抠图效果。
在其他实施例中，经过上采样处理后得到的第三图像和第五图像与原始图像的尺寸一致，则得到的第三融合图像的尺寸与原始图像的尺寸一致，则可以将第三融合图像作为掩模图。
示例性地，第一特征图的尺寸为c*26*26，对第一特征图进行池化处理，得到的第二特征图的尺寸为c*13*13。将第二特征图输入第一图像分割模型，得到三分图。对三分图进行第一上采样处理，得到第三图像。其中，第一上采样处理过程包括四次上采样，前三次上采样为2倍上采样，第四次上采样为4倍上采样，最终输出的第三图像的尺寸为3*832*832。将第二特征图输入第二图像分割模型，得到边缘细节图。对边缘细节图进行第二上采样处理，得到第四图像。其中，第二上采样处理过程包括四次上采样，每一次上采样均为2倍上采样，最终得到的第四图像的尺寸为c*416*416。之后，对第四图像和第二图像进行特征融合处理，得到第一融合图像，对第一融合图像进行卷积处理以及第三上采样处理，得到的第五图像的尺寸为1*832*832。对第三图像和第五图像进行特征融合处理，得到的第二融合图像的尺寸为1*832*832，最后对第二融合图像进行缩放，得到与原始图像的尺寸一致的掩模图。
在其他实施例中，也可以将边缘细节图和三分图缩放至相同尺寸后进行特征融合，对融合后的图像进行缩放得到掩模图。
S205：根据所述掩模图从所述原始图像中抠取所述目标区域的图像。
具体地，掩模图包括前景区域、背景区域和过渡区域，掩模图的尺寸与原始图像的尺寸一致，原始图像中的目标区域即为掩模图中前景区域和过渡区域所在的位置，根据前景区域和过渡区域所在的位置，即可从原始图像中抠取对应位置的图像，得到目标区域的图像。
例如，根据如图4中的（a）的原始图像，得到的掩模图如图4中的（b）所示，根据掩模图从原始图像中抠取的目标区域的图像如图4中的（c）所示。
在一实施例中，若掩模图中包括1个以上前景区域，根据掩模图确定的目标区域为多个，电子设备可以从原始图像中抠取所有目标区域的图像。电子设备也可以在确定目标区域为多个时，输出选择区域的提示信息，从而获取用户选择的区域，从原始图像中抠取用户选择的区域的图像。
在一实施例中，电子设备根据用户预先在原始图像中选择的第一区域从原始图像中抠取目标区域的图像。具体地，第一区域可以是人像、动物、植物等前景所在的区域，电子设备在确定第一区域后，根据原始图像确定掩模图，再根据掩模图确定目标区域。若目标区域与第一区域的重合度大于预设值（例如80%），说明目标区域与用户需要抠取的区域一致，则根据掩模图从原始图像中抠取目标区域的图像。若目标区域与第一区域的重合度小于预设值，则说明目标区域与用户需要抠取的区域不一致，输出无法识别圈选区域的提示信息。
在一实施例中，电子设备根据掩模图确定的目标区域的数量为多个，则确定用户选择的第一区域与各目标区域的重合度，若第一区域与其中一个目标区域的重合度大于预设值，则将该目标区域作为待抠取的目标区域，从原始图像中抠取该目标区域的图像。
上述实施例中，通过获取用户圈选的第一区域，可以根据用户指定的区域进行抠图，使得抠图结果满足用户的实际需求。
在一实施例中，若抠图区域与第一区域的重合度小于预设值，也可以提示用户重新选择抠图区域，或者对根据掩模图确定的目标区域进行标记，输出是否将抠图区域更换为标记的区域的提示信息。之后再根据用户重新选择的区域或者更换后的区域进行抠图。
示例性地，如图5中的（a）所示，电子设备根据用户的指令在显示界面显示图库中的原始图像，若检测到用户点击编辑操作，则将显示界面更改为可编辑状态，并显示编辑选项。若检测到用户点击编辑选项中的 “抠图”选项， 则提示用户圈选区域，并在显示界面显示圈选方式，圈选方式包括选择框和画笔。若检测到用户选择选择框的操作，则确定选择框的位置，将选择框所包围的区域作为第一区域。若检测到用户选择画笔的操作，则确定画笔所圈选的区域，将画笔所圈选的区域作为第一区域。例如，电子设备根据用户操作，将画笔圈选的区域51作为第一区域。在确定第一区域后，电子设备对原始图像进行缩放和归一化处理，得到第一图像，再采用上述方法确定掩模图，若根据掩模图确定的目标区域与第一区域的重合度大于预设值，则确定目标区域的图像为待抠取的图像。例如，如图5中的（b）所示，电子设备在原始图像中圈选出目标区域。
电子设备在原始图像中圈选目标区域的同时，可以在显示界面显示复制、分享、保存和搜索选项。用户可以选择不同的选项对目标区域的图像进行对应的处理。例如，若检测到用户点击保存选项，则如图5中的（c）所示，电子设备保存目标区域的图像，之后可以对保存的图像进行编辑或合成。电子设备在检测到用户保存目标区域的图像的指令时，可以在显示界面上显示是否覆盖原图的提示信息，若检测到用户选择不覆盖原图的指令，则在保存目标区域的图像时，删除对原始图像的操作，保存原始图像，从而使抠图过程不影响原始图像。
上述实施例中，通过对原始图像生成的第一图像进行下采样，得到较小的第一特征图，再根据第一特征图生成三分图和边缘细节图，可以降低生成三分图和边缘细节图的计算量。之后再根据三分图和边缘细节图的融合信息确定掩模图，可以融合更多的图像细节得到更精确的掩模图，最后根据掩模图从原始图像抠取目标区域的图像，提高了抠图精度。因此，可以在保证抠图精度的同时，降低计算量，能在端侧实时运行抠图算法，进而能在端侧离线的情况下进行抠图。
在一实施例中，确定掩模图的流程如图6所示。
对原始图像依次进行缩放、归一化和标准化处理，得到第一图像，将第一图像输入改进后的mobilenetv3网络模型，改进后的mobilenetv3网络模型增加了2倍下采样模块。第一图像输入改进后的mobilenetv3网络模型，卷积处理模块对第一图像进行卷积处理，2倍下采样模块对卷积处理后的图像进行第一下采样处理，得到第二图像。其中，卷积处理模块可以包括卷积层（conv层）、归一化层（bn层）和神经网络激活函数层（act层）。在得到第二图像后，特征提取模块再对第二图像进行特征提取。其中，特征提取模块是残差网络。之后，下采样模块再对特征提取模块输出的信息进行第二下采样处理，得到第一特征图。其中，第二下采样处理为渐进下采样处理，第二下采样处理用于进行16倍的下采样。在得到第一特征图后，对第一特征图进行池化处理，得到第二特征图。
将第二特征图输入第一计算模块，得到第三图像。其中，第一计算模块包括4个子模块，每个子模块包括第一图像分割模型以及第一上采样模块。第一图像分割模型包括3个CBR融合层，每个CBR融合层包括卷积层（conv层）、归一化层（bn层）和激活函数层（relu层）。第二特征图依次输入第一计算模块的4个子模块，即将第二特征图输入第一图像分割模型后进行一次上采样，将上采样后的图像再次输入第一图像分割模型，再进行一次上采样，共执行4次，得到第三图像。将第二特征图输入第二计算模块，得到第四图像。其中，第二计算模块包括4个子模块，每个子模块包括第二图像分割模型以及第二上采样模块。第二图像分割模型也包括3个CBR融合层。第二特征图依次输入第二计算模块的4个子模块，即将第二特征图输入第二图像分割模型后进行一次上采样，将上采样后的图像再次输入第二图像分割模型，再进行一次上采样，共执行4次，得到第四图像。其中，每个第二上采样模块输出的图像的尺寸不同，每个第一上采样模块输出的图像的尺寸也不同，第二下采样处理过程中也会产生不同尺寸的图像。每个第二上采样模块输出图像后，将输出的图像与第一上采样模块输出的图像中相同尺寸的图像，以及第二下采样处理过程中相同尺寸的图像，共三个图像进行融合。融合后的图像再输入第二图像分割模型以及第二上采样模块，直到得到最后一个第二上采样模块输出的图像所对应的融合图像，该融合图像即为第四图像。
在得到第四图像后，对第四图像和第二图像进行特征融合处理，得到第一融合图像。其中，可以采用卷积层和神经网络激活函数层（act层）进行特征融合处理。在得到第一融合图像后，对第一融合图像进行卷积处理以及第三上采样处理，得到第五图像。对第三图像和第五图像进行特征融合处理，输出第二融合图像。在得到第二融合图像后，将第一图像作为引导图，根据连通域算法和导向滤波算法，对第二融合图像进行降噪和缩放，得到与原始图像的尺寸一致的掩模图。
图7中的（a）为原始图像的灰度图以及人像中部分区域的放大图，图7中的（b）为采用本申请的抠图方法得到的原始图像的掩模图以及部分区域的放大图，图7中的（c）为现有技术得到的原始图像的掩模图以及部分区域的放大图。可以看出，采用本申请的抠图方法所得到的掩模图包含更多的图像细节，且更加清晰。
在一实施例中，上述抠图方法用于实现人像抠图，从而可以保证抠图精度，对于目标区域是动物、植物、建筑等原始图像的场景，一般不需要较高的精度，则可以用显著性算法检测原始图像中的显著性主体，根据显著性主体从原始图像中抠取目标区域的图像，从而可以减少计算量，降低抠图过程的时间。
具体地，电子设备在检测到抠图指令的情况下，先对原始图像进行图像识别，确定原始图像中是否存在人像，若确定原始图像中存在人像，则确定采用上述抠图方法进行抠图。即在确定原始图像中存在人像时，对原始图像进行缩放和归一化处理，得到第一图像，再根据第一图像确定掩模图，根据掩模图从原始图像中抠取目标区域的图像。
若根据原始图像的识别结果确定原始图像中不存在人像，则采用显著性检测算法确定原始图像中的显著性主体。显著性检测算法用于检测图像中可以快速引起人注意的显著性主体，显著性主体一般为图像中的前景，例如显著性主体可以是图像中的人、动物、植物、建筑等。显著性主体的数量可以为一个或多个。在确定显著性主体后，根据显著性主体从原始图像中抠取目标区域的图像。例如，电子设备根据检测出的显著性主体，从原始图像中抠取显著性主体所在的区域。
在一实施例中，电子设备在检测到抠图指令的情况下，先确定用户选中的第一区域中是否存在人像，若第一区域中存在人像，说明用户的抠图指令用于抠取人像，则确定采用上述抠图方法进行抠图。即在确定原始图像中存在人像时，对原始图像进行缩放和归一化处理，得到第一图像，再根据第一图像确定掩模图，根据掩模图从原始图像中抠取目标区域的图像。
若第一区域中不存在人像，说明用户的抠图指令不是用于抠取人像，则采用显著性检测算法确定原始图像中的显著性主体，根据显著性主体从原始图像中抠取目标区域的图像。
在一实施例中，本申请实施例提供的抠图方法如图8所示。
电子设备根据用户打开图片的操作，在显示界面上显示原始图像，之后根据用户选择区域的指令确定用户在原始图像中圈选的第一区域。之后，电子设备将原始图像输入分类模型，得到分类模型输出的原始图像中的目标的类别。其中，类别可以是人、动物、植物、建筑等。分类模型是通过训练样本对预设网络模型进行训练得到的模型，预设网络模型可以是采用多标签分类算法的模型。分类模型用于对原始图像进行目标检测，输出检测到的目标的类别。电子设备根据分类模型输出的类别确定原始图像中是否存在人像。分类模型可以只检测到一个目标，确定目标的类别，也可以检测到多个目标，输出每个目标的类别。若分类模型检测到多个目标，多个目标中任意一个目标为人像，则确定原始图像中存在人像。
若原始图像中不存在人像，则确定采用显著性检测算法进行抠图。若确定原始图像中存在人像，再进一步判断第一区域是否存在人像。其中，可以确定第一区域所在的方形区域，对该区域进行特征提取，根据提取的信息确定第一区域是否存在人像。若第一区域不存在人像，则确定采用显著性检测算法进行抠图。若第一区域存在人像，则确定采用人像抠图算法。即根据原始图像确定第一图像，再采用上述抠图方法确定掩模图。在确定掩模图后，确定掩模图对应的目标区域与第一区域的重合度是否大于预设值。若目标区域与第一区域的重合度大于预设值，则确定抠图区域与第一区域的交集可信，根据掩模图从原始图像中抠取目标区域的图像。若目标区域与第一区域的重合度小于预设值，则确定抠图区域与第一区域的交集不可信，输出无法识别圈选区域的提示信息。
在确定采用显著性检测算法进行抠图后，先根据分类模型输出的类别，确定原始图像中的目标的类别是否是预设类别（例如人、动物、植物、建筑）。若是预设类别，则根据显著性检测算法确定原始图像中是否存在显著性主体，若原始图像中存在显著性主体，则确定显著性主体与第一区域的重合度是否大于预设值。若显著性主体与第一区域的重合度大于预设值，则确定显著性主体与第一区域的交集可信，根据显著性主体从原始图像中抠取目标区域的图像。若显著性主体与第一区域的重合度小于预设值，则确定显著性主体与第一区域的交集不可信，输出无法识别圈选区域的提示信息。若确定原始图像中不存在显著性主体，则输出未检测出掩模图的提示信息。
若根据多标签分类算法的检测结果，确定原始图像中的目标的类别不是预设类别，则确定无法识别原始图像中的信息，根据显著性检测算法确定原始图像中是否存在显著性主体。若确定原始图像中存在显著性主体，则确定显著性主体与第一区域的重合度是否大于预设值，若显著性主体与第一区域的重合度大于预设值，则确定显著性主体与第一区域的交集可信，根据显著性主体从原始图像中抠取目标区域的图像。由于显著性主体不是预设类别，会影响图像识别效果，进而影响抠图精度，电子设备在抠图目标区域的图像时，可以输出抠图区域类别未知，抠图效果差的提示信息，用户可以根据实际需求选择是否保存抠图结果。若显著性主体与第一区域的重合度小于预设值，则确定显著性主体与第一区域的交集不可信，输出无法识别圈选区域的提示信息。若确定原始图像中不存在显著性主体，则输出未检测出掩模图的提示信息。
在其他实施例中，在确定原始图像中的目标的类别不是预设类别时，也可以不再继续检测显著性主体，输出抠图区域类别未知，无法抠图的提示信息。
上述实施例中，在需要抠取原始图像中的人像时，根据原始图像确定掩模图，根据掩模图抠取目标区域的图像，可以提高抠图精度。通过精准抠取人像，可以对抠取的人像进行编辑或合成，也可以实现对图像或视频中的人像进行擦除或修复。在需要抠取原始图像中的其他类别的目标时，根据显著性检测算法抠取目标区域的图像，从而可以根据不同场景采用不同的抠图算法，高效准确的完成对应场景的抠图。
在一实施例中，电子设备可以先确定用户对抠图精度的设置信息，若抠图精度大于设定值，则将原始图像上传至服务器，获取服务器返回的抠图结果。若抠图精度小于设定值，则采用上述抠图方法在电子设备上完成抠图，从而可以根据用户对抠图精度或抠图时间的需求，为用户提供不同的抠图方式，满足不同场景下的抠图需求。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图9是本申请实施例提供的电子设备的结构示意图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图10是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图10所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图10所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种抠图方法，执行于电子设备，其特征在于，包括：
获取第一图像，所述第一图像由原始图像生成；
对所述第一图像进行卷积处理和第一下采样处理，得到第二图像，所述第二图像满足预设特征提取条件；对所述第二图像进行特征提取和第二下采样处理，得到第一特征图，所述第一特征图满足预设尺寸;
根据所述第一特征图生成三分图和边缘细节图，所述三分图用于表示所述第一特征图中前景区域、背景区域以及过渡区域的分布信息，所述边缘细节图用于表示所述过渡区域的像素信息；所述过渡区域的像素信息表示所述第一特征图中所述过渡区域中各像素的值；
对所述三分图进行第一上采样处理，得到第三图像，所述第三图像的尺寸与所述第一图像的尺寸一致；对所述边缘细节图进行第二上采样处理，得到第四图像，所述第四图像的尺寸与所述第二图像的尺寸一致；对所述第四图像和所述第二图像进行特征融合处理，得到第一融合图像；对所述第一融合图像进行第三上采样处理，得到第五图像，所述第五图像的尺寸与所述第一图像的尺寸一致；对所述第三图像和所述第五图像进行特征融合处理，得到第二融合图像；根据所述第二融合图像确定掩模图，所述掩模图用于表示所述原始图像中目标区域所在的位置；所述掩模图中的过渡区域的像素值从所述背景区域到所述前景区域依次增加或依次降低；
根据所述掩模图从所述原始图像中抠取所述目标区域的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二融合图像确定掩模图，包括：
将所述第一图像作为引导图，根据连通域算法和导向滤波算法，对所述第二融合图像进行缩放，得到与所述原始图像的尺寸一致的掩模图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图生成三分图和边缘细节图，包括：
对所述第一特征图进行池化处理，得到第二特征图；
根据所述第二特征图生成三分图和边缘细节图。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取第一图像，包括：
获取原始图像；
对所述原始图像进行缩放和归一化处理，得到第一图像，所述第一图像在缩放至所述原始图像的尺寸时满足预设清晰度。
5.根据权利要求4所述的方法，其特征在于，对所述原始图像进行缩放和归一化处理，得到第一图像，包括：
若确定所述原始图像中存在人像，对所述原始图像进行缩放和归一化处理，得到第一图像。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若确定所述原始图像中不存在人像，确定所述原始图像中的显著性主体；
根据所述显著性主体从所述原始图像中抠取目标区域的图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述掩模图从所述原始图像中抠取所述目标区域的图像，包括：
确定在所述原始图像中选择的第一区域；
若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像。
8.根据权利要求7所述的方法，其特征在于，所述若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像，包括：
在确定所述第一区域中存在人像的情况下，若所述目标区域与所述第一区域的重合度大于预设值，根据所述掩模图从所述原始图像中抠取所述目标区域的图像。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
在确定所述第一区域中不存在人像的情况下，确定所述原始图像中的显著性主体；
根据所述显著性主体从所述原始图像中抠取目标区域的图像。
10.一种电子设备，其特征在于，包括处理器，所述处理器用于执行存储在存储器中的计算机程序，以实现如权利要求1至9任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
CN202310702612.4A 2023-06-14 2023-06-14 抠图方法、电子设备及计算机可读存储介质 Active CN116433696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310702612.4A CN116433696B (zh) 2023-06-14 2023-06-14 抠图方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310702612.4A CN116433696B (zh) 2023-06-14 2023-06-14 抠图方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116433696A CN116433696A (zh) 2023-07-14
CN116433696B true CN116433696B (zh) 2023-10-20

Family

ID=87080150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310702612.4A Active CN116433696B (zh) 2023-06-14 2023-06-14 抠图方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116433696B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843708B (zh) * 2023-08-30 2023-12-12 荣耀终端有限公司 图像处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114072850A (zh) * 2019-07-15 2022-02-18 谷歌有限责任公司 使用深度来减去视频背景
CN114494530A (zh) * 2022-01-25 2022-05-13 世纪开元智印互联科技集团股份有限公司 一种证件照抠图方法及系统
WO2022127454A1 (zh) * 2020-12-18 2022-06-23 Oppo广东移动通信有限公司 抠图模型的训练、抠图方法、装置、设备及存储介质
CN114764854A (zh) * 2020-12-30 2022-07-19 武汉Tcl集团工业研究院有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177446B (zh) * 2013-03-13 2016-03-30 北京航空航天大学 基于邻域和非邻域平滑先验的图像前景精准提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114072850A (zh) * 2019-07-15 2022-02-18 谷歌有限责任公司 使用深度来减去视频背景
WO2022127454A1 (zh) * 2020-12-18 2022-06-23 Oppo广东移动通信有限公司 抠图模型的训练、抠图方法、装置、设备及存储介质
CN114764854A (zh) * 2020-12-30 2022-07-19 武汉Tcl集团工业研究院有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114494530A (zh) * 2022-01-25 2022-05-13 世纪开元智印互联科技集团股份有限公司 一种证件照抠图方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合多线索信息的数字图像抠图方法研究;张超 等;计算机工程与应用(第17期);第174-179、190页 *

Also Published As

Publication number Publication date
CN116433696A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US11113523B2 (en) Method for recognizing a specific object inside an image and electronic device thereof
JP7058760B2 (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
US11783556B2 (en) Augmented reality content generators including 3D data in a messaging system
KR102624635B1 (ko) 메시징 시스템에서의 3d 데이터 생성
US20140354540A1 (en) Systems and methods for gesture recognition
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN116433696B (zh) 抠图方法、电子设备及计算机可读存储介质
CN113570052B (zh) 图像处理方法、装置、电子设备及存储介质
KR102303206B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
CN114205512B (zh) 拍摄方法和装置
CN116826892A (zh) 充电方法、充电装置、电子设备及可读存储介质
CN115661912B (zh) 图像处理方法、模型训练方法、电子设备及可读存储介质
CN116546274B (zh) 视频切分方法、选取方法、合成方法及相关装置
CN113516665A (zh) 图像分割模型的训练方法、图像分割方法、装置、设备
CN117036206B (zh) 一种确定图像锯齿化程度的方法及相关电子设备
CN116700554B (zh) 信息的显示方法、电子设备及可读存储介质
CN116343247B (zh) 表格图像矫正方法、装置和设备
CN115623317B (zh) 一种对焦的方法、设备及存储介质
US20240107986A1 (en) Fish identification device and fish identification method
WO2022127609A1 (zh) 图像处理方法及电子设备
CN116700554A (zh) 信息的显示方法、电子设备及可读存储介质
CN117152022A (zh) 图像处理方法及电子设备
CN118116003A (zh) 图像处理方法、电子设备及存储介质
CN116071523A (zh) 显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant