CN111553923A - 一种图像处理方法、电子设备及计算机可读存储介质 - Google Patents

一种图像处理方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111553923A
CN111553923A CN202010245920.5A CN202010245920A CN111553923A CN 111553923 A CN111553923 A CN 111553923A CN 202010245920 A CN202010245920 A CN 202010245920A CN 111553923 A CN111553923 A CN 111553923A
Authority
CN
China
Prior art keywords
image
neural network
segmentation
mask
alpha
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010245920.5A
Other languages
English (en)
Other versions
CN111553923B (zh
Inventor
赵维杰
李杳奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weisha Network Technology Co ltd
Original Assignee
Shanghai Weisha Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weisha Network Technology Co ltd filed Critical Shanghai Weisha Network Technology Co ltd
Publication of CN111553923A publication Critical patent/CN111553923A/zh
Application granted granted Critical
Publication of CN111553923B publication Critical patent/CN111553923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明实施例涉及一种图像处理方法、电子设备和计算机存储介质。该方法包括：获取第一图像；对第一图像进行分割，以得到标识所述第一图像的目标对象区域和其他区域的分割二元图；以及基于第一图像和分割二元图，确定第一图像的阿尔法遮片。进一步的实施例中方法还包括获取第二图像；以及利用第一图像的阿尔法遮片，将第二图像作为第一图像的背景与第一图像融合以得到融合图像。通过本发明的实施例，能够自动实现高质量地提取图像中的期望部分，或者对不同图像或视频的背景进行替换以融合得到效果自然的新图片或视频。

Description

一种图像处理方法、电子设备及计算机可读存储介质
技术领域
本发明总体上涉及图像处理领域，具体涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
在图像处理领域，常常涉及对部分图像的提取，例如对图片或视频的背景进行替换，需要将两个或两个以上的图片(视频中的至少一帧图片)通过处理而叠加或组合在一起，得到新的图片或视频。随着对此类图像处理的各种应用需求快速增长，用户也希望这些应用能够自动实现更为自然准确的融合处理效果。
目前，一些图像处理应用大多非常耗时，同时，这种图像处理需要人工标记，而且对于图像的提取或背景替换的效果也比较生硬，影响用户的使用体验。
发明内容
针对上述问题，本发明的实施例提供一种图像处理方法、电子设备及计算机可读存储介质。
在本发明的第一方面，提供一种图像处理方法。该方法包括：获取第一图像；对第一图像进行分割，以得到标识所述第一图像的目标对象区域和其他区域的分割二元图；以及基于第一图像和分割二元图，确定第一图像的阿尔法遮片。
在某些实施例中，所述对所述第一图像进行分割为对所述第一图像进行语义分割、实例分割、显著性物体分割或者全景分割。
在某些实施例中，确定第一图像的阿尔法遮片包括：将第一图像和分割二元图输入遮片神经网络，以得到第一图像的阿尔法遮片，遮片神经网络是经训练而能够输出图像的阿尔法遮片的卷积神经网络；或者，
将所述第一图像和所述分割二元图输入非神经网络抠图模型，以得到所述第一图像的阿尔法遮片。
在某些实施例中，确定第一图像的阿尔法遮片包括：将第一图像和分割二元图输入遮片神经网络，以得到第一图像的三元图，遮片神经网络是经训练而能够输出图像的三元图和阿尔法遮片的卷积神经网络；以及将第一图像的三元图、第一图像和分割二元图输入遮片神经网络，以得到第一图像的阿尔法遮片。
在某些实施例中，对第一图像进行分割以得到分割二元图包括：将第一图像输入语义分割神经网络，以得到具有像素分类标签的分割二元图，像素分类标签标识出像素是否与所述第一图像的目标对象相关联。
在某些实施例中，方法还包括：获取第二图像；以及利用第一图像的阿尔法遮片，将第二图像作为第一图像的背景与第一图像融合以得到融合图像。
在某些实施例中，利用阿尔法遮片将第二图像作为第一图像的背景与第一图像融合以得到融合图像包括：根据下式逐像素计算融合图像的像素值：
Ii＝aiFi+(1-ai)Bi
其中Ii为融合图像I的第i像素值，ai为阿尔法遮片的第i像素值，Fi为第一图像的第i像素值，Bi为第二图像的第i像素值。
在某些实施例中，第一图像为源图像经预处理获得，预处理包括：将所述第一图像缩放至第一预定尺寸。
在某些实施例中，方法还包括：将第一图像和分割二元图缩放至第二预定尺寸；基于经缩放的第一图像和分割二元图，确定阿尔法遮片。
在某些实施例中，方法还包括：校正融合图像中与第一图像关联的第一部分的色调，以使得第一部分的色调与融合图像中与第二图像关联的第二部分的色调一致。
在本发明的第二方面，提供一种图像处理装置，包括：获取单元，用于获取第一图像；分割单元，用于对第一图像进行语义分割，以得到包括多个分割子区域的分割二元图；以及确定单元，用于基于第一图像和分割二元图，确定第一图像的阿尔法遮片。
在某些实施例中，确定单元确定第一图像的阿尔法遮片包括：将第一图像和分割二元图输入遮片神经网络，以得到第一图像的阿尔法遮片，遮片神经网络是经训练而能够输出图像的阿尔法遮片的卷积神经网络。
在某些实施例中，确定单元确定第一图像的阿尔法遮片包括：将第一图像和分割二元图输入遮片神经网络，以得到第一图像的三元图，遮片神经网络是经训练而能够输出图像的三元图和阿尔法遮片的卷积神经网络；以及将第一图像的三元图、第一图像和分割二元图输入遮片神经网络，以得到第一图像的阿尔法遮片。
在某些实施例中，分割单元对第一图像进行语义分割以得到分割二元图包括：将第一图像输入语义分割神经网络，以得到具有像素分类标签的分割二元图，像素分类标签标识出像素是否与所述第一图像的目标对象相关联。
在某些实施例中，获取单元还用于获取第二图像；装置还包括融合单元，用于利用第一图像的阿尔法遮片，将第二图像作为第一图像的背景与第一图像融合以得到融合图像。
在某些实施例中，融合单元利用阿尔法遮片将第二图像作为第一图像的背景与第一图像融合以得到融合图像包括：根据下式逐像素计算融合图像的像素值：
Ii＝aiFi+(1-ai)Bi
其中Ii为融合图像I的第i像素值，ai为阿尔法遮片的第i像素值，Fi为第一图像的第i像素值，Bi为第二图像的第i像素值。
在某些实施例中，装置还包括尺寸调整单元，用于将第一图像压缩至第一预定尺寸；对经压缩的第一图像进行语义分割以得到分割二元图。
在某些实施例中，尺寸调整单元还用于将经压缩的第一图像和分割二元图放大至第二预定尺寸；基于经放大的第一图像和经放大的分割图，确定阿尔法遮片。
在某些实施例中，装置还包括校正单元，用于校正融合图像中与第一图像关联的第一部分的色调，以使得第一部分的色调与融合图像中与第二图像关联的第二部分的色调一致。
在本发明的第三方面，提供一种电子设备，包括：处理器；以及存储有指令的存储器，指令在被处理器执行时促使设备执行动作，动作包括根据本发明第一方面所描述的操作。
在本发明的第四方面，提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明第一方面所描述的方法。
通过本发明的实施例，在不需要人工交互的情况下，实现高质量地提取图像中的期望部分，或者对不同图像或视频的背景进行替换以融合得到效果自然的新图片或视频。
附图说明
图1示出根据本发明的一个实施例的图像处理过程的示意性概要图；
图2示出根据本发明的一个实施例的图像处理方法的流程图；
图3示出根据本发明的一个实施例的图像处理装置的方框图；以及
图4示出适合实现本发明的实施例的电子设备的方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。
如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。文中所使用的“第一”、“第二”等表述，仅是为了区分技术特征，并无实质含义。
背景替换类图像处理应用在实现时通常采用分离前景和背景处理，将源图的背景由新背景图替换得到。这类图像应用均需要对源图进行处理，提取出期望的部分区域(也即抠图处理)。发明人注意到，当前进行背景替换类应用所使用的遮片(matting)处理，需要对源图进行人工标注或交互，得到具有大信息量的三元图(trimap)，进一步处理以得到前景和背景分割图像。这一处理过程是耗时的，而且需要人工标注的三元图，无法自动完成。同时，计算机处理时前背景的分离不够准确，更换背景的边缘不自然。
有鉴于此，本发明实施例提出一种对图片或视频进行处理的方法，在不需要人工交互的情况下，实现高质量地提取图像中的期望部分，或者对不同图像或视频的背景进行替换以融合得到效果自然的新图片或视频。为了实现对此种图像应用的自动处理，并考虑图像处理设备的运算能力和效率，本发明实施例利用多个深度神经网络模型，结合语义分割技术和遮片处理技术，以进行精细的图像提取或者背景替换。
在本文中，进行图像部分提取或者背景替换的图片可以来自相同或不同的视频，对视频的处理可以逐帧进行。为了便于描述，下文以对图片的图像处理为例进行说明。
需要说明的是，本发明实施例可以在任何适宜的处理装置处实现，诸如移动终端、计算机、服务器等。用户可以通过移动终端或计算机等终端设备对其希望处理的图片或视频进行处理，或者用户可以将其设备经由网络连接至服务器，通过与服务器交互，由服务器进行图像处理。
终端设备上可以安装有各种通讯客户端应用，例如图片查看软件、图片处理软件、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。终端设备可以是具有显示屏并且支持图片查看的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机等等。
服务器可以是提供各种服务的服务器，例如对终端设备上显示的图片提供支持的后台图片处理服务器。后台图片处理服务器可以对接收到的待处理图片等进行分析处理，并将处理结果(例如生成的目标图片)反馈给终端设备。
下面结合附图对本发明实施例进行详细描述。为了便于理解本发明实施例，图1示出了根据本发明的一个实施例的图像处理过程100的示意性概要图，过程100用于根据本发明实施例实现图像背景替换的应用场景。
在本实施例中，利用两个深度神经网络模型进行处理，将源图像101和新背景图像103进行融合得到融合图像105，使得新背景图像103替换源图像101的背景。源图像101包括希望提取出来以作为融合图像105的前景的目标对象，在110将其输入到第一深度神经网络处理，该处理可以是语义分割过程，得到分割二元图(mask)107。分割二元图107在一个实施例中可以包括标识出第一图像101的目标对象区域和其他区域的二元标记，其相应地表征了第一图像101的目标对象和非目标对象分割子区域。在另外的实施方式中，利用所述第一深度神经网络处理源图像101还可以实施为利用实例分割神经网络对源图像101进行实例分割处理，或者，还可以实施为利用显著性物体分割神经网络对源图像101进行显著性物体分割处理，或者，还可以实施为利用全景分割神经网络对源图像101进行全景分割处理。
利用第二深度神经网络，在120处将新背景图像103和得到的分割二元图107作为输入进行处理，该处理可以是遮片(或者称之为matting)处理过程，得到阿尔法遮片(alphamatte)109。由此，接下来利用阿尔法遮片，对源图像101和新背景图像103在130处进行阿尔法融合处理，得到融合图像105。在另外的实施方式中，还可以利用非神经网络抠图模型对新背景图像103和分割二元图107作为输入进行处理。所述非神经网络抠图模型例如为阈值分割、区域生长法分割(region growing)等方法。
以上简要概述了过程100，下面对本发明实施例的图像处理过程进行详细描述。
图2示出了根据本发明实施例的图像处理方法200的流程图，方法200可以在任何适宜的处理装置处实现，诸如移动终端、计算机、服务器等。
在210，获取待处理的第一图像。待处理的图像可以包括源图像(称为第一图像)，在背景替换应用中还可以包括新背景图像(称为第二图像)。这里的图像可以是独立的图片或者来自视频的图像帧，其通常是包含RGB三通道的图像，也可以是灰度图像。
在对图像进行提取处理前可以进行图像预处理。预处理过程可以包括对图像的缩放，通过下采样或其他方式将其压缩至预设尺寸，或者通过上采样和其他方式将其放大至预设尺寸，使得图像像素大小更符合诸如移动终端等处理装置的能力以及图像处理的实时性需求或者精度需求。
在220，对第一图像进行语义分割以得到包括多个分割子区域的分割二元图。
根据本发明实施例，先对图像进行语义分割，以便得到图像的语义类别区域信息。发明人注意到，近年来在图像识别领域语义分割得到广泛关注，其相较于传统的基于神经网络的图像识别能够对图像进行像素级别的预测，得到带有类别信息的预测概率。尽管当前的语义分割输出的图像结果较为粗糙、不太准确，可能丢失部分信息也可能多余部分信息，但有利的是，可以对其进行进一步处理以达到理想效果。
在一个实施例中，将第一图像输入第一深度神经网络模型，第一深度神经网络模型可以是进行语义分割的全卷积神经网络，其可以是利用现有的诸如PASCAL VOC数据集所训练的语义分割神经网络，诸如全卷积神经网络、Unet、DeconvNet、SegNet等神经网络。
第一图像经过语义分割得到针对图像的每个像素的预测结果，使得每个像素具有分类标签，这些像素分类标签标识出每个像素所属的分割对象。目标对象可以是这些分割对象中的部分或全部，以此方式，像素分类标签能够标识出像素是否与第一图像的目标对象相关联。换言之，经过语义分割的图像，可以得到分割二元图，其采用二元的形式标识出第一图像的目标对象区域和其他区域(即非目标对象区域)。
在230，基于第一图像和分割二元图，确定第一图像的阿尔法遮片。
在一个实施例中，考虑到阿尔法遮片的精确度，可以对第一图像和分割二元图或者对在110经过压缩预处理的第一图像和相应的分割二元图进行尺寸放大处理。通过上采样或其他内差值方法将其放大至预设尺寸，使得图像像素大小更符合图像处理的精度需求。
根据本发明的实施例，采用遮片matting技术来提取部分图像，利用第二深度神经网络模型来得到阿尔法遮片(Alpha matte)。第二深度神经网络模型可以是进行遮片处理的全卷积神经网络，其可以是利用现有的诸如PASCAL VOC数据集所训练的遮片神经网络。
取决于所采用的遮片神经网络，当其是经训练而能够输出图像的阿尔法遮片的卷积神经网络时，将第一图像和第一图像的分割二元图输入该遮片神经网络，得到第一图像的阿尔法遮片。阿尔法遮片的每个像素的像素值在[0,1]之间，其中0表示背景，1表示前景。
在另一实施例中，当所采用的遮片神经网络是经训练而能够输出图像的三元图以及图像的阿尔法遮片的卷积神经网络时，将第一图像和第一图像的分割二元图输入该遮片神经网络，得到第一图像的三元图。三元图包括黑白灰三个特征图，分别表征前景、背景以及无法区分是前景还是背景未知区域。然后，将第一图像的三元图、第一图像和第一图像的分割二元图输入该遮片神经网络，以得到第一图像的阿尔法遮片。
当得到第一图像的阿尔法遮片，即可进行图像分割或图像提取，以便得到期望的图像部分。以本发明实施例方式，改进了图像分割或提取的边缘效果，并且对于用户而言是自动完成的，不需要额外交互。
在本发明的进一步实施例中，可以对源图像(即第一图像)进行背景替换，将新背景图像(第二图像)作为其新背景。方法200可以进一步在240，利用阿尔法遮片，将第二图像作为第一图像的背景与第一图像融合以得到融合图像。
在一个实施例中，存储阿尔法遮片像素信息，根据下式逐像素计算融合图像的像素值：
Ii＝aiFi+(1-ai)Bi
其中Ii为融合图像I的第i像素值，ai为阿尔法遮片的第i像素值，Fi为第一图像的第i像素值，Bi为第二图像的第i像素值。
根据Ii值可以得到更换背景后的融合图像，也即输出更换背景后的新图像。可以理解，图像融合的过程是针对RGB三个通道的处理。
在另一实施例中，图像融合过程可以由如下两个图像叠加得到。根据在220得到的第一图像的分割二元图，标识出第一图像的目标对象区域和其他区域。然后，由阿尔法遮片与第一图像的目标对象区域相应的像素值相乘得到融合图像前景部分，由经(1-a)处理的阿尔法遮片和第二图像与第一图像的其他区域相应的区域相应的像素值相乘得到融合图像背景部分，将前景部分与背景部分进行叠加得到融合图像。
在本发明的进一步实施例中，对融合图像的颜色进行自动校正。校正融合图像中与第一图像关联的第一部分的色调，以使得第一部分的色调与融合图像中与第二图像关联的第二部分的色调一致，也即使得更换背景后的前景色调与新背景融合地更为自然。
图3示出了根据本发明实施例的图像处理装置300。装置300包括：获取单元310，用于获取第一图像；分割单元320，用于对第一图像进行语义分割，以得到标识所述第一图像的目标对象区域和其他区域的分割二元图；以及确定单元330，用于基于第一图像和分割二元图，确定第一图像的阿尔法遮片。
在某些实施例中，确定单元330确定第一图像的阿尔法遮片包括：将第一图像和分割二元图输入遮片神经网络，以得到第一图像的阿尔法遮片，遮片神经网络是经训练而能够输出图像的阿尔法遮片的卷积神经网络。
在某些实施例中，确定单元330确定第一图像的阿尔法遮片包括：将第一图像和分割二元图输入遮片神经网络，以得到第一图像的三元图，遮片神经网络是经训练而能够输出图像的三元图和阿尔法遮片的卷积神经网络；以及将第一图像的三元图、第一图像和分割二元图输入遮片神经网络，以得到第一图像的阿尔法遮片。
在某些实施例中，分割单元320对第一图像进行语义分割以得到包括多个分割子区域的分割二元图包括：将第一图像输入语义分割神经网络，以得到具有像素分类标签的分割二元图，像素分类标签标识出像素是否与所述第一图像的目标对象相关联。
在某些实施例中，获取单元310还用于获取第二图像；装置还包括融合单元340，用于利用第一图像的阿尔法遮片，将第二图像作为第一图像的背景与第一图像融合以得到融合图像。
在某些实施例中，融合单元340利用阿尔法遮片将第二图像作为第一图像的背景与第一图像融合以得到融合图像包括：根据下式逐像素计算融合图像的像素值：
Ii＝aiFi+(1-ai)Bi
其中Ii为融合图像I的第i像素值，ai为阿尔法遮片的第i像素值，Fi为第一图像的第i像素值，Bi为第二图像的第i像素值。
在某些实施例中，装置还包括尺寸调整单元，用于将第一图像缩放至第一预定尺寸；对经缩放的第一图像进行语义分割以得到分割二元图。尺寸调整单元还用于将经缩放的第一图像和分割二元图缩放至第二预定尺寸；基于经缩放的第一图像和分割二元图，确定阿尔法遮片。
在某些实施例中，装置还包括校正单元，用于校正融合图像中与第一图像关联的第一部分的色调，以使得第一部分的色调与融合图像中与第二图像关联的第二部分的色调一致。
本发明实施例提出的方案能够自动且快速地对图像进行部分提取或者背景更换，优化分割边缘和纹理细节，尤其在分割半透明物体时效果更好。此外，对于更换背景应用，图像的融合边缘更为自然，更好地满足用户的需求。
图4示出了适合实现本发明的实施例的电子设备400的方框图。如图所示，设备400包括处理器410。处理器410控制设备400的操作和功能。例如，在某些实施例中，处理器410可以借助于与其耦合的存储器420中所存储的指令430来执行各种操作。存储器420可以是适用于本地技术环境的任何合适的类型，并且可以利用任何合适的数据存储技术来实现，包括但不限于基于半导体的存储器件、磁存储器件和系统、光存储器件和系统。尽管图4中仅仅示出了一个存储器单元，但是在设备400中可以有多个物理不同的存储器单元。
处理器410可以是适用于本地技术环境的任何合适的类型，并且可以包括但不限于通用计算机、专用计算机、微控制器、数字信号控制器(DSP)以及基于控制器的多核控制器架构中的一个或多个多个。设备400也可以包括多个处理器410。
处理器410在执行指令430时促使显示设备执行动作，以实现上文参考图1和图2描述的过程100和方法200。
本发明的实施例还提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明所描述的方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取第一图像；
对所述第一图像进行分割，以得到标识所述第一图像的目标对象区域和其他区域的分割二元图；以及
基于所述第一图像和所述分割二元图，确定所述第一图像的阿尔法遮片。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行分割为对所述第一图像进行语义分割、实例分割、显著性物体分割或者全景分割。
3.根据权利要求1所述的方法，其特征在于，其中确定所述第一图像的阿尔法遮片包括：
将所述第一图像和所述分割二元图输入遮片神经网络，以得到所述第一图像的阿尔法遮片，所述遮片神经网络是经训练而能够输出图像的阿尔法遮片的卷积神经网络；或者，
将所述第一图像和所述分割二元图输入非神经网络抠图模型，以得到所述第一图像的阿尔法遮片。
4.根据权利要求1所述的方法，其特征在于，其中确定所述第一图像的阿尔法遮片包括：
将所述第一图像和所述分割二元图输入遮片神经网络，以得到所述第一图像的三元图，所述遮片神经网络是经训练而能够输出图像的三元图和阿尔法遮片的卷积神经网络；以及
将所述第一图像的三元图、所述第一图像和所述分割二元图输入所述遮片神经网络，以得到所述第一图像的阿尔法遮片。
5.根据权利要求1所述的方法，其特征在于，其中对所述第一图像进行分割以得到分割二元图包括：
将所述第一图像输入语义分割神经网络，以得到具有像素分类标签的分割二元图，所述像素分类标签标识出像素是否与所述第一图像的目标对象相关联。
6.根据权利要求1-5中任一项所述的方法，其特征在于，还包括：
获取第二图像；以及
利用所述第一图像的所述阿尔法遮片，将所述第二图像作为所述第一图像的背景与所述第一图像融合以得到融合图像。
7.根据权利要求6所述的方法，其特征在于，其中利用所述阿尔法遮片将所述第二图像作为所述第一图像的背景与所述第一图像融合以得到融合图像包括：
根据下式逐像素计算融合图像的像素值：
Ii＝aiFi+(1-ai)Bi
其中Ii为融合图像I的第i像素值，ai为所述阿尔法遮片的第i像素值，Fi为所述第一图像的第i像素值，Bi为所述第二图像的第i像素值。
8.根据权利要求1所述的方法，其特征在于，所述第一图像为源图像经预处理获得，所述预处理包括：将所述第一图像缩放至第一预定尺寸。
9.根据权利要求1所述的方法，其特征在于，还包括：
校正所述融合图像中与所述第一图像关联的第一部分的色调，以使得所述第一部分的色调与所述融合图像中与所述第二图像关联的第二部分的色调一致。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储有指令的存储器，所述指令在被所述处理器执行时促使所述设备执行根据权利要求1-9中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，其存储有机器可读的指令，所述指令在由所述机器执行时使得所述机器执行根据权利要求1-9中任一项所述的方法。
CN202010245920.5A 2019-04-01 2020-03-31 一种图像处理方法、电子设备及计算机可读存储介质 Active CN111553923B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019102582616 2019-04-01
CN201910258261 2019-04-01

Publications (2)

Publication Number Publication Date
CN111553923A true CN111553923A (zh) 2020-08-18
CN111553923B CN111553923B (zh) 2024-02-23

Family

ID=72000205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245920.5A Active CN111553923B (zh) 2019-04-01 2020-03-31 一种图像处理方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111553923B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200756A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种子弹特效短视频智能生成方法
CN112601029A (zh) * 2020-11-25 2021-04-02 上海卫莎网络科技有限公司 一种已知背景先验信息的视频分割方法、终端和存储介质
CN113570534A (zh) * 2021-07-30 2021-10-29 山东大学 一种用于深度学习的物品识别数据集扩充方法及系统
CN114140859A (zh) * 2021-12-08 2022-03-04 山东大学 一种非接触式血氧饱和度测量方法及系统
WO2023217046A1 (zh) * 2022-05-07 2023-11-16 虹软科技股份有限公司 图像处理方法及装置、非易失性可读存储介质、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289796A (zh) * 2010-07-21 2011-12-21 微软公司 交互式图像遮片
WO2017215622A1 (zh) * 2016-06-15 2017-12-21 北京市商汤科技开发有限公司 物体分割方法及装置、计算设备
CN108961303A (zh) * 2018-07-23 2018-12-07 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289796A (zh) * 2010-07-21 2011-12-21 微软公司 交互式图像遮片
WO2017215622A1 (zh) * 2016-06-15 2017-12-21 北京市商汤科技开发有限公司 物体分割方法及装置、计算设备
CN108961303A (zh) * 2018-07-23 2018-12-07 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王欣;王琦琦;杨国威;郭肖勇;: "注意力机制和特征融合的自动抠图算法" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200756A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种子弹特效短视频智能生成方法
CN112601029A (zh) * 2020-11-25 2021-04-02 上海卫莎网络科技有限公司 一种已知背景先验信息的视频分割方法、终端和存储介质
CN113570534A (zh) * 2021-07-30 2021-10-29 山东大学 一种用于深度学习的物品识别数据集扩充方法及系统
CN114140859A (zh) * 2021-12-08 2022-03-04 山东大学 一种非接触式血氧饱和度测量方法及系统
WO2023217046A1 (zh) * 2022-05-07 2023-11-16 虹软科技股份有限公司 图像处理方法及装置、非易失性可读存储介质、电子设备

Also Published As

Publication number Publication date
CN111553923B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN111553923B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
US11681418B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
JP7110502B2 (ja) 深度を利用した映像背景減算法
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN110503703B (zh) 用于生成图像的方法和装置
CN109377445B (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
US7574069B2 (en) Retargeting images for small displays
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
Hashemzadeh et al. Content-aware image resizing: An improved and shadow-preserving seam carving method
CN111860207B (zh) 基于多尺度的遥感影像地物分类方法、系统、装置及介质
CN111553362A (zh) 一种视频处理方法、电子设备和计算机可读存储介质
US11790950B2 (en) Film-making using style transfer
Choi et al. Sparse seam-carving for structure preserving image retargeting
CN110163866A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN112380566A (zh) 用于对文档图像进行脱敏的方法、装置、电子设备及介质
CN111612004A (zh) 一种基于语义内容的图像裁剪方法及装置
Asheghi et al. A comprehensive review on content-aware image retargeting: From classical to state-of-the-art methods
CN110516598B (zh) 用于生成图像的方法和装置
CN114298985B (zh) 缺陷检测方法、装置、设备及存储介质
CN112218005A (zh) 一种基于人工智能的视频剪辑方法
CN115376137B (zh) 一种光学字符识别处理、文本识别模型训练方法及装置
CN111274447A (zh) 基于视频的目标表情生成方法、装置、介质、电子设备
CN111179287A (zh) 人像实例分割方法、装置、设备及存储介质
WO2022111549A1 (zh) 票据识别方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant