CN110097570B - 一种图像处理方法和装置 - Google Patents

一种图像处理方法和装置 Download PDF

Info

Publication number
CN110097570B
CN110097570B CN201910364702.0A CN201910364702A CN110097570B CN 110097570 B CN110097570 B CN 110097570B CN 201910364702 A CN201910364702 A CN 201910364702A CN 110097570 B CN110097570 B CN 110097570B
Authority
CN
China
Prior art keywords
pixel
image
area
edge
identification value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910364702.0A
Other languages
English (en)
Other versions
CN110097570A (zh
Inventor
易成
罗程
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210151644.5A priority Critical patent/CN114463367A/zh
Priority to CN201910364702.0A priority patent/CN110097570B/zh
Publication of CN110097570A publication Critical patent/CN110097570A/zh
Application granted granted Critical
Publication of CN110097570B publication Critical patent/CN110097570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法，根据对待处理图像进行语义分割得到的分类标签，确定目标对象在待处理图像中对应的主体区域、边缘待定区域和背景区域，将主体区域的标识值设置为第一标识值，背景区域的标识值设置为第二标识值。根据主体区域和背景区域中与边缘待定区域相邻的像素点，计算边缘待定区域的像素点与相邻像素点间的像素特征相似性，根据相似性计算结果以及第一、第二标识值，确定边缘待定区域中像素点的标识值。该标识值与第一标识值和第二标识值的接近程度可以确定出该像素点是否属于目标对象，从而可以准确的确定出目标对象边缘部分，提高待处理图像中目标对象所在区域的确定精度，从而适用于高精度要求的图像背景移除场景。

Description

一种图像处理方法和装置
技术领域
本申请涉及图像处理领域，特别是涉及一种图像处理方法和装置。
背景技术
图像背景移除主要是指移除图像中除了所需目标对象以外的背景，例如人像图像中，若目标对象为人像，那么针对该图像的图像背景移除是指将该图像中除了人像以外的像素点作为背景进行移除。
基于神经网络的语义分割技术可以从图像中识别出每个像素的分类标签，分类标签可以标识例如人、猫、自行车等。故目前常用的图像背景移除多采用图像语义分割技术，通过该技术识别图像中每个像素点的分类标签，将分类标签与目标对象所属分类不符的像素点(即背景)移除。
然而，传统的语义分割技术的问题在于，对目标对象边缘像素点的分类标签识别精度不高，即确定出的目标对象边缘像素点的语义标签常常与该对象的实际分类不符，例如人像边缘像素点的分类标签并未标识人像这一分类，导致进行背景移除时会将实际应属于人像的像素点识别为背景也一并移除。
由此可见，通过传统的语义分割技术进行图像背景移除的传统方式对图像中目标对象的边缘识别精度低，难以适用于高精度要求的图像背景移除场景。
发明内容
为了解决上述技术问题，本申请提供了一种图像处理方法，可以准确的确定出目标对象边缘部分，提高待处理图像中目标对象所在区域的确定精度，从而可以适用于高精度要求的图像背景移除场景。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
根据待处理图像通过语义分割得到的像素点的分类标签，确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；所述主体区域的标识值设置为第一标识值，所述背景区域的标识值设置为第二标识值；
根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中像素点与相邻像素点间的像素特征相似性；
根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，确定所述边缘待定区域中像素点的标识值；
根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
第二方面，本申请实施例提供一种图像处理装置，所述装置包括第一确定单元、计算单元、第二确定单元和第三确定单元：
所述第一确定单元，用于根据待处理图像通过语义分割得到的像素点的分类标签，确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；所述主体区域的标识值设置为第一标识值，所述背景区域的标识值设置为第二标识值；
所述计算单元，用于根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中与相邻像素点间的像素特征相似性；
所述第二确定单元，用于根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，确定所述边缘待定区域中像素点的标识值；
所述第三确定单元，用于根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
第三方面，本申请实施例提供一种用于图像处理的设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的图像处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的图像处理方法。
由上述技术方案可以看出，针对包括目标对象的待处理图像，根据对待处理图像进行语义分割运算所得到的分类标签，可以确定出目标对象在待处理图像中对应的主体区域、边缘待定区域和背景区域，并将主体区域的标识值设置为第一标识值，背景区域的标识值设置为第二标识值。根据主体区域和背景区域中与边缘待定区域相邻的像素点，计算边缘待定区域中像素点与相邻像素点间的像素特征相似性，根据边缘待定区域中像素点与相邻像素点的相似性计算结果以及第一、第二标识值，确定边缘待定区域中像素点的标识值。由于属于目标对象的像素点间的像素特征相对于背景区域的像素点更为接近，故边缘待定区域中任一个像素点被确定出的相似性计算结果可以体现出该像素点属于目标对象或背景的可能性。而由于背景区域和主体区域中像素点分别被设置了不同的标识值，故针对边缘待定区域中像素点所确定出的标识值，该标识值与第一标识值和第二标识值的接近程度可以确定出该像素点是否属于目标对象，从而可以准确的确定出目标对象边缘部分，提高待处理图像中目标对象所在区域的确定精度，从而可以适用于高精度要求的图像背景移除场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为传统的语义分割技术识别边缘的效果图；
图2为本申请实施例提供的一种图像处理方法的应用场景示例图；
图3为本申请实施例提供的一种图像处理方法的流程图；
图4为本申请实施例提供的FCN结构示例图；
图5为本申请实施例提供的中间处理图像的示例图；
图6a为本申请实施例提供的根据确定出的边缘轮廓生成证件照的过程示例图；
图6b为本申请实施例提供的一种确定待处理图像对应的中间处理图像的方法流程图；
图7为本申请实施例提供的第一图像示例图；
图8为本申请实施例提供的第二图像示例图；
图9为本申请实施例提供的第二像素区域示例图；
图10为本申请实施例提供的膨胀处理后的第二像素区域示例图；
图11为本申请实施例提供的利用社交软件生成证件照的流程图；
图12为本申请实施例提供的利用社交软件生成证件照的界面示例图；
图13a为本申请实施例提供的一种图像处理装置结构图；
图13b为本申请实施例提供的一种用于图像处理设备的结构图；
图14为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
传统的语义分割技术，对目标对象边缘像素点的分类标签识别精度不高，即确定出的目标对象边缘像素点的语义标签常常与该对象的实际分类不符，导致进行背景移除时会将实际应属于目标对象的像素点识别为背景也一并移除。
例如图1所示，图1示出了使用传统的语义分割技术识别边缘的效果图，其中，第一列为以包括不同目标对象(目标对象例如为飞机、鸟、椅子等)的原始图像，第二列为使用全卷积网络-8s(Fully Convolutional Networks-8s，简称FCN-8s)识别边缘的效果图，第三列为使用空洞卷积(dilated convolution，简称Dilated Conv)网络识别边缘的效果图，第四列为目标对象边缘的实际情况。从图中可以看出，利用传统的语义分割技术识别得到的边缘与边缘的实际情况精度差别非常明显，比如，目标对象为椅子的情况下，椅子的扶手由于确定出的目标对象边缘像素点的语义标签与该对象的实际分类不符，从而将扶手的像素点识别为背景，这样，在背景移除时会将椅子的扶手作为背景一并移除。
需要说明的是，图像背景移除可以应用到很多场景中，例如，用户通过移除背景生成个人证件照的场景。在该场景中，证件照有不同颜色的背景，用户有时可能具有临时更换背景的需求，或者，用户可能希望基于个人生活照生成证件照。为了方便用户生成证件照，避免用户需要到照相馆中拍摄证件照，可以通过图像背景移除的方式移除原背景，并叠加上新的背景，从而快速的得到满足用户需求的证件照。
然而，通过图像背景移除的方式生成证件照对目标对象边缘像素点的识别精度要求非常高，为了解决上述技术问题，以满足高精度要求，本申请实施例提供一种图像处理方法，该方法在语义分割技术的基础上，进一步确定出边缘待定区域，以便通过计算边缘待定区域中像素点与相邻像素点间的像素特征相似性，对目标对象的边缘轮廓进行进一步精确的识别，从而精确地确定目标对象在待处理图像中的边缘轮廓。
该方法可以应用到图像处理设备中，该图像处理设备可以是终端设备，终端设备例如可以是智能终端、计算机、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑等具有图像处理功能的设备。
该图像处理设备还可以是服务器，服务器是向终端设备提供图像处理服务的设备，终端设备可以将待处理图像上传给服务器，服务器利用本申请实施例提供的方法得到目标对象在待处理图像中的边缘轮廓，并将处理结果返回给终端设备。其中，服务器可以是独立的服务器，也可以是集群中的服务器。
为了便于理解本申请的技术方案，下面结合实际应用场景，以终端设备为例对本申请实施例提供的图像中处理方法进行介绍。
参见图2，图2示出了一种图像处理方法的应用场景示例图，该场景中包括终端设备201，终端设备201可以获取待处理图像，待处理图像包括目标对象，目标对象为待处理图像中用户所需要的对象。例如，待处理图像中包括人像、花、树木等，若用户需要的是人像，那么，人像为目标对象，花、树木等都可以作为背景。
终端设备201通过对待处理图像进行语义分割，可以得到像素点的分类标签，根据分类标签可以确定出目标对象在待处理图像中对应的主体区域、边缘待定区域和背景区域。主体区域和背景区域是准确确定了的区域，主体区域为目标对象中除了边缘部分外的主体在待处理图像中所在的区域，背景区域为相对于目标对象需要移除的背景在待处理图像中所在的区域。主体区域的标识值设置为第一标识值，背景区域的标识值设置为第二标识值，第一标识值和第二标识值用于确定边缘待定区域中像素点的标识值。
边缘待定区域为目标对象对应的边缘部分在待处理图像中所在的区域，该边缘区域除了包括实际属于目标对象边缘部分的像素点，可能还包括实际属于背景的像素点。因此，终端设备201需要进一步对边缘待定区域中的像素点进行识别，确定出哪些像素点实际属于目标对象，哪些像素点实际属于背景，从而精确地确定出目标对象的边缘轮廓。
具体地，终端设备201根据待处理图像中主体区域和背景区域中与边缘待定区域相邻的像素点，计算边缘待定区域中像素点与相邻像素点间的像素特征相似性，从而根据边缘待定区域中像素点与相邻像素点的相似性计算结果以及第一、第二标识值，确定边缘待定区域中像素点的标识值。其中，相邻的像素点为主体区域和背景区域中与边缘待定区域较近的像素点，在本实施例中，相邻像素点并不是严格意义上与边缘待定区域中某个像素点相邻的像素点，待定区域中某个像素点的相邻像素点可以是待定区域中该像素点周围的像素点。
由于属于目标对象的像素点间的像素特征相对于背景区域的像素点更为接近，故边缘待定区域中任一个像素点被确定出的相似性计算结果可以体现出该像素点属于目标对象或背景的可能性。若某像素点与主体区域中相邻像素点间的像素特征的相似性程度越高，则该像素点实际属于目标对象的可能性越高；若某像素点与背景区域中相邻像素点间的像素特征的相似性程度越高，则该像素点实际属于背景的可能性越高。
已知的主体区域和背景区域是准确的，且分别具有对应的标识值(第一标识值和第二标识值)。而边缘待定区域中像素点的标识值是基于该像素点与主体区域和背景区域中相邻像素点的相似性计算结果、主体区域和背景区域分别对应的标识值生成的。因此，而针对边缘待定区域中像素点所确定出的标识值与第一标识值和第二标识值的接近程度可以反映边缘待定区域中的像素点实际属于目标对象还是背景。若像素点的标识值为第一标识值或接近第一标识值，则该像素点实际属于目标对象，若像素点的标识值为第二标识值或接近第二标识值，则该像素点实际属于背景。
接下来，将结合附图对本申请实施例提供的图像处理方法进行介绍。
参见图3，图3示出了一种图像处理方法的流程图，该方法包括：
S301、根据待处理图像通过语义分割得到的像素点的分类标签，确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域。
终端设备获取到待处理图像，从而对待处理图像进行语义分割得到像素点的分类标签。分类标签用于体现像素点属于某类别对象的概率，例如，分类标签体现像素点属于人、自行车、椅子等的概率。
其中，待处理图像的获取方式可以包括多种，例如，待处理图像可以是用户通过终端设备进行拍照得到的，也可以由用户从本地(相册、存储等)选择一张图片而得到的。
本实施例中，可以采用FCN对待处理图像进行语义分割，FCN参见图4所示。将卷积神经网络(Convolutional Neural Networks，简称CNN)的最后三层(对应上图中的4096，4096，21)三层替换为1*1的卷积核对应等同向量长度的多通道卷积层(即全卷积)，从而得到FCN。其中，21即为最后生成的分类标签的维度。当然，进行语义分割所使用的网络还可以是其他语义分割网络，本实施例对此不做限定。
通过语义分割可以得到与待处理图像分辨率相同的概率矩阵，矩阵中每个点的概率值表示待处理图像中对应位置像素点的分类标签，当像素点的某个分类标签所对应的概率达到阈值，则可以认为该像素点对应该分类标签所对应的类别。
在一种可能的实现方式中，S201的实现方式可以是根据待处理图像通过语义分割得到的像素点的分类标签，确定待处理图像对应的中间处理图像。
其中，中间处理图像用于标识目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域，主体区域的标识值设置为第一标识值，背景区域的标识值设置为第二标识值。第一标识值与第二标识值为不同的标识值，从而通过不同的标识值对主体区域和背景区域进行区分。
其中，标识值可以通过不同的形式进行表示，例如，标识值可以采用透明度值(alpha即α)进行表示，为了对主体区域和背景区域进行明显的区分，第一标识值可以用最大的透明度值表示，如第一标识值为1，第二标识值可以用最小的透明度值表示，如第二标识值为0。
在这种情况下，确定出的中间处理图像可以参见图5所示，中间处理图像可以用trimap表示。在图5中，白色区域表示主体区域501，灰色区域表示边缘待定区域502，黑色区域表示背景区域503。
当然，标识值也可以用没有特殊含义的数字表示，例如第一标识值可以为50，第二标识值可以为0等等。
S302、根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中像素点与相邻像素点间的像素特征相似性。
针对边缘待定区域中的每个像素点，在待处理图像中主体区域和背景区域中查找其相邻的像素点，计算所述边缘待定区域中像素点与相邻像素点间的像素特征相似性。其中，相邻的像素点点例如可以是边缘待定区域的像素点周围较近的多个像素点。像素特征标识了像素点在待处理图像中所体现内容的相关特征。
需要说明的是，为了进行像素特征相似性的计算，可以针对边缘待定区域中的每个像素点构建像素特征，像素特征可以包括不同的信息，在一种可能的实现方式桩，像素特征可以包括颜色信息和位置信息。其中，颜色信息可以是像素点在待处理图像中红(Red，简称R)、绿(Green，简称G)、蓝(Blue，简称B)的颜色值；位置信息可以是像素点在待处理图像中x、y的坐标值。
颜色信息除了可以是R、G、B的颜色值外，还可以是色调、饱和度、明度(Hue、Saturation、Value，简称HSV)等颜色空间。
以像素特征包括R、G、B的颜色值和x、y的坐标值为例，构建像素特征X(r,g,b,x,y)，并定义核函数k(i,j)为k(i,j)＝1-||X(i)-X(j)||/C，相似性计算结果可以用相似性矩阵A表示，其中，C为X的最大特征距离，||表示使用特征欧式距离L2范数。则边缘待定区域中像素点的相似性计算结果可以表示为：Aij＝k(i，j)，其中，i表示边缘待定区域中像素点的像素位置，j表示i对应的像素位置的相邻像素点的像素位置。
S303、根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，确定所述边缘待定区域中像素点的标识值。
可以理解的是，边缘待定区域中像素点的标识值与第一标识值和第二标识值的接近程度可以确定出该像素点是否属于目标对象，从而可以准确的确定出目标对象边缘部分。而在确定所述边缘待定区域中像素点的标识值的过程中，相邻像素点的标识值接近程度与所述相邻像素点的像素特征的相似性程度相关。例如，相邻像素点的像素特征的相似性程度越高，边缘待定区域中像素点的标识值与其相邻像素点所在区域的标识值越接近。
例如，第一标识值为1，第二标识值为0，若边缘待定区域中某个像素点与主体区域中相邻像素点的像素特征的相似性程度越高，则边缘待定区域中该像素点的标识值越接近第一标识值1，例如标识值确定为0.9。若边缘待定区域中某个像素点与背景区域中相邻像素点的像素特征的相似性程度越高，则边缘待定区域中该像素点的标识值越接近第二标识值0，例如标识值确定为0.1。
在一些情况下，若相邻像素点的像素特征的相似性程度足够高，例如满足目标条件，则可以直接确定边缘待定区域中像素点的标识值与其相邻的像素点的标识值相同。目标条件可以是相似性程度达到第一预设阈值。
例如，第一标识值为1，第二标识值为0，若边缘待定区域中某个像素点与主体区域中相邻像素点的像素特征的相似性程度满足目标条件(目标条件为相似性程度达到90％)，那么，边缘待定区域中像素点的标识值与主体区域中相邻像素点的标识值相同，确定边缘待定区域中该像素点的标识值为第一标识值1。若边缘待定区域中某个像素点与背景区域中相邻像素点的像素特征的相似性程度满足目标条件(目标条件为相似性程度达到90％)，那么，边缘待定区域中像素点的标识值与背景区域中相邻像素点的标识值相同，确定边缘待定区域中该像素点的标识值为第二标识值0。
S304、根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
已知的主体区域和背景区域是准确的，且分别具有对应的标识值。而边缘待定区域中像素点的标识值是基于该像素点与主体区域和背景区域中相邻像素点的相似性计算结果、主体区域和背景区域分别对应的标识值生成的。因此，针对边缘待定区域中像素点所确定出的标识值与第一标识值和第二标识值的接近程度可以反映边缘待定区域中的像素点实际属于目标对象还是背景。从而可以准确的确定出目标对象边缘部分，进而确定待处理图像中目标对象的边缘轮廓。
若边缘待定区域中某个像素点的标识值与第一标识值的接近程度高于该像素点的标识值与第二标识值的接近程度，则确定边缘待定区域中该像素点实际属于目标对象，反之，则确定边缘待定区域中该像素点实际属于背景。
例如，第一标识值为1，第二标识值为0，边缘待定区域中包括A、B、C三个像素点，A像素点的标识值为0.9、B像素点的标识值为0.7、C像素点的标识值为0.1。其中，A像素点的标识值0.9与第一标识值1的接近程度高于其与第二标识值0的接近程度，因此，可以确定A像素点实际属于目标对象；B像素点的标识值0.7与第一标识值1的接近程度高于其与第二标识值0的接近程度，因此，可以确定B像素点实际属于目标对象；C像素点的标识值0.1与第一标识值1的接近程度低于其与第二标识值0的接近程度，因此，可以确定C像素点实际属于背景。
在确定出目标对象在所述待处理图像中的边缘轮廓后，可以根据边缘轮廓移除原背景，并将确定出边缘轮廓的图像与用户实际所需的新背景进行叠加，从而生成满足用户需求的图像，例如，生成更换了新背景的证件照。根据确定出的边缘轮廓生成证件照的过程可以参见图6a所示，其中，601为待处理图像，602为确定出边缘轮廓的图像，即Alpha Mask，603为用户实际所需的新背景，604为最终生成的证件照。
由上述技术方案可以看出，针对包括目标对象的待处理图像，根据对待处理图像进行语义分割运算所得到的分类标签，可以确定出目标对象在待处理图像中对应的主体区域、边缘待定区域和背景区域，并将主体区域的标识值设置为第一标识值，背景区域的标识值设置为第二标识值。根据主体区域和背景区域中与边缘待定区域相邻的像素点，计算边缘待定区域中像素点与相邻像素点间的像素特征相似性，根据边缘待定区域中像素点与相邻像素点的相似性计算结果以及第一、第二标识值，确定边缘待定区域中像素点的标识值。由于属于目标对象的像素点间的像素特征相对于背景区域的像素点更为接近，故边缘待定区域中任一个像素点被确定出的相似性计算结果可以体现出该像素点属于目标对象或背景的可能性。而由于背景区域和主体区域中像素点分别被设置了不同的标识值，故针对边缘待定区域中像素点所确定出的标识值，该标识值与第一标识值和第二标识值的接近程度可以确定出该像素点是否属于目标对象，从而可以准确的确定出目标对象边缘部分，提高待处理图像中目标对象所在区域的确定精度，从而可以适用于高精度要求的图像背景移除场景。
接下来，将对S301中中间处理图像的生成方式进行详细介绍。
参见图6b，图6b示出了一种确定待处理图像对应的中间处理图像的方法流程图，所述方法包括：
S601、根据所述分类标签，确定所述待处理图像中对应目标对象的待定区域。
分类标签可以体现像素点属于某类别对象的概率，即根据分类标签可以识别出待处理图像中像素点属于人、自行车、椅子等。若目标对象是人，则人所在的区域为目标对象的待定区域。
S602、通过对所述待处理图像进行二值化处理，得到第一图像。
待处理图像中可以包括待定区域和待定区域之外的其他区域，为了对这两个区域进行区分，可以对待处理图像进行二值化处理，为第一图像中待定区域的像素点和待定区域之外的像素点设置不同的像素值。例如，通过二值化处理可以是将图像上的像素点的像素值设置为0或255，从而得到第一图像，此时，第一图像为黑白图像。
在一些情况下，可以将待定区域的像素点的像素值设置为255，将待定区域之外的像素点的像素值设置为0，得到的第一图像参见图7所示，其中，白色区域为待定区域701，黑色区域为待定区域之外的区域702。
S603、通过对所述第一图像中所述待定区域的边缘部分进行像素值模糊处理，得到第二图像。
其中，所述模糊处理可以是高斯模糊处理，也可以是其他模糊处理，本实施例对此不做限定。通过对像素值的模糊处理，可以使得待定区域边缘附近像素点的像素值呈现渐变的变化，例如待定区域中像素点的像素值为第一值，待定区域之外(例如非待定区域)的像素点的像素值为第二值，那么被模糊处理的区域(待定区域边缘附近)的像素点的像素值处于第一值和第二值之间，且该区域中越靠近待定区域的像素点的像素值与第一值越接近，越靠近非待定区域的像素点的像素值与第二值越接近。
模糊处理后得到的第二图像可以参见图8所示，此时，第二图像中像素点的像素值不再仅是两个值，还可能包括其他像素值。若待定区域的像素点的像素值为255，图8中白色区域表示的是像素值为255的像素点所在区域801，区域801为目标对象主体所在位置，相当于图7中待定区域701；待定区域之外的像素点的像素值为0，图8中黑色区域表示的是像素值为0的像素点所在区域803，区域803为背景所在位置，相当于图7中非待定区域702；模糊处理后的第二图像中像素点的像素值可能还包括在0-255之间的其他像素值，使得待定区域边缘附近像素点的像素值呈现渐变的变化，图8中待定区域边缘附近的渐变部分表示的是像素值为0-255之间的像素点所在区域(被模糊处理的区域)802。
在得到第二图像之后，可以根据第二图像中像素点的像素值分布，在进行了所述像素值模糊处理的第一像素区域中确定第二像素区域。第一像素区域为被模糊处理的区域802，例如0-255之间的像素值对应的像素点所在区域；第二像素区域为像素值满足一定条件的像素点所在区域，例如，将像素值大于10且小于245的像素点所在区域确定为第二像素区域。得到的第二像素区域参见图9所示，其中，白色区域为第二像素区域902，黑色区域包括区域901和区域903。区域901为目标对象主体所在位置，相当于图8中区域801。区域903为背景所在位置，相当于图8中区域803。
S604、根据所述第二图像中像素点的像素值分布确定所述中间处理图像。
需要说明的是，若在进行了像素值模糊处理的第一像素区域中确定出第二像素区域，S604的一种可能的实现方式为根据第二图像中像素点的像素值分布以及所述第二像素区域，确定所述中间处理图像。
需要说明的是，从像素值模糊处理的第一像素区域中确定出的第二像素区域可能比较窄，从而导致一些实际属于目标对象的边缘像素点没有位于第二像素区域内且处于目标对象外侧的会被直接认定为属于背景。在这种情况下，为了使得第二像素区域可以尽量涵盖所有边缘像素点，在根据所述第二图像中像素点的像素值分布以及所述第二像素区域，确定所述中间处理图像之前，可以对第二像素区域进行膨胀处理。
膨胀处理可以是指在原始像素区域(例如第二像素区域)的基础上向四周外扩，使得处理后的像素区域比原始像素区域更大。膨胀处理后的第二像素区域参见图10所示，其中，白色区域为膨胀处理后的第二像素区域1002，黑色区域包括区域1001和区域1003。区域1001为目标对象主体所在位置，相当于图9中区域901。区域1003为背景所在位置，相当于图9中区域903。膨胀处理后的第二像素区域1002比图9中的第二像素区域902面积更大。
在对第二像素区域进行膨胀处理的情况下，为了避免第二像素区域过宽，而导致计算量过大，根据第二图像中像素点的像素值分布以及所述第二像素区域，确定所述中间处理图像，例如可以是将第二图像的像素值分布与膨胀处理后的第二像素区域进行混合，从而根据混合后的像素值分布确定中间处理图像。
接下来，将对S303中如何确定边缘待定区域中像素点的标识值进行介绍。
若标识值为边缘待定区域中像素点的alpha值，则确定出的每个像素点的alpha需满足下列公式：I＝αF+(1-α)B
其中，I为待处理图像中像素点的像素值，F为主体区域中像素点的像素值，B为背景区域中像素点的像素值，α为像素点的alpha(标识值)。
计算alpha相当于求解公式I＝αF+(1-α)B。
公式I＝αF+(1-α)B原可以变形为求解矩阵方程，该矩阵方程如下所示：
Figure BDA0002047815600000131
其中，相似矩阵Aij通过前述实施例介绍的方法可以得到，对角矩阵Dii＝∑jAij，L＝Dii-Aij，m为对主体区域的第一标识或背景区域的第二标识，λ为约束参数。
由于通过前述相似性计算的步骤可以计算得到Aij，根据公式Dii＝∑jAij可以计算得到Dii(D)，根据公式L＝Dii-Aij又可以进一步计算得到L，m已知，λ已知(例如可以取值为100)，则可以求解方程
Figure BDA0002047815600000141
中每个像素点的alpha值(α)。
可以理解的是，在基于单张照片生成个人证件照的场景中，由于个人证件照要求是体现人像正脸的图像，因此，S301中的待处理图像可以是体现人像正脸的图像。
为了避免待处理图像不符合要求，从而得到不符合要求的证件照，在执行S301之前，可以检查待处理图像是否合规(例如是否为人像正脸的图像)，若不合规，则弹出对应提示，例如提示用户“请上传一张正脸照片”。
具体的，在获取待处理图像过程中，可以首先通过人脸检测检测待处理图像是否包含一个人脸，如果没有或者超过一个人脸框，则返回错误，提示用户拍摄单独正脸照片。然后，通过人脸朝向检测和预定义的朝向阈值来判断待处理图像的人脸是否为满足证件照人脸朝向为正脸的要求，若否，则返回错误并提示用户拍摄单独正脸照片。通常情况下，若通过人脸朝向检测和预定义的朝向阈值确定人脸的x/y/z轴朝向角度均不超过5度，则认为待处理图像中满足证件照人脸朝向为正脸的要求。
需要说明的是，证件照可能对人脸在证件照的比例和在证件照中的位置有一定的要求，在这种情况下，可以将原照片的人脸框位置居中并按比例扩展，生成符合证件照人脸比例和位置的裁剪后图片，将该图片作为待处理图像。
接下来，将结合实际应用场景对本申请实施例提供的方法进行介绍。在该应用场景中，用户希望将自己的生活照进行图像背景移除，从而生成一张蓝色背景的证件照。其中，终端设备上的某应用具有生成证件照功能，该生成证件照功能使用到本申请实施例提供的方法。例如，通过社交软件实现生成证件照功能，该社交软件可以是微信、企业微信、QQ等。
在本实施例中，将以利用社交软件实现生成证件照为例进行介绍，参见图11，所述方法包括：
S1101、用户打开社交软件。
S1102、用户通过社交软件的选择图片入口从相册中选择原始图片。
选择的原始图片可以参见图12中1201所示。
S1103、社交软件检查原始照片是否合规，若合规，执行S1104。
S1104、社交软件按照人像比例要求进行对原始照片进行裁剪，得到待处理图像。
其中，待处理图像中的目标对象为用户人像。
S1105、社交软件根据所述待处理图像确定目标对象对应的边缘轮廓，根据边缘轮廓移除待处理图像的原始背景。
其中，社交软件根据所述待处理图像确定目标对象对应的边缘轮廓的方法可以参见图3对应实施例的介绍，此处不再赘述。
S1106、社交软件进行证件照背景叠加，从而生成证件照。
生成证件照的界面图参见图12中1202所示。
需要说明的是，进行证件照背景叠加时所使用的证件照背景的颜色值可以是默认背景颜色值，若默认背景颜色值不符合用户需求，则用户可以自行选择颜色值，例如，用户可以在1202所示的界面中选择白色、蓝色、红色等背景。
S1107、用户选择不同的美颜参数对生成的证件照进行调整。
S1108、输出得到调整后的证件照。
参见图12中1203所示，调整后的证件照参见图12中1204所示。
S1109、用户通过社交软件保存或分享调整后的证件照。
其中，S1103-S1105可以是由社交软件(客户端)执行，也可以是由服务器执行，本实施例对此不做限定。S1106-S1107可以是由社交软件执行。
基于前述实施例提供的图像处理方法，本实施例提供一种图像处理装置，参见图13a，所述装置包括第一确定单元1301、计算单元1302、第二确定单元1303和第三确定单元1304：
所述第一确定单元1301，用于根据待处理图像通过语义分割得到的像素点的分类标签，确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；所述主体区域的标识值设置为第一标识值，所述背景区域的标识值设置为第二标识值；
所述计算单元1302，用于根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中与相邻像素点间的像素特征相似性；
所述第二确定单元1303，用于根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，确定所述边缘待定区域中像素点的标识值；
所述第三确定单元1304，用于根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
在一种可能的实现方式中，在确定所述边缘待定区域中像素点的标识值的过程中，相邻像素点的标识值接近程度与所述相邻像素点的像素特征的相似性程度相关。
在一种可能的实现方式中，若所述相邻像素点的像素特征的相似性程度满足目标条件，所述相邻像素点的标识值相同。
在一种可能的实现方式中，所述像素特征包括颜色信息和位置信息。
在一种可能的实现方式中，所述第一确定单元1301，用于：
根据待处理图像通过语义分割得到的像素点的分类标签，确定所述待处理图像对应的中间处理图像，所述中间处理图像用于标识所述目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域。
在一种可能的实现方式中，所述第一确定单元1301，用于：
根据所述分类标签，确定所述待处理图像中对应目标对象的待定区域；
通过对所述待处理图像进行二值化处理，得到第一图像；所述第一图像中所述待定区域的像素点的像素值与所述待定区域之外的像素点的像素值不同；
通过对所述第一图像中所述待定区域的边缘部分进行像素值模糊处理，得到第二图像；
根据所述第二图像中像素点的像素值分布确定所述中间处理图像。
在一种可能的实现方式中，所述第一确定单元1301，还用于：
根据所述第二图像中像素点的像素值分布，在进行了所述像素值模糊处理的第一像素区域中确定第二像素区域；
根据所述第二图像中像素点的像素值分布以及所述第二像素区域，确定所述中间处理图像。
在一种可能的实现方式中，所述第一确定单元1301，还用于：
对所述第二像素区域进行膨胀处理。
由上述技术方案可以看出，针对包括目标对象的待处理图像，根据对待处理图像进行语义分割运算所得到的分类标签，可以确定出目标对象在待处理图像中对应的主体区域、边缘待定区域和背景区域，并将主体区域的标识值设置为第一标识值，背景区域的标识值设置为第二标识值。根据主体区域和背景区域中与边缘待定区域相邻的像素点，计算边缘待定区域中像素点与相邻像素点间的像素特征相似性，根据边缘待定区域中像素点与相邻像素点的相似性计算结果以及第一、第二标识值，确定边缘待定区域中像素点的标识值。由于属于目标对象的像素点间的像素特征相对于背景区域的像素点更为接近，故边缘待定区域中任一个像素点被确定出的相似性计算结果可以体现出该像素点属于目标对象或背景的可能性。而由于背景区域和主体区域中像素点分别被设置了不同的标识值，故针对边缘待定区域中像素点所确定出的标识值，该标识值与第一标识值和第二标识值的接近程度可以确定出该像素点是否属于目标对象，从而可以准确的确定出目标对象边缘部分，提高待处理图像中目标对象所在区域的确定精度，从而可以适用于高精度要求的图像背景移除场景。
本申请实施例还提供了一种用于图像处理设备，下面结合附图对用于图像处理设备进行介绍。请参见图13b所示，本申请实施例提供了一种用于图像处理设备1300，该设备1300可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理(PersonalDigital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意智能终端，以终端设备为手机为例：
图13b示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图13b，手机包括：射频(Radio Frequency，简称RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity，简称WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解，图13b中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图13b对手机的各个构成部件进行具体的介绍：
RF电路1310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1380处理；另外，将设计上行的数据发送给基站。通常，RF电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331，输入单元1330还可以包括其他输入设备1332。具体地，其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1341。进一步的，触控面板1331可覆盖显示面板1341，当触控面板1331检测到在其上或附近的触摸操作后，传送给处理器1380以确定触摸事件的类型，随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13b中，触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1360、扬声器1361，传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出；另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出处理器1380处理后，经RF电路1310以发送给比如另一手机，或者将音频数据输出至存储器1320以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13b示出了WiFi模块1370，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1380可包括一个或多个处理单元；优选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。
手机还包括给各个部件供电的电源1390(比如电池)，优选的，电源可以通过电源管理系统与处理器1380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，该终端设备所包括的处理器1380还具有以下功能：
根据待处理图像通过语义分割得到的像素点的分类标签，确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；所述主体区域的标识值设置为第一标识值，所述背景区域的标识值设置为第二标识值；
根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中像素点与相邻像素点间的像素特征相似性；
根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，确定所述边缘待定区域中像素点的标识值；
根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
本申请实施例提供的用于图像处理设备可以是服务器，请参见图14所示，图14为本申请实施例提供的服务器1400的结构图，服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(CentralProcessing Units，简称CPU)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作系统1441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器结构。
其中，CPU 1422用于执行如下步骤：
根据待处理图像通过语义分割得到的像素点的分类标签，确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；所述主体区域的标识值设置为第一标识值，所述背景区域的标识值设置为第二标识值；
根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中像素点与相邻像素点间的像素特征相似性；
根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，确定所述边缘待定区域中像素点的标识值；
根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述实施例所述的图像处理方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种图像处理方法，其特征在于，应用于背景移除场景，所述方法包括：
通过全卷积神经网络对待处理图像进行语义分割，得到属于人像的像素点的分类标签；
根据所述属于人像的像素点的分类标签，确定所述待处理图像中对应目标对象的待定区域；
通过对所述待处理图像进行二值化处理，得到第一图像；所述第一图像中所述待定区域的像素点的像素值与所述待定区域之外的像素点的像素值不同；
通过对所述第一图像中所述待定区域的边缘部分进行像素值模糊处理，得到第二图像；
根据所述第二图像中像素点的像素值分布，在进行了所述像素值模糊处理的第一像素区域中，将满足预设条件的像素点所在区域确定为第二像素区域；
对所述第二像素区域进行膨胀处理，以使得所述第二像素区域覆盖所有边缘像素点；
将所述第二图像中像素点的像素值分布与膨胀处理后的所述第二像素区域进行混合，根据混合后的像素值分布确定中间处理图像；所述中间处理图像用于通过不同颜色区域标识所述目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；
根据所述中间处理图像确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；所述主体区域的标识值设置为第一标识值，所述背景区域的标识值设置为第二标识值；所述第一标识值为最大透明度；所述第二标识值为最小透明度；
根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中像素点与相邻像素点间的像素特征相似性；
根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，采用公式
Figure FDA0003362151950000011
确定所述边缘待定区域中像素点的标识值；其中，L＝Dii-Aij，Dii为对角矩阵，Dii＝∑jAij，Aij为用于表示所述边缘待定区域中像素点的相似性计算结果的相似矩阵，m为所述主体区域的第一标识或所述背景区域的第二标识，λ为约束参数，αi为所述边缘待定区域中像素点的标识值；
根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
2.根据权利要求1所述的方法，其特征在于，在确定所述边缘待定区域中像素点的标识值的过程中，相邻像素点的标识值接近程度与所述相邻像素点的像素特征的相似性程度相关。
3.根据权利要求2所述的方法，其特征在于，若所述相邻像素点的像素特征的相似性程度满足目标条件，所述相邻像素点的标识值相同。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述像素特征包括颜色信息和位置信息。
5.一种图像处理装置，其特征在于，应用于背景移除场景，所述装置包括第一确定单元、计算单元、第二确定单元和第三确定单元：
所述第一确定单元，用于通过全卷积神经网络对所述待处理图像进行语义分割，得到属于人像的像素点的分类标签，根据所述属于人像的像素点的分类标签，确定所述待处理图像中对应目标对象的待定区域；通过对所述待处理图像进行二值化处理，得到第一图像；所述第一图像中所述待定区域的像素点的像素值与所述待定区域之外的像素点的像素值不同；通过对所述第一图像中所述待定区域的边缘部分进行像素值模糊处理，得到第二图像；根据所述第二图像中像素点的像素值分布，在进行了所述像素值模糊处理的第一像素区域中，将满足预设条件的像素点所在区域确定为第二像素区域；对所述第二像素区域进行膨胀处理，以使得所述第二像素区域覆盖所有边缘像素点；将所述第二图像中像素点的像素值分布与膨胀处理后的所述第二像素区域进行混合，根据混合后的像素值分布确定中间处理图像；所述中间处理图像用于通过不同颜色区域标识所述目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；根据所述中间处理图像确定目标对象在所述待处理图像中对应的主体区域、边缘待定区域和背景区域；所述主体区域的标识值设置为第一标识值，所述背景区域的标识值设置为第二标识值；所述第一标识值为最大透明度；所述第二标识值为最小透明度；
所述计算单元，用于根据所述主体区域和所述背景区域中与所述边缘待定区域相邻的像素点，计算所述边缘待定区域中与相邻像素点间的像素特征相似性；
所述第二确定单元，用于根据所述边缘待定区域中像素点的相似性计算结果，以及所述第一标识值和第二标识值，采用公式
Figure FDA0003362151950000021
确定所述边缘待定区域中像素点的标识值；其中，L＝Dii-Aij，Dii为对角矩阵，Dii＝∑jAij，Aij为用于表示所述边缘待定区域中像素点的相似性计算结果的相似矩阵，m为所述主体区域的第一标识或所述背景区域的第二标识，λ为约束参数，αi为所述边缘待定区域中像素点的标识值；
所述第三确定单元，用于根据所述边缘待定区域中像素点的标识值，确定所述目标对象在所述待处理图像中的边缘轮廓。
6.根据权利要求5所述的装置，其特征在于，在确定所述边缘待定区域中像素点的标识值的过程中，相邻像素点的标识值接近程度与所述相邻像素点的像素特征的相似性程度相关。
7.根据权利要求6所述的装置，其特征在于，若所述相邻像素点的像素特征的相似性程度满足目标条件，所述相邻像素点的标识值相同。
8.一种用于图像处理的设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4所述的图像处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4所述的图像处理方法。
CN201910364702.0A 2019-04-30 2019-04-30 一种图像处理方法和装置 Active CN110097570B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210151644.5A CN114463367A (zh) 2019-04-30 2019-04-30 一种图像处理方法和装置
CN201910364702.0A CN110097570B (zh) 2019-04-30 2019-04-30 一种图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910364702.0A CN110097570B (zh) 2019-04-30 2019-04-30 一种图像处理方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210151644.5A Division CN114463367A (zh) 2019-04-30 2019-04-30 一种图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN110097570A CN110097570A (zh) 2019-08-06
CN110097570B true CN110097570B (zh) 2022-03-01

Family

ID=67446697

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910364702.0A Active CN110097570B (zh) 2019-04-30 2019-04-30 一种图像处理方法和装置
CN202210151644.5A Pending CN114463367A (zh) 2019-04-30 2019-04-30 一种图像处理方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210151644.5A Pending CN114463367A (zh) 2019-04-30 2019-04-30 一种图像处理方法和装置

Country Status (1)

Country Link
CN (2) CN110097570B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544223A (zh) * 2019-09-10 2019-12-06 腾讯科技（深圳）有限公司 一种图像降噪的方法、装置、终端设备及可读存储介质
CN111192276B (zh) * 2019-12-18 2024-04-09 中国平安财产保险股份有限公司 图像处理方法、装置、电子设备及存储介质
CN111914769B (zh) * 2020-08-06 2024-01-26 腾讯科技（深圳）有限公司 用户合法性判定方法、装置、计算机可读存储介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903128A (zh) * 2012-09-07 2013-01-30 北京航空航天大学 基于局部特征结构保持的视频图像内容编辑传播方法
CN104680185A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 基于边界点重分类的高光谱图像分类方法
CN104680482A (zh) * 2015-03-09 2015-06-03 华为技术有限公司 一种图像处理的方法和装置
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN105654458A (zh) * 2014-11-14 2016-06-08 华为技术有限公司 图像处理的方法及装置
CN105681686A (zh) * 2015-12-31 2016-06-15 北京奇艺世纪科技有限公司 一种图像处理方法和系统
CN107123150A (zh) * 2017-03-25 2017-09-01 复旦大学 全局颜色对比度检测和分割显著图的方法
CN108537799A (zh) * 2018-03-21 2018-09-14 广西师范大学 一种基于像素种类和权重统计的颜色采样方法
CN109344724A (zh) * 2018-09-05 2019-02-15 深圳伯奇科技有限公司 一种证件照自动背景替换方法、系统及服务器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805653B2 (en) * 2010-08-11 2014-08-12 Seiko Epson Corporation Supervised nonnegative matrix factorization
US10296812B2 (en) * 2017-01-04 2019-05-21 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
EP3438929B1 (en) * 2017-08-04 2020-07-08 Université de Liège Foreground and background detection method
CN109472200B (zh) * 2018-09-29 2022-04-05 深圳市锦润防务科技有限公司 一种智能的海面垃圾检测方法、系统和存储介质
CN109685822A (zh) * 2019-01-11 2019-04-26 恒信东方文化股份有限公司 一种自动抠图方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903128A (zh) * 2012-09-07 2013-01-30 北京航空航天大学 基于局部特征结构保持的视频图像内容编辑传播方法
CN105654458A (zh) * 2014-11-14 2016-06-08 华为技术有限公司 图像处理的方法及装置
CN104680482A (zh) * 2015-03-09 2015-06-03 华为技术有限公司 一种图像处理的方法和装置
CN104680185A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 基于边界点重分类的高光谱图像分类方法
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN105681686A (zh) * 2015-12-31 2016-06-15 北京奇艺世纪科技有限公司 一种图像处理方法和系统
CN107123150A (zh) * 2017-03-25 2017-09-01 复旦大学 全局颜色对比度检测和分割显著图的方法
CN108537799A (zh) * 2018-03-21 2018-09-14 广西师范大学 一种基于像素种类和权重统计的颜色采样方法
CN109344724A (zh) * 2018-09-05 2019-02-15 深圳伯奇科技有限公司 一种证件照自动背景替换方法、系统及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于权重关联与环境自适应的目标跟踪算法研究》;李成浩;《中国优秀硕士学位论文全文数据库信息科技辑》;20190415;第I138-1102页； *
《基于背景差分的快速视频抠图算法的研究》;于明 等；;《河北工业大学学报》;20130228;第42卷(第1期);第81-87页； *

Also Published As

Publication number Publication date
CN114463367A (zh) 2022-05-10
CN110097570A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN109191410B (zh) 一种人脸图像融合方法、装置及存储介质
EP3370204B1 (en) Method for detecting skin region and device for detecting skin region
CN106156807B (zh) 卷积神经网络模型的训练方法及装置
CN113132618B (zh) 辅助拍照方法、装置、终端设备及存储介质
CN106558025B (zh) 一种图片的处理方法和装置
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
WO2018113512A1 (zh) 图像处理方法以及相关装置
CN110097570B (zh) 一种图像处理方法和装置
CN108346175B (zh) 一种人脸图像修复方法、装置及存储介质
CN112950525B (zh) 图像检测方法、装置及电子设备
CN108763317B (zh) 一种辅助选取图片的方法和终端设备
CN111612093A (zh) 一种视频分类方法、视频分类装置、电子设备及存储介质
CN113132704B (zh) 一种图像处理的方法、装置、终端以及存储介质
CN110347858B (zh) 一种图片的生成方法和相关装置
CN109788204A (zh) 拍摄处理方法及终端设备
CN110443769A (zh) 图像处理方法、图像处理装置及终端设备
CN109409235B (zh) 图像识别方法和装置、电子设备、计算机可读存储介质
CN109495616B (zh) 一种拍照方法及终端设备
WO2021143281A1 (zh) 颜色阴影校正方法、终端设备及计算机可读存储介质
JP2016511875A (ja) 画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体
CN106445970B (zh) 一种占位图的加载处理方法和装置
CN110083742B (zh) 一种视频查询方法和装置
CN113709385B (zh) 一种视频处理方法及装置、计算机设备和存储介质
CN105513098B (zh) 一种图像处理的方法和装置
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant