CN111932447B - 一种图片处理方法、装置、设备及存储介质 - Google Patents
一种图片处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111932447B CN111932447B CN202010773578.6A CN202010773578A CN111932447B CN 111932447 B CN111932447 B CN 111932447B CN 202010773578 A CN202010773578 A CN 202010773578A CN 111932447 B CN111932447 B CN 111932447B
- Authority
- CN
- China
- Prior art keywords
- area
- data
- picture
- target
- background area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000009826 distribution Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000000926 separation method Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 102220475756 Probable ATP-dependent RNA helicase DDX6_S30A_mutation Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图片处理方法、装置、设备及存储介质，该方法包括：识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；若初始背景区域的颜色属性不满足设定颜色要求，则根据原始图片生成区域分布概率数据；根据区域标识数据和区域分布概率数据，确定原始图片中的目标人像区域和目标背景区域；根据设定颜色要求对目标背景区域进行处理，根据处理后的目标背景区域和目标人像区域生成新的图片。本申请实施例在识别到原始图片的背景不满足设定颜色要求时实现人像和背景的分离，进而实现了对原始图片背景颜色的自动化调整。通过引入区域分布概率数据，提高分离结果准确度，进而提高新生成图片的图片质量。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图片处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的不断发展，许多线下报名方式部分或全部转移到了线上进行，给用户带来了极大的便利。
在报名网站进行报名登记时，通常需要用户上传个人照片。在网站上传照片时，由于不同网站所需照片的要求不同，可能会导致所上传照片不能正常使用而被退回的情况。此时，照片上传者不得不借助照片编辑工具，人为对所传照片进行修改，直至得到满足网站要求的照片，进行上传。
然而，上述方式费时费力，时效性差，带给用户较差的用户体验。因此，如何实现照片的自动化处理成为亟待解决的技术问题。
发明内容
本申请提供一种图片处理方法、装置、设备及存储介质，以提高图片处理效率。
第一方面，本申请实施例提供了一种图片处理方法，包括：
识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；
若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据；
根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域；
根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片。
第二方面，本申请实施例还提供了一种图片处理装置，包括：
区域标识数据得到模块，用于识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；
区域分布概率数据生成模块，用于若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据；
目标背景区域确定模块，用于根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域；
新图片生成模块，用于根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片。
第三方面，本申请实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的一种图片处理方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的一种图片处理方法。
本申请实施例通过识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；若初始背景区域的颜色属性不满足设定颜色要求，则根据原始图片，生成区域分布概率数据；根据区域标识数据和区域分布概率数据，确定原始图片中的目标人像区域和目标背景区域；根据设定颜色要求对目标背景区域进行处理，并根据处理后的图像背景区域和目标人像区域，生成新的图片。采用上述技术方案，能够在识别到原始图片的背景不满足设定颜色要求时，实现人像和背景的分离，进而实现对原始图片背景颜色的自动化调整。同时，通过引入区域分布概率数据，能够在对原始图片进行人像和背景分离时，提高分离结果准确度，进而提高新生成图片的图片质量。
附图说明
图1是本申请实施例一中的一种图片处理方法的流程图；
图2是本申请实施例二中的一种图片处理方法的流程图；
图3A是本申请实施例三中的一种图片处理方法的流程图；
图3B是本申请实施例三中的一种图像语义分割神经网络的结构图；
图3C是本申请实施例三中的一种前背景分离神经网络的结构图；
图4是本申请实施例四中的一种图片处理装置的结构图；
图5是本发明实施例五中的一种电子设备的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1是本申请实施例一中的一种图片处理方法的流程图，本申请实施例适用于对包含人像的图片进行背景修改的情况，该方法由图片处理装置执行，该装置采用软件和/或硬件实现，并具体配置于电子设备中。
如图1所示的一种图片处理方法，包括：
S110、识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据。
其中，原始图片可以是实时采集的人像图像，还可以是预先存储在电子设备本地或与电子设备所关联的其他存储设备中的图像。
其中，区域标识数据，用于对原始图片中各像素点所属区域加以区分。其中所属区域包括前景区域(也即人像区域)和背景区域，不同区域类型对应的区域标识不同。例如，可以采用“0”表示背景区域，采用“1”表示前景区域。
示例性地，识别原始图片中的初始人像区域和初始背景区域，可以基于阈值分割、像素聚类分割或图化分分割等机器学习方法中的至少一种加以实现，还可以基于深度学习模型加以实现。
在本申请实施例的一种可选实施方式中，采用图像语义分割神经网络，识别原始图片中的初始人像区域和初始背景区域，从而实现了对原始图片的自动化分割。同时，引入图像语义分割神经网络进行图像分割，提高了图像分割的鲁棒性。
为了在图像语义分割神经网络训练阶段，减少训练样本准备阶段的时间成本，在本申请实施例的一种可选实施方式中，可以利用公共的图像分割数据作为训练数据集，并通过对训练数据集中的训练样本进行旋转和背景替换等操作中的至少一种，实现训练样本扩充。
进一步地，由于公共数据集的标注质量一般，为了兼顾所训练的图像语义分割神经网络的模型精度，还可以对公共数据集中的至少部分训练样本采用人工进行数据标注，并对标注结果进行数据增强。
需要说明的是，通过识别原始图片得到区域标识数据，仅对原始图片进行了粗略分割，基于区域标识数据直接对原始图片进行图像分割，其分割结果精确度较低，无法满足图片处理需求。因此，通过识别原始图片能得到区域标识数据，为后续进行颜色合规判定提供数据支撑，从而避免了原始图片合规的情况下继续进行图片处理，带来的计算资源的浪费。
S120、若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据。
其中，区域分布概率数据，用于表征原始图片中各像素点属于前景区域或属于背景区域的概率值，从而通过概率值将像素值所属区域进行数值量化。例如，概率值趋近于“0”表示该像素点属于背景区域，概率值趋近于“1”表示该像素点属于前景区域；概率值小于“0.5”表明该像素点更趋向于背景区域；概率值大于“0.5”表明该像素点更趋向于前景区域。
示例性地，根据初始背景区域的颜色属性，判定原始图片是否合规，并在原始图片不合规，也即初始背景区域的颜色属性不满足设定颜色要求时，执行区域分布概率数据生成操作。
在本申请实施例的一种可选实施方式中，对原始图片的合规判定，可以采用以下方式进行：确定初始背景区域的颜色属性和设定颜色要求的颜色属性之间的颜色差异值；若颜色差异值小于设定差异阈值，则确定初始背景区域的颜色属性满足设定颜色要求；若颜色差异值不小于设定差异阈值，则确定初始背景区域的颜色属性不满足设定颜色要求。其中，设定差异阈值由技术人员根据需要或经验值进行确定。
在本申请实施例的一种可选实施方式中，根据原始图片，生成区域分布概率数据，可以是：确定原始图片的灰度数据；对灰度数据进行归一化处理，得到区域分布概率数据。
示例性地，可以将原始图片转化为灰度数据；将灰度数据中各相似度对应的灰度值与设定灰度阈值进行比较；将低于该设定灰度阈值的灰度值置零处理；将处理后的灰度数据进行归一化处理，得到区域分布概率数据。
可选的，将处理后的灰度数据进行归一化处理，得到区域分布概率数据，可以是：将处理后的灰度数据中各像素点的灰度值与设定灰度阈值做差，得到差值数据；将差值数据中的各差值除以255和设定灰度阈值的差值，得到表述概率化的数值，作为区域分布概率数据。
S130、根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域。
在本申请实施例的一种可选实施方式中，根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域，可以是：将所述区域标识数据和所述区域分布概率数据进行融合；根据融合后的数据，将所述原始图片分割为目标人像区域和目标背景区域。
可以理解的是，通过引入区域分布概率数据，能够使得区域标识数据的分割结果中，增加了对人像区域与背景区域所关联的边界区域的判定维度，从而使得根据融合后的数据，所得到的目标人像区域和目标背景区域所关联的边界区域与原始图片中的实际边界区域的匹配度更高，提高了图像分割结果的准确度。
S140、根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片。
将目标背景区域中的颜色属性修改为与设定颜色要求相一致的颜色属性，从而对目标背景区域的颜色进行替换。根据替换颜色后的目标背景区域和目标人像区域，生成新的图片，使得新生成的图片的背景颜色能够满足设定颜色需求。
本申请实施例通过识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；若初始背景区域的颜色属性不满足设定颜色要求，则根据原始图片，生成区域分布概率数据；根据区域标识数据和区域分布概率数据，确定原始图片中的目标人像区域和目标背景区域；根据设定颜色要求对目标背景区域进行处理，并根据处理后的图像背景区域和目标人像区域，生成新的图片。采用上述技术方案，能够在识别到原始图片的背景不满足设定颜色要求时，实现人像和背景的分离，进而实现对原始图片背景颜色的自动化调整。同时，通过引入区域分布概率数据，能够在对原始图片进行人像和背景分离时，提高分离结果准确度，进而提高新生成图片的图片质量。
实施例二
图2是本申请实施例二中的一种图片处理方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，进行了优化改进。
进一步地，在生成新的图片之后，追加“若新的图片不满足图片精度需求，则确定所述目标人像区域的三分图；根据所述三分图和所述原始图片，确定最终人像区域和最终背景区域；根据所述设定颜色要求对所述最终背景区域进行处理，并根据处理后的最终背景区域和所述最终人像区域，生成新的图片”，以提高新生成的图片的精度。
如图2所示的一种图片处理方法，包括：
S210、识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据。
S220、若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据。
S230、根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域。
S240、根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片。
S250、若新的图片不满足图片精度需求，则确定所述目标人像区域的三分图。
若用户对所生成的新的图片不满意，则说明生成的新图片的分割精度不够，特别是对于一些头发形状边缘比较复杂的原始图片，需要进行更高精度的图像分割，使得前景区域和背景区域的边界区域出现渐变效果，使得前背景分离表现的更加自然。
其中，三分图用于描述原始图片中，前景区域和背景区域之间不确定性区域的信息。
在本申请实施例的一种可选实施方式中，可以通过人工辅助的方式进行三分图的生成，从而使所生成的三分图中的不确定区域能够充分覆盖前景区域和背景区域所关联的边界区域。
为了实现三分图的自动化确定，减少用户操作，从而提高图片处理效率，在本申请实施例的一种可选实施方式中，还可以对目标人像区域进行膨胀处理，得到三分图。
S260、根据所述三分图和所述原始图片，确定最终人像区域和最终背景区域。
可选的，可以采用前背景分离神经网络，根据三分图和原始图片，确定最终人像区域和最终背景区域，从而基于深度学习的网络架构，得到精确度更高的前背景区域的概率预测图。
示例性地，前背景分离神经网络包括粗分割模块和细分割模块。其中，用于对原始图片和三分图进行处理，得到前背景概率度预测数据和RGB(Red Green Blue，红绿蓝)值预测数据；细分割模块，用于根据前背景概率度预测数据、RGB值预测数据和原始图片，确定最终人像区域和最终背景区域。
其中，前背景概率度预测数据，用于预测原始图片中，各像素点属于前景区域或背景区域的概率值；RGB值预测数据，用于预测原始图片中各像素点的像素值。
示例性地，根据前背景概率度预测数据和前背景概率度标签数据，确定概率损失；根据RGB值预测数据和RGB值标签数据，确定RGB损失；根据概率损失和RGB损失，确定初始预测数据；将初始预测数据和原始图片进行叠加，并对叠加后的数据进行再分割，得到当前预测数据；将当前预测数据与初始预测数据进行叠加，得到最终预测数据；根据最终预测数据，确定原始图片中的最终人像区域和最终背景区域。其中，最终预测数据用于对原始图片中各像素点所属区域加以区分。
S270、根据所述设定颜色要求对所述最终背景区域进行处理，并根据处理后的最终背景区域和所述最终人像区域，生成新的图片。
本申请实施例在新的图片不满足图片精度需求时，确定目标人像区域的三分图；根据三分图和原始图片，确定最终人像区域和最终背景区域；根据将设定颜色要求，对最终背景区域进行处理，并根据处理后的最终背景区域和最终人像区域，生成新的图片。采用上述技术方案能够向用户提供了粗粒度和细粒度两种可选的图片处理方式，使得用户根据自身需求进行图片处理方式的选取，兼顾了图片处理精度和图片处理效率。同时，通过在细粒度图片处理过程中，引入三分图，从而在人像区域和背景区域所关联的边界区域呈现渐变效果，使得前背景区域分离的更加自然。
实施例三
图3A是本申请实施例三中的一种图片处理方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，提供了一种优选实施方式。
如图3A所示的一种图片处理方法，包括：
S310、采用图像语义分割神经网络对包含人像的原始图片进行粗分割，得到初始人像区域和初始背景区域。
参见图3B所示的图像语义分割神经网络，包括特征提取模块、图像分割模块和后处理模块。其中，特征提取模块，用于对原始图片进行特征提取，得到第一特征数据；图像分割模块，用于基于第一特征数据对原始图片进行图像粗分割；后处理模块，用于对图像粗分割结果进行卷积处理，以使图像粗分割结果与原始图片的空间分辨率相匹配。
示例性地，特征提取模块可以采用CNN(Convolutional Neural Networks，卷积神经网络)加以实现。
示例性地，图像分割模块可以包括池化层、卷积层、上采样层和全连接层；其中，池化层，用于对所提取的第一特征数据进行降采样处理；卷积层，用于对降采样后的对数据进行不同尺度的特征提取；上采样层，用于将各尺度提取的特征数据进行上采样处理；全连接层，用于对第一特征数据和上采样结果进行全连接处理。
在保证图像语义分割神经网络的鲁棒性的前提下，为了尽量减少标注工作量，可以利用公共的图像分割数据集作为训练数据，并对训练数据进行扩充，采用扩充后的训练数据，对图像语义分割神经网络进行模型训练。由于公共数据集的标注质量一般，为了进一步提升处理效果，可以由用户手工精细标注部分数据，并对标注后的数据做数据增强。
S320、确定初始背景区域是否满足设定颜色需求；若是，则执行S330A；否则，则执行S30A。
S330A、退出图片处理操作。
S330B、对原始图片的灰度数据进行归一化处理，得到区域分布概率数据；继续执行S340。
将原始图片的灰度数据与设定灰度阈值进行比较，高于设定灰度阈值的灰度值保持不变，低于设定灰度阈值的灰度值置零；使用调整后的灰度数据，与阈值的差值，确定得到的差值数据与设定灰度值的比值；根据各像素点对应的比值，生成区域分布概率数据。其中，设定灰度值可以是255与设定灰度阈值的差值。其中，设定灰度阈值由技术人员根据需要或经验值确定。
S340、将区域分布概率数据与区域粗分割结果进行融合，并根据融合后的数据，将原始图片分割为目标人像区域和目标背景区域。
S350、根据设定颜色要求，对目标背景区域进行处理，并根据处理后的目标背景区域和目标人像区域，生成新的图片。
通过在图像分割过程中引入区域分布概率数据，能够在一定程度上提高人像边界的分割精度。在对图像精度要求不高的情况下，采用此种方式生成的新的图片可以满足用户处理的视觉要求，能够减少图片分割时的数据运算量。
S360、判断用户是否对所生成的新的图片满意；若是，则执行S330A；否则，执行S370。
当生成新的图片后，将新的图片推送给用户；根据用户对图片的评价，确定用户是否对所生成的新的图片满意。例如，将新的图片推送给用户时，同时显示评价按钮，用于接收用户的评价结果。评价按钮至少保留满意和不满意两个选项。
S370、对目标人像区域进行膨胀化处理，得到三分图。
S380、将三分图和原始图片，输入至前背景分离神经网络，得到最终人像区域和最终背景区域；继续执行S330A。
参见图3C所示的前背景分离神经网络的结构图，该模型包括粗分割模块和细分割模块。其中，粗分割模块，用于对所述原始图片和所述三分图进行处理，得到前背景概率度预测数据和RGB值预测数据；细分割模块，用于根据所述前背景概率度预测数据、所述RGB值预测数据和所述原始图片，确定最终人像区域和最终背景区域。
示例性地，粗分割模块，包括编解码器，用于对原始图片和三分图进行处理，得到前背景概率度预测数据和RGB值预测数据。
示例性地，细分割模块，包括第一融合层、细分割层和第二融合层。其中，第一融合层，用于根据前背景概率度预测数据和前背景概率度标签数据，确定概率损失；根据RGB值预测数据和RGB值标签数据，确定RGB损失；根据概率损失和RGB损失，确定初始预测数据；将初始预测数据和原始图片进行叠加。细分割层，用于对叠加后的数据进行再分割处理，得到当前预测数据；第二融合层，用于将当前预测数据与初始预测数据进行叠加，得到最终预测数据，从而根据最终预测数据，确定原始图片中的最终人像区域和最终背景区域。其中，再分割处理可以采用至少一个卷积层和至少一个激活层组合实现。
S390、根据设定颜色要求，对最终背景区域进行处理，并根据处理后的最终背景区域和最终人像区域，生成新的图片。
在图像分割过程中，引入三分图，使得前景和背景交互区域产生渐变的效果，使得前背景分离表现得更加自然。另外，采用三分图自动生成的方式替代用户自行操作，提高了三分图确定结果的准确度和确定效率，进而提升了最终生成的新的图片的准确度和平滑性。
实施例四
图4是本申请实施例四中的一种图片处理装置的结构图，本申请实施例适用于对包含人像的图片进行背景修改的情况，该装置采用软件和/或硬件实现，并具体配置于电子设备中。
如图4所示的一种图片处理装置，包括：区域标识数据得到模块410、区域分布概率数据生成模块420、目标背景区域确定模块430和新图片生成模块440。其中，
区域标识数据得到模块410，用于识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；
区域分布概率数据生成模块420，用于若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据；
目标背景区域确定模块430，用于根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域；
新图片生成模块440，用于根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片。
本申请实施例通过区域标识数据得到模块识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；通过区域分布概率数据生成模块若初始背景区域的颜色属性不满足设定颜色要求，则根据原始图片，生成区域分布概率数据；通过目标背景区域确定模块根据区域标识数据和区域分布概率数据，确定原始图片中的目标人像区域和目标背景区域；通过新图片生成模块根据设定颜色要求对目标背景区域进行处理，并根据处理后的图像背景区域和目标人像区域，生成新的图片。采用上述技术方案，能够在识别到原始图片的背景不满足设定颜色要求时，实现人像和背景的分离，进而实现对原始图片背景颜色的自动化调整。同时，通过引入区域分布概率数据，能够在对原始图片进行人像和背景分离时，能够提高分离结果准确度，进而提高新生成图片的图片质量。
进一步地，区域分布概率数据生成模块420，包括：
灰度数据确定单元，用于确定所述原始图片的灰度数据；
区域分布概率数据得到单元，用于对所述灰度数据进行归一化处理，得到所述区域分布概率数据。
进一步地，目标背景区域确定模块430，包括：
数据融合单元，用于将所述区域标识数据和所述区域分布概率数据进行融合；
目标背景区域确定单元，用于根据融合后的数据，将所述原始图片分割为目标人像区域和目标背景区域。
进一步地，区域标识数据得到模块410，包括：
区域标识数据得到单元，用于采用图像语义分割神经网络，识别原始图片中的初始人像区域和初始背景区域。
进一步地，该装置还包括：
三分图确定模块，用于若新的图片不满足图片精度需求，则确定所述目标人像区域的三分图；
最终背景区域确定模块，用于根据所述三分图和所述原始图片，确定最终人像区域和最终背景区域；
新图片生成模块440，还用于根据所述设定颜色要求对所述最终背景区域进行处理，并根据处理后的最终背景区域和所述最终人像区域，生成新的图片。
进一步地，三分图确定模块，包括：
三分图确定单元，用于对所述目标人像区域进行膨胀处理，得到所述三分图。
进一步地，最终背景区域确定模块，包括：
最终背景区域确定单元，用于采用前背景分离神经网络，根据所述三分图和所述原始图片，确定最终人像区域和最终背景区域。
所述前背景分离神经网络，包括：
粗分割模块，用于对所述原始图片和所述三分图进行处理，得到前背景概率度预测数据和组分值预测数据；
细分割模块，用于根据所述前背景概率度预测数据、所述组分值预测数据和所述原始图片，确定最终人像区域和最终背景区域。
上述图片处理装置执行本申请任意实施例所提供的图片处理方法，具备执行图片处理方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五中的一种电子设备的结构图。如图5所示的电子设备，包括：输入装置510、输出装置520、处理器530以及存储装置540。
其中，输入装置510，用于获取待开发小程序的原始文件；
输出装置520，用于展示目标小程序；
一个或多个处理器530；
存储装置540，用于存储一个或多个程序。
图5中以一个处理器530为例，该电子设备中的输入装置510可以通过总线或其他方式与输出装置520、处理器530以及存储装置540相连，且处理器530和存储装置540也通过总线或其他方式连接，图5中以通过总线连接为例。
在本实施例中，电子设备中的处理器530可以控制输入装置510获取原始图片；还可以识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；还可以在初始背景区域的颜色属性不满足设定颜色要求时，根据所述原始图片，生成区域分布概率数据；还可以根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域；还可以根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片；还可以控制输出装置520对原始图片、生成的新图片、初始人像区域、初始背景区域、目标人像区域和目标背景区域中的至少一个进行展示。
该电子设备中的存储装置540作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中图片处理方法对应的程序指令/模块(例如，附图4所示的区域标识数据得到模块410、区域分布概率数据生成模块420、目标背景区域确定模块430和新图片生成模块440)。处理器530通过运行存储在存储装置540中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中的图片处理方法。
存储装置540可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储数据等(如上述实施例中的原始文件、预设标准转换规则、标准态文件、目标文件和目标小程序等)。此外，存储装置540可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置540可进一步包括相对于处理器530远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被图片处理装置执行时，实现本发明实施提供的图片处理方法，该方法包括：识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据；根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域；根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (9)
1.一种图片处理方法，其特征在于，包括：
识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；
若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据；
根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域；
根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片；
其中，若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据，包括：
将所述原始图片转化为灰度数据；将所述灰度数据中各相似度对应的灰度值与设定灰度阈值进行比较；将低于所述设定灰度阈值的灰度值置零处理；将所述处理后的灰度数据中各像素点的灰度值与所述设定灰度阈值做差，得到差值数据；将所述差值数据中的各差值除以255和所述设定灰度阈值的差值，得到所述区域分布概率数据；
其中，根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域，包括：
将所述区域标识数据和所述区域分布概率数据进行融合；根据融合后的数据，将所述原始图片分割为所述目标人像区域和所述目标背景区域。
2.根据权利要求1所述的方法，其特征在于，识别原始图片中的初始人像区域和初始背景区域，包括：
采用图像语义分割神经网络，识别原始图片中的初始人像区域和初始背景区域。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述方法还包括：
若新的图片不满足图片精度需求，则确定所述目标人像区域的三分图；
根据所述三分图和所述原始图片，确定最终人像区域和最终背景区域；
根据所述设定颜色要求对所述最终背景区域进行处理，并根据处理后的最终背景区域和所述最终人像区域，生成新的图片。
4.根据权利要求3所述的方法，其特征在于，确定所述目标人像区域的三分图，包括：
对所述目标人像区域进行膨胀处理，得到所述三分图。
5.根据权利要求3所述的方法，其特征在于，根据所述三分图和所述原始图片，确定最终人像区域和最终背景区域，包括：
采用前背景分离神经网络，根据所述三分图和所述原始图片，确定最终人像区域和最终背景区域。
6.根据权利要求5所述的方法，其特征在于，所述前背景分离神经网络，包括：
粗分割模块，用于对所述原始图片和所述三分图进行处理，得到前背景概率度预测数据和RGB值预测数据；
细分割模块，用于根据所述前背景概率度预测数据、所述RGB值预测数据和所述原始图片，确定最终人像区域和最终背景区域。
7.一种图片处理装置，其特征在于，包括：
区域标识数据得到模块，用于识别原始图片中的初始人像区域和初始背景区域，得到区域标识数据；
区域分布概率数据生成模块，用于若所述初始背景区域的颜色属性不满足设定颜色要求，则根据所述原始图片，生成区域分布概率数据；
目标背景区域确定模块，用于根据所述区域标识数据和所述区域分布概率数据，确定所述原始图片中的目标人像区域和目标背景区域；
新图片生成模块，用于根据所述设定颜色要求对所述目标背景区域进行处理，并根据处理后的目标背景区域和所述目标人像区域，生成新的图片；
其中，所述区域分布概率数据生成模块包括灰度数据确定单元和区域分布概率数据得到单元；
所述灰度数据确定单元，具体用于将所述原始图片转化为灰度数据；将所述灰度数据中各相似度对应的灰度值与设定灰度阈值进行比较；将低于所述设定灰度阈值的灰度值置零处理；
所述区域分布概率数据得到单元，具体用于将所述处理后的灰度数据中各像素点的灰度值与所述设定灰度阈值做差，得到差值数据；将所述差值数据中的各差值除以255和所述设定灰度阈值的差值，得到所述区域分布概率数据；
其中，所述目标背景区域确定模块包括数据融合单元和目标背景区域确定单元；
所述数据融合单元，用于将所述区域标识数据和所述区域分布概率数据进行融合；
所述目标背景区域确定单元，用于根据融合后的数据，将所述原始图片分割为目标人像区域和目标背景区域。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的一种图片处理方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的一种图片处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010773578.6A CN111932447B (zh) | 2020-08-04 | 2020-08-04 | 一种图片处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010773578.6A CN111932447B (zh) | 2020-08-04 | 2020-08-04 | 一种图片处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932447A CN111932447A (zh) | 2020-11-13 |
| CN111932447B true CN111932447B (zh) | 2024-03-22 |
Family
ID=73307757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010773578.6A Active CN111932447B (zh) | 2020-08-04 | 2020-08-04 | 一种图片处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932447B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113887481A (zh) * | 2021-10-19 | 2022-01-04 | 中国第一汽车股份有限公司 | 一种图像处理方法、装置、电子设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
| CN107527351A (zh) * | 2017-08-31 | 2017-12-29 | 华南农业大学 | 一种融合fcn和阈值分割的哺乳母猪图像分割方法 |
| CN108764325A (zh) * | 2018-05-23 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN108765443A (zh) * | 2018-05-22 | 2018-11-06 | 杭州电子科技大学 | 一种自适应颜色阈值分割的标志增强处理方法 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
| CN110675368A (zh) * | 2019-08-31 | 2020-01-10 | 中山大学 | 一种融合图像分割与分类的细胞图像语义分割方法 |
| CN110956681A (zh) * | 2019-11-08 | 2020-04-03 | 浙江工业大学 | 一种结合卷积网络和邻域相似性的人像背景自动替换方法 |
-
2020
- 2020-08-04 CN CN202010773578.6A patent/CN111932447B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
| CN107527351A (zh) * | 2017-08-31 | 2017-12-29 | 华南农业大学 | 一种融合fcn和阈值分割的哺乳母猪图像分割方法 |
| CN108765443A (zh) * | 2018-05-22 | 2018-11-06 | 杭州电子科技大学 | 一种自适应颜色阈值分割的标志增强处理方法 |
| CN108764325A (zh) * | 2018-05-23 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
| CN110675368A (zh) * | 2019-08-31 | 2020-01-10 | 中山大学 | 一种融合图像分割与分类的细胞图像语义分割方法 |
| CN110956681A (zh) * | 2019-11-08 | 2020-04-03 | 浙江工业大学 | 一种结合卷积网络和邻域相似性的人像背景自动替换方法 |
Non-Patent Citations (3)
| Title |
|---|
| Learning Densities in Feature Space for Reliable Segmentation of Indoor Scenes;Nicolas Marchal 等;《IEEE Robotics and Automation Letters》;全文 * |
| 基于全卷积网络的语义显著性区域检测方法研究;郑云飞;张雄伟;曹铁勇;孙蒙;;电子学报(第11期);全文 * |
| 基于图像抠图技术的多聚焦图像融合方法;张盛林;易本顺;李卫中;刘红玉;;计算机应用(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932447A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112232293B (zh) | 图像处理模型训练、图像处理方法及相关设备 | |
| WO2021129181A1 (en) | Portrait segmentation method, model training method and electronic device | |
| CN107622274B (zh) | 用于图像处理的神经网络训练方法、装置以及计算机设备 | |
| CN110610509A (zh) | 可指定类别的优化抠图方法及系统 | |
| CN111862119A (zh) | 基于Mask-RCNN的语义信息提取方法 | |
| CN111553923B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
| CN108960412B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN114862845B (zh) | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 | |
| CN111199541A (zh) | 图像质量评价方法、装置、电子设备及存储介质 | |
| CN112990331A (zh) | 图像处理方法、电子设备和存储介质 | |
| CN108647703B (zh) | 一种基于显著性的分类图像库的类型判断方法 | |
| US20210012503A1 (en) | Apparatus and method for generating image | |
| CN113505702A (zh) | 基于双神经网络优化的路面病害识别方法及系统 | |
| CN110969641A (zh) | 图像处理方法和装置 | |
| CN112383824A (zh) | 视频广告过滤方法、设备及存储介质 | |
| CN111932447B (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| CN117437647B (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
| CN117095019B (zh) | 一种图像分割方法及相关装置 | |
| CN114240770A (zh) | 一种图像处理方法、装置、服务器及存储介质 | |
| CN112529914A (zh) | 一种实时头发分割方法和系统 | |
| CN112016592A (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
| CN113766147B (zh) | 视频中嵌入图像的方法、平面预测模型获取方法和装置 | |
| JP2016081472A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN113361530A (zh) | 使用交互手段的图像语义精准分割及优化方法 | |
| WO2023173826A1 (zh) | 图像处理方法、装置、存储介质、电子设备及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220920 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |