CN113129207A - 一种图片的背景虚化方法及装置、计算机设备、存储介质 - Google Patents

一种图片的背景虚化方法及装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN113129207A
CN113129207A CN201911397607.7A CN201911397607A CN113129207A CN 113129207 A CN113129207 A CN 113129207A CN 201911397607 A CN201911397607 A CN 201911397607A CN 113129207 A CN113129207 A CN 113129207A
Authority
CN
China
Prior art keywords
picture
background
foreground
blurring
background picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911397607.7A
Other languages
English (en)
Other versions
CN113129207B (zh
Inventor
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN201911397607.7A priority Critical patent/CN113129207B/zh
Priority to PCT/CN2020/128657 priority patent/WO2021135676A1/zh
Publication of CN113129207A publication Critical patent/CN113129207A/zh
Application granted granted Critical
Publication of CN113129207B publication Critical patent/CN113129207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图片的背景虚化方法及装置、计算机设备、存储介质，所述方法包括：对深度图做预处理，得到前景图片和背景图片；对所述背景图片进行虚化，得到虚化背景图片；对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。通过本方法对拍摄的图片进行处理，可以使拍摄的照片具有背景多级虚化的效果，避免拍摄照片的前景与背景叠加产生黑边或者光晕以及过渡不自然等问题。

Description

一种图片的背景虚化方法及装置、计算机设备、存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图片的背景虚化方法及装置、计算机设备、存储介质。
背景技术
随着智能手机产业的发展，有关手机拍照的硬件和功能也在不断的更新换代，背景虚化功能，尤其是在人像模式中，越来越被广泛地使用。
目前，背景虚化主要是利用主摄像头和副摄像头合成的深度图，从深度图中分割出前景和背景，然后将分层多级背景虚化后的背景与前景叠加生成背景虚化效果，然而利用深度图的分层多级背景虚化以及前景与背景的叠加都存在一定的缺陷，例如：1、利用深度距离信息的分层多级虚化会使得相邻的区域出现虚化等级不一致，影响照片拍摄的效果；2、虚化分级较少会导致不同虚化等级之间叠加的边缘出现过渡不自然的效果，影响照片拍摄的效果；3、虚化分级较多会导致处理时间过长，无法满足手机拍照的实时性；4、前景与虚化后的背景叠加会在边缘处产生过渡突兀、黑边或光晕等效果，影响照片拍摄的效果。
因此，现有技术有待改进。
发明内容
本申请要解决的技术问题是拍摄图片前景与背景叠加产生的黑边和光晕以及过渡不自然等效果，提供一种图片的背景虚化方法及装置、计算机设备、存储介质，提高手机拍摄照片的背景虚化效果，为用户带来更好的拍照体验。
第一方面，本申请实施例提供了一种图片的背景虚化方法，所述方法包括：对深度图做预处理，得到前景图片和背景图片；对所述背景图片进行模糊，得到虚化背景图片；对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
可选地，所述对深度图做预处理，得到前景图片和背景图片，包括：对所述深度图进行保边滤波，得到第一深度图片；对所述第一深度图片进行中值滤波，得到第二深度图片；对所述第二深度图片进行水平集分割，得到前景掩模和背景掩模；根据所述前景掩模和所述背景掩模，得到所述前景图片和所述背景图片。
可选地，所述对所述背景图片进行虚化，得到虚化背景图片，包括：对所述背景图片进行拉伸变换，得到第一背景图片；对所述第一背景图片进行逐点多级虚化，得到第二背景图片；对所述第二背景图片做反拉伸变换，得到所述虚化背景图片。
可选地，所述对所述第一背景图片进行逐点多级虚化，得到第二背景图片，包括：根据所述前景图片，计算所述前景图片的质心点的坐标；根据所述第一背景图片中像素点的坐标和所述质心点的坐标，计算所述第一背景图片中每一个像素点与质心点之间的直线距离；根据所述直线距离和虚化程度值，计算所述第一背景图片中像素点的虚化半径。
可选地，根据所述直线距离和虚化程度值，计算所述第一背景图片中像素点的虚化半径之后，包括：根据所述像素点的虚化半径生成所述像素点的模糊核；根据所述像素点的模糊核，对所述像素点做模糊处理。
可选地，所述将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片，包括：在非过渡带区域，用所述前景图片或者所述虚化背景图片中的像素点对拍摄图片中对应的像素点进行替换；在过渡带区域，根据模糊值、前景图片的像素值和虚化背景图片的像素值，得到过渡带区域融合后的像素值，其中，所述模糊值为对所述前景图片腐蚀和模糊后的像素值。
可选地，所述对深度图做预处理，得到前景图片和背景图片之前，包括：获取拍摄图片和所述深度图。
第二方面，本申请实施例提供了一种图片的背景虚化装置，所述装置包括：预处理单元，用于对深度图做预处理，得到前景图片和背景图片；模糊单元，用于对所述背景图片进行虚化，得到虚化背景图片；过渡带生成单元，用于对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；图片合成单元，用于将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
第三方面，本申请实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对深度图做预处理，得到前景图片和背景图片；对所述背景图片进行虚化，得到虚化背景图片；对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对深度图做预处理，得到前景图片和背景图片；对所述背景图片进行虚化，得到虚化背景图片；对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
与现有技术相比，本申请实施例具有以下优点：
根据本申请实施方式提供的方法，首先对深度图做预处理，得到前景图片和背景图片，然后对所述背景图片进行虚化，得到虚化背景图片，接着对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带，最后将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。通过本方法提高了手机拍摄照片的背景虚化效果，为用户带来更好的拍照体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种图片的背景虚化方法的流程示意图；
图2为本申请实施例中一种图片的背景虚化装置的结构图；
图3为本申请实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人经过研究发现，在智能手机拍照领域，现有的对拍摄照片处理中背景虚化主要是利用主摄像头和副摄像头合成的深度图，从深度图中分割出前景和背景，然后将分层多级背景虚化后的背景与前景叠加生成背景虚化效果，然而利用深度图的分层多级背景虚化以及前景与背景的叠加都存在一定的缺陷，影响照片拍摄的效果，无法满足手机拍照的实时性。
为了解决上述问题，在本申请实施例中，主要通过三个方面提升背景虚化的效果：1、通过背景图片的像素的拉伸操作和反拉伸操作，使得虚化后的背景具有一定的光斑效果；2、以前景的轮廓质心为圆心，以圆形向外扩散增大模糊核半径的方式进行逐点虚化，达到了多级虚化但不用分层的目的，解决多层分级虚化背景叠加的边缘过渡不自然问题；3、对前景的掩模进行腐蚀和高斯模糊平滑处理的方式，生成前景与背景过渡带，融合过渡带的前景和背景，有效缓解边缘过渡突兀，出现黑边和光晕等问题。
下面结合附图，详细说明本申请的各种非限制性实施方式。
本申请实施例提供了一种图片的背景虚化方法，如图1所示，所述方法包括：
S1、对深度图做预处理，得到前景图片和背景图片。
在本申请实施例中，在对深度图做预处理之前，获取拍摄图片和所述深度图。步骤S1中对深度图进行预处理，分割出前景图片F_Img和背景图片B_Img并得到相应的前景掩模F_mask和背景掩模B_mask，根据前景掩模F_mask和背景掩模B_mask得到前景图片和背景图片。其中，深度图可以是通过拍摄图片处理后得到的图片。前景图片可以为拍摄图片中的主体、距离镜头较近的物体、用户想要拍摄的物体或者手机相机中焦点出的物体等图片，背景图片为图片中除前景区域外的图片。例如，对人进行拍摄，则图片中的人的区域为前景图片，其余区域为背景图片。
在本申请一种可选实施例中，步骤S1包括：
S11、对所述深度图进行保边滤波，得到第一深度图片。
S12、对所述第一深度图片进行中值滤波，得到第二深度图片。
S13、对所述第二深度图片进行水平集分割，得到前景掩模和背景掩模。
在本申请实施例中，为了去除第一深度图片中的毛边，步骤S12中对第一深度图片进行中值滤波。通过对第二深度图片进行水平集分割，得到前景区域轮廓，根据前景区域轮廓得到前景掩模和背景掩模。第一深度图片和第二深度图片都是处理过程中的深度图片。
S14、根据所述前景掩模和所述背景掩模，得到所述前景图片和所述背景图片。
S2、对所述背景图片进行虚化，得到虚化背景图片。
在本申请实施例中，虚化背景图片为虚化后的背景图片。步骤S2中对背景图片中超过第一阈值threshold的像素值pixelValue进行拉伸变换，然后对拉伸后的背景图片做逐点的多级虚化，最后对虚化后的背景图片进行反拉伸变换，得到虚化背景图片。
在本申请一种可选实施例中，步骤S2包括：
S21、对所述背景图片进行拉伸变换，得到第一背景图片。
在本申请实施例中，第一背景图片为拉伸变换后的背景图片。对超过第一阈值的背景图片中的像素值进行拉伸变换，其中，拉伸变换的表征形式如下：
pixelValue＝a*(pixelValue-threshold)b+threshold
其中：threshold为第一阈值，a、b和threshold的值依赖具体要达到的光斑效果而定，其中，b＞1且a＞1，例如：a＝2，b＝2，threshold＝128。
S22、对所述第一背景图片进行逐点多级虚化，得到第二背景图片。
在本申请实施例中，第二背景图片为逐点多级虚化后的背景图片。根据前景的轮廓计算出前景轮廓的质心点，计算出拉伸后的背景图片中每一个像素点与质心点的直线距离。
本申请实施例中通过逐点多级虚化的方法解决了现有技术中利用深度距离信息的分层多级虚化会使得相邻的区域出现虚化等级不一致、虚化分级较多会导致处理时间太长，无法满足手机端的实时性等问题，使背景的虚化程度大而且过渡比较自然。
在本申请一种可选实施例中，步骤S22包括：
S221、根据所述前景图片，计算所述前景图片的质心点的坐标。
在本申请实施例中，可以根据前景图片中前景的轮廓计算出前景轮廓的质心点(x0，y0)。
S222、根据所述第一背景图片中像素点的坐标和所述质心点的坐标，计算所述第一背景图片中每一个像素点与质心点之间的直线距离。
在本申请实施例中，第一背景图片为拉伸后的背景图片，根据所述第一背景图片中像素点的坐标(i，j)和所述质心点的坐标(x0，y0)，计算所述第一背景图片中每一个像素点(i，j)与质心点(x0，y0)之间的直线距离。
S223、根据所述直线距离和虚化程度值，计算所述第一背景图片中像素点的虚化半径。
在本申请实施例中，根据前景的轮廓计算出前景轮廓的质心点(x0，y0)，计算出所有(i，j)与(x0，y0)之间的直线距离dist。像素点虚化的半径的表征形式为：
radius＝baseRadius*(disti，j/max Dist)
其中，disti，j是背景图像坐标(i，j)的像素点与(x0，y0)的距离，maxDist为所有直线距离中最大值，baseRadius为虚化程度值，baseRadius根据要虚化的程度取值，例如：baseRadius可以为15。
在本申请一种可选实施例中，步骤S223之后，所述方法还包括：
S224、根据所述像素点的虚化半径生成所述像素点的模糊核。
S225、根据所述像素点的模糊核，对所述像素点做模糊处理。
在本申请实施例中，遍历第一背景图片中的像素点，依据像素点的虚化半径生成对应的模糊核，对像素点做模糊处理。逐像素的遍历比较耗时，各像素之间的虚化操作是独立的，可以采用多线程并行加速处理。
S23、对所述第二背景图片做反拉伸变换，得到所述虚化背景图片。
在本申请实施例中，第二背景图片为逐点多级虚化后的背景图片。反拉伸变换的表征形式为上述拉伸变换表达式的反函数。
S3、对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带。
在本申请实施例中，对前景区域的掩模F_mask做腐蚀和高斯模糊处理，在掩模的边缘处产生像素值介于0～255(不包括0和255)的过渡带并作归一化到0～1，其中，过渡带就是前景与背景相邻的边缘区域，具体地，二值掩模图像的前景像素值为255，背景像素值为0，在前景与背景相邻的边缘部分，做一个平滑处理，例如高斯模糊处理，使得前景与背景边缘部分像素值介于0到255之间。这部分像素值在0～255之间的区域称为过渡带。
S4、将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
在本申请一种可选实施例中，步骤S4包括：
在非过渡带区域，用所述前景图片或者所述虚化背景图片中的像素点对拍摄图片中对应的像素点进行替换；
例如：在拍摄图片非过渡带区域中属于前景图片的像素点，则用该前景图片中对应位置的像素点进行替换，在拍摄图片非过渡带区域中属于背景图片的像素点，则用该背景图片中对应位置的像素点进行替换。替换完成后，非过渡带区域的图片的背景为虚化后的背景。
在过渡带区域，根据模糊值、前景图片的像素值和虚化背景图片的像素值，得到过渡带区域融合后的像素值，其中，所述模糊值为对所述前景图片腐蚀和模糊后的像素值。
在本申请实施例中，过渡带区域的像素点在步骤S3中处理的F_mask的像素值为w，该过渡带区域的像素点在前景图片中像素值为F_pixel，该过渡带区域的像素点在虚化背景图片中像素值为B_pixel，则该像素点在过渡带融合后的像素值为FB_pixel＝W*F_pixel+(1-w)*B_pixel。
本申请实施例中通过在前景和背景之间生成过渡带的方式，对处理后的前景和背景进行融合，缓解了边缘过渡突兀，避免了前景和背景的边界出现黑边和光晕的问题。
本申请实施例提供了一种图片的背景虚化装置，如图2所示，所述装置包括：
预处理单元21，用于对深度图做预处理，得到前景图片和背景图片。
模糊单元22，用于对所述背景图片进行虚化，得到虚化背景图片。
过渡带生成单元23，用于对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带。
叠加融合单元24，用于将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
在本申请一种可选实施例中，预处理单元，包括：
保边滤波模块，用于对所述深度图进行保边滤波，得到第一深度图片。
中值滤波模块，用于对所述第一深度图片进行中值滤波，得到第二深度图片.
水平集分割模块，用于对所述第二深度图片进行水平集分割，得到前景掩模和背景掩模。
处理模块，用于根据所述前景掩模和所述背景掩模，得到所述前景图片和所述背景图片。
在本申请一种可选实施例中，模糊单元，包括：
拉伸变换模块，用于对所述背景图片进行拉伸变换，得到第一背景图片；
逐点多级虚化模块，用于对所述第一背景图片进行逐点多级虚化，得到第二背景图片；
反拉伸变换模块，用于对所述第二背景图片做反拉伸变换，得到所述虚化背景图片。
在本申请一种可选实施例中，逐点多级虚化模块，包括：
质心点计算子模块，用于根据所述前景图片，计算所述前景图片的质心点的坐标。
距离计算子模块，用于根据所述第一背景图片中像素点的坐标和所述质心点的坐标，计算所述第一背景图片中每一个像素点与质心点之间的直线距离。
虚化半径计算子模块，用于根据所述直线距离和虚化程度值，计算所述第一背景图片中像素点的虚化半径。
在本申请一种可选实施例中，所述装置，包括：
模糊核生成子模块，用于根据所述像素点的虚化半径生成所述像素点的模糊核；
模糊处理子模块，用于根据所述像素点的模糊核，对所述像素点做模糊处理。
在本申请一种可选实施例中，过渡带生成单元，包括：
替换模块，用于在非过渡带区域，用所述前景图片或者所述虚化背景图片中的像素点对拍摄图片中对应的像素点进行替换。
融合模块，用于在过渡带区域，根据模糊值、前景图片的像素值和虚化背景图片的像素值，得到过渡带区域融合后的像素值，其中，所述模糊值为对所述前景图片腐蚀和模糊后的像素值。
在本申请一种可选实施例中，所述装置，还包括：获取模块，用于获取拍摄图片和所述深度图。
在一个实施例中，本申请提供了一种计算机设备，该设备可以是终端，内部结构如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自然语言模型的生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对深度图做预处理，得到前景图片和背景图片；对所述背景图片进行虚化，得到虚化背景图片；对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对深度图做预处理，得到前景图片和背景图片；对所述背景图片进行虚化，得到虚化背景图片；对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图片的背景虚化方法，其特征在于，所述方法包括：
对深度图做预处理，得到前景图片和背景图片；
对所述背景图片进行虚化，得到虚化背景图片；
对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；
将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
2.根据权利要求1所述的方法，其特征在于，所述对深度图做预处理，得到前景图片和背景图片，包括：
对所述深度图进行保边滤波，得到第一深度图片；
对所述第一深度图片进行中值滤波，得到第二深度图片；
对所述第二深度图片进行水平集分割，得到前景掩模和背景掩模；
根据所述前景掩模和所述背景掩模，得到所述前景图片和所述背景图片。
3.根据权利要求1所述的方法，其特征在于，所述对所述背景图片进行虚化，得到虚化背景图片，包括：
对所述背景图片进行拉伸变换，得到第一背景图片；
对所述第一背景图片进行逐点多级虚化，得到第二背景图片；
对所述第二背景图片做反拉伸变换，得到所述虚化背景图片。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一背景图片进行逐点多级虚化，得到第二背景图片，包括：
根据所述前景图片，计算所述前景图片的质心点的坐标；
根据所述第一背景图片中像素点的坐标和所述质心点的坐标，计算所述第一背景图片中每一个像素点与质心点之间的直线距离；
根据所述直线距离和虚化程度值，计算所述第一背景图片中像素点的虚化半径。
5.根据权利要求4所述的方法，其特征在于，根据所述直线距离和虚化程度值，计算所述第一背景图片中像素点的虚化半径之后，包括：
根据所述像素点的虚化半径生成所述像素点的模糊核；
根据所述像素点的模糊核，对所述像素点做模糊处理。
6.根据权利要求1所述的方法，其特征在于，所述将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片，包括：
在非过渡带区域，用所述前景图片或者所述虚化背景图片中的像素点对拍摄图片中对应的像素点进行替换；
在过渡带区域，根据模糊值、前景图片的像素值和虚化背景图片的像素值，得到过渡带区域融合后的像素值，其中，所述模糊值为对所述前景图片腐蚀和模糊后的像素值。
7.根据权利要求1所述的方法，其特征在于，所述对深度图做预处理，得到前景图片和背景图片之前，包括：
获取拍摄图片和所述深度图。
8.一种图片的背景虚化装置，其特征在于，所述装置包括：
预处理单元，用于对深度图做预处理，得到前景图片和背景图片；
模糊单元，用于对所述背景图片进行虚化，得到虚化背景图片；
过渡带生成单元，用于对所述前景图片进行模糊，得到所述前景图片和所述背景图片之间的过渡带；
图片合成单元，用于将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合，得到背景虚化后的图片。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911397607.7A 2019-12-30 2019-12-30 一种图片的背景虚化方法及装置、计算机设备、存储介质 Active CN113129207B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911397607.7A CN113129207B (zh) 2019-12-30 2019-12-30 一种图片的背景虚化方法及装置、计算机设备、存储介质
PCT/CN2020/128657 WO2021135676A1 (zh) 2019-12-30 2020-11-13 一种拍照背景虚化方法、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911397607.7A CN113129207B (zh) 2019-12-30 2019-12-30 一种图片的背景虚化方法及装置、计算机设备、存储介质

Publications (2)

Publication Number Publication Date
CN113129207A true CN113129207A (zh) 2021-07-16
CN113129207B CN113129207B (zh) 2023-08-01

Family

ID=76767843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911397607.7A Active CN113129207B (zh) 2019-12-30 2019-12-30 一种图片的背景虚化方法及装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN113129207B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592753A (zh) * 2021-07-23 2021-11-02 深圳思谋信息科技有限公司 基于工业相机拍摄的图像的处理方法、装置和计算机设备
CN115499577A (zh) * 2022-06-27 2022-12-20 华为技术有限公司 一种图像处理方法及终端设备
WO2023240452A1 (zh) * 2022-06-14 2023-12-21 北京小米移动软件有限公司 图像处理方法、装置、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005057335A1 (de) * 2005-11-28 2007-06-06 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten
WO2017045650A1 (zh) * 2015-09-15 2017-03-23 努比亚技术有限公司 一种图片处理方法及终端
CN107454332A (zh) * 2017-08-28 2017-12-08 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
WO2018076935A1 (zh) * 2016-10-31 2018-05-03 努比亚技术有限公司 图像虚化处理方法、装置、移动终端和计算机存储介质
WO2018103244A1 (zh) * 2016-12-09 2018-06-14 武汉斗鱼网络科技有限公司 直播视频处理方法、装置及电子设备
WO2018137623A1 (zh) * 2017-01-24 2018-08-02 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
WO2018177364A1 (zh) * 2017-03-29 2018-10-04 武汉斗鱼网络科技有限公司 一种滤镜的实现方法及装置
CN109961452A (zh) * 2017-12-22 2019-07-02 广东欧珀移动通信有限公司 照片的处理方法、装置、存储介质及电子设备
CN110009556A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005057335A1 (de) * 2005-11-28 2007-06-06 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten
WO2017045650A1 (zh) * 2015-09-15 2017-03-23 努比亚技术有限公司 一种图片处理方法及终端
WO2018076935A1 (zh) * 2016-10-31 2018-05-03 努比亚技术有限公司 图像虚化处理方法、装置、移动终端和计算机存储介质
WO2018103244A1 (zh) * 2016-12-09 2018-06-14 武汉斗鱼网络科技有限公司 直播视频处理方法、装置及电子设备
WO2018137623A1 (zh) * 2017-01-24 2018-08-02 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
WO2018177364A1 (zh) * 2017-03-29 2018-10-04 武汉斗鱼网络科技有限公司 一种滤镜的实现方法及装置
CN107454332A (zh) * 2017-08-28 2017-12-08 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN109961452A (zh) * 2017-12-22 2019-07-02 广东欧珀移动通信有限公司 照片的处理方法、装置、存储介质及电子设备
CN110009556A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
张建国;王仁庆;左俊彦;候慧敏;钟涛;胡凤玲;马千里;: "基于掩膜与仿中值滤波的边缘检测处理", 上海理工大学学报, no. 03 *
李晓颖等: "基于单目深度估计方法的图像分层虚化技术", 《华南师范大学学报(自然科学版)》 *
李晓颖等: "基于单目深度估计方法的图像分层虚化技术", 《华南师范大学学报(自然科学版)》, no. 01, 25 February 2018 (2018-02-25) *
点亮～黑夜: "python背景虚化", 《HTTPS://BLOG.CSDN.NET/》 *
点亮～黑夜: "python背景虚化", 《HTTPS://BLOG.CSDN.NET/》, 20 February 2019 (2019-02-20), pages 1 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592753A (zh) * 2021-07-23 2021-11-02 深圳思谋信息科技有限公司 基于工业相机拍摄的图像的处理方法、装置和计算机设备
CN113592753B (zh) * 2021-07-23 2024-05-07 深圳思谋信息科技有限公司 基于工业相机拍摄的图像的处理方法、装置和计算机设备
WO2023240452A1 (zh) * 2022-06-14 2023-12-21 北京小米移动软件有限公司 图像处理方法、装置、电子设备和存储介质
CN115499577A (zh) * 2022-06-27 2022-12-20 华为技术有限公司 一种图像处理方法及终端设备
CN115499577B (zh) * 2022-06-27 2024-04-30 华为技术有限公司 一种图像处理方法及终端设备

Also Published As

Publication number Publication date
CN113129207B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Guo et al. Progressive image inpainting with full-resolution residual network
Lee et al. Unsupervised low-light image enhancement using bright channel prior
Liu et al. Robust color guided depth map restoration
CN110163832B (zh) 人脸融合方法、装置和终端
CN113129207A (zh) 一种图片的背景虚化方法及装置、计算机设备、存储介质
CN110717878B (zh) 图像融合方法、装置、计算机设备和存储介质
CN112258440B (zh) 图像处理方法、装置、电子设备及存储介质
Kim et al. Low-light image enhancement based on maximal diffusion values
Pan et al. MIEGAN: Mobile image enhancement via a multi-module cascade neural network
CN111311528B (zh) 图像融合优化方法、装置、设备和介质
CN111161136B (zh) 图像虚化方法、图像虚化装置、设备及存储装置
CN111243051B (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
CN111489322A (zh) 给静态图片加天空滤镜的方法及装置
Singh et al. A comprehensive review of convolutional neural network based image enhancement techniques
CN114511449A (zh) 图像增强方法、装置及计算机可读存储介质
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
Ji et al. Geometry-aware single-image full-body human relighting
CN111263067B (zh) 图像处理方法、装置、终端设备和存储介质
WO2022233252A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN110136092B (zh) 图像处理方法、装置及存储介质
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
CN111815729B (zh) 一种实时美肤方法、装置、设备和计算机存储介质
CN108346128B (zh) 一种美颜磨皮的方法和装置
CN113538270A (zh) 一种人像背景虚化方法和装置
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant