CN113674303A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113674303A CN113674303A CN202111012289.5A CN202111012289A CN113674303A CN 113674303 A CN113674303 A CN 113674303A CN 202111012289 A CN202111012289 A CN 202111012289A CN 113674303 A CN113674303 A CN 113674303A
- Authority
- CN
- China
- Prior art keywords
- edge
- mask
- image
- edge mask
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 title claims description 125
- 238000009499 grossing Methods 0.000 claims abstract description 76
- 230000007704 transition Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims description 109
- 238000001914 filtration Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开一种图像处理方法,该方法包括:提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜;依次对所述第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜;根据所述第二边缘掩膜确定所述第一图像的背景区域,并对所述背景区域进行虚化处理。实施本申请实施例,能够对虚化效果进行改善,达到边缘准确、平滑且过渡自然的虚化效果。
Description
技术领域
本申请涉及影像技术领域,具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前,智能手机等电子设备可提供图像虚化功能,模拟专业相机拍摄得到的拍摄对象主体清晰、背景模糊的虚化效果。然而,在实践中发现,现有的图像虚化功能能够达到的虚化效果与专业相机实际的虚化效果之间仍然存在差距,虚化效果不佳。
发明内容
本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质,能够对虚化效果进行改善,达到边缘准确、平滑且过渡自然的虚化效果。
本申请实施例公开一种图像处理方法,所述方法包括:提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜;依次对所述第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜;根据所述第二边缘掩膜确定所述第一图像的背景区域,并对所述背景区域进行虚化处理。
本申请实施例公开一种图像处理装置,包括:提取模块,用于提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜;边缘处理模块,用于依次对所述第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜;虚化模块,用于根据所述第二边缘掩膜确定所述第一图像的背景区域,并对所述背景区域进行虚化处理。
本申请实施例公开一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现本申请实施例公开的任意一种图像处理方法。
本申请实施例公开一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现本申请实施例公开的任意一种图像处理方法。
与相关技术相比,本申请实施例具有以下有益效果:
从第一图像中提取出拍摄对象的轮廓边缘,以得到第一边缘掩膜,并一次对第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到的第二边缘掩膜中的轮廓边缘与第一图像中实际的轮廓边缘之间的差异较小,第二边缘掩膜中的轮廓边缘准确、平滑且过渡自然。以第二边缘掩膜中的轮廓边缘为界限,可以准确地确定出第一图像中需要进行虚化处理的背景区域,对背景区域进行虚化处理后,第一图像整体的虚化效果趋于自然,更接近专业相机拍摄得到的虚化效果,虚化效果得到明显改善。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一个实施例公开的一种图像处理电路的结构示意图;
图2是一个实施例公开的一种图像处理方法的方法流程示意图;
图3是一个实施例公开的一种第一边缘掩膜的示例图;
图4是一个实施例公开的第一边缘掩膜的对比示例图;
图5是一个实施例公开的拍摄对象掩膜的对比示例图;
图6是一个实施例公开的一种对第一边缘掩膜中的轮廓边缘进行对齐处理的方法流程示例图;
图7是一个实施例公开的一种对边缘对齐的第一边缘掩膜进行平滑处理的方法流程示例图;
图8是一个实施例公开的一种宽度收窄的第一边缘掩膜的示例图;
图9是一个实施例公开的另一种对边缘对齐的第一边缘掩膜进行平滑处理的方法流程示例图;
图10是一个实施例公开的一种对边缘平滑的第一边缘掩膜进行过渡处理的方法流程示例图;
图11是一个实施例公开的一种生成第一边缘掩膜的方法流程示意图;
图12是一个实施例公开的一种图像处理装置的结构示意图;
图13是一个实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质,能够达到边缘准确、平滑且过渡自然的虚化效果。以下分别进行详细说明。
请参阅图1,图1是一个实施例公开的一种图像处理电路的结构示意图。该图像处理电路可应用于智能手机、智能平板、智能手表等电子设备,但不限于此。如图1所示,图像处理电路可包括成像设备(摄像头)110、姿态传感器120、图像存储器120、图像信号处理(Image Signal Processing,ISP)处理器140、逻辑控制器150以及显示器160。
图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据(RAW图像数据)。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
此外,图像传感器114也可将原始图像数据发送给姿态传感器120,姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140,或者姿态传感器120将原始图像数据存储到图像存储器120中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器120接收图像数据。例如,姿态传感器120接口将原始图像数据发送给图像存储器120,图像存储器120中的原始图像数据再提供给ISP处理器140以供处理。图像存储器120可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器120的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器120,以便在被显示之前进行另外的处理。ISP处理器140从图像存储器120接收处理数据,并对该处理数据进行原始域中以及YUV、RGB、YCbCr等一种或多种颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器140的输出还可发送给图像存储器120,且显示器160可从图像存储器120读取图像数据。在一个实施例中,图像存储器120可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如,统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在YUV处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
在一个实施例中,成像设备110可拍摄第一图像,并将第一图像发送至ISP处理器140中,或者将第一图像存储到图像存储器120中。ISP处理器可从成像设备110或者存储器120中获取第一图像,并提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜。ISP处理器140可依次对第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜,并根据第二边缘掩膜确定第一图像的背景区域,并对背景区域进行虚化处理。
在一些实施例中,ISP处理器140还可将对第一图像的背景区域进行虚化后得到的第二图像发送至显示器160,以通过显示器160显示第二图像。
请参阅图2,图2是一个实施例公开的一种图像处理方法的方法流程示意图,该方法可应用于前述的任意一种电子设备。如图2所示,该方法可包括以下步骤:
210、提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜。
第一图像的拍摄对象可包括人像、动物或者特定的物体等,但不限于此。第一图像可包括前景区域和背景区域,前景区域可为拍摄对象所处的图像区域,背景区域可为第一图像中除前景区域以外的其它图像区域。
轮廓边缘可包括拍摄对象所处的图像区域与背景区域交界处的像素点。
电子设备可对第一图像的拍摄对象进行图像识别,以在第一图像中定位拍摄对象所处的前景区域,从而提取出拍摄对象的轮廓边缘。示例性的,电子设备可通过特征匹配或者深度学习等方式定位前景区域,从而提取出人像的轮廓边缘。或者,
电子设备也可以识别第一图像中各个像素点的深度信息,深度信息可用于指示第一图像的前景或者背景区域中的物体与成像设备之间的物理距离。电子设备可根据各个像素点的深度信息从第一图像中识别出拍摄对象,例如可将小于深度阈值的像素点识别为属于拍摄对象的像素点,以定位出拍摄对象所处的前景区域,从而提取出拍摄对象的轮廓边缘。
第一边缘掩膜可用于标注拍摄对象的轮廓边缘,第一边缘掩膜可以是二值化的边缘掩膜,也可以是灰度图,具体不做限定。例如,当第一边缘掩膜为二值化的边缘掩膜时,像素点的像素值为1可用于指示该像素点属于拍摄对象的轮廓边缘,像素点的像素值为0可用于指示该像素点不属于拍摄对象的轮廓边缘。
请参阅图3,图3是一个实施例公开的一种第一边缘掩膜的示例图。如图1所示,白色区域中像素点的像素值可为1,黑色区域中像素点的像素值可为0。白色区域可标注拍摄对象的轮廓边缘。
示例性的,电子设备可先根据图像识别或者机器学习等方式生成第一图像的拍摄对象掩膜,拍摄对象掩膜可用于标注第一图像中拍摄对象的图像位置,从而可用于对拍摄对象所处的前景区域进行定位。电子设备可从拍摄对象掩膜中提取出轮廓边缘,以得到第一边缘掩膜。
220、依次对第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜。
受限于图像识别准确性等因素的影像,第一边缘掩膜中的轮廓边缘与第一图像中拍摄对象实际的轮廓边缘之间可能存在一定差异。
对齐处理,可包括任意对第一边缘掩膜中的轮廓边缘进行修正的图像处理,可用于以第一图像实际的轮廓边缘为基准,对齐第一边缘掩膜中的轮廓边缘,从而可以提高第一边缘掩膜的准确性。
示例性的,对齐处理可包括结合第一图像和第一边缘掩膜的滤波处理。或者,对齐处理也可通过机器学习方法进行,将第一图像和第一边缘掩膜输入至训练好的网络模型,由网络模型对第一边缘掩膜进行修正。对网络模型进行训练时采用的样本数据可包括原始样本图像,以及标注有原始样本图像中拍摄对象的轮廓边缘的样本边缘掩膜。
第一边缘掩膜中的轮廓边缘可能存在毛刺、锯齿等不平滑的区域。并且,对齐处理在对轮廓边缘进行修正的同时,也可能由于轮廓边缘外扩而导致轮廓边缘出现毛刺或者锯齿。
因此,电子在对第一边缘掩膜进行对齐处理之后,可以对边缘对齐的第一边缘掩膜进行平滑处理,得到边缘平滑的第一边缘掩膜。
平滑处理,可包括任意一种平滑滤波处理,可用于消除轮廓边缘中的凸起和凹陷。示例性的,平滑处理可包括均值模糊、加权插值平滑等滤波处理,但不限于此。
示例性的,请参阅图4,图4是一个实施例公开的第一边缘掩膜的对比示例图。如图4所示,第一边缘掩膜410中的轮廓边缘存在毛刺,毛刺与邻近的像素点相比存在明显的凸起。对第一边缘掩膜410中的轮廓边缘进行平滑处理,可以在一定程度上抹平毛刺,使得第一边缘掩膜420中的轮廓边缘更加平滑。
第一边缘掩膜中的轮廓边缘可能较为锐利,即轮廓边缘的清晰度较高。轮廓边缘锐利可能导致拍摄对象的主体与虚化背景之间的过渡不自然,导致产生贴图感。
因此,电子设备在对第一掩膜进行平滑处理之后,可以对边缘平滑的第一边缘掩膜进行边缘过渡处理,从而得到第二边缘掩膜。
过渡处理,可包括任意将第一边缘掩膜中的轮廓边缘进行渐变模糊的模糊处理,可用于生成过渡区域,过渡区域中的各个像素点在虚化后呈渐变模糊的效果,越接近背景区域的像素点越模糊。过渡处理可包括均值模糊等滤波处理,但不限于此。需要说明的是,与平滑处理不同,过渡处理可拓宽第一边缘掩膜中的轮廓边缘,而平滑处理可用于抹平第一边缘掩膜中轮廓边缘的凸起或凹陷。
可选的,电子设备可以先确定拍摄对象对应的过渡参数,并根据过渡参数对边缘平滑的第一边缘掩膜进行模糊处理,以得到第二边缘掩膜。其中,过渡参数可包括模糊窗口的大小或者模糊半径等,但不限于此。此外,不同的拍摄对象对应的过渡参数可相同或不同,同一个拍摄对象在不同拍摄角度或者拍摄距离下对应的过渡参数也可相同或不同,具体不做限定。
230、根据第二边缘掩膜确定第一图像的背景区域,并对背景区域进行虚化处理。
为了模拟专业相机的图像虚化效果,电子设备需要对第一图像的背景区域进行虚化处理,使得背景区域模糊而拍摄对象所处的前景区域保持清晰。
第二边缘掩膜中的轮廓边缘可用于指示前景区域和背景区域的交界,因此,第二边缘掩膜的准确性可能影响虚化效果。第二边缘掩膜中的轮廓边缘与拍摄对象实际的轮廓边缘相比,若第二边缘掩膜中的轮廓边缘大于实际的轮廓边缘,则本应进行虚化处理的背景像素点可能错误地被识别为属于拍摄对象,导致漏虚问题。若第二边缘掩膜中的轮廓边缘小于实际的轮廓边缘,则本应清晰的前景像素点可能被错误地识别为属于背景区域,导致误虚问题。
电子设备对第一边缘掩膜进行一系列边缘处理后,得到的第二边缘掩膜可更准确地指示拍摄对象的轮廓边缘。电子设备可将第二边缘掩膜回填至第一图像的拍摄对象掩膜中,从而将拍摄对象的轮廓边缘与拍摄对象主体进行融合,得到包括轮廓边缘优化后的拍摄对象掩膜,从而可以轮廓边缘优化后的拍摄对象掩膜标注的前景区域确定第一图像的背景区域。
电子设备可以在基于第二边缘掩膜确定出第一图像的背景区域之后,通过高斯模糊、均值模糊等模糊处理对背景区域进行虚化处理。
或者,电子设备在执行前述的步骤210-步骤220,以生成第二边缘掩膜的同时,也可以先根据第一图像中各个像素点的景深信息对第一图像进行虚化处理。在得到第二边缘掩膜之后,电子设备可以将第二边缘掩膜进行回填,以得到包括轮廓边缘优化后的拍摄对象掩膜,并根据轮廓边缘优化后的拍摄对象掩膜从第一图像中提取出清晰的拍摄对象主体,再将提取出的拍摄对象主体与已虚化的第一图像进行融合,完成对背景区域的虚化处理。
示例性的,请参阅图5,图5是一个实施例公开的拍摄对象掩膜的对比示例图。拍摄对象掩膜510为轮廓边缘优化前的拍摄对象掩膜,第一边缘掩膜可根据拍摄对象掩膜510生成。依次对第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,以得到第二边缘掩膜520。将第二边缘掩膜回填至拍摄对象掩膜510,得到轮廓边缘优化后的拍摄对象掩膜520。从图5中可以看出,拍摄对象掩膜520与拍摄对象掩膜510相比,拍摄对象掩膜520中的轮廓边缘毛刺、锯齿更少,边缘更平滑。
可见,在前述实施例中,电子设备可以对第一边缘掩膜中的轮廓边缘依次进行对齐处理、平滑处理和过渡处理。三种处理操作依次进行,对齐处理可修正初步提取出的轮廓边缘,平滑处理可以对轮廓边缘进行平滑,边缘过渡处理可生成合理的过渡区域,三种处理操作相互结合,从轮廓边缘整体上减少漏虚、误虚问题,使得处理后得到的第二边缘掩膜中的轮廓边缘与第一图像中实际的轮廓边缘之间的差异较小。第二边缘掩膜中的轮廓边缘准确、平滑并且过渡自然,从而使得第一图像整体的虚化效果趋于自然,更接近专业相机拍摄得到的虚化效果。
为了更清楚地说明本申请实施例公开的图像处理方法,以下内容针对对齐处理、平滑处理和过渡处理进行分别说明。
请参阅图6,图6是一个实施例公开的一种对第一边缘掩膜中的轮廓边缘进行对齐处理的方法流程示例图,该方法可应用于前述的电子设备。如图6所示,可包括以下步骤:
610、利用第一图像对第一边缘掩膜进行快速全局光滑滤波处理,得到光滑滤波的第一边缘掩膜。
电子设备可获取YUV或者RGB格式的第一图像。若获取到的第一图像为YUV格式,则电子设备可先将YUV格式转换为RGB格式。
全局光滑滤波处理可通过全局光滑滤波器(Fast Global Smoother Filter,FGSFilter)实现,FGS Filter可基于RGB格式的第一图像对第一边缘掩膜中的轮廓边缘进行滤波处理。FGS Filter可对第一边缘掩膜整体的全局光滑问题建立能量函数模型,并通过最小化能量函数实现全局光滑,是一个全局最优的解法。通过FGS Filter对第一边缘掩膜进行滤波处理,既达到加快滤波速度又保留了边缘区域的全局关系,可以有效兼顾性能和效果。
620、以第一图像的亮度分量图作为引导图,对光滑滤波的第一边缘掩膜进行引导滤波处理,得到边缘对齐的第一边缘掩膜。
电子设备可获取第一图像的亮度分量图,亮度分量图包括第一图像中各个像素点的亮度分量值。若获取到的第一图像为YUV格式,则电子设备可将第一图像Y通道的分量图作为第一图像的亮度分量图;若获取到的第一图像为RGB格式,则电子设备可先将RGB格式转换为YUV格式。
引导滤波处理可通过引导滤波器(Guided Filter)实现,Guided Filter可基于引导图(亮度分量图)对光滑滤波的第一边缘掩膜进行滤波处理,把经过FGS Filter进行初步边缘对齐之后的轮廓边缘进行进一步对齐。Guided Filter可通过局部线性关系将引导图的光滑性质转移到第一边缘掩膜上,通过最小化第一边缘掩膜与引导图之间的差异进行光滑化,是一个局部最优的解法。
在前述实施例中,电子设备通过FGS Filter和Guided Filter,利用第一图像从全局和局部的角度依次对第一边缘掩膜进行滤波,对齐了第一边缘掩膜中的轮廓边缘与第一图像中实际的轮廓边缘之间的误差,有利于减少漏虚、误虚的问题。
电子设备在对第一边缘掩膜进行对齐处理,得到边缘对齐的第一边缘掩膜之后,可以继续对边缘对齐的第一边缘掩膜进行平滑处理,以得到边缘平滑的第一边缘掩膜。请参阅图7,图7是一个实施例公开的一种对边缘对齐的第一边缘掩膜进行平滑处理的方法流程示例图,该方法可应用于前述的电子设备。如图7所示,可包括以下步骤:
710、基于映射曲线,收窄边缘对齐的第一边缘掩膜中的轮廓边缘,得到边缘收窄的第一边缘掩膜。
相较于未进行对齐处理的,原始的第一边缘掩膜,在边缘对齐的第一边缘掩膜中,轮廓边缘可能向背景区域扩散,即向外扩散。向外扩散的轮廓边缘会提高漏虚的风险。因此,电子设备可以先收窄第一边缘掩膜中的轮廓边缘,以将轮廓边缘向靠近拍摄对象的方向进行内收,有利于减少漏虚。
电子设备可基于映射曲线,对边缘对齐的第一边缘掩膜中的各个像素点的像素值进行映射,以改变像素点的像素值,使得部分在映射前被划分为轮廓边缘的像素点在映射后可以被重新划分为属于背景区域,从而收窄轮廓边缘。
示例性的,映射曲线可包括Sigmoid曲线,Sigmoid曲线可通过以下公式进行表示:
其中,y可表示映射后的像素值,x可表示映射前的像素值,a可表示平滑度,b可表示中心位置。
此外,平滑度a和中心位置b可为经验值,可根据实际的业务需求设置,具体不做限定。中心位置b与轮廓边缘的收窄可呈正相关关系,中心位置b越大,轮廓边缘向内收窄得越多。
在一些实施例中,对齐处理导致的轮廓边缘向外扩散还可能使得轮廓边缘产生新的毛刺、锯齿等不平滑的区域,电子设备在执行前述的步骤710对轮廓边缘进行收窄之前,还可先对轮廓边缘进行均值模糊处理,以初步抹平轮廓边缘中的凸起或者凹陷。
也就是说,电子设备可以对边缘对齐的第一边缘掩膜进行均值模糊,并基于映射曲线,收窄均值模糊后的第一边缘掩膜中的轮廓边缘,以得到边缘收窄的第一边缘掩膜。其中,均值模糊可通过盒式滤波器(Box Filter)实现。此外,由于均值模糊也可能导致轮廓边缘向外扩散,因此在进行边缘收窄处理之前进行均值模糊,可以使得步骤710所示的边缘收窄处理可以对边缘对齐和均值模糊造成的轮廓边缘扩散一并进行优化,有利于提高处理效率。
在一些实施例中,基于映射曲线的边缘收窄处理可能会导致像素点的像素值区间发生变化。因此,电子设备在基于映射曲线,对边缘对齐的第一边缘掩膜中的各个像素点的像素值进行映射之后,可以对各个像素点的像素值进行归一化。例如,可将各个像素点的像素值归一化到0-255的数值范围内。
在一些实施例中,边缘收窄处理可包括均值模糊、基于映射曲线的边缘收窄和归一化三个步骤,电子设备在执行步骤720之前,可以对边缘对齐的第一边缘掩膜进行一次或者多次边缘收窄处理,以将轮廓边缘逐次内收,并进行初步的毛刺、锯齿消除,进行边缘收窄处理的次数不做限定。
720、针对边缘收窄的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
针对边缘收窄的第一边缘掩膜中的每个像素点,电子设备可基于像素点的邻域进行加权插值平滑处理,从而对轮廓边缘进行平滑。
可选的,加权插值平滑处理可包括去瑕疵(Inpaint)边缘平滑处理。Inpaint边缘平滑处理可遍历边缘收窄的第一边缘掩膜中的每个像素点,并且针对当前访问的像素点,可通过迭代的方式进行加权插值,从而平滑当前访问的像素点与该像素点的邻域中可能存在的凸起或者凹陷。
在每次迭代的过程中,基于当前访问的像素点的邻域,先计算邻域中上、下、左、右四个方向的半像素值,再计算四个方向的权重,并加上当前访问的像素点的权重进行归一化处理。然后,利用四个方向的半像素值乘以四个方向分别对应的权重,以及当前访问的像素点的像素值乘以当前访问的像素点的权重,得到一次迭代的加权插值处理结果。重复上述的迭代过程,直至收敛。
在前述实施例中,电子设备可基于映射曲线收窄第一边缘掩膜中的轮廓边缘,以减少轮廓边缘向外扩撒导致的漏虚问题;并且,还可以通过加权插值平滑处理使得第一边缘掩膜中的轮廓边缘平滑,减少轮廓边缘中的凸起和凹陷,有利于达到边缘准确且平滑的虚化效果。
在一些实施例中,由于加权插值平滑处理在对轮廓边缘进行平滑的同时,也有可能导致轮廓边缘的细节丢失。为了保护轮廓边缘细节,电子设备在进行加权插值平滑处理之前,可以先对第一边缘掩膜进行边缘保护处理,其中可包括以下步骤:
电子设备在执行步骤710得到边缘收窄的第一边缘掩膜之后,可从边缘收窄的第一边缘掩膜中识别出像素值小于第一阈值的目标像素点,并将目标像素点的像素值提升至目标数值,以得到边缘保护的第一边缘掩膜。其中,第一阈值小于目标数值,第一阈值和目标数值可根据实际的业务务求设置,具体不做限定。示例性的,第一阈值可为127,目标数值可为灰度范围中的最大值255。
电子设备在执行步骤720时,可以针对边缘保护的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
在一个实施例中,部分加权插值平滑处理,例如Inpaint边缘平滑处理可能包括多次迭代,导致平滑处理的计算量增加。为了减少计算量,电子设备可以在进行加权插值平滑处理之前,生成宽度更小的轮廓边缘,以减少加权插值平滑处理需要计算的像素点数量,从而降低计算量。其中,生成宽度更小的轮廓边缘,可包括以下步骤:
电子设备根据第二阈值对边缘保护后的第一边缘掩膜进行二值化,得到二值化边缘掩膜;对二值化边缘掩膜进行膨胀,并将膨胀后的二值化边缘掩膜减去膨胀前的二值化边缘掩膜,得到宽度收窄的第一边缘掩膜,宽度收窄的第一边缘掩膜中的轮廓边缘的宽度明显小于膨胀前的二值化边缘掩膜中的轮廓边缘的宽度。
可选的,电子设备还可进一步移除宽度收窄的第一边缘掩膜中的背景像素点。其中,电子设备可根据边缘保护的第一边缘掩膜中各个像素点的像素值进行
电子设备在执行步骤720时,可以针对宽度收窄的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
示例性的,请一并参阅图3和图8,图8是一个实施例公开的一种宽度收窄的第一边缘掩膜的示例图。图8所示的宽度收窄的第一边缘掩膜中的轮廓边缘的宽度小于图3所示的第一边缘掩膜中的轮廓边缘的宽度。
综上所述,请参阅图9,图9是一个实施例公开的另一种对边缘对齐的第一边缘掩膜进行平滑处理的方法流程示例图。如图9所示,边缘对齐的第一边缘掩膜910可先进行边缘收窄处理,包括:基于Box Filter的均值模糊、基于Sigmoid曲线的边缘收窄和归一化,以得到边缘收窄的第一边缘掩膜920。对边缘收窄的第一边缘掩膜920进行边缘保护处理,将目标像素点的像素值提升值目标数值,以得到边缘保护的第一边缘掩膜930。基于边缘保护的第一边缘掩膜930生成轮廓边缘宽度更小的宽度收窄的第一边缘掩膜940,包括:对边缘保护的第一边缘掩膜930进行二值化,再进行膨胀后减去膨胀前的二值化掩膜,得到宽度收窄的第一边缘掩膜940。对宽度收窄的第一边缘掩膜940进行Inpaint边缘平滑处理,得到边缘平滑的第一边缘掩膜950。
可见,在前述实施例中,电子设备可通过边缘收窄处理、边缘保护处理、加权插值平滑处理对轮廓边缘进行内收和平滑,使得处理后得到的边缘平滑的第一边缘掩膜精细且平滑。此外,电子设备还还可以对宽度更小的宽度收窄的第一边缘掩膜进行加权插值平滑处理,以减少计算量,加快处理速度。
电子设备在对第一边缘掩膜进行平滑处理,得到边缘平滑的第一边缘掩膜之后,可以继续对边缘平滑的第一边缘掩膜进行过渡处理,以得到第二边缘掩膜。请参阅图10,图10是一个实施例公开的一种对边缘平滑的第一边缘掩膜进行过渡处理的方法流程示例图,该方法可应用于前述的电子设备。
如图10所示,可包括以下步骤:
1010、根据拍摄对象在第一图像中的图像尺寸与第一图像整体的图像尺寸之间的尺寸比例,确定模糊半径。
电子设备可通过图像识别或者机器学习等方式定位第一图像中的感兴趣区域(Region Of Interest,ROI)。ROI区域可用于表示拍摄对象在第一图像中的前景区域。电子设备可进一步计算ROI的图像尺寸与第一图像整体的图像尺寸之间的尺寸比例,该尺寸比例可反映拍摄对象在第一图像中的占比。其中,图像尺寸可通过像素点的数量进行表示,但不限于此。
模糊半径可为其中一种过渡参数,模糊半径可用于指示模糊程度,模糊半径越大,模糊程度越高。可选的,模糊半径与上述的尺寸比例之间可呈正相关关系,拍摄对象在第一图像中的占比越大,模糊半径越大。
1020、利用模糊半径对边缘平滑的第一边缘掩膜进行模糊处理,得到第二边缘掩膜。
电子设备可基于计算出的模糊半径对边缘平滑的第一边缘掩膜进行模糊处理。模糊处理可通过Box Filter实现,模糊处理可拓宽轮廓边缘,基于尺寸比例计算出的模糊半径,使得模糊处理后得到的过渡区域较为合理,从而以减轻边缘过度锐利而导致的贴图感。
在一些实施例中,由于模糊处理也可能导致轮廓边缘向外扩散,电子设备在进行模糊处理之后,还可以基于映射曲线,收窄模糊处理后的第一边缘掩膜的轮廓边缘,并将收窄后的边缘掩膜作为第二边缘掩膜,以减少轮廓边缘向外扩散导致的漏虚问题。
可选的,在基于映射曲线对轮廓边缘进行收窄之后,电子设备还可先对收窄后的边缘掩膜进行归一化,并将归一化后的边缘掩膜作为第二边缘掩膜,以使第二边缘掩膜包括的各个像素点的像素值处于正常的数值范围,例如处于0-255之间。
进一步可选的,电子设备还可根据计算出的模糊半径,对归一化后的边缘掩膜再次进行模糊处理,并将再次模糊处理后的边缘掩膜作为第二边缘掩膜。
可见,在前述实施例中,电子设备可根据拍摄对象在第一图像中的占比计算模糊半径,使得基于模糊半径进行模糊处理的过渡区域较为合理,从而减轻虚化后的贴图感,使得边缘过渡趋于自然。此外,还可以通过边缘收窄、多次模糊处理等处理操作对轮廓边缘进行微调,以提升过渡处理的整体处理效果。
在前述实施例中,针对对齐处理、平滑处理和过渡处理进行了分别说明。上述三种处理操作的处理对象以第一边缘掩膜为基础,因此第一边缘掩膜也可能影响最终生成的第二边缘掩膜的准确性。以下内容对第一边缘掩膜的生成进行说明。
请参阅图11,图11是一个实施例公开的一种生成第一边缘掩膜的方法流程示意图,该方法可应用于前述的电子设备。如图11所示,该方法可包括以下步骤:
1110、根据第一图像对应的虚化力度图以及虚化半径阈值,从第一图像中提取出拍摄对象掩膜。
第一图像对应的虚化力度图可包括第一图像中各个像素点对应的虚化半径,虚化半径可用于指示对像素点进行虚化处理的虚化程度,虚化半径越大,虚化程度越高,虚化后的像素点越模糊。
电子设备可根据第一图像中各个像素点的景深信息生成虚化力度图。例如,像素点的景深值越小,对应的虚化半径越小。因此,虚化半径也可用于在第一图像中区分拍摄对象所处的前景区域和背景区域。电子设备可将第一图像中各个像素点对应的虚化半径与虚化半径阈值进行对比,将虚化半径小于虚化半径阈值的像素点识别为属于拍摄对象,从而得到可用于标注拍摄对象的拍摄对象掩膜。
1120、对拍摄对象掩膜进行膨胀,并将膨胀后的拍摄对象掩膜减去膨胀前的拍摄对象掩膜,得到第一图像的拍摄对象的第一轮廓边缘。
电子设备可对拍摄对象掩膜进行膨胀,例如可将拍摄对象掩膜膨胀一个像素点;然后,将膨胀后的拍摄对象掩膜减去膨胀前的拍摄对象掩膜,可得到一条拍摄对象的外轮廓线,即第一轮廓边缘。
1120、根据第一轮廓边缘生成第一边缘掩膜。
电子设备可直接将第一轮廓边缘确定为第一边缘掩膜;或者,若第一轮廓边缘的宽度过小,例如宽度仅为一个像素点,则电子设备可继续对第一轮廓边缘进行一系列形态学处理,以拓宽和/或修正第一轮廓边缘,使得第一边缘掩膜中的轮廓边缘的宽度较为合理,且轮廓边缘准确。
可选的,电子设备可计算第一轮廓边缘中的第一像素点的像素值与第一像素点的邻域包括的各个第二像素点的像素值之间的差值绝对值,并将对应的差值绝对值大于第三阈值的第二像素点识别为第二轮廓边缘中的像素点。
其中,第一像素点可为第一轮廓边缘中的任意一个像素点,即电子设备可遍历第一轮廓边缘中的每个像素点。第一像素点的邻域可包括以第一像素点为中心的N×N的区域,N为正整数,可根据实际的业务需求设置,具体不做限定。此外,第三阈值也可根据实际的业务务求设置,例如可设置为1,具体不做限定。
也就是说,电子设备可将第一轮廓边缘周边与第一轮廓边缘相近的像素点识别为属于轮廓边缘的像素点,以基于像素点之间的差异对第一轮廓边缘进行修正,得到第二轮廓边缘。
电子设备可从第一轮廓边缘减去第二轮廓边缘,得到第三轮廓边缘,并删除第三轮廓边缘中图像尺寸小于第四阈值的图像区域,得到第四轮廓边缘。图像尺寸可通过图像区域包含的像素点数量进行表示,第三轮廓边缘可包括一个或多个连通域,被删除的图像区域可为连通域。第三轮廓边缘是第一轮廓边缘和第二轮廓边缘之间的差值,可以是渐变的轮廓边缘。
电子设备将第一轮廓边缘再减去第四轮廓边缘,得到第五轮廓边缘,并对第五轮廓边缘进行膨胀,可得到第一边缘掩膜。第五轮廓边缘是第一轮廓边缘和第四轮廓边缘之间的差值,也可以是渐变的轮廓边缘。
可见,电子设备可对第一轮廓边缘进行修正、删减、膨胀等一系列操作,使得最终得到的第一边缘掩膜中的轮廓边缘准确且宽度合度,有利于提高后续对第一边缘掩膜进行一系列边缘处理的准确性。
在一些实施例中,为了减少对齐处理、平滑处理、过渡处理等一系列边缘处理的计算量,电子设备可从第一边缘掩膜以及第一图像中裁剪出轮廓边缘框定的区域,以减少图像尺寸。电子设备在对第一边缘掩膜进行前述的各种边缘处理时,处理对象可包括裁剪后保留的,由轮廓边缘框定的区域,从而可以减少计算量。
示例性的,电子设备可计算第一边缘掩膜中的轮廓边缘的边框(Bounding Box),并根据计算出的Bouding Box对第一边缘掩膜和第一图像进行裁剪。
在前述实施例中,电子设备可以生成轮廓边缘较为准确的第一边缘掩膜,有利于提高后续边缘处理的准确性,有利于通过一系列边缘处理生成准确、平滑且过渡自然的第二边缘掩膜,从而改善虚化效果。
请参阅图12,图12是一个实施例公开的一种图像处理装置的结构示意图,该装置可应用于前述的电子设备。如图12所示,图像处理装置1200可包括:提取模块1210、边缘处理模块1220和虚化模块1230。
提取模块1210,可用于提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜;
边缘处理模块1220,可用于依次对第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜;
虚化模块1230,可用于根据第二边缘掩膜确定第一图像的背景区域,并对背景区域进行虚化处理。
在一个实施例中,边缘处理模块1220可包括:对齐单元、平滑单元和过渡单元。
对齐单元,可用于利用第一图像对第一边缘掩膜中的轮廓边缘进行修正,以得到边缘对齐的第一边缘掩膜;
平滑单元,可用于对边缘对齐的第一边缘掩膜进行平滑处理,以得到边缘平滑的第一边缘掩膜;
过渡单元,可用于确定拍摄对象对应的过渡参数,并根据过渡参数对边缘平滑的第一边缘掩膜进行模糊处理,得到第二边缘掩膜。
在一个实施例中,对齐单元,还可用于利用第一图像对第一边缘掩膜进行快速全局光滑滤波处理,得到光滑滤波的第一边缘掩膜;以及,以第一图像的亮度分量图作为引导图,对光滑滤波的第一边缘掩膜进行引导滤波处理,得到边缘对齐的第一边缘掩膜。
在一个实施例中,平滑单元,还可用于基于映射曲线,收窄边缘对齐的第一边缘掩膜中的轮廓边缘,得到边缘收窄的第一边缘掩膜;以及,针对边缘收窄的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
在一个实施例中,平滑单元,还可用于从边缘收窄的第一边缘掩膜中识别出像素值大于第一阈值的目标像素点,并将目标像素点的像素值提升至目标数值,以得到边缘保护的第一边缘掩膜;第一阈值小于目标数值;以及,针对边缘保护的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
在一个实施例中,平滑单元,还可用于根据第二阈值对边缘保护后的第一边缘掩膜进行二值化,得到二值化边缘掩膜;以及,对二值化边缘掩膜进行膨胀,并将膨胀后的二值化边缘掩膜减去膨胀前的二值化边缘掩膜,得到宽度收窄的第一边缘掩膜;以及,对宽度收窄的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
在一个实施例中,过渡单元,还可用于根据拍摄对象在第一图像中的图像尺寸与第一图像整体的图像尺寸之间的尺寸比例,确定模糊半径;以及,基于模糊半径对边缘平滑的第一边缘掩膜进行模糊处理,得到第二边缘掩膜。
在一个实施例中,提取模块1210,还可用于根据第一图像对应的虚化力度图以及虚化半径阈值,从第一图像中提取出拍摄对象掩膜;虚化力度图包括第一图像中各个像素点对应的虚化半径,拍摄对象掩膜中拍摄对象包括的各个像素点对应的虚化半径均小于虚化半径阈值;以及,对拍摄对象掩膜进行膨胀,并将膨胀后的拍摄对象掩膜减去膨胀前的拍摄对象掩膜,得到第一图像的拍摄对象的第一轮廓边缘;以及,根据第一轮廓边缘生成第一边缘掩膜。
在一个实施例中,提取模块1210,还可用于计算第一轮廓边缘中每个第一像素点的像素值分别与第一像素点的邻域包括的各个第二像素点的像素值之间的差值绝对值,并将对应的差值绝对值大于第三阈值的第二像素点识别为第二轮廓边缘中的像素点,第一像素点为第一轮廓边缘中的任意一个像素点;以及,将第一轮廓边缘减去第二轮廓边缘,得到第三轮廓边缘,并删除第三轮廓边缘中面积小于第四阈值的区域,得到第四轮廓边缘;以及,将第一轮廓边缘减去第四轮廓边缘,得到第五轮廓边缘,并对第五轮廓边缘进行膨胀,得到第一边缘掩膜。
可见,在前述实施例中,图像处理装置可以对第一边缘掩膜中的轮廓边缘依次进行对齐处理、平滑处理和过渡处理,三种处理操作依次进行,对齐处理可修正初步提取出的轮廓边缘,平滑处理可以对轮廓边缘进行平滑,边缘过渡处理可生成合理的过渡区域,三种处理操作相互结合,从轮廓边缘整体上减少漏虚、误虚问题,使得处理后得到的第二边缘掩膜中的轮廓边缘与第一图像中实际的轮廓边缘之间的差异较小。第二边缘掩膜中的轮廓边缘准确、平滑并且过渡自然,从而使得第一图像整体的虚化效果趋于自然,更接近专业相机拍摄得到的虚化效果。
请参阅图13,图13是一个实施例公开的一种电子设备的结构示意图。
如图13所示,该电子设备1300可以包括:
存储有可执行程序代码的存储器1310;
与存储器1310耦合的处理器1320;
其中,处理器1320调用存储器1310中存储的可执行程序代码,执行本申请实施例公开的任意一种图像处理方法。
需要说明的是,图13所示的电子设备还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件,本实施例不作赘述。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行本申请实施例公开的任意一种图像处理方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种图像处理方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像处理方法,其特征在于,所述方法包括:
提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜;
依次对所述第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜;
根据所述第二边缘掩膜确定所述第一图像的背景区域,并对所述背景区域进行虚化处理。
2.根据权利要求1所述的方法,其特征在于,所述依次对所述第一边缘掩膜进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜,包括:
利用所述第一图像对所述第一边缘掩膜中的轮廓边缘进行修正,以得到边缘对齐的第一边缘掩膜;
对所述边缘对齐的第一边缘掩膜进行平滑处理,以得到边缘平滑的第一边缘掩膜;
确定所述拍摄对象对应的过渡参数,并根据所述过渡参数对所述边缘平滑的第一边缘掩膜进行模糊处理,得到第二边缘掩膜。
3.根据权利要求2所述的方法,其特征在于,所述利用所述第一图像对所述第一边缘掩膜中的轮廓边缘进行修正,以得到边缘对齐的第一边缘掩膜,包括:
利用所述第一图像对所述第一边缘掩膜进行快速全局光滑滤波处理,得到光滑滤波的第一边缘掩膜;
以所述第一图像的亮度分量图作为引导图,对所述光滑滤波的第一边缘掩膜进行引导滤波处理,得到边缘对齐的第一边缘掩膜。
4.根据权利要求2所述的方法,其特征在于,所述对所述边缘对齐的第一边缘掩膜进行平滑处理,以得到边缘平滑的第一边缘掩膜,包括:
基于映射曲线,收窄所述边缘对齐的第一边缘掩膜中的轮廓边缘,得到边缘收窄的第一边缘掩膜;
针对所述边缘收窄的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
5.根据权利要求4所述的方法,其特征在于,所述针对所述边缘收窄的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜,包括:
从所述边缘收窄的第一边缘掩膜中识别出像素值大于第一阈值的目标像素点,并将所述目标像素点的像素值提升至目标数值,以得到边缘保护的第一边缘掩膜;所述第一阈值小于所述目标数值;
针对所述边缘保护的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
6.根据权利要求5所述的方法,其特征在于,所述针对所述边缘保护的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜,包括:
根据第二阈值对所述边缘保护后的第一边缘掩膜进行二值化,得到二值化边缘掩膜;
对所述二值化边缘掩膜进行膨胀,并将膨胀后的二值化边缘掩膜减去膨胀前的二值化边缘掩膜,得到宽度收窄的第一边缘掩膜;
对所述宽度收窄的第一边缘掩膜中的每个像素点进行加权插值平滑处理,得到边缘平滑的第一边缘掩膜。
7.根据权利要求2所述的方法,其特征在于,所述过渡参数包括:模糊半径;以及,所述确定所述拍摄对象对应的过渡参数,并根据所述过渡参数对所述边缘平滑的第一边缘掩膜进行模糊处理,得到第二边缘掩膜,包括:
根据所述拍摄对象在所述第一图像中的图像尺寸与所述第一图像整体的图像尺寸之间的尺寸比例,确定模糊半径;
基于所述模糊半径对所述边缘平滑的第一边缘掩膜进行模糊处理,得到第二边缘掩膜。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜,包括:
根据所述第一图像对应的虚化力度图以及虚化半径阈值,从所述第一图像中提取出拍摄对象掩膜;所述虚化力度图包括所述第一图像中各个像素点对应的虚化半径,所述拍摄对象掩膜中拍摄对象包括的各个像素点对应的虚化半径均小于所述虚化半径阈值;
对所述拍摄对象掩膜进行膨胀,并将膨胀后的拍摄对象掩膜减去膨胀前的拍摄对象掩膜,得到所述第一图像的拍摄对象的第一轮廓边缘;
根据所述第一轮廓边缘生成第一边缘掩膜。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一轮廓边缘生成所述第一边缘掩膜,包括:
计算所述第一轮廓边缘中的第一像素点的像素值分别与所述第一像素点的邻域包括的各个第二像素点的像素值之间的差值绝对值,并将对应的差值绝对值大于第三阈值的第二像素点识别为第二轮廓边缘中的像素点,所述第一像素点为所述第一轮廓边缘中的任意一个像素点;
将所述第一轮廓边缘减去所述第二轮廓边缘,得到第三轮廓边缘,并删除所述第三轮廓边缘中图像尺寸小于第四阈值的图像区域,得到第四轮廓边缘;
将所述第一轮廓边缘减去所述第四轮廓边缘,得到第五轮廓边缘,并对所述第五轮廓边缘进行膨胀,得到第一边缘掩膜。
10.一种图像处理装置,其特征在于,包括:
提取模块,用于提取第一图像的拍摄对象的轮廓边缘,得到第一边缘掩膜;
边缘处理模块,用于依次对所述第一边缘掩膜中的轮廓边缘进行对齐处理、平滑处理和过渡处理,得到第二边缘掩膜;
虚化模块,用于根据所述第二边缘掩膜确定所述第一图像的背景区域,并对所述背景区域进行虚化处理。
11.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111012289.5A CN113674303B (zh) | 2021-08-31 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111012289.5A CN113674303B (zh) | 2021-08-31 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113674303A true CN113674303A (zh) | 2021-11-19 |
CN113674303B CN113674303B (zh) | 2024-07-16 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581443A (zh) * | 2022-05-06 | 2022-06-03 | 中科慧远视觉技术(北京)有限公司 | 一种图像处理方法、装置、计算机设备和可读存储介质 |
CN114758942A (zh) * | 2022-03-24 | 2022-07-15 | 中国科学院光电技术研究所 | 一种反应离子刻蚀掩膜 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1702542A (zh) * | 2004-05-26 | 2005-11-30 | 精工爱普生株式会社 | 图像处理系统、投影机及图像处理方法 |
CN102222328A (zh) * | 2011-07-01 | 2011-10-19 | 杭州电子科技大学 | 一种边缘保持的自然场景图像自适应加权滤波方法 |
CN102222326A (zh) * | 2011-06-28 | 2011-10-19 | 青岛海信信芯科技有限公司 | 一种基于单张低分辨率的图像去模糊方法及装置 |
CN104851085A (zh) * | 2014-02-17 | 2015-08-19 | 征图新视(江苏)科技有限公司 | 自动获取图像中检测区的方法及系统 |
WO2015131734A1 (zh) * | 2014-07-25 | 2015-09-11 | 中兴通讯股份有限公司 | 一种前视监视场景下的行人计数方法、装置和存储介质 |
WO2019105262A1 (zh) * | 2017-11-30 | 2019-06-06 | Oppo广东移动通信有限公司 | 背景虚化处理方法、装置及设备 |
CN110009556A (zh) * | 2018-01-05 | 2019-07-12 | 广东欧珀移动通信有限公司 | 图像背景虚化方法、装置、存储介质及电子设备 |
CN111354059A (zh) * | 2020-02-26 | 2020-06-30 | 北京三快在线科技有限公司 | 图像处理方法及装置 |
CN111402170A (zh) * | 2020-03-23 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像增强方法、装置、终端及计算机可读存储介质 |
CN112884764A (zh) * | 2021-03-24 | 2021-06-01 | 深圳前海微众银行股份有限公司 | 提取图像中地块的方法、装置、电子设备及存储介质 |
WO2021102772A1 (en) * | 2019-11-28 | 2021-06-03 | Qualcomm Incorporated | Methods and apparatus to smooth edge portions of an irregularly-shaped display |
CN113052926A (zh) * | 2019-12-27 | 2021-06-29 | 中国电信股份有限公司 | 图像对比度编辑方法和装置、计算机可读存储介质 |
CN113313645A (zh) * | 2021-05-26 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1702542A (zh) * | 2004-05-26 | 2005-11-30 | 精工爱普生株式会社 | 图像处理系统、投影机及图像处理方法 |
CN102222326A (zh) * | 2011-06-28 | 2011-10-19 | 青岛海信信芯科技有限公司 | 一种基于单张低分辨率的图像去模糊方法及装置 |
CN102222328A (zh) * | 2011-07-01 | 2011-10-19 | 杭州电子科技大学 | 一种边缘保持的自然场景图像自适应加权滤波方法 |
CN104851085A (zh) * | 2014-02-17 | 2015-08-19 | 征图新视(江苏)科技有限公司 | 自动获取图像中检测区的方法及系统 |
WO2015131734A1 (zh) * | 2014-07-25 | 2015-09-11 | 中兴通讯股份有限公司 | 一种前视监视场景下的行人计数方法、装置和存储介质 |
WO2019105262A1 (zh) * | 2017-11-30 | 2019-06-06 | Oppo广东移动通信有限公司 | 背景虚化处理方法、装置及设备 |
CN110009556A (zh) * | 2018-01-05 | 2019-07-12 | 广东欧珀移动通信有限公司 | 图像背景虚化方法、装置、存储介质及电子设备 |
WO2021102772A1 (en) * | 2019-11-28 | 2021-06-03 | Qualcomm Incorporated | Methods and apparatus to smooth edge portions of an irregularly-shaped display |
CN113052926A (zh) * | 2019-12-27 | 2021-06-29 | 中国电信股份有限公司 | 图像对比度编辑方法和装置、计算机可读存储介质 |
CN111354059A (zh) * | 2020-02-26 | 2020-06-30 | 北京三快在线科技有限公司 | 图像处理方法及装置 |
CN111402170A (zh) * | 2020-03-23 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像增强方法、装置、终端及计算机可读存储介质 |
CN112884764A (zh) * | 2021-03-24 | 2021-06-01 | 深圳前海微众银行股份有限公司 | 提取图像中地块的方法、装置、电子设备及存储介质 |
CN113313645A (zh) * | 2021-05-26 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
欧阳志恒等: "基于分层级各向异性滤波的图像景深渲染算法", 《光学技术》 * |
苏超然: "一种结合显著性检测的肖像照片自动背景虚化算法", 《小型微型计算机系统》 * |
蔡成涛: "《基于视觉的海洋浮标目标探测技术》", pages: 78 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114758942A (zh) * | 2022-03-24 | 2022-07-15 | 中国科学院光电技术研究所 | 一种反应离子刻蚀掩膜 |
CN114758942B (zh) * | 2022-03-24 | 2023-05-30 | 中国科学院光电技术研究所 | 一种反应离子刻蚀掩膜 |
CN114581443A (zh) * | 2022-05-06 | 2022-06-03 | 中科慧远视觉技术(北京)有限公司 | 一种图像处理方法、装置、计算机设备和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN113766125B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
WO2019105154A1 (en) | Image processing method, apparatus and device | |
EP3480784B1 (en) | Image processing method, and device | |
US11538175B2 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
CN110191287B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110796041B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110121031B (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
CN111246092B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111127303A (zh) | 背景虚化方法、装置、终端设备及计算机可读存储介质 | |
CN111246093B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113298735A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN110650288B (zh) | 对焦控制方法和装置、电子设备、计算机可读存储介质 | |
CN113673474B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110689007B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
CN113298829B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN113674303B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113674303A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |