CN115150606A - 一种图像虚化方法、装置、存储介质及终端设备 - Google Patents

一种图像虚化方法、装置、存储介质及终端设备 Download PDF

Info

Publication number
CN115150606A
CN115150606A CN202110351796.5A CN202110351796A CN115150606A CN 115150606 A CN115150606 A CN 115150606A CN 202110351796 A CN202110351796 A CN 202110351796A CN 115150606 A CN115150606 A CN 115150606A
Authority
CN
China
Prior art keywords
image
blurring
processed
parallax
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110351796.5A
Other languages
English (en)
Inventor
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202110351796.5A priority Critical patent/CN115150606A/zh
Publication of CN115150606A publication Critical patent/CN115150606A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像虚化方法、装置、存储介质及终端设备，所述方法包括获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。本申请通过结合人像掩膜图与视差图来对待处理图像进行虚化，在虚化过程中通过人像掩膜图来优化视差图中人像的视差值的一致性，减少人像的误虚和漏虚，同时利用视差图中的深度渐变来使得虚化得到虚化图像的虚化效果可以呈现渐变，从而提高了虚化图像的虚化效果。

Description

一种图像虚化方法、装置、存储介质及终端设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像虚化方法、装置、存储介质及终端设备。
背景技术
双摄像头已经越来越多地应用于移动终端设备上，并且配置双摄的移动终端设备的拍照功能普遍配置有人像虚化功能，该功能模拟单反相机的大光圈模式，拍摄出人像突出背景虚化的图像。然而，现有的人像虚化功能普遍存在虚化效果差的问题。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种图像虚化方法、装置、存储介质及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种图像虚化方法，所述方法包括：
获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；
基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；
基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
所述图像虚化方法，其中，所述待处理图像为成像模组中主成像器拍摄的，其中，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄待处理图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定待处理图像的视差图。
所述图像虚化方法，其中，所述基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图具体包括：
获取待处理图像以及辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的候选视差图；
在所述候选视差图中选取所述目标人像对应的目标视差区域，其中，所述预设焦点位于所述目标人像所处图像区域内；
将所述目标视差区域中的各视差像素点的视差值均设置为预设视差值，以得到所述待处理图像对应的视差图。
所述图像虚化方法，其中，所述预设视差值为目标视差区域中的各视差像素点的视差值的平均值。
所述图像虚化方法，其中，所述获取所述待处理图像的人像掩膜图，包括：
将所述待处理图像输入分割网络模型，得到所述待处理图像的人像掩膜图；
其中，所述分割网络模型包括第一特征提取模块，两个并联的第二特征提取模块，三个并联的第三特征提取模块，以及融合模块；所述第一特征提取模块的输出项为各第二特征提取模块的输入项；各第二特征提取模块的输出项分别为各第三特征提取模块的输入项；各第三特征提取模块的输出项均为融合模块的输入项。
所述图像虚化方法，其中，所述第一特征提取模块包括若干级联的空洞卷积单元，所述第二特征模块包括第一预设数量的特征提取单元，所述第三特征模块均包括第二预设数量的特征提取单元，所述特征提取单元包括第一卷积单元、若干并联的第二卷积单元以及融合单元，所述第一卷积单元的输出项中的每个通道图为若干第二卷积单元中的一第二卷积单元的输入项；每个第二卷积单元的输出项以及第一卷积单元的输出项均为融合单元的输入项，所述融合单元的输出项的通道数等于第一卷单元的输入项的通道数。
所述图像虚化方法，其中，所述基于所述预设焦点，确定所述视差图中的各像素点各自对应的虚化半径具体包括：
获取所述预设焦点对应的焦点视差值以及所述视差图的最大视差值；
对于视差图中的每个视差像素点，基于该视差像素点的视差值、所述最大视差值以及焦点视差值，确定该视差像素点的虚化半径，以得到视差图中的各视差像素点各自对应的虚化半径。
所述图像虚化方法，其中，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像具体包括：
对于待处理图像中的每个像素点，在所述视差图中选取该像素点对应的视差像素点，将该视差像素点对应的虚化半径作为该像素点的虚化半径，以得到各像素点各自对应的虚化半径，其中，所述像素点在待处理图像中的像素位置与所述视差像素点在视差图中的像素位置相同；
基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
所述图像虚化方法，其中，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径，确定各像素点对应的虚化处理核；
基于各像素点各自对应的虚化处理核，确定各像素点各自对应的虚化像素值，以得到待处理图像对应的虚化图像。
所述图像虚化方法，其中，所述基于各像素点各自对应的虚化处理核，确定各像素点各自对应的虚化像素值，以得到待处理图像对应的虚化图像具体包括：
对于每个像素点，在所述人像掩膜图中选取该像素点对应的各待虚化像素点各自对应的第一像素值，其中，该像素点对应的各待虚化像素点均位于该像素点的虚化处理核对应的图像区域中的；
基于各虚化像素点各自对应的第一像素值、各虚化像素点各自的第二像素值以及该像素点对应的虚化处理核值，确定各待虚化像素点各自对应的候选像素值；
基于各待虚化像素点各自对应的候选像素值，确定该像素点的虚化像素值，以得到待处理图像对应的虚化图像。
所述图像虚化方法，其中，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像之后，所述方法还包括：
基于所述人像掩膜图，确定所述待处理图像中的目标人像所处图像区域的区域边缘，其中，所述预设焦点位于所述图像区域内；
对所述区域边缘进行模糊处理，并将处理得到的输出图像与所述虚化图像进行融合，以得到融合图像；
将所述融合图像作为所述待处理图像对应的虚化图像。
本申请实施例第二方面提供了一种图像虚化装置，所述图像虚化装置包括：
获取模块，用于获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；
确定模块，用于基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；
虚化模块，用于基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像虚化方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的图像虚化方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种图像虚化方法、装置、存储介质及终端设备，所述方法包括获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。本申请通过结合人像掩膜图与视差图来对待处理图像进行虚化，在虚化过程中通过人像掩膜图来优化视差图中人像的视差值的一致性，减少人像的误虚和漏虚，同时利用视差图中的深度渐变来使得虚化得到虚化图像的虚化效果可以呈现渐变，从而提高了虚化图像的虚化效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的图像虚化方法的流程图。
图2为本申请提供的图像虚化方法中的分割网络模型的原理流程图。
图3为本申请提供的图像虚化方法中的特征提取单元的原理示意图。
图4为本申请提供的图像虚化方法中的人像掩膜图的示意图。
图5为本申请提供的图像虚化方法中的人像掩膜图中的人像边缘的示意图。
图6为本申请提供的图像虚化方法中的虚化处理核的示意图。
图7为本申请提供的图像虚化方法中的虚化图像的示意图。
图8为本申请提供的图像虚化装置的结构原理图。
图9为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种图像虚化方法、装置、存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的移动电话，膝上形计算机或平板计算机之类的其他便携式设备。还应该理解的是，在某些实施例中，所述设备并非便携式通讯设备，而是具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备还可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、视频会议应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件由于程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数据相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放应用程序等。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的第一或多个功能以及终端上显示的相应信息。这样，终端的公共物理框架(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，双摄像头已经越来越多地应用于移动终端设备上，并且配置双摄的移动终端设备的拍照功能普遍配置有人像虚化功能，该功能模拟单反相机的大光圈模式，拍摄出人像突出背景虚化的图像。目前普遍使用的虚化方法包括基于双目视差估计得到的视差图做背景虚化的方法，以及基于人像分割模式得到人像掩膜图做背景虚化的方法。
上述两种处理方式在处理复杂多样场景时候均存在一定的缺陷，首先，基于双目视差估计得到的视差图做背景虚化的方法只利用到视差信息，在拍照的过程中，人会摆出各种姿势导致人主体的深度一致性变化范围较大，此时只利用视差信息做人像虚化会出现人的漏虚或误虚现象，同时与人在同一深度的景物(树,花等)也会被漏虚掉，使得虚化效果欠佳。其次，人像分割模式得到人像掩膜图做背景虚化的方法可以使得在人像场景下人的边缘有刀锐感，人的主体也基本不会被误虚或漏虚；但因为没有利用视差信息，整个背景的虚化是没有过渡的，并且在没有人的场景下背景虚化功能就无法使用，从而使得虚化效果不好。
基于此，在本申请实施例中，获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。本申请通过结合人像掩膜图与视差图来对待处理图像进行虚化，在虚化过程中通过人像掩膜图来优化视差图中人像的视差值的一致性，减少人像的误虚和漏虚，同时利用视差图中的深度渐变来使得虚化得到虚化图像的虚化效果可以呈现渐变，从而提高了虚化图像的虚化效果。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种图像虚化方法，如图1所示，所述方法包括：
S10、获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图。
具体地，所述待处理图像可以是通过成像模组拍摄的图像，所述成像模组至少包括两个成像器，两个成像器分别为主成像器和辅助成像器。所述主成像器和辅助成像器设置在同一平面上，主成像器和辅助成像器可以是横向相邻设置在一起，也可以是竖向相邻设置。所述主成像器和辅助成像器可以为电子设备(例如，智能手机)的双摄像头，即主成像器和辅助成像器均为摄像头。例如，主成像器和辅助成像器可以为双后置摄像头或双前置摄像头，其中，主成像器和辅助成像器可以一个为彩色成像器另一个为黑白成像器(例如，主成像器彩色成像器，辅助成像器为黑白成像器)，主成像器和辅助成像器也可以采用焦距不一样的成像器，当然，主成像器和辅助成像器也可以采用一样的成像器。当然，所述成像模组还可以包括3个成像器(例如，具有三个摄像头的智能手机等)，也可以包括4个成像器等。
所述待处理图像可以是通过电子设备自身配置的成像模组获取的待处理图像，也可以是通过网络、蓝牙以及红外等途径获取其他电子设备的成像模组采集得到的待处理图像。在本实施例的一个具体实现方式中，所述待处理图像为通过电子设备自身配置的成像模组拍摄得到，并且所述待处理图像通过所述成像模组的主成像器拍摄得到的图像。可以理解的是，电子设备配置有成像模组，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄待处理图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定待处理图像的视差图。例如，配置有双摄像头的手机拍照图像时，双摄像头中主摄像头采集到图像A，双摄像头中辅助摄像头采集到图像B，那么图像A为待处理图像，图像B为用于确定所述图像A的深度图的辅助图像。
所述人像掩膜图为基于待处理图像确定得到，待处理图像中的人像区域中的像素点在所述人像掩膜图中的像素值为第一预设像素值，待处理图像中的除人像区域外的图像区域中的像素点在在所述人像掩膜图中的像素值为第二预设像素值，并且第一预设像素值与第二预设像素值不同。例如，第一预设像素值为1，第二预设像素值为0等。
在本实施例的一个实现方式中，所述人掩膜图通过对待处理图像进行人像分割得到，相应的，所述获取所述待处理图像的人像掩膜图具体可以为：将所述待处理图像输入经过训练的分割网络模型，通过所述分割网络模型输出该待处理图像对应的人像掩膜图。其中，如图2所示，所述分割网络模型包括第一特征提取模块，两个并联的第二特征提取模块，三个并联的第三特征提取模块，以及融合模块；所述第一特征提取模块的输出项为各第二特征提取模块的输入项；各第二特征提取模块的输出项分别为各第三特征提取模块的输入项；各第三特征提取模块的输出项均为融合模块的输入项。
在本实施例的一个实现方式中，所述第一特征提取模块包括若干级联的空洞卷积单元，若干级联的空洞卷积单元的网络结构参数相同，其中，若干级联的空洞卷积单元包括三个级联的空洞卷积单元，三个空洞卷积单元的网络结构参数均包括输入项的图像尺寸、扩充率参数、卷积核大小、步长、通道数以及输出项的图像尺寸。例如，输出项的图像尺寸为320*240，扩充率参数为2，卷积核大小为3*3、步长为2、通道数为64、输出项的图像尺寸为320*240等。此外，所述第一特征提取模块包括一个卷积层，该卷积层与若干级联的空洞卷积单元中的位于最前的空洞卷积单元相连接，该卷积层的输出项为位于最前的空洞卷积单元的输入项，其中，卷积层的输出项的图像尺寸与位于最前的空洞卷积单元的输入项的图像尺寸相同。例如，当位于最前的空洞卷积单元的输入项的图像尺寸为320*240时，该卷积层的网络结构参数可以为输出项的图像尺寸为640*480，卷积核为3*3，步长为2，通道数为64，输出项的图像尺寸为320*240。
在本实施例的一个实现方式中，两个并联的第二特征提取模块分别记为第二特征提取模块A和第二特征提取模块B，第二特征提取模块A和第二特征提取模块B均包括第一预设数量的特征提取单元。三个并联的第三特征提取模块分别记为第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c，第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c均包括第二预设数量的特征提取单元。其中，第二特征提取模块A、第二特征提取模块B、第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c包括的特征提取单元的网络结构相同，如图3所示，特征提取单元均包括第一卷积单元、若干并联的第二卷积单元以及融合单元，所述第一卷积单元的输出项中的每个通道图为若干第二卷积单元中的一第二卷积单元的输入项；每个第二卷积单元的输出项以及第一卷积单元的输出项均为融合单元的输入项，所述融合单元的输出项的通道数等于第一卷单元的输入项的通道数。在本实施例的一个具体实现方式中，第二特征提取模块A和第二特征提取模块B均包括5个特征提取单元，第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c均包括4个特征提取单元。
然而，第二特征提取模块A、第二特征提取模块B、第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c各自包括的特征提取单元中的第一卷积单元的网络结构参数均包括输入项的图像尺寸、卷积核以及通道数，其中，第二特征提取模块A、第二特征提取模块B、第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c中的特征提取单元的第一卷积单元的网络结构参数中除输入项的图像尺寸不同外，其他网络结构参数均相同，例如，例如，第二特征提取模块A中的第一卷积单元的输入项的图像尺寸为320*240，第二特征提取模块B中的第一卷单元的输入项的图像尺寸为160*120，第三特征提取模块a中的第一卷积单元的输入项的图像尺寸为320*240、第三特征提取模块b中的第一卷积单元的图像尺寸为160*120，第三特征提取模块c中的第一卷积单元的输入项的图像尺寸为80*60；第二特征提取模块A、第二特征提取模块B、第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c中的特征提取单元的第一卷积单元的卷积核均为3*3，步长均为1。此外，第二特征提取模块A、第二特征提取模块B、第三特征提取模块a、第三特征提取模块b以及第三特征提取模块c中的特征提取单元的融合单元与各特征单元包括的第一卷积单元的网络结构参数相对应，各特征提取单元中的融合单元输出项的图像尺寸与各自对应的第一卷积单元的输入项的图像尺寸相同，通道数均相同，例如，第二特征提取模块A中的融合单元的输出项的图像尺寸为320*240，第三特征提取模块c的融合单元的输出项的图像尺寸为80*60，各融合单元的通道数均为64。
在本实施例的一个实现方式中，所述融合模块包括第一融合单元、第二融合单元、第三融合单元、第四融合单元以及第五融合单元，其中，第一融合单元、第二融合单元、第三融合单元以及第四融合单元并联，并且第一融合单元、第二融合单元、第三融合单元以及第四融合单元的输出项均为第五融合单元的输入项，通过所述第五融合单元输出所述人像掩膜图，其中，第一融合单元的输入项的图像尺寸、第二融合单元的的输入项的图像尺寸、第三融合单元的输入项的图像尺寸以及第四融合单元的输入项的图像尺寸依次减小，并且三个并联的第三特征提取模块中的每个第三特征提取单元输出项分别通过图像尺寸调节至第一融合单元的输入项的图像尺寸、第二融合单元的输入项的图像尺寸、第三融合单元的输入项的图像尺寸以及第四融合单元的输入项的图像尺寸，以得到第一融合单元的输入项、第二融合单元的输入项、第三融合单元的输入项以及第四融合单元的输入项。
在本实施例的一个实现方式中，所述分割网络模型的训练样本数据可以包括20万对人像分割数据对，人像分割数据对中包括训练图像以及训练图像对应的人像掩膜图，并在基于训练样本对分割网络模型进行训练时，可以训练样本进行90度旋转，对比度拉伸，亮度调整，添加噪声，饱和度调整，随机裁剪等数据增强操作，以提高训练样本的多样性。此外，分割网络模型的训练的迭代次数(epoch)可以为500次，batchsize可以为32，并可以采用随机梯度下降法SGD优化网络的梯度，初始学习率调整为0.05,在迭代到150和300次给学习率乘以0.1，动量Momentum为0.85。此外，所述分割网络模型在训练过程中采用的损失函数可以为：
Loss＝β*MaskLoss+(1-β)*EdgeLoss
Figure BDA0003002343410000121
Figure BDA0003002343410000122
其中，β为损失函数权重，pt表示预测人像掩膜图的置信度，α与γ为超参数；在一个具体实现方式中，β＝0.8，α＝0.25，γ＝3。
在本实施例的一个实现方式中，所述基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图具体包括：
S11、获取待处理图像以及辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的候选视差图；
S12、在所述候选视差图中选取所述目标人像对应的目标视差区域，其中，所述预设焦点位于所述目标人像所处图像区域内；
S13、将所述目标视差区域中的各视差像素点的视差值均设置为预设视差值，以得到所述待处理图像对应的视差图。
具体地，所述待处理图像为通过成像模组的主成像器拍摄得到的，辅助图像为通过成像模组的辅助成像器拍摄得到的，所述辅助图像用于辅助确定待处理图像的视差图。其中，所述候选视差图为待处理图像中的各第一像素点与各自对应的第二像素点的视差所构成，视差指的是左右双目图像中的两个匹配图像块的中心像素点的水平距离，其中，各第一像素点各自对应的第二像素点均包含于辅助图像内，并且各第一像素点在待处理图像中的像素位置与其对应的第二像素点在辅助图像中的像素位置相同。
在本实施例的一个实现方式中，为了提高视差图的确定速度，在计算视差图之前可以调整待处理图像的图像尺寸以及辅助图像的图像尺寸，并且调整后的待处理图像的图像尺寸等于调整后的辅助图像的图像尺寸，且小于调整前的待处理图像的图像尺寸。此外，对于调整后的待处理图像中的每个第一像素点，候选视差图中均存在一个候选视差像素点，该候选视差像素点用于反映该第一像素点与其对应的第二像素点的视差值，并且该候视差像素点在候选视差图中的像素位置与该第一像素点在调整后的待处理图像中的像素位置相同。当然，值得说明的是，在实际应用中，也可以不对待处理图像以及辅助图像进行图像尺寸调整，而直接基于待处理图像以及辅助图像确定待处理图像对应的候选视差图。此外，在基于待处理图像和辅助图像确定候选视差图时，可以采用SGBM算法来确定候选视差图，并且在获取到候选视差图之后，可以对所述候选视差图进行后处理以提高候选视差图的准确性，例如，所述后处理可以包括孔洞填充以及联合双边滤波算法等。其中，所述SGBM算法、孔洞填充以及联合双边滤波算法均为现有算法，这里就不一一赘述。
所述预设焦点为待处理图像的焦点位置，所述预设焦点可以根据采集到的待处理图像自动生成，也可以根据用户的选取操作生成的，也可以是外部设备发送的。例如，当成像装置中显示待处理图像时，可以接收用户对所述待处理图像执行的点击操作，并获取点击操作对点击点作为预设焦点，并将所述点击点的位置信息(例如，点击点在所述显示界面上对应的像素点对应的像素位置，如，(125,150)等)作为预设焦点的位置信息。
在本实施例的一个实现方式中，所述预设焦点根据采集到的待处理图像自动生成，其中，预设焦点可以根据预览图像的图像中心确定，也可以是根据预览图像中人脸图像确定。所述预设焦点根据预览图像的图像中心确定的过程可以为：当采集到待处理图像时，获取所述待处理图像的图像中心点，将所述图像中心点作为所述待处理图像对应的预设焦点。此外，所述预设焦点根据图像中人脸图像确定的过程可以为：当获取到待处理图像时，检测待处理图像携带人脸图像；若未携带人脸图像，则将图像中心点作为预设焦点；若携带一张人脸图像，将该人脸图像中的一像素点作为预设焦点(例如，鼻尖对应的像素点，或者人脸图像的中心点等)；若携带多张人脸图像时，选取多张人脸图像中人脸图像所占图像区域最大的人脸图像作为目标人脸图像，并将目标人脸图像中的一像素点作为预设焦点(例如，左眼球对应的像素点等)。当然，在实际应用中，当根据待处理图像自动生成焦点后，用户还可以手动对所述预设焦点进行设置，其中，所述手动设置预设焦点的优先级高于根据待处理图像自动生成预设焦点的优先级。可以理解的是，当预设焦点为手动设置时，成像装置不会再执行根据待处理图像自动生成预设焦点的动作；当预设焦点为自动生成时，成像装置可以根据手动设置的预设焦点来更新自动生成的预设焦点。
进一步，在确定预设焦点后，会确定待处理图像中包含预设焦点的人像，并将确定得到的人像作为目标人像，即预设焦点包含于目标人像所处的图像区域内。由此，在所述待处理图像对应的视差图的过程中，会检测待处理图像中是否存在包括预设焦点的目标人像，若存在包含预设焦点的目标人像，则在所述候选视差图中选取目标人像对应的目标视差区域；若不存在包含预设焦点的目标人像，则将候选视差图作为待处理图像对应的视图。这样一方面在预设焦点处于目标人像所处图像区域时，可以对目标人像对应的目标视差区域进行优化，从而可以提高目标人像对应的图像区域的视差值的一致性，减少人像的误虚和漏虚；另一方预设焦点为处于人像所处图像区域内，或者待处理图像为包含人像时，可以基于候选视差图对所述待处理图像进行虚化，从而本实施例适用于包括人像的待处理图像和未包括人像的待处理图像，从而提高图像虚化方法的适用范围。
目标视差区域为目标人像所处图像区域在候选视差图中的对应区域，例如，当待处理图像的图像尺寸与候选视差图的图像尺寸相等时，目标视差区域为视差图像中图像区域位置与目标人像所处图像区域在待处理图像中的图像区域位置相同，如，目标人像所处图像区域在待处理图像中的图像区域位置为四个顶点分别为[100,100]、[100,200]、[200,200]以及[200,100]的矩形区域，那么目标视差区域在候选视差图中的图像区域位置为以[100,100]、[100,200]、[200,200]以及[200,100]的矩形区域。此外，当候选视差图的图像尺寸与待处理图像的图像尺寸不相同，可以想将待处理图像的图像尺寸调整为候选视差图的图像尺寸，之后再在候选视差图中确定目标人像对应的目标视差区域，例如，待处理图像的图像尺寸为480*480，候选视差图的图像尺寸为240*240，那么可以对待处理图像进行下采样，以将待处理图像的图像尺寸调整为240*240。
所述预设视差值可以为预先设置的，也可以是基于目标视差区域确定，用于替换目标视差区域中的各视差像素点的视差值，使得目标视差区域中的各视差像素点的视差值相同，以保证目标人像对应的图像区域的视差值的一致性，避免图像虚化时出现人像误虚或者漏虚的情况。在本实施例的一个实现方式中，所述预设视差值可以为目标视差区域中各视差像素点各自对应的视差值的平均值，由此，在获取到目标视差区域后，获取目标视差区域中的各视差像素点各自对应的视差值，再计算各视差像素点各自对应的视差值的平均值，以得到所述目标视差区域中的各视差像素点的视差均值，最后将目标视差区域中的各视差像素点各自对应的视差值设置为视差均值，以得到所述待处理图像对应的视差图。当然，在实际应用中，所述目标视差区域中的各视差像素点的视差均值还可以是加权均值，也可以是目标视差区域中部分像素点的视差平均值，还可以是目标视差区域中的各视差像素点的视差值的最大值或者最小值等，这里就不一一赘述。
S20、基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径。
具体地，所述虚化半径为视差像素点对应的虚化处理的虚化处理核的半径，不同虚化半径对应的虚化处理核的虚化程度不同。例如，虚化半径越大，虚化处理核的虚化程度越大，反之，虚化半径越小，虚化处理核的虚化程度越小。所述虚化处理核可以为散焦模糊核，也可以为高斯模糊核。当虚化处理核为散焦模糊核时，采用散焦模糊对该第一像素点进行散焦滤波，当虚化处理核为高斯模糊核时，采用高斯模糊算法对该视差像素点进行高斯滤波。
在本实施例的一个实现方式中，所述基于所述预设焦点，确定所述视差图中的各像素点各自对应的虚化半径具体包括：
获取所述预设焦点对应的焦点视差值以及所述视差图的最大视差值；
对于视差图中的每个视差像素点，基于该视差像素点的视差值、所述最大视差值以及焦点视差值，确定该视差像素点的虚化半径，以得到视差图中的各视差像素点各自对应的虚化半径。
具体地，最大视差值为所述视差图中的各视差像素点各自对应的视差值中的最大值，也就是说，对于视差图中的每个视差像素点，该视差像素点各自对应的视差值均小于或者等于该最大视差值。在获取到最大视差值和预设焦点对应的焦点视差值后，根据最大视差值以及焦点视差值计算每个视差像素点各自对应的虚化半径。在本实施例中，视差像素点的虚化半径的计算公式可以为：
Figure BDA0003002343410000161
其中，ri,j表示视差像素点(i，j)的虚化半径，di,j表示视差像素点(i，j)的视差值，d_focus表示焦点视差值，d_max表示最大视差值，C为预设最大虚化半径。
S30、基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
具体地，所述虚化处理可以采用高斯模糊算法对待虚化区域进行虚化处理，也可以采用散焦模糊算法等。所述虚化处理基于各视差像素点各自对应的虚化半径对所述待处理图像对应的待虚化区域进行虚化处理。此外，基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化时，可以基于预设焦点确定背景区域以及前景区域，在对待处理图像进行虚化处理时，仅对背景区域进行虚化处理，不对前景图像进行虚化处理，其中，前景图像和所述背景区域构成所述待处理图像。
在本实施例的一个实现方式中，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像具体包括：
对于待处理图像中的每个像素点，在所述视差图中选取该像素点对应的视差像素点，将该视差像素点对应的虚化半径作为该像素点的虚化半径，以得到各像素点各自对应的虚化半径；
基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
具体地，所述像素点为待处理图像中的像素点，并且像素点在待处理图像中的像素位置与所述视差像素点在视差图中的像素位置相同。由此，在待处理图像的图像尺寸与视差图的图像尺寸不相同时，对待处理图像的图像尺寸进行调节，以使得待处理图像的图像尺寸与视差图的图像尺寸相同，以使得调节后的待处理图像中的每个像素点均与视差图的中的一个视差像素点的像素位置相同，从而对于待处理图像中的每个像素点，均可以在所述视差图中选取一个视差像素点，该视差像素点在视差图中的像素位置与像素点在待处理图像中的像素位置相同。例如，待处理图像的图像尺寸为240*240，视差图的图像尺寸为240*240，待处理图像中的像素位置为(100,100)的像素点，与视差图中像素位置为(100,100)的视差像素点相对应。
在本实施例的一个实现方式中，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径，确定各像素点对应的虚化处理核；
基于各像素点各自对应的虚化处理核，确定各像素点各自对应的虚化像素值，以得到待处理图像对应的虚化图像。
具体地，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化指的是对于待处理图像中的每个像素点，基于该像素点对应的虚化半径可以确定该像素点对应的虚化处理核，并基于该虚化区域在待处理图像中对应的图像区域包括中的各像素点的像素值确定该像素点的像素值，以实现对该像素点的虚化处理。在本实施例的一个具体实现方式中，所述虚化处理核的确定过程可以为：获取像素点对应的虚化半径，基于该虚化半径确定虚化处理核的尺寸，基于所述虚化处理核的尺寸在待处理图像中选取一图像区域，将选取到的图像区域作为该像素点的对应的虚化处理核，其中，所述图像区域为以该像素点为中心，尺寸为虚化处理核尺寸的图像区域。例如，如图6所示，像素点的虚化半径为r，虚化处理核的尺寸可以为(2r+1)*(2r+1)，那么该像素点对应的虚化处理核为以该像素点为中心的(2r*2r)图像区域。当然，在实际应用中，虚化处理核可以采用不同形状，例如，圆形形状或者心形形状等。此外，当虚化处理核不为正方形形状时，虚化处理核的确定过程以虚化处理核为圆形为例加以说明。所述虚化处理核的确定过程可以为：先基于虚化半径为r确定像素点对应的正方形，正方形尺寸为(2r+1)*(2r+1)，之后在该正方形绘制的内切圆，将该具有内切圆的正方形作为像素点对应的虚化处理核，并且在基于虚化处理核确定的图像区域计算像目标素点对应的虚化后的像素值时，圆形区域内的像素值对应的权重大于未处于圆形区域内的像素点的权重，这样在虚化得到的虚化图像中，该像素点周围会形成圆形光斑。
在本实施例的一个实现方式中，所述基于各像素点各自对应的虚化处理核，确定各像素点各自对应的虚化像素值，以得到待处理图像对应的虚化图像具体包括：
对于每个像素点，在所述人像掩膜图中选取该像素点对应的各待虚化像素点各自对应的第一像素值，其中，该像素点对应的各待虚化像素点均位于该像素点的虚化处理核对应的图像区域中的；
基于各虚化像素点各自对应的第一像素值、各虚化像素点各自的第二像素值以及该像素点对应的虚化处理核值，确定各待虚化像素点各自对应的候选像素值；
基于各待虚化像素点各自对应的候选像素值，确定该像素点的虚化像素值，以得到待处理图像对应的虚化图像。
具体地，虚化像素点为该像素点的虚化处理核在待处理图像中所处图像区域中的像素点，例如，像素点a的虚化处理核在待处理图像中所处图像区域包括像素点b、像素点c以及像素点d，那么像素点b、像素点c以及像素点d均为像素点a对应的虚化像素点。所述第一像素值为人像掩膜图中与该待虚化像素点对应的掩膜像素点的像素值，该待虚化像素点对应的掩膜像素点在人像掩膜图中的像素位置与该虚化像素点在待处理图像中的像素位置相同。例如，该待虚化像素点的像素位置为(50,50)，该待虚化像素点对应的掩膜像素点的像素位置为(50,50)。可以理解的是，对于每个像素点，根据像素点的虚化半径在人像掩膜图中确定该像素点的虚化处理核对应的第一图像区域，以及在该待处理图像中确定该像素点的虚化处理核对应的第二图像区域，其中，所述第一图像区域的区域大小与所述第二图像区域的区域大小相同，并且对于第一图像区域中每个像素点A，第二区域图像中像素点B与像素点A的像素位置相同。例如，第一图像区域中的像素点A的像素位置为(100,100)，那么第二图像区域中存在像素点B的像素位置为(100,100)。当然，在实际应用中，当所述人像掩膜图的图像尺寸与所述待处理图像的图像尺寸不相同时，可以先将人像掩膜图的图像尺寸与待处理图像的图像尺寸调节为相同，例如，人像掩膜图的图像尺寸为待处理图像的图像尺寸的四分之一，那么可以对待处理图像进行下采样，以将待处理图像的图像尺寸调整为其原尺寸的四分之一。
在本实施例的一个实现方式中，所述像素点对应的虚化像素值的计算公式为：
Figure BDA0003002343410000191
其中，I_1(r,c)为像素点(r,c)的虚化像素值，I(r+i,c+j)为像素点(r+i,c+j)的第二像素值，Mask(r+i,c+j)为像素点(r+i,c+j)的第一像素值，K(i,j)为像素点(r,c)的虚化处理核值，K(i,j)＝1，其中，x2+y2<r2，r为像素点(r,c)的虚化半径，-r≤i,j≤r，x＝i/r,y＝j/r。
在本实施例的一个实现方式中，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像还包括：
基于所述人像掩膜图，确定所述待处理图像中的目标人像所处图像区域的区域边缘，其中，所述预设焦点位于所述图像区域内；
对所述区域边缘进行模糊处理，并将处理得到的输出图像与所述虚化图像进行融合，以得到融合图像；
将所述融合图像作为所述待处理图像对应的虚化图像。
具体地，在获取到虚化图像后，可以对所述人像掩膜图进行边缘识别，以得到人像掩膜图中的目标人像边缘，例如，如图4所示的人像掩膜图，识别得到如图5所示的人像边缘。在获取到人像边缘后，基于该人像边缘所处所述待处理图像中的目标人像所处图像区域的区域边缘。当然，在对人像边缘进行模糊处理时，需要预设焦点包括与目标人像所处图像区域内，换句话说，目标人像所处图像区域为不虚化图像区域，除目标人像区域外的图像区域为虚化图像区域，最后将模糊处理得到的输出图像与虚化图像进行融合，并将融合得到的融合图像作为待处理图像对应的虚化图像(例如，如图7所示的虚化图像)，这样对所述区域边缘进行模糊处理可以提高得到的虚化图像的人像边缘的过渡性，从而提高待处理图像对应的虚化图像的虚化效果。
在本实施例的一个实现方式中，由于人像掩膜图的图像尺寸可以与待处理图像的图像尺寸不相同，从而可以将人像掩膜图的图像尺寸调整至待处理图像的图像尺寸，然后在基于人像掩膜图确定待处理图像中的目标人像所处图像区域的区域边缘，并对区域边缘进行模糊处理以得到输出图像。在得到输出图像后，将处理得到的输出图像与所述虚化图像进行融合以得到融合图像。在本实施例的一个具体实现方式中，所述融合图像的计算公式可以为：
I_bokeh＝(1-Mask)*I_1+Mask*I_2
其中，I_bokeh为融合图像，I_1为虚化图像，I_2为输出图像，Mask为预设权重系数。
综上所述，本实施例提供了一种图像虚化方法，所述方法包括获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。本申请通过结合人像掩膜图与视差图来对待处理图像进行虚化，在虚化过程中通过人像掩膜图来优化视差图中人像的视差值的一致性，减少人像的误虚和漏虚，同时利用视差图中的深度渐变来使得虚化得到虚化图像的虚化效果可以呈现渐变，从而提高了虚化图像的虚化效果。
基于上述图像虚化方法，本实施例提供了一种图像虚化装置，如图8所示，所述图像虚化装置包括：
获取模块100，用于获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；
确定模块200，用于基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；
虚化模块300，用于基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
在一个实现方式中，所述待处理图像为成像模组中主成像器拍摄的，其中，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄待处理图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定待处理图像的视差图。
在一个实现方式中，所述获取模块具体用于：
获取待处理图像以及辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的候选视差图；
在所述候选视差图中选取所述目标人像对应的目标视差区域，其中，所述预设焦点位于所述目标人像所处图像区域内；
将所述目标视差区域中的各视差像素点的视差值均设置为预设视差值，以得到所述待处理图像对应的视差图。
在一个实现方式中，所述预设视差值为目标视差区域中的各视差像素点的视差值的平均值。
在一个实现方式中，所述获取所述待处理图像的人像掩膜图，包括：所述分割网络模型包括第一特征提取模块，两个并联的第二特征提取模块，三个并联的第三特征提取模块，以及融合模块；所述第一特征提取模块的输出项为各第二特征提取模块的输入项；各第二特征提取模块的输出项分别为各第三特征提取模块的输入项；各第三特征提取模块的输出项均为融合模块的输入项。
在一个实现方式中，所述第一特征提取模块包括若干级联的空洞卷积单元，所述第二特征模块包括第一预设数量的特征提取单元，所述第三特征模块均包括第二预设数量的特征提取单元，所述特征提取单元包括第一卷积单元、若干并联的第二卷积单元以及融合单元，所述第一卷积单元的输出项中的每个通道图为若干第二卷积单元中的一第二卷积单元的输入项；每个第二卷积单元的输出项以及第一卷积单元的输出项均为融合单元的输入项，所述融合单元的输出项的通道数等于第一卷单元的输入项的通道数。
在一个实现方式中，所述确定模块具体用于：
获取所述预设焦点对应的焦点视差值以及所述视差图的最大视差值；
对于视差图中的每个视差像素点，基于该视差像素点的视差值、所述最大视差值以及焦点视差值，确定该视差像素点的虚化半径，以得到视差图中的各视差像素点各自对应的虚化半径。
在一个实现方式中，所述虚化模块具体用于：
对于待处理图像中的每个像素点，在所述视差图中选取该像素点对应的视差像素点，将该视差像素点对应的虚化半径作为该像素点的虚化半径，以得到各像素点各自对应的虚化半径，其中，所述像素点在待处理图像中的像素位置与所述视差像素点在视差图中的像素位置相同；
基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
在一个实现方式中，所述虚化模块具体用于：
基于各像素点各自对应的虚化半径，确定各像素点对应的虚化处理核；
基于各像素点各自对应的虚化处理核，确定各像素点各自对应的虚化像素值，以得到待处理图像对应的虚化图像。
在一个实现方式中，所述虚化模块具体用于：
对于每个像素点的虚化处理核对应的图像区域中的每个待虚化像素点，在所述人像掩膜图中选取该待虚化像素点对应的第一像素值；
基于所述第一像素值、该待虚化像素点的第二像素值以及该像素点对应的虚化处理核值，确定该待虚化像素点对应的候选像素值，以得到各待虚化像素点各自对应的候选像素值；
基于各待虚化像素点各自对应的候选像素值，确定各待虚化像素点对应的像素点的虚化像素值，以得到待处理图像对应的虚化图像。
在一个实现方式中，所述虚化模块还用于：
基于所述人像掩膜图，确定所述待处理图像中的目标人像所处图像区域的区域边缘，其中，所述预设焦点位于所述图像区域内；
对所述区域边缘进行模糊处理，并将处理得到的输出图像与所述虚化图像进行融合，以得到融合图像；
将所述融合图像作为所述待处理图像对应的虚化图像。
基于上述图像虚化方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像虚化方法中的步骤。
基于上述图像虚化方法，本申请还提供了一种终端设备，如图9所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种图像虚化方法，其特征在于，所述方法包括：
获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；
基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；
基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
2.根据权利要求1所述图像虚化方法，其特征在于，所述待处理图像为成像模组中主成像器拍摄的，其中，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄待处理图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定待处理图像的视差图。
3.根据权利要求1或2所述图像虚化方法，其特征在于,所述基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图具体包括：
获取待处理图像以及辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的候选视差图；
在所述候选视差图中选取所述目标人像对应的目标视差区域，其中，所述预设焦点位于所述目标人像所处图像区域内；
将所述目标视差区域中的各视差像素点的视差值均设置为预设视差值，以得到所述待处理图像对应的视差图。
4.根据权利要求3所述图像虚化方法，其特征在于，所述预设视差值为所述目标视差区域中的各视差像素点的视差值的平均值。
5.根据权利要求1所述图像虚化方法，其特征在于，所述获取所述待处理图像的人像掩膜图，包括：
将所述待处理图像输入分割网络模型，得到所述待处理图像的人像掩膜图；
其中，所述分割网络模型包括第一特征提取模块，两个并联的第二特征提取模块，三个并联的第三特征提取模块，以及融合模块；所述第一特征提取模块的输出项为各第二特征提取模块的输入项；各第二特征提取模块的输出项分别为各第三特征提取模块的输入项；各第三特征提取模块的输出项均为融合模块的输入项。
6.根据权利要求5所述图像虚化方法，其特征在于，所述第一特征提取模块包括若干级联的空洞卷积单元，所述第二特征模块包括第一预设数量的特征提取单元，所述第三特征模块均包括第二预设数量的特征提取单元，所述特征提取单元包括第一卷积单元、若干并联的第二卷积单元以及融合单元，所述第一卷积单元的输出项中的每个通道图为若干第二卷积单元中的一第二卷积单元的输入项；每个第二卷积单元的输出项以及第一卷积单元的输出项均为融合单元的输入项，所述融合单元的输出项的通道数等于第一卷单元的输入项的通道数。
7.根据权利要求1所述图像虚化方法，其特征在于，所述基于所述预设焦点，确定所述视差图中的各像素点各自对应的虚化半径具体包括：
获取所述预设焦点对应的焦点视差值以及所述视差图的最大视差值；
对于视差图中的每个视差像素点，基于该视差像素点的视差值、所述最大视差值以及焦点视差值，确定该视差像素点的虚化半径，以得到视差图中的各视差像素点各自对应的虚化半径。
8.根据权利要求1所述图像虚化方法，其特征在于，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像具体包括：
对于待处理图像中的每个像素点，在所述视差图中选取该像素点对应的视差像素点，将该视差像素点对应的虚化半径作为该像素点的虚化半径，以得到各像素点各自对应的虚化半径，其中，所述像素点在待处理图像中的像素位置与所述视差像素点在视差图中的像素位置相同；
基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
9.根据权利要求8所述图像虚化方法，其特征在于，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像具体包括：
基于各像素点各自对应的虚化半径，确定各像素点对应的虚化处理核；
基于各像素点各自对应的虚化处理核，确定各像素点各自对应的虚化像素值，以得到待处理图像对应的虚化图像。
10.根据权利要求9所述图像虚化方法，其特征在于，所述基于各像素点各自对应的虚化处理核，确定各像素点各自对应的虚化像素值，以得到待处理图像对应的虚化图像具体包括：
对于每个像素点，在所述人像掩膜图中选取该像素点对应的各待虚化像素点各自对应的第一像素值，其中，该像素点对应的各待虚化像素点均位于该像素点的虚化处理核对应的图像区域中的；
基于各虚化像素点各自对应的第一像素值、各虚化像素点各自的第二像素值以及该像素点对应的虚化处理核值，确定各待虚化像素点各自对应的候选像素值；
基于各待虚化像素点各自对应的候选像素值，确定该像素点的虚化像素值，以得到待处理图像对应的虚化图像。
11.根据权利要求1-10任一所述的图像虚化方法，其特征在于，所述基于各像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像之后，所述方法还包括：
基于所述人像掩膜图，确定所述待处理图像中的目标人像所处图像区域的区域边缘，其中，所述预设焦点位于所述图像区域内；
对所述区域边缘进行模糊处理，并将处理得到的输出图像与所述虚化图像进行融合，以得到融合图像；
将所述融合图像作为所述待处理图像对应的虚化图像。
12.一种图像虚化装置，其特征在于，所述图像虚化装置包括：
获取模块，用于获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预设焦点确定所述待处理图像对应的视差图；
确定模块，用于基于所述预设焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；
虚化模块，用于基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-11任意一项所述的图像虚化方法中的步骤。
14.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-11任意一项所述的图像虚化方法中的步骤。
CN202110351796.5A 2021-03-31 2021-03-31 一种图像虚化方法、装置、存储介质及终端设备 Pending CN115150606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110351796.5A CN115150606A (zh) 2021-03-31 2021-03-31 一种图像虚化方法、装置、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351796.5A CN115150606A (zh) 2021-03-31 2021-03-31 一种图像虚化方法、装置、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN115150606A true CN115150606A (zh) 2022-10-04

Family

ID=83403657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351796.5A Pending CN115150606A (zh) 2021-03-31 2021-03-31 一种图像虚化方法、装置、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN115150606A (zh)

Similar Documents

Publication Publication Date Title
US11756223B2 (en) Depth-aware photo editing
CN109064390B (zh) 一种图像处理方法、图像处理装置及移动终端
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
US11132770B2 (en) Image processing methods and apparatuses, computer readable storage media and electronic devices
US20190325564A1 (en) Image blurring methods and apparatuses, storage media, and electronic devices
EP3494693A1 (en) Combining images aligned to reference frame
CN106249508B (zh) 自动对焦方法和系统、拍摄装置
CN110677621B (zh) 摄像头调用方法、装置、存储介质及电子设备
CN108848367B (zh) 一种图像处理的方法、装置及移动终端
CN107231524A (zh) 拍摄方法及装置、计算机装置和计算机可读存储介质
EP3905662A1 (en) Image processing method and apparatus, electronic device and storage medium
TW202137133A (zh) 圖像處理方法、電子設備及電腦可讀儲存介質
US20180288333A1 (en) Displaying Images on a Smartglasses Device Based on Image Data Received from External Camera
CN112532881A (zh) 图像处理方法、装置和电子设备
US11770603B2 (en) Image display method having visual effect of increasing size of target image, mobile terminal, and computer-readable storage medium
JP2024504159A (ja) 撮影方法、装置、電子機器及び可読記憶媒体
CN107155000B (zh) 一种拍照行为分析方法、装置及移动终端
CN113962873A (zh) 一种图像去噪方法、存储介质及终端设备
CN115908120B (zh) 图像处理方法和电子设备
CN115170383A (zh) 一种图像虚化方法、装置、存储介质及终端设备
CN115134532A (zh) 图像处理方法、装置、存储介质及电子设备
CN115150606A (zh) 一种图像虚化方法、装置、存储介质及终端设备
CN114071009B (zh) 一种拍摄方法及设备
CN114339029A (zh) 拍摄方法、装置及电子设备
CN113489920A (zh) 一种视频合成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination