CN110689609A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110689609A
CN110689609A CN201910924358.6A CN201910924358A CN110689609A CN 110689609 A CN110689609 A CN 110689609A CN 201910924358 A CN201910924358 A CN 201910924358A CN 110689609 A CN110689609 A CN 110689609A
Authority
CN
China
Prior art keywords
depth
image
map
full
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910924358.6A
Other languages
English (en)
Other versions
CN110689609B (zh
Inventor
马里千
刘晓强
张国鑫
黄旭为
张博宁
金博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910924358.6A priority Critical patent/CN110689609B/zh
Publication of CN110689609A publication Critical patent/CN110689609A/zh
Application granted granted Critical
Publication of CN110689609B publication Critical patent/CN110689609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像处理方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，本公开方法包括：对包含人脸的目标图像进行人脸关键点检测；根据目标图像中人脸关键点的位置进行人脸三维重建，得到目标图像对应的人脸区域蒙版图以及人脸区域深度图；通过人脸区域蒙版图以及人脸区域深度图，构造目标图像对应的第一全图深度图；根据第一全图深度图中各像素点的深度值得到全图三维网格，并根据目标图像中各像素点的纹理信息对全图三维网格进行渲染得到目标图像对应的三维图像。由于本公开实施例中无需辅助传感器，仅用单目或单张人像图像就可构造出3D人像效果，更简便，且扩大了3D人像特效的应用场景。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着短视频、自拍美颜等应用的普及，3D(Three Dimensions，三维)人像特效作为人脸应用的一部分也逐渐应用起来，尤其在安全认证、影视动漫、医学科学等领域的应用非常广泛。
相关技术方案是通过辅助传感器，恢复出人像图像的深度图像，生成3D人像。辅助传感器包括双目摄像头，深度传感器(结构光)等。但是辅助传感器的存在限制了3D人像特效的应用，因为目前大部分手机拍摄的图像并没有类似的传感器数据，或是传感器数据质量太差。
综上，目前3D人像的生成需要借助辅助传感器，应用受限。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中3D人像的生成需要借助辅助传感器，应用受限的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
对包含人脸的目标图像进行人脸关键点检测；
根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；
通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；
根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。
在一种可选的实施方式中，所述通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图的步骤包括：
根据所述人脸区域蒙版图确定所述人脸区域深度图中的人脸区域以及所述第一全图深度图中的人脸区域；
将所述人脸区域深度图中人脸区域内的像素点的深度值作为所述第一全图深度图中人脸区域内对应位置的像素点的深度值；
根据所述第一全图深度图中人脸区域内像素点的深度值，确定所述第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值，其中所述第一全图深度图中非人脸区域内的像素点的深度值表示所述像素点对应的三维空间中的位置和拍摄所述目标图像的设备的距离；
确定所述第一全图深度图中非人脸区域内的像素点的深度值为最小的目标深度值对应的非人脸区域内的像素点的深度值。
在一种可选的实施方式中，通过下列方式确定所述目标深度值：
Figure BDA0002218541420000021
其中，X表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值。
在一种可选的实施方式中，通过下列方式确定所述目标深度值：
Figure BDA0002218541420000031
其中，Y表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，w1表示预设的第一超参数，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的。
在一种可选的实施方式中，通过下列方式确定所述目标深度值：
Figure BDA0002218541420000032
其中，Z表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w2表示预设的第二超参数，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
在一种可选的实施方式中，通过下列方式确定所述目标深度值：
Figure BDA0002218541420000041
其中，W表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w1表示预设的第一超参数，w2表示预设的第二超参数，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
人脸检测单元，被配置为执行对包含人脸的目标图像进行人脸关键点检测；
三维重建单元，被配置为执行根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；
图像构造单元，被配置为执行通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；
图像渲染单元，被配置为执行根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。
在一种可选的实施方式中，所述图像构造单元具体被配置为执行：
根据所述人脸区域蒙版图确定所述人脸区域深度图中的人脸区域以及所述第一全图深度图中的人脸区域；
将所述人脸区域深度图中人脸区域内的像素点的深度值作为所述第一全图深度图中人脸区域内对应位置的像素点的深度值；
根据所述第一全图深度图中人脸区域内像素点的深度值，确定所述第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值，其中所述第一全图深度图中非人脸区域内的像素点的深度值表示所述像素点对应的三维空间中的位置和拍摄所述目标图像的设备的距离；
确定所述第一全图深度图中非人脸区域内的像素点的深度值为最小的目标深度值对应的非人脸区域内的像素点的深度值。
在一种可选的实施方式中，所述图像构造单元还被配置为执行通过下列方式确定所述目标深度值：
Figure BDA0002218541420000051
其中，X表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值。
在一种可选的实施方式中，所述图像构造单元还被配置为执行通过下列方式确定所述目标深度值：
Figure BDA0002218541420000052
Figure BDA0002218541420000061
其中，Y表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，w1表示预设的第一超参数，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的。
在一种可选的实施方式中，所述图像构造单元还被配置为执行通过下列方式确定所述目标深度值：
Figure BDA0002218541420000062
其中，Z表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w2表示预设的第二超参数，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
在一种可选的实施方式中，所述图像构造单元还被配置为执行通过下列方式确定所述目标深度值：
Figure BDA0002218541420000071
其中，W表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w1表示预设的第一超参数，w2表示预设的第二超参数，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现本公开实施例第一方面中任一项所述的图像处理方法。
根据本公开实施例的第四方面，提供一种非易失性可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例第一方面中任一项所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
由于本公开实施例中的目标图像为单张或单目人像图像，通过目标图像中的人脸关键点可以实现人脸三维重建，得到人脸区域蒙版图和人脸区域深度图，再根据人脸区域蒙版图以及人脸区域深度图构造第一全图深度图，其中人脸区域蒙版图以及人脸区域深度图为确定第一全图深度图中各像素点的深度值提供了参数；根据第一全图深度图中各像素点的深度值可以得到全图三维网格，进一步渲染则可得到具有3D人像效果的图像。并且本公开实施例中不需要额外的传感器，仅用单目或单张人像图像就可以制作出3D人像特效，更加简便，此外由于不需要借助辅助传感器，不再受辅助传感器的限制，因而可以扩大3D人像特效的应用场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2是根据一示例性实施例示出的一种目标图像的示意图；
图3是根据一示例性实施例示出的一种人脸区域蒙版图的示意图；
图4是根据一示例性实施例示出的一种人脸区域深度图的示意图；
图5是根据一示例性实施例示出的第一种全图深度图的示意图；
图6是根据一示例性实施例示出的一种前景蒙版图的示意图；
图7是根据一示例性实施例示出的第二种全图深度图的示意图；
图8是根据一示例性实施例示出的第三种全图深度图的示意图；
图9是根据一示例性实施例示出的一种图像处理流程框架的示意图；
图10是根据一示例性实施例示出的一种三维人脸图像的示意图；
图11是根据一示例性实施例示出的一种图像处理的完整方法的流程图；
图12是根据一示例性实施例示出的一种图像处理装置的框图；
图13是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对文中出现的一些词语进行解释：
1、本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本公开实施例中术语“电子设备”是指由集成电路、晶体管、电子管等电子元器件组成，应用电子技术(包括)软件发挥作用的设备，包括电子计算机以及由电子计算机控制的机器人、数控或程控系统等。
3、本公开实施例中术语“三维重建”是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
4、本公开实施例中术语“渲染”是将一个三维的物体投影到一个二维的平面上。即使用二维平面来表示三维图形。也就是已知三维图像的顶点、颜色和三角形信息，得到对应三维图像的二维平面图。
5、本公开实施例中术语“蒙版”指选框的外部(选框的内部就是选区)。
6、本公开实施例中术语“超参数”指在机器学习的上下文中，在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
7、本公开实施例中术语“前景”指画面中位于主体之前一直靠近摄像机镜头的景物或人物，表现一定的时间关系或人物关系，“背景”与“前景”相对，指画面中除前景外的部分。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，包括以下步骤。
在步骤S11中，对包含人脸的目标图像进行人脸关键点检测；
在步骤S12中，根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；
在步骤S13中，通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；
在步骤S14中，根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。
通过上述方案，基于单张或单目人像图像生成3D人像，由通过目标图像中的人脸关键点可以实现人脸三维重建，得到人脸区域蒙版图和人脸区域深度图，再根据人脸区域蒙版图以及人脸区域深度图构造第一全图深度图，其中人脸区域蒙版图以及人脸区域深度图为确定第一全图深度图中各像素点的深度值提供了参数；根据第一全图深度图中各像素点的深度值可以得到全图三维网格，进一步渲染则可得到具有3D人像效果的图像。并且本公开实施例中不需要额外的传感器，仅用单目或单张人像图像就可以制作出3D人像特效，更加简便，此外由于不需要借助辅助传感器，不再受辅助传感器的限制，因而可以扩大3D人像特效的应用场景。
在一种可选的实施方式中，确定人脸关键点的位置时可以通过三维重建模型实现，其中三维重建模块可以是神经网络模型，将人脸图像I作为目标图像输入三维重建模型，其中人脸图像I包含至少一张人脸，人脸图像I长宽分别为w，h，如图2所示，其中面部区域的马赛克是对图像做的隐私处理，在实际处理时的人脸图像I是不包含马赛克的。
通过三维重建模型对人脸图像I进行人脸检测，检测到至少一个人脸后，在每张检测出的人脸上进行人脸关键点检测。根据每张人脸上的人脸关键点位置，执行人脸三维重建，输出人脸区域蒙版图A和人脸区域深度图B。A和B的长宽和I一致，其中人脸区域蒙版图A如图3所示，人脸区域深度图B如图4所示。
在人脸区域蒙版图A中，人脸区域内的像素点的像素值为1.0，其中像素值为1表示白色，在其余区域(非人脸区域)内的像素点的像素值为0.0，像素值为0表示黑色。人脸区域深度图B中在人脸区域外的像素点的深度值为-1，在人脸区域内的像素点的深度值为人脸的深度。人脸的深度指人脸三维重建后获得的人脸3D网格上的点和拍摄人脸图像I的设备(比如相机)之间的距离。
在本公开实施例中，通过人脸区域蒙版图A、人脸区域深度图B构造出第一全图深度图时，假设第一全图深度图为全图深度图C，则可在确定全图深度图C中的像素点的深度值时，可以设定为：在全图深度图C中的人脸区域内的像素点的深度值和人脸区域深度图B中对应位置的像素点的深度值一致；在全图深度图C的人脸区域外的像素点的深度值表示该像素点对应的3D空间中的位置和拍摄人脸图像I的设备(比如相机)的距离。
其中，人脸区域深度图B以及全图深度图C中的人脸区域是根据人脸区域蒙版图A确定的。
假设，其中Aj,i表示人脸区域蒙版图A第j行第i列的像素点的像素值，则可根据人脸区域蒙版图中Aj,i＝1.0时确定的j和i确定人脸区域深度图B以及全图深度图C中的人脸区域，其中i的取值范围为0～w-1，j的取值范围为0～h-1。
假设，其中Cj,i表示全图深度图C中第j行第i列的像素点的深度值，Bj,i表示人脸区域深度图B中第j行第i列的像素点的深度值，则有：
Cj,i＝Bj,i if Aj,i＝1。
在一种可选的实施方式中，在确定第一全图深度图中非人脸区域内的像素点的深度值时，可根据人脸区域深度图将第一全图深度图中人脸区域内的像素点的深度值作平滑扩散处理，得到第一全图深度图中非人脸区域内的像素点的深度值，平滑扩散处理指将人脸区域深度图中人脸区域内的像素点的深度值平滑的扩散到全图，生成人脸区域外的像素点的深度值，也就是根据第一全图深度图中人脸区域内像素点的深度值，确定第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值；将最小的目标深度值对应的非人脸区域内的深度值作为第一全图深度图中非人脸区域内的像素点的深度值。
在本公开实施例中，这个过程相当于将第一全图深度图中各像素点的深度值作为优化量，目标深度值作为能量函数，进而求最优解的过程，具体实施时有很多种方式，例如最小二乘法、梯度下降法、迭代法等。
其中，最小二乘法可以直接求得最优解；迭代法等方式需要通过多次调整第一全图深度图中非人脸区域内的像素点的深度值，确定多个目标深度值，进而确定求得最小的目标深度值时所使用的第一全图深度图中各个非人脸区域内的像素点的深度值就是最优解。
其中，目标深度值的确定方式有很多种，下面列举几种：
确定方式一、直接根据人脸区域蒙版图和人脸区域深度图构造第一全图深度图，X表示目标深度值，计算公式如下：
Figure BDA0002218541420000131
其中，w表示第一全图深度图的长度，h表示第一全图深度图的宽度，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示第一全图深度图中第j+1行第i列的像素点的深度值。
上述公式中的目标深度值X可以表述为：第一深度值以及第二深度值的和。
其中第一深度值为所有第一模值的和，第二深度值为所有第二模值的和，第一模值为第一全图深度图中任意左右相邻的像素点深度值之差的绝对值，第二模值为第一全图深度图中任意上下相邻的像素点的深度值之差的绝对值。
在本公开实施例中，以第j行第i列的像素点为例，与该像素点相邻且位于该像素点右侧的为第j行第i+1列的像素点，与该像素点相邻且位于该像素点上侧的为第j+1行第i列的像素点。
所以，第一模值为：||Cj,i-Cj,i+1||2，第二模值为：||Cj,i-Cj+1,i||2；第一深度值为：
Figure BDA0002218541420000132
第二深度值为：
其中该方式下直接通过人脸区域蒙版图A和人脸区域深度图B构造全图深度图C，通过Cj,i＝Bj,i if Aj,i＝1保证了全图深度图C在人脸区域内的像素点的深度值和人脸区域深度图B中对应位置的像素点的深度值一致；并且该方式保证了在人脸区域外是平滑扩散的。
确定方式二、根据人脸区域蒙版图、人脸区域深度图，以及第二全图深度图构造第一全图深度图，Y表示目标深度值，计算公式如下：
Figure BDA0002218541420000141
其中，w、h、Cj,i、Cj+1,i、Cj,i+1这五个参数的含义与确定方式一中的相同，a1表示人脸区域蒙版图中人脸区域内像素点的像素值，w1表示预设的第一超参数，Aj,i表示人脸区域蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，第二全图深度图是通过已训练好的深度预测神经网络对目标图像进行预测得到的。
上述公式中的目标深度值Y可以表述为：所有第三模值之和与第一超参数的乘积、第一深度值以及第二深度值的和。
其中，第三模值为第一全图深度图中非人脸区域内的任意一个像素点的深度值与目标图像对应的第二全图深度图中相同位置的像素点的深度值之差的绝对值，第二全图深度图是通过已训练好的深度预测神经网络对目标图像进行预测得到的。
如图5所示，为本公开实施例提供的一种通过深度学习得到的人脸图像I对应的全图深度图D，该图则可表示第二全图深度图，Dj,i表示全图深度图D中第j行第i列的像素点的深度值。
该方式下，通过将直接预测得到的全图深度图D与人脸区域深度图B以及人脸区域蒙版图A构造第一全图深度图。
具体的，在非人脸区域Aj,i＝0，在人脸区域Aj,i＝1，因而在人脸区域内1-Aj,i为0，非人脸区域内1-Aj,i为1，由于a1表示人脸区域蒙版图中人脸区域内像素点的像素值，一般情况下a1的值为1，所以第三模值可以表示为：
(1.0-Aj,i)||Cj,i-Dj,i||2
其中，第一超参数w1一般通过经验指定，参考值为1，则所有第三模值之和与第一超参数的乘积可以表示为：
Figure BDA0002218541420000151
因而，目标深度值Y可以表示为：
该方式下，同样保证在Cj,i＝Bj,i if Aj,i＝1的前提下，最终计算的全图深度图C中非人脸区域内的像素点的深度值和全图深度图D中对应位置的像素点的深度值尽量一致。
需要说明的是，一般不能直接使用全图深度图D作为全图深度图C，因为全图深度图D是通过人脸图像I进行直接深度预测得到的，一般存在深度不准确，不精细的问题，需要融合人脸深度图来做优化。
确定方式三、根据人脸区域蒙版图、人脸区域深度图，以及前景蒙版图构造第一全图深度图，Z表示目标深度值，计算公式如下：
Figure BDA0002218541420000153
其中，w、h、Cj,i、Cj+1,i、Cj,i+1这五个参数的含义与确定方式一中的相同，w2表示预设的第二超参数，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Aj,i表示人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示前景蒙版图中第j行第i列的像素点的像素值，前景蒙版图是通过已训练好的蒙版预测神经网络对目标图像进行预测得到的。
上述公式中的目标深度值Z可以表述为：所有第四模值之和与第二超参数的乘积、第一深度值以及第二深度值的和作为目标深度值；
其中，第四模值为第一全图深度图中背景区域内的任意一个像素点的深度值与预设的背景深度值之差的绝对值，第一全图深度图中的背景区域是根据目标图像对应的前景蒙版图确定的，前景蒙版图是通过已训练好的蒙版预测神经网络对目标图像进行预测得到的。
其中前景蒙版图是通过深度学习得到的，如图6所示，为本公开实施例提供的一种通过深度学习得到的人脸图像I对应的前景蒙版图E，该图则可表示前景蒙版图。
在前景蒙版图E中，Ej,i表示第j行第i列的像素点的像素值，在前景区域内的像素点的像素值为1，在背景区域内的像素点的像素值为0。
在本公开实施例中的前景区域指人像区域，如图6所示的白色区域部分；背景区域指非人像区域，如图6所示的黑色区域部分。
由于a2表示前景蒙版图中前景区域内像素点的像素值，一般情况下，在前景区域Ej,i＝1，在背景区域Ej,i＝0，也就是a2取1，因而第四模值可以表示为：
(1.0-Ej,i)||Cj,i-b||2；
其中，第二超参数为w2，预设的背景深度值为b，w2和b为预先指定的超参数，通过经验指定，参考值分别是1和10，则所有第四模值之和与第二超参数的乘积可以表示为：
Figure BDA0002218541420000161
因而，目标深度值为：
Figure BDA0002218541420000162
Figure BDA0002218541420000171
其中，Cj,i＝Bj,i if Aj,i＝1，所有第四模值之和与第二超参数的乘积这一项表示在前景区域外，最终计算的全图深度图C中背景区域内的像素点的深度值尽量接近背景深度b。
如图7所示，为本公开实施例提供的一种通过确定方式三确定的第一全图深度图，由图可知其中的前景区域(人像部分)中的人脸区域内的3D效果更加明显，前景区域(人像部分)中的非人脸区域与人脸区域的深度值平滑过渡，背景区域的深度值比较一致，接近于预设的背景深度值。
确定方式四、根据人脸区域蒙版图、人脸区域深度图，以及前景蒙版图、第二全图深度图构造第一全图深度图，W表示目标深度值，计算公式如下：
Figure BDA0002218541420000172
其中，w、h、Cj,i、Cj+1,i、Cj,i+1这五个参数的含义与确定方式一中的相同，w1表示预设的第一超参数，w2表示预设的第二超参数，a1表示人脸区域蒙版图中人脸区域内像素点的像素值，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Ej,i表示前景蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，第二全图深度图是通过已训练好的深度预测神经网络对目标图像进行预测得到的，前景蒙版图是通过已训练好的蒙版预测神经网络对目标图像进行预测得到的。
上述公式中的目标深度值W可以表述为：所有第三模值之和与第一超参数的乘积、所有第四模值之和与第二超参数的乘积、第一深度值以及第二深度值的和。
如图8所示，为本公开实施例提供的一种通过确定方式四确定的第一全图深度图，由图可知其中的前景区域(人像部分)中的人脸区域内的3D效果更加明显，前景区域(人像部分)中的非人脸区域与人脸区域的深度值平滑过渡，背景区域的深度值时接近于背景深度图5所示的全图深度图的深度值，但受预设的背景深度值的影响，背景区域的深度值更加平滑。
需要说明的是，本公开实施例中的神经网络都可以通过人工标注的图像进行训练得到，例如针对深度预测神经网络，则可将通过双目摄像头或者深度传感器得到的深度图像进行人工标注得到全图深度图，采用若干人工标注的全图深度图对神经网络进行训练得到；针对蒙版预测神经网络，则可通过若干人工标注得到的前景蒙版图对神经网络进行训练得到。
在本公开实施例中，根据第一全图深度图和目标图像得到目标图像对应的三维图像时的具体实施方式为：
根据第一全图深度图中各像素点的深度值得到全图三维网格；然后根据目标图像中各像素点的纹理信息对全图三维网格进行渲染得到三维图像。
例如，根据人脸图像I和全图深度图C，构造出全图三维图像时，具体的：
将目标图像I中每个像素点视为一个三维点，点的深度值来自于最终确定的全图深度图C中的像素点的深度值。将每相邻的2x2像素点对应的三维点连接成四边形，每个三维点的纹理信息取自于该像素点的颜色，对该三维网格进行渲染，构造3D人像。
如图9所示，为本公开实施例提供的一种流程框架图，具体为：输入人脸图像I，包含至少一张人脸。人脸图像I长宽分别为w，h；对人脸图像I进行人脸检测，在每张检测出的人脸上进行人脸关键点检测；根据每张人脸上的人脸关键点位置，执行人脸三维重建，输出人脸区域蒙版图A和人脸区域深度图B；通过人脸区域蒙版图A、人脸区域深度图B、全图深度图D(通过对人脸图像I预测全图深度得到)、前景蒙版图E(通过对人脸图像I预测前景区域得到)，构造出全图深度图C；之后根据输入图像I和全图深度图C，构造出全图三维网格和纹理信息，最后对三维网格进行渲染，构造3D人像。
其中的详细执行过程参见上述实施例，重复之处不再赘述。
如图10所示，为本公开实施例提供的根据图2所示的人脸图像I以及图7所示的第一全图深度图得到的三维人像图像。图10中的人脸面部区域的马赛克是对图像做的隐私处理，在实际处理后得到的3D人像是不包含马赛克的。其中，人脸图像I为单目人像图像，本公开可以直接使用单目人像图像，不需要额外的传感器，可以制作出逼真的3D人像特效，用户可以通过移动相机的位置和角度，从别的角度观察3D人像，应用更加广泛。
图11是根据一示例性实施例示出的一种图像处理的完整方法流程图，具体包括以下步骤：
步骤111、对人脸图像I进行人脸检测；
步骤112、在检测到的人脸上进行人脸关键点检测；
步骤113、根据检测到的人脸关键点的位置，执行人脸三维重建，得到人脸区域蒙版图A和人脸区域深度图B；
步骤114、通过人脸区域蒙版图A和人脸区域深度图B构造全图深度图C；
步骤115、根据全图深度图C中各像素点的深度值得到全图三维网格；
步骤116、根据人脸图像I中各像素点的纹理信息对三维网格进行渲染，构造3D人像。
其中，在步骤114中，通过人脸区域蒙版图A和人脸区域深度图B构造全图深度图C是指上述的确定方式一，可选的步骤114也可以采用确定方式二、确定方式三、确定方式四中的任意一种，其中确定方式二还需要预测全图深度图D，确定方式三还需要预测前景蒙版图A，确定方式四需要预测全图深度图D以及前景蒙版图A。
图12是根据一示例性实施例示出的一种图像处理装置框图。参照图12，该装置包括人脸检测单元1200，三维重建单元1201、图像构造单元1202和图像渲染单元1203。
所述人脸检测单元1200，被配置为执行对包含人脸的目标图像进行人脸关键点检测；
所述三维重建单元1201，被配置为执行根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；
所述图像构造单元1202，被配置为执行通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；
所述图像渲染单元1203，被配置为执行根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。
在一种可选的实施方式中，所述图像构造单元1202具体被配置为执行：
根据所述人脸区域蒙版图确定所述人脸区域深度图中的人脸区域以及所述第一全图深度图中的人脸区域；
将所述人脸区域深度图中人脸区域内的像素点的深度值作为所述第一全图深度图中人脸区域内对应位置的像素点的深度值；
根据所述第一全图深度图中人脸区域内像素点的深度值，确定所述第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值，其中所述第一全图深度图中非人脸区域内的像素点的深度值表示所述像素点对应的三维空间中的位置和拍摄所述目标图像的设备的距离；
确定所述第一全图深度图中非人脸区域内的像素点的深度值为最小的目标深度值对应的非人脸区域内的像素点的深度值。
在一种可选的实施方式中，所述图像构造单元1202还被配置为执行通过下列方式确定所述目标深度值：
其中，X表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值。
在一种可选的实施方式中，所述图像构造单元1202还被配置为执行通过下列方式确定所述目标深度值：
Figure BDA0002218541420000211
其中，Y表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，w1表示预设的第一超参数，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的。
在一种可选的实施方式中，所述图像构造单元1202还被配置为执行通过下列方式确定所述目标深度值：
Figure BDA0002218541420000212
其中，Z表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w2表示预设的第二超参数，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
在一种可选的实施方式中，所述图像构造单元1202还被配置为执行通过下列方式确定所述目标深度值：
其中，W表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w1表示预设的第一超参数，w2表示预设的第二超参数，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
关于上述实施例中的装置，其中各个单元执行请求的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种电子设备1300的框图，该装置包括：
处理器1310；
用于存储所述处理器1310可执行指令的存储器1320；
其中，所述处理器1310被配置为执行所述指令，以实现本公开实施例中的任意一项图像处理方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器1320，上述指令可由电子设备1300的处理器1310执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述任意一项图像处理方法或任意一项图像处理方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对包含人脸的目标图像进行人脸关键点检测；
根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；
通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；
根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。
2.根据权利要求1所述的方法，其特征在于，所述通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图的步骤包括：
根据所述人脸区域蒙版图确定所述人脸区域深度图中的人脸区域以及所述第一全图深度图中的人脸区域；
将所述人脸区域深度图中人脸区域内的像素点的深度值作为所述第一全图深度图中人脸区域内对应位置的像素点的深度值；
根据所述第一全图深度图中人脸区域内像素点的深度值，确定所述第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值，其中所述第一全图深度图中非人脸区域内的像素点的深度值表示所述像素点对应的三维空间中的位置和拍摄所述目标图像的设备的距离；
确定所述第一全图深度图中非人脸区域内的像素点的深度值为最小的目标深度值对应的非人脸区域内的像素点的深度值。
3.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述目标深度值：
其中，X表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值。
4.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述目标深度值：
Figure FDA0002218541410000022
其中，Y表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，w1表示预设的第一超参数，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的。
5.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述目标深度值：
Figure FDA0002218541410000023
其中，Z表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w2表示预设的第二超参数，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
6.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述目标深度值：
Figure FDA0002218541410000031
其中，W表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w1表示预设的第一超参数，w2表示预设的第二超参数，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Ej,i表示所述前景蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的，所述前景蒙版图是通过已训练好的蒙版预测神经网络对所述目标图像进行预测得到的。
7.一种图像处理装置，其特征在于，包括：
人脸检测单元，被配置为执行对包含人脸的目标图像进行人脸关键点检测；
三维重建单元，被配置为执行根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；
图像构造单元，被配置为执行通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；
图像渲染单元，被配置为执行根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。
8.根据权利要求7所述的装置，其特征在于，所述图像构造单元具体被配置为执行：
根据所述人脸区域蒙版图确定所述人脸区域深度图中的人脸区域以及所述第一全图深度图中的人脸区域；
将所述人脸区域深度图中人脸区域内的像素点的深度值作为所述第一全图深度图中人脸区域内对应位置的像素点的深度值；
根据所述第一全图深度图中人脸区域内像素点的深度值，确定所述第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值，其中所述第一全图深度图中非人脸区域内的像素点的深度值表示所述像素点对应的三维空间中的位置和拍摄所述目标图像的设备的距离；
确定所述第一全图深度图中非人脸区域内的像素点的深度值为最小的目标深度值对应的非人脸区域内的像素点的深度值。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至权利要求6中任一项所述的图像处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求6中任一项所述的图像处理方法。
CN201910924358.6A 2019-09-27 2019-09-27 图像处理方法、装置、电子设备及存储介质 Active CN110689609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910924358.6A CN110689609B (zh) 2019-09-27 2019-09-27 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910924358.6A CN110689609B (zh) 2019-09-27 2019-09-27 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110689609A true CN110689609A (zh) 2020-01-14
CN110689609B CN110689609B (zh) 2020-11-06

Family

ID=69110730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910924358.6A Active CN110689609B (zh) 2019-09-27 2019-09-27 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110689609B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570634A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 对象三维重建方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567936A (zh) * 2010-12-30 2012-07-11 新奥特（北京）视频技术有限公司 一种多位深度多分辨率的图像编辑方法和系统
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
CN106469465A (zh) * 2016-08-31 2017-03-01 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
US10013787B2 (en) * 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
CN109086724A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 一种加速的人脸检测方法及存储介质
CN109344694A (zh) * 2018-08-13 2019-02-15 西安理工大学 一种基于三维人体骨架的人体基本动作实时识别方法
CN110070611A (zh) * 2019-04-22 2019-07-30 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
CN110248085A (zh) * 2018-03-06 2019-09-17 索尼公司 用于图像序列的图像中的对象边界稳定化的装置和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567936A (zh) * 2010-12-30 2012-07-11 新奥特（北京）视频技术有限公司 一种多位深度多分辨率的图像编辑方法和系统
US10013787B2 (en) * 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
CN106469465A (zh) * 2016-08-31 2017-03-01 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN110248085A (zh) * 2018-03-06 2019-09-17 索尼公司 用于图像序列的图像中的对象边界稳定化的装置和方法
CN109086724A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 一种加速的人脸检测方法及存储介质
CN109344694A (zh) * 2018-08-13 2019-02-15 西安理工大学 一种基于三维人体骨架的人体基本动作实时识别方法
CN110070611A (zh) * 2019-04-22 2019-07-30 清华大学 一种基于深度图像融合的人脸三维重建方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAO YE 等: "Accurate 3D Pose Estimation From a Single Depth Ima", 《2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
李康 等: "基于深度图像的人脸模型特征点自动标定", 《计算机科学》 *
赵海峰 等: "结合个性化建模和深度数据的三维人体姿态估计", 《计算机系统应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570634A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 对象三维重建方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110689609B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US11756223B2 (en) Depth-aware photo editing
US11410320B2 (en) Image processing method, apparatus, and storage medium
Fried et al. Perspective-aware manipulation of portrait photos
CN107564063B (zh) 一种基于卷积神经网络的虚拟物显示方法及装置
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
Qian et al. Bggan: Bokeh-glass generative adversarial network for rendering realistic bokeh
JP2019509526A (ja) 多数のカメラを用いた最適の球形映像獲得方法
CN113793382A (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN114170290A (zh) 图像的处理方法及相关设备
Mehl et al. M-fuse: Multi-frame fusion for scene flow estimation
CN110689609B (zh) 图像处理方法、装置、电子设备及存储介质
Liu et al. Stereo-based bokeh effects for photography
Zhang et al. Reconstruction of refocusing and all-in-focus images based on forward simulation model of plenoptic camera
WO2022247394A1 (zh) 图像拼接方法及装置、存储介质及电子设备
CN116912467A (zh) 图像拼接方法、装置、设备及存储介质
US11770551B2 (en) Object pose estimation and tracking using machine learning
EP4283566A2 (en) Single image 3d photography with soft-layering and depth-aware inpainting
WO2022022260A1 (zh) 图像风格迁移方法及其装置
Xie et al. Effective convolutional neural network layers in flow estimation for omni-directional images
CN112799507B (zh) 人体虚拟模型展示方法、装置、电子设备及存储介质
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
Zhao et al. Image aesthetics enhancement using composition-based saliency detection
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质
KR102617776B1 (ko) 3d 모델 표면 재질 자동 생성 방법 및 장치
CN117197319B (zh) 图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant