CN105787884A - 一种图像处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及电子设备，解决现有技术中的电子设备在视频通信过程中视频显示效果较差的问题。该方法包括：获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中第一用户的人眼部分处于非正视状态；按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述人脸矫正图像中第一用户的人眼部分处于正视状态；将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

Description

一种图像处理方法及电子设备

技术领域

本发明涉及电子技术领域，特别涉及一种图像处理方法及电子设备。

背景技术

随着高带宽网络的普及以及视频传输技术的成熟，视频通讯成为人们日常工作和生活中不可或缺的一环，与传统的语音通讯相比，视频通讯中与语音同时传输的视频让人与人之间的沟通和交流变的更加自然和高效，人们利用手机或PC进行视频通话也变得越来越普及。

目前，在用户使用电子设备进行视频通话的过程中，通常是使用外置或内置摄像头来采集视频图像，并通过显示屏幕中的视频窗口查看到相应的视频画面。但由于摄像头通常设置在笔记本电脑或手机的显示屏幕上方，设置有些电子设备采用外接摄像头，因此，使得摄像头和显示屏幕之间存在一定距离。而在视频过程中，用户大多数情况下都处于关注显示屏幕的状态。因此，实际中，当用户通过视频窗口观察显示的视频图像时，通常没有对视的感觉。例如，用户甲和用户乙进行视频通信，若用户甲所采用的摄像头设置于显示屏幕的上方，相对于用户甲头部的位置较高，则在通过视频过程中，若用户甲按照平时使用习惯保持注视显示屏幕的状态，则视屏对方，即用户乙通过视频窗口显示的包含用户甲的视频图像中，用户甲可能是处于类似低头的状态，完全没有对视的感觉。

综上可知，现有技术中存在电子设备在视频通信过程中视频显示效果较差的技术问题。

发明内容

本发明实施例提供一种图像处理方法及电子设备，用于解决现有技术中的电子设备在视频通信过程中视频显示效果较差的问题，实现增强电子设备的视频显示效果。

一方面，本申请公开一种图像处理方法，应用于第一电子设备中，所述第一电子设备包括第一显示单元和第一采集单元，该方法包括以下步骤：

获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

另一方面，本申请还公开一种图像处理方法，应用于第二电子设备中，所述第二电子设备包括第二显示单元，所述方法包括：

获得从第一电子设备传输来的第一视频图像，所述第一视频图像为通过所述第一电子设备中的第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的图像，其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像；所述第二视频图像中包含与所述人脸采集图像对应的人脸矫正图像，所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

在所述第二显示单元显示所述第二视频图像。

另一方面，本申请公开一种第一电子设备，所述第一电子设备具有第一显示单元和第一采集单元，所述第一电子设备包括：

获取模块，用于获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

处理模块，用于按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

发送模块，用于将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

另一方面，本申请公开一种第二电子设备，所述第二电子设备包括第二显示单元，所述第二电子设备包括：

接收模块，用于获得从第一电子设备传输来的第一视频图像，所述第一视频图像为通过所述第一电子设备中的第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的图像，其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

处理模块，用于按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像；所述第二视频图像中包含与所述人脸采集图像对应的人脸矫正图像，所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

操作模块，用于在所述第二显示单元显示所述第二视频图像。

由于在第一电子设备采集到人眼部分处于非正视状态的第一视频图像后，可以按照预设调整角度对第一视频图像进行矫正处理，以获得与第二视频图像对应的第二视频图像，且第二视频图像中包含的人脸矫正图像也为基于人脸采集图像所获得。例如，可将与人脸采集图像对应的人像模型进行转动，以实现处理后的人脸矫正图像中人眼部分处于正视状态。故在将第二视频图像发送到第二电子设备后，在第二电子设备端的用户将会观察到为正视状态的视频图像，增强了其与视频显示画面中视频对象的对视感。

此外，由于本发明不需要增加额外配件或设备，使得成本较低，易于实现和推广。并且在对第一图像进行处理的过程中，不需要用户进行额外复杂的设置，故无需改变原本的视频聊天习惯，用户体验度较高。

附图说明

图1为本发明实施例一中图像处理方法的主要流程图；

图2为本发明实施例二中图像处理方法的主要流程图；

图3为本发明实施例三中电子设备的结构示意图；

图4为本发明实施例四中电子设备的结构示意图。

具体实施方式

本发明实施例提供一种图像处理方法及电子设备，用于解决现有技术中的电子设备在视频通信过程中视频显示效果较差的问题，实现增强电子设备的视频显示效果。

本申请公开的图像处理方法，应用于第一电子设备中，所述第一电子设备包括第一显示单元和第一采集单元，该方法包括：获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

由于在第一电子设备采集到人眼部分处于非正视状态的第一视频图像后，可以按照预设调整角度对第一视频图像进行矫正处理，以获得与第二视频图像对应的第二视频图像，且第二视频图像中包含的人脸矫正图像也为基于人脸采集图像所获得。例如，可将与人脸采集图像对应的人像模型进行转动，以实现处理后的人脸矫正图像中人眼部分处于正视状态。故在将第二视频图像发送到第二电子设备后，在第二电子设备端的用户将会观察到为正视状态的视频图像，增强了其与视频显示画面中视频对象的对视感。

此外，由于本发明不需要增加额外配件或设备，使得成本较低，易于实现和推广。并且在对第一图像进行处理的过程中，不需要用户进行额外复杂的设置，故无需改变原本的视频聊天习惯，用户体验度较高。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，所述第一电子设备和/或第二电子设备可以是笔记本、PAD(平板电脑)、手机等电子设备，本发明对此不作限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图对本发明优选的实施方式进行详细说明。

实施例一：

请参见图1，本实施例提供一种图像处理方法，应用于第一电子设备中，所述第一电子设备包括第一显示单元和第一采集单元，该方法可以包括以下步骤：

步骤11：获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态。

本发明实施例中，第一视频图像可以是在第一电子设备处于视频通话过程中通过第一采集单元采集的视频图像，第一视频图像中至少可以包含有当前用户即第一用户的人脸采集图像，以便与第一用户进行视频的对方用户能够观察到该图像。其中，视频通话通常指基于互联网和移动互联网(3G互联网)，通过视频通讯软件在手机或电脑之间实时传送人的语音和图像的一种通信方式。而常见的视频通讯软件有苹果视频通话软件FaceTime、腾讯QQ视频、微软Skype或谷歌Hangout等等。

此外，该第一视频图像所包含的人脸采集图像的人眼部分可以是处于非正视状态。通常来说，在采集单元采集包含用户的人图像时，若用户未直视采集单元，则采集所得的人脸采集图像中，用户的人眼就可能处于非正视状态。具体的，当用户的人眼部分处于非正视状态时，可以认为人眼部分的人眼视线主要汇集在采集单元的采集光线对应的发射源处。

或者，电子设备可以通过检测人眼部分中瞳孔所在的位置区域来判断人脸图像是否为非正视状态的图像。例如可以检测判断瞳孔是否处于人眼部分所占区域的预设区域内，该预设区域可以是根据多次的历史测试总结出来用户的人眼处于正视或非正视状态的虹膜区域。通常来说，当人眼部分处于正视状态时，瞳孔可以处于虹膜的中间区域。

实际中，由于当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，从而可以预测用户的状态和需求，并进行响应。例如，通过多个摄像头捕捉到眼球的运动信息，计算出人眼关注的位置，进而可用于达到通过眼睛控制设备的目的，如用户无需触摸屏幕即可翻动页面。

因此，本申请可以通过眼动追踪(EyeTracking)来判断所采集的第一图像中人眼部分处于正视状态还是非正视状态。具体的，眼球追踪可以通过研究眼球运动信息的获取、建模和模拟，来实时追踪或预测眼球的运行状态，即通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。故在采集第一图像时，通过对人眼转动的追踪过程可以确定第一图像中人眼部分注视点的位置，当该注视点的位置位于人眼部分的正前方时，可以认为人眼部分处于正视状态，否则为非正视状态。

其中，获取眼球运动信息的设备除了红外设备之外，还可以是图像采集设备，甚至一般电脑或手机上的摄像头，其在软件的支持下也可以实现眼球跟踪。

本发明实施例中，第一采集单元具体可以是能够采集深度图像的摄像头。例如，第一采集单元可以为双目摄像头，或ToF(Time-of-Flight，可测深度摄像头)，或SL(Structured-Light，结构光)摄像头等。其中，因ToF和SL这两种摄像头需要投射近红外来完成深度传感，因此常用于室内环境的深度图像采集，而不利于在室外环境中的用。

步骤12：按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态。

本发明实施例中，该预设调整角度可以是在第一电子设备中通过实验及计算来进行设置好的。其可以是在通过第一采集单元采集第一视频图像之前或之后，根据电子设备对采集的视频图像的调整需求所确定的。

具体的，确定预设调整角度可以包括以下过程：

a、控制所述第一电子设备输出用于提示所述第一用户注视第一显示单元中特定显示区域的第一信息，并通过所述第一采集单元采集所述第一用户的瞳孔处于人眼部分中第一位置区域的第一人脸参考图像；

b、控制所述第一电子设备输出用于提示所述第一用户注视所述第一采集单元的第二信息，并通过所述第一采集单元采集获得所述第一用户的瞳孔处于人眼部分中第二位置区域的第二人脸参考图像；其中，所述第一位置区域与所述第二位置区域不同；

c、确定所述第一人脸参考图像中所述人脸部分相对于所述第一显示单元的第一相对角度，及所述第二人脸参考图像中所述人脸部分相对于所述第一显示单元的第二相对角度；

d、根据所述第一相对角度和所述第二相对角度之间的角度差作为预设调整角度。

其中，第一信息和第二信息可以在检测到用户使用视频软件时，电子设备生成的用于校准的提示信息，该信息可以是文字提示信息，例如“请双眼注视摄像头”或“请双眼注视视频显示窗口”，或者也可以是语音信息。

实际操作时，步骤a中的第一显示单元的特定显示区域可以是指当前视频通讯的视频显示窗口，视频双方可以通过视频显示窗口观看到自己及视频对象的视频图像，通常呈现为画中画的显示效果。按照使用习惯，大多数用户在使用电子设备时，用户的视线几乎全部集中在显示屏幕上。因此，可将第一用户注视第一显示单元的状态作为一个参考状态，此时，由于摄像头与显示单元的偏差，则采集的第一参考图像中，第一用户的瞳孔可以处于人眼部分中第一位置区域，该第一位置区域可以是指人眼中虹膜的非中心位置，即处于非正视的状态。

当然，在分别采集第一人脸参考图像和第二人脸参考图像时，也可以是通过眼动追踪的方式来辅助进行采集的。例如，当通过眼动追踪计算出人眼注视第一显示单元中特定显示区域时，采集第一人脸参考图像；而在人眼注视第一采集单元时，采集第二人脸参考图像。

在步骤b中，由于第二信息提示第一用户注视第一采集单元，因此，通过第一采集单元采集到的第二参考图像中的人眼部分是处于正视状态的，即第一用户的瞳孔可以处于人眼部分中第二位置区域，该第二位置区域可以虹膜的中心位置区域。

由于摄像头与显示单元存在一定的位置偏差，因此在第一用户分别注视第一显示单元和第一采集单元时，人的头部通常会随着视线的转移发生转动。

例如，摄像头位于显示器的上方，若在第一时间段内，用户注视显示器，在第一时间段内之后的第二时间段，用户抬头注视摄像头，则在第一时间段内的第一时刻采集第一参考图像及在第二时间段内的第二时刻采集第一用户的第二参考图像时，第一用户的人脸部分相对于第一显示单元之间将分别对应不同的角度。在实际中，可将第一用户的人脸部分近似为平面，从而可以确定其相对于第一显示单元的相对角度，例如2°、20°等。

因此，在确定第一相对角度和第二相对角度之后，可将两角度之间的角度差确定为预设调整角度。例如，若第一相对角度为5°，第二相对角度为20°，则可确定预设调整角度为15°。

故本发明实施例中，在获得第一视频图像后，可按照预设调整角度对第一视频图像进行矫正处理，以获得与第一视频图像对应的第二视频图像。

该过程具体可以包括：对所述第一视频图像进行识别和分割，获得所述人脸采集图像；根据与所述第一视频图像对应的图像深度信息，建立与所述人脸采集图像对应的第一3D模型；根据所述预设调整角度对所述第一3D模型进行矫正处理，获得与所述人脸采集图像对应的人脸矫正图像；基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

可选的，在对第一视频图像进行处理前，可对其图像数据去噪处理，例如平滑、补洞等预处理，然后获得与第一视频图像中人脸采集图像相应的深度图像，深度图像中每个像素点的值可以代表距离摄像头的距离值，从而根据深度图像能够计算出人脸采集图像中人脸部分的各点相对于采集单元(摄像头)的三维坐标，即建立用户头部相对于采集摄像头的三维坐标。

例如，若用户面部某点在深度图上的坐标为(x₁，y₁)，假设摄像头的焦距为f，分辨率为(w，h)，则可获得该点相对于摄像头的三维坐标，例如为(X₁，Y₁，Z₁)，则有其中，Z₁为深度图中该像素点距离摄像头的距离值。以此类推，可以获得人脸采集图像的各个点相对于第一采集单元的三维坐标，从而便可获得与人脸采集图像对应的第一3D模型。

由于在根据第一视频图像的深度信息建立3D模型的过程中，仅建立了与人脸采集图像对应的第一3D模型，即头部的3D模型，故减少了图像的计算过程，加速了图像的处理，能够较好地对视频图像进行实时的调整。

在建立第一3D模型之后，可以基于预设调整角度对其进行矫正处理，进而获得与人脸采集图像对应的人脸矫正图像，具体过程如下：

首先，确定所述第一3D模型相对于所述第一显示单元所在参考平面的初始角度。该初始角度可以是第一3D模型中人脸部分与该参考平面之间的相对角度。

然后，按照预设调整角度，在预设方向上对所述第一3D模型进行调整，获得与所述第一3D模型对应的3D调整模型，所述3D调整模型与所述参考平面之间的夹角为更新角度，所述更新角度大于所述初始角度；

其中，预设方向可以是指顺时针方向，则可在初始角度的基础上，将第一3D模型按照预设调整角度进行旋转，以获得旋转后的更新角度，该更新角度可以是初始角度与预设调整角度之和。或者在实际过程中，也可以直接将第一3D模型按照预设调整角度相对于参考平面进行旋转，获得调整后的3D调整模型。

最后，将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像。

在将3D调整模型进行投影时，具体时先确定出其中的人脸三维点云，再将人脸三维点云中的各个三维点投影到二维坐标系中。例如，若3D调整模型中人脸三维点云中的某三维点的坐标为(X'₀，Y'₀，Z'₀)，则将该三维点投影到二维坐标系中的投影坐标可以是为(x₀，y₀)，且有：[x₀y₀1]＝P×[X'₀Y'₀Z'₀1]，其中P为摄像头的投影矩阵，例如P可以为3×4的矩阵，从而便可获得人眼处于正视状态的人脸矫正图像。

进一步，可对第一视频图像进行人脸识别，并基于用户人眼及人脸边缘特征，对其进行人脸分割，在第一视频图像中形成第一分割边缘；同时基于人脸矫正图像中的人脸边缘特征进行分割，获得用于替换的人脸矫正部分，且该人脸矫正部分具有第二分割边缘，将第一分割边缘和第二分割边缘进行融合和细化，消除边缘的不一致，实现将人脸矫正图像中的人脸矫正部分融合至第一视频图像中，获得人眼部分处于正视状态的第二视频图像。

举例来说，该过程具有可以是：首先，在人脸校正图像中根据人脸的位置信息生成新的人脸；然后基于人脸部位把新的人脸和第一视频图像中的人脸进行匹配(如调整人脸的大小和位置，使得两个人眼区域重合)；再然后对人脸周围区域进行拼接融合(利用人脸分割边界和周围象素的特点，进行插值和平滑)。

由于融合过程是利用前景人脸和背景中象素的相似性，在其中间进行插值和平滑处理，并且因视频中的人脸边缘的无缝融合是实时进行的，且只需在人脸周围区域进行，故计算区域非常少，所以速度很快，因此用户不易觉察。

需要说明的是，由于用户在视频通话中可能是移动的，因此在视频图像的处理过程中需要实时计算和调整人脸的区域，由于在第一电子设备中对视频图像进行校正处理时，该预设调整角度主要是基于第一采集单元与第一显示单元中特定显示区域之间的位置偏差确定的，即本发明是将该预设角度作为初始化调整角度，对视频图像进行处理，因此在大多数情况下，按照该预设调整角度处理后的第二视频图像中，第一用户的人眼部分应为处于正视状态。

但在实际运行中，不同用户有不同的角度，对于某些特殊情况，例如第一用户本身就未看第一显示单元，如侧脸或低头，则处理后的第二视频图像中，第一用户的人眼部分仍可能处于非正视状态，但第二视频图像中的人脸校正图像所呈现的人脸部分相对于第一视频图像中的人脸部分将存在一定的角度差。

步骤13：将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

在通过第一电子设备通过对第一视频图像的处理获得第二视频图像时，可及时将第二视频图像发送给第二电子设备，即实现本端采集本端处理，然后再发送给第二电子设备调整后的视频图像，减轻对端的视频图像处理负担，并且不论对端是否具有该视频图像处理过程，均可使得第二电子设备的第二用户通过第二显示单元中的视频显示窗口观察到视频图像中的第一用户的人眼部分处于正视状态，从而增强与视频对象的交流对视感，提高对端视频用户的视频体验。

当然，处理获得的第二视频图像也可以显示在第一显示单元中，例如腾讯的画中画视频显示方式，则第一用户可以同时观察到自己和视频对方的视频图像。

实施例二：

请参见图2，本发明实施例公开一种图像处理方法，应用于第二电子设备中，所述第二电子设备包括第二显示单元，该方法包括以下步骤：

步骤21：获得从第一电子设备传输来的第一视频图像，所述第一视频图像为通过所述第一电子设备中的第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的图像，其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态。

本发明实施例中，第一视频图像是指第二电子设备接收到的，由第一电子设备采集的，且包含第一电子设备的当前用户的人脸部分的视频图像。例如，用户甲使用手机1及用户乙使用手机2进行视频通话，则对于手机2来说，其接收到手机1传送过来的包含用户甲的视频图像就可以是未经处理的视频图像，且该视频图像中人眼部分可以是处于非正视状态。

具体的，本实施例中对于用户的人眼部分处于正视状态及非正视状态的描述请参考实施例一中的解释，此处不再赘述。

步骤22：按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像；所述第二视频图像中包含与所述人脸采集图像对应的人脸矫正图像，所述人脸矫正图像中所述第一用户的人眼部分处于正视状态。

本发明实施例中，该预设调整角度可以是第二电子设备中预存的调整角度，例如根据本地或云端的历史图像数据计算所得，或者也可以是根据在与第一电子设备进行视频通信过程中，从第一电子设备中获得的。例如，在第一电子设备中，由于其摄像头与第一显示单元之间存在位置偏差，因此可以经过采集相应的参考图像来确定该调整角度。

例如，通过分别采集用户看摄像头(正视状态)和用户看显示屏幕(非正视状态)的两个参考图像，分别确定图像中人脸所在的平面与显示屏幕之间形成的角度，将两者之间的角度差确定为预设调整角度，例如5°、10°等等。

具体的，按照调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，可以包括以下过程：

a、根据与所述第一视频图像对应的深度信息，建立与所述人脸采集图像对应的第一3D模型；

b、将所述第一3D模型按照所述预设调整角度进行矫正处理，获得与所述第一3D模型对应的第一3D调整模型；

c、将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像；

d、基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

其中，在步骤a中建立第一3D模型时，可以通过GRB+D数据捕捉对第一视频图像中的人脸采集图像进行重建色彩图像和深度信息，从而根据深度信息可以建立与人脸部分对应的第一3D模型。

具体的，步骤b中，将所述第一3D模型按照所述预设调整角度进行矫正处理，获得与所述第一3D模型对应的第一3D调整模型，可以包括：确定所述第一3D模型相对于垂直方向的第一角度，将所述第一3D模型按照预设调整角度和预设调整方向进行旋转，获得所述第一3D调整模型。

其中，第一角度可以是第一3D模型中人脸所在平面相对于垂直与水平线的垂直线的角度。例如，从第一3D模型的侧面来看，可将人脸部分近似看作一平面，而该平面偏离垂直于水平面的垂直线的角度即可认为是第一角度。

可选的，所述第一3D调整模型相对于垂直方向具有第二角度，且第二角度可以是预设调整角度与第一角度之和。例如，第一视频图像中的人眼视线处于低垂的状态，则通过将其对应的第一3D模型以人脸为参考平面向上旋转预设调整角度，从而可以获得第一3D调整角度。

进一步，通过步骤c的图像投影及步骤d中的拼接融合多次，可以获得与第一视频图像对应的包含人眼部分处于正视状态的第二视频图像。具体的，关于步骤图像投影和图像拼接融合过程请仍参考实施例一中的处理过程，此处不再赘述。

步骤23：在所述第二显示单元显示所述第二视频图像。

本发明实施例中，在第二电子设备对第一视频图像进行处理后，即可将其通过本端的第二显示单元进行显示，以使得本端用户与视频显示画面中所显示对象几乎处于对视的视频状态，增强本端用户的视频体验。

因此，在本申请中，对于在对视频通话的视频图像的处理过程，实施例一主要表明在本端电子设备采集并处理好，再发送给对端设备，以使得视频对方具有较好的视频体验；从而在视频双方的电子设备均能够对采集图像进行处理时，通过视频显示窗口显示的用户图像可以均处于正视状态，对视感较强；

在实施例二中，主要说明在本端接收来自对端的视频图像，并对其进行处理，并在本端显示，以获得对视感较强的视频图像，从而提高本端的视频体验。

实施例三：

请参见图3，基于与实施例一中图像处理方法的相同构思，本发明实施例提供了一种第一电子设备，所述第一电子设备具有第一显示单元和第一采集单元，所述第一电子设备可以包括获取模块301、处理模块302和发送模块303。

获取模块301可以用于获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

处理模块302可以用于按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

发送模块303可以用于将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

可选的，所述第一电子设备还可以包括：操作模块，用于控制所述第一电子设备输出用于提示所述第一用户注视第一显示单元中特定显示区域的第一信息，并通过所述第一采集单元采集所述第一用户的瞳孔处于人眼部分中第一位置区域的第一人脸参考图像；及，控制所述第一电子设备输出用于提示所述第一用户注视所述第一采集单元的第二信息，并通过所述第一采集单元采集获得所述第一用户的瞳孔处于人眼部分中第二位置区域的第二人脸参考图像；其中，所述第一位置区域与所述第二位置区域不同；

第一确定模块，用于确定所述第一人脸参考图像中所述人脸部分相对于所述第一显示单元的第一相对角度，及所述第二人脸参考图像中所述人脸部分相对于所述第一显示单元的第二相对角度；

第二确定模块，用于将所述第一相对角度和所述第二相对角度之间的角度差作为预设调整角度。

可选的，所述处理模块302具体可以用于：对所述第一视频图像进行识别和分割，获得所述人脸采集图像；根据与所述第一视频图像对应的图像深度信息，建立与所述人脸采集图像对应的第一3D模型；根据所述预设调整角度对所述第一3D模型进行矫正处理，获得与所述人脸采集图像对应的人脸矫正图像；基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

可选的，所述处理模块302具体还可以用于：

确定所述第一3D模型相对于所述第一显示单元所在参考平面的初始角度；

按照所述预设调整角度，在预设方向上对所述第一3D模型进行调整，获得与所述第一3D模型对应的3D调整模型，所述3D调整模型与所述参考平面之间的夹角为更新角度，所述更新角度大于所述初始角度；

将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像。

可选的，所述发送模块303具体可以用于：

确定所述第一电子设备与所述第二电子设备的当前通信在第二显示单元中所对应的通信画面；将所述第二视频图像发送至所述第二电子设备中，以使所述第二电子设备将所述第二视频图像显示在所述第二显示单元中。

实施例四：

请参见图4，基于与实施例二中图像处理方法的相同构思，本实施例提供一种第二电子设备，该第二电子设备包括第二显示单元，该第二电子设备还可以包括接收模块401、处理模块402和操作模块403。

接收模块401可以用于获得从第一电子设备传输来的第一视频图像，所述第一视频图像为通过所述第一电子设备中的第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的图像，其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

处理模块402可以用于按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像；所述第二视频图像中包含与所述人脸采集图像对应的人脸矫正图像，所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

操作模块403可以用于在所述第二显示单元显示所述第二视频图像。

可选的，所述处理模块402具体可以用于：

根据与所述第一视频图像对应的深度信息，建立与所述人脸采集图像对应的第一3D模型；

将所述第一3D模型按照所述预设调整角度进行矫正处理，获得与所述第一3D模型对应的第一3D调整模型；

将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像；

基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

可选的，所述处理模块402具体还可以用于：确定所述第一3D模型相对于垂直方向的第一角度，将所述第一3D模型按照预设调整角度和预设调整方向进行旋转，获得所述第一3D调整模型。

具体来讲，本申请实施例中的信息处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与图像处理方法对应的计算机程序指令被第一电子设备读取或被执行时，包括如下步骤：

获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

可选的，所述存储介质中还存储有另外一些计算机指令，这些计算机指令在与步骤：获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像，对应的计算机指令被执行之前或之后被执行，执行时包括如下步骤：

控制所述第一电子设备输出用于提示所述第一用户注视第一显示单元中特定显示区域的第一信息，并通过所述第一采集单元采集所述第一用户的瞳孔处于人眼部分中第一位置区域的第一人脸参考图像；及

控制所述第一电子设备输出用于提示所述第一用户注视所述第一采集单元的第二信息，并通过所述第一采集单元采集获得所述第一用户的瞳孔处于人眼部分中第二位置区域的第二人脸参考图像；其中，所述第一位置区域与所述第二位置区域不同；

确定所述第一人脸参考图像中所述人脸部分相对于所述第一显示单元的第一相对角度，及所述第二人脸参考图像中所述人脸部分相对于所述第一显示单元的第二相对角度；

将所述第一相对角度和所述第二相对角度之间的角度差作为预设调整角度。

可选的，所述存储介质中存储的与步骤：按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，对应的计算机指令在具体被执行过程中，包括如下步骤：

对所述第一视频图像进行识别和分割，获得所述人脸采集图像；

根据与所述第一视频图像对应的图像深度信息，建立与所述人脸采集图像对应的第一3D模型；

根据所述预设调整角度对所述第一3D模型进行矫正处理，获得与所述人脸采集图像对应的人脸矫正图像；

基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

可选的，所述存储介质中存储的与步骤：根据所述预设调整角度对所述第一3D模型进行矫正处理，获得与所述人脸采集图像对应的人脸矫正图像对应的计算机指令在具体被执行过程中，包括如下步骤：

确定所述第一3D模型相对于所述第一显示单元所在参考平面的初始角度；

按照所述预设调整角度，在预设方向上对所述第一3D模型进行调整，获得与所述第一3D模型对应的3D调整模型，所述3D调整模型与所述参考平面之间的夹角为更新角度，所述更新角度大于所述初始角度；

将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像。

可选的，所述存储介质中存储的与步骤：将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示，对应的计算机指令在具体被执行过程中，包括如下步骤：

确定所述第一电子设备与所述第二电子设备的当前通信在第二显示单元中所对应的通信画面；将所述第二视频图像发送至所述第二电子设备中，以使所述第二电子设备将所述第二视频图像显示在所述第二显示单元中。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种图像处理方法，所述方法应用于第一电子设备中，所述第一电子设备包括第一显示单元和第一采集单元，所述方法包括：

获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

2.如权利要求1所述的方法，其特征在于，在获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像之前或之后，所述方法还包括：

控制所述第一电子设备输出用于提示所述第一用户注视第一显示单元中特定显示区域的第一信息，并通过所述第一采集单元采集所述第一用户的瞳孔处于人眼部分中第一位置区域的第一人脸参考图像；及

控制所述第一电子设备输出用于提示所述第一用户注视所述第一采集单元的第二信息，并通过所述第一采集单元采集获得所述第一用户的瞳孔处于人眼部分中第二位置区域的第二人脸参考图像；其中，所述第一位置区域与所述第二位置区域不同；

确定所述第一人脸参考图像中所述人脸部分相对于所述第一显示单元的第一相对角度，及所述第二人脸参考图像中所述人脸部分相对于所述第一显示单元的第二相对角度；

将所述第一相对角度和所述第二相对角度之间的角度差作为预设调整角度。

3.如权利要求2所述的方法，其特征在于，所述按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，具体包括：

对所述第一视频图像进行识别和分割，获得所述人脸采集图像；

根据与所述第一视频图像对应的图像深度信息，建立与所述人脸采集图像对应的第一3D模型；

根据所述预设调整角度对所述第一3D模型进行矫正处理，获得与所述人脸采集图像对应的人脸矫正图像；

基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

4.如权利要求3所述的方法，其特征在于，所述根据所述预设调整角度对所述第一3D模型进行矫正处理，获得与所述人脸采集图像对应的人脸矫正图像，具体包括：

确定所述第一3D模型相对于所述第一显示单元所在参考平面的初始角度；

按照所述预设调整角度，在预设方向上对所述第一3D模型进行调整，获得与所述第一3D模型对应的3D调整模型，所述3D调整模型与所述参考平面之间的夹角为更新角度，所述更新角度大于所述初始角度；

将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像。

5.如权利要求1-4任一权项所述的方法，其特征在于，所述将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示，具体包括：

确定所述第一电子设备与所述第二电子设备的当前通信在第二显示单元中所对应的通信画面；

将所述第二视频图像发送至所述第二电子设备中，以使所述第二电子设备将所述第二视频图像显示在所述第二显示单元中。

6.一种图像处理方法，所述方法应用于第二电子设备中，所述第二电子设备包括第二显示单元，所述方法包括：

获得从第一电子设备传输来的第一视频图像，所述第一视频图像为通过所述第一电子设备中的第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的图像，其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像；所述第二视频图像中包含与所述人脸采集图像对应的人脸矫正图像，所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

在所述第二显示单元显示所述第二视频图像。

7.如权利要求6所述的方法，其特征在于，所述按照调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，具体包括：

根据与所述第一视频图像对应的深度信息，建立与所述人脸采集图像对应的第一3D模型；

将所述第一3D模型按照所述预设调整角度进行矫正处理，获得与所述第一3D模型对应的第一3D调整模型；

将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像；

基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

8.如权利要求7所述的方法，其特征在于，所述将所述第一3D模型按照所述预设调整角度进行矫正处理，获得与所述第一3D模型对应的第一3D调整模型，具体包括：

确定所述第一3D模型相对于垂直方向的第一角度，将所述第一3D模型按照预设调整角度和预设调整方向进行旋转，获得所述第一3D调整模型。

9.一种第一电子设备，所述第一电子设备具有第一显示单元和第一采集单元，所述第一电子设备包括：

获取模块，用于获得通过所述第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的第一视频图像；其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

处理模块，用于按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像，所述第二视频图像中包含的人脸矫正图像为将所述人脸采集图像基于所述预设调整角度进行转动所获得，且所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

发送模块，用于将所述第二视频图像发送给与所述第一电子设备进行通信的第二电子设备，以供所述第二电子设备的第二显示单元显示。

10.如权利要求9所述的第一电子设备，其特征在于，所述第一电子设备还包括：

操作模块，用于控制所述第一电子设备输出用于提示所述第一用户注视第一显示单元中特定显示区域的第一信息，并通过所述第一采集单元采集所述第一用户的瞳孔处于人眼部分中第一位置区域的第一人脸参考图像；及，控制所述第一电子设备输出用于提示所述第一用户注视所述第一采集单元的第二信息，并通过所述第一采集单元采集获得所述第一用户的瞳孔处于人眼部分中第二位置区域的第二人脸参考图像；其中，所述第一位置区域与所述第二位置区域不同；

第一确定模块，用于确定所述第一人脸参考图像中所述人脸部分相对于所述第一显示单元的第一相对角度，及所述第二人脸参考图像中所述人脸部分相对于所述第一显示单元的第二相对角度；

第二确定模块，用于将所述第一相对角度和所述第二相对角度之间的角度差作为预设调整角度。

11.如权利要求10所述的第一电子设备，其特征在于，所述处理模块具体用于：

对所述第一视频图像进行识别和分割，获得所述人脸采集图像；

根据与所述第一视频图像对应的图像深度信息，建立与所述人脸采集图像对应的第一3D模型；

根据所述预设调整角度对所述第一3D模型进行矫正处理，获得与所述人脸采集图像对应的人脸矫正图像；

基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

12.如权利要求11所述的第一电子设备，其特征在于，所述处理模块具体还用于：

确定所述第一3D模型相对于所述第一显示单元所在参考平面的初始角度；

按照所述预设调整角度，在预设方向上对所述第一3D模型进行调整，获得与所述第一3D模型对应的3D调整模型，所述3D调整模型与所述参考平面之间的夹角为更新角度，所述更新角度大于所述初始角度；

将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像。

13.如权利要求9-12任一权项所述的第一电子设备，其特征在于，所述发送模块具体用于：

确定所述第一电子设备与所述第二电子设备的当前通信在第二显示单元中所对应的通信画面；将所述第二视频图像发送至所述第二电子设备中，以使所述第二电子设备将所述第二视频图像显示在所述第二显示单元中。

14.一种第二电子设备，所述第二电子设备包括第二显示单元，所述第二电子设备包括：

接收模块，用于获得从第一电子设备传输来的第一视频图像，所述第一视频图像为通过所述第一电子设备中的第一采集单元采集的包含所述第一电子设备对应的第一用户的人脸采集图像的图像，其中，所述人脸采集图像中所述第一用户的人眼部分处于非正视状态；

处理模块，用于按照预设调整角度对所述第一视频图像进行矫正处理，获得与所述第一视频图像对应的第二视频图像；所述第二视频图像中包含与所述人脸采集图像对应的人脸矫正图像，所述人脸矫正图像中所述第一用户的人眼部分处于正视状态；

操作模块，用于在所述第二显示单元显示所述第二视频图像。

15.如权利要求14所述的第二电子设备，其特征在于，所述处理模块具体用于：

根据与所述第一视频图像对应的深度信息，建立与所述人脸采集图像对应的第一3D模型；

将所述第一3D模型按照所述预设调整角度进行矫正处理，获得与所述第一3D模型对应的第一3D调整模型；

将所述3D调整模型在二维坐标系中进行投影，获得与所述人脸采集图像对应的人脸矫正图像；

基于所述人眼部分，将所述人脸矫正图像融合至所述第一视频图像，获得与所述第一视频图像对应的第二视频图像。

16.如权利要求15所述的第二电子设备，其特征在于，所述处理模块具体还用于：

确定所述第一3D模型相对于垂直方向的第一角度，将所述第一3D模型按照预设调整角度和预设调整方向进行旋转，获得所述第一3D调整模型。