CN107657652A - 图像处理方法和装置 - Google Patents

Abstract

本发明公开了一种图像处理方法和装置，其中，图像处理方法包括：视频应用场景中，利用结构光获取用户的人脸三维模型；根据人脸三维模型识别用户的表情信息；根据表情信息确定与其对应的动画效果；以及在用户的人脸的位置添加动画效果。本发明实施例的图像处理方法和装置，通过在视频应用场景中，利用结构光获取用户的人脸三维模型，并根据人脸三维模型识别用户的表情信息，再根据表情信息确定与其对应的动画效果，以及在用户的人脸的位置添加动画效果，能够对图像进行更精准地处理，获得效果更丰富的图像。

Description

图像处理方法和装置

技术领域

本发明涉及信息处理技术领域，尤其涉及一种图像处理方法和装置。

背景技术

随着科技的高速发展，摄像头已成为手机中必不可少的部件。人们可以通过摄像头，实现拍摄照片、录制视频、视频通话等功能。为了得到效果更好的照片或视频，通常从软硬件两方面入手，例如硬件方面主要通过提高摄像头的像素，软件方面主要通过优化算法，最终得到用户满意的照片或视频。然而，在某些应用场景中，例如视频通话过程中，仅仅是准确地还原出真实场景，并不能满足用户的需求，效果不够丰富。

发明内容

本发明提供一种图像处理方法和装置，以解决现有技术中，视频应用场景效果不够丰富的问题。

本发明实施例提供一种图像处理方法，包括：视频应用场景中，利用结构光获取用户的人脸三维模型；根据所述人脸三维模型识别所述用户的表情信息；根据所述表情信息确定与其对应的动画效果；以及在所述用户的人脸的位置添加所述动画效果。

本发明另一实施例提供一种图像处理装置，包括：获取模块，用于视频应用场景中，利用结构光获取用户的人脸三维模型；识别模块，用于根据所述人脸三维模型识别所述用户的表情信息；确定模块，用于根据所述表情信息确定与其对应的动画效果；以及处理模块，用于在所述用户的人脸的位置添加所述动画效果。

本发明又一实施例提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器用于执行本发明第一方面实施例所述的图像处理方法。

本发明还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述的图像处理方法。

本发明实施例提供的技术方案可以包括以下有益效果：

通过在视频应用场景中，利用结构光获取用户的人脸三维模型，并根据所述人脸三维模型识别所述用户的表情信息，再根据所述表情信息确定与其对应的动画效果，以及在所述用户的人脸的位置添加所述动画效果，能够对图像进行更精准地处理，获得效果更丰富的图像。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的图像处理方法的流程图；

图2是根据本发明一个实施例的结构光测量的场景示意图；

图3是根据本发明一个实施例的图像处理装置的结构框图；

图4是根据本发明一个实施例的图像处理装置的结构示意图；

图5是根据本发明一个实施例的终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的图像处理方法和装置。

图1是根据本发明一个实施例的图像处理方法的流程图。

如图1所示，该图像处理方法包括：

S101，视频应用场景中，利用结构光获取用户的人脸三维模型。

为了在视频应用场景中，获得效果更丰富的图像，本发明中可采用结构光来实现精准地建立用户的人脸三维模型。其中，基于结构光对用户进行人脸三维模型的相关信息的采集，比如，激光条纹、格雷码、正弦条纹、或者，非均匀散斑等，由此，由于结构光可以基于人脸的轮廓和深度信息对人脸三维模型的相关信息的采集，相较于仅仅根据摄像头拍照采集二维图像信息的方式，准确度更高。

为了使得本领域的技术人员更加清楚的了解，如何根据结构光来采集用户的人脸三维模型的相关信息，下面以一种应用广泛的条纹投影技术为例来阐述其具体原理，其中，条形投影技术属于广义上的面结构光。

在使用面结构光投影的时候，如图2所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用CCD相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定，包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定，否则很可能产生误差或者误差耦合。因为系统外部参数不标定则不可能由相位计算出正确的高度信息。

应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述条纹之外，还可是其他任意图案。

在本发明的一个实施例中，可向用户的人脸投射结构光，并获取经过用户人脸的结构光图像，然后根据结构光图像生成用户的人脸三维模型。

具体地，可解调结构光图像中变形位置像素对应的相位信息，然后将相位信息转化为高度信息，再根据高度信息获取用户的人脸三维模型。

需要说明的是，根据应用场景的不同，可采用不同的方式基于结构光图像获取人脸三维模型，举例如下：解调结构光图像中变形位置像素对应的相位信息，将相位信息转化为高度信息，根据高度信息获取与结构光图像对应的人脸三维模型。当然，也可以结合轮廓识别技术，基于人脸三维模型，识别出用户人脸的轮廓，根据该轮廓可获取更精准的人脸三维模型。

S102，根据人脸三维模型识别用户的表情信息。

具体地，可提取人脸三维模型中的特征信息，再将特征信息与预先建立的表情数据库中的表情样本进行匹配，然后获取与特征信息一致的表情样本，并将其作为用户的表情信息。

S103，根据表情信息确定与其对应的动画效果。

其中，不同的表情信息均具有与其相对应的动画效果。例如：生气的表情对应动画效果可以是着火的动画，疑惑的表情对应的动画效果可以是连续的弹出几个问号。

S104，在用户的人脸的位置添加动画效果。

在确定与表情信息对应的美颜模型后，就可以根据人脸三维模型确定用户的人脸在视频应用场景中的显示区域，然后将动画效果添加至显示区域。继续上例进行描述，确定了疑惑的表情对应的动画效果后，可以在用户的头顶上方连续弹出三个问号，表示用户疑惑的态度，丰富用户表达的情感效果，更具趣味性。

应当理解的是，视频应用场景可包括视频通话、视频播放等。

本发明实施例的图像处理方法，通过在视频应用场景中，利用结构光获取用户的人脸三维模型，并根据人脸三维模型识别用户的表情信息，再根据表情信息确定与其对应的动画效果，以及在用户的人脸的位置添加动画效果，能够对图像进行更精准地处理，获得效果更丰富的图像。

为了实现上述实施例，本发明还提出了一种图像处理装置，图3是根据本发明一个实施例的图像处理装置的结构框图，如图3所示，该装置包括获取模块310、识别模块320、确定模块330和处理模块340。

其中，获取模块310，用于视频应用场景中，利用结构光获取用户的人脸三维模型。

识别模块320，用于根据人脸三维模型识别用户的表情信息。

确定模块330，用于根据表情信息确定与其对应的动画效果。

处理模块340，用于在用户的人脸的位置添加动画效果。

需要说明的是，前述对图像处理方法的解释说明，也适用于本发明实施例的图像处理装置，本发明实施例中未公布的细节，在此不再赘述。

本发明实施例的图像处理装置，通过在视频应用场景中，利用结构光获取用户的人脸三维模型，并根据人脸三维模型识别用户的表情信息，再根据表情信息确定与其对应的动画效果，以及在用户的人脸的位置添加动画效果，能够对图像进行更精准地处理，获得效果更丰富的图像。

为了实现上述实施例，本发明还提出了一种终端设备。

如图4所示，终端设备1000包括图像处理装置100。图像处理装置100可以利用硬件和/或软件实现。图像处理装置100包括成像设备10和处理器20。

成像设备10包括可见光摄像头11和深度图像采集组件12。

具体地，可见光摄像头11包括图像传感器111和透镜112，可见光摄像头11可用于捕捉当前用户的彩色信息以获得场景图像，其中，图像传感器111包括彩色滤镜阵列(如Bayer滤镜阵列)，透镜112的个数可为一个或多个。可见光摄像头11在获取场景图像过程中，图像传感器111中的每一个成像像素感应来自拍摄场景中的光强度和波长信息，生成一组原始图像数据；图像传感器111将该组原始图像数据发送至处理器20中，处理器20对原始图像数据进行去噪、插值等运算后即得到彩色的场景图像。处理器20可按多种格式对原始图像数据中的每个图像像素逐一处理，例如，每个图像像素可具有8、10、12或14比特的位深度，处理器20可按相同或不同的位深度对每一个图像像素进行处理。

深度图像采集组件12包括结构光投射器121和结构光摄像头122，深度图像采集组件12可用于捕捉当前用户的深度信息以得到深度图像。结构光投射器121用于将结构光投射至当前用户，其中，结构光图案可以是激光条纹、格雷码、正弦条纹或者随机排列的散斑图案等。结构光摄像头122包括图像传感器1221和透镜1222，透镜1222的个数可为一个或多个。图像传感器1221用于捕捉结构光投射器121投射至当前用户上的结构光图像。结构光图像可由深度采集组件12发送至处理器20进行解调、相位恢复、相位信息计算等处理以获取当前用户的深度信息。

在某些实施方式中，可见光摄像头11与结构光摄像头122的功能可由一个摄像头实现，也即是说，成像设备10仅包括一个摄像头和一个结构光投射器121，上述摄像头不仅可以拍摄场景图像，还可拍摄结构光图像。

除了采用结构光获取深度图像外，还可通过双目视觉方法、基于飞行时间差(Timeof Flight，TOF)等深度像获取方法来获取当前用户的深度图像。

处理器20进一步用于视频应用场景中，利用结构光获取用户的人脸三维模型；根据人脸三维模型识别用户的表情信息；根据表情信息确定与其对应的动画效果；以及在用户的人脸的位置添加动画效果。

此外，图像处理装置100还包括图像存储器30。图像存储器30可内嵌在电子装置1000中，也可以是独立于电子装置1000外的存储器，并可包括直接存储器存取(DirectMemory Access，DMA)特征。可见光摄像头11采集的原始图像数据或深度图像采集组件12采集的结构光图像相关数据均可传送至图像存储器30中进行存储或缓存。处理器20可从图像存储器30中读取原始图像数据以进行处理得到场景图像，也可从图像存储器30中读取结构光图像相关数据以进行处理得到深度图像。另外，场景图像和深度图像还可存储在图像存储器30中，以供处理器20随时调用处理。

图像处理装置100还可包括显示器50。显示器50可直接从处理器20中获取图像，还可从图像存储器30中获取图像。显示器50显示该图像以供用户观看，或者由图形引擎或图形处理器(Graphics Processing Unit，GPU)进行进一步的处理。图像处理装置100还包括编码器/解码器60，编码器/解码器60可编解码场景图像、深度图像及合并图像等的图像数据，编码的图像数据可被保存在图像存储器30中，并可以在图像显示在显示器50上之前由解码器解压缩以进行显示。编码器/解码器60可由中央处理器(Central Processing Unit，CPU)、GPU或协处理器实现。换言之，编码器/解码器60可以是中央处理器(CentralProcessing Unit，CPU)、GPU、及协处理器中的任意一种或多种。

图像处理装置100还包括控制逻辑器40。成像设备10在成像时，处理器20会根据成像设备获取的数据进行分析以确定成像设备10的一个或多个控制参数(例如，曝光时间等)的图像统计信息。处理器20将图像统计信息发送至控制逻辑器40，控制逻辑器40控制成像设备10以确定好的控制参数进行成像。控制逻辑器40可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的图像统计信息确定成像设备10的控制参数。

如图5所示，本发明实施方式的终端设备1000包括一个或多个处理器200、存储器300和一个或多个程序301。其中一个或多个程序301被存储在存储器300中，并且被配置成由一个或多个处理器200执行。程序301包括用于执行上述任意一项实施方式的图像处理方法的指令。

例如，程序301包括用于执行以下步骤的图像处理方法的指令：

S101’，视频应用场景中，利用结构光获取用户的人脸三维模型。

S102’，根据人脸三维模型识别用户的表情信息。

S103’，根据表情信息确定与其对应的动画效果。

S104’，在用户的人脸的位置添加动画效果。

本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置1000结合使用的计算机程序。计算机程序可被处理器200执行以完成上述任意一项实施方式的图像处理方法。

例如，计算机程序可被处理器200执行以完成以下步骤的图像处理方法：

S101’，视频应用场景中，利用结构光获取用户的人脸三维模型。

S102’，根据人脸三维模型识别用户的表情信息。

S103’，根据表情信息确定与其对应的动画效果。

S104’，在用户的人脸的位置添加动画效果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

视频应用场景中，利用结构光获取用户的人脸三维模型；

根据所述人脸三维模型识别所述用户的表情信息；

根据所述表情信息确定与其对应的动画效果；以及

在所述用户的人脸的位置添加所述动画效果。

2.如权利要求1所述的方法，其特征在于，利用结构光获取用户的人脸三维模型，包括：

向所述用户的人脸投射结构光，并获取经过所述人脸的结构光图像；

根据所述结构光图像生成所述人脸三维模型。

3.如权利要求2所述的方法，其特征在于，根据所述结构光图像生成所述人脸三维模型，包括：

解调所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息获取所述人脸三维模型。

4.如权利要求1所述的方法，其特征在于，根据所述人脸三维模型识别所述用户的表情信息，包括：

提取所述人脸三维模型中的特征信息；

将所述特征信息与预先建立的表情数据库中的表情样本进行匹配；

获取与所述特征信息一致的表情样本，并将其作为所述用户的表情信息。

5.如权利要求1所述的方法，其特征在于，在所述用户的人脸的位置添加所述动画效果，包括：

根据所述人脸三维模型确定所述用户的人脸在所述视频应用场景中的显示区域；

将所述动画效果添加至所述显示区域。

6.一种图像处理装置，其特征在于，包括：

获取模块，用于视频应用场景中，利用结构光获取用户的人脸三维模型；

识别模块，用于根据所述人脸三维模型识别所述用户的表情信息；

确定模块，用于根据所述表情信息确定与其对应的动画效果；以及

处理模块，用于在所述用户的人脸的位置添加所述动画效果。

7.如权利要求6所述的装置，其特征在于，所述获取模块，用于：

向所述用户的人脸投射结构光，并获取经过所述人脸的结构光图像；

根据所述结构光图像生成所述人脸三维模型。

8.如权利要求7所述的装置，其特征在于，所述获取模块，用于：

解调所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息获取所述人脸三维模型。

9.如权利要求6所述的装置，其特征在于，所述识别模块，用于：

提取所述人脸三维模型中的特征信息；

将所述特征信息与预先建立的表情数据库中的表情样本进行匹配；

获取与所述特征信息一致的表情样本，并将其作为所述用户的表情信息。

10.如权利要求6所述的装置，其特征在于，所述处理模块，用于：

根据所述人脸三维模型确定所述用户的人脸在所述视频应用场景中的显示区域；

将所述动画效果添加至所述显示区域。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的图像处理方法。

12.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的图像处理方法。