CN107479801A - 基于用户表情的终端显示方法、装置及终端 - Google Patents

Abstract

本发明提出一种基于表情的终端显示方法、装置及终端，其中，方法包括：基于结构光获取用户的人脸3D模型；从所述人脸3D模型中提取所述用户的3D表情数据；根据所述3D表情数据识别与所述用户当前表情对应的目标3D表情；在所述终端上显示所述目标3D表情匹配的内容。通过本方法，能够根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，解决现有技术中用户手动切换显示内容，操作较为繁琐、智能化程度低的技术问题。

Description

基于用户表情的终端显示方法、装置及终端

技术领域

本发明涉及终端设备领域，尤其涉及一种基于用户表情的终端显示方法、装置及终端。

背景技术

随着移动终端技术的不断发展，用户对移动终端的智能化需求越来越高。比如，用户希望在移动终端解锁后无需用户手动操作，能够直接运行需要的应用程序；用户希望能够自动更换应用主题；用户希望能够自动切换移动终端的显示模式等。

然而，目前还没有相关技术能够实现上述功能，用户仍需手动切换显示模式、更换应用主题等，操作较为繁琐，智能化程度低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出一种基于用户表情的终端显示方法，通过结构光获取用户的人脸3D模型后匹配到目标3D表情，根据目标3D表情获取匹配的内容并显示在终端上，以根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，解决现有技术中用户手动切换显示内容，操作较为繁琐、智能化程度低的技术问题。

本发明还提出一种基于用户表情的终端显示装置。

本发明还提出一种终端。

本发明还提出一种非临时性计算机可读存储介质。

本发明第一方面实施例提出了一种基于用户表情的终端显示方法，包括：

基于结构光获取用户的人脸3D模型；

从所述人脸3D模型中提取所述用户的3D表情数据；

根据所述3D表情数据识别与所述用户当前表情对应的目标3D表情；

在所述终端上显示所述目标3D表情匹配的内容。

本发明实施例的基于用户表情的终端显示方法，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取用户的3D表情数据，根据3D表情数据识别与用户当前表情对应的目标3D表情，在终端上显示目标3D表情匹配的内容。由此，能够根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，增加趣味性，提升用户体验。通过获取人脸的3D模型，根据人脸3D模型获取对应的3D表情，将与3D表情匹配的内容显示在终端上，能够根据用户的面部表情实现显示内容的自动切换，无需用户手动改变显示内容，解放了用户的双手，进而解决了现有技术中用户手动切换显示内容操作较为繁琐的技术问题。

本发明第二方面实施例提出了一种基于用户表情的终端显示装置，包括：

模型获取模块，用于基于结构光获取用户的人脸3D模型；

提取模块，用于从所述人脸3D模型中提取所述用户的3D表情数据；

目标表情获取模块，用于根据所述3D表情数据识别与所述用户当前表情对应的目标3D表情；

显示模块，用于在所述终端上显示所述目标3D表情匹配的内容。

本发明实施例的基于用户表情的终端显示装置，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取用户的3D表情数据，根据3D表情数据识别与用户当前表情对应的目标3D表情，在终端上显示目标3D表情匹配的内容。由此，能够根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，增加趣味性，提升用户体验。通过获取人脸的3D模型，根据人脸3D模型获取对应的3D表情，将与3D表情匹配的内容显示在终端上，能够根据用户的面部表情实现显示内容的自动切换，无需用户手动改变显示内容，解放了用户的双手，进而解决了现有技术中用户手动切换显示内容操作较为繁琐的技术问题。

本发明第三方面实施例提出了一种终端，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行第一方面实施例所述的基于用户表情的终端显示方法。

本发明实施例的终端，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取用户的3D表情数据，根据3D表情数据识别与用户当前表情对应的目标3D表情，在终端上显示目标3D表情匹配的内容。由此，能够根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，增加趣味性，提升用户体验。通过获取人脸的3D模型，根据人脸3D模型获取对应的3D表情，将与3D表情匹配的内容显示在终端上，能够根据用户的面部表情实现显示内容的自动切换，无需用户手动改变显示内容，解放了用户的双手，进而解决了现有技术中用户手动切换显示内容操作较为繁琐的技术问题。

本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面实施例所述的基于用户表情的终端显示方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一实施例提出的基于用户表情的终端显示方法的流程示意图；

图2为一个投射结构光的装置组合示意图；

图3为均匀排布的结构光的示意图；

图4为本发明另一实施例提出的基于用户表情的终端显示方法的流程示意图；

图5为本发明实施例中非均匀的结构光的投影集合示意图；

图6为本发明又一实施例提出的基于用户表情的终端显示方法的流程示意图；

图7为本发明再一实施例提出的基于用户表情的终端显示方法的流程示意图；

图8为本发明一实施例提出的基于用户表情的终端显示装置的结构示意图；

图9为本发明另一实施例提出的基于用户表情的终端显示装置的结构示意图；

图10为本发明又一实施例提出的基于用户表情的终端显示装置的结构示意图；

图11为本发明一实施例提出的终端中的图像处理电路的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于用户表情的终端显示方法、装置及终端。

图1为本发明一实施例提出的基于用户表情的终端显示方法的流程示意图。需要说明的是，本发明实施例的基于用户表情的终端显示方法可应用于本发明实施例的基于用户表情的终端显示装置，该基于用户表情的终端显示装置可被配置于终端中。其中，在本发明的实施例中，该终端可以是智能手机、平板电脑、笔记本电脑等具有摄像功能的智能设备。

如图1所示，该基于用户表情的终端显示方法包括以下步骤：

步骤101，基于结构光获取用户的人脸3D模型。

其中，已知空间方向光束的投影集合称为结构光(structured light)。

作为一种示例，图2为一个投射结构光的装置组合示意图。图2中仅以结构光的投影集合为线的集合进行示例，对于投影集合为散斑图案的结构光的原理类似。如图2所示，该装置中可以包括光学投射器和摄像机，其中，光学投射器将一定模式的结构光投射于被测物体(用户的头部)所处的空间内，在用户的头部表面上形成由头部表面的形状所调制的光条的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得畸变的光条二维图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和用户头部表面的轮廓，直观上，沿光条显示出的位移(或偏移)与用户头部表面的高度成比例，扭曲表示了平面的变化，不连续显示了用户头部表面的物理间隙，当光学投射器与摄像机之间的相对位置一定时，由畸变的光条二维图像坐标即可重现用户的头部表面的三维轮廓，即获得人脸3D模型。

作为一种示例，可以采用公式(1)计算获得人脸3D模型，其中，公式(1)如下所示：

其中，(x,y,z)为获取的人脸3D模型的坐标，b为投射装置与摄像头之间的基线间距，F为摄像头的焦距，θ为投射装置向用户头部所处的空间投射预设的散斑图案时的投影角度，(x',y')为带有散斑图案的用户的二维畸变图像的坐标。

作为一种示例，结构光的类型包括光栅型、光点型、斑纹型(包括圆形斑纹和十字斑纹)，如图3所示，上述结构光是均匀排布的。对应地，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，比如光学投射器，也可以是生成激光束的激光器。

优选地，本发明实施例中的摄像头可以为终端的前置摄像头。由此，当用户拿起终端并面对终端的显示屏方向时，可调用终端的投射装置和前置摄像头完成对该用户的人脸3D模型的获取，以便后续根据获得的人脸3D模型为该用户自动显示与该用户的当前表情匹配的内容。

步骤102，从人脸3D模型中提取用户的3D表情数据。

人脸3D模型能够直观地展示用户当前的表情信息，针对用户的不同表情，获取的人脸3D模型也不同。能够理解的是，用户的面部表情主要由面部器官来体现，比如，当嘴角上扬、嘴巴微张时，用户的面部表情多为微笑；当嘴巴紧闭、眉毛皱在一起时，用户的面部表情多为愤怒。

从而，本实施例中，可以从获取的人脸3D模型中提取用户的各个面部器官的信息作为用户的3D表情数据，以用于表征获取人脸3D模型时用户的面部表情。其中，面部器官可以包括嘴巴、鼻子、眉毛和眼睛。

步骤103，根据3D表情数据识别与用户当前表情对应的目标3D表情。

本实施例中，提取出3D表情数据之后，可以进一步根据3D表情数据，从预先存储的若干个表情中识别出与3D表情数据所表征的用户当前表情对应的表情，作为目标3D表情。其中，目标3D表情可以为喜悦、悲伤、惊讶、厌恶、愤怒、恐惧和中性(即面无表情)中的任意一种。

举例而言，假设提取的3D表情数据中，嘴巴部分的3D表情数据表征的信息是嘴角上扬，则可以认为用户当前正处于微笑状态。通过与预先存储的各个表情的各面部器官的信息进行比较，可以识别出目标3D表情为喜悦。

步骤104，在终端上显示目标3D表情匹配的内容。

在本发明实施例中，可以预先设置好存储的各个表情与显示内容的对应关系，其中，表情与显示的内容之间可以是一对一的关系，也可以是一对多的关系，本发明对此不作限制。

本实施例中，根据3D表情数据识别出与用户当前表情对应的目标3D表情之后，可以进一步根据目标3D表情获取对应的内容，并将获取的内容显示在终端上。

作为一种示例，本发明实施例的基于用户表情的终端显示方法可以应用于终端显示模式的切换场景中，其中，终端的显示模式可以包括黑白显示模式和彩色显示模式。在黑白显示模式下，终端中仅显示黑和白两种颜色；在彩色显示模式下，终端正常显示各种颜色。一般情况下，当用户内心比较难过时，任何事物看起来都是比较灰暗的，为配合用户内心的情绪，可以设置悲伤的表情与黑白显示模式对应，而设置其他表情与彩色显示模式对应，此时，表情与内容之间是一对多的关系。当识别的目标3D表情为悲伤时，则终端的显示模式为黑白显示模式，终端中显示的所有内容均只有黑白两色。当识别的目标3D表情为除悲伤之外的其他表情时，比如喜悦、愤怒等，终端的显示模式为彩色显示模式。

进一步地，为便于识别和执行，本示例中，可以为识别出的目标3D表情进行标记，建立标记与终端显示模式之间的对应关系。比如，为悲伤表情标记1，建立1与黑白显示模式的对应关系；为除悲伤表情之外的其他表情标记2，并建立2与彩色显示模式之间的对应关系。当识别的目标3D表情为悲伤时标记1，通过查询标记与终端显示模式之间的对应关系，可以确定与1对应的显示模式为黑白显示模式，则将终端的显示模式设置为黑白显示模式。

作为另一种示例，本发明实施例的基于用户表情的终端显示方法还可以应用于终端应用主题的更换场景中，其中，应用主题可以预先存储于终端中。可以预先设置好应用主题与表情之间的对应关系，比如，悲伤表情对应应用程序A、喜悦表情对应应用程序B、惊讶表情对应应用程序C、愤怒表情对应应用程序D等，此时，应用程序与表情之间为一对一的关系。当识别的目标3D表情为惊讶时，则将终端的应用主题更换为应用程序C，当识别的目标3D表情为愤怒时，将终端的应用主题更换为应用程序D。

需要说明的是，上述示例仅用于解释说明本发明，而不能作为对本发明的限制，不能认为本发明实施例的基于用户表情的终端显示方法仅能用于上述两种场景。本发明实施例还可以应用于其他应用场景中，比如应用于应用程序的切换场景中，其原理与上述示例类似，本发明不再一一举例说明。

本实施例的基于用户表情的终端显示方法，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取用户的3D表情数据，根据3D表情数据识别与用户当前表情对应的目标3D表情，在终端上显示目标3D表情匹配的内容。由此，能够根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，增加趣味性，提升用户体验。通过获取人脸的3D模型，根据人脸3D模型获取对应的3D表情，将与3D表情匹配的内容显示在终端上，能够根据用户的面部表情实现显示内容的自动切换，无需用户手动改变显示内容，解放了用户的双手，进而解决了现有技术中用户手动切换显示内容操作较为繁琐的技术问题。

为了更加清楚地说明本发明实施例中利用结构光获取用户的人脸3D模型的具体实现过程，本发明实施例提出了另一种基于用户表情的终端显示方法，图4为本发明另一实施例提出的基于用户表情的终端显示方法的流程示意图。

如图4所示，在如图1所示实施例的基础上，步骤101可以包括以下步骤：

步骤201，向用户的人脸发射结构光。

本实施例中，可以在终端中设置投射装置，用于向用户的人脸发射结构光。当用户将终端对着人脸时，终端中设置的投射装置可以向人脸发射结构光。

步骤202，采集结构光在人脸上的反射光并形成人脸的深度图像。

当向人脸发射的结构光到达人脸之后，由于人脸上各个面部器官会对结构光造成阻碍结构光会在人脸处发生反射，此时，可以通过终端中设置的摄像头对结构光在人脸上的反射光进行采集，通过采集到的反射光可以形成人脸的深度图像。

步骤203，基于深度图像重构人脸3D模型。

具体的，人脸的深度图像中可能包括人脸和背景，首先对深度图像进行去噪处理及平滑处理，来获取人脸所在区域的图像，进而通过前后景分割等处理，将人脸与背景图分割。

在将人脸从深度图像中提取出来后，即可从人脸的深度图像中提取特征点数据，进而根据提取的特征点数据，将这些特征点连接成网络。比如根据各个点在空间上的距离关系，将相同平面的点，或者距离在阈值范围内的点连接成三角形网络，进而将这些网络进行拼接，就可以生成人脸3D模型。

本实施例的基于用户表情的终端显示方法，通过向用户的人脸发射结构光，采集结构光在人脸上的反射光，形成携带深度信息的人脸深度图像，基于深度图像重构人脸的3D模型，能够提高表情识别的准确度，进而可以提高获取与表情匹配的内容的准确度。

此处需要说明的是，作为一种示例，上述实施例中采用的结构光可以为非均匀的结构光，非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案。

图5为本发明实施例中非均匀的结构光的投影集合示意图。如图5所示，本发明实施例中采用的是非均匀的结构光，其中，非均匀的结构光为随机排列非均匀的散斑图案，也就是说，该非均匀的结构光为多个光斑的集合，且多个光斑之间采用不均匀的分散方式排布，进而构成一个散斑图案。由于散斑图案所占的存储空间较小，因而，投射装置运行时不会对终端的运行效率造成太大影响，能够节约终端的存储空间。

此外，本发明实施例中采用的散斑图案，相较于其他现有的结构光类型而言，散列排布能够降低能量消耗，节省电量，提高终端的续航能力。

在本发明实施例中，可以在电脑、手机、掌上电脑等终端中设置投射装置和摄像头。投射装置向用户发射非均匀的结构光即散斑图案。具体地，可以利用投射装置中的衍射光学元件形成散斑图案，其中，该衍射光学元件上设置有一定数量的浮雕，不规则的散斑图案就由衍射光学元件上不规则的浮雕产生。本发明实施例中，浮雕凹槽深度和数量可以通过算法设置。

其中，投射装置可以用于向被测对象所处的空间投射一个预设的散斑图案。摄像头可以用于对已投射散斑图案的被测对象进行采集，以得到带有散斑图案的被测对象的二维畸变图像。

本发明实施例中，当终端的摄像头对准用户的头部时，终端中的投射装置可以向用户头部所处的空间投射预设的散斑图案，该散斑图案中具有多个散斑点，当该散斑图案被投射到用户头部表面上时，该散斑图案中的好多散斑点会由于头部表面包含的各个器官的原因而发生偏移。通过终端的摄像头对用户的头部进行采集，得到带有散斑图案的用户头部的二维畸变图像。

进一步地，将采集到的头部的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取头部的散斑图像的各个散斑点(特征点)相对于参考散斑点(参考特征点)的移动距离。最后根据该移动距离、参考散斑图像与终端上摄像头的距离以及投射装置与摄像头之间的相对间隔值，利用三角法得到散斑红外图像的各个散斑点的深度值，并根据该深度值得到人脸的深度图像，进而根据深度图像可获得人脸3D模型。

日常生活中，当用户拿起终端朝向自己时，不难想象，用户此时想要开启终端并使用。目前的终端一般都支持密码锁定功能，比如通过数字密码、图案密码等对终端进行锁定，当需要开启终端时，需要输入正确的解锁密码才能开启。为了实现解锁功能与显示匹配内容的一体化，本发明实施例提出另一种基于用户表情的终端显示方法，以实现利用获取的人脸3D模型进行终端解锁，同时基于人脸3D模型匹配相关的内容在终端解锁后显示在终端上。

图6为本发明又一实施例提出的基于用户表情的终端显示方法的流程示意图。如图6所示，该基于用户表情的终端显示方法可以包括以下步骤：

步骤301，对解锁指令进行监听。

其中，解锁指令可以是由终端中设置的摄像头检测到人脸后触发的，并可以通过预先设置的程序对解锁指令进行监听。

当用户拿起终端朝向自己时，终端中设置的摄像头对人脸进行检测，若检测到人脸，则触发终端的解锁指令；若未检测到人脸，则不触发解锁指令。可以由终端中预设的监听程序对解锁指令进行监听。

步骤302，基于结构光获取用户的人脸3D模型。

需要说明的是，本发明对步骤302的描述，可以参见前述实施例中对步骤101的描述，其实现原理类似，此处不再赘述。

步骤303，当监听到解锁指令时，根据终端上预存的人脸3D模型进行匹配。

用户初次使用终端时，可以在终端上向用户显示提示信息，以提醒用户输入自己的人脸3D模型，其中，用户的人脸3D模型可以通过终端中的摄像头以及投射装置获取。其中，投射装置可以用于向被测对象所处的空间投射一个预设的散斑图案。摄像头可以用于对已投射的散斑图案的被测对象进行采集，以得到带有散斑图案的被测对象的二维畸变图像。进一步对二维畸变图像进行处理，可以获得用户的人脸3D模型。当用户接收到提示信息后，只需做出输入选择，终端可以自动完成用户的人脸3D模型的获取，并将其存储在终端中以作为后续解锁的验证依据。

当监听到解锁指令后，可以将获取的人脸3D模型同终端中预存的人脸3D模型进行匹配，以验证当前使用终端的是否为用户本人。

步骤304，如果匹配成功，对终端进行解锁。

本实施例中，当获取的人脸3D模型同终端中预存的人脸3D模型匹配成功时，可以对终端进行解锁。

通过将人脸3D模型用于对终端进行解锁，用户无需再次输入解锁密码，提高了便利性，提升了用户体验。

步骤305，从人脸3D模型中提取用户的3D表情数据。

本实施例中，获取了用户的人脸3D模型之后，可以进一步从获取的人脸3D模型中提取出用户的3D表情数据。其中，3D表情数据指的是能够表征不同面部表情的面部器官的3D数据。

作为一种可能的实现方式，可以从获取的人脸3D模型中识别人脸上各个面部器官，获取每个面部器官的3D数据，将各个面部器官的3D数据组合在一起用于表征用户的表情，形成3D表情数据。

步骤306，根据3D表情数据识别与用户当前表情对应的目标3D表情。

本发明实施例提供了两种根据3D表情数据识别与用户当前表情对应的目标3D表情的可能实现方式。

作为其中一种可能的实现方式，可以将3D表情数据与预先构建的表情库中每个3D表情进行匹配，获取表情库中每个3D表情与3D表情数据匹配度，并将匹配度最高的3D表情识别为目标3D表情。

作为其中另一种可能的实现方式，可以从所有的面部器官中选择一个作为初始匹配面部器官，基于初始匹配面部器官的3D数据，从表情库中获取包括3D数据的候选表情集合，利用剩余的面部器官的3D数据逐次对候选表情集合进行筛选，直达候选表情集合中只包括一个3D表情，将最终剩余的一个3D表情识别为目标3D表情。

比如，可以先选择嘴巴作为初始匹配面部器官，将表情库中与嘴巴的3D数据匹配的表情识别出来，组成候选表情集合。再根据眼睛的3D数据，将候选表情集合中与眼睛的3D数据不匹配的表情剔除。继续根据眉毛的3D数据将候选表情集合中剩余的与眉毛的3D数据不匹配的表情剔除。若剔除之后候选集合中只剩余一个表情，则该表情即为目标3D表情；若剔除之后的候选表情集合中剩余不止一个表情，则继续根据剩余面部器官的3D数据对候选表情集合中剩余的表情进行筛选，直至候选表情集合中只剩余一个表情，将该表情作为目标3D表情。

需要说明的是，表情库是预先构建的，表情库中可以包括喜悦、悲伤、惊讶、厌恶、愤怒、恐惧和中性等多种表情。表情库可以存储在终端的本地存储器中，也可以存储在云端服务器中以节省终端的内存空间，本发明对此不作限制。此外，在本发明实施例中，还可以对表情库进行定期同步与更新，将终端采集的用户的表情或通过网络获取的表情同步更新至表情库，以使表情库具有更强的适用性，能够匹配出更多的表情，提高表情匹配的准确度。

步骤307，在终端上显示目标3D表情匹配的内容。

在本发明实施例一种可能的实现方式中，与目标3D表情匹配的内容可以是终端的显示模式，此时，在终端上显示目标3D表情匹配的内容可以包括：解锁后根据目标3D表情，查询3D表情与显示模式之间的映射关系，获取与目标3D表情匹配的目标显示模式；控制终端展示目标显示模式。

其中，显示模式可以包括黑白显示模式和彩色显示模式。3D表情与显示模式之间的映射关系可以预先存储在终端的本地存储器或云端服务器中，其中，映射关系可以设置为悲伤表情与黑白显示模式对应，其他表情与彩色显示模式对应。此外，在本发明实施例一种可能的实现方式中，当表情库中的表情更新时，3D表情与显示模式之间的映射关系也相应地更新。

举例而言，若识别出的目标3D表情为悲伤表情，则与目标3D表情匹配的目标显示模式为黑白显示模式，终端解锁后展示黑白显示模式，此时终端中显示的内容只有黑白两色。若识别的目标3D表情为喜悦，则终端解锁后展示彩色显示模式，此时终端中显示的内容为正常颜色。

本实施例的基于用户表情的终端显示方法，通过对解锁指令进行监听，基于结构光获取用户的人脸3D模型，当监听到解锁指令时根据终端上预存的人脸3D模型进行匹配，并在匹配成功后对终端进行解锁，从人脸3D模型中提取用户的3D表情数据，根据3D表情数据识别与用户当前表情对应的目标3D表情，在终端上显示目标3D表情匹配的内容。通过将获取的人脸3D模型用于终端解锁和匹配显示内容，能够实现解锁与内容显示的一体化，无需用户输入解锁密码即可实现终端解锁，也无需用户手动操作即可实现不同显示内容的切换，方便了用户操作，提高了终端的智能化程度，提升了用户体验。

图7为本发明再一实施例提出的基于用户表情的终端显示方法的流程示意图。如图7所示，该基于用户表情的终端显示方法可以包括以下步骤：

步骤401，基于结构光获取用户的人脸3D模型。

步骤402，从人脸3D模型中提取用户的3D表情数据。

步骤403，根据3D表情数据识别与用户当前表情对应的目标3D表情。

需要说明的是，本发明对步骤401～步骤403的描述，可以参见前述实施例中对相关步骤的描述，其实现原理类似，此处不再赘述。

步骤404，获取与目标3D表情对应的终端的当前显示对象。

步骤405，将目标3D表情与显示对象同时发送给服务器。

在用户使用终端的过程中，可以通过终端中的摄像头实时检测用户的表情变化情况。当用户表情变化时，比如，用户在使用终端阅读电子书或网络文章时，看到了比较伤心的内容，用户的面部表情可能由原本的平静无波变为悲伤，此时，可以获取用户当前的人脸3D模型并匹配出目标3D表情，同时获取与目标3D表情对应的终端的当前显示对象，并将目标3D表情与显示对象同时发送给服务器。

服务器接收到终端发送的目标3D表情与显示对象后，可以对接收到的信息进行大数据分析，以获得用户在使用终端过程中的情感体验，并根据分析结果获取并向用户推送与目标3D表情匹配的内容，以适应用户当前的心情。

可选地，在本发明实施例一种可能的实现方式中，为了进一步提高内容推送的准确度，还可以在获取用户的人脸3D模型之后，根据该人脸3D模型判断出用户的性别、年龄等基本信息，以便向用户推送符合用户身份的内容，使向用户推送的内容更加准确，更符合用户需求。

步骤406，接收服务器获取的和目标3D表情与显示对象匹配度最高的相似对象。

步骤407，将相似对象在终端上进行显示。

本实施例中，服务器根据终端发送的目标3D表情与显示对象获取到至少一个相匹配的内容之后，可以进一步计算获取的至少一个内容中与目标3D表情和显示对象的匹配度，并将匹配度最高的内容作为相似对象推送给终端。终端接收服务器推送的相似对象，并将相似对象显示在终端上以展示给用户。

本实施例的基于用户表情的终端显示方法，通过获取目标3D表情并获取与目标3D表情对应的终端的当前显示对象，将目标3D表情与显示对象同时发送给服务器，由服务器根据目标3D表情与显示对象获取匹配度最高的相似对象推送给终端，终端接收到相似对象后将相似对象在终端上进行显示，能够根据用户使用终端过程中的真实情感体验向用户推送匹配的内容，无需用户手动设置，减少了用户操作，提升了用户体验。

本发明还提出一种基于用户表情的终端显示装置。

图8为本发明一实施例提出的基于用户表情的终端显示装置的结构示意图。

如图8所示，该基于用户表情的终端显示装置包括：模型获取模块810、提取模块820、目标表情获取模块830，以及显示模块840。其中，

模型获取模块810，用于基于结构光获取用户的人脸3D模型。

具体地，模型获取模块810用于向用户的人脸发射结构光；采集结构光在人脸上的反射光并形成人脸的深度图像；基于深度图像重构人脸3D模型。

在本发明实施例一种可能的实现方式中，结构光可以为非均匀的结构光，非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案，是由设置在终端上的投射装置中的衍射光学元件形成的，其中，衍射光学元件上设置有一定数量的浮雕，浮雕的凹槽深度不同。

提取模块820，用于从人脸3D模型中提取用户的3D表情数据。

具体地，提取模块820用于从人脸3D模型中识别人脸上各个面部器官；获取每个面部器官的3D数据，形成3D表情数据。

目标表情获取模块830，用于根据3D表情数据识别与用户当前表情对应的目标3D表情。

在本发明实施例一种可能的实现方式中，目标表情获取模块830具体用于将3D表情数据与预先构建的表情库中每个3D表情进行匹配，获取表情库中每个3D表情与3D表情数据匹配度；将匹配度最高的3D表情识别为目标3D表情。

在本发明实施例另一种可能的实现方式中，目标表情获取模块830具体用于从所有的面部器官中选择一个作为初始匹配面部器官；基于初始匹配面部器官的3D数据，从表情库获取包括3D数据的候选表情集合；利用剩余的面部器官的3D数据逐次对候选表情集合进行筛选，直到候选表情集合只包括一个3D表情；将一个3D表情识别为目标3D表情。

显示模块840，用于在终端上显示目标3D表情匹配的内容。

可选地，在本发明实施例一种可能的实现方式中，如图9所示，在如图8所示实施例的基础上，该基于用户表情的终端显示装置80还包括：

监听模块800，用于对解锁指令进行监听。

解锁模块850，用于当监听到解锁指令时，根据终端上预存的人脸3D模型进行匹配，并在匹配成功时对终端进行解锁。此时，

显示模块840还用于在解锁后根据目标3D表情，查询3D表情与显示模式之间的映射关系，获取与目标3D表情匹配的目标显示模式；控制终端展示目标显示模式。

可选地，在本发明实施例一种可能的实现方式中，如图10所示，在如图8所示实施例的基础上，该基于用户表情的终端显示装置80还包括：

发送模块860，用于获取与目标3D表情对应的终端的当前显示对象，并将目标3D表情与显示对象同时发送给服务器。此时，

显示模块840还用于接收服务器获取的和目标3D表情与显示对象匹配度最高的相似对象，将相似对象在终端上进行显示。

需要说明的是，前述对基于用户表情的终端显示方法实施例的解释说明也适用于本实施例的基于用户表情的终端显示装置，其实现原理类似，此处不再赘述。

上述基于用户表情的终端显示装置中各个模块的划分仅用于举例说明，在其他实施例中，可将基于用户表情的终端显示装置按照需要划分为不同的模块，以完成上述基于用户表情的终端显示装置的全部或部分功能。

本实施例的基于用户表情的终端显示装置，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取用户的3D表情数据，根据3D表情数据识别与用户当前表情对应的目标3D表情，在终端上显示目标3D表情匹配的内容。由此，能够根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，增加趣味性，提升用户体验。通过获取人脸的3D模型，根据人脸3D模型获取对应的3D表情，将与3D表情匹配的内容显示在终端上，能够根据用户的面部表情实现显示内容的自动切换，无需用户手动改变显示内容，解放了用户的双手，进而解决了现有技术中用户手动切换显示内容操作较为繁琐的技术问题。

本发明实施例还提出一种终端。上述终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图11为本发明一实施例提出的终端中的图像处理电路的结构示意图。如图11所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图11所示，图像处理电路110包括成像设备1110、ISP处理器1130和控制逻辑器1140。成像设备1110可包括具有一个或多个透镜1112、图像传感器1114的照相机和结构光投射器1116。结构光投射器1116将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器1114捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器1130，由ISP处理器1130对结构光图像进行解调获取被测物的深度信息。同时，图像传感器1114也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器1114分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器1130对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器1130接收到图像传感器1114捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器1130对图像数据进行分析以获取可用于确定成像设备1110的一个或多个控制参数的图像统计信息。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1130处理的一组原始图像数据。

ISP处理器1130按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1130可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1130还可从图像存储器1120接收像素数据。图像存储器1120可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(DirectMemory Access，直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器1130可进行一个或多个图像处理操作。

在ISP处理器1130获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器1120，以便在被显示之前进行另外的处理。ISP处理器1130从图像存储器1120接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1130的输出还可发送给图像存储器1120，且显示器1160可从图像存储器1120读取图像数据。在一个实施例中，图像存储器1120可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1130的输出可发送给编码器/解码器1150，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1160设备上之前解压缩。编码器/解码器1150可由CPU或GPU或协处理器实现。

ISP处理器1130确定的图像统计信息可发送给控制逻辑器1140单元。控制逻辑器1140可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备1110的控制参数。

以下为运用图11中图像处理技术实现基于用户表情的终端显示方法的步骤：

步骤101’，基于结构光获取用户的人脸3D模型。

步骤102’，从人脸3D模型中提取用户的3D表情数据。

步骤103’，根据3D表情数据识别与用户当前表情对应的目标3D表情。

步骤104’，在终端上显示目标3D表情匹配的内容。

需要说明的是，前述对基于用户表情的终端显示方法实施例的解释说明也适用于本实施例的终端，其实现原理类似，此处不再赘述。

本实施例的终端，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取用户的3D表情数据，根据3D表情数据识别与用户当前表情对应的目标3D表情，在终端上显示目标3D表情匹配的内容。由此，能够根据用户的面部表情自动切换不同的显示内容，实现内容的自动显示，提高终端的智能化程度，增加趣味性，提升用户体验。通过获取人脸的3D模型，根据人脸3D模型获取对应的3D表情，将与3D表情匹配的内容显示在终端上，能够根据用户的面部表情实现显示内容的自动切换，无需用户手动改变显示内容，解放了用户的双手，进而解决了现有技术中用户手动切换显示内容操作较为繁琐的技术问题。

本发明实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的基于用户表情的终端显示方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种基于用户表情的终端显示方法，其特征在于，包括：

基于结构光获取用户的人脸3D模型；

从所述人脸3D模型中提取所述用户的3D表情数据；

根据所述3D表情数据识别与所述用户当前表情对应的目标3D表情；

在所述终端上显示所述目标3D表情匹配的内容。

2.根据权利要求1所述的方法，其特征在于，所述基于结构光获取用户的人脸3D模型之前，还包括：

对解锁指令进行监听；

当监听到所述解锁指令时，则所述基于非均匀的结构光获取用户的人脸3D模型之后，还包括：

根据所述终端上预存的人脸3D模型进行匹配；

如果匹配成功，对所述终端进行解锁。

3.根据权利要求2所述的方法，其特征在于，在所述终端上显示所述目标3D表情匹配的内容，包括：

解锁后根据所述目标3D表情，查询3D表情与显示模式之间的映射关系，获取与所述目标3D表情匹配的目标显示模式；

控制所述终端展示所述目标显示模式。

4.根据权利要求1所述的方法，其特征在于，所述在所述终端上显示所述目标3D表情匹配的内容之前，还包括：

获取与所述目标3D表情对应的所述终端的当前显示对象；

将所述目标3D表情与所述显示对象同时发送给服务器；

所述在所述终端上显示所述目标3D表情匹配的内容，包括：

接收所述服务器获取的和所述目标3D表情与所述显示对象匹配度最高的相似对象；

将所述相似对象在所述终端上进行显示。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述从所述人脸3D模型中提取所述用户的3D表情数据，包括：

从所述人脸3D模型中识别人脸上各个面部器官；

获取每个面部器官的3D数据，形成所述3D表情数据。

6.根据权利要求5所述的方法，其特征在于，所述根据所述3D表情数据识别与所述用户当前表情对应的目标3D表情，包括：

将所述3D表情数据与预先构建的表情库中每个3D表情进行匹配，获取所述表情库中每个3D表情与所述3D表情数据匹配度；

将匹配度最高的3D表情识别为所述目标3D表情。

7.根据权利要求5所述的方法，其特征在于，所述根据所述3D表情数据识别与所述用户当前表情对应的目标3D表情，包括：

从所有的面部器官中选择一个作为初始匹配面部器官；

基于所述初始匹配面部器官的所述3D数据，从所述表情库获取包括所述3D数据的候选表情集合；

利用剩余的面部器官的所述3D数据逐次对所述候选表情集合进行筛选，直到所述候选表情集合只包括一个3D表情；

将所述一个3D表情识别为所述目标3D表情。

8.根据权利要求1-4任一项所述的方法，其特征在于，所述基于结构光获取所述用户的人脸3D模型，包括：

向所述用户的人脸发射结构光；

采集所述结构光在所述人脸上的反射光并形成人脸的深度图像；；

基于所述深度图像重构所述人脸3D模型。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述结构光为非均匀的结构光，所述非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案，是由设置在终端上的投射装置中的衍射光学元件形成的，其中，所述衍射光学元件上设置有一定数量的浮雕，所述浮雕的凹槽深度不同。

10.一种基于用户表情的终端显示装置，其特征在于，包括：

模型获取模块，用于基于结构光获取用户的人脸3D模型；

提取模块，用于从所述人脸3D模型中提取所述用户的3D表情数据；

目标表情获取模块，用于根据所述3D表情数据识别与所述用户当前表情对应的目标3D表情；

显示模块，用于在所述终端上显示所述目标3D表情匹配的内容。

11.一种终端，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1-9中任一项所述的基于用户表情的终端显示方法。

12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-9中任一项所述的基于用户表情的终端显示方法。