CN108960066A - 一种进行动态面部表情识别的方法及装置 - Google Patents

Abstract

本发明涉及智能终端技术，特别涉及一种进行动态面部表情识别的方法及装置，用以提高智能终端的面部表情识别效率。该方法为：智能终端在基于用户的面部表情提取出原始动态图像之后，按照逐步递增的目标时长，从原始动态图像中依次提取相应时长的帧图像生成最新的待检测目标图像，每提取一次，执行一次匹配操作，确定最新的待检测动态图像与标准动态图像集合匹配成功时，停止提取，并执行对应匹配成功的标准动态图像预设的业务功能。由于待检测目标图像的数据量较少，因而匹配过程不会给智能终端带来较大的运算负荷，同时又可以得到较为精准的匹配结果，因此，可以有效提升智能终端的面部表情识别效率，缩短面部表情识别所耗费的时长，进而有效提升用户体验。

Description

一种进行动态面部表情识别的方法及装置

技术领域

本发明涉及智能终端技术，特别涉及一种进行动态面部表情识别的方法及装置。

背景技术

随着移动通讯设备的全面屏化，大屏化的趋势日益增加，双手操作和单手操作均变得十分困难。双手操作过程会大大束缚用户的双手，给用户带来很大的不便，而单手操作过程会存在很大的误触问题或无法触及问题，令用户无法准确点击所需的业务功能。

为解决上述问题，面部表情识别交互方式应运而生。所谓面部表情识别交互方式，只需要用户一只手持握智能设备，并作出指定面部表情，智能设备就及时捕捉到用户的面部表情，并对应上述面部表情进行识别，在识别成功后，便会执行对应上述面部表情设置的业务功能。

为了提高面部表情识别的准确性，保证面部表情能够准确表达用户的需求，目前，智能终端会提取用户在设定时长内作出的一系列面部表情生成动态面部表情图像，并基于动态面部表情图像进行面部表情识别。

然而，相较于静态面部表情图像，动态面部表情图像的数据量较大，在进行面部表情识别时，会在一定程度上增加智能终端的运算量，延长运算时长，而面部表情识别又是一项时效性要求很高的功能；因此，需要提供一种解决方案，以克服上述缺陷

发明内容

本发明实施例提供一种进行动态面部表情识别的方法及装置，用以提高智能终端的面部表情识别效率。

本发明实施例提供的具体技术方案如下：

一种进行动态面部表情识别的方法，包括：

接收用户输入的面部表情，并生成对应的原始动态图像；

循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

可选的，接收用户输入的面部表情之前，进一步包括：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

可选的，将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功，包括：

分别计算所述最新的待检测动态图像与预设的标准动态图像集合中的每一个标准动态图像的相似度；

确定所述最新的待检测动态图像与任意一个标准动态图像的相似度达到设定阈值时，判定匹配成功。

可选的，延长已使用的目标时长，重新获得最新的目标时长，包括：

按照指定步长对已使用的目标时长进行调整，重新获得最新的目标时长；或者，

参考预设的时长递增序列，获取未使用的下一个数值对已使用的目标时长进行更新，重新获得最新的目标时长。

可选的，进一步包括：

若匹配次数达到设定次数门限，或者，匹配时长达到设定时长门限之后，若仍确定匹配未成功，则直接结束匹配流程，并向用户呈现匹配错误指示，令用户重新输入面部表情，或者，停止使用“面部表情识别”功能。

一种进行动态面部表情识别的装置，包括：

录入单元，用于接收用户输入的面部表情，并生成对应的原始动态图像；

匹配单元，用于循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

触发单元，用于确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

可选的，接收用户输入的面部表情之前之前，所述录入单元进一步用于：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

可选的，将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功时，所述匹配单元用于：

分别计算所述最新的待检测动态图像与预设的标准动态图像集合中的每一个标准动态图像的相似度；

确定所述最新的待检测动态图像与任意一个标准动态图像的相似度达到设定阈值时，判定匹配成功。

可选的，延长已使用的目标时长，重新获得最新的目标时长时，所述匹配单元用于：

按照指定步长对已使用的目标时长进行调整，重新获得最新的目标时长；或者，

参考预设的时长递增序列，获取未使用的下一个数值对已使用的目标时长进行更新，重新获得最新的目标时长。

可选的，所述匹配单元进一步用于：

若匹配次数达到设定次数门限，或者，匹配时长达到设定时长门限之后，若仍确定匹配未成功，则直接结束匹配流程，并向用户呈现匹配错误指示，令用户重新输入面部表情，或者，停止使用“面部表情识别”功能。

一种存储介质，存储有用于实现进行动态面部表情识别的程序，所述程序被处理器运行时，执行以下步骤：

接收用户输入的面部表情，并生成对应的原始动态图像；

循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

一种通信装置，包括一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行如权利要求1至5中任一项所述的方法。

本发明实施例中，智能终端在基于用户的面部表情提取出原始动态图像之后，按照逐步递增的目标时长，从原始动态图像中依次提取相应时长的帧图像生成最新的待检测目标图像，每提取一次，执行一次匹配操作，确定最新的待检测动态图像与标准动态图像集合匹配成功时，停止提取，并执行对应匹配成功的标准动态图像预设的业务功能。这样，可以先使用帧图像数目较少的待检测目标图像来进行面部表情识别，如果匹配不成功，再逐步提升帧图像数目，重新生成待检测图像进行面部表情识别，由于待检测目标图像的数据量较少，因而匹配过程不会给智能终端带来较大的运算负荷，同时又可以得到较为精准的匹配结果，因此，可以有效提升智能终端的面部表情识别效率，缩短面部表情识别所耗费的时长，进而有效提升用户体验。

附图说明

图1为本发明实施例中进行动态面部表情识别流程示意图；

图2为本发明实施例中用户输入面部表情操作示意图；

图3为本发明实施例中智能终端捕捉到的用户的面部表情示意图；

图4为本发明实施例中进行动态面部表情识别的装置的结构示意图。

具体实施方式

为了提高智能终端的面部表情识别效率，本发明实施例中，从面部表情的动态图像中，按照目标时长提取出相应时长的动态子图像，作为待检测动态图像与标准动态图像进行相似度比较，若匹配成功，则触发相应的业务功能，若匹配不成功，则反复按照指定步长延长目标时长重新提取出相应时长的动态子图像，并重新与标准动态图像进行相似度比较，直到匹配成功为止。

下面结合附图对本发明优选的实施方式作出进一步详细说明。

参阅图1所示，本发明实施例中，进行动态面部表情识别的详细过程如下：

步骤100：智能终端根据用户指示，触发“面部表情识别”功能。

具体的，用户可以采用多种方式来指示智能终端触发“面部表情识别”功能。

例如，用户通过点击预设的“面部表情识别”开关，指示智能终端触发“面部表情识别”功能。

而“面部表情识别”开关，可以是实体按键，如，智能终端背后的指纹解锁区域，也可以是虚拟按键，如，智能终端操作界面中的某一块指定区域。

又例如，用户通过语音控制，输入“开启面部表情识别”这一语句，指示智能终端触发“面部表情识别”功能。

步骤110：智能终端接收用户输入的面部表情，并生成对应的原始动态图像。

具体的，智能终端可以开启前置摄像头，令用户以手持的姿势通过前置摄像头，输入自身的面部表情，具体如图2所示。

参阅图3所示，用户可以对着前置摄像头反复作出指定的面部表情，如、皱眉、微笑，生气等等。智能终端会连续录入记录有用户动态表情的每一帧图像，并生成对应的原始动态图像。

步骤120：智能终端确定最新的目标时长。

具体的，本发明实施例中，智能终端会根据最新确定的目标时长，从原始动态图像中提取一部分帧图像生成最新的待检测动态图像。

步骤130：智能终端按照最新的目标时长，从原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像。

由于是基于部分帧图像生成的，因此，待检测动态图像的数据理相较于原始动态图像更少，在后续的匹配过程中，可以有效降低智能终端的运算量，以及提高运算效率。

步骤140：智能终端将最新的待检测动态图像与预设的标准动态图像集合进行匹配，判断是否匹配成功，若是，则执行步骤160；否则，执行步骤150。

具体的，智能终端可以分别计算最新的待检测动态图像与预设的标准动态图像集合中的每一个标准动态图像的相似度；确定所述最新的待检测动态图像与任意一个标准动态图像的相似度达到设定阈值(如，80％)时，判定匹配成功。

步骤150：智能终端延长已使用的目标时长，重新获得最新的目标时长，接着，返回步骤120。

具体的，在执行步骤150时，智能终端可以采用但不限于以下两种方式：

第一种方式为：可按照指定步长对已使用的目标时长进行调整，重新获得最新的目标时长。

例如，假设指定步长为1帧，以及假设第一次使用的目标时长为：2帧，则在后续的执行过程中，假设一直未匹配成功，则智能终端可以基于指定步长对已使用的目标时长进行更新、将最新的目标时长逐步更新为3帧、4帧、5帧等等，每获得一次最新的目标时长，都会基于最新的目标时长重新提取一下待检测动态图像，并重新执行一次匹配过程，直到匹配成功为止。

第二种方式为：参考预设的时长递增序列，获取未使用的下一个数值对已使用的目标时长进行更新，重新获得最新的目标时长。

例如，假设预设的时长递增序列为：1/10、1/5、1/3、1/2……，以及假设第一次使用的目标时长为1/10(即从原始动态图像中提取1/10时长的帧图像)，则在后续的执行过程中，假设一直未匹配成功，则智能终端可以基于上述时长递增序列，将最新的目标时长逐步更新为1/5、1/3、1/2……，每获得一次最新的目标时长，都会基于最新的目标时长重新提取一下待检测动态图像，并重新执行一次匹配过程，直到匹配成功为止。

进一步地，由于每延长一次已使用的目标时长以获得最新的目标时长，会获取更多的帧图像生成最新的待检测动态图像，即最新的待检测动态图像所表征的面部表情越来越接近用户输入的原始面部表情，那么，相应的，为了避免误判，每延长一次已使用的目标时长，则将判断匹配成功的标准适当提高，以提升最终的匹配结果的判断精准性。

如，可以将用于衡量待检测动态图像与任意一个标准动态图像是否匹配成功的相似度的设定阈值，由初始值80％，逐步提高为81％、82％、83％、84％、85％……。

这样，可以对应目标时长的每一种取值分别设置一种相似度的设定阈值，以保证最新的匹配结果的判断精准性。

那么，每当目标时长更新时，也需要对上述相似度的设定阈值进行更新，在此不再赘述。

步骤160：智能终端提取出与上述最新的待检测动态图像匹配成功的标准动态图像，并触发对应上述标准动态图像预设的业务功能。

例如，智能终端可以进行操作界面切换，可以返回主界面，可以进入多任务界面等等，在此不一一赘述。

进一步地，为了避免进行死循环，可选的，在匹配次数达到设定次数门限，或者，匹配时长达到设定时长门限之后，若智能终端仍确定匹配未成功，则直接结束匹配流程，并向用户呈现匹配错误指示，令用户重新输入面部表情，或者，停止使用“面部表情识别”功能。

基于上述实施例，参阅图4所示，本发明实施例中，智能终端至少包括：

录入单元40，用于接收用户输入的面部表情，并生成对应的原始动态图像；

匹配单元41，用于循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

触发单元42，用于确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

可选的，接收用户输入的面部表情之前之前，所述录入单元40进一步用于：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

可选的，将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功时，所述匹配单元41用于：

分别计算所述最新的待检测动态图像与预设的标准动态图像集合中的每一个标准动态图像的相似度；

确定所述最新的待检测动态图像与任意一个标准动态图像的相似度达到设定阈值时，判定匹配成功。

可选的，延长已使用的目标时长，重新获得最新的目标时长时，所述匹配单元41用于：

按照指定步长对已使用的目标时长进行调整，重新获得最新的目标时长；或者，

参考预设的时长递增序列，获取未使用的下一个数值对已使用的目标时长进行更新，重新获得最新的目标时长。

可选的，所述匹配单元41进一步用于：

若匹配次数达到设定次数门限，或者，匹配时长达到设定时长门限之后，若仍确定匹配未成功，则直接结束匹配流程，并向用户呈现匹配错误指示，令用户重新输入面部表情，或者，停止使用“面部表情识别”功能。

本发明实施例一种存储介质，存储有用于实现进行动态面部表情识别的程序，所述程序被处理器运行时，执行以下步骤：

接收用户输入的面部表情，并生成对应的原始动态图像；

循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

一种通信装置，包括一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行如权利要求1至5中任一项所述的方法。

综上所述，本发明实施例中，智能终端在基于用户的面部表情提取出原始动态图像之后，按照逐步递增的目标时长，从原始动态图像中依次提取相应时长的帧图像生成最新的待检测目标图像，每提取一次，执行一次匹配操作，确定最新的待检测动态图像与标准动态图像集合匹配成功时，停止提取，并执行对应匹配成功的标准动态图像预设的业务功能。这样，可以先使用帧图像数目较少的待检测目标图像来进行面部表情识别，如果匹配不成功，再逐步提升帧图像数目，重新生成待检测图像进行面部表情识别，由于待检测目标图像的数据量较少，因而匹配过程不会给智能终端带来较大的运算负荷，同时又可以得到较为精准的匹配结果，因此，可以有效提升智能终端的面部表情识别效率，缩短面部表情识别所耗费的时长，进而有效提升用户体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种进行动态面部表情识别的方法，其特征在于，包括：

接收用户输入的面部表情，并生成对应的原始动态图像；

循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

2.如权利要求1所述的方法，其特征在于，接收用户输入的面部表情之前，进一步包括：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

3.如权利要求1所述的方法，其特征在于，将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功，包括：

分别计算所述最新的待检测动态图像与预设的标准动态图像集合中的每一个标准动态图像的相似度；

确定所述最新的待检测动态图像与任意一个标准动态图像的相似度达到设定阈值时，判定匹配成功。

4.如权利要求1、2或3所述的方法，其特征在于，延长已使用的目标时长，重新获得最新的目标时长，包括：

按照指定步长对已使用的目标时长进行调整，重新获得最新的目标时长；或者，

参考预设的时长递增序列，获取未使用的下一个数值对已使用的目标时长进行更新，重新获得最新的目标时长。

5.如权利要求1、2或3所述的方法，其特征在于，进一步包括：

若匹配次数达到设定次数门限，或者，匹配时长达到设定时长门限之后，若仍确定匹配未成功，则直接结束匹配流程，并向用户呈现匹配错误指示，令用户重新输入面部表情，或者，停止使用“面部表情识别”功能。

6.一种进行动态面部表情识别的装置，其特征在于，包括：

录入单元，用于接收用户输入的面部表情，并生成对应的原始动态图像；

匹配单元，用于循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

触发单元，用于确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

7.如权利要求6所述的装置，其特征在于，接收用户输入的面部表情之前之前，所述录入单元进一步用于：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

8.如权利要求6所述的装置，其特征在于，将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功时，所述匹配单元用于：

分别计算所述最新的待检测动态图像与预设的标准动态图像集合中的每一个标准动态图像的相似度；

确定所述最新的待检测动态图像与任意一个标准动态图像的相似度达到设定阈值时，判定匹配成功。

9.如权利要求6、7或8所述的装置，其特征在于，延长已使用的目标时长，重新获得最新的目标时长时，所述匹配单元用于：

按照指定步长对已使用的目标时长进行调整，重新获得最新的目标时长；或者，

参考预设的时长递增序列，获取未使用的下一个数值对已使用的目标时长进行更新，重新获得最新的目标时长。

10.如权利要求6、7或8所述的装置，其特征在于，所述匹配单元进一步用于：

若匹配次数达到设定次数门限，或者，匹配时长达到设定时长门限之后，若仍确定匹配未成功，则直接结束匹配流程，并向用户呈现匹配错误指示，令用户重新输入面部表情，或者，停止使用“面部表情识别”功能。

11.一种存储介质，其特征在于，存储有用于实现进行动态面部表情识别的程序，所述程序被处理器运行时，执行以下步骤：

接收用户输入的面部表情，并生成对应的原始动态图像；

循环执行以下操作，直到确定匹配成功为止：

按照最新的目标时长从所述原始动态图像中的任意位置选取相应时长的帧图像，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，根据比较结果判断是否匹配成功；

若确定匹配未成功，则延长已使用的目标时长，重新获得最新的目标时长；

确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

12.一种通信装置，其特征在于，包括一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行如权利要求1至5中任一项所述的方法。