CN107451564A - 一种人脸动作控制方法及系统 - Google Patents

一种人脸动作控制方法及系统 Download PDF

Info

Publication number
CN107451564A
CN107451564A CN201710644766.7A CN201710644766A CN107451564A CN 107451564 A CN107451564 A CN 107451564A CN 201710644766 A CN201710644766 A CN 201710644766A CN 107451564 A CN107451564 A CN 107451564A
Authority
CN
China
Prior art keywords
axis
action
human face
rotation
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710644766.7A
Other languages
English (en)
Inventor
刘云峰
吴忠兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aiyouwei Software Development Co Ltd
Original Assignee
Shanghai Aiyouwei Software Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aiyouwei Software Development Co Ltd filed Critical Shanghai Aiyouwei Software Development Co Ltd
Priority to CN201710644766.7A priority Critical patent/CN107451564A/zh
Publication of CN107451564A publication Critical patent/CN107451564A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种人脸动作控制方法及系统，涉及图像处理技术领域。所述方法包括：获取多张人脸动作图像；确定X轴旋转序列和Y轴旋转序列；判断是否有X轴旋转相关性；若存在X轴旋转相关性，确定X轴动作；若不存在X轴旋转相关性，判断是否有Y轴旋转相关性；若存在Y轴旋转相关性，确定Y轴动作；若不存在Y轴旋转相关性，确定口型变化动作；执行所述动作的关联操作。本申请的人脸动作控制方法及系统，利用图像识别分析技术，识别并分析人脸的旋转动作，再执行关联的操作，适用于不同环境或场合，以提高终端使用的便利性。

Description

一种人脸动作控制方法及系统
技术领域
本申请涉及智能终端技术领域，尤其涉及人脸动作控制方法及系统。
背景技术
随着通信技术的飞速发展，人们的生活、工作等与智能终端(例如，移动终端、便携式电子设备等)息息相关。目前，便携式电子设备提供了移动通信的便利性，但是为提高娱乐体验而越做越大的电子屏幕，却给用户带来了诸多操作不便，例如，无法单手操作等问题。当前，声音控制技术可以一定程度上解决操作不便的问题，但是嘈杂的环境会降低操作的准确度。此外，人脸表情控制技术可以适应大部分环境，但是部分表情不适宜正式交际的场合。
因此，期望提供一种人脸动作控制方法及系统，利用图像识别分析技术，识别并分析人脸头部旋转等动作，再执行关联的操作，适用于不同环境或场合，以提高终端使用的便利性。
发明内容
根据本申请的一些实施例的第一方面，提供了一种人脸动作控制方法，应用于终端(例如，电子设备等)中，所述方法可以包括：获取多张人脸动作图像；确定X轴旋转序列和Y轴旋转序列；判断是否有X轴旋转相关性；若存在X轴旋转相关性，确定X轴动作；若不存在X轴旋转相关性，判断是否有Y轴旋转相关性；若存在Y轴旋转相关性，确定Y轴动作；若不存在Y轴旋转相关性，确定口型变化动作；执行所述动作的关联操作。
在一些实施例中，所述确定X轴动作进一步包括：判断X轴旋转方向；若为X轴正方向旋转时，确定左转头动作；若为X轴负方向旋转时，确定右转头动作；若为X轴双向旋转时，确定摇头动作；确定动作次数和持续时间；获取所述X轴动作的关联操作。
在一些实施例中，所述确定动作次数进一步包括确定X轴旋转角度的变化情况。
在一些实施例中，所述确定Y轴动作进一步包括：判断Y轴旋转方向；若为Y轴正方向旋转时，确定抬头动作；若为Y轴负方向旋转时，确定低头动作；确定动作次数和持续时间；获取所述Y轴动作的关联操作。
在一些实施例中，所述确定动作次数进一步包括确定Y轴旋转角度的变化情况。
在一些实施例中，所述确定口型变化动作进一步包括：判断口型变化面积值；若口型变化面积值为正时，口型变大，确定张嘴动作；若口型变化面积值为负时，口型变小，确定闭嘴动作；若口型变化面积值为零时，口型无变化，确定人脸识别动作；确定动作次数和持续时间；获取所述口型变化动作的关联操作。
在一些实施例中，所述确定动作次数进一步包括确定变化面积值的变化情况。
在一些实施例中，所述确定动作次数进一步包括确定所述多张人脸动作图像中的重复图像。
在一些实施例中，所述确定持续时间进一步包括确定确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。
根据本申请的一些实施例的第二方面，提供了一个系统，包括：一个存储器，被配置为存储数据及指令；一个与存储器建立通信的处理器，其中，当执行存储器中的指令时，所述处理器被配置为：获取多张人脸动作图像；确定X轴旋转序列和Y轴旋转序列；判断是否有X轴旋转相关性；若存在X轴旋转相关性，确定X轴动作；若不存在X轴旋转相关性，判断是否有Y轴旋转相关性；若存在Y轴旋转相关性，确定Y轴动作；若不存在Y轴旋转相关性，确定口型变化动作；执行所述动作的关联操作。
因此，根据本申请的一些实施例的一种人脸动作控制方法及系统，利用图像识别分析技术，识别并分析人脸的旋转动作，再执行关联的操作，适用于不同环境或场合，以提高终端使用的便利性。
附图说明
为更好地理解并阐述本申请的一些实施例，以下将结合附图参考实施例的描述，在这些附图中，同样的数字编号在附图中指示相应的部分。
图1是根据本申请的一些实施例提供的网络环境系统的示例性示意图。
图2是根据本申请的一些实施例提供的电子设备功能配置的示例性单元示意图。
图3是根据本申请的一些实施例提供的人脸动作的示例性示意图。
图4是根据本申请的一些实施例提供的人脸动作控制方法的示例性流程图。
图5是根据本申请的一些实施例提供的确定X轴动作的示例性流程图。
图6是根据本申请的一些实施例提供的确定Y轴动作的示例性流程图。
图7是根据本申请的一些实施例提供的确定口型变化动作的示例性流程图。
具体实施方式
以下参考附图的描述为便于综合理解由权利要求及其等效内容所定义的本申请的各种实施例。这些实施例包括各种特定细节以便于理解，但这些仅被视为示例性的。因此，本领域技术人员可以理解对在此描述的各种实施例进行各种变化和修改而不会脱离本申请的范围和精神。另外，为简要并清楚地描述本申请，本申请将省略对公知功能和结构的描述。
在以下说明书和权利要求书中使用的术语和短语不限于字面含义，而是仅为能够清楚和一致地理解本申请。因此，对于本领域技术人员，可以理解，提供对本申请各种实施例的描述仅仅是为说明的目的，而不是限制所附权利要求及其等效定义的本申请。
下面将结合本申请一些实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一”、“一个”、“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个相绑定的列出项目的任何或所有可能组合。表达“第一”、“第二”、“所述第一”和“所述第二”是用于修饰相应元件而不考虑顺序或者重要性，仅仅被用于区分一种元件与另一元件，而不限制相应元件。
根据本申请一些实施例的终端可以是电子设备，该电子设备可以包括智能手机、个人电脑(PC，例如平板电脑、台式电脑、笔记本、上网本、掌上电脑PDA)、移动电话、电子书阅读器、便携式多媒体播放器(PMP)、音频/视频播放器(MP3/MP4)、摄像机、虚拟现实设备(VR)和可穿戴设备等中的一种或几种的组合。根据本申请的一些实施例，所述可穿戴设备可以包括附件类型(例如手表、戒指、手环、眼镜、或头戴式装置(HMD))、集成类型(例如电子服装)、装饰类型(例如皮肤垫、纹身或内置电子装置)等，或几种的组合。在本申请的一些实施例中，所述电子设备可以是灵活的，不限于上述设备，或者可以是上述各种设备中的一种或几种的组合。在本申请中，术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如人工智能电子设备)。
本申请实施例提供了一种人脸动作控制方法。为了便于理解本申请实施例，以下将参考附图对本申请实施例进行详细描述。
图1是根据本申请的一些实施例提供的网络环境系统100的示例性示意图。如图1所示，网络环境系统100可以包括电子设备110、网络120和服务器130等。电子设备110可以包括总线111、处理器112、存储器113、输入/输出模块114、显示器115、通信模块116和物理键117等。在本申请的一些实施例中，电子设备110可以省略一个或多个元件，或者可以进一步包括一个或多个其它元件。
总线111可以包括电路。所述电路可以互连电子设备110内的一个或多个元件(例如，总线111、处理器112、存储器113、输入/输出模块114、显示器115、通信模块116和物理键117)。所述电路也可以在电子设备110内的一个或多个元件之间实现通信(例如，获取和/或发送信息)。
处理器112可以包括一个或多个协处理器(Co-processor)、应用处理器(AP，Application Processor)和通信处理器(Communication Processor)。作为示例，处理器112可以执行与电子设备110的一个或多个元件的控制和/或数据处理(例如，启动人脸动作控制等操作)。
存储器113可以存储数据。所述数据可以包括与电子设备110中的一个或多个其它元件相关的指令或数据。例如，所述数据可以包括处理器112处理前的原始数据，中间数据和/或处理后的数据。存储器113可以包括非永久记忆性存储器和/或永久记忆性存储器。作为示例，存储器113可以存储用户的人脸动作图像以及所述人脸动作图像关联的操作等。
根据本申请的一些实施例，存储器113可以存储软件和/或程序。所述程序可以包括内核、中间件、应用编程接口(API，Application Programming Interface)和/或应用程序(或“应用”)。
所述内核、所述中间件或所述应用编程接口的至少一部分可以包括操作系统(OS，Operating System)。作为示例，所述内核可以控制或管理用于执行其他程序(例如，中间件、应用编程接口和应用程序)中实现的操作或功能的系统资源(例如，总线111、处理器112、存储器113等)。此外，所述内核可以提供接口。所述接口可以通过所述中间件、所述应用编程接口或所述应用程序访问电子设备110的一个或多个元件以控制或管理系统资源。
所述中间件可以作为数据传输的中间层。所述数据传输可以允许应用编程接口或应用程序与所述内核通信用以交换数据。作为示例，所述中间件可以处理从所述应用程序获取的一个或多个任务请求。例如，所述中间件可以向一个或多个应用程序分配电子设备110的系统资源(例如，总线111、处理器112、存储器113等)的优先级，以及处理所述一个或多个任务请求。所述应用编程接口可以是所述应用程序用于控制从所述内核或所述中间件提供功能的接口。所述应用编程接口也可以包括一个或多个接口或功能(例如，指令)。所述功能可以用于启动控制、人脸动作控制、数据通道控制、安全控制、通信控制、文件控制、窗口控制、文本控制、图像处理、信息处理等。
输入/输出模块114可以向电子设备110的其他元件发送从用户或外部设备输入的指令或数据。输入/输出模块114也可以将从电子设备110的其他元件获取的指令或数据输出给用户或外部设备。在一些实施例中，输入/输出模块114可以包括输入单元，用户可以通过所述输入单元输入信息或指令。
显示器115可以显示内容。所述内容可以向用户显示各种类型(例如，文本、图像、视频、图标和/或符号等，或几种的组合)。显示器115可以包括液晶显示器(LCD，LiquidCrystal Display)、发光二极管(LED，Light-Emitting Diode)显示器、有机发光二极管(OLED，Organic Light Emitting Diode)显示器、微型机电系统(MEMS，Micro ElectroMechanical Systems)显示器或电子纸显示器等，或几种的组合。显示器115可以包括显示屏、触摸屏等。所述显示屏可以显示人脸动作图像。所述人脸动作图像可以用于提示人脸动作控制的过程。在一些实施例中，显示器115可以显示虚拟键。所述触摸屏可以获取所述虚拟键的输入。显示器115可以通过所述触摸屏获取输入。所述输入可以包括触摸输入、手势输入、动作输入、接近输入、电子笔或用户身体部分的输入(例如，悬停输入)。
通信模块116可以配置设备之间的通信。在一些实施例中，网络环境系统100可以进一步包括电子设备140。作为示例，所述设备之间的通信可以包括电子设备110和其他设备(例如，服务器130或电子设备140)之间的通信。例如，通信模块116可以通过无线通信或有线通信连接到网络120，与其他设备(例如，服务器130或电子设备140)实现通信。
所述无线通信可以包括微波通信和/或卫星通信等。所述无线通信可以包括蜂窝通信(例如，全球移动通信(GSM，Global System for Mobile Communications)、码分多址(CDMA，Code Division MultipleAccess)、第三代移动通信(3G，The 3rd GenerationTelecommunication)、第四代移动通信(4G)、第五代移动通信(5G)、长期演进技术(LTE，Long Term Evolution)、长期演进技术升级版(LTE-A，LTE-Advanced)、宽带码分多址(WCDMA，Wideband Code Division MultipleAccess)、通用移动通信系统(UMTS，UniversalMobile Telecommunications System)、无线宽带(WiBro，Wireless Broadband)等，或几种的组合。根据本申请的一些实施例，所述无线通信可以包括无线局域网(WiFi，WirelessFidelity)、蓝牙、低功耗蓝牙(BLE，Bluetooth Low Energy)、紫蜂协议(ZigBee)、近场通讯(NFC，Near Field Communication)、磁安全传输、射频和体域网(BAN，BodyAreaNetwork)等，或几种的组合。根据本申请的一些实施例，所述有线通信可以包括全球导航卫星系统(Glonass/GNSS，Global Navigation Satellite System)、全球定位系统(GPS，GlobalPosition System)、北斗导航卫星系统或伽利略(欧洲全球卫星导航系统)等。所述有线通信可以包括通用串行总线(USB，Universal Serial Bus)、高清多媒体接口(HDMI，High-Definition Multimedia Interface)、推荐标准232(RS-232，Recommend Standard 232)、和/或简易老式电话服务(POTS，Plain OldTelephone Service)等，或几种的组合。
物理键117可以用于用户交互。物理键117可以包括一个或多个实体键。在一些实施例中，用户可以自定义物理键117的功能。作为示例，物理键117可以发送指令。所述指令可以包括启动人脸动作控制指令等。
在一些实施例中，电子设备110可以进一步包括传感器。所述传感器可以包括但不限于光敏传感器、声敏传感器、气敏传感器、化学传感器、压敏传感器、温敏传感器、流体传感器、生物传感器、激光传感器、霍尔传感器、智能传感器等，或几种的组合。
在一些实施例中，电子设备110可以进一步包括红外设备、图像采集设备等。作为示例，所述红外设备可以通过红外线投射方式，以及眨眼识别、注视识别等技术获取眼睛的信息。例如，所述红外设备通过采集用户的眨眼动作来认证用户信息。作为示例，所述图像采集设备可以包括摄像头、虹膜装置等。所述虹膜装置可以利用虹膜识别技术进行身份认证(例如，认证用户信息)。所述虹膜装置可以包括虹膜摄像头，所述虹膜摄像头可以获取虹膜信息，所述虹膜信息可以存储在存储器113中。所述摄像头可以实现眼球追踪、采集人脸动作图像等功能。
网络120可以包括通信网络。所述通信网络可以包括计算机网络(例如，局域网(LAN，Local Area Network)或广域网(WAN，Wide Area Network))、互联网和/或电话网络等，或几种的组合。网络120可以向网络环境系统100中的其他设备(例如，电子设备110、服务器130、电子设备140等)发送信息。
服务器130可以通过网络120连接网络环境系统100中的其他设备(例如，电子设备110、电子设备140等)。在一些实施例中，当电子设备110丢失时，服务器130可以通过网络120向电子设备发送启动虹膜读写指令；当虹膜验证失败时，服务器130可以通过网络120进一步锁定电子设备110。
电子设备140可以与电子设备110相同或不同的类型。根据本申请的一些实施例，在电子设备110中执行的部分或全部操作可以在另一设备或多个设备(例如，电子设备140和/或服务器130)中执行。在一些实施例中，当电子设备110自动或响应于请求执行一种或多种功能和/或服务时，电子设备110可以请求其他设备(例如，电子设备140和/或服务器130)替代执行功能和/或服务。在一些实施例中，电子设备110除执行功能或服务外，进一步执行与其相关的一种或多种功能。在一些实施例中，其他设备(例如，电子设备140和/或服务器130)可以执行所请求的功能或其它相关的一种或多种功能，可以将执行结果发送给电子设备110。电子设备110可以重复执行结果或进一步处理执行结果，以提供所请求的功能或服务。作为示例，电子设备110可以使用云计算、分布式技术和/或客户端-服务端计算计算等，或几种的组合。在一些实施例中，根据云计算服务性质的不同，所述云计算可以包括公有云、私有云和混合云等。在一些实施例中，当电子设备110丢失时，电子设备140可以向电子设备110发送定位指令，以获取电子设备110的位置信息。
需要说明的是，以上对于网络环境系统100的描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个元件进行任意组合，或者构成子系统与其他元件连接，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。例如，网络环境系统100可以进一步包括数据库等。又例如，电子设备110可以不包括物理键117等。诸如此类的变形，均在本申请的保护范围之内。
图2是根据本申请的一些实施例提供的电子设备功能配置的示例性单元框图。如图2所示，处理器112可以包括处理模块200，所述处理模块200可以包括获取单元210，图像单元220，确定单元230，控制单元240，显示单元250。
根据本申请的一些实施例，获取单元210可以获取信息。在一些实施例中，所述信息可以包括但不限于文本、图片、音频、视频、动作、手势、声音、眼睛(例如，虹膜信息等)、气息、光等，或几种的组合。在一些实施例中，所述信息可以包括但不限于输入信息、系统信息和/或通信信息等。作为示例，获取单元210可以通过输入/输出模块114、显示器115的触摸屏、物理键117和/或传感器获取电子设备110的输入信息。所述输入信息可以包括其他设备(例如，电子设备140)和/或用户的输入，例如，按键输入、触控输入、手势输入、动作输入、远程输入、传输输入、眼睛输入、声音输入、气息输入、光输入等，或几种的组合。所述输入信息的获取部件可以包括但不限于红外设备、图像采集设备、传感器等，或几种的组合。作为示例，获取单元210可以通过图像采集设备(例如，摄像头等)获取人脸动作图像等。
在一些实施例中，获取单元210可以通过网络120获取通信信息。所述通信信息可以包括应用软件信息、通讯信号(例如，语音信号、视频信号等)、短消息等。在一些实施例中，获取单元210可以通过网络120、存储器113和/或传感器获取系统信息。所述系统信息可以包括但不限于电子设备110的系统状态、预设信息、存储器113存储的信息(例如，虹膜认证信息等)等，或几种的组合。
在一些实施例中，所述信息可以包括指令。所述指令包括用户指令和/或系统指令等，或几种的组合。所述指令可以包括触发指令、认证指令、填写指令等，或几种的组合。所述认证指令可以包括认证用户信息、启动人脸动作控制指令等。作为示例，当用户按下物理键(例如，快捷键等)时，电子设备110可以启动人脸动作控制等。又例如，在摄像头启动状态，用户可以通过按下物理键117启动人脸动作控制等。
根据本申请的一些实施例，图像单元220可以进行图像处理、图像分析。所述图像分析可以包括传感器输入、分割、识别、解释等过程。在一些实施例中，所述图像分析对象可以包括基于内容的图像检索(CBIR，Content Based Image Retrieval)、人脸识别(FaceRecognition)、表情识别(Emotion Recognition)、视频对象提取(Video ObjectExtraction)、医学图像分析(Biomedical ImageAnalysis)、手写体识别(HandwritingRecognition)、光学字符识别(OCR，Optical Character Recognition)等。在一些实施例中，图像单元220可以通过图像分析技术利用数学模型并结合图像处理技术用于分析图像的底层特征和上层结构，从而提取具有一定智能性的信息。所述图像处理技术可以包括图像变换、图像编码压缩、图像增强和复原、图像分割、图像描述、图像识别等，或几种的组合。在一些实施例中，图像单元220可以处理人脸动作图像。作为示例，图像单元220可以处理获取单元210获取的多张人脸动作图像等。
图3是根据本申请的一些实施例提供的人脸动作的示例性示意图。所述人脸动作包括X轴旋转动作、Y轴旋转动作、口型变化动作Z等。如图3所示，图像单元220可以分析人脸的X轴旋转序列，当人脸的头部从正面人脸旋转至侧面人脸(比如，左耳侧面人脸状态或右耳侧面人脸状态等)时，获取单元可以获取Px1、Px2、Px3……Pxn等多张人脸图像所关联的人脸动作的X轴旋转序列(比如，从正面人脸状态Px1旋转至右耳侧面人脸状态或左耳侧面人脸状态Pxn的过程)。其中，Pxn与Px1满足如下等式(1)的关系：
Pxn＝Δθx·Px1 (1)
Pxn为头部旋转一定角度状态的图像，Px1为正面人脸状态的图像，Δθx为人脸的头部旋转的角度，旋转的角度范围为-90°≤Δθx≤90°。
根据本申请的一些实施例，确定单元230可以确定动作。在一些实施例中，确定单元230可以通过旋转相关性或图像变化分析等确定人脸动作等。如图3所示，当获取单元210获取多张人脸动作图像时，确定单元230可以根据图像单元220的分析确定所述多张人脸动作图像的旋转相关性。所述旋转相关性可以包括X轴旋转相关性、Y轴旋转相关性或无旋转动作等。又例如，当无旋转动作时，确定单元230可以根据图像单元220的分析确定所述多张人脸动作的口型变化特征。在一些实施例中，确定单元230可以进一步确定人脸动作关联的操作。作为示例，所述口型变化动作可以关联电子设备的音量调整操作。例如，张嘴动作可以升高音量，闭嘴动作可以降低音量等。
根据本申请的一些实施例，控制单元240可以控制电子设备。在一些实施例中，控制单元240可以启动摄像头、启动人脸动作控制、执行人脸动作关联的操作等。所述摄像头也可以包括黑白摄像头(Mono)、彩色摄像头、虹膜摄像头等。所述摄像头可以包括第一摄像头、第二摄像头等。例如，当所述第一摄像头为前置摄像头时，可以用于采集人脸动作图像等。在一些实施例中，当确定单元230确定人脸动作关联的操作时，控制单元240可以执行所述关联操作。作为示例，当确定当前的多张人脸动作图像为张嘴动作且关联升高音量的操作，控制单元240可以升高电子设备的音量。
根据本申请的一些实施例，显示单元250可以显示图像。在一些实施例中，显示单元250可以显示人脸动作图像。所述显示单元250可以是显示器115的一部分，例如，显示屏。在一些实施例中，显示单元250可以显示预设轮廓。所述预设轮廓可以包括目标位置轮廓等。所述目标位置轮廓可以用于提示采集人脸动作时，用户的脸部所需对准的目标位置。在一些实施例中，显示单元250可以显示实时人脸动作图像。所述实时人脸动作图像可以用于提示用户人脸动作是否有效，以提高人脸动作控制的有效性。在一些实施例中，所述目标位置轮廓可以通过变化效果提示用户当前虹膜信息采集的进度。所述变化效果可以包括改变颜色(例如，褪色等)、改变图案形状或线条、改变图案填充效果、消失等，或几种的组合。作为示例，所述目标位置轮廓可以为进度条逐渐填充的效果，以提示用户正在采集人脸动作信息。在一些实施例中，当所述实时人脸动作图像在所述目标位置轮廓之内时，可以提示用户正在采集人脸动作信息。又例如，所述目标位置轮廓可以消失，以提示用户已完成人脸动作的采集。在一些实施例中，所述目标位置轮廓可以是透明的、半透明的，从而不遮挡当前电子设备的交互界面，以满足用户当前的使用体验。在一些实施例中，所述实时人脸动作图像可以不显示，或者是透明的、半透明的，从而不遮挡当前电子设备的交互界面，以满足用户当前的使用体验。在一些实施例中，所述目标位置轮廓或所述实时人脸动作图像可以是缩略图，显示在交互界面的边界或角落，从而不全部遮挡当前电子设备的交互界面，以满足用户当前的使用体验。
需要说明的是，以上对于处理模块200中的单元描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个单元进行任意组合，或者构成子模块与其他单元连接，对实施上述模块和单元的功能进行形式和细节上的各种修正和改变。例如，处理模块200可以不包括确定单元230或显示单元250。又例如，图像单元220可以进一步包括图像处理子单元和图像分析子单元。诸如此类的变形，均在本申请的保护范围之内。
图4是根据本申请的一些实施例提供的人脸动作控制方法的示例性流程图。如图4所示，流程400可以通过处理模块200实现。在一些实施例中，所述人脸动作控制方法可以通过指令启动。所述指令可以包括用户指令、系统指令、动作指令等，或几种的组合。作为示例，所述系统指令可以通过传感器获取的信息生成。所述用户指令可以包括语音、手势、动作、物理键117和/或虚拟键等，或几种的组合。
在401，获取多张人脸动作图像。操作401可以通过处理模块200的获取单元210实现。在一些实施例中，所述多张人脸动作图像可以构成一个完整的人脸动作。
在402，确定X轴旋转序列和Y轴旋转序列。操作402可以通过处理模块200的图像单元220、确定单元230实现。在一些实施例中，图像单元220可以利用图像处理技术和图像分析技术处理并分析所述多张人脸动作图像。所述X轴旋转序列可以包括Px1、Px2、Px3……Pxn等。所述Y轴旋转序列可以包括Py1、Py2、Py3……Pyn等。作为示例，确定单元230可以确定所述多张人脸动作图像的X轴旋转序列和Y轴旋转序列。
在403，判断是否有X轴旋转相关性。操作403可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据确定的X轴旋转序列判断所述多张人脸动作图像是否存在X轴旋转相关性。
当所述多张人脸动作图像的X轴旋转序列Px1、Px2、Px3……Pxn之间存在一定的旋转角度Δθx，确定单元230可以确定存在X轴旋转相关性，进入操作404，在404，确定X轴动作。操作404可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据X轴旋转序列存在的旋转角度Δθx确定X轴动作。
在405，执行与所述X轴动作关联的操作。操作405可以通过处理模块200的控制单元240实现。在一些实施例中，控制单元240可以执行获取单元210获取的与所述X轴动作关联的操作。
当所述多张人脸动作图像的X轴旋转序列Px1、Px2、Px3……Pxn之间不存在旋转角度Δθx，确定单元230可以确定无X轴旋转相关性，进入操作406，在406，判断是否有Y轴旋转相关性。操作406可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据确定的Y轴旋转序列判断所述多张人脸动作图像是否存在Y轴旋转相关性。
当所述多张人脸动作图像的Y轴旋转序列Py1、Py2、Py3……Pyn之间存在一定的旋转角度Δθy，确定单元230可以确定存在Y轴旋转相关性，进入操作407，在407，确定Y轴动作。操作407可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据Y轴旋转序列存在的旋转角度Δθy确定Y轴动作。
在408，执行与所述Y轴动作关联的操作。操作408可以通过处理模块200的控制单元240实现。在一些实施例中，控制单元240可以执行获取单元210获取的与所述Y轴动作关联的操作。
当所述多张人脸动作图像的Y轴旋转序列Py1、Py2、Py3……Pyn之间不存在旋转角度Δθy，确定单元230可以确定无Y轴旋转相关性，进入操作409，在409，确定口型变化动作。操作409可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据口型变化Z的面积变化值ΔSz确定所述多张人脸动作图像的口型变化动作。
在410，执行与所述口型变化动作关联的操作。操作410可以通过处理模块200的控制单元240实现。在一些实施例中，控制单元240可以执行获取单元210获取的与所述口型变化动作关联的操作。
图5是根据本申请的一些实施例提供的确定X轴动作的示例性流程图。如图5所示，流程500可以通过处理模块200实现。在一些实施例中，流程500是流程400的操作404的一种实现方式。
在510，确定旋转方向。操作510可以通过处理模块200的图像单元220、确定单元230实现。在一些实施例中，确定单元230可以利用图像处理技术和图像分析技术确定多张人脸动作图像的X轴旋转序列Px1、Px2、Px3……Pxn之间的旋转角度Δθx，并根据所述旋转角度Δθx进一步确定旋转方向。
如图3所示，图像单元220可以分析人脸的X轴旋转序列，当人脸的头部从正面人脸旋转至侧面人脸(比如，左耳侧面人脸状态或右耳侧面人脸状态等)时，获取单元可以获取Px1、Px2、Px3……Pxn等多张人脸图像所关联的人脸动作的X轴旋转序列(比如，从正面人脸状态Px1旋转至右耳侧面人脸状态或左耳侧面人脸状态Pxn的过程)。其中，Pxn与Px1满足如下等式(1)的关系：
Pxn＝Δθx·Px1 (1)
Pxn为头部在X轴方向旋转一定角度状态的图像，Px1为正面人脸状态的图像，Δθx为人脸的头部在X轴方向旋转的角度，旋转的角度范围为-90°≤Δθx≤90°。
如图3所示，定义正面人脸状态Px1转至右耳侧面人脸状态为X轴正方向旋转；当Pxn为右耳侧面人脸状态图像时，旋转的角度范围为0°≤Δθx≤90°，在520，确定X轴正方向旋转。操作520可以通过处理模块200的确定单元230实现。
在530，确定左转头动作。操作530可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，定义左转头动作的X轴旋转方向为正方向时，根据确定单元230确定为X轴正方向旋转时，可以进一步确定当前的人脸动作为左转头动作。
在540，确定动作次数和持续时间。操作540可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据Px1、Px2、Px3……Pxn等多张人脸图像中的重复图像确定动作次数。在一些实施例中，确定单元230可以根据X轴旋转序列Px1、Px2、Px3……Pxn之间的旋转角度Δθx的变化值确定动作次数。作为示例，当旋转角度Δθx从0°增至90°再减至0°为一次左转头，当旋转角度Δθx再从0°增至90°后减至0°为两次左转头。在一些实施例中，确定单元230可以根据获取Px1、Px2、Px3……Pxn等多张人脸图像之间的时间差确定持续时间。作为示例，当动作次数为两次时，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值Δtx≤2s时，确定单元230可以确定所述两次左转头为一次连续动作。在一些实施例中，当所述时间差值Δtx＞2s时，确定单元230可以确定所述两次左转头为两次单一动作。
在550，获取与所述X轴动作关联的操作。操作550可以通过处理模块200的获取单元210实现。在一些实施例中，电子设备110可以通过系统缺省或用户自定义等方式确定人脸动作关联的操作。作为示例，表1根据本申请的一些实施例提供的X轴动作关联的操作映射表。
表1 X轴动作关联的操作映射表
如表1所示，在550，获取单元210可以获取单次左转头的操作可以包括退出、返回或后退等。又例如，获取单元210可以获取两次左转头的连续动作为交互界面的缩放(比如，缩小交互界面)。再例如，获取单元210可以获取两次左转头的单一动作可以包括退出两次、返回两次或后退两次等。
如图3所示，当Pxn为左耳侧面人脸状态图像时，旋转的角度范围为-90°≤Δθx≤0°，在560，确定X轴负方向旋转。操作560可以通过处理模块200的确定单元230实现。
在570，确定右转头动作。操作570可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，定义左转头动作的X轴旋转方向为正方向时，根据确定单元230确定为X轴负方向旋转时，可以进一步确定当前的人脸动作为右转头动作。
在540，确定动作次数和持续时间。操作540可以通过处理模块200的确定单元230实现。在一些实施例中，当旋转角度Δθx从0°减至-90°再增至0°为一次右转头，当旋转角度Δθx再从0°减至-90°后增至0°为两次左转头。作为示例，当动作次数为两次时，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值Δtx≤2s时，确定单元230可以确定所述两次右转头为一次连续动作。在一些实施例中，当所述时间差值Δtx＞2s时，确定单元230可以确定所述两次右转头为两次单一动作。
在550，获取与所述X轴动作关联的操作。操作550可以通过处理模块200的获取单元210实现。在一些实施例中，电子设备110可以通过系统缺省或用户自定义等方式确定人脸动作关联的操作。如表1所示，在550，获取单元210可以获取单次右转头的操作可以包括打开菜单或快进等。又例如，获取单元210可以获取两次右转头的连续动作为交互界面的缩放(比如，放大交互界面)。再例如，获取单元210可以获取两次右转头的单一动作可以包括打开菜单后进一步打开子菜单、或快进两次等。
如图3所示，当Px1、Px2、Px3……Pxn等多张人脸图像中存在左耳侧面人脸状态图像和右耳侧面人脸状态图像时，旋转的角度范围为-90°≤Δθx≤90°，在580，确定X轴双向旋转。操作580可以通过处理模块200的确定单元230实现。
在590，确定摇头动作。操作590可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，定义左转头动作的X轴旋转方向为正方向时，根据确定单元230确定为X轴双向旋转时，可以进一步确定当前的人脸动作为摇头动作。
在540，确定动作次数和持续时间。操作540可以通过处理模块200的确定单元230实现。在一些实施例中，当旋转角度Δθx从0°减至-90°再增至90°为一次摇头，或当旋转角度Δθx再从0°增至90°后减至-90°为一次摇转头。作为示例，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值Δtx≤2s时，确定单元230可以确定所述连续动作为一次摇头动作。在一些实施例中，当所述时间差值Δtx＞2s时，确定单元230可以确定所述两次单一动作包括左转头动作、右转头动作。
在550，获取与所述X轴动作关联的操作。操作550可以通过处理模块200的获取单元210实现。在一些实施例中，电子设备110可以通过系统缺省或用户自定义等方式确定人脸动作关联的操作。如表1所示，在550，获取单元210可以获取摇头的操作可以包括进入主界面或首页(HOME页)等。
图6是根据本申请的一些实施例提供的确定Y轴动作的示例性流程图。如图6所示，流程600可以通过处理模块200实现。在一些实施例中，流程600是流程400的操作407的一种实现方式。
在610，确定Y轴旋转方向。操作610可以通过处理模块200的图像单元220、确定单元230实现。在一些实施例中，确定单元230可以利用图像处理技术和图像分析技术确定多张人脸动作图像的Y轴旋转序列Py1、Py2、Py3……Pyn之间的旋转角度Δθy，并根据所述旋转角度Δθy进一步确定旋转方向。
如图3所示，图像单元220可以分析人脸的Y轴旋转序列，当人脸的头部从正面人脸旋转至额头或下巴时，获取单元可以获取Py1、Py2、Py3……Pyn等多张人脸图像所关联的人脸动作的Y轴旋转序列(比如，从正面人脸状态Py1旋转至额头图像或下巴图像Pyn的过程)。其中，Pyn与Py1满足如下等式(2)的关系：
Pyn＝Δθy·Py1 (2)
Pyn为头部在Y轴方向旋转一定角度状态的图像，Py1为正面人脸状态的图像，Δθy为人脸的头部旋转的角度，旋转的角度范围为-90°≤Δθy≤90°。
如图3所示，定义正面人脸状态Py1转至下巴图像为Y轴正方向旋转；当Pyn为下巴图像时，旋转的角度范围为0°≤Δθy≤90°，在620，确定Y轴正方向旋转。操作620可以通过处理模块200的确定单元230实现。
在630，确定抬头动作。操作630可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，定义抬头动作的Y轴旋转方向为正方向时，根据确定单元230确定为Y轴正方向旋转时，可以进一步确定当前的人脸动作为抬头动作。
在640，确定动作次数和持续时间。操作640可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据Py1、Py2、Py3……Pyn等多张人脸图像中的重复图像确定动作次数。在一些实施例中，确定单元230可以根据Y轴旋转序列Py1、Py2、Py3……Pyn之间的旋转角度Δθy的变化值确定动作次数。作为示例，当旋转角度Δθy从0°增至90°再减至0°为一次抬头，当旋转角度Δθy再从0°增至90°后减至0°为第二次抬头。在一些实施例中，确定单元230可以根据获取Py1、Py2、Py3……Pyn等多张人脸图像之间的时间差确定持续时间。作为示例，当动作次数为两次时，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值Δty≤2s时，确定单元230可以确定所述两次抬头为一次连续动作。在一些实施例中，当所述时间差值Δty＞2s时，确定单元230可以确定所述两次抬头为两次单一动作。
在650，获取与所述Y轴动作关联的操作。操作650可以通过处理模块200的获取单元210实现。在一些实施例中，电子设备110可以通过系统缺省或用户自定义等方式确定人脸动作关联的操作。作为示例，表2根据本申请的一些实施例提供的Y轴动作关联的操作映射表。
表2 Y轴动作关联的操作映射表
如表2所示，在650，获取单元210可以获取单次抬头的操作可以为滚动选择。又例如，获取单元210可以获取两次抬头的连续动作可以为跳转页面。再例如，获取单元210可以获取两次抬头的单一动作可以包括多次滚动选择等。
如图3所示，当Pyn为额头图像时，旋转的角度范围为-90°≤Δθy≤0°，在660，确定Y轴负方向旋转。操作660可以通过处理模块200的确定单元230实现。
在670，确定点头动作。操作670可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，定义抬头动作的Y轴旋转方向为正方向时，根据确定单元230确定为Y轴负方向旋转时，可以进一步确定当前的人脸动作为点头动作。
在640，确定动作次数和持续时间。操作640可以通过处理模块200的确定单元230实现。在一些实施例中，当旋转角度Δθx从0°减至-90°再增至0°为一次点头，当旋转角度Δθx再从0°减至-90°后增至0°为第二次点头。作为示例，当动作次数为两次时，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值Δtx≤2s时，确定单元230可以确定所述两次点头为一次连续动作。在一些实施例中，当所述时间差值Δtx＞2s时，确定单元230可以确定所述两次点头为两次单一动作。
在650，获取与所述Y轴动作关联的操作。操作650可以通过处理模块200的获取单元210实现。在一些实施例中，电子设备110可以通过系统缺省或用户自定义等方式确定人脸动作关联的操作。如表2所示，在650，获取单元210可以获取单次点头的操作可以为滚动选择或进入程序等。又例如，获取单元210可以获取两次点头的连续动作可以为确认操作。再例如，获取单元210可以获取两次点头的单一动作可以包括进入程序后进一步进入子程序、或多次滚动选择等。
图7是根据本申请的一些实施例提供的确定口型变化动作的示例性流程图。如图7所示，流程700可以通过处理模块200实现。在一些实施例中，流程700是流程400的操作409的一种实现方式。
在710，确定口型变化。操作710可以通过处理模块200的图像单元220、确定单元230实现。在一些实施例中，确定单元230可以利用图像处理技术和图像分析技术确定多张人脸动作图像的口型变化Z序列Pz1、Pz2、Pz3……Pzn之间的口型面积变化值ΔSz，并根据所述旋转角度ΔSz进一步确定口型变化。
如图3所示，图像单元220可以分析人脸的口型变化动作，当多张人脸图像无X轴旋转相关性也无Y轴旋转相关性时，获取单元可以获取Pz1、Pz2、Pz3……Pzn等多张人脸图像所关联的人脸动作的口型变化Z的面积变化值ΔSz(比如，从图像Pz1(口型面积值Sz1)变化至图像Pzn(口型面积值Szn)的过程)。其中，Szn与Sz1满足如下等式(3)的关系：
Szn＝Sz1+ΔSz (3)
ΔSz为正时，说明口型变大，为张嘴动作；ΔSz为负时，说明口型变小，为闭嘴动作。
如图3所示，当ΔSz为正时，在720，确定口型变大。操作720可以通过处理模块200的确定单元230实现。
在730，确定张嘴动作。操作730可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，当ΔSz为正时，可以进一步确定当前的人脸动作为张嘴动作。
在740，确定动作次数和持续时间。操作740可以通过处理模块200的确定单元230实现。在一些实施例中，确定单元230可以根据Pz1、Pz2、Pz3……Pzn等多张人脸图像中的重复图像确定动作次数。在一些实施例中，确定单元230可以根据面积变化值ΔSz的变化情况确定动作次数。在一些实施例中，确定单元230可以根据获取Pz1、Pz2、Pz3……Pzn等多张人脸图像之间的时间差确定持续时间。作为示例，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值Δtz≤2s时，确定单元230可以确定所述两次张嘴为一次连续动作。在一些实施例中，当所述时间差值Δtz＞2s时，确定单元230可以确定所述两次张嘴为两次单一动作。
在750，获取与所述口型变化动作关联的操作。操作750可以通过处理模块200的获取单元210实现。在一些实施例中，电子设备110可以通过系统缺省或用户自定义等方式确定人脸动作关联的操作。作为示例，表3根据本申请的一些实施例提供的口型变化动作的关联操作映射表。
表3 口型变化动作的关联操作映射表
如表3所示，在750，获取单元210可以获取单次张嘴的操作可以为增加音量。又例如，获取单元210可以获取两次张嘴的连续动作可以为循环调节音量。再例如，获取单元210可以获取两次张嘴的单一动作可以包括多次增加音量等。
如图3所示，当ΔSz为负时，在760，确定口型变小。操作760可以通过处理模块200的确定单元230实现。
在770，确定闭嘴动作。操作770可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，当ΔSz为负时，可以进一步确定当前的人脸动作为闭嘴动作。
在740，确定动作次数和持续时间。操作740可以通过处理模块200的确定单元230实现。作为示例，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值Δtz≤2s时，确定单元230可以确定所述两次闭嘴为一次连续动作。在一些实施例中，当所述时间差值Δtz＞2s时，确定单元230可以确定所述两次闭嘴为两次单一动作。
如表3所示，在750，获取单元210可以获取单次闭嘴的操作可以为降低音量。又例如，获取单元210可以获取两次闭嘴的连续动作可以为循环调节音量。再例如，获取单元210可以获取两次张嘴的单一动作可以包括多次降低音量等。
如图3所示，当ΔSz为零时，在780，确定口型无变化。操作780可以通过处理模块200的确定单元230实现。
在790，确定人脸识别动作。操作770可以通过处理模块200的确定单元230实现。根据本申请的一些实施例，如图3所示，当ΔSz为零时，可以进一步确定当前的人脸动作为人脸识别动作。
在740，确定动作次数和持续时间。操作740可以通过处理模块200的确定单元230实现。作为示例，确定单元230可以进一步确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。在一些实施例中，当所述时间差值3s≤Δtz≤6s时，确定单元230可以确定所述动作为一次人脸识别动作。
如表3所示，在750，获取单元210可以获取人脸识别的操作可以为开机、关机、加密或解锁等。
需要说明的是，以上对于流程400、流程500、流程600、流程700的描述，仅为描述方便，并不能把本申请限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个操作进行任意组合，或者构成子流程与其它操作组合，对实施上述流程和操作的功能进行形式和细节上的各种修正和改变。例如，流程400可以不执行操作402；又例如，流程500可以不执行操作540；流程600可以不执行操作640；流程700可以不执行操作740等。诸如此类的变形，均在本申请的保护范围之内。
综上所述，根据本申请实施例的一种人脸动作控制方法及系统，利用图像识别分析技术，识别并分析人脸的旋转动作，再执行关联的操作，适用于不同环境或场合，以提高终端使用的便利性。
需要注意的是，上述的实施例仅仅是用作示例，本申请不限于这样的示例，而是可以进行各种变化。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(RandomAccess Memory，RAM)等。
以上所揭露的仅为本申请一些优选的实施例，不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种人脸动作控制方法，其特征在于，包括：
获取多张人脸动作图像；
确定X轴旋转序列和Y轴旋转序列；
判断是否有X轴旋转相关性；
若存在X轴旋转相关性，确定X轴动作；
若不存在X轴旋转相关性，判断是否有Y轴旋转相关性；
若存在Y轴旋转相关性，确定Y轴动作；
若不存在Y轴旋转相关性，确定口型变化动作；
执行所述动作的关联操作。
2.根据权利要求1所述的人脸动作控制方法，其特征在于，所述确定X轴动作进一步包括：
判断X轴旋转方向；
若为X轴正方向旋转时，确定左转头动作；
若为X轴负方向旋转时，确定右转头动作；
若为X轴双向旋转时，确定摇头动作；
确定动作次数和持续时间；
获取所述X轴动作的关联操作。
3.根据权利要求2所述的人脸动作控制方法，其特征在于，所述确定动作次数进一步包括
确定X轴旋转角度的变化情况。
4.根据权利要求1所述的人脸动作控制方法，其特征在于，所述确定Y轴动作进一步包括：
判断Y轴旋转方向；
若为Y轴正方向旋转时，确定抬头动作；
若为Y轴负方向旋转时，确定低头动作；
确定动作次数和持续时间；
获取所述Y轴动作的关联操作。
5.根据权利要求4所述的人脸动作控制方法，其特征在于，所述确定动作次数进一步包括
确定Y轴旋转角度的变化情况。
6.根据权利要求1所述的人脸动作控制方法，其特征在于，所述确定口型变化动作进一步包括：
判断口型变化面积值；
若口型变化面积值为正时，口型变大，确定张嘴动作；
若口型变化面积值为负时，口型变小，确定闭嘴动作；
若口型变化面积值为零时，口型无变化，确定人脸识别动作；
确定动作次数和持续时间；
获取所述口型变化动作的关联操作。
7.根据权利要求6所述的人脸动作控制方法，其特征在于，所述确定动作次数进一步包括
确定变化面积值的变化情况。
8.根据权利要求2或4或6任一所述的人脸动作控制方法，其特征在于，所述确定动作次数进一步包括确定所述多张人脸动作图像中的重复图像。
9.根据权利要求2或4或6任一所述的人脸动作控制方法，其特征在于，所述确定持续时间进一步包括确定确定最后一张人脸图像的获取时间和第一张人脸图像的获取时间的时间差值。
10.一个系统，其特征在于，包括：
一个存储器，被配置为存储数据及指令；
一个与存储器建立通信的处理器，其中，当执行存储器中的指令时，所述处理器被配置为：
获取多张人脸动作图像；
确定X轴旋转序列和Y轴旋转序列；
判断是否有X轴旋转相关性；
若存在X轴旋转相关性，确定X轴动作；
若不存在X轴旋转相关性，判断是否有Y轴旋转相关性；
若存在Y轴旋转相关性，确定Y轴动作；
若不存在Y轴旋转相关性，确定口型变化动作；
执行所述动作的关联操作。
CN201710644766.7A 2017-07-31 2017-07-31 一种人脸动作控制方法及系统 Pending CN107451564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710644766.7A CN107451564A (zh) 2017-07-31 2017-07-31 一种人脸动作控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710644766.7A CN107451564A (zh) 2017-07-31 2017-07-31 一种人脸动作控制方法及系统

Publications (1)

Publication Number Publication Date
CN107451564A true CN107451564A (zh) 2017-12-08

Family

ID=60490099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710644766.7A Pending CN107451564A (zh) 2017-07-31 2017-07-31 一种人脸动作控制方法及系统

Country Status (1)

Country Link
CN (1) CN107451564A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149548A (zh) * 2018-09-26 2019-08-20 腾讯科技（深圳）有限公司 视频配音方法、电子装置和可读存储介质
CN111444827A (zh) * 2020-03-25 2020-07-24 深圳中科信迅信息技术有限公司 一种智能动态行为分析的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697199A (zh) * 2009-08-11 2010-04-21 北京盈科成章科技有限公司 头面部动作检测方法及应用该方法操控计算机的助残系统
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法
CN105930775A (zh) * 2016-04-14 2016-09-07 中南大学 基于灵敏度参数的人脸朝向识别方法
CN105938396A (zh) * 2016-06-07 2016-09-14 陈火 一种音乐播放器的控制系统及方法
CN106774928A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
WO2017088727A1 (zh) * 2015-11-25 2017-06-01 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN106909213A (zh) * 2015-12-23 2017-06-30 掌赢信息科技（上海）有限公司 一种基于人脸识别的控制指令生成方法及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697199A (zh) * 2009-08-11 2010-04-21 北京盈科成章科技有限公司 头面部动作检测方法及应用该方法操控计算机的助残系统
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法
WO2017088727A1 (zh) * 2015-11-25 2017-06-01 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN106909213A (zh) * 2015-12-23 2017-06-30 掌赢信息科技（上海）有限公司 一种基于人脸识别的控制指令生成方法及电子设备
CN105930775A (zh) * 2016-04-14 2016-09-07 中南大学 基于灵敏度参数的人脸朝向识别方法
CN105938396A (zh) * 2016-06-07 2016-09-14 陈火 一种音乐播放器的控制系统及方法
CN106774928A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149548A (zh) * 2018-09-26 2019-08-20 腾讯科技（深圳）有限公司 视频配音方法、电子装置和可读存储介质
CN110149548B (zh) * 2018-09-26 2022-06-21 腾讯科技（深圳）有限公司 视频配音方法、电子装置和可读存储介质
CN111444827A (zh) * 2020-03-25 2020-07-24 深圳中科信迅信息技术有限公司 一种智能动态行为分析的方法
CN111444827B (zh) * 2020-03-25 2023-03-21 深圳中科信迅信息技术有限公司 一种智能动态行为分析的方法

Similar Documents

Publication Publication Date Title
CN109074441B (zh) 基于注视的认证
CN107657953A (zh) 语音控制方法及系统
CN107124560A (zh) 一种自拍系统、媒质和方法
CN107425579A (zh) 一种智能充电方法及系统
CN107609914A (zh) 一种智能菜单设计方法及系统
CN109472122A (zh) 一种多媒体信息提示方法及系统
CN107132985A (zh) 一种显示切换方法
US20230103517A1 (en) Trackpad on back portion of a device
CN107358179A (zh) 一种基于虹膜验证的生活管理系统、媒质和方法
CN108009140A (zh) 一种终端信息编辑方法及系统
CN107423585A (zh) 一种应用的隐秘使用方法及系统
CN107786979A (zh) 一种多终端共享通信方法及系统
CN107506721A (zh) 一种多虹膜采集方法及系统
CN107862518A (zh) 一种基于终端位置的支付方法及系统
CN107451564A (zh) 一种人脸动作控制方法及系统
CN107402690A (zh) 一种全局收藏方法及系统
CN107944245A (zh) 一种眼球追踪虹膜解锁方法及系统
CN107657221A (zh) 一种面部信息采集方法及相关设备
CN107220531A (zh) 一种便捷登录的信息处理方法
CN107018153A (zh) 一种安全登录方法
CN206908680U (zh) 具有安全登录功能的智能终端
CN107835117A (zh) 一种即时通信方法及系统
CN108154556A (zh) 一种终端虚拟装饰方法及系统
CN108536409A (zh) 一种终端显示调整方法及系统
CN107704843A (zh) 一种单眼虹膜验证方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171208

WD01 Invention patent application deemed withdrawn after publication