CN111033508B - 一种识别身体运动的系统和方法 - Google Patents

一种识别身体运动的系统和方法 Download PDF

Info

Publication number
CN111033508B
CN111033508B CN201880044545.9A CN201880044545A CN111033508B CN 111033508 B CN111033508 B CN 111033508B CN 201880044545 A CN201880044545 A CN 201880044545A CN 111033508 B CN111033508 B CN 111033508B
Authority
CN
China
Prior art keywords
point
images
image
series
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880044545.9A
Other languages
English (en)
Other versions
CN111033508A (zh
Inventor
张修宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202011280638.7A priority Critical patent/CN112270299A/zh
Publication of CN111033508A publication Critical patent/CN111033508A/zh
Application granted granted Critical
Publication of CN111033508B publication Critical patent/CN111033508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

一种识别身体运动的方法，包括从图像采集设备接收一系列图像，所述图像中包括人脸的视觉呈现图像。所述一系列图像可以形成图像序列。所述一系列图像中的每幅图像在所述图像序列中具有上一幅图像或下一幅图像。所述方法还包括，对于一系列图像中的每幅图像，确定所述人脸上的至少两个特征点，确定所述人脸上的所述至少两个特征点的位置，以及基于所述至少两个特征点的所述位置确定非对称值。所述方法进一步包括，基于所述一系列图像的所述非对称值识别所述人脸的摇头动作。

Description

一种识别身体运动的系统和方法
技术领域
本申请涉及图像处理技术，更具体地，涉及一种识别身体运动的系统和方法。
背景技术
近年来，面部认证，例如通过相机，被广泛用于多个领域(例如，系统登录、安保、财务)以防止欺诈。包括识别人体部位的移动(例如，眨眼和点头)在内的面部认证的示例可能需要用户非常靠近相机。如果用户离相机相对较远，则识别这种运动的准确性可能急剧降低。因此，可能期望提供一种用于当他或她距离相机一定距离时提高识别用户的身体运动的准确度的系统和方法。
发明内容
根据本申请的一个方面，系统可以包括图像采集设备、包括一组指令的存储设备，以及至少一个与所述存储设备通信的处理器。当执行所述一组指令时，所述至少一个处理器可以被指示使所述系统：从所述图像采集设备接收一系列图像，所述图像中包括人脸的视觉呈现图像。所述一系列图像可以形成图像序列。所述一系列图像中的每幅图像可以在所述图像序列中具有上一幅图像或下一幅图像。对于一系列图像中的每幅图像，至少一个处理器可以进一步被指示使系统：确定所述人脸上的至少两个特征点；确定所述人脸上的至少两个特征点；以及确定所述人脸上的所述至少两个特征点的位置。所述至少一个处理器可以进一步被指示使系统基于图像序列的所述非对称值识别所述人脸的摇头动作。
在一些实施例中，所述至少两个特征点可以包括第一点、第二点、第三点、第四点和第五点。在所述人脸的正面图中：所述第一点和所述第二点可以相对于穿过所述第三点的对称线对称；所述第四点和所述第五点可以相对于穿过所述第三点的所述对称线对称；以及所述第三点可以位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的四边形内。
在一些实施例中，所述第一点可以位于所述人脸的左眼的中央区域。所述第二点可以位于所述人脸的右眼的中央区域。所述第三点可以位于所述人脸上的鼻子的尖端区域。所述第四点可以位于所述人脸上的嘴唇的左端区域。所述第五点可以位于所述人脸的所述嘴唇的右端区域。
在一些实施例中，为了基于所述一系列图像的所述至少两个特征点的所述位置确定所述非对称值，所述处理器可以进一步被指示使系统：确定一系列图像中的每幅图像中的所述第三点是否不位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内；以及基于所述一系列图像中的每幅图像中的所述第三点不位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内的确定的结果，根据一系列图像中的每幅图像中上一幅图像的非对称值确定所述非对称值。
在一些实施例中，为了基于所述一系列图像的所述至少两个特征点的所述位置确定所述非对称值，所述处理器可以进一步被指示使系统：基于所述一系列图像中的每幅图像中的所述第三点位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内的确定的结果：基于所述第一点、所述第三点和所述第四点确定第一角度；基于所述第二点、所述第三点和所述第五点确定第二角度；以及基于所述第一角度和所述第二角度确定所述非对称值。
在一些实施例中，所述第一角度可以是连接所述第一点和所述第三点的线段与连接所述第四点和所述第三点的线段之间的角度。所述第二角度可以是连接所述第二点和所述第三点的线段与连接所述第五点和所述第三点的线段之间的角度。
在一些实施例中，所述第一角度可以是连接所述第一点和所述第四点的线段与连接所述第四点和所述第三点的线段之间的角度。所述第二角度可以是连接所述第二点和所述第五点的线段与连接所述第五点和所述第三点的线段之间的角度。
在一些实施例中，所述第一角度可以是连接所述第一点和所述第四点的线段与连接所述第一点和所述第三点的线段之间的角度。所述第二角度可以是连接所述第二点和所述第五点的线段与连接所述第二点和所述第三点的线段之间的角度。
在一些实施例中，为了基于所述一系列图像的所述非对称值识别所述人脸的摇头动作，所述处理器可以进一步被指示使所述系统：确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第一图像；确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第二图像，所述第二图像是所述图像序列中所述第一图像的后续图像；获取一组图像的非对称值，所述一组图像包括所述第一图像，所述第二图像，和在所述图像序列中所述第一图像和第二图像之间的一个或以上图像；以及基于所述一组图像的所述非对称值和所述一组图像中图像的数量识别所述人脸的摇头动作。
在一些实施例中，为了基于所述一组图像的所述非对称值和所述一组图像中所述图像的数量识别所述人脸的摇头动作，所述处理器可以进一步被指示使所述系统：识别所述一组图像的所述非对称值中的最大非对称值；确定所述最大非对称值是否大于第二非对称值阈值；确定所述一组图像中图像的数量是否大于阈值数量；以及基于确定所述最大非对称值大于所述第二非对称值阈值的结果和所述确定所述一组图像中图像的数量大于所述阈值数量的结果，从所述一组图像中识别所述人脸的摇头动作。
根据本申请的另一方面，一种方法可包括从图像采集设备接收一系列图像，所述图像中包括人脸的视觉呈现图像。所述一系列图像可以形成图像序列。所述一系列图像中的每幅图像在所述图像序列中具有上一幅图像或下一幅图像。所述方法还可以包括确定所述人脸上的至少两个特征点；确定所述人脸上的所述至少两个特征点的位置；以及基于所述至少两个特征点的所述位置确定非对称值。所述方法还可以包括基于所述一系列图像的所述非对称值识别所述人脸的摇头动作。
根据本申请的又一方面，一种非暂时性的计算机可读介质可以包括至少一组指令。当由计算机设备的至少一个处理器执行时，所述至少一组指令可以指示所述至少一个处理器：从图像采集设备接收一系列图像，所述图像中包括人脸的视觉呈现图像。所述一系列图像可以形成图像序列。一系列图像中的每幅图像可以在所述图像序列中具有上一幅图像或下一幅图像。对于一系列图像中的每幅图像，所述至少一个处理器可以进一步被指示用于：确定所述人脸上的至少两个特征点；确定所述人脸上的所述至少两个特征点的位置；以及基于所述至少两个特征点的所述位置确定非对称值。所述至少一个处理器可以进一步被指示用于基于所述一系列图像的所述非对称值识别所述人脸的摇头动作。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其特征在于：
图1是根据本申请的一些实施例所示的识别摇头动作的示例性系统的操作状态的示意图；
图2是根据本申请的一些实施例所示的识别摇头动作的示例性系统的示意图；
图3是根据本申请的一些实施例所示的计算设备的示例性硬件组件和/或软件组件的示意图；
图4是根据本申请的一些实施例所示的可在系统200上实现的移动设备的示例性硬件和/或软件组件的示意图；
图5是根据本申请的一些实施例所示的示例性处理引擎的模块图；
图6是根据本申请的一些实施例所示的识别摇头动作的示例性过程的流程图；
图7是根据本申请的一些实施例所示的人脸的示例性视觉呈现图像的示意图；
图8是根据本申请的一些实施例所示的基于至少两个特征点的位置确定非对称值的示例性过程的流程图；
图9是根据本申请的一些实施例所示的人脸的示例性特征点的示意图；
图10是根据本申请的一些实施例所示的示例性第一角度和第二角度的示意图；
图11是根据本申请的一些实施例所示的示例性第一角度和第二角度的示意图；
图12是根据本申请的一些实施例所示的示例性第一角度和第二角度的示意图；
图13是根据本申请的一些实施例所示的在人脸的左方向下的示例性第一角度和第二角度的示意图；
图14是根据本申请的一些实施例所示的在右方向下的示例性第一角度和第二角度的示意图；
图15是根据本申请的一些实施例所示的识别摇头动作的示例性过程的流程图；
图16是根据本申请的一些实施例所示的摇头动作的三个转体的非对称值与时间(T)之间的关系的示意图；以及
图17是根据本申请的一些实施例所示的识别摇头动作的示例性过程的流程图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和利用本申请的披露并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。
这里使用的术语仅用于描述特定示例性实施例的目的，而不是限制性的。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请所披露的说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。
根据以下对附图的描述，本申请所披露的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请所披露的说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
本申请中使用了流程图用来说明根据本申请所披露的一些实施例的系统所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反地，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
此外，尽管本申请所披露的系统和方法主要涉及面部认证的在线服务，但是还应该理解，这仅是一个示例性实施例。本申请所披露的系统或方法可以应用于任何类型的在线服务或离线服务。例如，本申请所披露的系统或方法可以应用于用户登录的安全系统(例如，用户登录按需系统)、登记(例如，酒店或机场的登记系统)、用户验证(例如，用于在自动柜员机(ATM)处的用户帐户验证)等，或其任意组合。所述按需系统可以包括例如运输/外卖/快递服务。本申请所披露的系统或方法的应用可以包括网页、因特网浏览器的插件、客户终端、定制系统、内部分析系统、人工智能机器人等，或其任意组合。
本申请提供了一种识别摇头动作的系统和方法。所述系统可以通过图像采集设备(例如，相机)采集人脸的至少两个图像。所述系统可以处理所述人脸的所述至少两个图像，并识别所述至少两个图像中所述人脸的特征点。所述系统还可以基于所述识别的特征点确定所述图像中人脸的非对称值。所述系统可以进一步基于所述非对称值确定是否存在摇头动作。
图1是根据本申请的一些实施例所示的识别摇头动作的示例性系统的操作状态的示意图。所述系统100可以包括至少一个图像采集设备，其可以在图像采集设备的视场107中采集图像。如图1所示，所述视场107可以包括人脸111。所述系统100可以采集包括人脸111的至少两个图像。然后，系统100可以基于所述至少两个图像确定是否存在摇头动作。关于所述系统100的细节可以在本申请的其他地方找到(例如，图2及其描述)。
图2是根据本申请的一些实施例所示的识别摇头动作的示例性系统的示意图。所述系统200可以包括服务器205、存储器220、网络230和图像采集设备240。所述系统200可以是所述系统100的示例。
在一些实施例中，所述服务器205可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器205可以是分布式的系统)。在一些实施例中，所述服务器205可以是本地的，也可以是远程的。例如，所述服务器205可以通过所述网络230访问存储在所述图像采集设备240和/或所述存储器220中的信息和/或数据。又例如，所述服务器205可以直接连接到所述存储器220以访问存储的信息和/或数据。在一些实施例中，所述服务器205可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，所述服务器205可以在具有图3中所示的一个或以上组件的计算设备300上实现。
在一些实施例中，所述服务器205可以包括处理引擎210。所述处理引擎210可以处理与识别摇头动作有关的信息和/或数据，以执行本申请所披露的描述中的一个或以上功能。例如，所述处理引擎210可以确定与所述人脸相对应的每个所述至少两个图像的所述人脸上的一个或以上特征点，以及基于所述特征点确定每个所述至少两个图像的非对称值，以识别摇头动作。在一些实施例中，所述处理引擎210可包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。所述处理引擎210可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等，或其任意组合。
所述存储器220可以存储与识别摇头动作有关的数据和/或指令。在一些实施例中，所述存储器220可以存储从所述图像采集设备240获取的数据。在一些实施例中，所述存储器220可以储存所述服务器205用来执行或使用以完成本申请所披露的描述中的示例性方法的数据和/或指令。在一些实施例中，所述存储器220可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等，或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性的可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性的易失性读写内存可以包括随机存取内存(RAM)。示例性的RAM可以包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)、零电容随机存取内存(Z-RAM)等。示例性的只读内存可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)、数字多功能磁盘只读内存等。在一些实施例中，所述存储器220可在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等，或其任意组合。
在一些实施例中，所述存储器220可以连接到所述网络230以与所述系统200的一个或以上组件(例如，所述服务器205、所述图像采集设备240)通信。所述系统200的一个或以上组件可以通过所述网络230访问存储在所述存储器220中的所述数据和/或指令。在一些实施例中，所述存储器220可以直接与所述系统200的一个或以上组件(例如，所述服务器205、所述图像采集设备240)连接或通信。在一些实施例中，所述存储器220可以是所述服务器205的一部分。
在一些实施例中，所述系统200的一个或以上组件(例如，所述服务器205、所述图像采集设备240)可以具有访问所述存储器220的许可。在一些实施例中，当满足一个或以上条件时，所述系统200的一个或以上组件可以读取和/或修改与所述人脸和/或公众有关的信息。例如，所述服务器205可以在完成识别之后读取和/或修改对应于所述人脸的至少两个图像中的一个或以上。
所述网络230可以促进信息和/或数据的交换。在一些实施例中，所述系统200的一个或以上组件(例如，所述服务器205、所述图像采集设备240或所述存储器220)可以通过所述网络230将信息和/或数据传输到所述系统200的另一个组件。例如，所述服务器205可以通过所述网络230从所述图像采集设备240获取对应于所述人脸的至少两个图像。在一些实施例中，所述网络230可以是有线网络、无线网络，或其任意组合中的一类。仅作为示例，所述网络230可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通信(NFC)网络等，或其任意组合。在一些实施例中，所述网络230可以包括一个或以上网络接入点。例如，所述网络230可以包括有线或无线网络接入点，例如，基站和/或互联网交换点230-1、230-2、...，通过所述网络230，所述系统200的一个或以上组件可以连接到所述网络230以交换数据和/或信息。
在一些实施例中，所述图像采集设备240可包括具有相机的便携式计算机240-1、相机240-2、具有相机的智能手机240-3、具有相机的智能手表、具有相机的车载计算机、具有照相机的车载电视、具有照相机的可穿戴设备等，或其任意组合。在一些实施例中，所述图像采集设备240可以采集包括视野中的人脸的至少两个图像。在一些实施例中，所述图像采集设备240可以与所述服务器205和所述存储器220集成。例如，如图4所示，移动设备400可以通过所述移动设备400的硬件和/或软件组件实现所述图像采集设备240、所述服务器205和所述存储器220的操作。在一些实施例中，所述图像采集设备240可以在具有图3中所示的一个或以上组件的计算设备300上实现。
本领域普通技术人员将理解，当所述系统200的元件(或组件)执行时，所述元件可以通过电信号和/或电磁信号执行。例如，当所述图像采集设备240将至少两个图像传输到所述服务器205时，所述图像采集设备240可以生成编码所述至少两个图像的电信号。然后，所述图像采集设备240可以将所述电信号传输到输出端口。如果所述图像采集设备240通过有线网络与所述服务器205通信，则所述输出端口可以物理地连接到电缆，所述电缆还可以将所述电信号传输到所述服务器205的输入端口。如果所述图像采集设备240通过无线网络与所述服务器205通信，则所述图像采集设备240的所述输出端口可以是一个或以上的天线，所述天线可以将所述电信号转换为电磁信号。在电子设备中，例如所述图像采集设备240和/或所述服务器205，当其处理器处理指令，传输出指令和/或执行动作时，所述指令和/或动作通过电信号进行。例如，当所述处理器从存储介质(例如，所述存储器220)检索或保存数据时，所述处理器可以将电信号传输到所述存储介质的读/写设备，所述读/写设备可以在所述存储介质中读取或写入结构化数据。所述结构化数据可以以电信号的形式通过所述电子设备的总线传输至所述处理器。此处，电信号可以指一个电信号、一系列电信号和/或至少两个不连续的电信号。
图3是根据本申请的一些实施例所示的计算设备的示例性硬件组件和/或软件组件的示意图。在一些实施例中，所述服务器205、所述图像采集设备240可以在所述计算设备300上实现。例如，所述处理引擎210可以在所述计算设备300上实现，并且所述处理引擎210被配置于执行所述处理引擎210的功能。
所述计算设备300可以用于实现如本申请所描述的所述系统200的任何组件。例如，所述处理引擎210可以在所述计算设备300上通过其硬件、软件程序、固件或其组合实现。尽管仅示出了一个这样的计算机，但是为了方便起见，与如本申请所描述的识别摇头动作有关的计算机功能可以在多个类似平台上以分布式方式实现，以分配处理负荷。
所述计算设备300可以包括例如与网络相连接的通信端口350，以促使数据通信。所述计算设备300还可以包括处理器320，以一个或以上处理器(例如，逻辑电路)的形式执行程序指令。例如，所述处理器320可以包括接口电路和其中的处理电路。所述接口电路可以被配置为从总线310接收电信号，其中所述电信号编码用于处理所述处理电路的结构化数据和/或指令。所述处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码确定为电信号。然后，所述接口电路可以通过所述总线310从所述处理电路发出所述电信号。
所述计算设备300还可以包括不同形式的程序存储和数据存储，例如，磁盘370、只读内存(ROM)330或随机存取内存(RAM)340，用于存储由计算设备处理和/或传输的各种数据文件。所述示例性计算机平台还可以包括存储在ROM 330、RAM 340和/或由所述处理器320执行的其他类型的非暂时性存储介质中的程序指令。本申请所披露的所述方法和/或流程可以以程序指令的方式实现。所述计算设备300还可以包括I/O组件360，所述I/O组件360可以用于支持所述计算机和其他组件之间的输入/输出。所述计算设备300还可以通过网络通信接收编程和数据。所述计算设备300还可以包括用于执行所述图像采集设备240的功能的相机380。
为了方便说明，图3中仅描述了一个处理器。还考虑到多个处理器。因此，由本申请所披露的描述中的一个处理器执行的所述操作和/或方法步骤也可以由多个处理器共同地或独立地执行。例如，如果在本申请的披露中，所述计算设备300的所述处理器执行步骤A和步骤B，应当理解的是，步骤A和步骤B也可以由所述计算设备300的两个不同的CPU和/或处理器共同地或独立地执行(例如，第一处理器执行步骤A、第二处理器执行步骤B或者第一和第二处理器共同地执行步骤A和步骤B)。
图4是根据本申请的一些实施例所示的可在系统200上实现的移动设备的示例性硬件和/或软件组件的示意图。如图4所示，所述移动设备400可以包括相机405、通信平台410、显示器420、图形处理单元(GPU)430、中央处理单元(CPU)440、I/O 450、内存460、移动操作系统(OS)470和存储器490。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在所述移动设备400内。
在一些实施例中，所述移动操作系统470(例如，iOSTM、AndroidTM、Windows PhoneTM等)和一个或以上应用程序480可以从所述存储器490加载到所述内存460中，以便由所述CPU 440执行。所述应用程序480可以包括用于接收和呈现与识别来自所述系统200的摇头动作或其他信息有关的信息的浏览器或任何其他合适的移动应用程序。用户与信息流的交互可以通过所述I/O 450完成，并通过所述网络230提供给所述处理引擎210和/或所述系统200的其他组件。
图5是根据本申请的一些实施例所示的示例性处理引擎的模块图。所述处理引擎210可以包括采集模块510、确定模块520和识别模块530。
所述采集模块510可以被配置为接收图像数据。在一些实施例中，所述采集模块510可以从所述图像采集设备240接收一系列图像，所述图像中包括人脸的视觉呈现图像。所述一系列图像可以形成图像序列，所述一系列图像中的每幅图像可以在所述图像序列中具有上一幅图像或下一幅图像。在一些实施例中，所述一系列图像的序列可以遵循时间顺序。可以基于时间点确定所述一系列图像的所述序列。特定时间点可以具有上一时间点和/或下一时间点。
所述确定模块520可以被配置用于确定与所述采集模块510接收的所述图像数据有关的多个信息。在一些实施例中，所述确定模块520可以对于所述一系列图像确定所述人脸上的至少两个特征点。所述至少两个特征点可以包括所述人脸上的任何点。根据所述人脸中的所述特征点的位置，所述特征点可以被分类为三个不同的组(例如，第一组、第二组和第三组)。例如，所述第一组中的所述特征点可能落在所述人脸的对称线上。所述确定模块520可以确定所述一系列图像的所述人脸上的所述至少两个特征点的位置。在一些实施例中，对于一系列图像中的每幅图像，所述处理引擎210可以首先识别所述特征点的相关区域。所述确定模块520可以基于所述一系列图像的所述特征点的所述位置确定所述一系列图像的非对称值(或包括所述图像中包括人脸的视觉呈现图像的所述非对称值，所述一系列图像形成图像序列)。
所述识别模块530可以被配置用于基于所述一系列图像的所述非对称值(或包括所述图像中包括人脸的视觉呈现图像的所述非对称值，所述一系列图像形成图像序列)识别是否存在摇头动作。在一些实施例中，所述识别模块530可以基于采集所述一系列图像的时间序列，基于所述一系列图像的所述非对称值的变化趋势确定摇头动作。例如，所述识别模块530可以确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第一图像，以及确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第二图像，所述第二图像是所述图像序列中所述第一图像的后续图像。所述识别模块530还可以获取一组图像的非对称值，所述一组图像包括所述第一图像，所述第二图像，和在所述图像序列中所述第一图像和第二图像之间的一个或以上图像。所述识别模块530进一步可以基于所述一组图像的所述非对称值和所述一组图像中图像的数量识别所述人脸的摇头动作。
图6是根据本申请的一些实施例所示的识别摇头动作的示例性过程的流程图。在一些实施例中，所述流程600可以实现为存储在所述存储ROM 330或RAM 340中的一组指令(例如，应用程序)。所述处理器320和/或图5中的所述模块可以执行所述一组指令，并且当执行所述指令时，所述处理器320和/或所述模块可以被配置用于执行所述流程600。以下所示过程的操作仅出于说明的目的。在一些实施例中，所述流程600可以由未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作完成。另外，如图6所示和下面描述的所述流程的步骤的顺序不是限制性的。
在步骤610中，所述处理引擎210(例如，所述采集模块510)可以从所述图像采集设备240接收一系列图像，所述图像中包括人脸的视觉呈现图像，所述一系列图像形成图像序列，所述一系列图像中的每幅图像在所述图像序列中具有上一幅图像或下一幅图像。例如，所述一系列图像可以是由所述图像采集设备240(例如，摄像机)采集的视频的视频帧，其可以形成图像序列。每个所述视频帧可以具有除了第一视频帧和最后视频帧之外的上一视频帧和下一视频帧，其可以分别仅具有下一视频帧和上一视频帧。在一些实施例中，所述一系列图像的所述序列可以遵循时间顺序。例如，所述图像采集设备240可以在至少两个时间点采集图像。可以基于所述时间点确定所述一系列图像的所述序列。特定时间点可以具有上一时间点和/或下一时间点。所述上一视频帧可以是所述图像采集设备240在所述上一时间点采集的所述一系列图像的图像。所述下一视频帧可以是所述图像采集设备240在所述下一时间点采集的所述一系列图像的图像。例如，当所述图像采集设备240开始采集图像时，所述处理引擎210可以启动计时器。所述图像采集设备240可以每0.03秒采集图像。对于在0.06秒采集的特定图像，所述上一时间点可以是0.03秒，并且所述下一时间点可以是0.09秒。因此，可以在0.03秒的时间点采集所述特定图像的上一图像，并且可以在0.09秒的时间点采集所述特定图像的下一图像。
在一些实施例中，所述图像采集设备240(例如，所述便携式计算机240-1、所述相机240-2、所述智能手机240-3)可以被配置用于采集对应于出现在所述图像采集设备240的所述视野中的一个或以上对象的图像。例如，所述图像采集设备240可以检测出现在其视野中的对象(例如，人)的动作并采集图像。所述图像采集设备240可以采集包括所述人脸的一系列图像。所述图像采集设备240的所述视野中的物体可以移动或进行他或她的身体部位的某些动作(例如，摇头动作、垂头动作)。
在一些实施例中，所述一系列图像中的至少一个可以包括所述人脸的所述视觉呈现图像。所述人脸的所述视觉呈现图像可以包括所述人脸的一个或以上特征组件的至少两个轮廓。人脸的示例性特征组件可包括眼睛、鼻子、嘴巴、耳朵、嘴唇、眉毛等，或其组合。特征组件的所述轮廓可以包括所述面部的轮廓、所述眼睛的轮廓、所述鼻子的轮廓等。在一些实施例中，所述处理引擎210和/或所述图像采集设备240可以在所述脸部的所述视觉呈现图像中用不同颜色标记所述人脸的不同部分，并且彩色区域表示所述脸部的特征组件。例如，所述眼睛的区域可以用绿色标记、所述眼睛的瞳孔的区域可以用黑色标记、以及所述鼻子的区域可以用蓝色标记，等等。
在一些实施例中，所述处理引擎210可以将对图像的请求传输到所述图像采集设备240，所述图像采集设备240响应于所述请求，可以采集一系列图像和/或将一系列图像传输到所述处理引擎210。在一些实施例中，所述处理引擎210可以向所述图像采集设备240传输请求，请求用户遵循某些指令。例如，所述图像采集设备240接收来自所述处理引擎110的请求后，可以向用户显示消息，请求用户在所述图像采集设备240的所述视野中移动或进行他或她的身体部位的某些动作(例如，摇头动作、垂头运动)以验证所述用户。所述图像采集设备240还可以采集所述用户的图像。
在一些实施例中，所述处理引擎210可以通过所述网络230从所述图像采集设备240接收所述一系列图像。或者，所述处理引擎210可以与所述图像采集设备240(例如，图4中所示的所述CPU 440和所述相机405)集成。所述处理引擎210可以通过总线(例如，图3中所示的所述总线310)从所述图像采集设备240接收所述一系列图像。
在步骤620中，所述处理引擎210(例如，所述确定模块520)可以对于一系列图像中的每幅图像，确定所述人脸上的至少两个特征点。所述至少两个特征点可以包括所述人脸上的任何点。所述特征点可以被分类为三组，包括第一组、第二组和第三组。包含在所述第一组中的特征点可以落在所述人脸的对称线上。例如，在所述人脸的正面图中，所述人脸的所述对称线可以是所述人脸上的垂直线，所述垂直线将所述人脸分成左侧和右侧，所述第一组中包含的所述特征点可能落在所述垂直线上。所述人脸的所述左侧与所述人脸的所述右侧基本对称。包含在所述第二组中的特征点可以位于所述人脸的左区域。包含在所述第三组中的特征点可以位于所述人脸的右区域。对于所述第二组中的特征点，在所述第三组中可以存在相对于所述对称线对称的特征点。
例如，所述至少两个特征点可以包括人脸上的五个点，即第一点、第二点、第三点、第四点和第五点。所述第三点可以落在所述人脸的对称线上(例如，通过鼻子的中心和前额的中心的垂直线)并且可以在所述第一组中。所述第一点和所述第四点可以在所述第二组中。所述第二点和所述第五点可以在所述第三组中。所述第一点和所述第二点可以相对于所述对称线对称，所述第三点可以落在所述对称线上。所述第四点和所述第五点可以相对于所述对称线对称。在一些实施例中，所述第三点可以位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的四边形内(例如，包括所述第一、第二、第四和第五点的四边形)。所述第一点、所述第二点、所述第四点和所述第五点可以包括所述四边形的四个顶点。以图7中所示的所述人脸111为例；所述人脸111的所述特征点可以包括所述第一点710-1、所述第二点720-1、所述第三点730-1、所述第四点740-1和所述第五点740-2。所述第一点710-1可以位于左眼区域710内。所述第二点720-1可以位于右眼区域720内。在一些实施例中，所述第一点710-1和所述第二点720-1可以分别对应于两只眼睛的中心区域(例如，两只眼睛的瞳孔)。所述第三点730-1可以位于鼻子区域730的尖端区域。所述第四点740-1可以位于嘴唇740的左端区域中。所述第五点740-2可以位于嘴唇740的右端区域中。所述对称线705可以穿过所述第三点730-1。
在步骤630中，所述处理引擎210(例如，所述确定模块520、所述处理器320)可以确定所述人脸上的所述至少两个特征点的位置。在一些实施例中，对于一系列图像中的每幅图像，所述处理引擎210可以首先识别所述特征点的相关区域。如这里所使用的，特定特征点的相关区域是指所述特定特征点所在的区域。所述特定特征点的所述位置可以在其相关区域中基本固定。例如，如图7所示，所述左眼区域710是所述特征点710-1的相关区域。所述710-1的所述位置可以位于所述左眼区域710的中心点。所述左眼区域710的轮廓的所述中心点和上边界处之间的距离可以等于所述左眼区域710的所述轮廓的所述中心点和底部边界处之间的距离。所述左眼区域710的所述轮廓的所述中心点和左边界处之间的距离可以等于所述左眼区域710的所述轮廓的所述中心点和右边界处之间的距离。
在一些实施例中，所述处理引擎210可以基于所述相关区域确定所述特征点。例如，所述处理引擎210可以识别两个眼区域、一个鼻子区域和一个嘴唇区域。所述处理引擎210还可以基于所述四个区域确定五个特征点。以所述左眼区域710为例；所述处理引擎210可以首先从所述一系列图像中的一个图像中识别出左眼轮廓。所述左眼轮廓内部可以包括至少两个候选点。所述处理引擎210可以识别满足眼睛区域的所述中心点的特征的候选点。所述处理引擎210可以将所述候选点指定为所述第一点710-1。
在步骤640中，所述处理引擎210(例如，所述确定模块520、所述处理器320)可以基于所述一系列图像的所述至少两个特征点的所述位置确定非对称值(或包括所述图像中包括人脸的视觉呈现图像，所述一系列图像形成图像序列)。对于人脸的图像，如果所述图像不是所述人脸的正面图，则所述人脸的左侧和所述人脸的右侧可以相对于所述对称线非对称。所述非对称值是指示所述人脸的所述左侧和右侧之间的非对称的程度的参数。一系列图像中的每幅图像可以具有非对称值(或包括所述图像中包括人脸的视觉呈现图像，所述一系列图像形成图像序列)。关于基于人脸上特征点的所述位置确定图像的所述非对称值的细节可以在本申请的其他地方找到(例如，图8及其描述)。
在步骤650中，所述处理引擎210(例如，所述识别模块530、所述处理器320)可以基于所述一系列图像的所述非对称值(或包括所述图像中包括人脸的视觉呈现图像的所述非对称值，所述一系列图像形成图像序列)识别摇头动作。在一些实施例中，所述处理引擎210可以根据采集所述一系列图像的时间序列，基于所述一系列图像的所述非对称值的变化趋势确定所述摇头动作。关于所述识别所述摇头动作的细节可以在本申请的其他地方找到(例如，图13和17及其描述)。
应当理解的是，以上描述仅出于说明的目的，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请所披露的范围。例如，所述处理引擎210可以是相机的一部分。所述相机可以执行所述处理引擎210的操作，例如，确定所述人脸上的至少两个特征点。
图7是根据本申请的一些实施例所示的人脸的示例性视觉呈现图像的示意图。如图7所示，所述人脸111的所述视觉呈现700在正面图中。所述视觉呈现700可包括左眼区域710、右眼区域720、鼻子区域730和嘴唇区域740等。所述视觉呈现700还可以包括对称线705和至少两个特征点，即所述第一点710-1、所述第二点720-1、所述第三点730-1、所述第四点740-1和所述第五点740-2。如图7所示，所述第一点710-1和所述第二点720-1可以分别对应于所述人脸111的眼睛的瞳孔。所述第一点710-1和所述第二点720-1可以相对于所述对称线705对称。所述第五点740-2和所述第四点740-1可以相对于所述对称线705对称。所述第三点730-1可以落在所述对称线705上。
图8是根据本申请的一些实施例所示的基于至少两个特征点的位置确定非对称值的示例性过程的流程图。在一些实施例中，所述流程800可以实现存储在所述存储ROM 330或RAM 340中的一组指令(例如，应用程序)。所述处理器320和/或图5中的所述模块可以执行所述一组指令，并且当执行所述指令时，所述处理器320和/或所述模块可以被配置用于执行所述流程800。以下所示过程的操作仅出于说明的目的。在一些实施例中，所述流程800可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，如图8所示和下面描述的所述流程的步骤的顺序不是限制性的。在一些实施例中，可以基于所述流程800执行所述流程600的步骤640，以确定一系列图像中的每幅图像的所述非对称值。
在步骤810中，对于图像(例如，一系列图像中的每幅图像)，所述处理引擎210(例如，所述采集模块510)可以获取所述第一点、所述第二点、所述第三点、所述第四点和所述第五点的所述位置。在一些实施例中，所述处理引擎210可以从所述存储器220获取所述位置。所述存储器220可以在确定所述位置之后存储所述位置。所述确定所述第一点、所述第二点、所述第三点、所述第四点和所述第五点的所述位置的描述可以在本申请所披露的其他地方找到(例如，所述流程600的步骤630)。
所述第一点、所述第二点、所述第四点和所述第五点可以是四边形的四个顶点。在所述一系列图像的一些图像中，所述第三点可以位于所述四边形内(如图9所示)。所述第三点730-1可以位于所述四边形内。在所述一系列图像的一些图像中，所述第三点可以位于所述四边形外。
在步骤820中，所述处理引擎210(例如，所述确定模块520)可以确定所述第三点是否位于由所述第一点、所述第二点、所述第四点和所述第五点形成的所述四边形内。如果所述处理引擎210(例如，所述确定模块520)确定所述第三点不位于所述四边形内，则所述流程800可以进行到步骤860；如果所述处理引擎210(例如，所述确定模块520)确定所述第三点位于所述四边形内，则所述流程800可以进行到步骤830。
在步骤830中，所述处理引擎210(例如，所述确定模块520)可以基于所述第一点、所述第三点和所述第四点确定第一角度。
在步骤840中，所述处理引擎210(例如，所述确定模块520)可以基于所述第二点、所述第三点和所述第五点确定第二角度。
在步骤850中，所述处理引擎210(例如，所述确定模块520)可以基于所述一系列图像中的每幅图像中的所述第一角度和所述第二角度确定所述非对称值。在一些实施例中，所述非对称值可以根据如下等式(1)确定：
Figure GDA0002393519670000201
其中，α表示所述第一角度，β表示所述第二角度。与对应于所述人脸的左方向/右方向的所述非对称值相比，对应于所述人脸的正面方向的所述非对称值可以是最小值(例如，等于1)。所述人脸的所述正面方向是指所述人的头部直接面对所述相机。所述人脸的左方向指的是人的头部从所述人脸的正面方向转向左侧。所述人脸的右方向指的是人的头部从所述人脸的正面方向转向右侧。例如，当所述人脸处于所述正面方向时，所述第一角度α可以等于所述第二角度β。在这种情况下的所述非对称值可能约等于1(忽略由所述人脸上特征点的所述非对称位置引起的最小误差)。又如图13所示，当所述人脸处于所述左方向时，所述第一角度α可以大于所述第二角度β。在这种情况下，相应的所述非对称值可能大于1。又如图14所示，当所述人脸处于所述右方向时，所述第一角度α可以小于所述第二角度β。在这种情况下，相应的所述非对称值可能大于1。
在步骤860中，所述处理引擎210(例如，所述确定模块520)可以根据所述一系列图像中的每幅图像中上一图像的非对称值确定所述非对称值。在一些实施例中，所述处理引擎210可以基于所述一系列图像的所述图像序列确定所述一系列图像中的每幅图像中的所述上一图像。所述处理引擎210可以通过操作所述流程800确定所述一系列图像中的每幅图像中的所述上一图像的所述非对称值。然后，所述处理引擎210可以指定所述一系列图像中的每幅图像中的所述上一图像的所述非对称值作为所述一系列图像中的每幅图像的所述非对称值。
应当理解的是，以上描述仅出于说明的目的，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请所披露的范围。例如，所述步骤830和步骤840可以在一个步骤中操作。又例如，可以在所述流程800中添加存储操作，例如，在所述步骤840和步骤850之间。
图9是根据本申请的一些实施例所示的人脸的示例性特征点的示意图。所述特征点，包括所述第一点710-1、所述第二点720-1、所述第三点730-1、所述第四点740-1和所述第五点740-2，可以对应于如图7所示的所述人脸111上的所述特征点。所述第一点710-1、所述第二点720-1、所述第四点740-1和所述第五点740-2可以是四边形910的四个顶点，并且所述第三点730-1可以在所述四边形910内。
图10是根据本申请的一些实施例所示的示例性第一角度和第二角度的示意图。如图10所示。
图11是根据本申请的一些实施例所示的示例性第一角度和第二角度的示意图。
图12是根据本申请的一些实施例所示的示例性第一角度和第二角度的示意图。
图13是根据一些实施例所示的在人脸的左方向下的示例性第一角度和第二角度的示意图。
图14是根据一些实施例所示的在右方向下的示例性第一角度和第二角度的示意图。
图15是根据本申请的一些实施例所示的识别摇头动作的示例性过程的流程图。在一些实施例中，所述流程1500可以实现为一组。所述处理器320和/或图5中的所述模块可以执行所述一组指令，并且当执行所述指令时，所述处理器320和/或所述模块可以被配置用于执行所述流程1500。以下所示过程的操作仅出于说明的目的。在一些实施例中，所述流程1500可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，如图15所示和下面描述的所述流程的步骤的顺序不是限制性的。在一些实施例中，可以基于用于基于所述一系列图像的所述非对称值识别摇头动作的所述流程1500执行所述流程600的步骤650。
在步骤1510中，所述处理引擎210(例如，所述识别模块530)可以确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第一图像。如果所述一系列图像的特定图像的所述非对称值小于所述第一非对称值阈值，则所述特定图像上的所述人脸可以被视为在所述正面图中。在一些实施例中，可以基于所述人脸的所述特征点的检测误差和/或所述人脸的生理非对称的容差选择所述第一非对称值阈值。例如，所述第一非对称值阈值可以大于并且接近1，例如，1.02、1.05。在一些实施例中，所述第一非对称值阈值可以在1.01至1.20的范围内。在一些实施例中，所述第一非对称值阈值可以在1.01至1.02、1.02至1.04、1.04至1.06、1.06至1.10、1.10至1.15和1.15至1.20的子范围内受到限制。所述处理引擎210可以基于其序列检索所述一系列图像的所述非对称值。一旦所述处理引擎210首先确定所述非对称值小于所述第一非对称值阈值的特定图像，所述处理引擎210就可以指定所述特定图像为所述第一图像。
在步骤1520中，所述处理引擎210(例如，所述识别模块530)可以确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第二图像，所述第二图像是所述图像序列中所述第一图像的后续图像。确定所述第一图像之后，所述处理引擎210可以进一步基于所述图像序列检索所述一系列图像。当所述处理引擎210确定具有小于所述第一非对称值阈值的非对称值的另一图像时，所述处理引擎210可以指定所述另一图像为所述第二图像。所述第一图像和所述第二图像都可以包含正面方向的人脸。在摇头动作中，所述第一图像可以对应于所述人脸处于正面方向的初始状态。所述第二图像可以对应于所述人脸在所述初始状态之后随后转回到所述正面方向的第二状态。
在步骤1530，所述处理引擎210(例如，所述识别模块530)可以获取一组图像的非对称值，所述一组图像包括所述第一图像，所述第二图像，和在所述图像序列中所述第一图像和第二图像之间的一个或以上图像。在一些实施例中，所述一组图像可以对应于所述人脸的转体。所述人脸的所述转体是指所述人的头部从所述初始状态向所述第二状态摇动的动作。在一些实施例中，所述处理引擎210可以从所述存储器220获取所述一组图像的非对称值，所述一组图像包括在所述图像序列中存储所述一系列图像的非对称值。
在步骤1540中，所述处理引擎210(例如，所述识别模块530)可以基于所述一组图像的所述非对称值和所述一组图像中图像的数量识别所述人脸的摇头动作。在一些实施例中，所述处理引擎210可以基于所述一组图像的序列号确定所述一组图像中所述图像的所述数量。在一些实施例中，当所述一组图像的所述非对称值和所述一组图像中的所述图像的所述数量都满足某些条件时，所述处理引擎210可以识别所述摇头动作。所述条件可以与所述非对称值的阈值和/或所述数量有关。所述关于识别所述摇头动作的细节可以在本申请所披露的其他地方找到(例如，图16及其描述)。
应当理解的是，以上描述仅出于说明的目的，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请所披露的范围。例如，可以在所述流程800中添加步骤，例如，在步骤1530和步骤1540之间，以确定所述一组图像中所述图像的所述数量。
图16是根据本申请的一些实施例所示的摇头动作的三个转体的非对称值与时间(T)之间的关系的示意图。如图16所示，当所述人脸处于第一正面方向时的所述时间点可以被指定为T＝0。此时间点的所述非对称值可以接近1且小于所述第一非对称值阈值1640。在人从所述第一正面方向1620向左或向右方向摇动他或她的头部的运动期间，所述非对称值随着时间而增加，直到所述第三点离开所述四边形。所述非对称值对应于所述第三点在所述四边形之外(如图16中的阴影区域1610)的所述面部的方向可以等于所述第三点位于所述四边形一侧的最大非对称值。在人从所述第二正面方向1630向左或向右方向摇动他或她的头部的运动期间，所述非对称值随着时间而减小并且小于所述第一非对称值阈值1640。对应于所述人脸的转体(例如，从朝前的方向到下一个朝前的方向)的所述非对称值可以如图16所示，从第一正面方向到第二正面方向增加然后减小。所述第二非对称值阈值1650表示所述运动的幅度。在所述运动的转体中，如果所述最大非对称值大于所述第二非对称值阈值1650，则所述运动可以被认为是摇头动作。所述第二非对称值阈值可以被指定为大于1。在一些实施例中，所述第二非对称值阈值可以在1至1.3的范围内。可选地，所述第二非对称值阈值可以在1.0到1.1、1.1到1.2或1.2到1.3的子范围内受到限制。在一些实施例中，所述第二非对称值阈值可以是1.2。
图17是根据本申请的一些实施例所示的识别摇头动作的示例性过程的流程图。在一些实施例中，所述流程1700可以实现存储在所述存储ROM 330或RAM 340中的一组指令(例如，应用程序)。所述处理器320和/或图5中的所述模块可以执行所述一组指令，并且当执行所述指令时，所述处理器320和/或所述模块可以被配置用于执行所述流程1700。以下所示过程的操作仅出于说明的目的。在一些实施例中，所述流程1700可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，如图17所示和下面描述的所述流程的步骤的顺序不是限制性的。在一些实施例中，可以基于用于基于所述一组图像的所述非对称值和所述一组图像中的所述图像的数量识别人脸的摇头运动的所述流程1700执行所述流程1500的步骤1540。
在步骤1710中，所述处理引擎210(例如，所述识别模块530)可以识别所述一组图像的所述非对称值中的所述最大非对称值。
在步骤1720中，所述处理引擎210(例如，所述识别模块530)可以确定所述最大非对称值是否大于或等于所述第二非对称值阈值。如果所述处理引擎210(例如，所述识别模块530)确定所述最大非对称值大于或等于所述第二非对称值阈值，则所述流程1700可以进行到步骤1730；如果所述处理引擎210(例如，所述识别模块530)确定所述最大非对称值小于所述第二非对称值阈值，则所述流程1700可以进行到步骤1750。
在步骤1730，所述处理引擎210(例如，所述识别模块530)可以确定所述一组图像中所述图像的所述数量是否大于或等于阈值数量。所述阈值数量可以是基于所述图像采集设备240的帧速率的预定阈值。所述帧速率是指所述图像采集设备240每秒采集的帧的数量。所述帧速率越大，所述阈值数量越大。例如，如果所述图像采集设备240的所述帧速率是每秒30帧(fps)，则所述阈值数量可以被指定为10。又例如，如果所述图像采集设备240的所述帧速率是每秒35帧(fps)，则所述阈值数量可以被指定为12。如果所述处理引擎210(例如，所述识别模块530)确定所述一组图像中所述图像的所述数量大于或等于所述阈值数量，则所述流程1700可以进行到步骤1740。如果所述处理引擎210(例如，所述识别模块530)确定所述一组图像中所述图像的所述数量小于所述阈值数量，则所述流程1700可以进行到步骤1750。
在步骤1740中，所述处理引擎210(例如，所述识别模块530)可以识别来自所述一组图像的摇头动作。所述处理引擎210可以基于两个条件识别所述摇头动作，即，确定所述最大非对称值大于或等于所述第二非对称值阈值并且确定所述一组图像中所述图像的所述数量大于或等于所述阈值数量。
在步骤1750，所述处理引擎210(例如，所述识别模块530)可以识别来自所述一组图像中所述人脸的非摇动动作。所述处理引擎210可以基于确定所述最大非对称值小于所述第二非对称值阈值或确定所述一组图像中所述图像的所述数量小于所述阈值数量识别所述人脸的非摇头动作。
应当理解的是，以上描述仅出于说明的目的，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请所披露的范围。例如，所述步骤1720和步骤1730可以在一个步骤中操作。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进和修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以表现为位于一个或以上计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如，在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等，或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或以上程序语言编写，包括面向主体编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby，和Groovy，或其他编程语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，例如，局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字和字母的使用或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反地，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，例如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (17)

1.一种系统，包括：
图像采集设备；
包括一组指令的存储设备；以及
至少一个与所述存储设备通信的处理器，其特征在于，当执行所述一组指令时，所述至少一个处理器被指示使所述系统：
从所述图像采集设备接收一系列图像，所述图像中包括人脸的视觉呈现图像，所述一系列图像形成图像序列，所述一系列图像中的每幅图像在所述图像序列中具有上一幅图像或下一幅图像；
对于一系列图像中的每幅图像：
确定所述人脸上的至少两个特征点；
确定所述人脸上的所述至少两个特征点的位置；以及
基于所述至少两个特征点的所述位置确定非对称值；以及
基于所述一系列图像的所述非对称值识别所述人脸的摇头动作；
所述至少两个特征点包括第一点、第二点、第三点、第四点和第五点；以及在所述人脸的正面图中：
所述第一点和所述第二点相对于穿过所述第三点的对称线对称，
所述第四点和所述第五点相对于穿过所述第三点的所述对称线对称，以及
所述第三点位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的四边形内；
基于所述一系列图像的所述至少两个特征点的所述位置确定所述非对称值，所述处理器进一步被指示使所述系统：
基于所述一系列图像中的每幅图像中的所述第三点位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内的确定的结果：
基于所述第一点、所述第三点和所述第四点确定第一角度；
基于所述第二点、所述第三点和所述第五点确定第二角度；以及
基于所述第一角度和所述第二角度确定所述非对称值。
2.根据权利要求1所述的系统，其特征在于：
所述第一点位于所述人脸的左眼的中央区域；
所述第二点位于所述人脸的右眼的中央区域；
所述第三点位于所述人脸的鼻子的尖端区域；
所述第四点位于所述人脸的嘴唇的左端区域；以及
所述第五点位于所述人脸的所述嘴唇的右端区域。
3.根据权利要求1或2所述的系统，其特征在于，基于所述一系列图像的所述至少两个特征点的所述位置确定所述非对称值，所述处理器进一步被指示使所述系统：
确定所述一系列图像中的每幅图像中的所述第三点是否不位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内；以及
基于所述一系列图像中的每幅图像中的所述第三点不位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内的确定的结果，根据所述一系列图像中的每幅图像中上一幅图像的非对称值确定所述非对称值。
4.根据权利要求1所述的系统，其特征在于：
所述第一角度是连接所述第一点和所述第三点的线段与连接所述第四点和所述第三点的线段之间的角度；以及
所述第二角度是连接所述第二点和所述第三点的线段与连接所述第五点和所述第三点的线段之间的角度。
5.根据权利要求1所述的系统，其特征在于：
所述第一角度是连接所述第一点和所述第四点的线段与连接所述第四点和所述第三点的线段之间的角度；以及
所述第二角度是连接所述第二点和所述第五点的线段与连接所述第五点和所述第三点的线段之间的角度。
6.根据权利要求1所述的系统，其特征在于：
所述第一角度是连接所述第一点和所述第四点的线段与连接所述第一点和所述第三点的线段之间的角度；以及
所述第二角度是连接所述第二点和所述第五点的线段与连接所述第二点和所述第三点的线段之间的角度。
7.根据权利要求4至6任一项所述的系统，其特征在于，基于所述一系列图像的所述非对称值识别所述人脸的摇头动作，所述处理器进一步被指示使所述系统：
确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第一图像；
确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第二图像，所述第二图像是所述图像序列中所述第一图像的后续图像；
获取一组图像的非对称值，所述一组图像包括所述第一图像，所述第二图像，和在所述图像序列中所述第一图像和第二图像之间的一个或以上图像；以及
基于所述一组图像的所述非对称值和所述一组图像中图像的数量识别所述人脸的摇头动作。
8.根据权利要求7所述的系统，其特征在于，基于所述一组图像的所述非对称值和所述一组图像中所述图像的数量识别所述人脸的摇头动作，所述处理器进一步被指示使所述系统：
识别所述一组图像的所述非对称值中的最大非对称值；
确定所述最大非对称值是否大于第二非对称值阈值；
确定所述一组图像中图像的数量是否大于阈值数量；以及
基于确定所述最大非对称值大于所述第二非对称值阈值的结果和确定所述一组图像中图像的数量大于所述阈值数量的结果，从所述一组图像中识别所述人脸的摇头动作。
9.一种方法，包括：
从图像采集设备接收一系列图像，所述图像中包括人脸的视觉呈现图像，所述一系列图像形成图像序列，所述一系列图像中的每幅图像在所述图像序列中具有上一幅图像或下一幅图像；
对于一系列图像中的每幅图像：
确定所述人脸上的至少两个特征点；
确定所述人脸上的所述至少两个特征点的位置；以及
基于所述至少两个特征点的所述位置确定非对称值；以及
基于所述一系列图像的所述非对称值识别所述人脸的摇头动作；
所述至少两个特征点包括第一点、第二点、第三点、第四点和第五点；以及在所述人脸的正面图中：
所述第一点和所述第二点相对于穿过所述第三点的对称线对称，
所述第四点和所述第五点相对于穿过所述第三点的所述对称线对称，以及
所述第三点位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的四边形内；
基于所述一系列图像的所述至少两个特征点的所述位置确定所述非对称值，包括：
基于所述一系列图像中的每幅图像中的所述第三点位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内的确定的结果：
基于所述第一点、所述第三点和所述第四点确定第一角度；
基于所述第二点、所述第三点和所述第五点确定第二角度；以及
基于所述第一角度和所述第二角度确定所述非对称值。
10.根据权利要求9所述的方法，其特征在于：
所述第一点位于所述人脸的左眼的中央区域；
所述第二点位于所述人脸的右眼的中央区域；
所述第三点位于所述人脸的鼻子的尖端区域；
所述第四点位于所述人脸的嘴唇的左端区域；以及
所述第五点位于所述人脸的所述嘴唇的右端区域。
11.根据权利要求9或10所述的方法，其特征在于，基于所述一系列图像的所述至少两个特征点的所述位置确定所述非对称值包括：
确定所述一系列图像中的每幅图像中的所述第三点是否不位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内；以及
基于所述一系列图像中的每幅图像中的所述第三点不位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内的确定的结果，根据所述一系列图像中的每幅图像中上一幅图像的非对称值确定所述非对称值。
12.根据权利要求9所述的方法，其特征在于：
所述第一角度是连接所述第一点和所述第三点的线段与连接所述第四点和所述第三点的线段之间的角度；以及
所述第二角度是连接所述第二点和所述第三点的线段与连接所述第五点和所述第三点的线段之间的角度。
13.根据权利要求9所述的方法，其特征在于：
所述第一角度是连接所述第一点和所述第四点的线段与连接所述第四点和所述第三点的线段之间的角度；以及
所述第二角度是连接所述第二点和所述第五点的线段与连接所述第五点和所述第三点的线段之间的角度。
14.根据权利要求9所述的方法，其特征在于：
所述第一角度是连接所述第一点和所述第四点的线段与连接所述第一点和所述第三点的线段之间的角度；以及
所述第二角度是连接所述第二点和所述第五点的线段与连接所述第二点和所述第三点的线段之间的角度。
15.根据权利要求12至14任一项所述的方法，其特征在于，所述基于所述一系列图像的所述非对称值识别所述人脸的摇头动作包括：
确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第一图像；确定所述图像序列中所述一系列图像中非对称值小于第一非对称值阈值的第二图像，所述第二图像是所述图像序列中所述第一图像的后续图像；
获取一组图像的非对称值，所述一组图像包括所述第一图像，所述第二图像，和在所述图像序列中所述第一图像和第二图像之间的一个或以上图像；以及
基于所述一组图像的所述非对称值和所述一组图像中图像的数量识别所述人脸的摇头动作。
16.根据权利要求15所述的方法，其特征在于，所述基于所述一组图像的所述非对称值和所述一组图像中所述图像的数量识别所述人脸的摇头动作包括：
识别所述一组图像的所述非对称值中的最大非对称值；
确定所述最大非对称值是否大于第二非对称值阈值；
确定所述一组图像中图像的数量是否大于阈值数量；以及
基于确定所述最大非对称值大于所述第二非对称值阈值的结果和确定所述一组图像中图像的数量大于所述阈值数量的结果，从所述一组图像中识别所述人脸的摇头动作。
17.一种非暂时性的计算机可读介质，包括至少一组指令，其特征在于，当由计算机设备的至少一个处理器执行时，所述至少一组指令指示所述至少一个处理器：
从图像采集设备接收一系列图像，所述图像中包括人脸的视觉呈现图像，所述一系列图像形成图像序列，所述一系列图像中的每幅图像在所述图像序列中具有上一幅图像或下一幅图像；
对于一系列图像中的每幅图像：
确定所述人脸上的至少两个特征点；
确定所述人脸上的所述至少两个特征点的位置；以及
基于所述至少两个特征点的所述位置确定非对称值；以及
基于所述一系列图像的所述非对称值识别所述人脸的摇头动作；
所述至少两个特征点包括第一点、第二点、第三点、第四点和第五点；以及在所述人脸的正面图中：
所述第一点和所述第二点相对于穿过所述第三点的对称线对称，
所述第四点和所述第五点相对于穿过所述第三点的所述对称线对称，以及
所述第三点位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的四边形内；
基于所述一系列图像的所述至少两个特征点的所述位置确定所述非对称值，包括：
基于所述一系列图像中的每幅图像中的所述第三点位于基于所述第一点、所述第二点、所述第四点和所述第五点确定的所述四边形内的确定的结果：
基于所述第一点、所述第三点和所述第四点确定第一角度；
基于所述第二点、所述第三点和所述第五点确定第二角度；以及
基于所述第一角度和所述第二角度确定所述非对称值。
CN201880044545.9A 2018-04-25 2018-04-25 一种识别身体运动的系统和方法 Active CN111033508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011280638.7A CN112270299A (zh) 2018-04-25 2018-04-25 一种识别头部运动的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/084418 WO2019205009A1 (en) 2018-04-25 2018-04-25 Systems and methods for identifying a body motion

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011280638.7A Division CN112270299A (zh) 2018-04-25 2018-04-25 一种识别头部运动的系统和方法

Publications (2)

Publication Number Publication Date
CN111033508A CN111033508A (zh) 2020-04-17
CN111033508B true CN111033508B (zh) 2020-11-20

Family

ID=68293386

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880044545.9A Active CN111033508B (zh) 2018-04-25 2018-04-25 一种识别身体运动的系统和方法
CN202011280638.7A Pending CN112270299A (zh) 2018-04-25 2018-04-25 一种识别头部运动的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011280638.7A Pending CN112270299A (zh) 2018-04-25 2018-04-25 一种识别头部运动的系统和方法

Country Status (3)

Country Link
US (1) US10997722B2 (zh)
CN (2) CN111033508B (zh)
WO (1) WO2019205009A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN110263691A (zh) * 2019-06-12 2019-09-20 合肥中科奔巴科技有限公司 基于安卓系统的头部运动检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091976B1 (en) * 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US20070183633A1 (en) * 2004-03-24 2007-08-09 Andre Hoffmann Identification, verification, and recognition method and system
JP4172793B2 (ja) * 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
CN101763636B (zh) * 2009-09-23 2012-07-04 中国科学院自动化研究所 视频序列中的三维人脸位置和姿态跟踪的方法
CN101739712B (zh) * 2010-01-25 2012-01-18 四川大学 基于视频的3d人脸表情动画驱动方法
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
CN102375970B (zh) 2010-08-13 2016-03-30 北京中星微电子有限公司 一种基于人脸的身份认证方法和认证装置
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置
KR101339900B1 (ko) * 2012-03-09 2014-01-08 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
US8542879B1 (en) 2012-06-26 2013-09-24 Google Inc. Facial recognition
JP6365671B2 (ja) 2014-07-24 2018-08-01 富士通株式会社 顔認証装置、顔認証方法および顔認証プログラム
RU2715521C2 (ru) 2015-06-16 2020-02-28 Айверифай Инк. Системы и способы для обнаружения обманных объектов и анализа жизненности
CN105512632B (zh) 2015-12-09 2019-04-05 北京旷视科技有限公司 活体检测方法及装置
CN106897658B (zh) 2015-12-18 2021-12-14 腾讯科技（深圳）有限公司 人脸活体的鉴别方法和装置
CN106991367B (zh) * 2016-01-21 2019-03-19 腾讯科技（深圳）有限公司 确定人脸转动角度的方法和装置
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN106295549A (zh) * 2016-08-05 2017-01-04 深圳市鹰眼在线电子科技有限公司 多角度人脸数据采集方法和装置
CN107066983B (zh) 2017-04-20 2022-08-09 腾讯科技（上海）有限公司 一种身份验证方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法
CN110263691A (zh) * 2019-06-12 2019-09-20 合肥中科奔巴科技有限公司 基于安卓系统的头部运动检测方法

Also Published As

Publication number Publication date
CN111033508A (zh) 2020-04-17
US10997722B2 (en) 2021-05-04
WO2019205009A1 (en) 2019-10-31
CN112270299A (zh) 2021-01-26
US20200364861A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
TWI714225B (zh) 注視點判斷方法和裝置、電子設備和電腦儲存介質
CN107209849B (zh) 眼睛跟踪
US11238272B2 (en) Method and apparatus for detecting face image
US20180268207A1 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
CN113302619B (zh) 目标区域评估和特征点评估的系统和方法
CN108388889B (zh) 用于分析人脸图像的方法和装置
US20140301650A1 (en) Image processing device, image processing method, and recording medium
US20200272808A1 (en) Method and system for face detection
JP2014186505A (ja) 視線検出装置及び撮像装置
US10929984B2 (en) Systems and methods for shaking action recognition based on facial feature points
KR102160955B1 (ko) 딥 러닝 기반 3d 데이터 생성 방법 및 장치
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
CN111033508B (zh) 一种识别身体运动的系统和方法
CN110799986B (zh) 一种基于面部特征点的眨眼动作识别的系统和方法
CN110753931A (zh) 基于面部特征点的点头动作识别的系统和方法
CN111274846B (zh) 一种张闭动作识别的方法和系统
KR102380426B1 (ko) 얼굴 인증 방법 및 장치
CN111582120A (zh) 用于捕捉眼球活动特征的方法、终端设备
WO2022172430A1 (ja) 判定方法、判定プログラム、及び情報処理装置
US20230176649A1 (en) Device and method with gaze estimating
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
CN116189317A (zh) 活体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant