CN110555353B - 一种动作识别方法及装置 - Google Patents
一种动作识别方法及装置 Download PDFInfo
- Publication number
- CN110555353B CN110555353B CN201810565620.8A CN201810565620A CN110555353B CN 110555353 B CN110555353 B CN 110555353B CN 201810565620 A CN201810565620 A CN 201810565620A CN 110555353 B CN110555353 B CN 110555353B
- Authority
- CN
- China
- Prior art keywords
- ratio
- frame
- area ratio
- user
- small
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种动作识别方法及装置，用于解决目前头部动作识别算法复杂，识别耗时较长的问题。该动作识别方法包括：采集多帧用户脸部图像，并从该多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，该第一特征区域与该第二特征区域分别位于人脸相对的两侧；确定该多帧用户脸部图像中每帧图像的该第一特征区域与该第二特征区域的面积比值；根据该多帧用户脸部图像的该面积比值的变化确定用户的头部运动方式。
Description
技术领域
本申请涉及图像识别技术领域，尤其涉及一种动作识别方法及装置。
背景技术
目前很多场景(如系统登录、安防、金融等)中需要进行人脸识别，而基于人脸的头部动作识别是人脸识别的重要部分。常用的头部动作识别包括点头动作的识别，当前的头部动作识别中，首先进行人脸的三维信息的获取，然后利用隐马尔可夫模型(HiddenMarkov Model)进行基于分类的机器学习，根据机器学习结果识别出人的头部动作。
但是，上述头部动作识别算法复杂，识别耗时较长。
发明内容
有鉴于此，本申请实施例提供一种动作识别方法及装置，用以提高头部动作识别的速率，减少识别的耗时。
主要包括以下几个方面：
第一方面，本申请提供一种动作识别方法所述的装置，包括：采集多帧用户脸部图像，并从所述多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，所述第一特征区域位于人脸上部，所述第二特征区域位于人脸下部；确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值；根据所述多帧用户脸部图像的所述面积比值的变化确定用户的头部运动方式。
在第一方面的一些可选的实现方式中，所述根据所述多帧用户脸部图像的所述面积比值的变化确定用户头部的运动方式，包括：若所述多帧用户脸部图像的所述面积比值由小至大变化，则确定用户向下低头；或，若所述多帧用户脸部图像的所述面积比值由大至小变化，则确定用户向上抬头；或，若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则确定用户先向下低头后向上抬头；或，若所述多帧用户脸部图像的所述面积比值先由大至小变化后由小至大变化，则确定用户先向上抬头后向下低头。
在第一方面的一些可选的实现方式中，所述根据所述多帧用户脸部图像的所述面积比值的变化确定用户头部的运动方式，包括：若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则判断预设的约束条件是否满足；若满足，则确定用户完成一次点头动作。
在第一方面的一些可选的实现方式中，根据以下步骤确定所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化：计算采集的每一个用户脸部图像帧pi的如下特征值：S1_i＝(ratio1_i+ratio2_i+…+ratio(n-1)/2_i)/((n-1)/2)，S2_i＝(ratio(n+1)/2+1_i+ratio(n+1)/2+2_i+…+ration-1_i+ratioi)/((n-1)/2)，其中，ratioi为用户脸部图像帧pi的所述面积比值，ratioj_i为pi之前的第(n-j)帧用户脸部图像的所述面积比值，n为不小于3的奇数，j的取值为1至(n-1)的正整数；当第s个用户脸部图像帧ps满足起始条件且ps的前一帧不满足所述起始条件时，从ratio(n+1)/2_s开始连续存储后续用户脸部图像帧的面积比值，并确定用户头部运动的起始面积比值R1为S1_s；其中，s不小于n，所述起始条件为：S2_i＞S1_i，且ratio(n+1)/2+1_i，ratio(n+1)/2+2_i，…，ration_i均大于等于ratio(n+1)/2；当第t个用户脸部图像帧pt满足结束条件时，确定用户头部运动的结束面积比值R2为S2_t，并确定采集的用户脸部图像帧的所述面积比值先从所述R1开始由小至大变化后由大至小变化至所述R2；其中，t大于s，所述结束条件包括：S2_i＜S1_i；且，ratio1_i，ratio2_i，…，ratio(n-1)/2_i均大于等于ratio(n+1)/2_i；且，ratio(n+1)/2+1_i大于等于ratio(n+1)/2；且，max(S2_t/R1，R1/S2_t)不大于第一阈值，所述第一阈值大于1。
在第一方面的一些可选的实现方式中，所述预设的约束条件包括：所述面积比值先由小至大变化过程中的最小值R1，与所述面积比值后由大至小变化过程中的最小值R2的比值R1/R2，以及R2/R1均不大于第一阈值，所述第一阈值大于1。
在第一方面的一些可选的实现方式中，所述预设的约束条件包括：所述面积比值先由小至大变化过程中的最大值R3与最小值R1的比值R3/R1，以及R3与所述面积比值后由大至小变化过程中的最小值R2的比值R3/R2均不小于第二阈值；或，所述R3*2与(R1+R2)的比值2R3/(R1+R2)不小于第三阈值。
在第一方面的一些可选的实现方式中，所述预设的约束条件包括：所述多帧用户脸部图像中属于所述面积比值先由小至大变化过程中的图像帧的帧数N1，以及所述多帧用户脸部图像中属于所述面积比值后由大至小变化过程中的图像帧的帧数N2均不小于第四阈值。
在第一方面的一些可选的实现方式中，所述预设的约束条件包括：所述多帧用户脸部图像中目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的拟合直线，与人脸的竖直中轴线的第一夹角小于第一预设角度；或，所述目标特征点在所述面积比值先由小至大变化过程中的轨迹的拟合直线与所述竖直中轴线的第二夹角，以及所述目标特征点在所述面积比值后由大至小变化过程中的轨迹的拟合直线与所述竖直中轴线的第三夹角均小于第二预设角度；或，所述目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的宽度不大于第五阈值。
在第一方面的一些可选的实现方式中，所述第一特征区域为鼻尖与位于鼻尖上侧的第一上部特征点、第二上部特征点所形成的区域，所述第二特征区域为鼻尖与位于鼻尖下侧的第一下部特征点、第二下部特征点所形成的区域；其中，所述第一上部特征点与所述第一下部特征点位于所述鼻尖左侧，所述第二上部特征点与所述第二下部特征点位于所述鼻尖右侧。
在第一方面的一些可选的实现方式中，在所述确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，所述方法还包括：确定所述多帧用户脸部图像的每帧图像中的鼻尖位于所述第一上部特征点、所述第二上部特征点、所述第一下部特征点以及所述第二下部特征点所形成的四边形内。
在第一方面的一些可选的实现方式中，在所述确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，所述方法还包括：确定所述多帧用户脸部图像中每帧图像的所述第一特征区域和/或所述第二特征区域的面积不小于第六阈值。
在第一方面的一些可选的实现方式中，在所述确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之后，且在所述根据所述多帧用户脸部图像的所述面积比值的变化确定用户的头部运动方式之前，还包括：根据每帧用户脸部图像相邻的k帧用户脸部图像的所述面积比值对所述每帧用户脸部图像的所述面积比值进行修正，将修正后的所述面积比值作为更新后的所述每帧用户脸部图像的所述面积比值。
第二方面，本申请提供一种动作识别装置，包括：采集模块，用于采集多帧用户脸部图像，并从所述多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，所述第一特征区域位于人脸上部，所述第二特征区域位于人脸下部；确定模块，用于确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值；识别模块，用于根据所述多帧用户脸部图像的所述面积比值的变化确定用户的头部运动方式。
在第二方面的一些可选的实现方式中，所述识别模块，用于：若所述多帧用户脸部图像的所述面积比值由小至大变化，则确定用户向下低头；或，若所述多帧用户脸部图像的所述面积比值由大至小变化，则确定用户向上抬头；或，若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则确定用户先向下低头后向上抬头；或，若所述多帧用户脸部图像的所述面积比值先由大至小变化后由小至大变化，则确定用户先向上抬头后向下低头。
在第二方面的一些可选的实现方式中，所述识别模块，用于：若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则判断预设的约束条件是否满足；若满足，则确定用户完成一次点头动作。
在第二方面的一些可选的实现方式中，所述识别模块，用于：计算采集的每一个用户脸部图像帧pi的如下特征值：S1_i＝(ratio1_i+ratio2_i+…+ratio(n-1)/2_i)/((n-1)/2)，S2_i＝(ratio(n+1)/2+1_i+ratio(n+1)/2+2_i+…+ration-1_i+ratioi)/((n-1)/2)，其中，ratioi为用户脸部图像帧pi的所述面积比值，ratioj_i为pi之前的第(n-j)帧用户脸部图像的所述面积比值，n为不小于3的奇数，j的取值为1至(n-1)的正整数；当第s个用户脸部图像帧ps满足起始条件且ps的前一帧不满足所述起始条件时，从ratio(n+1)/2_s开始连续存储后续用户脸部图像帧的面积比值，并确定用户头部运动的起始面积比值R1为S1_s；其中，s不小于n，所述起始条件为：S2_i＞S1_i，且ratio(n+1)/2+1_i，ratio(n+1)/2+2_i，…，ration_i均大于等于ratio(n+1)/2；当第t个用户脸部图像帧pt满足结束条件时，确定用户头部运动的结束面积比值R2为S2_t，并确定采集的用户脸部图像帧的所述面积比值先从所述R1开始由小至大变化后由大至小变化至所述R2；其中，t大于s，所述结束条件包括：S2_i＜S1_i；且，ratio1_i，ratio2_i，…，ratio(n-1)/2_i均大于等于ratio(n+1)/2_i；且，ratio(n+1)/2+1_i大于等于ratio(n+1)/2；且，max(S2_t/R1，R1/S2_t)不大于第一阈值，所述第一阈值大于1。
在第二方面的一些可选的实现方式中，所述预设的约束条件包括：所述面积比值先由小至大变化过程中的最小值R1，与所述面积比值后由大至小变化过程中的最小值R2的比值R1/R2，以及R2/R1均不大于第一阈值，所述第一阈值大于1。
在第二方面的一些可选的实现方式中，所述预设的约束条件包括：所述面积比值先由小至大变化过程中的最大值R3与最小值R1的比值R3/R1，以及R3与所述面积比值后由大至小变化过程中的最小值R2的比值R3/R2均不小于第二阈值；或，所述R3*2与(R1+R2)的比值2R3/(R1+R2)不小于第三阈值。
在第二方面的一些可选的实现方式中，所述预设的约束条件包括：所述多帧用户脸部图像中属于所述面积比值先由小至大变化过程中的图像帧的帧数N1，以及所述多帧用户脸部图像中属于所述面积比值后由大至小变化过程中的图像帧的帧数N2均不小于第四阈值。
在第二方面的一些可选的实现方式中，所述预设的约束条件包括：所述多帧用户脸部图像中目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的拟合直线，与人脸的竖直中轴线的第一夹角小于第一预设角度；或，所述目标特征点在所述面积比值先由小至大变化过程中的轨迹的拟合直线与所述竖直中轴线的第二夹角，以及所述目标特征点在所述面积比值后由大至小变化过程中的轨迹的拟合直线与所述竖直中轴线的第三夹角均小于第二预设角度；或，所述目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的宽度不大于第五阈值。
在第二方面的一些可选的实现方式中，所述第一特征区域为鼻尖与位于鼻尖上侧的第一上部特征点、第二上部特征点所形成的区域，所述第二特征区域为鼻尖与位于鼻尖下侧的第一下部特征点、第二下部特征点所形成的区域；其中，所述第一上部特征点与所述第一下部特征点位于所述鼻尖左侧，所述第二上部特征点与所述第二下部特征点位于所述鼻尖右侧。
在第二方面的一些可选的实现方式中，所述确定模块还用于：在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，确定所述多帧用户脸部图像的每帧图像中的鼻尖位于所述第一上部特征点、所述第二上部特征点、所述第一下部特征点以及所述第二下部特征点所形成的四边形内。
在第二方面的一些可选的实现方式中，所述确定模块还用于：在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，确定所述多帧用户脸部图像中每帧图像的所述第一特征区域和/或所述第二特征区域的面积不小于第六阈值。
在第二方面的一些可选的实现方式中，所述确定模块还用于：在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之后，根据每帧用户脸部图像相邻的k帧用户脸部图像的所述面积比值对所述每帧用户脸部图像的所述面积比值进行修正，将修正后的所述面积比值作为更新后的所述每帧用户脸部图像的所述面积比值。
第三方面，本申请提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第五方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。
采用上述方案，采集多帧用户脸部图像，从用户脸部图像提取位于人脸相对两侧的特征区域，计算每帧图像中该两个特征区域的面积比值，根据该面积比值的变化即可确定用户的头部运动方式。该识别用户头部运动方式的算法简单、运算量小，进而识别时间短，且由于可不采用昂贵的高性能的专用运算芯片，使得人脸识别的成本也较低。
为使本申请实施例的上述目的、特征和优点能更明显易懂，下面将结合实施例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请一些实施例提供的一种动作识别方法的流程示意图；
图2a-图2c示出本申请一些实施例中用户头部上下运动的示意图；
图3、图5-图7示出了本申请一些实施例提供的一种动作识别方法的流程示意图；
图4示出了本申请一些实施例中目标特征点轨迹的拟合直线的示意图；
图8示出了本申请一些实施例中动作识别装置的结构示意框图；
图9示出了本申请一些实施例中电子设备的结构示意框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中所涉及的多个，是指两个或两个以上。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例下述方法、装置、电子设备或计算机存储介质可以应用于任何需要进行头部动作识别的场景，比如，可以应用于系统登录、安防以及金融等领域的人脸活体检测，以防止欺骗行为，又比如，可以应用于人机交互领域，简化人机交互方式。本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的方法进行头部动作识别的方案均在本申请保护范围内。
本申请实施例中，采集多帧用户脸部图像，并从采集的多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，该第一特征区域与第二特征区域分别位于人脸上下相对的两侧。由于在头部运动的过程中，第一特征区域与第二特征区域的面积的比值可以发生变化，因此，可以根据第一特征区域与第二特征区域的面积的比值的变化确定用户的头部运动方式。下述实施例将会对确定用户的头部运动方式的过程作详细说明。
实施例1
图1示出本申请实施例1提供的一种动作识别方法的流程示意图，该方法可以由具有摄像头的终端(例如智能手机)执行，也可以由能够从摄像头获取后者采集的图像帧的计算设备，例如服务器，该计算设备与摄像头之间可以通过有线传输的方式传输后者采集的图像帧，也可以通过无线通信网络(如物联网、工业4G网络)等传输摄像头采集的图像帧。该动作识别方法包括：
步骤110、采集多帧用户脸部图像。
所谓用户脸部图像，指的是包括用户脸部影像的图像帧，或者，以用户脸部影像为主体的图像帧。该多帧用户脸部图像为顺次采集的，即，采集第一帧图像之后，采集第二帧图像，以此类推。相邻两帧图像的采集时刻的时间间隔可以相同，也可以不同。本申请以下内容中，用户脸部图像帧也简称为“图像帧”。
在步骤110的一些实现方式中，可以通过位于人脸前方固定的摄像头采集用户脸部图像；在另一些实现方式中，也可以为用户手持具有拍照功能的终端(如智能手机)采集自己的脸部图像，在后一实现方式中，终端可以向用户进行图像采集的提示，例如，提示用户移动头部以将头部图像置入预设的区域内。
步骤120、从多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，该第一特征区域位于人脸上部，第二特征区域位于人脸下部。
其中，第一特征区域可以为位于人脸中部的中部特征点(例如鼻尖、鼻梁中点等)与位于人脸上部的第一上部特征点、第二上部特征点所形成的区域。该第一上部特征点、第二上部特征点可以有多种实现，例如，第一上部特征点、第二上部特征点分别为左右眼部中心点，或者分别为左右眼部的内眼角点，或者分别为左右眼部的外眼角点，或者，分别为左右眉的中心点。在本申请以下内容中，以第一上部特征点、第二上部特征点分别为左右眼部中心点为例进行说明。
第二特征区域可以为位于人脸中部的中部特征点与位于人脸下部的第一下部特征点、第二下部特征点所形成的区域。该第一下部特征点、第二下部特征点可以有多种实现，例如，第一下部特征点、第二下部特征点分别为左右嘴角，或者分别为左右鬓角，或者分别为左右胡须的末梢。在本申请以下内容中，以第一下部特征点、第二下部特征点分别为左右嘴角为例进行说明。
又比如，第一特征区域可以位于人脸左部，第二特征区域位于人脸右部。如第一特征区域为鼻尖、左眼中心、左嘴角所形成的区域，第二特征区域为鼻尖、右眼中心、右嘴角所形成的区域。
步骤130、确定多帧用户脸部图像中每帧图像的第一特征区域与第二特征区域的面积比值。
在提取出第一特征区域以及第二特征区域之后，可以通过多种方式计算特征区域的面积。下面介绍其中一种方式，参见图2，以第一特征区域为鼻尖、右眼中心、左眼中心所围成的三角形区域，鼻尖、右眼中心、左眼中心在图像的坐标系中的坐标分别为(x1，y1)，(x2，y2)，(x3，y3)，则第一特征区域的面积Area＝(x1*y2+x2*y3+x3*y1–x1*y3–x2*y1–x3*y2)/2。针对特征区域面积的其他计算方式，请参照各种现有技术，本申请实施例不一一说明。
步骤140、根据多帧用户脸部图像的面积比值的变化确定用户的头部运动方式。
参见图2a，用户从正对摄像头的初始状态开始向下低头至图2b所示的位置，图2b中该第一特征区域相对于图2a中距离摄像头更近，相反，图2b中第二特征区域相对于图2a中距离摄像头更远，则第一特征区域与第二特征区域的面积比值变大，且头越向下低该面积比值越大。对应的，用户的头部从最低点抬起的过程中，该面积比值慢慢变小，恢复为该初始状态的比值。应理解，上述例子中用户脸部正对摄像头仅仅是为了便于说明，在用户初始状态下脸部不正对摄像头时，上述面积比值的变化趋势同样成立。
因此，可以根据采集的多帧用户脸部图像的面积比值的变化确定用户的头部运动方式。比如，参照图2a以及图2b，若采集的多帧用户脸部图像的面积比值由小至大变化，则确定用户向下低头；或，参照图2a以及图2c，若多帧用户脸部图像的面积比值由大至小变化，则确定用户向上抬头；或，若多帧用户脸部图像的面积比值先由小至大变化后由大至小变化，则确定用户先向下低头后向上抬头；或，若多帧用户脸部图像的面积比值先由大至小变化后由小至大变化，则确定用户先向上抬头后向下低头。
需要说明的是，在实施例1的一些实现方式中，上述步骤120、130可以在步骤110之后执行，即，先采集多帧用户脸部图像，然后，再执行步骤120、130。在实施例1的另一些实现方式中，步骤120、130中每一帧的特征区域的提取以及该面积比值的计算，可以在该帧图像采集之后就进行，与其下一帧图像的采集之间没有必然的先后顺序之分。
上述技术方案中，采集多帧用户脸部图像，从用户脸部图像提取位于人脸上下相对两侧的特征区域，计算每帧图像中该两个特征区域的面积比值，根据该面积比值的变化即可确定用户的头部运动方式。该识别用户头部运动方式的算法简单、运算量小，进而识别时间短，且由于可不采用昂贵的高性能的专用运算芯片，使得人脸识别的成本也较低。
实施例2
参见图3，在上述实施例1中，若第一特征区域位于人脸上部，第二特征区域位于人脸下部，则步骤140执行时，可以包括如下实现方式：
步骤141、若多帧用户脸部图像的面积比值先由小至大变化后由大至小变化，则判断预设的约束条件是否满足；
步骤142、若满足，则确定用户完成一次点头动作。
具体的，若确定多帧用户脸部图像的面积比值先由小至大变化后由大至小变化，可以确定用户先向下低头后向上抬头，但先向下低头后向上抬头并不一定是一次被认可的点头动作，只有该向下低头后向上抬头的过程满足预设的约束条件，才能确定用户完成一次被认可的点头动作。
该约定的约束条件可以有多种实现方式，包括但不限于以下：
条件1、用户头部在向上抬头过程能大致恢复至向下低头前的位置。
例如，可以将条件1设置为：多帧用户脸部图像的面积比值由小至大变化(即：用户头部向下低头)过程中的面积比值的最小值R1与多帧用户脸部图像的面积比值由大至小(即：用户头部向上抬头)过程中的面积比值的最小值R2的比值R1/R2，以及R2与R1的比值R2/R1均不大于第一阈值，第一阈值大于1。通常，该第一阈值可以设置为接近1的数值，例如1.1～1.3。
又例如，可以将条件1设置为：多帧用户脸部图像的面积比值由大至小(即：用户头部向上抬头)过程中，存在一帧图像的面积比值与上述R1的比值以及该比值的倒数不大于该第一阈值。在该设置中，即使用户抬头的幅度较大，抬头后头部最终停留位置处采集的图像帧中R2与R1差异较大，但在该抬头过程中，至少存在一帧图像帧的面积比值与该R1相当，则仍然认为用户完成一次点头。
根据上述条件1，可以剔除用户头部在向上抬头过程中或抬头后未能恢复至向下低头前的位置附近的头部运动，不将其作为一次认可的点头动作，减少点头动作的误识别几率。
条件2、用户点头过程中的头部运动幅度要达到一定量。
例如，可以将条件2设置为：用户脸部图像帧的面积比值先由小至大变化后由大至小变化过程中的最大值R3与前述R1的比值不小于第二阈值，该第二阈值为正数。即，用户向下低头过程中，该面积比值的变化幅度要足够大，进而表明用户向下低头的幅度达到一定量。
又例如，可以将条件2设置为：前述R3与前述R2的比值不小于第二阈值。即，用户向上抬头过程中，该面积比值的变化幅度要足够大，进而表明用户向上抬头的幅度达到一定量。
再例如，结合前述两种设置，可以将条件2设置为：前述R3与前述R1的比值以及前述R3与前述R2的比值均不小于第二阈值。即，用户向下低头以及向上抬头的过程中，该面积比值的变化幅度要足够大，进而表明用户向下低头以及向上抬头的幅度均达到一定量。
还例如，综合考虑用户向下低头以及向上抬头的过程，可以将条件2设置为：R3*2与(R1+R2)的比值2R3/(R1+R2)不小于第三阈值，第三阈值为正数，该第三阈值与前述第二阈值可以相同，也可以不同。在本设置中，不单独考虑户向下低头或向上抬头的幅度，而是取二者的平均值，根据前述R3与该平均值的比值来衡量用户先向下低头后向上抬头过程中头部的运动幅度，只有该运动幅度足够大，才可以认可该次头部运动为一次点头动作。
根据上述条件2，可以剔除运动幅度较小的头部运动，不将其作为一次认可的点头动作，减少点头动作的误识别几率。
条件3、用户点头过程的速率不能过快，耗时不能过短。
例如，可以将条件3设置为：多帧用户脸部图像中属于面积比值由小至大变化过程中的图像的帧数N1不小于第四阈值，第四阈值为正整数。由于多帧用户脸部图像顺次采集，所以，图像帧的帧数与时间长短成正相关关系，面积比值由小至大变化过程中的图像的帧数N1不小于第四阈值，可以表征面积比值由小至大变化过程的耗时不过短，亦即用户低头过程的耗时不过短。
又例如，可以将条件3设置为：多帧用户脸部图像中属于面积比值由大至小变化过程中的图像的帧数N2不小于该第四阈值。面积比值由大至小变化过程中的图像的帧数N2不小于第四阈值，可以表征面积比值由大至小变化过程的耗时不过短，亦即用户抬头过程的耗时不过短。
再例如，结合前述两种设置，可以将条件3设置为：前述N1以及前述N2均不小于第四阈值，第四阈值为正整数。前述N1以及前述N2均不小于第四阈值，表明用户低头过程的耗时亦即抬头过程的耗时均不过短。
还例如，可以将条件3设置为：多帧用户脸部图像中属于面积比值由小至大变化过程中采集的第一帧图像与采集的最后一帧图像之间的时间间隔不小于预设时长，和/或，多帧用户脸部图像中属于面积比值由大至小变化过程中采集的第一帧图像与采集的最后一帧图像之间的时间间隔不小于该预设时长。
根据上述条件3，可以剔除运动速率过快的头部运动，不将其作为一次认可的点头动作，减少点头动作的误识别几率。
条件4、头部在运动时的横向偏移量不能过大。
例如，可以将条件4设置为：将目标特征点(例如：鼻尖、嘴角或眼部中心)在面积比值先由小至大变化后由大至小变化过程中的轨迹的拟合为直线，该拟合直线与人脸的竖直中轴线的第一夹角均小于第一预设角度。例如，参照图4，该拟合直线表征用户头部在向下低头以及向上抬头过程中的轨迹，该拟合直线与用户头部中轴线(例如，眉心、鼻尖与下巴尖中任意两条的连线，或，三者拟合出的直线)的夹角可以反映头部在运动过程中的横向偏移量，若该夹角大于第一预设角度，则表明头部的横向偏移量过大。
又例如，可以将条件4设置为：将目标特征点在面积比值先由小至大变化过程中的轨迹的拟合为直线L1，将目标特征点在面积比值后由大至小变化过程中的轨迹的拟合为直线L2，该直线L1与人脸的竖直中轴线L3的第二夹角小于第二预设角度，和/或，直线L2与人脸的竖直中轴线L3的第三夹角小于第二预设角度。该第二预设角度与上述第一预设角度可以相同，也可以不同。本设置中，分别考虑向下低头过程与向上抬头过程中的头部横向偏移是否过大，可以进一步降低误识别的几率。
再例如，可以将条件4设置为：目标特征点在面积比值先由小至大变化后由大至小变化过程中的轨迹的宽度不大于第五阈值，第五阈值为正数。本设置中，通过目标特征点的轨迹的宽度表征向下低头过程与向上抬头过程中的头部横向偏移量，剔除目标特征点的轨迹的宽度过宽的头部运动，不将其作为一次认可的点头动作，减少点头动作的误识别几率。
上一设置的一种变形为：轨迹的宽度占图像的比例不大于第六阈值，该第六阈值为0～1之间的正数。
根据上述条件4，可以剔除横向偏移量过大的头部运动，不将其作为一次认可的点头动作，减少点头动作的误识别几率。
应理解，上述条件1～4中任一条件可以独立作为预设的约束条件，只要该条件满足，则预设的约束条件满足。另外，上述条件1～4中任意两个条件也可以结合，即，只有上述两个或两个以上条件均成立时，预设的约束条件才满足。例如，在一种实现方式中，上述条件1～4均成立，预设的约束条件才满足；在另一实现方式中，上述条件2～4均成立，预设的约束条件才满足。
上述技术方案中，若该多帧用户脸部图像的面积比值先由小至大变化后由大至小变化，则可以确定用户先向下低头后向上抬头，但该头部运动并不一定为一次认可的点头动作，只有该头部运动过程满足预设的约定条件，才确认该头部运动为一次认可的点头动作。其中，该预设的约束条件可以从多个方面进行设置，以约束头部运动为一次有意的点头动作，进而降低误识别的几率。
实施例3
在上述实施例1或实施例2的基础上，可以对每帧用户脸部图像的该面积比值进行修正，以避免单帧图像的面积比值的波动导致识别结果不准确。
图5示出基于上述思想的一种识别方法，在该方法中，在步骤130之后以及步骤140之前，还包括：
步骤150、根据每帧图像相邻的k帧图像的面积比值对每帧图像的面积比值进行修正，将修正后的面积比值作为更新后的每帧图像的面积比值，k为正整数。
其中，每帧图像相邻的k帧图像可以为该帧图像之前的最接近的k帧图像，也可以为该帧图像之后的最接近的k帧图像，还可以为该帧图像之前的最接近的k1帧图像以及该帧图像之后的最接近的k2帧图像，k1+k2＝k。例如，若k为偶数，该k帧图像为每帧图像之前最接近的k/2帧图像以及该帧图像之后最接近的k/2帧图像。
所谓每帧图像的修正后的面积比值，可以为该帧图像以及其相邻的k帧图像的面积比值的算数平均值或几何平均值。在一种变形方案中，每帧图像的修正后的面积比值，可以为该帧图像相邻的k帧图像的面积比值的算数平均值或几何平均值。
上述技术方案中，根据每帧图像紧邻的k帧图像对其面积比值进行修正，使得该多帧用户脸部图像的面积比值变化更为平滑，避免因单帧图像的面积比值的波动导致识别结果不准确，提高图像识别的准确率。
实施例4
在上述实施例2的基础上，实施例4提供另一对单帧图像的面积比值进行修正进行头部动作识别的方法，参照图6，该方法包括：
步骤210、针对采集的每一图像帧，确定其如下特征值：
S1_i＝(ratio1_i+ratio2_i+…+ratio(n-1)/2_i)/((n-1)/2)；
S2_i＝(ratio(n+1)/2+1_i+ratio(n+1)/2+2_i+…+ration_i)/((n-1)/2)；
其中，ratioj_i为pi之前的第(n-j)帧图像的面积比值，n为不小于3的奇数，j的取值为正整数，pi为采集的任一用户脸部图像帧。
具体的，由于采集的前几帧图像并没有足够的前(n-1)帧图像，所以所述针对采集的每一图像帧，可以指从开始采集后采集的第n帧用户脸部图像帧起的每一图像帧。在j＝n时，ration_i为pi之前的第0帧图像的面积比值，即为pi自身的面积比值ratioi。在j>n时，ratioj_i为pi之前的第(n-j)帧图像的面积比值，亦即pi之后的第(j-n)帧图像的面积比值。
上述S1_i表征当前帧及其之前的(n-1)帧中，中间帧之前的(n-1)/2帧的面积比值的平均水平，S2_i表征中间帧之后的(n-1)/2帧的面积比值的平均水平。
步骤220、当图像帧ps满足起始条件且ps的前一帧不满足起始条件时，从ratio(n+1)/2_s开始连续存储后续图像帧的面积比值，并确定起始面积比值R1为S1_s。
其中，s不小于n，该起始条件为：
(1)S2_i＞S1_i；
(2)ratio(n+1)/2+1_i，ratio(n+1)/2+2_i，…，ration_i均大于等于ratio(n+1)/2。
具体的，当任一图像帧之前的一帧不满足上述起始条件，且该图像帧自身满足上述起始条件时，可以确定该图像帧为起始帧ps。
步骤230、当图像帧pt满足结束条件时，确定结束面积比值R2为S2_t，并确定采集的用户脸部图像的面积比值先从R1开始由小至大变化后由大至小变化至R2。
其中，该结束条件包括：
(a)S2_i＜S1_i；
(b)ratio1_i，ratio2_i，…，ratio(n-1)/2_i均大于等于ratio(n+1)/2_i；
(c)ratio(n+1)/2+1_i大于等于ratio(n+1)/2；
(d)max(S2_t/R1，R1/S2_t)不大于第一阈值，第一阈值大于1。
具体的，在起始帧ps之后的一图像帧满足上述结束条件时，确认该图像帧为结束帧。上述条件(a)、(b)、(c)表明图像帧的面积比值在结束帧之前的(n-1)帧中的中间帧处发生反转，面积比值由大至小变化，变更为面积比值由小至大变化，故而可以确认一个“点头运动周期”结束。上述条件(d)类似于实施例2中的条件1，用于约束抬头动作应将用户头部大致恢复至向下低头前的位置。
上述技术方案中，计算每一帧图像的前(n-1)帧中中间帧之前的多帧的面积比值的平均值S1_i以及中间帧之后的多帧的面积比值的平均值S2_i，根据上述两个平均值不仅可以减少单一图像帧的面积比值的抖动对识别结果的影响，而且还可以较好地确定图像帧中面积比值的变化趋势，更准确地确定一次点头动作的起始以及结束，提高头部动作识别的准确率。
可选的，在实施例4中，所述预设的约束条件可以为前述条件2～4中任一项，或任意两项的结合，或条件2～4三者的结合。
其中，在实施例4中，上述条件3中R1具体为起始帧ps的S1_s，R2为结束帧pt的S2_t。
实施例5
结合前述实施例1～4，在采集用户脸部图像帧之后，可以对用户脸部图像帧进行预评估，舍弃不符合要求的图像帧，只对符合要求的图像帧进行后续计算面积比值等处理。具体可以包括以下预评估处理方式：
方式1，第一特征区域为鼻尖与位于鼻尖上侧的第一上部特征点、第二上部特征点所形成的区域，第二特征区域为鼻尖与位于鼻尖下侧的第一下部特征点、第二下部特征点所形成的区域；其中，第一上部特征点与第一下部特征点位于鼻尖左侧，第二上部特征点与第二下部特征点位于鼻尖右侧。参照图7，在步骤130之前，还包括如下步骤：
步骤160、确定多帧用户脸部图像的每帧图像中的鼻尖位于第一上部特征点、第二上部特征点、第一下部特征点以及第二下部特征点所形成的四边形内。
具体的，步骤160可以在步骤110之后、步骤120之前执行，也可以在步骤120之后、步骤130之前执行。
在从图像帧中提取出鼻尖以及上述第一上部特征点、第二上部特征点、第一下部特征点、第二下部特征点之后，可以判断鼻尖是否位于第一上部特征点、第二上部特征点、第一下部特征点、第二下部特征点所围成的四边形内部，若鼻尖位于该四边形内，则执行后续步骤；若鼻尖位于该四边形外部，则舍弃该图像帧，采集下一图像帧。
方式2，继续参照图7，在步骤120之后以及步骤130之前，还包括如下步骤：
步骤170、确定多帧用户脸部图像中每帧图像的第一特征区域和/或第二特征区域的面积不小于第六阈值。
若图像帧的第一特征区域和/或第二特征区域的面积小于第六阈值，则表明用户脸部距离摄像头较远，或者，用户脸部与摄像头的俯仰角过大等，该图像帧不能良好地反应用户的脸部运动，舍弃该图像帧，避免该图像帧对识别结果产生影响。
方式3，继续参照图7，在步骤130之前，还包括如下步骤：
步骤180、根据采集的图像帧确定用户脸部与摄像头之间的俯仰角小于预设角度阈值。
实施例5提供的技术方案中，可以在使用运算资源计算图像帧的该面积比值之前，判断图像帧进行预评估，舍弃一些不能良好地反应用户的脸部运动的图像帧，不仅可以避免这些图像帧对识别结果产生影响，而且，也可以减少运算量，提高运算资源的利用效率。
可选的，在实施例5中，在舍弃一图像帧之后，可以从图像帧之后重新确定用户头部运动的起始位置帧，根据该图像帧之后的帧确定用户的头部的运动方式。在另一些实施例中，在舍弃一图像帧之后，可以继续保留之前已经确定的用户头部运动的起始位置帧，从该起始位置帧之后、该图像帧之前的帧，以及该图像帧之后的帧一起确定用户头部的运动方式。
应理解，上述方式1～3中任意两个条件也可以结合，即，只有上述两个或两个以上条件均成立时，才通过预评估，继续执行步骤130。
实施例6
图8示出本申请实施例6提供的一种动作识别装置300，包括：
采集模块310，用于采集多帧用户脸部图像，并从所述多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，所述第一特征区域位于人脸上部，所述第二特征区域位于人脸下部；
确定模块320，用于确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值；
识别模块330，用于根据所述多帧用户脸部图像的所述面积比值的变化确定用户的头部运动方式。
作为一种可选的设计，所述识别模块330具体用于：若所述多帧用户脸部图像的所述面积比值由小至大变化，则确定用户向下低头；或，若所述多帧用户脸部图像的所述面积比值由大至小变化，则确定用户向上抬头；或，若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则确定用户先向下低头后向上抬头；或，若所述多帧用户脸部图像的所述面积比值先由大至小变化后由小至大变化，则确定用户先向上抬头后向下低头。
作为一种可选的设计，所述识别模块330用于：若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则判断预设的约束条件是否满足；若满足，则确定用户完成一次点头动作。
作为一种可选的设计，所述识别模块330用于：计算采集的每一个用户脸部图像帧pi的如下特征值：S1_i＝(ratio1_i+ratio2_i+…+ratio(n-1)/2_i)/((n-1)/2)，S2_i＝(ratio(n+1)/2+1_i+ratio(n+1)/2+2_i+…+ration-1_i+ratioi)/((n-1)/2)，其中，ratioi为用户脸部图像帧pi的所述面积比值，ratioj_i为pi之前的第(n-j)帧用户脸部图像的所述面积比值，n为不小于3的奇数，j的取值为1至(n-1)的正整数；当第s个用户脸部图像帧ps满足起始条件且ps的前一帧不满足所述起始条件时，从ratio(n+1)/2_s开始连续存储后续用户脸部图像帧的面积比值，并确定用户头部运动的起始面积比值R1为S1_s；其中，s不小于n，所述起始条件为：S2_i＞S1_i，且ratio(n+1)/2+1_i，ratio(n+1)/2+2_i，…，ration_i均大于等于ratio(n+1)/2；当第t个用户脸部图像帧pt满足结束条件时，确定用户头部运动的结束面积比值R2为S2_t，并确定采集的用户脸部图像帧的所述面积比值先从所述R1开始由小至大变化后由大至小变化至所述R2；其中，t大于s，所述结束条件包括：S2_i＜S1_i；且，ratio1_i，ratio2_i，…，ratio(n-1)/2_i均大于等于ratio(n+1)/2_i；且，ratio(n+1)/2+1_i大于等于ratio(n+1)/2；且，max(S2_t/R1，R1/S2_t)不大于第一阈值，所述第一阈值大于1。
作为一种可选的设计，所述预设的约束条件包括：所述面积比值先由小至大变化过程中的最小值R1，与所述面积比值后由大至小变化过程中的最小值R2的比值R1/R2，以及R2/R1均不大于第一阈值，所述第一阈值大于1。
作为一种可选的设计，所述预设的约束条件包括：所述面积比值先由小至大变化过程中的最大值R3与最小值R1的比值R3/R1，以及R3与所述面积比值后由大至小变化过程中的最小值R2的比值R3/R2均不小于第二阈值；或，所述R3*2与(R1+R2)的比值2R3/(R1+R2)不小于第三阈值。
作为一种可选的设计，所述预设的约束条件包括：所述多帧用户脸部图像中属于所述面积比值先由小至大变化过程中的图像帧的帧数N1，以及所述多帧用户脸部图像中属于所述面积比值后由大至小变化过程中的图像帧的帧数N2均不小于第四阈值。
作为一种可选的设计，所述预设的约束条件包括：所述多帧用户脸部图像中目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的拟合直线，与人脸的竖直中轴线的第一夹角小于第一预设角度；或，所述目标特征点在所述面积比值先由小至大变化过程中的轨迹的拟合直线与所述竖直中轴线的第二夹角，以及所述目标特征点在所述面积比值后由大至小变化过程中的轨迹的拟合直线与所述竖直中轴线的第三夹角均小于第二预设角度；或，所述目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的宽度不大于第五阈值。
作为一种可选的设计，所述第一特征区域为鼻尖与位于鼻尖上侧的第一上部特征点、第二上部特征点所形成的区域，所述第二特征区域为鼻尖与位于鼻尖下侧的第一下部特征点、第二下部特征点所形成的区域；其中，所述第一上部特征点与所述第一下部特征点位于所述鼻尖左侧，所述第二上部特征点与所述第二下部特征点位于所述鼻尖右侧。
作为一种可选的设计，所述确定模块320还用于：在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，确定所述多帧用户脸部图像的每帧图像中的鼻尖位于所述第一上部特征点、所述第二上部特征点、所述第一下部特征点以及所述第二下部特征点所形成的四边形内。
作为一种可选的设计，所述确定模块320还用于：在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，确定所述多帧用户脸部图像中每帧图像的所述第一特征区域和/或所述第二特征区域的面积不小于第六阈值。
作为一种可选的设计，所述确定模块320还用于：在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之后，根据每帧用户脸部图像相邻的k帧用户脸部图像的所述面积比值对所述每帧用户脸部图像的所述面积比值进行修正，将修正后的所述面积比值作为更新后的所述每帧用户脸部图像的所述面积比值。
应理解，本申请实施例6中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
上述动作识别装置300的各模块的实现方式可以参照前述实施例1至5中步骤的实现方式，在此不再重复。
实施例7、
图9示出本申请实施例7提供的一种电子设备400，该电子设备400包括：处理器410、存储器420和总线430，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行前述实施例1至5中动作识别方法中的步骤。
需要说明的是，以上处理器410可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理器可以是中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
存储器420可以是一个存储元件，也可以是多个存储元件的统称，且用于存储可执行程序代码或终端运行所需要参数、数据等。且存储器420可以包括随机存储器(Random-Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器，闪存(Flash)等。
总线430可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。该总线430可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
作为一种可选的设计，上述电子设备400还包括：摄像头440，与所述处理器连接，所述摄像头用于采集所述多帧用户脸部图像，并将所述多帧用户脸部图像发送至所述处理器410。
作为一种可选的设计，上述电子设备400还包括：通信模块450，与所述处理器连接，所述通信模块用于接收外部设备(摄像头或具有摄像头的设备)发送的所述多帧用户脸部图像，并将所述多帧用户脸部图像发送至所述处理器410。
上述电子设备400的实现方式可以参照前述实施例1至5中步骤的实现方式，在此不再重复。
实施例8
本申请实施例8提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述实施例1至5中动作识别方法中的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述动作识别方法，从而解决目前头部动作识别算法复杂，识别耗时较长的技术问题，进而提高头部动作识别的速率，减少识别的耗时。
另外，本申请的实施例还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行前述实施例1至5中动作识别方法中的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (22)
1.一种动作识别方法，其特征在于，包括：
采集多帧用户脸部图像，并从所述多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，所述第一特征区域位于人脸上部，所述第二特征区域位于人脸下部；
确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值；
根据所述多帧用户脸部图像的所述面积比值的变化确定用户的头部运动方式；
其中，所述根据所述多帧用户脸部图像的所述面积比值的变化确定用户头部的运动方式，包括：
若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则判断预设的约束条件是否满足；
若满足，则确定用户完成一次点头动作；
其中，根据以下步骤确定所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化：
计算采集的每一个用户脸部图像帧pi的如下特征值：S1_i＝(ratio1_i+ratio2_i+…+ratio(n-1)/2_i)/((n-1)/2)，S2_i＝(ratio(n+1)/2+1_i+ratio(n+1)/2+2_i+…+ration-1_i+ratioi)/((n-1)/2)，其中，ratioi为用户脸部图像帧pi的所述面积比值，ratioj_i为pi之前的第(n-j)帧用户脸部图像的所述面积比值，n为不小于3的奇数，j的取值为1至(n-1)的正整数；
当第s个用户脸部图像帧ps满足起始条件且ps的前一帧不满足所述起始条件时，从ratio(n+1)/2_s开始连续存储后续用户脸部图像帧的面积比值，并确定用户头部运动的起始面积比值R1为S1_s；其中，s不小于n，所述起始条件为：S2_i＞S1_i，且ratio(n+1)/2+1_i，ratio(n+1)/2+2_i，…，ration_i均大于等于ratio(n+1)/2；
当第t个用户脸部图像帧pt满足结束条件时，确定用户头部运动的结束面积比值R2为S2_t，并确定采集的用户脸部图像帧的所述面积比值先从所述R1开始由小至大变化后由大至小变化至所述R2；其中，t大于s，所述结束条件包括：S2_i＜S1_i；且，ratio1_i，ratio2_i，…，ratio(n-1)/2_i均大于等于ratio(n+1)/2_i；且，ratio(n+1)/2+1_i大于等于ratio(n+1)/2；且，max(S2_t/R1，R1/S2_t)不大于第一阈值，所述第一阈值大于1。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多帧用户脸部图像的所述面积比值的变化确定用户头部的运动方式，还包括：
若所述多帧用户脸部图像的所述面积比值由小至大变化，则确定用户向下低头；或
若所述多帧用户脸部图像的所述面积比值由大至小变化，则确定用户向上抬头；或
若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则确定用户先向下低头后向上抬头；或
若所述多帧用户脸部图像的所述面积比值先由大至小变化后由小至大变化，则确定用户先向上抬头后向下低头。
3.根据权利要求1所述的方法，其特征在于，在所述确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之后，且在所述根据所述多帧用户脸部图像的所述面积比值的变化确定用户的头部运动方式之前，还包括：
根据每帧用户脸部图像相邻的k帧用户脸部图像的所述面积比值对所述每帧用户脸部图像的所述面积比值进行修正，将修正后的所述面积比值作为更新后的所述每帧用户脸部图像的所述面积比值。
4.根据权利要求1或3所述的方法，其特征在于，所述预设的约束条件包括：
所述面积比值先由小至大变化过程中的最小值R1，与所述面积比值后由大至小变化过程中的最小值R2的比值R1/R2，以及R2/R1均不大于第一阈值，所述第一阈值大于1。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述预设的约束条件包括：
所述面积比值先由小至大变化过程中的最大值R3与最小值R1的比值R3/R1，以及R3与所述面积比值后由大至小变化过程中的最小值R2的比值R3/R2均不小于第二阈值；或
所述R3*2与(R1+R2)的比值2R3/(R1+R2)不小于第三阈值。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述预设的约束条件包括：
所述多帧用户脸部图像中属于所述面积比值先由小至大变化过程中的图像帧的帧数N1，以及所述多帧用户脸部图像中属于所述面积比值后由大至小变化过程中的图像帧的帧数N2均不小于第四阈值。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述预设的约束条件包括：
所述多帧用户脸部图像中目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的拟合直线，与人脸的竖直中轴线的第一夹角小于第一预设角度；或
所述目标特征点在所述面积比值先由小至大变化过程中的轨迹的拟合直线与所述竖直中轴线的第二夹角，以及所述目标特征点在所述面积比值后由大至小变化过程中的轨迹的拟合直线与所述竖直中轴线的第三夹角均小于第二预设角度；或
所述目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的宽度不大于第五阈值。
8.根据权利要求1至3任一项所述的方法，其特征在于，所述第一特征区域为鼻尖与位于鼻尖上侧的第一上部特征点、第二上部特征点所形成的区域，所述第二特征区域为鼻尖与位于鼻尖下侧的第一下部特征点、第二下部特征点所形成的区域；其中，所述第一上部特征点与所述第一下部特征点位于所述鼻尖左侧，所述第二上部特征点与所述第二下部特征点位于所述鼻尖右侧。
9.根据权利要求8所述的方法，其特征在于，在所述确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，所述方法还包括：
确定所述多帧用户脸部图像的每帧图像中的鼻尖位于所述第一上部特征点、所述第二上部特征点、所述第一下部特征点以及所述第二下部特征点所形成的四边形内。
10.根据权利要求1至3任一项所述的方法，其特征在于，在所述确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，所述方法还包括：
确定所述多帧用户脸部图像中每帧图像的所述第一特征区域和/或所述第二特征区域的面积不小于第六阈值。
11.一种动作识别装置，其特征在于，包括：
采集模块，用于采集多帧用户脸部图像，并从所述多帧用户脸部图像中提取人脸的第一特征区域以及第二特征区域，所述第一特征区域位于人脸上部，所述第二特征区域位于人脸下部；
确定模块，用于确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值；
识别模块，用于根据所述多帧用户脸部图像的所述面积比值的变化确定用户的头部运动方式；
其中，所述识别模块，具体用于：若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则判断预设的约束条件是否满足；若满足，则确定用户完成一次点头动作；
其中，所述识别模块，具体用于：
计算采集的每一个用户脸部图像帧pi的如下特征值：S1_i＝(ratio1_i+ratio2_i+…+ratio(n-1)/2_i)/((n-1)/2)，S2_i＝(ratio(n+1)/2+1_i+ratio(n+1)/2+2_i+…+ration-1_i+ratioi)/((n-1)/2)，其中，ratioi为用户脸部图像帧pi的所述面积比值，ratioj_i为pi之前的第(n-j)帧用户脸部图像的所述面积比值，n为不小于3的奇数，j的取值为1至(n-1)的正整数；
当第s个用户脸部图像帧ps满足起始条件且ps的前一帧不满足所述起始条件时，从ratio(n+1)/2_s开始连续存储后续用户脸部图像帧的面积比值，并确定用户头部运动的起始面积比值R1为S1_s；其中，s不小于n，所述起始条件为：S2_i＞S1_i，且ratio(n+1)/2+1_i，ratio(n+1)/2+2_i，…，ration_i均大于等于ratio(n+1)/2；
当第t个用户脸部图像帧pt满足结束条件时，确定用户头部运动的结束面积比值R2为S2_t，并确定采集的用户脸部图像帧的所述面积比值先从所述R1开始由小至大变化后由大至小变化至所述R2；其中，t大于s，所述结束条件包括：S2_i＜S1_i；且，ratio1_i，ratio2_i，…，ratio(n-1)/2_i均大于等于ratio(n+1)/2_i；且，ratio(n+1)/2+1_i大于等于ratio(n+1)/2；且，max(S2_t/R1，R1/S2_t)不大于第一阈值，所述第一阈值大于1。
12.根据权利要求11所述的装置，其特征在于，所述识别模块，还用于：
若所述多帧用户脸部图像的所述面积比值由小至大变化，则确定用户向下低头；或
若所述多帧用户脸部图像的所述面积比值由大至小变化，则确定用户向上抬头；或
若所述多帧用户脸部图像的所述面积比值先由小至大变化后由大至小变化，则确定用户先向下低头后向上抬头；或
若所述多帧用户脸部图像的所述面积比值先由大至小变化后由小至大变化，则确定用户先向上抬头后向下低头。
13.根据权利要求11所述的装置，其特征在于，所述确定模块还用于：
在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之后，根据每帧用户脸部图像相邻的k帧用户脸部图像的所述面积比值对所述每帧用户脸部图像的所述面积比值进行修正，将修正后的所述面积比值作为更新后的所述每帧用户脸部图像的所述面积比值。
14.根据权利要求11或13所述的装置，其特征在于，所述预设的约束条件包括：
所述面积比值先由小至大变化过程中的最小值R1，与所述面积比值后由大至小变化过程中的最小值R2的比值R1/R2，以及R2/R1均不大于第一阈值，所述第一阈值大于1。
15.根据权利要求11至13任一项所述的装置，其特征在于，所述预设的约束条件包括：
所述面积比值先由小至大变化过程中的最大值R3与最小值R1的比值R3/R1，以及R3与所述面积比值后由大至小变化过程中的最小值R2的比值R3/R2均不小于第二阈值；或
所述R3*2与(R1+R2)的比值2R3/(R1+R2)不小于第三阈值。
16.根据权利要求11至13任一项所述的装置，其特征在于，所述预设的约束条件包括：
所述多帧用户脸部图像中属于所述面积比值先由小至大变化过程中的图像帧的帧数N1，以及所述多帧用户脸部图像中属于所述面积比值后由大至小变化过程中的图像帧的帧数N2均不小于第四阈值。
17.根据权利要求11至13任一项所述的装置，其特征在于，所述预设的约束条件包括：
所述多帧用户脸部图像中目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的拟合直线，与人脸的竖直中轴线的第一夹角小于第一预设角度；或
所述目标特征点在所述面积比值先由小至大变化过程中的轨迹的拟合直线与所述竖直中轴线的第二夹角，以及所述目标特征点在所述面积比值后由大至小变化过程中的轨迹的拟合直线与所述竖直中轴线的第三夹角均小于第二预设角度；或
所述目标特征点在所述面积比值先由小至大变化后由大至小变化过程中的轨迹的宽度不大于第五阈值。
18.根据权利要求11至13任一项所述的装置，其特征在于，所述第一特征区域为鼻尖与位于鼻尖上侧的第一上部特征点、第二上部特征点所形成的区域，所述第二特征区域为鼻尖与位于鼻尖下侧的第一下部特征点、第二下部特征点所形成的区域；其中，所述第一上部特征点与所述第一下部特征点位于所述鼻尖左侧，所述第二上部特征点与所述第二下部特征点位于所述鼻尖右侧。
19.根据权利要求18所述的装置，其特征在于，所述确定模块还用于：
在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，确定所述多帧用户脸部图像的每帧图像中的鼻尖位于所述第一上部特征点、所述第二上部特征点、所述第一下部特征点以及所述第二下部特征点所形成的四边形内。
20.根据权利要求11至13任一项所述的装置，其特征在于，所述确定模块还用于：
在确定所述多帧用户脸部图像中每帧图像的所述第一特征区域与所述第二特征区域的面积比值之前，确定所述多帧用户脸部图像中每帧图像的所述第一特征区域和/或所述第二特征区域的面积不小于第六阈值。
21.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810565620.8A CN110555353B (zh) | 2018-06-04 | 2018-06-04 | 一种动作识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810565620.8A CN110555353B (zh) | 2018-06-04 | 2018-06-04 | 一种动作识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555353A CN110555353A (zh) | 2019-12-10 |
| CN110555353B true CN110555353B (zh) | 2022-11-15 |
Family
ID=68736040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810565620.8A Active CN110555353B (zh) | 2018-06-04 | 2018-06-04 | 一种动作识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555353B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860417A (zh) * | 2020-07-29 | 2020-10-30 | 山东大学 | 一种人体动作识别方法 |
| CN112511739B (zh) * | 2020-11-20 | 2022-05-06 | 上海盛付通电子支付服务有限公司 | 互动信息的生成方法和设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004096486A (ja) * | 2002-08-30 | 2004-03-25 | Sony Corp | 画像抽出装置、画像抽出方法、及び撮影装置 |
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN103279253A (zh) * | 2013-05-23 | 2013-09-04 | 广东欧珀移动通信有限公司 | 一种主题设置方法及终端设备 |
| CN104477113A (zh) * | 2014-12-22 | 2015-04-01 | 联想(北京)有限公司 | 控制方法、系统及汽车 |
| CN106650635A (zh) * | 2016-11-30 | 2017-05-10 | 厦门理工学院 | 一种驾驶员后视镜查看行为检测方法及系统 |
| CN106845365A (zh) * | 2016-12-28 | 2017-06-13 | 广西师范学院 | 用于学生考勤的人脸检测方法 |
| CN107358155A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种鬼脸动作检测方法和装置及活体识别方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102013928B1 (ko) * | 2012-12-28 | 2019-08-23 | 삼성전자주식회사 | 영상 변형 장치 및 그 방법 |
-
2018
- 2018-06-04 CN CN201810565620.8A patent/CN110555353B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004096486A (ja) * | 2002-08-30 | 2004-03-25 | Sony Corp | 画像抽出装置、画像抽出方法、及び撮影装置 |
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN103279253A (zh) * | 2013-05-23 | 2013-09-04 | 广东欧珀移动通信有限公司 | 一种主题设置方法及终端设备 |
| CN104477113A (zh) * | 2014-12-22 | 2015-04-01 | 联想(北京)有限公司 | 控制方法、系统及汽车 |
| CN106650635A (zh) * | 2016-11-30 | 2017-05-10 | 厦门理工学院 | 一种驾驶员后视镜查看行为检测方法及系统 |
| CN106845365A (zh) * | 2016-12-28 | 2017-06-13 | 广西师范学院 | 用于学生考勤的人脸检测方法 |
| CN107358155A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种鬼脸动作检测方法和装置及活体识别方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| Real-time_detection_of_nodding_and_head-shaking_by_directly_detecting_and_tracking_the_between-eyes;Shinjiro Kawato，Jun Ohya;《Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition》;20000330;全文 * |
| 基于面部特征三角形的机车驾驶员头部姿态参数估计;张万枝，王增才，徐俊凯;《铁道学报》;20131130;第42-43页，图8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555353A (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11250241B2 (en) | Face image processing methods and apparatuses, and electronic devices | |
| JP7151814B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| CN111144293A (zh) | 带交互式活体检测的人脸身份认证系统及其方法 | |
| CN111310705A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| US9082000B2 (en) | Image processing device and image processing method | |
| US11385710B2 (en) | Geometric parameter measurement method and device thereof, augmented reality device, and storage medium | |
| JP2011134114A (ja) | パターン認識方法およびパターン認識装置 | |
| EP3699808B1 (en) | Facial image detection method and terminal device | |
| CN110555353B (zh) | 一种动作识别方法及装置 | |
| JP6784261B2 (ja) | 情報処理装置、画像処理システム、画像処理方法及びプログラム | |
| US11462052B2 (en) | Image processing device, image processing method, and recording medium | |
| JP5648452B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
| CN115423870A (zh) | 一种瞳孔中心定位方法和装置 | |
| CN105279764B (zh) | 眼睛图像处理设备和方法 | |
| JP2004192551A (ja) | 開閉眼判定装置 | |
| US9959635B2 (en) | State determination device, eye closure determination device, state determination method, and storage medium | |
| JP2004192552A (ja) | 開閉眼判定装置 | |
| CN115035566B (zh) | 表情识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN115311723A (zh) | 活体检测方法、装置及计算机可读存储介质 | |
| CN110942043B (zh) | 一种瞳孔图像处理方法及相关装置 | |
| CN110096958B (zh) | 一种识别正脸图像的方法、装置及计算设备 | |
| JP5035139B2 (ja) | 眼画像処理装置 | |
| US20170109569A1 (en) | Hybrid face recognition based on 3d data | |
| JP2018147046A (ja) | 顔検出装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |