CN115185381A - 基于头部的运动轨迹控制终端的方法和装置 - Google Patents

基于头部的运动轨迹控制终端的方法和装置 Download PDF

Info

Publication number
CN115185381A
CN115185381A CN202211118626.3A CN202211118626A CN115185381A CN 115185381 A CN115185381 A CN 115185381A CN 202211118626 A CN202211118626 A CN 202211118626A CN 115185381 A CN115185381 A CN 115185381A
Authority
CN
China
Prior art keywords
motion
determining
mode
abscissa
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211118626.3A
Other languages
English (en)
Inventor
丁军红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Aoxiang Ventilation Technology Co ltd
Original Assignee
Beijing Aerospace Aoxiang Ventilation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Aoxiang Ventilation Technology Co ltd filed Critical Beijing Aerospace Aoxiang Ventilation Technology Co ltd
Priority to CN202211118626.3A priority Critical patent/CN115185381A/zh
Publication of CN115185381A publication Critical patent/CN115185381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种基于头部的运动轨迹控制终端的方法和装置。所述方法包括：获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；根据所抓拍的多张人脸图像，确定头部的运动轨迹；确定所述运动轨迹对应的运动模式；根据所述运动模式，对终端进行控制操作。本申请纵使在用户处于嘈杂的环境，且双手不能在终端上滑动的情况下，也可以基于头部的运动轨迹，对终端进行控制操作。

Description

基于头部的运动轨迹控制终端的方法和装置
技术领域
本申请涉及数据处理技术领域，特别是涉及一种基于头部的运动轨迹控制终端的方法和装置。
背景技术
随着技术的进步和社会的进步，利用鼠标、键盘、触摸板、按键等外置输入设备与终端进行的简单交互方式已不足以满足人们的需求。为了使用户与终端之间的交互更加的简单，近些年来，通过语音、手势等手段与终端进行交互成了主流发展趋势。具体的，语音与终端进行交互是通过语音识别技术，将用户的语音转换为文字，并通过文字对应的指令来对终端进行控制操作。手势与终端进行交互是通过识别终端上的滑动轨迹，并将滑动轨迹转换成终端指令来控制终端行为的交互技术。
然而，语音交互技术只适用于安静的环境，手势交互技术只适用于双手能在终端上滑动的环境。这样当用户处于嘈杂的环境，且双手不能在终端上滑动时，无法与终端进行交互，降低了用户的操作体验。
发明内容
有鉴于此，本申请提供一种基于头部的运动轨迹控制终端的方法和装置，纵使在用户处于嘈杂的环境，且双手不能在终端上滑动的情况下，也可以基于头部的运动轨迹，对终端进行控制操作。
为达到上述目的，本申请主要提供如下技术方案：
第一方面，本申请提供了一种基于头部的运动轨迹控制终端的方法，所述方法包括：
获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；
根据所抓拍的多张人脸图像，确定头部的运动轨迹；
确定所述运动轨迹对应的运动模式；
根据所述运动模式，对终端进行控制操作。
第二方面，本申请提供了一种基于头部的运动轨迹控制终端的装置，所述装置包括：
获取单元，用于获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；
第一确定单元，用于根据所述获取单元获取到的多张人脸图像，确定头部的运动轨迹；
第二确定单元，用于确定所述第一确定单元确定的运动轨迹对应的运动模式；
控制单元，用于根据所述第二确定单元确定的运动模式，对终端进行控制操作。
第三方面，本申请提供了一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的基于头部的运动轨迹控制终端的方法。
第四方面，本申请提供了一种存储介质，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述的基于头部的运动轨迹控制终端的方法。
借由上述技术方案，本申请提供了一种基于头部的运动轨迹控制终端的方法和装置，获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；根据所抓拍的多张人脸图像，确定头部的运动轨迹；确定所述运动轨迹对应的运动模式；根据所述运动模式，对终端进行控制操作。可见，本申请纵使在用户处于嘈杂的环境，且双手不能在终端上滑动的情况下，也可以基于头部的运动轨迹，对终端进行控制操作。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请公开的一种基于头部的运动轨迹控制终端的方法的流程示意图；
图2为本申请公开的一种确定运动轨迹的方法的流程示意图；
图3为本申请公开的一种确定抬头模式的方法的流程示意图；
图4为本申请公开的一种确定低头模式的方法的流程示意图；
图5为本申请公开的一种确定左摆头模式的方法的流程示意图；
图6为本申请公开的一种确定右摆头模式的方法的流程示意图；
图7为本申请公开的一种控制终端的方法的流程示意图；
图8为本申请公开的一种基于头部的运动轨迹控制终端的装置的结构示意图；
图9为本申请公开的又一种基于头部的运动轨迹控制终端的装置的结构示意图；
图10为本申请公开的一种设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例提供了一种基于头部的运动轨迹控制终端的方法，该方法的执行主体为用户当前使用的终端，该终端可以识别出用户头部的运动轨迹，并基于该运动轨迹控制终端的操作。其具体执行步骤如图1所示，包括：
步骤101，获取多个连续时间点抓拍的人脸图像。
其中，多张人脸图像对应同一用户。
在本步骤的具体实施方式中，当检测到用户的头部移动时，获取当前时间点抓拍的人脸图像，并获取在当前时间点之前预设数目个连续时间点抓拍的人脸图像。这样便可以得到多个连续时间点所抓拍的人脸图像。
步骤102，根据所抓拍的多张人脸图像，确定头部的运动轨迹。
在本步骤的具体实施方式中，对每种人脸图像进行识别，确定每张人脸图像中的关键点，并确定每个关键点在对应人脸图像上的位置坐标，得到每个关键点的位置坐标。之后，按照每个位置坐标所在人脸图像对应的时间点，对每个位置坐标进行排序，得到关键点的运动轨迹，将其确定为头部的运动轨迹。
在本申请中，关键点可以为鼻尖。具体的，识别出每张图像中的鼻尖，得到鼻尖的位置坐标。在得到每张人脸图像中鼻尖的位置坐标之后，按照每张人脸图像在时间上的顺序，对每张人脸图像中鼻尖的位置坐标进行排序，得到鼻尖的运动轨迹，将其确定为头部的运动轨迹。
步骤103，确定运动轨迹对应的运动模式。
其中，本申请中的运动模式包括抬头模式、低头模式、左摆头模式、右摆头模式、头部右侧划半圆模式、头部左侧划半圆模式、头部朝前运动模式以及头部朝后运动模式。
在本步骤的具体实施方式中，对于一些运动轨迹而言，可以确定出这些运动轨迹对应的运动模式，进而根据该运动模式对终端进行控制操作。也可能确定不出这些运动轨迹的运动模式，即不存在这些运动轨迹对应的运动模式，在这种情况下，便不对终端进行控制操作。具体为，确定是否存在运动轨迹对应的运动模式，如果是，确定该运动轨迹对应的运动模式，并根据该运动模式对终端进行控制操作。如果否，则终止本次执行过程。
另外，在一些情况下，终端并不能实现运动轨迹和运动模式的识别，比如当终端内存不足、系统基础库不支持、操作系统不支持时，不能实现运动轨迹和运动模式的识别。在这种情况下，为了实现对终端的控制操作，可以在执行步骤101后，判断终端是否支持运动轨迹和运动模式的识别，如果是，则执行步骤102，如果否，则将步骤101得到人脸图像发送给服务器，以使服务器执行步骤102和步骤103，并将得到的运动模式发送给终端。
步骤104，根据运动模式，对终端进行控制操作。
在本申请实施例中，获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；根据所抓拍的多张人脸图像，确定头部的运动轨迹；确定所述运动轨迹对应的运动模式；根据所述运动模式，对终端进行控制操作。可见，本申请纵使在用户处于嘈杂的环境，且双手不能在终端上滑动的情况下，也可以基于头部的运动轨迹，对终端进行控制操作。
进一步的，在图1实施例的基础上，本申请实施例对图1中的步骤“根据所抓拍的多张人脸图像，确定头部的运动轨迹”进行详细解释。具体如图2所示，包括：
步骤201，对每张人脸图像进行识别，确定每种人脸图像中的关键点，得到每个关键点在对应人脸图像上的位置坐标。
需要说明的是，本申请实施例为了方便计算，可以在人脸图像上建立坐标系，其原点在人脸图像的左下角，进而使用一个位置坐标（x,y）表示人脸图像中第y行第x个像素。例如，图像中某个像素的位置为AxB，那么该像素的位置坐标为（A，B）。
步骤202，根据每张人脸图像对应的位置坐标和时间点，确定关键点随时间移动的运动轨迹。
在本步骤的具体实施方式中，根据每张人脸图像对应的时间点，对每张人脸图像对应的位置坐标进行排序，得到关键点随时间移动的运动轨迹，将该运动轨迹确定为头部的运动轨迹。
进一步的，在图2实施例的基础上，本申请实施例对图1中的步骤“确定运动轨迹对应的运动模式”进行详细解释。具体如图3所示，包括：
步骤301，判断运动轨迹是否为由下到上的轨迹。
在本步骤的具体实施方式中，按照步骤202中每个关键点的时间点，确定每个关键点对应的先后顺序，按照该先后顺序，将组成运动轨迹的关键点的位置坐标依次表示为（a1,b1）,（a2,b2）,（a3,b3）,…，（an,bn）。其中，n表示运动轨迹中的第n个位置坐标。判断这些位置坐标中的预设数目个位置坐标中的纵坐标是否随时间增长而递增 ，如果是，则确定该运动轨迹为由下到上的轨迹，执行步骤302。如果否，则确定该运动轨迹不为由下到上的轨迹，不执行步骤302。
具体的，通过判断得到所有位置坐标中的纵坐标是否随时间增长而递增，来判断对应的运动轨迹是否为由下到上的轨迹。例如，判断组成轨迹的关键点是否满足bn＞ …＞ b3＞ b2 ＞b1，如果是，则确定该运动轨迹为由下到上的轨迹，执行步骤302。如果否，则确定该运动轨迹不为由下到上的轨迹，不执行步骤302。
步骤302，如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标。
在本步骤的具体实施方式中，通过预先设置的MAX函数和MIN函数，在横坐标中，确定最大横坐标和最小横坐标，在纵坐标中，确定最小纵坐标和最大纵坐标。
具体的，最大横坐标为MAX(a1，a2，a3，…，an)，最小横坐标为MIN(a1，a2，a3，…，an，)，最大纵坐标为MAX(b1，b2，b3，…，bn，)，最小纵坐标为MIN(b1，b2，b3，…，bn)。
步骤303，检测最大横坐标和最小横坐标之差是否小于第一预设数值，最大纵坐标和最小纵坐标之差是否大于第二预设数值。
其中，第一预设数值和第二预设数值是技术人员根据经验设置的大于0的实数。在实际中，由于在抬头时，纵坐标的变化量往往大于横坐标的变化量，因此，可以预先设置第二预设数值大于第一预设数值。
步骤304，当最大横坐标和最小横坐标之差小于第一预设数值，且最大纵坐标和最小纵坐标之差大于第二预设数值时，确定运动轨迹对应的运动模式为抬头模式。
需要说明的是，本申请也可以先判断最大横坐标和最小横坐标之差是否小于第一预设数值，最大纵坐标和最小纵坐标之差是否大于第二预设数值，再判断运动轨迹是否为由下到上的轨迹，也可以同时进行判断，并当两者都满足时，确定运动轨迹对应的运动模式为抬头模式。
进一步的，在图2实施例的基础上，本申请实施例对图1中的步骤“确定运动轨迹对应的运动模式”进行详细解释。具体如图4所示，包括：
步骤401，判断运动轨迹是否为由上到下的轨迹。
在本步骤的具体实施方式中，按照步骤202中每个关键点的时间点，确定每个关键点对应的先后顺序，按照该先后顺序，将组成运动轨迹的关键点的位置坐标依次表示为（a1,b1）,（a2,b2）,（a3,b3）,…，（an,bn）。其中，n表示运动轨迹中的第n个位置坐标。判断这些位置坐标中的预设数目个位置坐标中的纵坐标是否随时间增长而递减，如果是，则确定该运动轨迹为由下到上的轨迹，执行步骤402。如果否，则确定该运动轨迹不为由下到上的轨迹，不执行步骤402。
具体的，通过判断得到所有位置坐标中的纵坐标是否随时间增长而递减，来判断对应的运动轨迹是否为由下到上的轨迹。例如，判断组成轨迹的关键点是否满足bn＜ …＜ b3＜ b2＜b1，如果是，则确定该运动轨迹为由下到上的轨迹，执行步骤402。如果否，则确定该运动轨迹不为由下到上的轨迹，不执行步骤402。
步骤402，如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标。
在本步骤的具体实施方式中，通过预先设置的MAX函数和MIN函数，在横坐标中，确定最大横坐标和最小横坐标，在纵坐标中，确定最小纵坐标和最大纵坐标。
具体的，最大横坐标为MAX(|a1|,|a2|,|a3|,…,|an|)，最小横坐标为MIN(|a1|,|a2|,|a3|,…,|an|)，最大纵坐标为MAX(|b1|,|b2|,|b3|,…,|bn|)，最小纵坐标为MIN(|b1|,|b2|,|b3|,…,|bn|)。
步骤403，检测最大横坐标和最小横坐标之差是否小于第三预设数值，最大纵坐标和最小纵坐标之差是否大于第四预设数值。
其中，第三预设数值和第四预设数值是技术人员根据经验设置的大于0的实数。在实际中，由于在抬头时，纵坐标的变化量往往大于横坐标的变化量，因此，可以预先设置第四预设数值大于第三预设数值。
需要说明的是，第三预设数值可以与步骤303中的第一预设数值相同，也可以与其不相同。同理，第四预设数值可以与步骤303中的第二预设数值相同，也可以与其不相同。
步骤404，当最大横坐标和最小横坐标之差小于第三预设数值，且最大纵坐标和最小纵坐标之差大于第四预设数值时，确定运动轨迹对应的运动模式为低头模式。
需要说明的是，本申请也可以先判断最大横坐标和最小横坐标之差是否小于第三预设数值，最大纵坐标和最小纵坐标之差是否大于第四预设数值，再判断运动轨迹是否为由上到下的轨迹，也可以同时进行判断，并当两者都满足时，确定运动轨迹对应的运动模式为低头模式。进一步的，在图2实施例的基础上，本申请实施例对图1中的步骤103“确定运动轨迹对应的运动模式”进行详细解释。具体如图5所示，包括：
步骤501，判断运动轨迹是否为由右到左的轨迹。
在本步骤的具体实施方式中，按照步骤202中每个关键点的时间点，确定每个关键点对应的先后顺序，按照该先后顺序，将组成运动轨迹的关键点的位置坐标依次表示为（a1,b1）,（a2,b2）,（a3,b3）,…，（an,bn）。其中，n表示运动轨迹中的第n个位置坐标。判断这些位置坐标中的预设数目个位置坐标中的横坐标是否随时间增长而递减，如果是，则确定该运动轨迹为由右到左的轨迹，执行步骤502。如果否，则确定该运动轨迹不为由右到左的轨迹，不执行步骤502。
具体的，通过判断得到所有位置坐标中的横坐标是否随时间增长而递减，来判断对应的运动轨迹是否为由右到左的轨迹。例如，判断组成轨迹的关键点是否满足an＜ …＜ a3＜ a2＜a1，如果是，则确定该运动轨迹为由右到左的轨迹，执行步骤502。如果否，则确定该运动轨迹不为由右到左的轨迹，不执行步骤502。
步骤502，如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标。
步骤503，检测最大横坐标和最小横坐标之差是否大于第五预设数值，最大纵坐标和最小纵坐标之差是否小于第六预设数值。
其中，第五预设数值和第六预设数值是技术人员根据经验设置的大于0的实数。在实际中，由于在左摆头时，横坐标的变化量往往大于纵坐标的变化量，因此，可以预先设置第五预设数值大于第六预设数值。
步骤504，当最大横坐标和最小横坐标之差大于第五预设数值，且最大纵坐标和最小纵坐标之差小于第六预设数值时，确定运动轨迹对应的运动模式为左摆头模式。
需要说明的是，本申请也可以先判断最大横坐标和最小横坐标之差是否大于第五预设数值，最大纵坐标和最小纵坐标之差是否小于第六预设数值，再判断运动轨迹是否为由右到左的轨迹，也可以同时进行判断，并当两者都满足时，确定运动轨迹对应的运动模式为左摆头模式。
进一步的，在图2实施例的基础上，本申请实施例对图1中的步骤103“确定运动轨迹对应的运动模式”进行详细解释。具体如图6所示，包括：
步骤601，判断运动轨迹是否为由左到右的轨迹。
在本步骤的具体实施方式中，按照步骤202中每个关键点的时间点，确定每个关键点对应的先后顺序，按照该先后顺序，将组成运动轨迹的关键点的位置坐标依次表示为（a1,b1）,（a2,b2）,（a3,b3）,…，（an,bn）。其中，n表示运动轨迹中的第n个位置坐标。判断这些位置坐标中的预设数目个位置坐标中的横坐标是否随时间增长而递增，如果是，则确定该运动轨迹为由左到右的轨迹，执行步骤602。如果否，则确定该运动轨迹不为由左到右的轨迹，不执行步骤602。
具体的，通过判断得到所有位置坐标中的横坐标是否随时间增长而增长，来判断对应的运动轨迹是否为由左到右的轨迹。例如，判断组成轨迹的关键点是否满足an＞ …＞ a3＞a2＞a1，如果是，则确定该运动轨迹为由左到右的轨迹，执行步骤602。如果否，则确定该运动轨迹不为由左到右的轨迹，不执行步骤602。
步骤602，如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标。
步骤603，检测最大横坐标和最小横坐标之差是否大于第七预设数值，最大纵坐标和最小纵坐标之差是否小于第八预设数值。
步骤604，当最大横坐标和最小横坐标之差大于第七预设数值，且最大纵坐标和最小纵坐标之差小于第八预设数值时，确定运动轨迹对应的运动模式为右摆头模式。
需要说明的是，本申请也可以先判断最大横坐标和最小横坐标之差是否大于第七预设数值，最大纵坐标和最小纵坐标之差是否小于第八预设数值，再判断运动轨迹是否为由左到右的轨迹，也可以同时进行判断，并当两者都满足时，确定运动轨迹对应的运动模式为右摆头模式。另外，本申请还包括头部左侧划半圆模式，当运动轨迹满足以下两个个条件时，确定该运动轨迹对应的运动模式为头部左侧划半圆模式。①在运动轨迹中确定第一个关键点和最后一个关键点分别对应的位置坐标，第一个关键点对应的横坐标和最后一个关键点对应的横坐标之差小于第一数值，第一个关键点对应的纵坐标和最后一个关键点对应的纵坐标之差大于第二数值。②当该运动轨迹在左侧水平方向的最大位移量大于在垂直方向的最大位移量的一半时，确定该运动轨迹的形状为左侧半圆形。
具体的，将组成运动轨迹的关键点的位置坐标依次表示为（a1,b1）,（a2,b2）,（a3,b3）,…，（an,bn）。当an – a1 < P，bn – b1 > N，且(a1+an)/2 - MIN(a1,a2,a3,…,an) >（bn – b1）/2时，确定运动轨迹对应的运动模式为头部左侧划半圆模式。其中， P表示第一数值，N表示为第二数值。
需要说明的是，当组成运动轨迹的关键点的位置坐标满足公式(a1+an)/2 - MIN(a1,a2,a3,…,an) > （bn – b1）/2时，确定该运动轨迹在左侧水平方向的最大位移量大于在垂直方向的最大位移量的一半。
本申请还包括头部右侧划半圆模式，当运动轨迹满足以下两个条件时，确定该运动轨迹对应的运动模式为头部右侧划半圆模式。①在运动轨迹中确定第一个关键点和最后一个关键点分别对应的坐标，第一个关键点对应的横坐标和最后一个关键点对应的横坐标之差小于第一数值，第一个关键点对应的纵坐标和最后一个关键点对应的纵坐标之差大于第二数值。②当检测到该运动轨迹在右侧水平方向的最大位移量大于在垂直方向的最大位移量的一半时，确定该运动轨迹的形状为右侧半圆形。
具体的，将组成运动轨迹的关键点的位置坐标依次表示为（a1,b1）,（a2,b2）,（a3,b3）,…，（an,bn）。当an – a1 < P，bn – b1 > N，且MAX(a1,a2,a3,…,an) - (a1+an)/2 >（bn – b1）/2时，确定运动轨迹对应的运动模式为头部右侧划半圆模式。
需要说明的是，当组成运动轨迹的关键点坐标满足公式MAX(a1,a2,a3,…,an) -(a1+an)/2 > （bn – b1）/2时，确定该运动轨迹在右侧水平方向的最大位移量大于在垂直方向的最大位移量的一半。
另外，本申请还包括头部朝前运动模式，在识别运动模式为头部朝前运动模式时，人脸图像上的关键点为左眼和右眼，并得到左眼和右眼分别对应的位置坐标。在得到每张人脸图像中的左眼和右眼分别对应的位置坐标之后，获取第一张人脸图像中左眼和右眼之间的第一距离以及在最后一张人脸图像中左眼和右眼之间的第二距离，以及头部在纵向运动的最大偏移量。当第二距离大于第一距离，第二距离与第一距离之差大于第三数值，且最大偏移量小于第四数值时，确定运动轨迹的运动模式为头部朝前运动模式。
其中，头部在纵向运动的最大偏移量可以用左眼在纵向运动的最大偏移量表示，也可以用右眼在纵向运动的最大偏移量表示。
具体的，本申请中的第四数值可以与第一数值相同，也可以与其不同。本申请以第四数值与第一数值相同为例进行说明，依次读取头部运动图像的每一帧画面，将其转化为图片，得到多张人脸图像。使用图像识别技术依次对每张人脸图像进行背景消除，只保留人脸信息，将人脸信息进一步使用人脸识别技术，识别出五官，保留双眼部分，进而得到一系列双眼的坐标，其中左眼坐标依次为：[（aL1,bL1）,（aL2,bL2）,（aL3,bL3）,…, （aLn,bLn）], 右眼坐标依次为：[（aR1,bR1）,（aR2,bR2）,（aR3,bR3）,…, （aRn,bRn）]。当(aRn –aLn)– (aR1 – aL1) > K，且MAX(bL1, bL2, bL3,…,bLn) - MIN(bL1, bL2, bL3,…,bLn)< P时，确定运动轨迹的运动模式为头部朝前运动模式。其中，K为第四数值，P为第四数值。
另外，本申请还包括头部朝后运动模式，在识别运动模式为头部朝后运动模式时，人脸图像上的关键点为左眼和右眼，并得到左眼和右眼分别对应的坐标。在得到每张人脸图像中的左眼和右眼分别对应的坐标之后，获取第一张人脸图像中左眼和右眼之间的第一距离以及在最后一张人脸图像中左眼和右眼之间的第二距离，以及头部在纵向运动的最大偏移量。当第二距离小于第一距离，第二距离与第一距离之差大于第三数值，且最大偏移量小于第四数值时，确定运动轨迹的运动模式为头部朝后运动模式。
其中，头部在纵向运动的最大偏移量可以用左眼在纵向运动的最大偏移量表示，也可以用右眼在纵向运动的最大偏移量表示。
具体的，本申请中的第四数值可以与第一数值相同，也可以与其不同。本申请以第四数值与第一数值相同为例进行说明，依次读取头部运动图像的每一帧画面，将其转化为图片，得到多张人脸图像。使用图像识别技术依次对每张人脸图像进行背景消除，只保留人脸信息，将人脸信息进一步使用人脸识别技术，识别出五官，保留双眼部分，进而得到一系列双眼的坐标，其中左眼坐标依次为：[（aL1,bL1）,（aL2,bL2）,（aL3,bL3）,…, （aLn,bLn）], 右眼坐标依次为：[（aR1,bR1）,（aR2,bR2）,（aR3,bR3）,…, （aRn,bRn）]。当 (aR1 –aL1)- (aRn – aLn)> K，且MAX(bL1, bL2, bL3,…,bLn) - MIN(bL1, bL2, bL3,…,bLn)< P时，确定运动轨迹的运动模式为头部朝前运动模式。其中，K为第四数值，P为第四数值。
进一步的，在图1实施例的基础上，本申请实施例对图1中的步骤104“根据运动模式，对终端进行控制操作”进行详细解释。具体如图7所示，包括：
步骤701，根据运动模式和当前正在使用的应用程序，确定用于控制终端的控制指令。
在本步骤的具体实施方式中，为了丰富运动模式的使用方式，本步骤可以结合用户当前正在使用的应用程序，进而使得不同的运动模式在不同应用程序中对应不同的控制指令。
具体的，当当前正在使用的应用程序为小说软件时，如果运动模式为左摆头模式，则控制指令为用于从当前页面翻转到下一页的指令，如果运动模式为右摆头模式，则控制指令为用于从当前页面翻转到上一页的指令。当当前正在使用的应用程序为资讯软件时，如果运动模式为抬头模式，则控制指令为用于上滑页面的指令，如果运动模式为低头模式，则控制指令为用于下滑页面的指令。当当前正在使用的应用程序为音乐软件时，如果运动模式为左摆头模式，则控制指令为用于音量调小的指令，如果运动模式为右摆头模式，则控制指令为用于音量调大的指令。当当前正在使用的应用程序为新闻软件时，如果运动模式为抬头模式，则控制指令为用于调小文字的指令，如果运动模式为低头模式，则控制指令为用于调大文字的指令。
步骤702，基于控制指令，对终端进行控制操作。
在本申请中，还可以进一步的检测当前正在使用的应用程序中的显示页面上是否存在被控制的对象，当该显示页面上存在被控制的对象时，基于控制指令对被控制的对象进行控制操作。当该显示页面上不存在被控制的对象时，则不进行控制操作。
进一步的，作为对上述图1-7所示方法实施例的实现，本申请实施例提供了一种基于头部的运动轨迹控制终端的装置，该装置可以基于头部的运动轨迹，对终端进行控制操作。该装置的实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。具体如图8所示，该装置包括：
获取单元801，用于获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；
第一确定单元802，用于根据所述获取单元801获取到的多张人脸图像，确定头部的运动轨迹；
第二确定单元803，用于确定所述第一确定单元802确定的运动轨迹对应的运动模式；
控制单元804，用于根据所述第二确定单元803确定的运动模式，对终端进行控制操作。
进一步的，如图9所示，所述第一确定单元802，包括：
识别模块8021，用于对每张人脸图像进行识别，确定每种人脸图像中的关键点，得到每个关键点在对应人脸图像上的位置坐标；
第一确定模块8022，用于根据每张人脸图像对应的位置坐标和时间点，确定所述关键点随时间移动的运动轨迹。
进一步的，如图9所示，所示第二确定单元803，包括：
第一判断模块8031，用于判断所述运动轨迹是否为由下到上的轨迹；
第一判断结果模块8032，用于如果第一判断模块8031的结果为是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差小于第一预设数值，且所述最大纵坐标和所述最小纵坐标之差大于第二预设数值时，确定所述运动轨迹对应的运动模式为抬头模式。
进一步的，如图9所示，所示第二确定单元803，包括：
第二判断模块8033，用于判断所述运动轨迹是否为由上到下的轨迹；
第二判断结果模块8034，用于如果第一判断模块8033的结果为是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差小于第一预设数值，且所述最大纵坐标和所述最小纵坐标之差大于第二预设数值时，确定所述运动轨迹对应的运动模式为低头模式。
进一步的，如图9所示，所示第二确定单元803，包括：
第三判断模块8035，用于判断所述运动轨迹是否为由右到左的轨迹；
第三判断结果模块8036，用于如果第三判断模块8035的结果为是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差大于第三预设数值，且所述最大纵坐标和所述最小纵坐标之差小于第四预设数值时，确定所述运动轨迹对应的运动模式为左摆头模式。
进一步的，如图9所示，所示第二确定单元803，包括：
第四判断模块8037，用于判断所述运动轨迹是否为由左到右的轨迹；
第四判断结果模块8038，用于如果第四判断模块8037的结果为是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差大于第三预设数值，且所述最大纵坐标和所述最小纵坐标之差小于第四预设数值时，确定所述运动轨迹对应的运动模式为右摆头模式。
进一步的，如图9所示，所示控制单元804，包括：
第二确定模块8041，用于根据所述运动模式和当前正在使用的应用程序，确定用于控制终端的控制指令；
控制模块8042，用于基于所述第二确定模块8041确定出的控制指令，对所述终端进行控制操作。
进一步的，本申请实施例还提供一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述图1-7中所述的基于头部的运动轨迹控制终端的方法。
进一步的，本申请实施例还提供一种存储介质，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述图1-7中所述的基于头部的运动轨迹控制终端的方法。
图10是本申请实施例提供的一种设备100的框图。该设备100包括至少一个处理器1001、以及与处理器1001连接的至少一个存储器1002、总线1003；其中，处理器1001、存储器1002通过总线1003完成相互间的通信。处理器1001用于调用存储器1002中的程序指令，以执行上述的基于头部的运动轨迹控制终端的方法。本文中的设备可以是服务器(例如：本地服务器或者云端服务器)、智能手机、平板电脑、PDA、便携计算机，也可以是台式计算机等固定终端等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于头部的运动轨迹控制终端的方法，其特征在于，所述方法包括：
获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；
根据所抓拍的多张人脸图像，确定头部的运动轨迹；
确定所述运动轨迹对应的运动模式；
根据所述运动模式，对终端进行控制操作。
2.根据权利要求1所述的方法，其特征在于，所述根据所抓拍的多张人脸图像，得到头部的运动轨迹，包括：
对每张人脸图像进行识别，确定每种人脸图像中的关键点，得到每个关键点在对应人脸图像上的位置坐标；
根据每张人脸图像对应的位置坐标和时间点，确定所述关键点随时间移动的运动轨迹。
3.根据权利要求1所述的方法，其特征在于，所述确定所述运动轨迹对应的运动模式，包括：
判断所述运动轨迹是否为由下到上的轨迹；
如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差小于第一预设数值，且所述最大纵坐标和所述最小纵坐标之差大于第二预设数值时，确定所述运动轨迹对应的运动模式为抬头模式。
4.根据权利要求1所述的方法，其特征在于，所述确定所述运动轨迹对应的运动模式，包括：
判断所述运动轨迹是否为由上到下的轨迹；
如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差小于第三预设数值，且所述最大纵坐标和所述最小纵坐标之差大于第四预设数值时，确定所述运动轨迹对应的运动模式为低头模式。
5.根据权利要求1所述的方法，其特征在于，所述确定所述运动轨迹对应的运动模式，包括：
判断所述运动轨迹是否为由右到左的轨迹；
如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差大于第五预设数值，且所述最大纵坐标和所述最小纵坐标之差小于第六预设数值时，确定所述运动轨迹对应的运动模式为左摆头模式。
6.根据权利要求1所述的方法，其特征在于，所述确定所述运动轨迹对应的运动模式，包括：
判断所述运动轨迹是否为由左到右的轨迹；
如果是，在运动轨迹中确定最大横坐标、最大纵坐标、最小横坐标和最小纵坐标，当所述最大横坐标和所述最小横坐标之差大于第七预设数值，且所述最大纵坐标和所述最小纵坐标之差小于第八预设数值时，确定所述运动轨迹对应的运动模式为右摆头模式。
7.根据权利要求1所述的方法，其特征在于，所述根据所述运动模式，对终端进行控制操作，包括：
根据所述运动模式和当前正在使用的应用程序，确定用于控制终端的控制指令；
基于所述控制指令，对所述终端进行控制操作。
8.一种基于头部的运动轨迹控制终端的装置，其特征在于，所述装置包括：
获取单元，用于获取多个连续时间点抓拍的人脸图像，多张人脸图像对应同一用户；
第一确定单元，用于根据所述获取单元获取到的多张人脸图像，确定头部的运动轨迹；
第二确定单元，用于确定所述第一确定单元确定的运动轨迹对应的运动模式；
控制单元，用于根据所述第二确定单元确定的运动模式，对终端进行控制操作。
9.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行权利要求1-7中任意一项所述的基于头部的运动轨迹控制终端的方法。
10.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行权利要求1-7中任意一项所述的基于头部的运动轨迹控制终端的方法。
CN202211118626.3A 2022-09-15 2022-09-15 基于头部的运动轨迹控制终端的方法和装置 Pending CN115185381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118626.3A CN115185381A (zh) 2022-09-15 2022-09-15 基于头部的运动轨迹控制终端的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118626.3A CN115185381A (zh) 2022-09-15 2022-09-15 基于头部的运动轨迹控制终端的方法和装置

Publications (1)

Publication Number Publication Date
CN115185381A true CN115185381A (zh) 2022-10-14

Family

ID=83524698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118626.3A Pending CN115185381A (zh) 2022-09-15 2022-09-15 基于头部的运动轨迹控制终端的方法和装置

Country Status (1)

Country Link
CN (1) CN115185381A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN107333025A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 一种图像数据处理方法、装置、电子设备以及存储介质
CN109224437A (zh) * 2018-08-28 2019-01-18 腾讯科技（深圳）有限公司 一种应用场景的交互方法和终端以及存储介质
CN113791411A (zh) * 2021-09-07 2021-12-14 北京航空航天大学杭州创新研究院 一种基于轨迹判断的毫米波雷达手势识别方法及装置
CN114022514A (zh) * 2021-11-02 2022-02-08 辽宁大学 一种融合头部姿态和眼球跟踪的实时视线推断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN107333025A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 一种图像数据处理方法、装置、电子设备以及存储介质
CN109224437A (zh) * 2018-08-28 2019-01-18 腾讯科技（深圳）有限公司 一种应用场景的交互方法和终端以及存储介质
CN113791411A (zh) * 2021-09-07 2021-12-14 北京航空航天大学杭州创新研究院 一种基于轨迹判断的毫米波雷达手势识别方法及装置
CN114022514A (zh) * 2021-11-02 2022-02-08 辽宁大学 一种融合头部姿态和眼球跟踪的实时视线推断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄腾等: "基于运动轨迹分析的头部行为识别", 《计算机工程》 *

Similar Documents

Publication Publication Date Title
CN109948542B (zh) 手势识别方法、装置、电子设备和存储介质
CN106293074B (zh) 一种情绪识别方法和移动终端
CN104350509B (zh) 快速姿势检测器
CN107102723B (zh) 用于基于手势的移动交互的方法、装置、设备和非暂时性计算机可读介质
EP3279866A1 (en) Method and apparatus for generating synthetic picture
US20170109917A1 (en) Method and device for erasing a writing path on an infrared electronic white board, and a system for writing on an infrared electronic white board
CN114365075B (zh) 用于选择图形对象的方法和对应装置
CN107273032A (zh) 信息排版方法、装置、设备及计算机存储介质
JP2019012526A (ja) 映像処理方法、コンピュータプログラムおよび記録媒体
CN110852257B (zh) 一种人脸关键点的检测方法、装置及存储介质
WO2014127697A1 (en) Method and terminal for triggering application programs and application program functions
CN113313083B (zh) 文本检测方法及装置
CN114391132A (zh) 电子设备及其屏幕捕获方法
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
CN107450717B (zh) 一种信息处理方法及穿戴式设备
CN112347512A (zh) 图像处理方法、装置、设备及存储介质
CN110909596A (zh) 侧脸识别方法、装置、设备以及存储介质
CN110796130A (zh) 用于文字识别的方法、装置及计算机存储介质
CN110069126B (zh) 虚拟对象的控制方法和装置
JP2019109924A (ja) 情報処理システム、情報処理方法、プログラム
CN108369486A (zh) 通用涂墨支持
CN115185381A (zh) 基于头部的运动轨迹控制终端的方法和装置
CN117058421A (zh) 基于多头模型的图像检测关键点方法、系统、平台及介质
CN107544743B (zh) 一种调整文字的方法、装置及电子设备
JP6924544B2 (ja) 漫画データ表示システム、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221014