CN114511916B - 基于人脸识别的终端设备控制方法、控制装置及终端设备 - Google Patents

基于人脸识别的终端设备控制方法、控制装置及终端设备 Download PDF

Info

Publication number
CN114511916B
CN114511916B CN202210408906.1A CN202210408906A CN114511916B CN 114511916 B CN114511916 B CN 114511916B CN 202210408906 A CN202210408906 A CN 202210408906A CN 114511916 B CN114511916 B CN 114511916B
Authority
CN
China
Prior art keywords
face
head pose
head
target user
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210408906.1A
Other languages
English (en)
Other versions
CN114511916A (zh
Inventor
谢俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yihuiyun Intelligent Technology Shenzhen Co ltd
Original Assignee
Yihuiyun Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yihuiyun Intelligent Technology Shenzhen Co ltd filed Critical Yihuiyun Intelligent Technology Shenzhen Co ltd
Priority to CN202210408906.1A priority Critical patent/CN114511916B/zh
Publication of CN114511916A publication Critical patent/CN114511916A/zh
Application granted granted Critical
Publication of CN114511916B publication Critical patent/CN114511916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了基于人脸识别的终端设备控制方法、控制装置及终端设备。终端设备配置有图像采集器和数列微波雷达，控制方法包括：控制图像采集器采集任一时刻目标用户人脸的图像信息，并同步控制数列微波雷达向目标用户人脸发射微波及接收回波信号；基于回波信号计算出人脸距离数列微波雷达的距离信息；基于距离信息获取人脸相对数列微波雷达的第一头部姿态；基于图像信息获取人脸的第二头部姿态；基于预设权重将第一头部姿态和第二头部姿态进行融合，以获得人脸的当前有效头部姿态；判断当前有效头部姿态是否为预设的头部控制姿态；若是，则根据当前有效头部姿态控制终端设备执行相应指令。本发明丰富终端设备的控制方式，使终端设备更加智能化。

Description

基于人脸识别的终端设备控制方法、控制装置及终端设备
技术领域
本发明涉及人脸识别技术领域，尤其是涉及基于人脸识别的终端设备控制方法、控制装置及终端设备。
背景技术
现有技术中终端设备的控制方式包括接触式控制和非接触式控制，常见的接触式控制包括物理按键控制、触摸屏控制；常见的非接触式控制包括遥控器控制、语音控制以及手势控制。对于非接触式控制，方便用户解放双手，然而随着终端设备的游戏项目增多，游戏的健身属性及娱乐性也在不断地提高，常见的控制方式已经满足不了用户要求，不够智能化。
发明内容
本发明实施例的目的是提供一种基于人脸识别的终端设备控制方法、识别装置及计算机可读存储介质，解决现有终端设备常见的控制方式已经满足不了用户要求，不够智能化的问题。
为了解决上述技术问题，本发明实施例提供了一种基于人脸识别的终端设备控制方法，应用于终端设备，所述终端设备配置有图像采集器和数列微波雷达，所述控制方法包括：
控制所述图像采集器采集任一时刻目标用户人脸的图像信息，并同步控制所述数列微波雷达向所述目标用户人脸发射微波及接收回波信号；
基于所述回波信号，计算出所述目标用户人脸距离数列所述微波雷达的所述距离信息；
基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态；
基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态；
基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态；
判断所述当前有效头部姿态是否为预设的头部控制姿态；
若是，则根据所述当前有效头部姿态控制所述终端设备执行相应的指令。
作为其中一种优选方案，所述基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态，包括：
基于以下计算公式，将所述第一头部姿态和所述第二头部姿态进行融合，
Figure 502602DEST_PATH_IMAGE001
(1)；
其中，
Figure 763294DEST_PATH_IMAGE002
为目标用户人脸的当前有效头部姿态，
Figure 864105DEST_PATH_IMAGE003
为所述第一头部姿态，k1为所 述第一头部姿态的权重，
Figure 453350DEST_PATH_IMAGE004
为所述第二头部姿态，k2为所述第二头部姿态的权重。
作为其中一种优选方案，还包括：
根据所述目标用户人脸与所述终端设备之间的距离，调整所述第一头部姿态的权重k1和所述第二头部姿态的权重k2的大小。
作为其中一种优选方案，所述目标用户人脸与所述终端设备之间的距离越大，所述第一头部姿态的权重k1越大，所述第二头部姿态的权重k2越小。
作为其中一种优选方案，所述基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态，包括：
基于标准用户人脸与每列所述微波雷达的距离、数列所述微波雷达的几何关系，形成所述标准用户人脸偏转角与每列所述微波雷达的距离的映射关系；
按照所述目标用户人脸与每列所述微波雷达的当前距离，在所述映射关系中查找与所述当前距离对应的偏转角，并将所述偏转角确定为所述第一头部姿态。
作为其中一种优选方案，所述基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态，包括：
对所述图像信息进行人脸特征点提取，获得所述目标用户的人脸特征点；
根据所述目标用户的人脸特征点计算出所述人脸特征点的几何关系；
根据所述几何关系与人脸偏转角的映射关系，得到所述目标用户人脸的偏转角，并将所述偏转角确定为所述第二头部姿态。
本发明实施例提供了一种基于人脸识别的终端设备控制装置，应用于终端设备，所述终端设备配置有图像采集器和数列微波雷达，所述控制装置包括：
控制模块，用于控制所述图像采集器采集任一时刻目标用户人脸的图像信息，并同步控制所述数列微波雷达向所述目标用户人脸发射微波及接收回波信号；
距离信息计算模块，用于基于所述回波信号，计算出所述目标用户人脸距离数列所述微波雷达的所述距离信息；
第一头部姿态模块，用于基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态；
第二头部姿态模块，用于基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态；
融合模块，用于基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态；
判断模块，用于判断所述当前有效头部姿态是否为预设的头部控制姿态；
所述控制模块，还用于在所述判断模块判断所述当前有效头部姿态是否为预设的头部控制姿态时，根据所述当前有效头部姿态控制所述终端设备执行相应的指令。
作为其中一种优选方案，所述融合模块，具体用于：
基于以下计算公式，将所述第一头部姿态和所述第二头部姿态进行融合，
Figure 311715DEST_PATH_IMAGE001
(1)；
其中，
Figure 441345DEST_PATH_IMAGE002
为目标用户人脸的当前有效头部姿态，
Figure 927822DEST_PATH_IMAGE003
为所述第一头部姿态，k1为所 述第一头部姿态的权重，
Figure 159738DEST_PATH_IMAGE004
为所述第二头部姿态，k2为所述第二头部姿态的权重。
本发明实施例提供了一种终端设备，包括：
数列微波雷达；
图像采集器；
一个或多个处理器，分别与数列所述微波雷达和所述图像采集器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的基于人脸识别的终端设备控制方法。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如上述任一实施例所述的基于人脸识别的终端设备控制方法。
相较于现有技术，本发明实施例提供了一种基于人脸识别的终端设备控制方法、控制装置、终端设备以及计算机可读存储介质具有如下有益效果：
通过数列微波雷达获得的第一头部姿态以及图像采集器获得的第二头部姿态，获得目标用户人脸的当前有效头部姿态，然后判断当前有效头部姿态是否为预设的头部控制姿态，以通过预设的头部控制姿态实现对终端设备的控制，不仅能够满足用户通过终端设备实现健身和娱乐的需求，还能丰富终端设备的控制方式，使得终端设备更加智能化。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于人脸识别的终端设备控制方法的流程示意图；
图2是本发明实施例提供的一种基于人脸识别的终端设备控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1，图1是本发明实施例提供的一种基于人脸识别的终端设备控制方法的流程示意图。在本实施例中，该控制方法可以应用于终端设备，终端设备配置有图像采集器和数列微波雷达。
具体的，该控制方法可以包括步骤S110~S170，各步骤具体如下：
S110：控制所述图像采集器采集任一时刻目标用户人脸的图像信息，并同步控制所述数列微波雷达向所述目标用户人脸发射微波及接收回波信号。
在本实施例中，终端设备包括笔记本、电视机、游戏设备、健身设备等。通过非接触式的控制指令，用于控制终端设备执行相应的指令。
具体的，以电视机为例，非接触式的控制指令可以控制电视机执行调出菜单栏、切换频道、调节音量大小等功能；以游戏设备为例，非接触式的控制指令可以控制游戏设备执行选择游戏人物及装备、操控游戏人物动作等功能。
图像采集器包括图像采集器，例如RGB图像采集器、红外图像采集器等，RGB图像采集器可用于采集目标用户人脸的可见光灰度图，红外图像采集器可用于采集目标用户人脸的红外灰度图像。
数列微波雷达以阵列的方式设置在终端设备上，例如mn整列，m为微波雷达的列数，n为每列微波雷达的个数。每列微波雷达的数量可以为1个、2个、3个或3个以上。若每列微波雷达的数量超过2个，则每列微波雷达的发射器具有相同的发射角度，接收器具有相同的接收角度。
在使用过程中，数列微波雷达的发射器可以同时向目标用户的人脸发射微波，数列微波雷达的接收器接收经目标用户的人脸反射的回波，经过计算，获得目标用户人脸距离每列微波雷达的距离信息。
在一个具体实施例中，图像采集器和数列微波雷达可以以集成的方式设置在终端设备的顶端。在另外一个具体实施例中，图像采集器和数列微波雷达可以以每列单独封装或全部封装的方式设置在终端设备的顶端，例如图像采集器和33的微波雷达集成在一个探测盒内，然后探测盒设置在终端设备的顶端。
S120：基于所述回波信号，计算出所述目标用户人脸距离数列所述微波雷达的所述距离信息；
在一个具体实施例中，根据如下公式计算出所述目标用户人脸距离每列所述微波雷达的所述距离信息。
L=c*T/2 (2)；
其中，L为目标用户人脸与每列所述微波雷达的距离，T为激光传播时间，c为光速。
T=t2-t1 (3)；
其中，t1为每列所述微波雷达发射微波的时刻，t2为每列所述微波雷达接收回波的时刻。
可以理解，由于各列微波雷达的位置不同，因此目标用户人脸与每列微波雷达的距离不同，根据此差异，可以计算出目标用户人脸相对数列微波雷达的偏转角。
S130：基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态。
在一个具体实施例中，上述步骤S130包括以下子步骤：
基于标准用户人脸与每列所述微波雷达的距离、数列所述微波雷达的几何关系，形成所述标准用户人脸偏转角与每列所述微波雷达的距离的映射关系；
按照所述目标用户人脸与每列所述微波雷达的当前距离，在所述映射关系中查找与所述当前距离对应的偏转角，并将所述偏转角确定为所述第一头部姿态。
在本实施例中，预先建立标准用户人脸偏转角与每列所述微波雷达的距离的映射关系。
具体的，控制所述数列微波雷达向不同预设偏转角以及不同距离的标准用户人脸发射微波及接收回波信号，然后基于所述回波信号，计算出每个偏转角以及不同距离所对应的所述标准用户人脸距离数列所述微波雷达的所述距离信息，结合数列所述微波雷达的几何关系，建立标准用户人脸的偏转角模型。
可以理解，以标准用户人脸正对终端设备的中心为0°，预设偏转角包括左右偏转角和/或俯仰偏转角，左右偏转角的取值范围可以为[-120°，120°]，俯仰偏转角的取值范围可以为[-80°，80°]，从而覆盖各个用户头部运动的范围。
示例性的，以31的A、B、C列微波雷达为例，这几列微波雷达的几何关系为：A与B列微波雷达的间距为a，B与C列微波雷达的间距为b。让标准用户站在距离终端设备H米处，其中a和b均远小于H，并使得其人脸分别处于不同的预设左右偏转角，例如-120°、-90°、-60°、-45°、-30°、-15°、0°、15°、30°、45°、60°、90°、120°。然后控制A、B、C列微波雷达向每个偏转角发射微波及接收回波信号，基于回波信号，计算出每个左右偏转角对应标准用户人脸距离A、B、C列微波雷达的距离依次为(LA1、LB1、LC1)、(LA2、LB2、LC2)、(LA3、LB3、LC3)、(LA4、LB4、LC4)、(LA5、LB5、LC5)、(LA6、LB6、LC6)、(LA7、LB7、LC7)、(LA8、LB8、LC8)、(LA9、LB9、LC9)、(LA10、LB10、LC10)、(LA11、LB11、LC11)、(LA12、LB12、LC12)、(LA13、LB13、LC13)，记录在H一定时，每个标准用户人脸处于不同左右偏转角时与每列微波雷达的距离的映射关系。改变标准用户与终端设备的距离H，并依次获得在不同H时，标准用户人脸处于不同预设左右偏转角时与每列微波雷达的距离的映射关系。进一步地，让标准用户站在距离终端设备H米处，左右平移m米，依次获得在不同m时，标准用户人脸处于不同预设左右偏转角时与每列微波雷达的距离的映射关系。
同理，可以获得在不同H和不同m时，标准用户人脸处于不同预设俯仰偏转角时与每列微波雷达的距离的映射关系，以及标准用户人脸处于不同预设左右偏转角和俯仰偏转角时，与每列微波雷达的距离的映射关系。
由此可见，无论标准用户人脸位于何处（不同H和不同m），每个标准用户人脸偏转角均可由三个距离值唯一确定(LA、LB、LC)，因此在计算出目标用户人脸与每列微波雷达的当前距离(LA当前、LB当前、LC当前)后，就可以从上述的映射关系中查找到对应的偏转角，进而将查找到的偏转角确定为第一头部姿态。
由于人脸为具有凹凸的立体面，在一个具体实施例中，可选取标准用户人脸的特征点，例如鼻中特征点、下颚特征点等，形成标准用户人脸的特征点在不同预设偏转角时与每列微波雷达的距离的映射关系。其中，针对每列微波雷达采集到的人脸数据，可以通过现有的相关人脸特征点提取的算法进行特征提取，例如通过对人脸特征点提取模型大量的训练集进行训练，不断地调整网络参数，直至训练完成，获得训练好的深度卷积神经网络。在训练完成之后，即可通过该深度卷积神经网络对人脸数据进行特征提取，获得特征点。
S140：基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态。
在一个具体实施例中，上述步骤S140包括以下子步骤：
对所述图像信息进行人脸特征点提取，获得所述目标用户的人脸特征点；
根据所述目标用户的人脸特征点计算出所述人脸特征点的几何关系；
根据所述几何关系与人脸偏转角的映射关系，得到所述目标用户人脸的偏转角，并将所述偏转角确定为所述第二头部姿态。
在本实施例中，对图像信息进行人脸特征点提取，人脸特征点包括目标用户的左眼特征点、右眼特征点和鼻中特征点。人脸特征点的几何关系包括左眼特征点与鼻中特征点的距离，右眼特征点与鼻中特征点的距离，左眼特征点与右眼特征点的距离。由于人脸处于不同偏转角时，人脸特征点的几何关系会随之改变，因此通过人脸在人脸特征点的几何关系与不同偏转角的映射关系以及当前人脸特征点的几何关系，可以得到目标用户人脸的偏转角。
可以理解，通过人脸图像上人脸特征点的几何关系计算出人脸的偏转角为现有的算法，例如中国专利申请CN113723380A，申请名称为基于雷达技术的人脸识别方法、装置、设备和存储介质，公开了“通过将从人脸图像得到的特征点距离比与标准的人脸特征点距离比进行匹配的方式来进行人脸识别，并通过两个无线探测模块的人脸成像来得到所述图像采集器模块的拍摄角度”，本申请在此不再赘述。
S150：基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态。
在一个具体实施例中，上述步骤S150包括以下子步骤：
基于以下计算公式，将所述第一头部姿态和所述第二头部姿态进行融合，
Figure 630034DEST_PATH_IMAGE001
(1)；
其中，
Figure 969880DEST_PATH_IMAGE002
为目标用户人脸的当前有效头部姿态，
Figure 310862DEST_PATH_IMAGE003
为所述第一头部姿态，k1为所 述第一头部姿态的权重，
Figure 507488DEST_PATH_IMAGE004
为所述第二头部姿态，k2为所述第二头部姿态的权重。
在一个实施例中，所述控制方法还包括以下步骤：
根据所述目标用户人脸的距离调整所述第一头部姿态的权重k1和所述第二头部姿态的权重k2的大小。
由于微波雷达的测距范围大，基于距离信息获得到第一头部姿态的速度快，而图像信息获得到的第二头部姿态较精确，但随着用户与终端设备的距离增大，人脸在图像中的占比减小，降低了第二头部姿态的精度，因此，本实施例根据目标用户人脸的距离调整第一头部姿态的权重k1和第二头部姿态的权重k2的大小，可以确保在终端设备的检测范围内，当前有效头部姿态的精度均较高。
在一个具体实施例中，所述目标用户人脸与所述终端设备之间的距离越大，所述第一头部姿态的权重k1越大，所述第二头部姿态的权重k2越小。
在本实施例中，所述目标用户人脸与所述终端设备之间的距离越大，所述第一头部姿态的权重k1越大，所述第二头部姿态的权重k2越小；所述目标用户人脸与所述终端设备之间的距离越小，所述第一头部姿态的权重k1越小，所述第二头部姿态的权重k2越大。
根据目标用户人脸与终端设备之间的距离，调节第一头部姿态的权重k1和第二头部姿态的权重k2的大小，以使：在目标用户人脸与终端设备之间的距离较小时，所述第一头部姿态的权重k1较小，所述第二头部姿态的权重k2较大，当前有效头部姿态以第二头部姿态为主，确保当前有效头部姿态的精度；在目标用户人脸与终端设备之间的距离较大时，所述第一头部姿态的权重k1较大，所述第二头部姿态的权重k2较小，当前有效头部姿态以第一头部姿态为主，确保在终端设备的检测范围内，当前有效头部姿态的精度均较高。
S160：判断所述当前有效头部姿态是否为预设的头部控制姿态。
在本实施例中，每个头部控制姿态可对应一个终端设备的控制指令。因此，通过判断当前有效头部姿态是否为预设的头部控制姿态，可有效地控制终端设备执行相应的指令。例如预设的头部控制姿态为0°，若当前有效头部姿态也为0°，则当前有效头部姿态为预设的头部控制姿态，若当前有效头部姿态不为0°，则当前有效头部姿态不是预设的头部控制姿态。
示例性的，终端设备设有三列微波雷达，目标用户朝向终端设备而站（默认正对第二列）：
1、目标用户向左侧歪头（脸部同时处于第一列和第二列）对应一个指令；向右侧歪头（脸部同时处于第二列和第三列）再对应一个指令。
2、当目标用户仰视时，额头与微波雷达的感应距离变大，下颚与微波雷达的感应距离变小，对应一个指令；当目标用户俯视时，额头与微波雷达的感应距离变小，下颚与微波雷达的感应距离变大，再对应一个指令。
3、目标用户脸部处于正对终端设备状态，脸部靠近终端设备，对应一个指令；脸部远离终端设备，再对应一个指令。
S170：若是，则根据所述当前有效头部姿态控制所述终端设备执行相应的指令。
若否，所述终端设备则不响应当前有效头部姿态。
综上，相较于现有技术，本发明实施例提供了一种基于人脸识别的终端设备控制方法具有如下有益效果：
通过数列微波雷达获得的第一头部姿态以及图像采集器获得的第二头部姿态，获得目标用户人脸的当前有效头部姿态，然后判断当前有效头部姿态是否为预设的头部控制姿态，以通过预设的头部控制姿态实现对终端设备的控制，不仅能够满足用户通过终端设备实现健身和娱乐的需求，还能丰富终端设备的控制方式，使得终端设备更加智能化。
请参阅图2，本发明实施例还提供一种基于人脸识别的终端设备控制装置100，应用于终端设备，所述终端设备配置有图像采集器和数列微波雷达，所述控制装置100包括：
控制模块11，用于控制所述图像采集器采集任一时刻目标用户人脸的图像信息，并同步控制所述数列微波雷达向所述目标用户人脸发射微波及接收回波信号；
距离信息计算模块12，用于基于所述回波信号，计算出所述目标用户人脸距离数列所述微波雷达的所述距离信息；
第一头部姿态模块13，用于基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态；
第二头部姿态模块14，用于基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态；
融合模块15，用于基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态；
判断模块16，用于判断所述当前有效头部姿态是否为预设的头部控制姿态；
所述控制模块11，还用于在所述判断模块16判断所述当前有效头部姿态是否为预设的头部控制姿态时，根据所述当前有效头部姿态控制所述终端设备执行相应的指令。
关于基于人脸识别的终端设备控制装置100的具体限定可以参见上文中对于基于人脸识别的终端设备控制方法的限定，在此不再赘述。上述基于人脸识别的终端设备控制装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在某一个具体实施例中，所述融合模块15，具体用于：
基于以下计算公式，将所述第一头部姿态和所述第二头部姿态进行融合，
Figure 199501DEST_PATH_IMAGE001
(1)；
其中，
Figure 874196DEST_PATH_IMAGE002
为目标用户人脸的当前有效头部姿态，
Figure 332334DEST_PATH_IMAGE003
为所述第一头部姿态，k1为所 述第一头部姿态的权重，
Figure 699862DEST_PATH_IMAGE004
为所述第二头部姿态，k2为所述第二头部姿态的权重。
本发明实施例还提供一种终端设备，包括数列微波雷达、图像采集器、一个或多个处理器和存储器。一个或多个处理器分别与数列所述微波雷达和所述图像采集器。存储器与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任意一个实施例所述的基于人脸识别的终端设备控制方法。
处理器用于控制该终端设备的整体操作，以完成上述的基于人脸识别的终端设备控制装置100的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C) 、数字信号处理器(DigitalSignal Processor，简称DSP) 、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD) 、现场可编程门阵列(Field Programmable Gate Array ，简称FPGA) 、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于人脸识别的终端设备控制方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现如上述任意一个实施例所述的基于人脸识别的终端设备控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由终端设备的处理器执行以完成上述的基于人脸识别的终端设备控制方法，并达到如上述方法一致的技术效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于人脸识别的终端设备控制方法，其特征在于，应用于终端设备，所述终端设备配置有图像采集器和数列微波雷达，所述控制方法包括：
控制所述图像采集器采集任一时刻目标用户人脸的图像信息，并同步控制所述数列微波雷达向所述目标用户人脸发射微波及接收回波信号；
基于所述回波信号，计算出所述目标用户人脸距离数列所述微波雷达的距离信息；
基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态；
基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态；
基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态；
判断所述当前有效头部姿态是否为预设的头部控制姿态；
若是，则根据所述当前有效头部姿态控制所述终端设备执行相应的指令。
2.根据权利要求1所述的基于人脸识别的终端设备控制方法，其特征在于，所述基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态，包括：
基于以下计算公式，将所述第一头部姿态和所述第二头部姿态进行融合，
Figure 173723DEST_PATH_IMAGE001
(1)；
其中，
Figure 626701DEST_PATH_IMAGE002
为目标用户人脸的当前有效头部姿态，
Figure 549658DEST_PATH_IMAGE003
为所述第一头部姿态，k1为所述第一头部姿态的权重，
Figure 362DEST_PATH_IMAGE004
为所述第二头部姿态，k2为所述第二头部姿态的权重。
3.根据权利要求2所述的基于人脸识别的终端设备控制方法，其特征在于，还包括：
根据所述目标用户人脸与所述终端设备之间的距离，调整所述第一头部姿态的权重k1和所述第二头部姿态的权重k2的大小。
4.根据权利要求3所述的基于人脸识别的终端设备控制方法，其特征在于，所述目标用户人脸与所述终端设备之间的距离越大，所述第一头部姿态的权重k1越大，所述第二头部姿态的权重k2越小。
5.根据权利要求1所述的基于人脸识别的终端设备控制方法，其特征在于，所述基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态，包括：
基于标准用户人脸与每列所述微波雷达的距离、数列所述微波雷达的几何关系，形成所述标准用户人脸偏转角与每列所述微波雷达的距离的映射关系；
按照所述目标用户人脸与每列所述微波雷达的当前距离，在所述映射关系中查找与所述当前距离对应的偏转角，并将所述偏转角确定为所述第一头部姿态。
6.根据权利要求1所述的基于人脸识别的终端设备控制方法，其特征在于，所述基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态，包括：
对所述图像信息进行人脸特征点提取，获得所述目标用户的人脸特征点；
根据所述目标用户的人脸特征点计算出所述人脸特征点的几何关系；
根据所述几何关系与人脸偏转角的映射关系，得到所述目标用户人脸的偏转角，并将所述偏转角确定为所述第二头部姿态。
7.一种基于人脸识别的终端设备控制装置，其特征在于，应用于终端设备，所述终端设备配置有图像采集器和数列微波雷达，所述控制装置包括：
控制模块，用于控制所述图像采集器采集任一时刻目标用户人脸的图像信息，并同步控制所述数列微波雷达向所述目标用户人脸发射微波及接收回波信号；
距离信息计算模块，用于基于所述回波信号，计算出所述目标用户人脸距离数列所述微波雷达的所述距离信息；
第一头部姿态模块，用于基于所述距离信息，获取当前所述目标用户人脸相对数列所述微波雷达的第一头部姿态；
第二头部姿态模块，用于基于所述图像信息，获取当前所述目标用户人脸的第二头部姿态；
融合模块，用于基于预设权重，将所述第一头部姿态和所述第二头部姿态进行融合，以获得所述目标用户人脸的当前有效头部姿态；
判断模块，用于判断所述当前有效头部姿态是否为预设的头部控制姿态；
所述控制模块，还用于在所述判断模块判断所述当前有效头部姿态是否为预设的头部控制姿态时，根据所述当前有效头部姿态控制所述终端设备执行相应的指令。
8.根据权利要求7所述的基于人脸识别的终端设备控制装置，其特征在于，所述融合模块，具体用于：
基于以下计算公式，将所述第一头部姿态和所述第二头部姿态进行融合，
Figure 8769DEST_PATH_IMAGE001
(1)；
其中，
Figure 2788DEST_PATH_IMAGE002
为目标用户人脸的当前有效头部姿态，
Figure 780251DEST_PATH_IMAGE003
为所述第一头部姿态，k1为所述第一头部姿态的权重，
Figure 464174DEST_PATH_IMAGE004
为所述第二头部姿态，k2为所述第二头部姿态的权重。
9.一种终端设备，其特征在于，包括：
数列微波雷达；
图像采集器；
一个或多个处理器，分别与数列所述微波雷达和所述图像采集器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的基于人脸识别的终端设备控制方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-6中任一项所述的基于人脸识别的终端设备控制方法。
CN202210408906.1A 2022-04-19 2022-04-19 基于人脸识别的终端设备控制方法、控制装置及终端设备 Active CN114511916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210408906.1A CN114511916B (zh) 2022-04-19 2022-04-19 基于人脸识别的终端设备控制方法、控制装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210408906.1A CN114511916B (zh) 2022-04-19 2022-04-19 基于人脸识别的终端设备控制方法、控制装置及终端设备

Publications (2)

Publication Number Publication Date
CN114511916A CN114511916A (zh) 2022-05-17
CN114511916B true CN114511916B (zh) 2022-06-17

Family

ID=81555519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210408906.1A Active CN114511916B (zh) 2022-04-19 2022-04-19 基于人脸识别的终端设备控制方法、控制装置及终端设备

Country Status (1)

Country Link
CN (1) CN114511916B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法
CN104992141A (zh) * 2015-05-29 2015-10-21 张宏鑫 基于双虹膜、立体人脸和声纹识别的智能生物特征监控总成及监控方法
CN207781871U (zh) * 2015-12-24 2018-08-28 日本电产株式会社 融合装置
CN108960173A (zh) * 2018-07-12 2018-12-07 芜湖博高光电科技股份有限公司 一种毫米波和摄像头融合人脸识别方法
CN110281944A (zh) * 2019-06-12 2019-09-27 浙江亚太机电股份有限公司 基于多信息融合的驾驶员状态监测系统
CN110674888A (zh) * 2019-10-11 2020-01-10 中国人民解放军海军航空大学青岛校区 一种基于数据融合的头部姿态识别方法
CN111166342A (zh) * 2020-01-07 2020-05-19 四川宇然智荟科技有限公司 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法
CN112753009A (zh) * 2021-01-04 2021-05-04 华为技术有限公司 人机交互方法与人机交互装置
CN113723380A (zh) * 2021-11-03 2021-11-30 亿慧云智能科技（深圳）股份有限公司 基于雷达技术的人脸识别方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法
CN104992141A (zh) * 2015-05-29 2015-10-21 张宏鑫 基于双虹膜、立体人脸和声纹识别的智能生物特征监控总成及监控方法
CN207781871U (zh) * 2015-12-24 2018-08-28 日本电产株式会社 融合装置
CN108960173A (zh) * 2018-07-12 2018-12-07 芜湖博高光电科技股份有限公司 一种毫米波和摄像头融合人脸识别方法
CN110281944A (zh) * 2019-06-12 2019-09-27 浙江亚太机电股份有限公司 基于多信息融合的驾驶员状态监测系统
CN110674888A (zh) * 2019-10-11 2020-01-10 中国人民解放军海军航空大学青岛校区 一种基于数据融合的头部姿态识别方法
CN111166342A (zh) * 2020-01-07 2020-05-19 四川宇然智荟科技有限公司 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法
CN112753009A (zh) * 2021-01-04 2021-05-04 华为技术有限公司 人机交互方法与人机交互装置
CN113723380A (zh) * 2021-11-03 2021-11-30 亿慧云智能科技（深圳）股份有限公司 基于雷达技术的人脸识别方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Multi-sensor system for driver"s hand-gesture recognition ";Pavlo Molchanov 等;《2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG)》;20150723;第1-8页 *
"基于人脸关键点与增量聚类的多姿态人脸识别";吴晓萍 等;《激光与光电子学进展》;20190731;第56卷(第14期);第62-70页 *
"基于人脸识别的舰船人员出入管理系统";周海军 等;《电子世界》;20201015;第201-203页 *

Also Published As

Publication number Publication date
CN114511916A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US20220051061A1 (en) Artificial intelligence-based action recognition method and related apparatus
CN109224437A (zh) 一种应用场景的交互方法和终端以及存储介质
JP5896578B2 (ja) データ入力装置
JP2022531188A (ja) 人体キーポイント検出方法及び装置、電子機器並びに記憶媒体
EP3395066B1 (en) Depth map generation apparatus, method and non-transitory computer-readable medium therefor
WO2013180151A1 (ja) 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
CN109375765B (zh) 眼球追踪交互方法和装置
CN111543934A (zh) 一种视力检测方法、装置、电子产品及存储介质
US20110118877A1 (en) Robot system and method and computer-readable medium controlling the same
CN105554385A (zh) 一种远距离多模态生物特征识别方法及其系统
WO2020237611A1 (zh) 图像处理方法、装置、控制终端及可移动设备
US20120053015A1 (en) Coordinated Motion and Audio Experience Using Looped Motions
CN109011534A (zh) 台球击球辅助方法、装置、存储介质及电子设备
US20210041957A1 (en) Control of virtual objects based on gesture changes of users
CN108090463B (zh) 对象控制方法、装置、存储介质和计算机设备
CN107589848A (zh) 一种交互显示方法、终端及交互显示系统
CN105573485B (zh) 一种显示内容调节方法及终端
CN111639574B (zh) 坐姿纠正方法及电子设备、存储介质
CN109976535A (zh) 一种校准方法、装置、设备及存储介质
CN111580652A (zh) 视频播放的控制方法、装置、增强现实设备及存储介质
CN109308437A (zh) 动作识别纠错方法、电子设备、存储介质
CN110794963A (zh) 基于深度相机的眼控辅助输入方法
CN110780742A (zh) 眼球追踪处理方法及相关装置
JP5964603B2 (ja) データ入力装置、及び表示装置
CN114511916B (zh) 基于人脸识别的终端设备控制方法、控制装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant