CN111291671B - 手势控制方法及相关设备 - Google Patents

手势控制方法及相关设备 Download PDF

Info

Publication number
CN111291671B
CN111291671B CN202010076895.2A CN202010076895A CN111291671B CN 111291671 B CN111291671 B CN 111291671B CN 202010076895 A CN202010076895 A CN 202010076895A CN 111291671 B CN111291671 B CN 111291671B
Authority
CN
China
Prior art keywords
gesture
user
image
face
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010076895.2A
Other languages
English (en)
Other versions
CN111291671A (zh
Inventor
余承富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Danale Technology Co ltd
Original Assignee
Shenzhen Danale Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Danale Technology Co ltd filed Critical Shenzhen Danale Technology Co ltd
Priority to CN202010076895.2A priority Critical patent/CN111291671B/zh
Publication of CN111291671A publication Critical patent/CN111291671A/zh
Application granted granted Critical
Publication of CN111291671B publication Critical patent/CN111291671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种手势控制方法及相关设备,应用于传感器设备,所述方法包括:确定所述传感器设备与N个用户的距离,以及对所述N个用户进行脸型识别,所述N为正整数;若所述传感器设备与第一用户的第一距离处于预设距离范围,且识别到所述第一用户的脸型为正脸,则识别所述第一用户的手势,所述N个用户包括所述第一用户;基于识别到的所述第一用户的第一手势进行控制操作。采用本申请实施例可拓展传感器设备的功能。

Description

手势控制方法及相关设备
技术领域
本申请涉及电子技术领域,尤其涉及一种手势控制方法及相关设备。
背景技术
传感器设备(例如网络摄像头)是传统摄像机与网络视频技术相结合的产生的新产品,由于可实时对监控区域进行简单的监控与画面上传,广泛应用于监控、远程视频互动及教学等领域。然而,目前的传感器设备通常只能进行简单的监控和画面上传,功能单一。
发明内容
本申请实施例提供一种手势控制方法及相关设备,用于拓展传感器设备的功能。
第一方面,本申请实施例提供一种手势控制方法,应用于传感器设备,所述方法包括:
确定所述传感器设备与N个用户的距离,以及对所述N个用户进行脸型识别,所述N为正整数;
若所述传感器设备与第一用户的第一距离处于预设距离范围,且识别到所述第一用户的脸型为正脸,则识别所述第一用户的手势,所述N个用户包括所述第一用户;
基于识别到的所述第一用户的第一手势进行控制操作。
第二方面,本申请实施例提供一种手势控制装置,应用于传感器设备,该装置包括:
距离确定单元,用于确定所述传感器设备与N个用户的距离,所述N为正整数;
识别单元,用于在所述距离确定单元确定所述传感器设备与N个用户的距离的过程中,对所述N个用户进行脸型识别;
所述识别单元,还用于若所述传感器设备与第一用户的第一距离处于预设距离范围,且识别到所述第一用户的脸型为正脸,则识别所述第一用户的手势,所述N个用户包括所述第一用户;
控制单元,用于基于识别到的所述第一用户的第一手势进行控制操作。
第三方面,本申请实施例提供一种传感器设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面所述的方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,在本申请实施例中,传感器设备首先确定传感器设备与N个用户的距离,以及对N个用户进行脸型识别,若传感器设备与第一用户的第一距离处于预设距离范围,且识别到第一用户的脸型为正脸,识别所述第一用户的手势,最后基于识别到的第一用户的第一手势进行控制操作,实现了手势控制操作,拓展了传感器设备的功能,另外在某个用户与传感器设备的距离在一定范围内,且识别到该某个用户的正脸的情况下,才识别该某个用户的手势,降低手势识别失误率。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种网络架构图;
图1B是本申请实施例提供的一种传感器设备的结构示意图;
图1C是本申请实施例提供的一种通信系统的结构示意图;
图2A是本申请实施例提供的一种手势控制方法的流程示意图;
图2B是本申请实施例提供的一种通话手势的示意图;
图2C是本申请实施例提供的一种拍摄手势的示意图;
图2D是本申请实施例提供的一种停止手势的示意图;
图3本申请实施例提供的一种传感器设备的结构示意图;
图4本申请实施例提供的一种手势控制装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
传统的计算机视觉技术是由传感器采集信息,然后发送给后台处理,由信号处理模块进行效果处理,再从信号处理模块传输到计算机视觉模块进行处理。区别于现有常规传感器采集数据发给后端设备的机制,本申请提供的传感器设备是传感器和计算机视觉模块的结合,传感器设备直接本地进行数据处理,即由传感器设备进行数据采集、分析处理得到识别结果,以及基于该识别结果的进行特定控制,且该传感器设备的内部算法可以通过平台更新优化。本申请的整体架构如图1A所示。
传感器设备可以通过信息采集模块采集特定目标的信息,信息采集模块采集到的信息传输到传感器/计算机视觉模块;传感器/计算机视觉模块可以对该信息进行处理,然后再根据处理结果执行一系列特定操作。另外,传感器设备还可以将采集的原始信息,或者传感器/计算机视觉模块处理过后的信息传输给后台,后台再对接收到的数据进行进一步处理(效果处理)。
如图1B所示,图1B是本申请实施例提供的一种传感器设备的结构示意图。所述传感器设备包括信息采集模块、前端处理模块和计算机视觉芯片,所述前端处理模块包括至少一个传感器单元、模拟信号处理电路和模数转换电路;计算机视觉芯片包括数字信号处理器和至少一个人工智能处理器。
其中,所述至少一个传感器单元,与模拟信号处理电路相连,用于接收测量信号(也即信息采集模块采集的信息),将所述测量信号转换为电信号,并将所述电信号传输至所述模拟信号处理电路。
其中,所述模拟信号处理电路,与所述模数转换电路相连,用于对所述电信号进行模拟信号处理,并将模拟处理结果传输至模数转换电路。
其中,所述模数转换电路,用于将所述模拟处理结果转换为数字信号并输出。
其中,所述数字信号处理器,用于根据所述前端处理模块生成的所述电信号进行数字信号处理,并输出数字信号处理结果。
其中,所述存储器,用于对所述数字信号处理结果进行存储,所述存储器包括一个共享区和n个独享区。
所述共享区用于存储各类需要进行特定信号处理(例如格式转换、效果处理)的信息(针对不同的应用场景,对于不同设备的控制需要采集不同信息进行特定处理)。例如,以图像信息为例,传感器设备可以包括像素单元阵列(也即信号采集模块)、模拟信号处理电路、模数转换电路、控制电路、接口电路等。外界光照射像素单元阵列,发生光电效应,在像素单元阵列内产生相应的电荷,即图像传感单元获取光信号,并将光信号转换为电信号,对电信号进行模拟信号处理,在时钟电路的控制下,将所述模拟处理结果转换为数字信号,控制电路控制数字信号通过接口电路将数字信号传输至存储器的共享区。
所述独享区,用于存储特定信息,所述特定信息可以包括特定目标的信息(例如,针对不同的目标,在对特定待控制装置进行控制时,具有特定化的差异性的控制)、特定类型的信息(例如,某些采集到的信息比较特殊,不需要进行前端处理,即可用于人工智能处理器进行直接使用)。(在具体应用时,还可以设计独享区与人工智能处理器的专属对应关系)。
其中,所述人工智能处理器,用于从存储器种获取特定信息或数字信号处理结果,并根据所述特定信息或数字信号处理结果,执行相应的人工智能处理操作。
请参见图1C,图1C是本申请实施例提供的一种通信系统的结构示意图,该通信系统包括传感器设备、终端设备和智能设备,终端设备和智能家居设备均与传感器设备通信连接。
其中,终端设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(UserEquipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
其中,智能设备例如有智能音箱、智能电视、智能电饭煲、智能灯、智能窗帘、智能冰箱、智能马桶、智能热水器、智能洗衣机等等。
其中,传感器设备可旋转,传感器设备可用于采集图像信息,可用于识别人脸,可用于识别脸型、可用于识别手势、可用于控制其他设备等等。传感器设备可设置于家中、楼道中、居住小区的建筑物上、街道上等等。图1C中所示的设备的形态和数量仅用于举例,并不构成对本申请实施例的限定。
下面对本申请实施例进行详细介绍。
请参见图2A所示,图2A是本申请实施例提供的一种手势控制方法的流程示意图,应用于上述传感器设备,具体包括以下步骤:
步骤201:确定所述传感器设备与N个用户的距离,以及对所述N个用户进行脸型识别,所述N为正整数。
其中,传感器设备可通过传感器设备的距离传感器测量传感器设备与N个用户的距离。
其中,所述对所述N个用户进行脸型识别,包括:对所述N个用户进行脸型采集,得到N个脸型图像,所述N个用户与N个脸型图像一一对应;基于所述N个脸型图像进行脸型识别。
进一步地,所述基于所述N个脸型图像进行脸型识别,包括:分别解析所述N个脸型图像,得到N个脸型特征信息,所述N个脸型特征信息与所述N个脸型图像一一对应;基于所述N个脸型特征信息进行脸型识别。
进一步地,所述基于所述N个脸型特征信息进行脸型识别,包括:将每个所述脸型特征信息与预存的正脸特征信息进行匹配;若M个脸型特征信息均与所述预存的正脸特征信息相匹配,则确定识别到M个用户的脸型为正脸,以及确定识别到N-M个用户的脸型不为正脸,所述M为小于或等于N的正整数。
步骤202:若所述传感器设备与第一用户的第一距离处于预设距离范围,且识别到所述第一用户的脸型为正脸,则识别所述第一用户的手势,所述N个用户包括所述第一用户。
其中,预设距离范围例如有0.5m~2m、0.8m~2m、1m~2m、1.2m~2.5m、1.5m~2.5m或是其他值。
其中,若所述传感器设备与K个用户的距离均处于预设距离范围,且均识别到所述K个用户的脸型为正脸,则所述第一用户为所述K个用户中与所述传感器设备距离最小的用户,K为大于1的整数。举例来说,假设K=3,这3个用户分别为用户1、用户2和用户3,假如用户1与传感器设备的距离为1m,用户2与传感器设备的距离为1.5m,用户3与传感器设备的距离为0.8m,那么第一用户为用户3。
其中,若所述传感器设备与K个用户的距离均处于预设距离范围,且均识别到所述K个用户的脸型为正脸,则所述第一用户为所述K个用户中与所述传感器设备距离最大的用户,K为大于1的整数。举例来说,假设K=3,这3个用户分别为用户1、用户2和用户3,假如用户1与传感器设备的距离为1m,用户2与传感器设备的距离为1.5m,用户3与传感器设备的距离为0.8m,那么第一用户为用户2。
其中,若所述传感器设备与K个用户的距离均处于预设距离范围,且均识别到所述K个用户的脸型为正脸,则所述第一用户为所述K个用户中与所述传感器设备的距离与预设距离的差值的绝对值最小的用户。其中,预设距离例如为0.7m、0.8m、0.9m、1m、1.2m或是其他值。举例来说,假设K=3,这3个用户分别为用户1、用户2和用户3,假如用户1与传感器设备的距离为1m,用户2与传感器设备的距离为1.5m,用户3与传感器设备的距离为0.8m,预设距离为1m,那么用户1与传感器设备的距离与预设距离的差值的绝对值为0,用户2与传感器设备的距离与预设距离的差值的绝对值为0.5,用户3与传感器设备的距离与预设距离的差值的绝对值为0.2,那么第一用户为用户1。
其中,若所述传感器设备与K个用户的距离均处于预设距离范围,且均识别到所述K个用户的脸型为正脸,则所述第一用户为所述K个用户中与所述传感器设备的距离与预设距离的差值的绝对值最大的用户。其中,预设距离例如为0.7m、0.8m、0.9m、1m、1.2m或是其他值。举例来说,假设K=3,这3个用户分别为用户1、用户2和用户3,假如用户1与传感器设备的距离为1m,用户2与传感器设备的距离为1.5m,用户3与传感器设备的距离为0.8m,预设距离为1m,那么用户1与传感器设备的距离与预设距离的差值的绝对值为0,用户2与传感器设备的距离与预设距离的差值的绝对值为0.5,用户3与传感器设备的距离与预设距离的差值的绝对值为0.2,那么第一用户为用户2。
在本申请的一实现方式中,所述识别所述第一用户的手势,包括:
对所述第一用户进行手势采集,得到第一手势图像;
将所述第一手势图像输入手势识别模型,输出所述第一用户的手势。
其中,传感器设备反复抓图训练该手势识别模型,以减少手势识别的误判率。
在本申请的一实现方式中,所述识别所述第一用户的手势,包括:
获取所述第一用户的手势图像;
将所述手势图像进行图像分割,得到多个手势子图像;
确定每个所述手势子图像包括的图像特征的第一数量;
按照所述手势子图像的图像特征的第一数量的大小顺序,依次将所述多个手势子图像与手势模板进行匹配;
若已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于预设阈值,则停止图像匹配,以及确定所述手势模板对应的手势为所述第一用户的手势;
若已匹配的所述手势子图像与所述手势模板的匹配度的和小于所述预设阈值,则继续进行图像匹配,直至已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于所述预设阈值。
其中,所述多个手势子图像中存在至少两个手势子图像的大小不同。
举例来说,假设有3个手势子图像,如手势子图像1、手势子图像2和手势子图像3,假如确定手势子图像1包括的图像特征的第一数量为30,手势子图像2包括的图像特征的第一数量为50,手势子图像3包括的图像特征的第一数量为45,那么先将手势子图像2与手势模板进行匹配,然后将手势子图像3与手势模板进行匹配,最后手势子图像1与手势模板进行匹配,假如预设阈值为70%,假如手势子图像2与手势模板的匹配度为40%(小于70%),那么在手势子图像2与手势模板匹配完成之后,将手势子图像3与手势模板进行匹配,假如手势子图像与手势模板的匹配度为35%,那么在手势子图像3与手势模板匹配完成之后,停止图像匹配,以及确定该手势模板对应的手势为所述第一用户的手势。
进一步地,所述将所述手势图像进行图像分割,得到多个手势子图像,包括:
确定所述手势图像包括的图像特征的第二数量;
基于所述第二数量确定图像分割策略;
基于所述图像分割策略对所述手势图像进行图像分割,得到多个手势子图像。
进一步地,所述基于所述第二数量确定图像分割策略,包括:基于图像特征的数量与图像分割策略的映射关系,确定所述第二数量对应的图像分割策略。
或者,所述基于所述第二数量确定图像分割策略,包括:
基于所述第二数量确定所述手势子图像的第三数量;
基于所述第三数量和所述第一用户的类型确定图像分割策略。
进一步地,所述基于所述第二数量确定所述手势子图像的第三数量,包括:
基于第一公式、所述第二数量确定所述手势图像的第三数量,所述第一公式为:K=(W-2*K)/10,所述K为手势子图像的数量,所述W为手势图像包括的图像特征的数量。
或者,所述基于所述第二数量确定所述手势子图像的第三数量,包括:基于手势图像包括的图像特征的数量与手势子图像的数量的映射关系,确定所述第二数量对应的所述手势子图像的第三数量。
进一步地,所述基于所述第三数量和所述第一用户的类型确定图像分割策略,包括:
基于手势子图像的数量、用户类型和图像分割策略的映射关系,确定所述第三数量和所述第一用户的类型对应的图像分割策略。
其中,所述第一用户的类型例如有儿童、青少年、成年人、中年人、老年人等等。
步骤203:基于识别到的所述第一用户的第一手势进行控制操作。
具体地,确定所述第一手势对应的控制指令,以及基于所述第一手势对应的控制指令进行控制操作。
其中,第一手势例如有通话手势(如图2B所示)、拍摄手势(如图2C所示)、停止手势(如图2D所示)等等。
若第一手势为通话手势,通话手势对应的控制指令例如是通过与传感器设备连接的终端终端进行通话操作;若第一手势为拍摄手势,拍摄手势对应的控制指令例如是对第一用户进行拍摄操作;若第一手势为停止手势,停止手势对应的控制指令例如是控制传感器设备停止拍摄,等等。
可以看出,在本申请实施例中,传感器设备首先确定传感器设备与N个用户的距离,以及对N个用户进行脸型识别,若传感器设备与第一用户的第一距离处于预设距离范围,且识别到第一用户的脸型为正脸,识别所述第一用户的手势,最后基于识别到的第一用户的第一手势进行控制操作,实现了手势控制操作,拓展了传感器设备的功能,另外在某个用户与传感器设备的距离在一定范围内,且识别到该某个用户的正脸的情况下,才识别该某个用户的手势,降低手势识别失误率。
在本申请的一实现方式中,所述识别所述第一用户的手势之前,所述方法还包括:
对所述第一用户进行人脸采集,得到第一人脸图像;
基于所述第一人脸图像进行人脸识别;
确定所述人脸识别成功。
可以看出,在本申请实施例中,在进行手势识别之前,先对用户进行身份验证,只有身份验证通过之后,才进行手势识别,避免其他用户进行手势操作而导致控制混乱问题,进而提升安全性。
在本申请的一实现方式中,所述基于识别到的所述第一用户的第一手势进行控制操作,包括:
获取所述第一人脸图像对应的手势与控制指令的第一映射关系;
基于所述第一映射关系确定所述第一手势对应的第一控制指令;
基于所述第一控制指令进行控制操作。
其中,所述获取所述第一人脸图像对应的手势与控制指令的第一映射关系,包括:基于第四映射关系确定所述第一映射关系,所述第四映射关系与人脸图像、以及手势与控制指令的映射关系相关。其中,第四映射关系如表1所示,如表1所示,不同的人脸图像对应不同的手势与控制指令的映射关系。
表1
其中,手势与控制指令的映射关系如表2所示,如表2所示,不同的手势对应不同的控制指令。需要说的是,在不同的手势与控制指令的映射关系中,相同的手势对应的控制指令可以是相同的,也可以是不同的,在此不作限定。
表2
手势 控制指令
手势1 控制指令1
手势2 控制指令2
手势3 控制指令3
...... ......
可以看出,在本申请实施例中,不同的用户对应不同的手势与控制指令的映射关系,实现了相同的控制操作可以使用不同的手势,提升了手势控制的多样性。
在本申请的一实现方式中,所述基于识别到的所述第一用户的第一手势进行控制操作,包括:
获取当前时刻对应的手势与控制指令的第二映射关系;
基于所述第二映射关系确定所述第一手势对应的第二控制指令;
基于所述第二控制指令进行控制操作。
其中,所述获取当前时刻对应的手势与控制指令的第二映射关系,包括:基于第五映射关系确定所述第二映射关系,所述第五映射关系与时段,以及手势与控制指令的映射关系相关。其中,第五映射关系如表3所示,如表3所示,不同的时段对应不同的手势与控制指令的映射关系。
表3
可以看出,在本申请实施例中,不同的时段对应不同的手势与控制指令的映射关系,实现了相同的控制操作可以使用不同的手势,提升了手势控制的多样性。
在本申请的一实现方式中,所述基于识别到的所述第一用户的第一手势进行控制操作,包括:
获取所述第一距离对应的手势与控制指令的第三映射关系;
基于所述第三映射关系确定所述第一手势对应的第三控制指令;
基于所述第三控制指令进行控制操作。
其中,所述获取当前时刻对应的手势与控制指令的第二映射关系,包括:基于第六映射关系确定所述第二映射关系,所述第六映射关系与距离范围,以及手势与控制指令的映射关系相关。其中,第六映射关系如表4所示,如表4所示,不同的距离范围对应不同的手势与控制指令的映射关系。
表4
可以看出,在本申请实施例中,不同的距离范围对应不同的手势与控制指令的映射关系,实现了相同的控制操作可以使用不同的手势,提升了手势控制的多样性。
在本申请的一实现方式中,所述基于识别到的所述第一用户的第一手势进行控制操作,包括:
获取所述第一人脸图像和当前时刻对应的手势与控制指令的第七映射关系;
基于所述第七映射关系确定所述第一手势对应的第四控制指令;
基于所述第四控制指令进行控制操作。
其中,所述获取所述第一人脸图像和当前时刻对应的手势与控制指令的第七映射关系,包括:基于第八映射关系确定所述第七映射关系,所述第八映射关系与时段、人脸图像,以及手势与控制指令的映射关系相关。其中,第八映射关系如表5所示。
表5
可以看出,在本申请实施例中,不同的用户在不同时刻对应不同的手势与控制指令的映射关系,实现了相同的控制操作可以使用不同的手势,提升了手势控制的多样性。
在本申请的一实现方式中,所述基于识别到的所述第一用户的第一手势进行控制操作,包括:
获取所述第一人脸图像和述第一距离对应的手势与控制指令的第九映射关系;
基于所述第九映射关系确定所述第一手势对应的第五控制指令;
基于所述第五控制指令进行控制操作。
其中,所述获取所述第一人脸图像和述第一距离对应的手势与控制指令的第九映射关系,包括:基于第十映射关系确定所述第九映射关系,所述第十映射关系与距离范围、人脸图像,以及手势与控制指令的映射关系相关。其中,第十映射关系如表6所示。
表6
/>
可以看出,在本申请实施例中,不同的用户在不同距离范围对应不同的手势与控制指令的映射关系,实现了相同的控制操作可以使用不同的手势,提升了手势控制的多样性。
在本申请的一实现方式中,所述识别所述第一用户的手势之前,所述方法还包括:锁定所述传感器设备的移动追踪功能。
可以看出,在本申请实施例中,在进行手势识别之前,对传感器设备的移动追踪功能进行锁定,以避免用户手势控制操作时,传感器设备因移动追踪功能而移动,避免手势识别和移动追踪冲突。
在本申请的一实现方式中,所述识别所述第一用户的手势之前,所述方法还包括:输出提示信息,所述提示信息用于提示所述第一用户允许进行手势控制操作。
其中,输出提示信息的方式可以是指示灯亮红灯快闪,和/或语音输出等等。
可以看出,在本申请实施例中,通过输出提示信息的方式提示用户进行手势控制操作,以告知用户此时可以进行手势操作,进而使得用户正确摆出标准的手势,进而提升手势控制操作的准确性。
请参阅图3,图3是本申请实施例提供的一种传感器设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
确定所述传感器设备与N个用户的距离,以及对所述N个用户进行脸型识别,所述N为正整数;
若所述传感器设备与第一用户的第一距离处于预设距离范围,且识别到所述第一用户的脸型为正脸,则识别所述第一用户的手势,所述N个用户包括所述第一用户;
基于识别到的所述第一用户的第一手势进行控制操作。
可以看出,在本申请实施例中,传感器设备首先确定传感器设备与N个用户的距离,以及对N个用户进行脸型识别,若传感器设备与第一用户的第一距离处于预设距离范围,且识别到第一用户的脸型为正脸,识别所述第一用户的手势,最后基于识别到的第一用户的第一手势进行控制操作,实现了手势控制操作,拓展了传感器设备的功能,另外在某个用户与传感器设备的距离在一定范围内,且识别到该某个用户的正脸的情况下,才识别该某个用户的手势,降低手势识别失误率。
在本申请的一实现方式中,在识别所述第一用户的手势方面,上述程序包括具体用于执行以下步骤的指令:
获取所述第一用户的手势图像;
将所述手势图像进行图像分割,得到多个手势子图像;
确定每个所述手势子图像包括的图像特征的第一数量;
按照所述手势子图像的图像特征的第一数量的大小顺序,依次将所述多个手势子图像与手势模板进行匹配;
若已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于预设阈值,则停止图像匹配,以及确定所述手势模板对应的手势为所述第一用户的手势;
若已匹配的所述手势子图像与所述手势模板的匹配度的和小于所述预设阈值,则继续进行图像匹配,直至已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于所述预设阈值。
在本申请的一实现方式中,在将所述手势图像进行图像分割,得到多个手势子图像方面,上述程序包括具体用于执行以下步骤的指令:
确定所述手势图像包括的图像特征的第二数量;
基于所述第二数量确定图像分割策略;
基于所述图像分割策略对所述手势图像进行图像分割,得到多个手势子图像。
在本申请的一实现方式中,在识别所述第一用户的手势之前,上述程序包括还用于执行以下步骤的指令:
对所述第一用户进行人脸采集,得到第一人脸图像;
基于所述第一人脸图像进行人脸识别;
确定所述人脸识别成功。
在本申请的一实现方式中,在基于识别到的所述第一用户的第一手势进行控制操作方面,上述程序包括具体用于执行以下步骤的指令:
获取所述第一人脸图像对应的手势与控制指令的第一映射关系;
基于所述第一映射关系确定所述第一手势对应的第一控制指令;
基于所述第一控制指令进行控制操作。
在本申请的一实现方式中,在基于识别到的所述第一用户的第一手势进行控制操作方面,上述程序包括具体用于执行以下步骤的指令:
获取当前时刻对应的手势与控制指令的第二映射关系;
基于所述第二映射关系确定所述第一手势对应的第二控制指令;
基于所述第二控制指令进行控制操作。
在本申请的一实现方式中,在基于识别到的所述第一用户的第一手势进行控制操作方面,上述程序包括具体用于执行以下步骤的指令:
获取所述第一距离对应的手势与控制指令的第三映射关系;
基于所述第三映射关系确定所述第一手势对应的第三控制指令;
基于所述第三控制指令进行控制操作。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
请参阅图4,图4是本申请实施例提供的一种手势控制装置,应用于上述传感器设备,该装置包括:
距离确定单元401,用于确定所述传感器设备与N个用户的距离,所述N为正整数;
识别单元402,用于在所述距离确定单元确定所述传感器设备与N个用户的距离的过程中,对所述N个用户进行脸型识别;
所述识别单元402,还用于若所述传感器设备与第一用户的第一距离处于预设距离范围,且识别到所述第一用户的脸型为正脸,则识别所述第一用户的手势,所述N个用户包括所述第一用户;
控制单元403,用于基于识别到的所述第一用户的第一手势进行控制操作。
可以看出,在本申请实施例中,传感器设备首先确定传感器设备与N个用户的距离,以及对N个用户进行脸型识别,若传感器设备与第一用户的第一距离处于预设距离范围,且识别到第一用户的脸型为正脸,识别所述第一用户的手势,最后基于识别到的第一用户的第一手势进行控制操作,实现了手势控制操作,拓展了传感器设备的功能,另外在某个用户与传感器设备的距离在一定范围内,且识别到该某个用户的正脸的情况下,才识别该某个用户的手势,降低手势识别失误率。
在本申请的一实现方式中,在识别所述第一用户的手势方面,所述识别单元402具体用于:
获取所述第一用户的手势图像;
将所述手势图像进行图像分割,得到多个手势子图像;
确定每个所述手势子图像包括的图像特征的第一数量;
按照所述手势子图像的图像特征的第一数量的大小顺序,依次将所述多个手势子图像与手势模板进行匹配;
若已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于预设阈值,则停止图像匹配,以及确定所述手势模板对应的手势为所述第一用户的手势;
若已匹配的所述手势子图像与所述手势模板的匹配度的和小于所述预设阈值,则继续进行图像匹配,直至已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于所述预设阈值。
在本申请的一实现方式中,在将所述手势图像进行图像分割,得到多个手势子图像方面,所述识别单元具体用于:
确定所述手势图像包括的图像特征的第二数量;
基于所述第二数量确定图像分割策略;
基于所述图像分割策略对所述手势图像进行图像分割,得到多个手势子图像。
在本申请的一实现方式中,所述识别单元402,还用于在识别所述第一用户的手势之前,对所述第一用户进行人脸采集,得到第一人脸图像;基于所述第一人脸图像进行人脸识别;确定所述人脸识别成功。
在本申请的一实现方式中,在基于识别到的所述第一用户的第一手势进行控制操作方面,控制单元403具体用于:
获取所述第一人脸图像对应的手势与控制指令的第一映射关系;
基于所述第一映射关系确定所述第一手势对应的第一控制指令;
基于所述第一控制指令进行控制操作。
在本申请的一实现方式中,在基于识别到的所述第一用户的第一手势进行控制操作方面,控制单元403具体用于:
获取当前时刻对应的手势与控制指令的第二映射关系;
基于所述第二映射关系确定所述第一手势对应的第二控制指令;
基于所述第二控制指令进行控制操作。
在本申请的一实现方式中,在基于识别到的所述第一用户的第一手势进行控制操作方面,控制单元403具体用于:
获取所述第一距离对应的手势与控制指令的第三映射关系;
基于所述第三映射关系确定所述第一手势对应的第三控制指令;
基于所述第三控制指令进行控制操作。
需要说明的是,距离确定单元401、识别单元402和控制单元403可以通过处理器实现。
本申请实施例还提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如上述方法实施例中传感器设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法中传感器设备所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read OnlyMemory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然,处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(DigitalVideo Disc,DVD))、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
以上所述的具体实施方式,对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请实施例的具体实施方式而已,并不用于限定本申请实施例的保护范围,凡在本申请实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请实施例的保护范围之内。

Claims (7)

1.一种手势控制方法,其特征在于,应用于传感器设备,所述方法包括:
确定所述传感器设备与N个用户的距离,以及对所述N个用户进行脸型识别,所述N为正整数;
若所述传感器设备与第一用户的第一距离处于预设距离范围,且识别到所述第一用户的脸型为正脸,对所述第一用户进行人脸采集,得到第一人脸图像,基于所述第一人脸图像进行人脸识别,确定所述人脸识别成功,则识别所述第一用户的手势,所述N个用户包括所述第一用户;
基于所述第一距离和所述第一用户的第一人脸图像中的至少一项,以及识别到的所述第一用户的第一手势进行控制操作,包括:获取所述第一人脸图像和当前时刻对应的手势与控制指令的第七映射关系,基于所述第七映射关系确定所述第一手势对应的第四控制指令,基于所述第四控制指令进行控制操作;或获取所述第一人脸图像和所述第一距离对应的手势与控制指令的第九映射关系,基于所述第九映射关系确定所述第一手势对应的第五控制指令,基于所述第五控制指令进行控制操作。
2.根据权利要求1所述的方法,其特征在于,所述识别所述第一用户的手势,包括:
获取所述第一用户的手势图像;
将所述手势图像进行图像分割,得到多个手势子图像;
确定每个所述手势子图像包括的图像特征的第一数量;
按照所述手势子图像的图像特征的第一数量的大小顺序,依次将所述多个手势子图像与手势模板进行匹配;
若已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于预设阈值,则停止图像匹配,以及确定所述手势模板对应的手势为所述第一用户的手势;
若已匹配的所述手势子图像与所述手势模板的匹配度的和小于所述预设阈值,则继续进行图像匹配,直至已匹配的所述手势子图像与所述手势模板的匹配度的和大于或等于所述预设阈值。
3.根据权利要求2所述的方法,其特征在于,所述将所述手势图像进行图像分割,得到多个手势子图像,包括:
确定所述手势图像包括的图像特征的第二数量;
基于所述第二数量确定图像分割策略;
基于所述图像分割策略对所述手势图像进行图像分割,得到多个手势子图像。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于识别到的所述第一用户的第一手势进行控制操作,包括:
获取当前时刻对应的手势与控制指令的第二映射关系;
基于所述第二映射关系确定所述第一手势对应的第二控制指令;
基于所述第二控制指令进行控制操作。
5.一种手势控制装置,其特征在于,应用于传感器设备,所述装置包括:
距离确定单元,用于确定所述传感器设备与N个用户的距离,所述N为正整数;
识别单元,用于在所述距离确定单元确定所述传感器设备与N个用户的距离的过程中,对所述N个用户进行脸型识别;
所述识别单元,还用于若所述传感器设备与第一用户的第一距离处于预设距离范围,对所述第一用户进行人脸采集,得到第一人脸图像,基于所述第一人脸图像进行人脸识别,确定所述人脸识别成功,且识别到所述第一用户的脸型为正脸,则识别所述第一用户的手势,所述N个用户包括所述第一用户;
控制单元,用于基于所述第一距离和所述第一用户的第一人脸图像中的至少一项,以及识别到的所述第一用户的第一手势进行控制操作,包括:获取所述第一人脸图像和当前时刻对应的手势与控制指令的第七映射关系,基于所述第七映射关系确定所述第一手势对应的第四控制指令,基于所述第四控制指令进行控制操作;或获取所述第一人脸图像和所述第一距离对应的手势与控制指令的第九映射关系,基于所述第九映射关系确定所述第一手势对应的第五控制指令,基于所述第五控制指令进行控制操作。
6.一种传感器设备,其特征在于,所述传感器设备包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-4任一项所述的方法中的步骤的指令。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理执行如权利要求1-4任意一项所述的方法。
CN202010076895.2A 2020-01-23 2020-01-23 手势控制方法及相关设备 Active CN111291671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010076895.2A CN111291671B (zh) 2020-01-23 2020-01-23 手势控制方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010076895.2A CN111291671B (zh) 2020-01-23 2020-01-23 手势控制方法及相关设备

Publications (2)

Publication Number Publication Date
CN111291671A CN111291671A (zh) 2020-06-16
CN111291671B true CN111291671B (zh) 2024-05-14

Family

ID=71026898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010076895.2A Active CN111291671B (zh) 2020-01-23 2020-01-23 手势控制方法及相关设备

Country Status (1)

Country Link
CN (1) CN111291671B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541450A (zh) * 2020-12-18 2021-03-23 Oppo广东移动通信有限公司 情景感知功能控制方法及相关装置
CN112765823B (zh) * 2021-01-26 2022-11-18 北京城建智控科技股份有限公司 一种基于大数据的远程桌面控制系统及方法
CN115223236A (zh) * 2021-04-19 2022-10-21 华为技术有限公司 设备控制方法和电子设备
CN113568502A (zh) * 2021-07-16 2021-10-29 深圳市鸿合创新信息技术有限责任公司 一种交互方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293076A (zh) * 2016-07-29 2017-01-04 北京奇虎科技有限公司 通信终端及智能终端手势识别方法和装置
CN106846564A (zh) * 2016-12-29 2017-06-13 湖南拓视觉信息技术有限公司 一种智能门禁系统及控制方法
CN107261498A (zh) * 2017-06-08 2017-10-20 深圳市乃斯网络科技有限公司 终端基于手势的游戏控制方法及系统
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调
CN107679860A (zh) * 2017-08-09 2018-02-09 百度在线网络技术(北京)有限公司 一种用户认证的方法、装置、设备和计算机存储介质
WO2018103625A1 (zh) * 2016-12-06 2018-06-14 深圳市国华识别科技开发有限公司 终端呼叫方法与系统
CN108924417A (zh) * 2018-07-02 2018-11-30 Oppo(重庆)智能科技有限公司 拍摄控制方法及相关产品
CN110705356A (zh) * 2019-08-31 2020-01-17 深圳市大拿科技有限公司 功能控制方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014523012A (ja) * 2011-07-01 2014-09-08 エンパイア テクノロジー ディベロップメント エルエルシー 適応型ユーザインターフェース

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293076A (zh) * 2016-07-29 2017-01-04 北京奇虎科技有限公司 通信终端及智能终端手势识别方法和装置
WO2018103625A1 (zh) * 2016-12-06 2018-06-14 深圳市国华识别科技开发有限公司 终端呼叫方法与系统
CN106846564A (zh) * 2016-12-29 2017-06-13 湖南拓视觉信息技术有限公司 一种智能门禁系统及控制方法
CN107261498A (zh) * 2017-06-08 2017-10-20 深圳市乃斯网络科技有限公司 终端基于手势的游戏控制方法及系统
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调
CN107679860A (zh) * 2017-08-09 2018-02-09 百度在线网络技术(北京)有限公司 一种用户认证的方法、装置、设备和计算机存储介质
CN108924417A (zh) * 2018-07-02 2018-11-30 Oppo(重庆)智能科技有限公司 拍摄控制方法及相关产品
CN110705356A (zh) * 2019-08-31 2020-01-17 深圳市大拿科技有限公司 功能控制方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
新型便携式自主视力检测仪;乔一涵;鲍康胜;朱明;;中国科技教育;20180515(05);全文 *

Also Published As

Publication number Publication date
CN111291671A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291671B (zh) 手势控制方法及相关设备
US9760808B2 (en) Image processing system, server device, image pickup device and image evaluation method
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及系统
JP6588413B2 (ja) 監視装置および監視方法
CN110705356B (zh) 功能控制方法及相关设备
CN109784028B (zh) 人脸解锁方法及相关装置
CN112446244A (zh) 人体动作的识别方法、神经网络的训练方法及相关装置、设备
CN112562159B (zh) 一种门禁控制方法、装置、计算机设备和存储介质
CN108197585A (zh) 脸部识别方法和装置
WO2023098287A1 (zh) 消息推送方法、装置、存储介质及电子装置
CN110941992A (zh) 微笑表情检测方法、装置、计算机设备及存储介质
CN111654616A (zh) 拍摄方法和系统
CN114898443A (zh) 一种人脸数据获取方法及装置
CN104202694A (zh) 语音拾取装置的定向方法和系统
CN104851151A (zh) 一种安全识别监控系统
CN212181480U (zh) 一种人脸识别装置、电子设备及应用系统
CN116152906A (zh) 图像识别方法、装置、通信设备及可读存储介质
CN210721506U (zh) 一种基于3d摄像头的动态人脸识别终端
CN113609987A (zh) 基于Boost行人防误判的变电站视频监控系统及其方法
CN106548143A (zh) 一种基于面部识别技术及记忆功能的人脸识别系统及方法
CN117011964B (zh) 门禁系统及门禁监控方法
CN115118536B (zh) 分享方法、控制设备及计算机可读存储介质
KR20180076838A (ko) 지능형 영상 처리 기반의 출입 정보 분석 시스템 및 방법
US20220230410A1 (en) Object localization in video
CN116206332B (zh) 一种基于姿态估计的行人重识别方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant