CN113641243A - 可穿戴设备的交互式手势识别方法、系统及可穿戴设备 - Google Patents

可穿戴设备的交互式手势识别方法、系统及可穿戴设备 Download PDF

Info

Publication number
CN113641243A
CN113641243A CN202110946660.9A CN202110946660A CN113641243A CN 113641243 A CN113641243 A CN 113641243A CN 202110946660 A CN202110946660 A CN 202110946660A CN 113641243 A CN113641243 A CN 113641243A
Authority
CN
China
Prior art keywords
application program
control information
gesture operation
wearable device
operation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110946660.9A
Other languages
English (en)
Other versions
CN113641243B (zh
Inventor
徐军莉
穆振东
王平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Technology
Original Assignee
Jiangxi University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Technology filed Critical Jiangxi University of Technology
Priority to CN202110946660.9A priority Critical patent/CN113641243B/zh
Publication of CN113641243A publication Critical patent/CN113641243A/zh
Application granted granted Critical
Publication of CN113641243B publication Critical patent/CN113641243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

本发明提出一种可穿戴设备的交互式手势识别方法、系统及可穿戴设备，该方法包括：判断传感器检测到的可穿戴设备的当前状态信息是否符合触发条件；若当前状态信息符合触发条件，则获取摄像头采集到的含有用户手部的目标图像；将目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；判断可穿戴设备是否存在正在前台运行的应用程序；若不存在，则调用目标应用程序；获取目标应用程序中与手势操作结果对应的控制信息；在目标应用程序中执行与控制信息对应的功能。本发明能够解决现有技术中容易出现误触发的情况、以及当可穿戴设备的操作系统处于桌面状态时，无法执行手势识别操作的问题。

Description

可穿戴设备的交互式手势识别方法、系统及可穿戴设备
技术领域
本发明涉及智能设备技术领域，特别涉及一种可穿戴设备的交互式手势识别方法、系统及可穿戴设备。
背景技术
随着科技的快速发展，智能终端设备得到普及和应用，可穿戴设备是指能够直接穿在用户身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，其还能通过软件支持来实现强大的功能。
主流的智能可穿戴设备包括智能手环、智能手表等。目前，通过可穿戴设备进行信息交互的技术正处于快速发展阶段，由于可穿戴设备的体积通常较小，为了便于交互，通常会在可穿戴设备上配置摄像头，通过手势识别进行相应的交互。
然而，现有的可穿戴设备在进行手势识别时，容易出现误触发的情况，且当可穿戴设备的操作系统处于桌面状态时，无法执行手势识别操作，影响了实际的交互体验。
发明内容
为此，本发明的一个实施例提出一种可穿戴设备的交互式手势识别方法，以解决现有技术中容易出现误触发的情况、以及当可穿戴设备的操作系统处于桌面状态时，无法执行手势识别操作的问题。
根据本发明一实施例提出的可穿戴设备的交互式手势识别方法，所述方法包括：
判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件，所述触发条件为加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值，所述传感器安装在所述可穿戴设备内；
若所述当前状态信息符合触发条件，则获取摄像头采集到的含有用户手部的目标图像，所述摄像头安装在所述可穿戴设备上；
将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
判断所述可穿戴设备是否存在正在前台运行的应用程序；
若所述可穿戴设备不存在正在前台运行的应用程序，则调用目标应用程序，所述目标应用程序为所述可穿戴设备中最近一次使用的应用程序；
获取所述目标应用程序中与所述手势操作结果对应的控制信息；
在所述目标应用程序中执行与所述控制信息对应的功能；
其中，判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件的方法包括如下步骤：
根据获取的加速度值以及角度预设值计算得到当前触发分值；
判断所述当前触发分值是否大于预设触发分值；
若是，则判定所述当前状态信息符合触发条件；
其中，所述当前触发分值的表达式为：
Figure BDA0003216921910000021
h为所述当前触发分值，
Figure BDA0003216921910000022
为第一系数，β为第二系数，Ha为加速度初始分值，Hw为角度初始分值，a为检测到的加速度值，as为所述加速度预设值，w为检测到的角度值，ws为所述角度预设值。
根据本发明一实施例提出的可穿戴设备的交互式手势识别方法，只有在加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值时，才会获取摄像头采集到的含有用户手部的目标图像，再进行后续的手势识别，能够有效避免手势识别误触发情况的发生；
此外，当可穿戴设备不存在正在前台运行的应用程序时(例如可穿戴设备的操作系统处于桌面状态时)，会调用目标应用程序，即自动调用可穿戴设备中最近一次使用的应用程序，然后在目标应用程序中执行与控制信息对应的功能，提升了手势识别的交互体验。
另外，根据本发明上述实施例提出的可穿戴设备的交互式手势识别方法，还可以具有如下附加的技术特征：
进一步地，判断所述可穿戴设备是否存在正在前台运行的应用程序的步骤之后，所述方法还包括：
若所述可穿戴设备存在正在前台运行的应用程序，则判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息；
若正在前台运行的应用程序中存在与所述手势操作结果对应的控制信息，则获取正在前台运行的应用程序中与所述手势操作结果对应的控制信息，并在正在前台运行的应用程序中执行与所述控制信息对应的功能。
进一步地，判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息的步骤之后，所述方法还包括：
若正在前台运行的应用程序中不存在与所述手势操作结果对应的控制信息，则调用目标应用程序，并获取所述目标应用程序中与所述手势操作结果对应的控制信息，在所述目标应用程序中执行与所述控制信息对应的功能。
进一步地，获取所述目标应用程序中与所述手势操作结果对应的控制信息的步骤具体包括：
判断所述目标应用程序中是否存在与所述手势操作结果对应的控制信息；
若所述目标应用程序中存在与所述手势操作结果对应的控制信息，则调取对应的控制信息；
若所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则弹出提示信息，所述提示信息用于提示在所述目标应用程序中，当前的手势操作未被识别。
进一步地，所述方法还包括：
若当前的所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则监测获取在后台运行的所有的应用程序；
从所述后台运行的所有的应用程序中，筛选出含有与所述手势操作结果对应的控制信息的应用程序，并将使用频率最高的应用程序作为备用的目标应用程序。
进一步地，在系统接收到自定义模式的确认点击信号之后，所述方法还包括：
将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
从正在前台运行的以及后台运行的所有的应用程序中，筛选出所有含有与所述手势操作结果对应的控制信息的应用程序；
将筛选出的所有含有与所述手势操作结果对应的控制信息的应用程序，按照使用频率高低的顺序自动生成一可选择程序列表以供用户选择。
进一步地，在系统接收到自定义模式的确认点击信号之后，所述方法还包括：
将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
从正在前台运行的以及后台运行的所有的应用程序中，筛选出所有含有与所述手势操作结果对应的控制信息的应用程序；
根据每个所述应用程序对应的用户注册数量以及用户评分均值计算得到对应的推荐分值；
根据每个所述应用程序对应的推荐分值以及程序类型属性，生成多个子推荐列表，以供用户选择；
所述推荐分值的计算公式为：
Figure BDA0003216921910000041
其中，T表示推荐分值，T0表示基础推荐分值，λ1表示第一权重系数，_λ2表示第二权重系数，N表示用户注册数量，N0表示用户注册基准数量，Q表示用户评分均值。
本发明的另一个实施例提出一种可穿戴设备的交互式手势识别系统，以解决现有技术中容易出现误触发的情况、以及当可穿戴设备的操作系统处于桌面状态时，无法执行手势识别操作的问题。
根据本发明一实施例提出的可穿戴设备的交互式手势识别系统，所述系统包括：
第一判断模块，用于判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件，所述触发条件为加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值，所述传感器安装在所述可穿戴设备内；
第一获取模块，用于若所述当前状态信息符合触发条件，则获取摄像头采集到的含有用户手部的目标图像，所述摄像头安装在所述可穿戴设备上；
检测模块，用于将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
第二判断模块，用于判断所述可穿戴设备是否存在正在前台运行的应用程序；
第一调用模块，用于若所述可穿戴设备不存在正在前台运行的应用程序，则调用目标应用程序，所述目标应用程序为所述可穿戴设备中最近一次使用的应用程序；
第二获取模块，用于获取所述目标应用程序中与所述手势操作结果对应的控制信息；
执行模块，用于在所述目标应用程序中执行与所述控制信息对应的功能。
根据本发明一实施例提出的可穿戴设备的交互式手势识别系统，只有在加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值时，才会获取摄像头采集到的含有用户手部的目标图像，再进行后续的手势识别，能够有效避免手势识别误触发情况的发生；
此外，当可穿戴设备不存在正在前台运行的应用程序时(例如可穿戴设备的操作系统处于桌面状态时)，会调用目标应用程序，即自动调用可穿戴设备中最近一次使用的应用程序，然后在目标应用程序中执行与控制信息对应的功能，提升了手势识别的交互体验。
进一步地，所述系统还包括：
第三判断模块，用于若所述可穿戴设备存在正在前台运行的应用程序，则判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息；
第三获取模块，用于若正在前台运行的应用程序中存在与所述手势操作结果对应的控制信息，则获取正在前台运行的应用程序中与所述手势操作结果对应的控制信息，并在正在前台运行的应用程序中执行与所述控制信息对应的功能。
进一步地，所述系统还包括：
第二调用模块，用于若正在前台运行的应用程序中不存在与所述手势操作结果对应的控制信息，则调用目标应用程序，并获取所述目标应用程序中与所述手势操作结果对应的控制信息，在所述目标应用程序中执行与所述控制信息对应的功能。
进一步地，所述第二获取模块具体包括：
判断单元，用于判断所述目标应用程序中是否存在与所述手势操作结果对应的控制信息；
调取单元，用于若所述目标应用程序中存在与所述手势操作结果对应的控制信息，则调取对应的控制信息。
进一步地，所述第二获取模块还包括：
提示单元，若所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则弹出提示信息，所述提示信息用于提示在所述目标应用程序中，当前的手势操作未被识别。
一种可穿戴设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上所述的方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明第一实施例提出的可穿戴设备的交互式手势识别方法的流程图；
图2是图1中步骤S106的详细流程图；
图3是图1中步骤S104的详细流程图；
图4是本发明第二实施例提出的可穿戴设备的交互式手势识别方法的流程图；
图5是本发明第三实施例提出的可穿戴设备的交互式手势识别方法的流程图；
图6是本发明第四实施例提出的可穿戴设备的交互式手势识别方法的流程图；
图7是本发明第五实施例提出的可穿戴设备的交互式手势识别系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1，本发明第一实施例提出的可穿戴设备的交互式手势识别方法，包括步骤S101～S107：
S101，判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件，所述触发条件为加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值，所述传感器安装在所述可穿戴设备内。
其中，可穿戴设备例如是智能手表、智能手环等，可穿戴设备的触控显示屏的尺寸通常比较小。可穿戴设备可以为具有IOS或者Android系统的智能手机。
可穿戴设备内置传感器，常见的传感器如加速度传感器、陀螺仪传感器等，通过加速度传感器检测可穿戴设备的加速度、通过陀螺仪传感器检测可穿戴设备的角度。
需要指出的是，具体实施时，可以通过设置传感集线器(Sensor Hub)，传感集线器集成了加速度传感器、陀螺仪传感器、磁力传感器、接近光传感器、环境光感传感器等，能够节省可穿戴设备内部的布置空间。
可穿戴设备通过传感集线器检测自身的状态，从而获取可穿戴设备的当前状态信息。
通过判断当前状态信息是否符合触发条件来判断用户是否需要进行手势识别，当加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值时，表示用户此时需要进行手势识别。
在本实施例中，判断传感器检测到的可穿戴设备的当前状态信息是否符合触发条件的方法包括如下步骤：
S1011，根据获取的加速度值以及角度预设值计算得到当前触发分值。
其中，当前触发分值的表达式为：
Figure BDA0003216921910000081
h为所述当前触发分值，
Figure BDA0003216921910000082
为第一系数，β为第二系数，Ha为加速度初始分值，Hw为角度初始分值，a为检测到的加速度值，as为所述加速度预设值，w为检测到的角度值，ws为所述角度预设值。
S1012，判断所述当前触发分值是否大于预设触发分值。
在本步骤中，将上述计算得到的当前触发分值H与预设触发分值Hs进行比较。在此可以理解的，若检测到的加速度值a小于加速度预设值as，则有关加速度的这一整体项的计算结果为负数。同理，若检测到的角度值w小于角度预设值ws，则有关角度的这一整体项的计算结果为负数。在本步骤中，通过设置合理的预设触发分值Hs，有利于准确判断是否符合触发条件。
S1013，若是，则判定所述当前状态信息符合触发条件。
如上所述，若当前触发分值大于预设触发分值，则判定当前状态信息符合触发条件。S102，若所述当前状态信息符合触发条件，则获取摄像头采集到的含有用户手部的目标图像，所述摄像头安装在所述可穿戴设备上。
其中，若当前状态信息符合触发条件，即当加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值时，系统才会获取摄像头采集到的含有用户手部的目标图像。
反之，若当前状态信息不符合触发条件，系统并不会获取摄像头采集到的含有用户手部的目标图像，避免误操作情况的发生。
S103，将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果。
其中，手部检测深度学习模型是需要训练好的，通过将目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，能够得到手势操作结果。常见的手势操作结果包括：向右挥手、向左挥手、向上挥手、向下挥手、左手或右手举起来回摆动、左手或右手在适当的位置停留至少预设时间等。
S104，判断所述可穿戴设备是否存在正在前台运行的应用程序。
其中，通过判断可穿戴设备是否存在正在前台运行的应用程序，能够判断出可穿戴设备的操作系统当前是否处于桌面状态。若存在正在前台运行的应用程序，则表明可穿戴设备的操作系统当前处于非桌面状态，反之，若不存在正在前台运行的应用程序，则表明可穿戴设备的操作系统当前处于桌面状态。
S105，若所述可穿戴设备不存在正在前台运行的应用程序，则调用目标应用程序，所述目标应用程序为所述可穿戴设备中最近一次使用的应用程序。
其中，目标应用程序为可穿戴设备中最近一次使用的应用程序，目标应用程序可以已经在后台打开，也可以处于非后台打开的状态。需要指出的是，若可穿戴设备处于初次开机的状态，此时可能不存在最近一次使用的应用程序。对于这种情况，可以通过弹出交互界面的方式，提示用户选择一个应用程序作为目标应用程序。
S106，获取所述目标应用程序中与所述手势操作结果对应的控制信息。
其中，需要指出的是，对于不同的应用程序，手势操作结果对应的控制信息可以不同。例如，对于某音乐播放类的应用程序，向右挥手这一手势操作结果对应的控制信息是暂定/继续播放；对于某聊天类的应用程序，向右挥手这一手势操作结果对应的发送聊天信息。因此，在步骤S106中，需要获取目标应用程序中与手势操作结果对应的控制信息。
具体的，请参阅图2，获取所述目标应用程序中与所述手势操作结果对应的控制信息的步骤具体包括：
S1061，判断所述目标应用程序中是否存在与所述手势操作结果对应的控制信息；
S1062，若所述目标应用程序中存在与所述手势操作结果对应的控制信息，则调取对应的控制信息。
S1063，若所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则弹出提示信息，所述提示信息用于提示在所述目标应用程序中，当前的手势操作未被识别。
S107，在所述目标应用程序中执行与所述控制信息对应的功能。
其中，在获取到目标应用程序中与手势操作结果对应的控制信息，通过操作系统，在目标应用程序中执行相应的功能即可完成手势识别的交互操作。
根据本实施例提供的可穿戴设备的交互式手势识别方法，只有在加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值时，才会获取摄像头采集到的含有用户手部的目标图像，再进行后续的手势识别，能够有效避免手势识别误触发情况的发生；
此外，当可穿戴设备不存在正在前台运行的应用程序时(例如可穿戴设备的操作系统处于桌面状态时)，会调用目标应用程序，即自动调用可穿戴设备中最近一次使用的应用程序，然后在目标应用程序中执行与控制信息对应的功能，提升了手势识别的交互体验。
此外，作为一个具体示例，请参阅图3，在判断所述可穿戴设备是否存在正在前台运行的应用程序的步骤中，所述方法包括：
S1041，若所述可穿戴设备存在正在前台运行的应用程序，则判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息；
S1042，若正在前台运行的应用程序中存在与所述手势操作结果对应的控制信息，则获取正在前台运行的应用程序中与所述手势操作结果对应的控制信息，并在正在前台运行的应用程序中执行与所述控制信息对应的功能。
此外，判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息的步骤之后，所述方法还包括：
若正在前台运行的应用程序中不存在与所述手势操作结果对应的控制信息，则调用目标应用程序，并获取所述目标应用程序中与所述手势操作结果对应的控制信息，在所述目标应用程序中执行与所述控制信息对应的功能。
实施例二：
如上述第一实施例所述，目标应用程序为可穿戴设备中最近一次使用的应用程序。由于在所调用的目标应用程序中，也不一定存在与所述手势操作结果对应的控制信息。此时则目标应用程序不能被正常使用。为了保证用户的正常使用体验，请参阅图4，对于本发明第二实施例提出的可穿戴设备的交互式手势识别方法，所述方法包括：
S201，若当前的所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则监测获取在后台运行的所有的应用程序。
如上述第一实施例中所述，若正在前台运行的应用程序中不存在与手势操作结果对应的控制信息，则调用目标应用程序。然而，在本步骤中，所调用的当前的目标应用程序中也不存在与手势操作结果相对应的控制信息，则监测获取在后台运行的所有的应用程序。
例如，最近一次使用的应用程序(也即目标应用程序)为“指南针”，手势操作为向右挥手。然后，向右挥手这一手势操作在“指南针”的目标应用程序中不存在对应的控制信息，则此时监测获取在后台运行的所有应用程序。
S202，从所述后台运行的所有的应用程序中，筛选出含有与所述手势操作结果对应的控制信息的应用程序，并将使用频率最高的应用程序作为备用的目标应用程序。
进一步的，在本步骤中，从后台运行的所有的应用程序中，筛选出含有与所述手势操作结果对应的控制信息的应用程序。例如，向右挥手这一手势操作对应的控制信息的应用程序，包括音乐播放类的应用程序“酷狗音乐”、聊天类的应用程序“QQ”以及视频内容应用程序“抖音”。
在筛选出含有与所述手势操作结果对应的控制信息的应用程序之后，将使用频率最高的应用程序作为备用的目标应用程序。例如，将使用频率最高的应用程序“抖音”作为备用的目标应用程序，以保证用户能够继续体验对应的应用程序。
实施例三：
在实际应用中，为了给用户提供更大的操作自由度，可设置系统的操作模式为自定义模式。请参阅图5，对于本发明第三实施例提出的可穿戴设备的交互式手势识别方法，在系统接收到自定义模式的确认点击信号之后，所述方法包括：
S301，将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果。
S302，从正在前台运行的以及后台运行的所有的应用程序中，筛选出所有含有与所述手势操作结果对应的控制信息的应用程序。
可以理解的，应用程序包括正在前台运行以及后台运行两种状态。如上所述，根据手势操作结果可查找筛选出所有与手势操作结果对应的控制信息的应用程序。
S303，将筛选出的所有含有与所述手势操作结果对应的控制信息的应用程序，按照使用频率高低的顺序自动生成一可选择程序列表以供用户选择。
进一步的，在筛选出的所有含有与所述手势操作结果对应的控制信息的应用程序，按照使用频率高低的顺序自动生成一可选择程序列表以供用户选择。可以理解的，用户可根据自身的体验喜好，对应选择对应的应用程序进行体验，提高了操作体验的自由度。
实施例四：
同理，为了给用户提供更大的操作自由度，可设置系统的操作模式为自定义模式。请参阅图6，对于本发明第四实施例提出的可穿戴设备的交互式手势识别方法，在系统接收到自定义模式的确认点击信号之后，所述方法包括：
S401，将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果。
S402，从正在前台运行的以及后台运行的所有的应用程序中，筛选出所有含有与所述手势操作结果对应的控制信息的应用程序。
S403，根据每个所述应用程序对应的用户注册数量以及用户评分均值计算得到对应的推荐分值。
在本步骤中，推荐分值的计算公式为：
Figure BDA0003216921910000131
其中，T表示推荐分值，T0表示基础推荐分值，λ1表示第一权重系数，λ2表示第二权重系数，N表示用户注册数量，N0表示用户注册基准数量，
Figure BDA0003216921910000132
表示用户评分均值。
S404，根据每个所述应用程序对应的推荐分值以及程序类型属性，生成多个子推荐列表，以供用户选择。
如上所述，在计算得到了每个应用程序对应的推荐分值之后，可根据应用程序对应的程序类型属性，将同一类的应用程序，按照对应的推荐分值进行排列，以生成多个子推荐列表，从而更好地便于用户进行选择，以实现更好的交互体验。
实施例五：
请参阅图7，基于同一发明构思，本发明第五实施例提出一种可穿戴设备的交互式手势识别系统，包括：
第一判断模块11，用于判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件，所述触发条件为加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值，所述传感器安装在所述可穿戴设备内；
第一获取模块12，用于若所述当前状态信息符合触发条件，则获取摄像头采集到的含有用户手部的目标图像，所述摄像头安装在所述可穿戴设备上；
检测模块13，用于将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
第二判断模块14，用于判断所述可穿戴设备是否存在正在前台运行的应用程序；
第一调用模块15，用于若所述可穿戴设备不存在正在前台运行的应用程序，则调用目标应用程序，所述目标应用程序为所述可穿戴设备中最近一次使用的应用程序；
第二获取模块16，用于获取所述目标应用程序中与所述手势操作结果对应的控制信息；
执行模块17，用于在所述目标应用程序中执行与所述控制信息对应的功能。
本实施例中，所述系统还包括：
第三判断模块18，用于若所述可穿戴设备存在正在前台运行的应用程序，则判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息；
第三获取模块19，用于若正在前台运行的应用程序中存在与所述手势操作结果对应的控制信息，则获取正在前台运行的应用程序中与所述手势操作结果对应的控制信息，并在正在前台运行的应用程序中执行与所述控制信息对应的功能。
本实施例中，所述系统还包括：
第二调用模块20，用于若正在前台运行的应用程序中不存在与所述手势操作结果对应的控制信息，则调用目标应用程序，并获取所述目标应用程序中与所述手势操作结果对应的控制信息，在所述目标应用程序中执行与所述控制信息对应的功能。
本实施例中，所述第二获取模块16具体包括：
判断单元，用于判断所述目标应用程序中是否存在与所述手势操作结果对应的控制信息；
调取单元，用于若所述目标应用程序中存在与所述手势操作结果对应的控制信息，则调取对应的控制信息。
本实施例中，所述第二获取模块16还包括：
提示单元，若所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则弹出提示信息，所述提示信息用于提示在所述目标应用程序中，当前的手势操作未被识别。
根据本实施例提供的用于可穿戴设备的手势识别系统，只有在加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值时，才会获取摄像头采集到的含有用户手部的目标图像，再进行后续的手势识别，能够有效避免手势识别误触发情况的发生；
此外，当可穿戴设备不存在正在前台运行的应用程序时(例如可穿戴设备的操作系统处于桌面状态时)，会调用目标应用程序，即自动调用可穿戴设备中最近一次使用的应用程序，然后在目标应用程序中执行与控制信息对应的功能，提升了手势识别的交互体验。
本发明还提出一种可穿戴设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上所述的方法。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种可穿戴设备的交互式手势识别方法，其特征在于，所述方法包括：
判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件，所述触发条件为加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值，所述传感器安装在所述可穿戴设备内；
若所述当前状态信息符合触发条件，则获取摄像头采集到的含有用户手部的目标图像，所述摄像头安装在所述可穿戴设备上；
将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
判断所述可穿戴设备是否存在正在前台运行的应用程序；
若所述可穿戴设备不存在正在前台运行的应用程序，则调用目标应用程序，所述目标应用程序为所述可穿戴设备中最近一次使用的应用程序；
获取所述目标应用程序中与所述手势操作结果对应的控制信息；
在所述目标应用程序中执行与所述控制信息对应的功能；
其中，判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件的方法包括如下步骤：
根据获取的加速度值以及角度预设值计算得到当前触发分值；
判断所述当前触发分值是否大于预设触发分值；
若是，则判定所述当前状态信息符合触发条件；
其中，所述当前触发分值的表达式为：
Figure FDA0003216921900000011
H为所述当前触发分值，
Figure FDA0003216921900000012
为第一系数，β为第二系数，Ha为加速度初始分值，Hw为角度初始分值，a为检测到的加速度值，as为所述加速度预设值，w为检测到的角度值，ws为所述角度预设值。
2.根据权利要求1所述的可穿戴设备的交互式手势识别方法，其特征在于，判断所述可穿戴设备是否存在正在前台运行的应用程序的步骤之后，所述方法还包括：
若所述可穿戴设备存在正在前台运行的应用程序，则判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息；
若正在前台运行的应用程序中存在与所述手势操作结果对应的控制信息，则获取正在前台运行的应用程序中与所述手势操作结果对应的控制信息，并在正在前台运行的应用程序中执行与所述控制信息对应的功能。
3.根据权利要求2所述的可穿戴设备的交互式手势识别方法，其特征在于，判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息的步骤之后，所述方法还包括：
若正在前台运行的应用程序中不存在与所述手势操作结果对应的控制信息，则调用目标应用程序，并获取所述目标应用程序中与所述手势操作结果对应的控制信息，在所述目标应用程序中执行与所述控制信息对应的功能。
4.根据权利要求1所述的可穿戴设备的交互式手势识别方法，其特征在于，获取所述目标应用程序中与所述手势操作结果对应的控制信息的步骤具体包括：
判断所述目标应用程序中是否存在与所述手势操作结果对应的控制信息；
若所述目标应用程序中存在与所述手势操作结果对应的控制信息，则调取对应的控制信息；
若所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则弹出提示信息，所述提示信息用于提示在所述目标应用程序中，当前的手势操作未被识别。
5.根据权利要求4所述的可穿戴设备的交互式手势识别方法，其特征在于，所述方法还包括：
若当前的所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则监测获取在后台运行的所有的应用程序；
从所述后台运行的所有的应用程序中，筛选出含有与所述手势操作结果对应的控制信息的应用程序，并将使用频率最高的应用程序作为备用的目标应用程序。
6.根据权利要求4所述的可穿戴设备的交互式手势识别方法，其特征在于，在系统接收到自定义模式的确认点击信号之后，所述方法还包括：
将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
从正在前台运行的以及后台运行的所有的应用程序中，筛选出所有含有与所述手势操作结果对应的控制信息的应用程序；
将筛选出的所有含有与所述手势操作结果对应的控制信息的应用程序，按照使用频率高低的顺序自动生成一可选择程序列表以供用户选择。
7.根据权利要求4所述的可穿戴设备的交互式手势识别方法，其特征在于，在系统接收到自定义模式的确认点击信号之后，所述方法还包括：
将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
从正在前台运行的以及后台运行的所有的应用程序中，筛选出所有含有与所述手势操作结果对应的控制信息的应用程序；
根据每个所述应用程序对应的用户注册数量以及用户评分均值计算得到对应的推荐分值；
根据每个所述应用程序对应的推荐分值以及程序类型属性，生成多个子推荐列表，以供用户选择；
所述推荐分值的计算公式为：
Figure FDA0003216921900000031
其中，T表示推荐分值，T0表示基础推荐分值，λ1表示第一权重系数，λ2表示第二权重系数，N表示用户注册数量，N0表示用户注册基准数量，
Figure FDA0003216921900000032
表示用户评分均值。
8.一种可穿戴设备的交互式手势识别系统，其特征在于，所述系统包括：
第一判断模块，用于判断传感器检测到的所述可穿戴设备的当前状态信息是否符合触发条件，所述触发条件为加速度传感器检测的加速度值达到加速度预设值或陀螺仪传感器检测的角度值达到角度预设值，所述传感器安装在所述可穿戴设备内；
第一获取模块，用于若所述当前状态信息符合触发条件，则获取摄像头采集到的含有用户手部的目标图像，所述摄像头安装在所述可穿戴设备上；
检测模块，用于将所述目标图像输入到预设的手部检测深度学习模型中进行手势操作检测，以获取手势操作结果；
第二判断模块，用于判断所述可穿戴设备是否存在正在前台运行的应用程序；
第一调用模块，用于若所述可穿戴设备不存在正在前台运行的应用程序，则调用目标应用程序，所述目标应用程序为所述可穿戴设备中最近一次使用的应用程序；
第二获取模块，用于获取所述目标应用程序中与所述手势操作结果对应的控制信息；
执行模块，用于在所述目标应用程序中执行与所述控制信息对应的功能；
所述系统还包括：
第三判断模块，用于若所述可穿戴设备存在正在前台运行的应用程序，则判断正在前台运行的应用程序中是否存在与所述手势操作结果对应的控制信息；
第三获取模块，用于若正在前台运行的应用程序中存在与所述手势操作结果对应的控制信息，则获取正在前台运行的应用程序中与所述手势操作结果对应的控制信息，并在正在前台运行的应用程序中执行与所述控制信息对应的功能；
第二调用模块，用于若正在前台运行的应用程序中不存在与所述手势操作结果对应的控制信息，则调用目标应用程序，并获取所述目标应用程序中与所述手势操作结果对应的控制信息，在所述目标应用程序中执行与所述控制信息对应的功能。
9.根据权利要求8所述的可穿戴设备的交互式手势识别系统，其特征在于，所述第二获取模块具体包括：
判断单元，用于判断所述目标应用程序中是否存在与所述手势操作结果对应的控制信息；
调取单元，用于若所述目标应用程序中存在与所述手势操作结果对应的控制信息，则调取对应的控制信息；
提示单元，若所述目标应用程序中不存在与所述手势操作结果对应的控制信息，则弹出提示信息，所述提示信息用于提示在所述目标应用程序中，当前的手势操作未被识别。
10.一种可穿戴设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
CN202110946660.9A 2021-08-18 2021-08-18 可穿戴设备的交互式手势识别方法、系统及可穿戴设备 Active CN113641243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110946660.9A CN113641243B (zh) 2021-08-18 2021-08-18 可穿戴设备的交互式手势识别方法、系统及可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110946660.9A CN113641243B (zh) 2021-08-18 2021-08-18 可穿戴设备的交互式手势识别方法、系统及可穿戴设备

Publications (2)

Publication Number Publication Date
CN113641243A true CN113641243A (zh) 2021-11-12
CN113641243B CN113641243B (zh) 2022-03-18

Family

ID=78422539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110946660.9A Active CN113641243B (zh) 2021-08-18 2021-08-18 可穿戴设备的交互式手势识别方法、系统及可穿戴设备

Country Status (1)

Country Link
CN (1) CN113641243B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049806A (zh) * 2014-06-30 2014-09-17 广东欧珀移动通信有限公司 一种触控终端及其操控方法和系统
CN104866212A (zh) * 2014-02-20 2015-08-26 维沃移动通信有限公司 一种快速调用程序或功能的方法及其系统
CN104978014A (zh) * 2014-04-11 2015-10-14 维沃移动通信有限公司 一种快速调用应用程序或系统功能的方法及其移动终端
CN105204632A (zh) * 2015-09-14 2015-12-30 惠州Tcl移动通信有限公司 一种控制智能移动终端进入静音模式的方法及可穿戴设备
US20160210080A1 (en) * 2015-01-20 2016-07-21 Ultrata Llc Object memory data flow instruction execution
CN107924371A (zh) * 2015-06-09 2018-04-17 乌尔特拉塔有限责任公司 带有路由器的无限存储器结构硬件实现方案
CN108027738A (zh) * 2015-05-27 2018-05-11 苹果公司 用于在触敏设备上主动识别和显示相关内容的系统和方法
CN108829337A (zh) * 2018-06-29 2018-11-16 努比亚技术有限公司 设备控制方法、装置及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866212A (zh) * 2014-02-20 2015-08-26 维沃移动通信有限公司 一种快速调用程序或功能的方法及其系统
CN104978014A (zh) * 2014-04-11 2015-10-14 维沃移动通信有限公司 一种快速调用应用程序或系统功能的方法及其移动终端
CN104049806A (zh) * 2014-06-30 2014-09-17 广东欧珀移动通信有限公司 一种触控终端及其操控方法和系统
US20160210080A1 (en) * 2015-01-20 2016-07-21 Ultrata Llc Object memory data flow instruction execution
CN107533457A (zh) * 2015-01-20 2018-01-02 乌尔特拉塔有限责任公司 对象存储器数据流指令执行
CN108027738A (zh) * 2015-05-27 2018-05-11 苹果公司 用于在触敏设备上主动识别和显示相关内容的系统和方法
CN107924371A (zh) * 2015-06-09 2018-04-17 乌尔特拉塔有限责任公司 带有路由器的无限存储器结构硬件实现方案
CN105204632A (zh) * 2015-09-14 2015-12-30 惠州Tcl移动通信有限公司 一种控制智能移动终端进入静音模式的方法及可穿戴设备
CN108829337A (zh) * 2018-06-29 2018-11-16 努比亚技术有限公司 设备控制方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN113641243B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
US9164542B2 (en) Automated controls for sensor enabled user interface
CN107395871B (zh) 一种开启应用的方法、装置、存储介质及终端
CN103529934A (zh) 用于处理多个输入的方法和装置
CN108829456A (zh) 应用程序预加载方法、装置、存储介质及终端
US11150870B2 (en) Method for providing natural language expression and electronic device supporting same
US11941910B2 (en) User interface display method of terminal, and terminal
US11848007B2 (en) Method for operating voice recognition service and electronic device supporting same
CN106897134B (zh) 一种定位功能管理方法及装置
CN108984089B (zh) 触控操作方法、装置、存储介质及电子设备
CN111061383A (zh) 文字检测方法及电子设备
WO2016112791A1 (zh) 移动终端应用程序页面的展现方法和装置
CN107341094B (zh) 启动项耗时的测量方法及装置
CN109002339A (zh) 触控操作方法、装置、存储介质及电子设备
CN109510896B (zh) 接近传感器的选择方法、装置、存储介质及电子设备
EP3418882A1 (en) Display apparatus having the ability of voice control and method of instructing voice control timing
CN113641243B (zh) 可穿戴设备的交互式手势识别方法、系统及可穿戴设备
CN112882035A (zh) 一种检测方法、设备以及存储介质
CN110955580A (zh) 壳体温度的获取方法、装置、存储介质和电子设备
CN108519849B (zh) 触控信息的处理方法、装置、存储介质及电子设备
CN111796980B (zh) 数据处理方法、装置、电子设备和存储介质
CN113056756B (zh) 睡眠识别方法、装置、存储介质及电子设备
CN113360048A (zh) 一种快捷启动方法及设备
CN108958929B (zh) 应用算法库的方法、装置、存储介质及电子设备
WO2020097908A1 (zh) 页面的跳转方法、装置、存储介质及电子设备
CN111782298B (zh) 应用程序的管理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant