CN114610157A - 一种基于手势交互的方法及系统 - Google Patents
一种基于手势交互的方法及系统 Download PDFInfo
- Publication number
- CN114610157A CN114610157A CN202210291785.7A CN202210291785A CN114610157A CN 114610157 A CN114610157 A CN 114610157A CN 202210291785 A CN202210291785 A CN 202210291785A CN 114610157 A CN114610157 A CN 114610157A
- Authority
- CN
- China
- Prior art keywords
- user
- interaction
- data
- contour
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 216
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供的一种基于手势交互的方法及系统，该方法包括：获取用户手部的图像数据和/或视频数据作为第一数据；获取对所述第一数据进行识别的识别结果；若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。本申请实施例能够兼顾用户进行手势交互的效率和安全性，以提升用户进行手势交互的体验。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于手势交互的方法及系统。
背景技术
随着数字化及信息技术的发展，基于用户的手势进行交互已经越来越普遍。现如今，手势交互可以分为接触式和非接触式，即用户在手势交互时是否与设备接触。
然而，无论采用那种形式的手势交互，若只考虑高交互效率让用户很快完成手势交互，则会忽略实现交互目标的安全性；相应地，若考虑高安全性设置繁琐的手势交互流程，则会大大降低手势交互的效率。因此现有手势交互无法兼顾交互效率和安全性。
发明内容
本发明实施例的目的在于提供一种基于手势交互的方法及系统，本申请实施例能够通过灵活的手势交互规则，来实现兼顾用户进行手势交互的效率和安全性。具体技术方案如下：
在本发明实施例的第一方面，提供一种基于手势交互的方法，包括：
获取用户手部的图像数据和/或视频数据作为第一数据；
获取对所述第一数据进行识别的识别结果；
若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；
若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；
若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
可选地，所述若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互，包括：
根据所述图像数据，获取所述用户的手部轮廓作为第一轮廓；
根据所述第一轮廓，获取所述第一轮廓的多个关键点；
获取与所述第一轮廓的多个关键点对应的多个匹配点；其中，所述匹配点来自第二轮廓，所述第二轮廓为所述目标用户的手部轮廓；
计算每个所述关键点与每个所述匹配点的匹配值，得到所述匹配值的和值；其中，若所述和值大于预设阈值，则判定所述识别结果为成功，引导所述用户以第一交互模式进行交互。
可选地，所述第一交互模式为第一非接触交互，所述引导所述用户以第一交互模式进行交互，包括：
获取所述用户的第三轮廓，所述第三轮廓为所述第一轮廓对应手部的另一手部轮廓；
计算所述第三轮廓对应的关键点与匹配点的匹配值之和，若所述匹配值之和大于所述预设阈值，则判定所述用户以所述第一交互模式进行交互成功，否则为交互失败。
可选地，所述引导所述用户以第二交互模式进行交互，包括：
判断所述第二数据中是否包含所述目标手势类型；其中，所述第二数据为在所述第一交互模式交互失败后获取的所述用户手部的图像数据和/或视频数据；
若判断出所述第二数据中包含所述目标手势类型，则引导所述用户以第二交互模式进行交互。
可选地，所述第二交互模式为第二非接触交互，所述引导所述用户以第二交互模式进行交互，包括：
获取所述用户的第三数据，所述第三数据包括所述用户的双手手势和人脸的图像数据和/或视频数据；
对所述第三数据进行识别，若所述用户的双手手势包含目标双手手势类型，且所述用户的人脸通过识别，则判定所述用户以所述第二交互模式进行交互成功，否则为交互失败。
可选地，所述第三交互模式为接触式交互，所述引导所述用户以第三交互模式进行交互，包括：
获取第四数据，所述第四数据为所述用户手部与交互界面进行交互时的图像数据和/或视频数据；
判断所述第四数据是否满足预设条件，若满足则判定所述用户以所述第三交互模式进行交互成功，若不满足则为交互失败。
可选地，所述判断所述第四数据是否满足预设条件，包括：
获取所述用户与所述交互界面进行交互时用到的操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹；
若所述操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹均通过识别，则判断所述第四数据满足所述预设条件，否则不满足。
可选地，所述第三交互模式还包括密码交互。
在本发明实施例的又一方面，提供一种基于手势交互的系统，所述系统包括：
第一数据获取模块，用于获取用户手部的图像数据和/或视频数据作为第一数据；
识别结果获取模块，用于获取对所述第一数据进行识别的识别结果；
第一交互模块，若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，用于与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；
第二交互模块，若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则用于引导所述用户以第二交互模式进行交互；
第三交互模块，若所述用户以第二交互模式进行交互失败，则用于引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
在本发明实施例的又一方面，提供一种基于手势交互的装置，包括：处理器，所述处理器用于执行如权利要求1～7任一项所述的方法有益效果：
(1)本申请实施例通过提供三种手势交互模式，用户以一种交互模式失败的情况下，还可以通过下一个交互模式继续进行交互，从而极大地提高了手势交互的灵活性和安全性。
(2)本申请实施例中，用户在以一种交互模型进行交互成功后，无需再进入下一个交互模式，但仍会以当前交互模式以另一只手或双手配合的方式进行交互，从而兼顾了手势交互的效率和安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于手势交互的系统的应用场景示意图；
图2是本申请实施例提供的一种基于手势交互的方法的流程示意图；
图3是本申请实施例提供的对用户的手部轮廓进行匹配的示意图；
图4是本申请实施例提供的用户以第三交互模式进行交互的示意图；
图5是本申请实施例提供的一种基于手势交互的系统的结构示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书的一些实施例所示的基于手势交互的系统的应用场景图。
如图1所示，基于手势交互的系统包括IoT设备110、网络120与服务器130。
IoT设备110可用于处理与手势交互相关联的信息和/或数据来执行在本说明书中揭示的一个或者多个功能。在一些实施例中，IoT设备110可以是向公众提供在线服务的公共设备。示例性的，IoT设备110可以包括但不限于手势交互支付设备、手势交互售货机、手势交互/刷脸结合开锁设备等或其任意组合。在一些实施例中，IoT设备110可以用于获取与IoT设备关联的摄像设备采集的用户手部图像。在一些实施例中，IoT设备110可以判断手部图像是否包含目标手势类型。在一些实施例中，IoT设备110可以在手部图像包含目标手势类型的情况下，对用户进行手势交互。在一些实施例中，IoT设备110可以至少基于手势交互结果，确定用户的目标身份。在一些实施例中，IoT设备110可以包括一个或多个处理引擎(例如，单核心处理引擎或多核心处理器)。仅作为范例，IoT设备110可以包括中央处理器(中央处理器)、特定应用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理器(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑装置(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等中的一种或多种组合。
网络120可以促进信息和/或数据的交换。在一些实施例中，基于手势交互的系统的一个或者多个组件(例如IoT设备110、服务器130)可以通过网络120传送信息至基于手势交互的系统的其他组件。例如，IoT设备110可以通过网络120获取服务器130提供的数据，以完成面向用户的移动支付服务功能(如手势支付、刷脸支付)。又例如，IoT设备110可以通过网络120将与IoT设备关联的摄像设备采集的用户手部图像发送给服务器130处理，并通过网络120接收服务器130返回的用户的目标身份。在一些实施例中，网络120可以是任意形式的有线或者无线网络，或其任意组合。仅作为范例，网络120可以是有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网络(PSTN)、蓝牙网络等中的一种或多种组合。
服务器130可以用于处理与手势交互有关的信息和/或数据。例如，服务器130可以响应于来自IoT设备110的数据服务请求，提供相应的数据，返回给IoT设备110。又例如，服务器130可以接收用户手部图像，触发IoT设备110进行手势交互识别，以使得IoT设备110完成预设目标任务。例如，手势交互支付或手势交互开锁等。在一些实施例中，服务器130可以是本地的或远程的。例如，服务器130可以在IoT设备110本地连接IoT设备110以获取其发送的信息和/或数据。又例如，服务器130可以经由网络120远程接收IoT设备110发送的信息和/数据。在一些实施例中，服务器130可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
本说明书实施例所披露的技术方案可以应用于用户通过公共设备(如IoT设备)与服务器交互，使用服务器提供的在线服务的场景。例如，用户通过IoT设备：手势交互支付设备使用其系统提供的在线支付服务。又例如，用户使用IoT设备：手势交互开锁设备使用其系统提供的在线开锁服务。可以理解，本说明书实施例所揭露的技术方案亦可应用于用户直接与IoT设备交互的场景，IoT设备本地可以集成服务器的全部功能，无需通过网络远程连接后台服务器。
作为示例，当用户使用IoT设备进行手势交互支付时，用户需要进行手势交互，如手势交互识别。在一些实施例中，用户在进行手势交互识别的过程中无接触的不够彻底。例如，在唤醒手势交互支付、意愿确认以及辅助校验环节可能依然需要用户与设备屏幕接触。仅作为示例，在一些场景中，需要用户点击屏幕以唤醒手势交互识别，或者显示待用户确认的事件并需要用户点击确认按钮进行意愿确认，又或者需要用户输入辅助校验信息进行辅助校验。为此，本说明书实施例披露了一种手势交互方法，进一步减少手势交互识别过程中的接触式交互操作。以下结合附图对本说明书所披露的技术方案进行详细阐述。
图2示出了本申请实施例提供的一种基于手势交互的方法的流程示意图，如图2所示，一种基于手势交互的方法包括如下步骤：
步骤210、获取用户手部的图像数据和/或视频数据作为第一数据。
在一些实施例中，可以通过图像采集设备，例如摄像头、光场相机、行车记录仪等带有照相和摄像功能的设备，对进行用户手部的图像数据或视频数据采集，并将采集后的数据上传至系统。
步骤220、获取对所述第一数据进行识别的识别结果。
可以理解，在获取第一数据后，可以通过图像或影像识别模型/设备，对用户手部的图像数据和/或视频数据，以完成整个手势交互的过程，本申请实施例中具体的手势交互过程请参见后文。
步骤230、若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互。
可以理解，在获取第一数据后，通过对用户的手部轮廓进行静态识别，将其与目标用户的手部轮廓进行匹配，以判断是否引导用户进入第一交互模式与设备进行交互，例如手势识别支付、开锁等。
可选地，步骤230还可以包括以下步骤：
根据所述图像数据，获取所述用户的手部轮廓作为第一轮廓；
根据所述第一轮廓，获取所述第一轮廓的多个关键点；
获取与所述第一轮廓的多个关键点对应的多个匹配点；其中，所述匹配点来自第二轮廓，所述第二轮廓为所述目标用户的手部轮廓；
计算每个所述关键点与每个所述匹配点的匹配值，得到所述匹配值的和值；其中，若所述和值大于预设阈值，则判定所述识别结果为成功，引导所述用户以第一交互模式进行交互。
可选地，所述第一交互模式为第一非接触交互，所述引导所述用户以第一交互模式进行交互，可以包括以下步骤：
获取所述用户的第三轮廓，所述第三轮廓为所述第一轮廓对应手部的另一手部轮廓；
计算所述第三轮廓对应的关键点与匹配点的匹配值之和，若所述匹配值之和大于所述预设阈值，则判定所述用户以所述第一交互模式进行交互成功，否则为交互失败。
可以理解，为获取用户手部轮廓尽可能的真实形状，需要保证手部轮廓上的点的坐标尽可能准确，因此将这些点称之为关键点。一些实施例中，关键点的坐标可以表示为：
其中，公式(1)中的(i，j)表示第一数据的图像数据上某个像素的坐标，S为用户手部轮廓之内的区域，其中
构造类似雷达扫描系统的极坐标系:它将整个空间从方向上将e平均划分出8个方向，在弦上按近似于log2r的规则划为4份，即e代表角度，r代表周长。这样，整个空间就被分为32个区域(32个bin),每个bin所占空间从里向往外增大，这是因为对该点具有鉴别力的点是离得最近的点，离该点越远的点对该点的鉴别力越弱。在同一环上，每个bin所占空间是一样大小的，这是因为左、右、前、后相同距离的点对该点的鉴别力是一样的。这种对数极坐标区域表示法用来描述圆状物体每个区域的构成情况，计算区域内每个具体点的极坐标位置，其中的每个环的半径是相等的:而本算法则是用它来描述相对于任意点的其余轮廓点的方向位置及邻居状态，每个环半径不同，不计算区域内具体点的极坐标位置，只统计区域内点的大致个数，两者表示方法不同，目的不同。
对于任一个关键点pi，其属性用以pi点为中心的坐标系的32个区域(bin)中落入每个区域的像素点个数wi(k)来描述，可以表示为如下公式：
wi(k)＝#{qj≠pi：qj∈bin(k)} (2)
其中，k＝0,1…，32，#操作表示qi为落入第k个区域中的不同于pi点的轮廓上的其余点的数量。如果落入第25区域的离散点个数为24，则wi(25)＝24。使得由n个离散点组成的物体轮廓可在O(n2)时间里获取所有轮廓点的属性描述。
对于每个关键点都有32个属性值，另第i个关键点的第j个属性值为：
ai，j＝#{qk≠pi|qk∈bin(j)} (3)
在公式(3)的基础上，可以构建出用户手部轮廓的直方图，即一个2n*32的矩阵。
利用上述方法得到每个目标的形状直方图之后，接下来需要计算这两个形状直方图的相似度，从而得到相似与否的结论。形状直方图之间的相似度计算方法叙述如下。
首先，计算一个直方图与另一目标的形状直方图之间的匹配代价，代价函数如下，aik、bjk分别是两个目标形状的属性值:
每个关键点与每个匹配点的匹配值可以表示为：
PMCi＝min{C(pi，qi)：j＝0，1，2…m} (5)
由于将匹配值最小的那个点看作是最近似的“对应点”，具有最小匹配值的点总是存在的，即在本申请实施例中，任意一个关键点在目标用户的手部轮廓中的匹配点总是存在的，避免了无法配对的情况。两个手部轮廓的匹配值的总和可以用来衡量两个手部轮廓是否为同一用户，具体用TMC表示:
其中，公式(6)中的||pi-corresp(pi)||，为关键点pi与corresp(pi)之间的欧式距离，n为边界点的数量，a为惩罚因子，两点距离越近则惩罚值越大。两个手部轮廓的匹配值的计算复杂度为O(n2)。
可以理解，步骤230中的以上描述是如图3所示的针对用户的任一只手的手部轮廓，与目标用户的手部轮廓是否一致或匹配值满足预设阈值的具体原理。在用户的一只手的手部轮廓通过识别或交互成功后，再伸出另一只手继续通过以上第一交互模式的方法进行手势交互识别，若通过则交互成功，例如完成手势交互支付或开锁等。由此可知，本申请实施例可以在用户的一只手通过手势交互识别的前提下，再识别用户的另一手是否进行手势交互成功，整个第一交互模式为非接触交互，从而既能方便用户、提升手势交互的效率，又能提升整个手势交互过程的安全性。
步骤240、若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互。
可选地，步骤240还可以包括以下步骤：
判断所述第二数据中是否包含所述目标手势类型；其中，所述第二数据为在所述第一交互模式交互失败后获取的所述用户手部的图像数据和/或视频数据；
若判断出所述第二数据中包含所述目标手势类型，则引导所述用户以第二交互模式进行交互。
可选地，所述第二交互模式为第二非接触交互，所述引导所述用户以第二交互模式进行交互，可以包括以下步骤：
获取所述用户的第三数据，所述第三数据包括所述用户的双手手势和人脸的图像数据和/或视频数据；
对所述第三数据进行识别，若所述用户的双手手势包含目标双手手势类型，且所述用户的人脸通过识别，则判定所述用户以所述第二交互模式进行交互成功，否则为交互失败。
可以理解，当用户的识别结果会第一交互模型进行交互失败，则表示用户与设备或模型无法通过用户的手部轮廓进行手势交互。因此，可以进入本申请实施例的第二交互模式。
其中，第二交互模式同样为非接触交互，也即用户与设备不产生直接接触。在进入第二交会模式之前，需要满足第一数据中存在目标手势类型，目标手势类型可以存储在云端服务器或存储器中。具体地，系统或设备通过识别用户的单手手势动作是否包含目标手势来作为是否引导用户进入第二交互模式的依据。在进入第二交互模式后，为提升手势交互的安全性，用户需要双手手势进行交互，若用户的双手手势包含目标双手手势类型，则交互成功。例如在一些场景中，例如手势交互支付场景，用户可以做出目标手势例如双手上抬、画圈、反复伸缩等手势动作进行手势交互，设备进一步判断用户做出的手势动作是否为目标双手收拾类型，是则交互成功，否则交互失败。
由于用户在完成以上手势动作的过程中，并不需要花费很多时间和体力，但是通过单身手势结合下一步双手手势交互的组合，能够在保证手势交互效率的基础上，极大地提升了用户进行手势交互的安全性。
步骤250、若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
可选地，步骤250还可以包括以下步骤：
获取第四数据，所述第四数据为所述用户手部与交互界面进行交互时的图像数据和/或视频数据；
判断所述第四数据是否满足预设条件，若满足则判定所述用户以所述第三交互模式进行交互成功，若不满足则为交互失败。
可选地，所述判断所述第四数据是否满足预设条件，包括：
获取所述用户与所述交互界面进行交互时用到的操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹；
若所述操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹均通过识别，则判断所述第四数据满足所述预设条件，否则不满足。
如图4所示，在一些场景中，用户可以通过接触式交互的方式，类似触控屏的原理实现手势交互。例如图4中，最初用户的操作手指为是指，轨迹为左右滑动，为在保证手势交互效率的前提下，进一步地提升手势交互的安全性，用户在将手部从交互界面的左侧滑到右侧时，可以张开手掌，将操作手指的数量提升至2～5根手指，以试通过操作手指的数量、运动轨迹的变化来提升手势交互的安全性，防止因手势交互的盗用操作为用户造成损失。
可选地，在此基础上，可以扩展出很多第三交互模式下的手势交互识别依据。例如可以严格使用笔画手势。笔画手势是手势设计的新突破，但不能滥用。因为笔画手势在现实生活中没有任何隐喻。用户的记忆负担特别大。因此笔画手势要多引用常见的含义。例如使用字母手势：将命令的中文或英文的首字母符号作为该命令的手势。如用“a”表示“全选”(All)手势，用“c”表示“复制(copy)”等。又例如，手势本来就具有隐蔽性，因此就要通过一些用户引导信息来进一步的协助用户。“引领式”的引导方式适合用户快速接受，享受手势操作乐趣。将简洁明快指示性强的引导说明放在用户第一次使用时，让用户有所心理准备。特别是对于复杂的手势，不能强迫用户去学习记忆和使用，可以只作为备选的快捷方式提供给用户，给用户暗示，让那些愿意学习的用户更快捷地完成想要完成的功能。
对于手势交互中操作手指的运动轨迹，也可以有诸多第三交互模式进行交互成功与否的识别依据，并且不同的操作手指的运动轨迹在不同交互界面或其子界面中，也可以扩展出多种手势交互方式，具体见下表。
可选地，第三交互模式还可以包括密码交互，以进一步地提升用户以第三交互模式进行交互的灵活性。
为实现上述方法类实施例，本申请实施例还提供一种基于手势交互的系统，图5示出了本申请实施例提供的一种基于手势交互的系统的结构示意图，所述系统包括：
第一数据获取模块501，用于获取用户手部的图像数据和/或视频数据作为第一数据；
识别结果获取模块502，用于获取对所述第一数据进行识别的识别结果；
第一交互模块503，若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，用于与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；
第二交互模块504，若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则用于引导所述用户以第二交互模式进行交互；
第三交互模块505，若所述用户以第二交互模式进行交互失败，则用于引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本申请提供的一种基于手势交互的方法及系统，可以获取用户手部的图像数据和/或视频数据作为第一数据；获取对所述第一数据进行识别的识别结果；若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于手势交互的方法，其特征在于，包括：
获取用户手部的图像数据和/或视频数据作为第一数据；
获取对所述第一数据进行识别的识别结果；
若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；
若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；
若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
2.根据权利要求1所述的方法，其特征在于，所述若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互，包括：
根据所述图像数据，获取所述用户的手部轮廓作为第一轮廓；
根据所述第一轮廓，获取所述第一轮廓的多个关键点；
获取与所述第一轮廓的多个关键点对应的多个匹配点；其中，所述匹配点来自第二轮廓，所述第二轮廓为所述目标用户的手部轮廓；
计算每个所述关键点与每个所述匹配点的匹配值，得到所述匹配值的和值；其中，若所述和值大于预设阈值，则判定所述识别结果为成功，引导所述用户以第一交互模式进行交互。
3.根据权利要求2所述的方法，其特征在于，所述第一交互模式为第一非接触交互，所述引导所述用户以第一交互模式进行交互，包括：
获取所述用户的第三轮廓，所述第三轮廓为所述第一轮廓对应手部的另一手部轮廓；
计算所述第三轮廓对应的关键点与匹配点的匹配值之和，若所述匹配值之和大于所述预设阈值，则判定所述用户以所述第一交互模式进行交互成功，否则为交互失败。
4.根据权利要求1所述的方法，其特征在于，所述引导所述用户以第二交互模式进行交互，包括：
判断所述第二数据中是否包含所述目标手势类型；其中，所述第二数据为在所述第一交互模式交互失败后获取的所述用户手部的图像数据和/或视频数据；
若判断出所述第二数据中包含所述目标手势类型，则引导所述用户以第二交互模式进行交互。
5.根据权利要求4所述的方法，其特征在于，所述第二交互模式为第二非接触交互，所述引导所述用户以第二交互模式进行交互，包括：
获取所述用户的第三数据，所述第三数据包括所述用户的双手手势和人脸的图像数据和/或视频数据；
对所述第三数据进行识别，若所述用户的双手手势包含目标双手手势类型，且所述用户的人脸通过识别，则判定所述用户以所述第二交互模式进行交互成功，否则为交互失败。
6.根据权利要求1所述的方法，其特征在于，所述第三交互模式为接触式交互，所述引导所述用户以第三交互模式进行交互，包括：
获取第四数据，所述第四数据为所述用户手部与交互界面进行交互时的图像数据和/或视频数据；
判断所述第四数据是否满足预设条件，若满足则判定所述用户以所述第三交互模式进行交互成功，若不满足则为交互失败。
7.根据权利要求6所述的方法，其特征在于，所述判断所述第四数据是否满足预设条件，包括：
获取所述用户与所述交互界面进行交互时用到的操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹；
若所述操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹均通过识别，则判断所述第四数据满足所述预设条件，否则不满足。
8.根据权利要求1所述的方法，其特征在于，所述第三交互模式还包括密码交互。
9.一种基于手势交互的系统，其特征在于，所述系统包括：
第一数据获取模块，用于获取用户手部的图像数据和/或视频数据作为第一数据；
识别结果获取模块，用于获取对所述第一数据进行识别的识别结果；
第一交互模块，若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，用于与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；
第二交互模块，若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则用于引导所述用户以第二交互模式进行交互；
第三交互模块，若所述用户以第二交互模式进行交互失败，则用于引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
10.一种基于手势交互的装置，其特征在于，包括：处理器，所述处理器用于执行如权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210291785.7A CN114610157A (zh) | 2022-03-23 | 2022-03-23 | 一种基于手势交互的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210291785.7A CN114610157A (zh) | 2022-03-23 | 2022-03-23 | 一种基于手势交互的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114610157A true CN114610157A (zh) | 2022-06-10 |
Family
ID=81865393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210291785.7A Pending CN114610157A (zh) | 2022-03-23 | 2022-03-23 | 一种基于手势交互的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114610157A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093240A (zh) * | 2013-01-18 | 2013-05-08 | 浙江大学 | 书法字识别方法 |
| CN104505091A (zh) * | 2014-12-26 | 2015-04-08 | 湖南华凯文化创意股份有限公司 | 人机语音交互方法及系统 |
| CN107330354A (zh) * | 2017-03-20 | 2017-11-07 | 长沙理工大学 | 一种自然手势识别方法 |
| CN108564013A (zh) * | 2018-03-23 | 2018-09-21 | 上海数迹智能科技有限公司 | 一种基于手势轮廓快速匹配的手势识别方法 |
| CN111124236A (zh) * | 2018-10-30 | 2020-05-08 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置和机器可读介质 |
| CN111368814A (zh) * | 2020-05-27 | 2020-07-03 | 支付宝(杭州)信息技术有限公司 | 一种身份识别方法及系统 |
| CN112462940A (zh) * | 2020-11-25 | 2021-03-09 | 苏州科技大学 | 智能家居多模态人机自然交互系统及其方法 |
-
2022
- 2022-03-23 CN CN202210291785.7A patent/CN114610157A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093240A (zh) * | 2013-01-18 | 2013-05-08 | 浙江大学 | 书法字识别方法 |
| CN104505091A (zh) * | 2014-12-26 | 2015-04-08 | 湖南华凯文化创意股份有限公司 | 人机语音交互方法及系统 |
| CN107330354A (zh) * | 2017-03-20 | 2017-11-07 | 长沙理工大学 | 一种自然手势识别方法 |
| CN108564013A (zh) * | 2018-03-23 | 2018-09-21 | 上海数迹智能科技有限公司 | 一种基于手势轮廓快速匹配的手势识别方法 |
| CN111124236A (zh) * | 2018-10-30 | 2020-05-08 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置和机器可读介质 |
| CN111368814A (zh) * | 2020-05-27 | 2020-07-03 | 支付宝(杭州)信息技术有限公司 | 一种身份识别方法及系统 |
| CN112462940A (zh) * | 2020-11-25 | 2021-03-09 | 苏州科技大学 | 智能家居多模态人机自然交互系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6197345B2 (ja) | 生体認証装置、生体認証システム、および生体認証方法 | |
| JP6248178B2 (ja) | 顔認証システム | |
| CN108197589B (zh) | 动态人体姿态的语义理解方法、装置、设备和存储介质 | |
| US20190392587A1 (en) | System for predicting articulated object feature location | |
| CN103793642B (zh) | 移动互联网掌纹身份认证方法 | |
| CN102609129A (zh) | 使用生物运动输入的用户标识 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| TW202016696A (zh) | 基於手勢識別產生互動式虛擬用戶界面的方法及相關裝置 | |
| EP3903173A1 (en) | Multi-factor authentication for virtual reality | |
| JP5659777B2 (ja) | 認証処理装置、認証処理方法、及びプログラム | |
| CN110826410B (zh) | 一种人脸识别的方法和设备 | |
| EP3786820B1 (en) | Authentication system, authentication device, authentication method, and program | |
| CN111368814A (zh) | 一种身份识别方法及系统 | |
| JP5316017B2 (ja) | 画像処理装置、生体認証装置、画像処理方法及びプログラム | |
| Stragapede et al. | IJCB 2022 mobile behavioral biometrics competition (MobileB2C) | |
| CN115826764B (zh) | 基于拇指的手势控制方法及系统 | |
| CN114610157A (zh) | 一种基于手势交互的方法及系统 | |
| CN103700151A (zh) | 一种晨跑签到方法 | |
| CN112309025B (zh) | 信息展示方法、装置、电子设备及存储介质 | |
| CN113190310A (zh) | 基于随机位置对象语义识别的验证码设计方法 | |
| JP4270842B2 (ja) | 指紋照合装置 | |
| JP5975828B2 (ja) | 顔特徴抽出装置および顔認証システム | |
| KR102575321B1 (ko) | 특정 인물에 특화된 딥러닝 기반 감정 인식 방법 및 장치 | |
| Quiroga et al. | A novel competitive neural classifier for gesture recognition with small training sets | |
| US10857460B2 (en) | Socially-driven modeling systems and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220610 |
|
| RJ01 | Rejection of invention patent application after publication |