CN110850982B - 基于ar的人机交互学习方法、系统、设备及存储介质 - Google Patents
基于ar的人机交互学习方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN110850982B CN110850982B CN201911094587.6A CN201911094587A CN110850982B CN 110850982 B CN110850982 B CN 110850982B CN 201911094587 A CN201911094587 A CN 201911094587A CN 110850982 B CN110850982 B CN 110850982B
- Authority
- CN
- China
- Prior art keywords
- gesture
- action
- user
- operation instruction
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009471 action Effects 0.000 claims abstract description 204
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 10
- 239000011521 glass Substances 0.000 description 51
- 238000010586 diagram Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种基于AR的人机交互学习方法、系统、设备及存储介质。该方法包括：提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。本发明实施例实现了提高手势识别的准确性和AR人机交互的用户体验的效果。
Description
技术领域
本发明实施例涉及AR技术，尤其涉及一种基于AR的人机交互学习方法、系统、设备及存储介质。
背景技术
以谷歌眼镜为代表的AR眼镜出现掀起新一轮的产品革命，这类头戴式的智能设备让人们仿佛瞬间穿越到了科幻电影之中。
关于AR人机交互方面，目前业界使用的是预定义手势的模式，即：通过调查，找出合适的手势用以在AR眼镜使用时执行特定的操作，然后用户必须学习并遵守这样的规则，使用特定手势完成操作。如在微软推出的Hololens AR眼镜上，双指合并捏的动作代表点击；五指并拢然后松开的操作代表调出主菜单。而AR眼镜的手势识别是依靠深度学习实现的，所以跟预定义手势的模式相对应的，用于手势识别的深度学习模型也是预先用预定义的手势的数据训练好的。但是缺点也是显而易见的，即用户的习惯是多样的，但是用户需要去学习手势，去适应机器，而机器里的深度学习模型也是固定的，不能去适应用户的习惯，以致不能提高手势识别的精确度。
跟现在普遍的预训练中学习然后运行固定模型不一样，终身学习(LifelongLearning)指的是机器学习模型可以在运行中不断适应情况的变化的学习模式。而现在Lifelong Learning普遍使用无监督学习，即用来训练的数据没有标上标签(代表数据的意义)，无监督学习的效果还不理想，在终身学习中对于改善模型动态适应环境的效果不大。
发明内容
本发明实施例提供一种基于AR的人机交互学习方法、系统、设备及存储介质，以实现提高手势识别的准确性和AR人机交互的用户体验的效果。
为达此目的，本发明实施例提供了一种基于AR的人机交互学习方法、系统、设备及存储介质，该基于AR的人机交互学习方法包括：
提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；
判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；
若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
进一步的，所述判断用户做出的第一手势动作是否为预设动作库中目标手势动作之后包括：
若是，设定所述目标手势动作为与所述第一操作指令对应的手势动作。
进一步的，所述若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作包括：
若否，判断所述第一手势动作是否匹配预设动作库中的第二手势动作；
若是，设定所述第二手势动作为与所述第一操作指令对应的手势动作；
若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
进一步的，所述将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作之后包括：
判断所述第一操作指令是否关联预设动作库中的第二手势动作；
若是，删除所述预设动作库中的第二手势动作。
进一步的，所述提示用户做出与第一操作指令对应的第一手势动作之前包括：
显示第一图像信息或第一视频信息，所述第一图像信息或第一视频信息用于解释所述第一操作指令以及提示用户做出与第一操作指令对应的第一手势动作。
进一步的，所述判断用户做出的第一手势动作是否为预设动作库中目标手势动作包括：
提取第一手势动作的第一特征码；
获取所述目标手势动作的第二特征码；
计算所述第一特征码和第二特征码的第一距离；
当所述第一距离小于距离阈值则判断第一手势动作为预设动作库中目标手势动作，当所述第一距离大于等于距离阈值则判断第一手势动作非预设动作库中目标手势动作。
进一步的，所述提示用户做出与第一操作指令对应的第一手势动作包括：
根据用户的生物特征检测用户的身份信息是否合法。
一方面，本发明实施例还提供了一种基于AR的人机交互学习系统，该基于AR的人机交互学习系统包括：
动作提示模块，用于提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；
动作识别模块，用于判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；
动作收集模块，用于用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
另一方面，本发明实施例还提供了一种基于AR的人机交互学习设备，该人机交互学习设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例提供的人机交互学习方法。
又一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的人机交互学习方法。
本发明实施例通过提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作，解决无监督学习的效果不理想，在终身学习中对于改善模型动态适应环境的效果不大的问题，实现提高手势识别的准确性和AR人机交互的用户体验的效果。
附图说明
图1是本发明实施例一提供的基于AR的人机交互学习方法的流程示意图；
图2是本发明实施例一提供的存储有目标手势动作的预设动作库的示意图；
图3是本发明实施例二提供的基于AR的人机交互学习方法的流程示意图；
图4是本发明实施例二提供的第一图像信息或第一视频信息的示意图；
图5是本发明实施例二提供的第一图像信息或第一视频信息的示意图；
图6是本发明实施例三提供的基于AR的人机交互学习方法的流程示意图；
图7为本发明实施例四提供的一种基于AR的人机交互学习系统的结构示意图；
图8为本发明实施例五提供的一种基于AR的人机交互学习设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作指令完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一手势动作称为第二手势动作，且类似地，可将第二手势动作称为第一手势动作。第一手势动作和第二手势动作两者都是手势动作，但其不是同一手势动作。术语“第一”、“第二”等不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明实施例的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
如图1所示，本发明实施例一提供了一种基于AR的人机交互学习方法，该人机交互学习方法包括：
S110、提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合。
本实施例中，以AR眼镜为例，AR眼镜需要判断好用户的手势动作习惯，才能帮助用户更好的使用AR眼镜。当用户首次戴上AR眼镜时，AR眼镜将会开始初始化的操作以配合用户的手势习惯，也就是提示用户做出与第一操作指令对应的第一手势动作,示例性的，第一操作指令可以为“点击”的指令，与“点击”指令对应的第一手势动作可以为单手的食指在AR眼镜能够接收到信息的三维空间内做出点击的手势动作，第一操作指令也可以为“滑动”的指令，与“滑动”指令对应的第一手势动作可以为双手的五指在AR眼镜能够接收到信息的三维空间内做出滑动的手势动作。
一实施例中，为了提升用户的使用体验，在用户初始化时，AR眼镜只确定最基本的操作指令对应的手势动作，其中最基本的操作指令为能够完成AR眼镜最基本的必要操作指令，可选的，在之后用户使用AR眼镜的过程中，在用户唤醒AR设备或者根据用户的使用频率随机挑选一个时间提示用户来确定更复杂的操作指令对应的第三手势动作，或者是让用户继续做出初始化时做出的第一手势动作，以进一步的对第一手势动作或第三手势动作进行神经网络的训练，以精确识别第一手势动作或第三手势动作，进一步适应用户的习惯。
进一步的，因神经网络的训练需要耗费大量的电量，为保证AR眼镜的电量充足，在用户唤醒AR设备或者根据用户的使用频率随机挑选一个时间提示用户来确定第一手势动作或第三手势动作时，可以先将用户做出的第一手势动作或第三手势动作保存，在用户给AR眼镜充电时再对第一手势动作或第三手势动作进行神经网络的训练，或者是将用户做出的第一手势动作或第三手势动作上传到云服务器，通过云服务器对第一手势动作或第三手势动作进行神经网络的训练。
S120、判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应。
本实施例中，AR眼镜中可以在预设动作库中存储一定数量的与第一操作指令对应的目标手势动作，示例性的，如图2所示，其中预设动作库中也存储了AR眼镜包括的全部操作指令对应的目标手势动作，图2也只展示了部分目标手势动作，系统默认预设动作库中存储的目标手势动作为每个操作指令对应的手势动作。当用户做出第一手势动作后，AR眼镜可以将用户做出的第一手势动作和预设动作库中的目标手势动作进行比对，若用户做出的第一手势动作为预设动作库中目标手势动作，因系统默认预设动作库中存储的目标手势动作为每个操作指令对应的手势动作，AR眼镜可以不进行任何操作而进入下一步操作，此时完成的设定是，用户通过做出目标手势动作后，AR眼镜就会判断用户执行了第一操作指令，由此实现了AR人机交互的无监督学习。
一实施例中，若AR眼镜判断用户做出的第一手势动作和预设动作库中的目标手势动作只有略微差别，AR眼镜也可以将用户做出的第一手势动作存储至预设动作库中作为与第一操作指令对应的手势动作，此时完成的设定是，用户通过做出目标手势动作或者第一手势动作后，AR眼镜就会判断用户执行了第一操作指令。
S130、若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
本实施例中，若用户做出的第一手势动作不为预设动作库中目标手势动作，即AR眼镜判断出用户做出的第一手势动作和预设动作库中存储的目标手势动作相差甚远时，为了防止用户有误操作或者受到其他因素的影响，AR眼镜将提示用户重复做出第一手势动作。若用户第二次重复的第一手势动作和第一次做出的第一手势动作不同，AR眼镜将重新根据用户第二次重复的第一手势动作执行步骤S120，若用户第二次重复的第一手势动作和第一次做出的第一手势动作相同，AR眼镜将用户做出的第一手势动作存储至预设动作库中作为与第一操作指令对应的手势动作，此时完成的设定是，用户通过做出目标手势动作或者第一手势动作后，AR眼镜就会判断用户执行了第一操作指令。
本发明实施例通过提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作，解决无监督学习的效果不理想，在终身学习中对于改善模型动态适应环境的效果不大的问题，实现提高手势识别的准确性和AR人机交互的用户体验的效果。
实施例二
如图3所示，本发明实施例二提供了一种基于AR的人机交互学习方法，本发明实施例二是在本发明实施例一的基础上进一步的优化，该人机交互学习方法包括：
S210、显示第一图像信息或第一视频信息，所述第一图像信息或第一视频信息用于解释所述第一操作指令以及提示用户做出与第一操作指令对应的第一手势动作。
S220、提示用户做出与第一操作指令对应的第一手势动作，根据用户的生物特征检测用户的身份信息是否合法,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合。
本实施例中，为了提升用户体验，便于用户理解，在提示用户做出与第一操作指令对应的第一手势动作之前AR眼镜将显示第一图像信息或第一视频信息，所述第一图像信息或第一视频信息用于解释所述第一操作指令以及提示用户做出与第一操作指令对应的第一手势动作。
作为优选的，在提示用户做出与第一操作指令对应的第一手势动作的同时，为了提升用户体验，AR眼镜也会在后台根据用户的生物特征检测用户的身份信息是否合法，避免用户在确定完手势动作后还需要进行身份的校验，其等待时间过长，将大大拉低用户体验。
一实施例中，AR眼镜将显示如图4所示的第一图像信息，画面中可以包括手、形状和提示字，其中，形状可以为圆形，提示字可以为“请用手指点击图示中的圆形”。可选的，第一图像信息中也可以不包括手，以避免手的图像对需要点击的形状进行遮挡，作为优选的，也可以显示第一视频信息，第一视频信息即第一图像信息中的手为动态显示，重复播放手对圆形点击的手势动作，以大大提升用户对第一手势动作的理解。
一实施例中，AR眼镜将显示如图5所示的画面，画面中可以包括手、形状和提示字，其中，形状可以为矩形，提示字可以为“请用手指向右拖动图示中的矩形”。可选的，第一图像信息中也可以不包括手，以避免手的图像对需要点击的形状进行遮挡，作为优选的，也可以显示第一视频信息，第一视频信息即第一图像信息中的手为动态显示，重复播放手对矩形拖动的手势动作，以大大提升用户对第一手势动作的理解。
S230、判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应。
S240、若否，判断所述第一手势动作是否匹配预设动作库中的第二手势动作。
S250、若是，设定所述第二手势动作为与所述第一操作指令对应的手势动作。
本实施例中，当AR眼镜判断用户做出的第一手势动作不为设动作库中目标手势动作，为了提升AR眼镜的工作效率，降低AR眼镜对用户手势动作的记录时间，AR眼镜还可以继续在预设动作库中匹配和用户做出的第一手势动作相同的第二手势动作，在预设动作库中第二手势动作对应的并非为第一操作指令，而是其他操作指令。若AR眼镜在预设动作库中成功匹配到和用户做出的第一手势动作相同的第二手势动作，AR眼镜将设定第二手势动作为与所述第一操作指令对应的手势动作。
此时完成的设定是，用户通过做出第一手势动作后，AR眼镜就会判断用户执行了第一操作指令和第二手势动作对应的操作指令。在大部分情况下第一操作指令和第二手势动作对应的操作指令可能不存在冲突的情况。作为优选的，AR眼镜将设定第二手势动作为与所述第一操作指令对应的手势动作后，AR眼镜还会继续判断第一操作指令和第二手势动作对应的操作指令是否冲突，若第一操作指令和第二手势动作对应的操作指令不冲突，则AR眼镜不执行任何操作，若第一操作指令和第二手势动作对应的操作指令冲突，AR眼镜将把预设动作库中的第二手势动作删除，此时完成的设定是，用户通过做出第一手势动作，即第二手势动作后，AR眼镜就会判断用户执行了第一操作指令。
S260、若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
本发明实施例二中的步骤S230和步骤S260的实现方式和本发明实施例一中相同。
本发明实施例通过显示第一图像信息或第一视频信息，所述第一图像信息或第一视频信息用于解释所述第一操作指令以及提示用户做出与第一操作指令对应的第一手势动作，以及判断所述第一手势动作是否匹配预设动作库中的第二手势动作，解决了低理解能力的用户以及AR眼镜工作效率不高的问题，实现了大大提升了用户体验和工作效率的效果。
实施例三
如图6所示，本发明实施例三提供了一种基于AR的人机交互学习方法，本发明实施例三是在本发明实施例一的基础上进一步的优化，该人机交互学习方法包括：
S310、提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合。
S320、提取第一手势动作的第一特征码。
S330、获取所述目标手势动作的第二特征码。
S340、计算所述第一特征码和第二特征码的第一距离。
S350、当所述第一距离小于距离阈值则判断第一手势动作为预设动作库中目标手势动作，当所述第一距离大于等于距离阈值则判断第一手势动作非预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应。
示例性的，一种判断用户做出的第一手势动作是否为预设动作库中目标手势动作的方式可以为：提取第一手势动作的第一特征码，然后获取预设动作库中目标手势动作的第二特征码，计算第一特征码和第二特征码的第一距离，当第一距离小于距离阈值则判断第一手势动作为预设动作库中目标手势动作，当第一距离大于等于距离阈值则判断第一手势动作非预设动作库中目标手势动作，其中距离阈值可以为系统预设的，通过上述方式AR眼镜可以快捷高效的判断用户做出的第一手势动作是否为预设动作库中目标手势动作，减轻了设备的运行负担。
一实施例中，判断用户做出的第一手势动作是否为预设动作库中目标手势动作的方式还可以是：训练一个深度学习模型，即分类器，使得它的输入为用户做出的第一手势动作，输出为一个多维向量，其中每一维向量代表预设动作库中的一个目标手势动作，取该多维向量中值最大的一维向量，判断该值是否大于预设阈值，若大于预设阈值，则用户做出的第一手势动作为预设动作库中该向量对应的目标手势动作，若小于预设阈值，则用户做出的第一手势动作不为预设动作库中的目标手势动作。示例性的，假设预设动作库中有5种手势动作，用户做出第一手势动作输入该深度学习模型后，将输出一个5维的向量，这5个值表示的是第一手势动作是其中一个动作的概率，所以它们加起来的和为1，输出(0.05,0.05,0.1,0.1,0.7)，取最大的值0.7，假设预设阈值为0.6，则用户做出的第一手势动作为预设动作库中值为0.7的向量对应的目标手势动作，若预设阈值为0.8，则用户做出的第一手势动作不为预设动作库中的目标手势动作。
S360、若第一手势动作非预设动作库中目标手势动作，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
本发明实施例二中的步骤S310和步骤S360的实现方式和本发明实施例一中相同。
S370、判断所述第一操作指令是否关联预设动作库中的第二手势动作。
S380、若是，删除所述预设动作库中的第二手势动作。
本实施例中，若第一手势动作非预设动作库中目标手势动作，将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作之后，还需要判断第一操作指令是否关联预设动作库中的第二手势动作，若第一操作指令关联预设动作库中的第二手势动作，AR眼镜将删除预设动作库中的第二手势动作，此时完成的设定是，用户通过做出第一手势动作，即第二手势动作后，AR眼镜就会判断用户执行了第一操作指令。
本发明实施例通过提取第一手势动作的第一特征码；获取所述目标手势动作的第二特征码；计算所述第一特征码和第二特征码的第一距离；当所述第一距离小于距离阈值则判断第一手势动作为预设动作库中目标手势动作，当所述第一距离大于等于距离阈值则判断第一手势动作非预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应，解决了AR眼镜工作负载大的问题，实现了快捷高效的判断用户做出的第一手势动作是否为预设动作库中目标手势动作的效果。
实施例四
如图7所示，本发明实施例四提供了一种基于AR的人机交互学习系统100，本发明实施例四所提供的基于AR的人机交互学习系统100可执行本发明任意实施例所提供的基于AR的人机交互学习方法，具备执行方法相应的功能模块和有益效果。该人机交互学习系统100包括动作提示模块110、动作识别模块120和动作收集模块130，其中：
动作提示模块110用于提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；
动作识别模块120用于判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应，以实现AR人机交互的无监督学习；
动作收集模块130用于提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
本实施例中，动作收集模块130还用于设定所述目标手势动作为与所述第一操作指令对应的手势动作。
动作识别模块120还用于判断所述第一手势动作是否匹配预设动作库中的第二手势动作。动作收集模块130还用于设定所述第二手势动作为与所述第一操作指令对应的手势动作。动作提示模块110还用于提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
动作识别模块120还用于判断所述第一操作指令是否关联预设动作库中的第二手势动作。动作收集模块130还用于删除所述预设动作库中的第二手势动作。
动作提示模块110还用于显示第一图像信息或第一视频信息，所述第一图像信息或第一视频信息用于解释所述第一操作指令以及提示用户做出与第一操作指令对应的第一手势动作。
动作识别模块120还用于提取第一手势动作的第一特征码；获取所述目标手势动作的第二特征码；计算所述第一特征码和第二特征码的第一距离；当所述第一距离小于距离阈值则判断第一手势动作为预设动作库中目标手势动作，当所述第一距离大于等于距离阈值则判断第一手势动作非预设动作库中目标手势动作。
该人机交互学习系统100还包括身份检测模块140，身份检测模块140用于根据用户的生物特征检测用户的身份信息是否合法。
实施例五
图8为本发明实施例五提供的一种基于AR的人机交互学习方法、系统、设备及存储介质的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图8显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作指令系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的人机交互学习方法：
提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；
判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；
若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的人机交互学习方法：
提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；
判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；
若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作指令的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种基于AR的人机交互学习方法，其特征在于，包括：
提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；
判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；
若否，判断所述第一手势动作是否匹配预设动作库中的第二手势动作；其中，所述第二手势动作对应的是除第一操作指令以外的其他操作指令；
若是，设定所述第二手势动作为与所述第一操作指令对应的手势动作；
若否，提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作；
所述将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作之后包括：
判断所述第一操作指令是否关联预设动作库中的第二手势动作；
若是，删除所述预设动作库中的第二手势动作。
2.根据权利要求1所述的人机交互学习方法，其特征在于，所述判断用户做出的第一手势动作是否为预设动作库中目标手势动作之后包括：
若是，设定所述目标手势动作为与所述第一操作指令对应的手势动作。
3.根据权利要求1所述的人机交互学习方法，其特征在于，所述提示用户做出与第一操作指令对应的第一手势动作之前包括：
显示第一图像信息或第一视频信息，所述第一图像信息或第一视频信息用于解释所述第一操作指令以及提示用户做出与第一操作指令对应的第一手势动作。
4.根据权利要求1所述的人机交互学习方法，其特征在于，所述判断用户做出的第一手势动作是否为预设动作库中目标手势动作包括：
提取第一手势动作的第一特征码；
获取所述目标手势动作的第二特征码；
计算所述第一特征码和第二特征码的第一距离；
当所述第一距离小于距离阈值则判断第一手势动作为预设动作库中目标手势动作，当所述第一距离大于等于距离阈值则判断第一手势动作非预设动作库中目标手势动作。
5.根据权利要求1所述的人机交互学习方法，其特征在于，所述提示用户做出与第一操作指令对应的第一手势动作包括：
根据用户的生物特征检测用户的身份信息是否合法。
6.一种基于AR的人机交互学习系统，其特征在于，包括：
动作提示模块，用于提示用户做出与第一操作指令对应的第一手势动作,所述第一手势动作为预设三维空间内单手或双手做出的手势形状、手势轨迹或手势形状和/或手势轨迹的组合；
动作识别模块，用于判断用户做出的第一手势动作是否为预设动作库中目标手势动作，所述目标手势动作和所述第一操作指令对应；
动作收集模块，用于用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作；
其中，动作识别模块，还用于判断所述第一手势动作是否匹配预设动作库中的第二手势动作；其中，所述第二手势动作对应的是除第一操作指令以外的其他操作指令；
动作收集模块，还用于设定所述第二手势动作为与所述第一操作指令对应的手势动作；
动作提示模块，还用于提示用户重复所述第一手势动作，以将所述第一手势动作存储至所述预设动作库中作为与所述第一操作指令对应的手势动作；
动作识别模块，还用于判断所述第一操作指令是否关联预设动作库中的第二手势动作；
动作收集模块，还用于删除所述预设动作库中的第二手势动作。
7.一种基于AR的人机交互学习设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的人机交互学习方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的人机交互学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911094587.6A CN110850982B (zh) | 2019-11-11 | 2019-11-11 | 基于ar的人机交互学习方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911094587.6A CN110850982B (zh) | 2019-11-11 | 2019-11-11 | 基于ar的人机交互学习方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110850982A CN110850982A (zh) | 2020-02-28 |
| CN110850982B true CN110850982B (zh) | 2024-03-29 |
Family
ID=69601315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911094587.6A Active CN110850982B (zh) | 2019-11-11 | 2019-11-11 | 基于ar的人机交互学习方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110850982B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680177A (zh) * | 2020-06-01 | 2020-09-18 | 广东小天才科技有限公司 | 数据搜索方法及电子设备、计算机可读存储介质 |
| CN114489331A (zh) * | 2021-12-31 | 2022-05-13 | 上海米学人工智能信息科技有限公司 | 区别于按钮点击的隔空手势交互方法、装置、设备和介质 |
| WO2024072462A1 (en) * | 2022-09-30 | 2024-04-04 | Google Llc | Continual in-line learning for radar-based gesture recognition |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976143A (zh) * | 2010-09-27 | 2011-02-16 | 南京点面光电有限公司 | 一种触摸屏操作手势管理系统及方法 |
| JP2011209773A (ja) * | 2010-03-26 | 2011-10-20 | Seiko Epson Corp | ジェスチャ・コマンド処理装置、ジェスチャ・コマンド処理方法、およびプログラム |
| CN202551254U (zh) * | 2012-01-10 | 2012-11-21 | 上海广电电子科技有限公司 | 基于空中鼠标的电视装置 |
| CN103399632A (zh) * | 2013-07-16 | 2013-11-20 | 深圳市金立通信设备有限公司 | 一种手势控制的方法和移动终端 |
| CN103576840A (zh) * | 2012-07-24 | 2014-02-12 | 上海辰戌信息科技有限公司 | 基于立体视觉的手势体感控制系统 |
| CN105426108A (zh) * | 2015-11-30 | 2016-03-23 | 上海斐讯数据通信技术有限公司 | 使用自定义手势的方法、系统及电子设备 |
| CN105807900A (zh) * | 2014-12-30 | 2016-07-27 | 丰唐物联技术（深圳）有限公司 | 非接触式手势控制方法及智能终端 |
| CN106406716A (zh) * | 2015-07-28 | 2017-02-15 | 腾讯科技（深圳）有限公司 | 锁屏状态下的音频播放方法及音频播放系统 |
| CN106708266A (zh) * | 2016-12-23 | 2017-05-24 | 武汉市马里欧网络有限公司 | 一种基于双目手势识别的ar动作矫正投影方法及系统 |
| CN107272890A (zh) * | 2017-05-26 | 2017-10-20 | 歌尔科技有限公司 | 一种基于手势识别的人机交互方法和装置 |
| CN110275665A (zh) * | 2019-05-23 | 2019-09-24 | 深圳龙图腾创新设计有限公司 | 一种触摸屏操作方法、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996164B2 (en) * | 2016-09-22 | 2018-06-12 | Qualcomm Incorporated | Systems and methods for recording custom gesture commands |
-
2019
- 2019-11-11 CN CN201911094587.6A patent/CN110850982B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011209773A (ja) * | 2010-03-26 | 2011-10-20 | Seiko Epson Corp | ジェスチャ・コマンド処理装置、ジェスチャ・コマンド処理方法、およびプログラム |
| CN101976143A (zh) * | 2010-09-27 | 2011-02-16 | 南京点面光电有限公司 | 一种触摸屏操作手势管理系统及方法 |
| CN202551254U (zh) * | 2012-01-10 | 2012-11-21 | 上海广电电子科技有限公司 | 基于空中鼠标的电视装置 |
| CN103576840A (zh) * | 2012-07-24 | 2014-02-12 | 上海辰戌信息科技有限公司 | 基于立体视觉的手势体感控制系统 |
| CN103399632A (zh) * | 2013-07-16 | 2013-11-20 | 深圳市金立通信设备有限公司 | 一种手势控制的方法和移动终端 |
| CN105807900A (zh) * | 2014-12-30 | 2016-07-27 | 丰唐物联技术（深圳）有限公司 | 非接触式手势控制方法及智能终端 |
| CN106406716A (zh) * | 2015-07-28 | 2017-02-15 | 腾讯科技（深圳）有限公司 | 锁屏状态下的音频播放方法及音频播放系统 |
| CN105426108A (zh) * | 2015-11-30 | 2016-03-23 | 上海斐讯数据通信技术有限公司 | 使用自定义手势的方法、系统及电子设备 |
| CN106708266A (zh) * | 2016-12-23 | 2017-05-24 | 武汉市马里欧网络有限公司 | 一种基于双目手势识别的ar动作矫正投影方法及系统 |
| CN107272890A (zh) * | 2017-05-26 | 2017-10-20 | 歌尔科技有限公司 | 一种基于手势识别的人机交互方法和装置 |
| CN110275665A (zh) * | 2019-05-23 | 2019-09-24 | 深圳龙图腾创新设计有限公司 | 一种触摸屏操作方法、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于头戴式摄像头的手势识别技术研究与应用;王天明;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-5107 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110850982A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10275022B2 (en) | Audio-visual interaction with user devices | |
| RU2702270C2 (ru) | Обнаружение выбора рукописного фрагмента | |
| EP3712805B1 (en) | Gesture recognition method, device, electronic device, and storage medium | |
| CN110850982B (zh) | 基于ar的人机交互学习方法、系统、设备及存储介质 | |
| US8751550B2 (en) | Freeform mathematical computations | |
| US20130120280A1 (en) | System and Method for Evaluating Interoperability of Gesture Recognizers | |
| CN110090444B (zh) | 游戏中行为记录创建方法、装置、存储介质及电子设备 | |
| US20210256077A1 (en) | Methods, devices and computer-readable storage media for processing a hosted application | |
| US9423908B2 (en) | Distinguishing between touch gestures and handwriting | |
| US8542207B1 (en) | Pencil eraser gesture and gesture recognition method for touch-enabled user interfaces | |
| CN109710066B (zh) | 基于手势识别的交互方法、装置、存储介质和电子设备 | |
| CN107977155B (zh) | 一种手写识别方法、装置、设备和存储介质 | |
| US10599324B2 (en) | Hand gesture API using finite state machine and gesture language discrete values | |
| CN109865285B (zh) | 游戏中的信息处理方法及装置、计算机存储介质 | |
| US20210326151A1 (en) | Methods, devices and computer-readable storage media for processing a hosted application | |
| US9733826B2 (en) | Interacting with application beneath transparent layer | |
| CN112507090A (zh) | 用于输出信息的方法、装置、设备和存储介质 | |
| US9395911B2 (en) | Computer input using hand drawn symbols | |
| CN104881673A (zh) | 基于信息整合的模式识别的方法和系统 | |
| Sluÿters et al. | Quantumleap, a framework for engineering gestural user interfaces based on the leap motion controller | |
| CN111492407B (zh) | 用于绘图美化的系统和方法 | |
| EP3736677A1 (en) | A method and corresponding device for selecting and editing handwriting input elements | |
| US11747954B1 (en) | Systems and methods for organizing contents in XR environments | |
| US20130201161A1 (en) | Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation | |
| CN103547982A (zh) | 利用空间和时间特征识别触摸传感器数据中的接触和接触属性 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |