CN109933194A - 一种混合现实环境中对虚拟目标物的交互方法 - Google Patents
一种混合现实环境中对虚拟目标物的交互方法 Download PDFInfo
- Publication number
- CN109933194A CN109933194A CN201910164160.2A CN201910164160A CN109933194A CN 109933194 A CN109933194 A CN 109933194A CN 201910164160 A CN201910164160 A CN 201910164160A CN 109933194 A CN109933194 A CN 109933194A
- Authority
- CN
- China
- Prior art keywords
- target object
- virtual target
- hand
- palm
- fingers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种混合现实环境中对虚拟目标物的交互方法，包括以下步骤：a.构件设备环境；b．手势识别，leap motion设备识别到人体的左手还是右手，并进一步识别手心和手背重心位置坐标和手势运动的所有基本信息；c．重建手势三维结构；d．识别到手心时，以虚拟的手心的重心坐标为基准生成虚拟目标物；e．所述虚拟目标物的坐标相对所述手心的坐标固定；f．识别到手背时，在各个手指处形成碰撞盒，通过碰撞盒与虚拟目标物的接触，完成交互。利用设备自有的手势识别功能，完成以手掌和手背为核心的虚拟目标物的生成和控制过程，解除操作对于眼睛及眼神凝视动作等的依赖，避免眼部疲劳，同时控制更加直接，更加简单。
Description
技术领域
本发明涉及一种混合现实环境中对虚拟目标物的交互方法，属于全息眼镜技术领域。
背景技术
hololens眼镜等混合现实眼镜为用于进行混合现实场景现实的智能显示设备。若需要提高hololens眼镜等混合现实眼镜的人机交互功能，必须简化人机交互的操作。
当前，hololens的人机交互操作是： 1、Bloom手势：伸出你的左手或者右手到摄像头正前方，手指并拢掌心向上运动，眼镜识别手势后才会有所相应的响应。2、Air tap手势，先把光标凝视到应用图标上面，将食指和大拇指伸出，首先张开，然后合拢，眼镜识别手势后才会有所相应的响应。3、其他操作滚动，在应用栏上，选择滚动工具，按住不放，直到工具出现，然后慢慢上下或者左右移动你的手，实现拖拽。4、手持控制设备，只具备控制功能。全部的触发过程都过于繁杂。
另外，holoens等混合现实眼镜的人机交互目前太依赖于人眼镜的凝视点和手势交互相结合才能产生响应。用户眼睛和手势的配合默契才能操作好，上手有些困难。
因此在实际应用中，用户在与虚拟目标物的交互时，经常操作不好，或者比较费力。费力不友好的交互模式，使混合现实眼镜的体验变差。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供一种对人眼的依赖程度降低、手势操作更加容易、手势动作的触发更加合理的一种混合现实环境中对虚拟目标物的交互方法。
为了实现上述目的，本发明所采用的技术方案是：一种混合现实环境中对虚拟目标物的交互方法，包括以下步骤：
a.连接Holo Lens设备和leap motion设备，设置leap motion设备的识别范围为混合现实眼镜的正前方；
b．手势识别，leap motion设备识别到人体的左手还是右手，并进一步识别手心和手背重心位置坐标和手势运动的所有基本信息；
c．重建手势三维结构，并实时的将虚拟的手根据真实的手的全部数据进行动态调整；
d．识别到手心时，以虚拟的手心的重心坐标为基准生成虚拟目标物；
e．所述虚拟目标物的坐标相对所述手心的坐标固定；
f．识别到手背时，在各个手指处形成碰撞盒，通过碰撞盒与虚拟目标物的接触，完成交互。
基上所述，d步骤中，虚拟目标物的边界坐标以手掌的边界坐标为准，或以掌心坐标为中心。
基上所述，b步骤中，手势识别的方法为双目手势识别方法。
基上所述，f步骤中，识别到手背时，针对手指数量进行识别，单指手势下，仅单指的碰撞盒起效；两指状态下，仅伸出的手指的碰撞盒起效；五指展开时，五个手指的碰撞盒均起效。
基上所述，双指同时触碰虚拟目标物获得与单指触碰虚拟目标物不同的指令。
基上所述，五指同时触碰虚拟目标物获得与单指触碰虚拟目标物以及双指同时触碰虚拟目标物不同的指令。
基上所述，双指同时触碰以及五指同时触碰中，对于时间的判定设置阈值，在阈值范围内的视为同时触碰。
基上所述，识别到手背且五指展开时，触碰虚拟目标物，虚拟目标物坐标以手背重心坐标为参照基准点并实时动态调整，实现拖拽虚拟目标物动作。
基上所述，识别到双手的手背且五指展开时，触碰虚拟目标物，虚拟目标物的比例以两个手背重心坐标之间的距离为参照基准点动态缩放。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明在原有Holo Lens设备和leap motion设备所具备的功能基础上，进行进一步的优化设计，尤其是对于手势的识别设计。
首先，通过手心识别，将虚拟目标物以手心的重心坐标为基准生成，两者相对位置固定，虚拟目标物始终跟随手心坐标移动，脱离人眼凝视锁定虚拟目标物的操作，解放双眼。
其次，通过手背识别，直接判定为操作手势，并在手指处形成碰撞盒，根据展开手指数量的不同，实现不同操作的区别判定，相对于现有的手势操作动作而言，判定更直接，简洁，也更容易学习。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
一种混合现实环境中对虚拟目标物的交互方法，包括以下步骤：
a.连接Holo Lens设备和leap motion设备，设置leap motion设备的识别范围为混合现实眼镜的正前方，此步骤属于现有设备的连接，构件现场环境；
b．手势识别，leap motion设备识别到人体的左手还是右手，并进一步识别手心和手背重心位置坐标和手势运动的所有基本信息，利用leap motion设备及其自带功能，识别到手势的信息，其中，左手、右手、手掌和手背的判断，该手势识别的方法为双目手势识别方法，属于leap motion设备自带的功能，无需付出创造性劳动。
c．重建手势三维结构，并实时的将虚拟的手根据真实的手的全部数据进行动态调整，其目的是让虚拟的手能够实时的跟随真实的手进行动态移动，该步骤的实现也依赖于leap motion设备的自带功能，刷新率由leap motion设备的刷新率决定；
d．识别到手心时，以虚拟的手心的重心坐标为基准生成虚拟目标物，该步骤属于本专利的核心步骤，在判定为手心时，以手心的重心坐标为基准，创建虚拟目标物，例如控制菜单；
进一步的，虚拟目标物的边界坐标以手掌的边界坐标为准，或以掌心坐标为中心，即虚拟目标物的位置大概围绕手掌展开，或者位于掌心。
e．所述虚拟目标物的坐标相对所述手心的坐标固定，所表达的含义是指虚拟目标物随着手掌的移动而移动，两者的相对位置不变，取代了现有的虚拟目标物需要眼神凝视进行锁定的控制方式，解放眼部，避免眼部疲劳；
f．识别到手背时，在各个手指处形成碰撞盒，通过碰撞盒与虚拟目标物的接触，完成交互，即手背的识别作为控制识判定的前提，碰撞盒的生成属于常规手段。
进一步的，识别到手背时，针对手指数量进行识别，这也是leap motion设备的功能之一，当识别到单指手势下，仅单指的碰撞盒起效；两指状态下，仅伸出的手指的碰撞盒起效；五指展开时，五个手指的碰撞盒均起效。
双指同时触碰虚拟目标物获得与单指触碰虚拟目标物不同的指令。五指同时触碰虚拟目标物获得与单指触碰虚拟目标物以及双指同时触碰虚拟目标物不同的指令。即不同数量的手指触碰虚拟目标物完成不同的操作。例如：单指操作为确定，双指操作为属性页，五指操作为移动虚拟目标物。
为了解决准确度的问题，双指同时触碰以及五指同时触碰中，对于时间的判定设置阈值，在阈值范围内的视为同时触碰，该阈值通常设定在0-0.5s以内，在该范围内先后碰到虚拟目标物，均属于同时碰触。
识别到手背且五指展开时，触碰虚拟目标物，虚拟目标物坐标以手背重心坐标为参照基准点并实时动态调整，实现拖拽虚拟目标物动作，即五指触碰虚拟目标物，能够将虚拟目标物锁定，在该情况下，虚拟目标物不再与另一只手的手掌重心坐标关联，当五指脱离后，虚拟目标物维持当前位置并再次与手掌中心坐标关联。
识别到双手的手背且五指展开时，触碰虚拟目标物，虚拟目标物的比例以两个手背重心坐标之间的距离为参照基准点动态缩放，由于这种情况下没有手掌的存在，虚拟目标物按照leap motion设备默认的情况出现，即出现在眼前，由眼神凝视控制。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (9)
1.一种混合现实环境中对虚拟目标物的交互方法，其特征在于：包括以下步骤：
a.连接Holo Lens设备和leap motion设备，设置leap motion设备的识别范围为混合现实眼镜的正前方；
b．手势识别，leap motion设备识别到人体的左手还是右手，并进一步识别手心和手背重心位置坐标和手势运动的所有基本信息；
c．重建手势三维结构，并实时的将虚拟的手根据真实的手的全部数据进行动态调整；
d．识别到手心时，以虚拟的手心的重心坐标为基准生成虚拟目标物；
e．所述虚拟目标物的坐标相对所述手心的坐标固定；
f．识别到手背时，在各个手指处形成碰撞盒，通过碰撞盒与虚拟目标物的接触，完成交互。
2.根据权利要求1所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：d步骤中，虚拟目标物的边界坐标以手掌的边界坐标为准，或以掌心坐标为中心。
3.根据权利要求1或2所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：b步骤中，手势识别的方法为双目手势识别方法。
4.根据权利要求3所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：f步骤中，识别到手背时，针对手指数量进行识别，单指手势下，仅单指的碰撞盒起效；两指状态下，仅伸出的手指的碰撞盒起效；五指展开时，五个手指的碰撞盒均起效。
5.根据权利要求4所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：双指同时触碰虚拟目标物获得与单指触碰虚拟目标物不同的指令。
6.根据权利要求4所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：五指同时触碰虚拟目标物获得与单指触碰虚拟目标物以及双指同时触碰虚拟目标物不同的指令。
7.根据权利要求5或6所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：双指同时触碰以及五指同时触碰中，对于时间的判定设置阈值，在阈值范围内的视为同时触碰。
8.根据权利要求4所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：识别到手背且五指展开时，触碰虚拟目标物，虚拟目标物坐标以手背重心坐标为参照基准点并实时动态调整，实现拖拽虚拟目标物动作。
9.根据权利要求8所述的一种混合现实环境中对虚拟目标物的交互方法，其特征在于：识别到双手的手背且五指展开时，触碰虚拟目标物，虚拟目标物的比例以两个手背重心坐标之间的距离为参照基准点动态缩放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910164160.2A CN109933194A (zh) | 2019-03-05 | 2019-03-05 | 一种混合现实环境中对虚拟目标物的交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910164160.2A CN109933194A (zh) | 2019-03-05 | 2019-03-05 | 一种混合现实环境中对虚拟目标物的交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109933194A true CN109933194A (zh) | 2019-06-25 |
Family
ID=66986320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910164160.2A Pending CN109933194A (zh) | 2019-03-05 | 2019-03-05 | 一种混合现实环境中对虚拟目标物的交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109933194A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928411A (zh) * | 2019-11-18 | 2020-03-27 | 珠海格力电器股份有限公司 | 一种基于ar的交互方法、装置、存储介质及电子设备 |
| CN112764548A (zh) * | 2021-02-24 | 2021-05-07 | 北京计算机技术及应用研究所 | 一种ar辅助装配系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101357281B1 (ko) * | 2013-01-09 | 2014-01-28 | 한국과학기술원 | 쥠 입력수단을 이용한 가상 핸들 제공 시스템 및 방법 |
| CN103777757A (zh) * | 2014-01-15 | 2014-05-07 | 天津大学 | 一种结合显著性检测的在增强现实中放置虚拟对象的系统 |
| CN103955295A (zh) * | 2014-04-17 | 2014-07-30 | 北京航空航天大学 | 一种基于数据手套和物理引擎的虚拟手的实时抓取方法 |
| CN107390881A (zh) * | 2017-09-14 | 2017-11-24 | 西安领讯卓越信息技术有限公司 | 一种手势控制方法 |
| CN108334198A (zh) * | 2018-02-09 | 2018-07-27 | 华南理工大学 | 基于增强现实的虚拟雕塑方法 |
| CN108549489A (zh) * | 2018-04-27 | 2018-09-18 | 哈尔滨拓博科技有限公司 | 一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统 |
| CN108983978A (zh) * | 2018-07-20 | 2018-12-11 | 北京理工大学 | 虚拟手控制方法及装置 |
| CN109116984A (zh) * | 2018-07-27 | 2019-01-01 | 冯仕昌 | 一种用于三维交互场景的工具箱 |
| CN109144598A (zh) * | 2017-06-19 | 2019-01-04 | 天津锋时互动科技有限公司深圳分公司 | 基于手势的电子面罩人机交互方法与系统 |
-
2019
- 2019-03-05 CN CN201910164160.2A patent/CN109933194A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101357281B1 (ko) * | 2013-01-09 | 2014-01-28 | 한국과학기술원 | 쥠 입력수단을 이용한 가상 핸들 제공 시스템 및 방법 |
| CN103777757A (zh) * | 2014-01-15 | 2014-05-07 | 天津大学 | 一种结合显著性检测的在增强现实中放置虚拟对象的系统 |
| CN103955295A (zh) * | 2014-04-17 | 2014-07-30 | 北京航空航天大学 | 一种基于数据手套和物理引擎的虚拟手的实时抓取方法 |
| CN109144598A (zh) * | 2017-06-19 | 2019-01-04 | 天津锋时互动科技有限公司深圳分公司 | 基于手势的电子面罩人机交互方法与系统 |
| CN107390881A (zh) * | 2017-09-14 | 2017-11-24 | 西安领讯卓越信息技术有限公司 | 一种手势控制方法 |
| CN108334198A (zh) * | 2018-02-09 | 2018-07-27 | 华南理工大学 | 基于增强现实的虚拟雕塑方法 |
| CN108549489A (zh) * | 2018-04-27 | 2018-09-18 | 哈尔滨拓博科技有限公司 | 一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统 |
| CN108983978A (zh) * | 2018-07-20 | 2018-12-11 | 北京理工大学 | 虚拟手控制方法及装置 |
| CN109116984A (zh) * | 2018-07-27 | 2019-01-01 | 冯仕昌 | 一种用于三维交互场景的工具箱 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928411A (zh) * | 2019-11-18 | 2020-03-27 | 珠海格力电器股份有限公司 | 一种基于ar的交互方法、装置、存储介质及电子设备 |
| CN112764548A (zh) * | 2021-02-24 | 2021-05-07 | 北京计算机技术及应用研究所 | 一种ar辅助装配系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10928929B2 (en) | Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit | |
| CN106569613A (zh) | 一种多模态人机交互系统及其控制方法 | |
| CN103246351B (zh) | 一种用户交互系统和方法 | |
| Surale et al. | Experimental analysis of barehand mid-air mode-switching techniques in virtual reality | |
| EP3090331B1 (en) | Systems with techniques for user interface control | |
| CN104808788B (zh) | 一种非接触式手势操控用户界面的方法 | |
| Pfeuffer et al. | Empirical evaluation of gaze-enhanced menus in virtual reality | |
| Billinghurst et al. | Advanced interaction techniques for augmented reality applications | |
| WO2015113503A1 (zh) | 一种指环式无线指感控制器、控制方法及控制系统 | |
| CN104571823B (zh) | 一种基于智能电视的非接触式虚拟人机交互方法 | |
| CN104407694A (zh) | 一种结合人脸和手势控制的人机交互方法及装置 | |
| CN106846496A (zh) | 基于混合现实技术的dicom影像查看系统及操作方法 | |
| CN109782920A (zh) | 一种用于扩展现实的人机交互方法及处理终端 | |
| Cho et al. | Evaluation of a bimanual simultaneous 7dof interaction technique in virtual environments | |
| CN109976338A (zh) | 一种多模态四足机器人人机交互系统及方法 | |
| CN102779000A (zh) | 一种用户交互系统和方法 | |
| CN106445118A (zh) | 虚拟现实交互方法及装置 | |
| CN109933194A (zh) | 一种混合现实环境中对虚拟目标物的交互方法 | |
| CN106527711A (zh) | 一种虚拟现实设备的控制方法及虚拟现实设备 | |
| CN106774824A (zh) | 虚拟现实交互方法及装置 | |
| CN106598277A (zh) | 虚拟现实交互系统 | |
| WO2010051449A2 (en) | Virtual press number pad | |
| CN107450717A (zh) | 一种信息处理方法及穿戴式设备 | |
| CN107633551B (zh) | 一种虚拟键盘的展示方法及装置 | |
| CN104898917B (zh) | 一种信息处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |
|
| RJ01 | Rejection of invention patent application after publication |