CN109460150A - 一种虚拟现实人机交互系统及方法 - Google Patents

一种虚拟现实人机交互系统及方法 Download PDF

Info

Publication number
CN109460150A
CN109460150A CN201811337569.1A CN201811337569A CN109460150A CN 109460150 A CN109460150 A CN 109460150A CN 201811337569 A CN201811337569 A CN 201811337569A CN 109460150 A CN109460150 A CN 109460150A
Authority
CN
China
Prior art keywords
virtual
gesture
space
virtual reality
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811337569.1A
Other languages
English (en)
Inventor
杨佳楠
吕应明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Specialized Machinery
Original Assignee
Beijing Institute of Specialized Machinery
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Specialized Machinery filed Critical Beijing Institute of Specialized Machinery
Priority to CN201811337569.1A priority Critical patent/CN109460150A/zh
Publication of CN109460150A publication Critical patent/CN109460150A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟现实人机交互系统及方法，基于空间定位与手势识别，将虚实空间坐标匹配与手势识别相结合，通过手势图像的采集和处理能够实时获得用户操作实时变化的手势模型，在头盔显示器显示可给用户提供视觉感受。通过空间坐标标定后的半实物操作设备与虚拟场景中的操作对象准确映射，给用户提供操作过程中的触觉体验。本发明与常用实现方式相比，具有交互直接、接近实际和体验感强等优点；通过头盔进行显示的虚拟现实系统的人手操作输入脱离手柄、手套的限制，使虚拟现实系统的人机交互操作直接、自然，并能获得触觉感受，达到更接近真实的用户体验效果。

Description

一种虚拟现实人机交互系统及方法
技术领域
本发明属于虚拟现实仿真技术领域，具体涉及一种虚拟现实人机交互系统及方法。
背景技术
近年，虚拟现实(Virtual Reality，简称VR)技术及VR交互设备在在大型装备的虚拟训练、虚拟维修等方面有了越来越广泛的应用，在国内外陆续出现了诸如基于VR的飞机虚拟维修系统、工程机械虚拟操作训练系统、战车驾驶模拟与操控系统等。这样的VR虚拟系统中大多采用手柄或数据手套进行交互输入，虽然也能达到虚拟交互的目的，但普遍存在交互操作不直接，与实际装备使用的过程不一致，更不能提供交互操作的触觉感受，用户体验感不强。在手势识别技术发展的基础上，出现了手势识别与VR技术的结合，但几乎大多数的应用中操作者的手仅仅与空间的空气“交互”，仍不能给操作者以更为真实的实操体验。
发明内容
本发明提供一种虚拟现实人机交互系统及方法，能获得触觉感受，达到更接近真实的用户体验效果。
为了解决以上技术问题，本发明提供了一种虚拟现实人机交互系统，其特征在于：包括虚拟现实头盔、图形工作站、双目摄像头和半实物操作对象；所述虚拟现实头盔用于呈现沉浸感视觉图像，提供虚拟场景和用户手势的显示功能；所述双目摄像头用于采集用户手势图像信息并发送给图形工作站；所述半实物操作对象是用于模拟实际操作对象的纯硬件设备；图形工作站与双目摄像头通讯，用于获取左眼摄像头和右眼摄像头采集的手势图像信息，并提取视差信息，进行手势分割、手势三维建模、指尖识别，将生成的手势模型显示于虚拟现实头盔的显示器中，用于用户可视化操作。
一种虚拟现实人机交互方法，其特征在于，具体包括如下步骤：
步骤1、虚拟空间设备及场景建模：建立仿真对象设备以及场景在虚拟现实空间中的三维模型，尤其还包括虚拟手模型，用于用户手形在虚拟空间中的动态显示；
步骤2、设计及布置半实物操作对象设备；
步骤3、对虚拟操作设备与实际空间半实物操作设备进行空间坐标匹配：分别建立虚拟空间三维坐标系和实际空间三维坐标系，在实际空间中确定一点作为坐标原点，采用激光测距方式测量出操作对象与坐标原点之间的距离；将实际空间中确定的坐标原点投射到虚拟空间中，建立虚拟空间中的坐标原点，即完成了实际空间和虚拟空间的坐标匹配；
步骤4、采集用户手势图像信息：通过双目摄像头的左右眼摄像头分别采集获取左右通道手势图像，并将数据发送给图形工作站；
步骤5、识别处理用户手势信息：图形工作站根据接收到的双目手势图像进行手势分割、手势识别、指尖识别、手势三维建模；
步骤6、用户手势图像虚拟场景显示：图形工作站将建模生成的三维手势图像数据发送给头盔，在头盔的显示屏上进行同步实时显示。
有益效果：本发明基于空间定位与手势识别的，将虚实空间坐标匹配与手势识别相结合。通过手势图像的采集和处理能够实时获得用户操作实时变化的手势模型，在头盔显示器显示可给用户提供视觉感受。通过空间坐标标定后的半实物操作设备与虚拟场景中的操作对象准确映射，给用户提供操作过程中的触觉体验。本发明与常用实现方式相比，具有交互直接、接近实际和体验感强等优点；通过头盔进行显示的虚拟现实系统的人手操作输入脱离手柄、手套等的限制，使虚拟现实系统的人机交互操作直接、自然，并能获得触觉感受，达到更接近真实的用户体验效果。
附图说明
图1为本发明人机交互系统示意图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面对本发明的具体实施方式作进一步详细描述。
本发明提出的一种虚拟现实人机交互系统，包括虚拟现实头盔、图形工作站、双目摄像头和半实物操作对象；
所述虚拟现实头盔用于呈现沉浸感视觉图像，提供虚拟场景和用户手势的显示功能，其与图形工作站相连；
所述双目摄像头用于采集类似具有左右眼视差的用户手势图像信息并发送给图形工作站；
所述图形工作站是信息综合处理设备。
所述半实物操作对象是用于模拟实际操作对象的纯硬件设备，如面板、按键、摇杆等。
图形工作站与双目摄像头通讯，用于获取左眼摄像头和右眼摄像头采集的手势图像信息，并提取视差信息，进行手势分割、手势三维建模、指尖识别等。将生成的手势模型显示于头盔显示器中，用于用户可视化操作。
半实物操作对象为简单的纯结构件设备，用于提供用户操作的触觉感受，同时用于确定实际空间的坐标系与坐标原点；
所述双目摄像头为小型化设备，可单独安装固定，也可固定在头盔正前部位置。
所述手势图像信息包括滑动、点击和抓握等形式。
本发明还提供了一种虚拟现实人机交互方法的具体实现过程，包括如下步骤：
步骤1、虚拟空间设备及场景建模
建立仿真对象设备以及场景在虚拟现实空间中的三维模型，尤其还包括虚拟手模型，用于用户手形在虚拟空间中的动态显示。
步骤2、半实物操作对象设备设计及布置
实际装备成本较高，方案中仅设计实际装备中用户需要接触操作的结构件部分，如面板、按键、摇杆等，采用低成本方式按照实体装备的几何尺寸设计实现和安装布置。
步骤3、虚拟操作设备与实际空间半实物操作设备空间坐标匹配
分别建立虚拟空间三维坐标系和实际空间三维坐标系，在实际空间中确定一点作为坐标原点，采用激光测距方式测量出操作对象与坐标原点之间的距离。将实际空间中确定的坐标原点投射到虚拟空间中，建立虚拟空间中的坐标原点。即完成了实际空间和虚拟空间的坐标匹配。
步骤4、用户手势图像信息采集
用户操作过程中，通过双目摄像头的左右眼摄像头分别采集获取左右通道手势图像，并将数据发送给图形工作站。
步骤5、用户手势信息识别处理
图形工作站根据接收到的双目手势图像进行手势分割、手势识别、指尖识别、手势三维建模等。
步骤6、用户手势图像虚拟场景显示
图形工作站将建模生成的三维手势图像数据发送给头盔，在头盔的显示屏上进行同步实时显示。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种虚拟现实人机交互系统，其特征在于：包括虚拟现实头盔、图形工作站、双目摄像头和半实物操作对象；所述虚拟现实头盔用于呈现沉浸感视觉图像，提供虚拟场景和用户手势的显示功能；所述双目摄像头用于采集用户手势图像信息并发送给图形工作站；所述半实物操作对象是用于模拟实际操作对象的纯硬件设备；图形工作站与双目摄像头通讯，用于获取左眼摄像头和右眼摄像头采集的手势图像信息，并提取视差信息，进行手势分割、手势三维建模、指尖识别，将生成的手势模型显示于虚拟现实头盔的显示器中，用于用户可视化操作。
2.根据权利要求1所述的一种虚拟现实人机交互系统，其特征在于：半实物操作对象为面板、按键、摇杆。
3.根据权利要求1所述的一种虚拟现实人机交互系统，其特征在于：所述双目摄像头为小型化设备，可单独安装固定，也可固定在头盔正前部位置。
4.根据权利要求1所述的一种虚拟现实人机交互系统，其特征在于：所述手势图像信息包括滑动、点击和抓握的形式。
5.一种虚拟现实人机交互方法，其特征在于，具体包括如下步骤：
步骤1、虚拟空间设备及场景建模：建立仿真对象设备以及场景在虚拟现实空间中的三维模型，尤其还包括虚拟手模型，用于用户手形在虚拟空间中的动态显示；
步骤2、设计及布置半实物操作对象设备；
步骤3、对虚拟操作设备与实际空间半实物操作设备进行空间坐标匹配：分别建立虚拟空间三维坐标系和实际空间三维坐标系，在实际空间中确定一点作为坐标原点，采用激光测距方式测量出操作对象与坐标原点之间的距离；将实际空间中确定的坐标原点投射到虚拟空间中，建立虚拟空间中的坐标原点，即完成了实际空间和虚拟空间的坐标匹配；
步骤4、采集用户手势图像信息：通过双目摄像头的左右眼摄像头分别采集获取左右通道手势图像，并将数据发送给图形工作站；
步骤5、识别处理用户手势信息：图形工作站根据接收到的双目手势图像进行手势分割、手势识别、指尖识别、手势三维建模；
步骤6、用户手势图像虚拟场景显示：图形工作站将建模生成的三维手势图像数据发送给头盔，在头盔的显示屏上进行同步实时显示。
CN201811337569.1A 2018-11-12 2018-11-12 一种虚拟现实人机交互系统及方法 Pending CN109460150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811337569.1A CN109460150A (zh) 2018-11-12 2018-11-12 一种虚拟现实人机交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811337569.1A CN109460150A (zh) 2018-11-12 2018-11-12 一种虚拟现实人机交互系统及方法

Publications (1)

Publication Number Publication Date
CN109460150A true CN109460150A (zh) 2019-03-12

Family

ID=65610059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811337569.1A Pending CN109460150A (zh) 2018-11-12 2018-11-12 一种虚拟现实人机交互系统及方法

Country Status (1)

Country Link
CN (1) CN109460150A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554775A (zh) * 2019-08-29 2019-12-10 天津大学 一种虚拟现实定位腰带及其定位系统
CN111369685A (zh) * 2020-03-03 2020-07-03 西南交通大学 一种事故救援虚拟演练交互系统及方法
CN111565307A (zh) * 2020-04-29 2020-08-21 昆明埃舍尔科技有限公司 一种基于mr远程空间同步指导方法和系统
CN111667734A (zh) * 2020-06-17 2020-09-15 济南大学 基于物理接触感知容器倾倒的方法及装置
CN111975765A (zh) * 2019-05-24 2020-11-24 京瓷办公信息系统株式会社 电子装置、机器人系统和虚拟区域设定方法
CN112306234A (zh) * 2020-09-25 2021-02-02 中国电力科学研究院有限公司 一种基于数据手套的手部操作识别方法及系统
CN112527112A (zh) * 2020-12-08 2021-03-19 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
CN113552945A (zh) * 2021-07-16 2021-10-26 浙江大学 一种人机交互的手套系统
CN114866757A (zh) * 2022-04-22 2022-08-05 深圳市华星光电半导体显示技术有限公司 一种立体显示系统及方法
CN115762293A (zh) * 2022-12-26 2023-03-07 北京东方瑞丰航空技术有限公司 一种基于虚拟现实定位器定位的航空训练方法和系统
CN115877954A (zh) * 2023-03-01 2023-03-31 四川成渝高速公路股份有限公司成仁分公司 一种电子沙盘显示方法、展示方式及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130265229A1 (en) * 2012-04-09 2013-10-10 Qualcomm Incorporated Control of remote device based on gestures
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105068649A (zh) * 2015-08-12 2015-11-18 深圳市埃微信息技术有限公司 基于虚拟现实头盔的双目手势识别装置及方法
CN105302295A (zh) * 2015-09-07 2016-02-03 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的虚拟现实交互设备
CN106569596A (zh) * 2016-10-20 2017-04-19 努比亚技术有限公司 一种手势控制方法和设备
CN107193371A (zh) * 2017-04-28 2017-09-22 上海交通大学 一种基于虚拟现实的实时人机交互系统及方法
US20170285757A1 (en) * 2016-03-31 2017-10-05 Disney Enterprises, Inc. Control system using aesthetically guided gesture recognition
CN107272899A (zh) * 2017-06-21 2017-10-20 北京奇艺世纪科技有限公司 一种基于动态手势的vr交互方法、装置及电子设备
CN108334203A (zh) * 2018-04-13 2018-07-27 北京理工大学 一种用于虚拟现实的虚实融合键盘系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130265229A1 (en) * 2012-04-09 2013-10-10 Qualcomm Incorporated Control of remote device based on gestures
CN105068649A (zh) * 2015-08-12 2015-11-18 深圳市埃微信息技术有限公司 基于虚拟现实头盔的双目手势识别装置及方法
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105302295A (zh) * 2015-09-07 2016-02-03 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的虚拟现实交互设备
US20170285757A1 (en) * 2016-03-31 2017-10-05 Disney Enterprises, Inc. Control system using aesthetically guided gesture recognition
CN106569596A (zh) * 2016-10-20 2017-04-19 努比亚技术有限公司 一种手势控制方法和设备
CN107193371A (zh) * 2017-04-28 2017-09-22 上海交通大学 一种基于虚拟现实的实时人机交互系统及方法
CN107272899A (zh) * 2017-06-21 2017-10-20 北京奇艺世纪科技有限公司 一种基于动态手势的vr交互方法、装置及电子设备
CN108334203A (zh) * 2018-04-13 2018-07-27 北京理工大学 一种用于虚拟现实的虚实融合键盘系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111975765B (zh) * 2019-05-24 2023-05-23 京瓷办公信息系统株式会社 电子装置、机器人系统和虚拟区域设定方法
CN111975765A (zh) * 2019-05-24 2020-11-24 京瓷办公信息系统株式会社 电子装置、机器人系统和虚拟区域设定方法
CN110554775A (zh) * 2019-08-29 2019-12-10 天津大学 一种虚拟现实定位腰带及其定位系统
CN111369685A (zh) * 2020-03-03 2020-07-03 西南交通大学 一种事故救援虚拟演练交互系统及方法
CN111565307A (zh) * 2020-04-29 2020-08-21 昆明埃舍尔科技有限公司 一种基于mr远程空间同步指导方法和系统
CN111667734A (zh) * 2020-06-17 2020-09-15 济南大学 基于物理接触感知容器倾倒的方法及装置
CN112306234A (zh) * 2020-09-25 2021-02-02 中国电力科学研究院有限公司 一种基于数据手套的手部操作识别方法及系统
CN112306234B (zh) * 2020-09-25 2023-10-31 中国电力科学研究院有限公司 一种基于数据手套的手部操作识别方法及系统
CN112527112A (zh) * 2020-12-08 2021-03-19 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
CN112527112B (zh) * 2020-12-08 2023-05-02 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
CN113552945A (zh) * 2021-07-16 2021-10-26 浙江大学 一种人机交互的手套系统
CN113552945B (zh) * 2021-07-16 2024-04-05 浙江大学 一种人机交互的手套系统
CN114866757A (zh) * 2022-04-22 2022-08-05 深圳市华星光电半导体显示技术有限公司 一种立体显示系统及方法
CN114866757B (zh) * 2022-04-22 2024-03-05 深圳市华星光电半导体显示技术有限公司 一种立体显示系统及方法
CN115762293A (zh) * 2022-12-26 2023-03-07 北京东方瑞丰航空技术有限公司 一种基于虚拟现实定位器定位的航空训练方法和系统
CN115877954A (zh) * 2023-03-01 2023-03-31 四川成渝高速公路股份有限公司成仁分公司 一种电子沙盘显示方法、展示方式及装置

Similar Documents

Publication Publication Date Title
CN109460150A (zh) 一种虚拟现实人机交互系统及方法
CN107656613B (zh) 一种基于眼动追踪的人机交互系统及其工作方法
CN106530293B (zh) 手工装配视觉检测防错方法及系统
CN103116857B (zh) 一种基于体感控制的虚拟样板房漫游系统
CN107632699B (zh) 基于多感知数据融合的人机自然交互系统
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
CN103399637B (zh) 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN107728792A (zh) 一种基于手势识别的增强现实三维绘图系统及绘图方法
CN107450714A (zh) 基于增强现实和图像识别的人机交互支撑测试系统
CN106846403A (zh) 一种三维空间中手部定位的方法、装置及智能设备
CN105536205A (zh) 一种基于单目视频人体动作感知的上肢训练系统
CN103617642B (zh) 一种数字书画方法及装置
CN102831380A (zh) 一种基于深度图像感应的肢体动作识别方法及系统
CN103500010B (zh) 一种视频人手指尖定位方法
CN104571510A (zh) 一种3d场景中输入手势的系统和方法
CN104460967A (zh) 一种人体上肢骨骼手势识别方法
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN104766345A (zh) 基于衣服特征点的身体扫描及运动捕捉方法
CN104714646A (zh) 一种基于立体视觉的3d虚拟触控人机交互方法
CN105786361A (zh) 一种3d车载终端人机交互系统
CN103426000B (zh) 一种静态手势指尖检测方法
CN107643820B (zh) Vr被动型机器人及其实现方法
CN116935008A (zh) 一种基于混合现实的展示交互方法和装置
CN108459716B (zh) 一种在vr中实现多人协作完成任务的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190312

RJ01 Rejection of invention patent application after publication