CN105786190A - 一种三维虚拟交互系统 - Google Patents

一种三维虚拟交互系统 Download PDF

Info

Publication number
CN105786190A
CN105786190A CN201610289194.0A CN201610289194A CN105786190A CN 105786190 A CN105786190 A CN 105786190A CN 201610289194 A CN201610289194 A CN 201610289194A CN 105786190 A CN105786190 A CN 105786190A
Authority
CN
China
Prior art keywords
handle
module
sensor array
motion
optic sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610289194.0A
Other languages
English (en)
Other versions
CN105786190B (zh
Inventor
张诗杰
郑亦嘉
王凯乐
甄家毅
张凯
张珏
方竞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thirty Four Technology Co ltd
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610289194.0A priority Critical patent/CN105786190B/zh
Publication of CN105786190A publication Critical patent/CN105786190A/zh
Application granted granted Critical
Publication of CN105786190B publication Critical patent/CN105786190B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种三维虚拟交互系统，涉及虚拟现实领域。包括1)带有传感和触觉反馈的多功能部件，该部件由外壳夹持固定；2)手柄，通过多功能部件的准直孔固定；3)用于进行图像处理、虚拟场景渲染和用户交互的中央处理器，固定在多功能部件旁；4)用于显示虚拟场景及用户交互的显示器，固定在处理器旁；5)基座。多功能部件采集模拟手柄图像信息，传至中央处理器，由中央处理器进行图像识别、整合、模拟后，计算触觉力度，传至核心部件进行力反馈，同时中央处理器渲染虚拟场景，传至显示器显示。本发明可作为虚拟现实的实现设备，提供实时的视觉和触觉反馈。

Description

一种三维虚拟交互系统
技术领域
本发明涉及虚拟现实领域，具体涉及一种三维虚拟交互系统。
背景技术
随着虚拟现实技术的发展，三维虚拟交互系统越发重要。尽管已有很多产品对视觉、听觉已经达到了一个非常高度的模拟，但如何向用户营造一个真实的手感仍是制约虚拟现实的关键。目前，市场上常见的虚拟现实设备均无对触觉的虚拟。部分产品使用震动来进行示意性的提示和象征性的虚拟，与实际手感相差甚远。
发明内容
本发明的目的在于针对上述已有技术的不足，提供一种三维虚拟交互系统，为虚拟现实提供硬件支撑。
为了实现上述目的，本发明的一种三维虚拟交互系统，包括1)手柄，插在核心模块中；2)带有传感和触觉反馈的核心部件，由外壳夹持固定；3)用于进行图像处理、虚拟场景渲染和用户交互的中央处理器，固定在外壳上侧；4)用于显示虚拟场景及用户交互的显示器，固定在处理器上部；5)基座。
作为优选，所述的核心部件包括光学传感器阵列A、光学传感器阵列B、半圆铁环、万向球、万向轴固定桩、万向轴支撑器、电磁铁、金属铁块组成曲面金属铁块安装固定在万向器的固定轴底部，将电磁铁固定在万向轴固定桩的内部底端，万向球安放在万向轴支撑器上，接收中央处理器发来的力反馈数据，一方面电磁铁A电源闭合通电控制半圆铁环固定手柄的运动，另一方面控制电磁铁B电源闭合通电，电磁铁产生磁场吸附万向轴底部的曲面铁块，铁块与电磁铁产生磁力束缚万向球的运动。
作为优选，所述的光学传感器阵列A固定于万向轴支撑器中部与万向球接触，光学传感器阵列B固定于万向球内贴近手柄且位于手柄上部；光学传感器阵列A用于检测万向球旋转参数并将数据传到处理器单元。光学传感器阵列B用于检测手柄前进和旋转角度参数并将数据传到处理器单元。
所述的电磁铁A固定于万向球内手柄下部，3～5cm处，电磁铁A用于吸住半圆铁环来固定手柄的动作。电磁铁B固定在底座上用于吸附万向轴底部的曲面铁块，铁块与电磁铁产生磁力束缚万向球的运动。
作为优选，所述的物理引擎模块包含碰撞检测模块和三维渲染模块；碰撞检测模块接收处理器处理传递的手柄运动数据且当手柄与运动边界发生虚拟碰撞时，将碰撞信息传到处理器单元；三维渲染模块用于生成运动场景并实时与显示器交互；运动场景包含运动边界、手柄。
作为优选，所述的处理器单元包括曲面矫正模块、图像增强模块、万向球运动识别模块、手柄运动识别模块、手柄三维运动模块和力反馈计算模块；曲面矫正模块分别将光学传感器阵列光学传感器阵列A和光学传感器阵列B获取的图像数据经行曲面矫正，图像增强模块将矫正后的图像进行对比度增强，万向球运动识别模块和手柄运动识别模块分别将光学传感器阵列光学传感器阵列A和光学传感器阵列B进过增强后图像进行识别并将获取的运动数据传递到手柄三维运动模块，手柄三维运动模块计算处理接收到的数据后得到手柄三维空间运动数据；力反馈计算模块接收物理引擎模块中碰撞检测模块传递的碰撞数据并计算得到力反馈信息传递给力反馈模块。
本发明具有如下优点：
1)本发明具有定位手柄三维运动的功能，能实时获取手柄三个自由度的旋转和一个自由度的平移数据，可在空间中准确迅速定位手柄的运动情况。
2)本发明具有实时显示手柄三维运动和碰撞检测的功能，能在显示器中实时观测到手柄的旋转角度和前进位置并且当物体碰撞到虚拟边界时能进行碰撞检测和力反馈。
3)本发明能够向操作者提供较为真实的触觉反馈。
附图说明
图1为本发明的整体结构示意图；
图2为本发明中的核心部件结构示意图；
图3为本发明中的中央处理器模块示意图。
具体实施方式
下面通过具体实施例对本发明进行说明，但本发明并不局限于此。
参照图1，本发明的一种三维虚拟交互系统，包括手柄1，带有传感和触觉反馈的核心部件2用于进行图像处理、虚拟场景渲染和用户交互的中央处理器3用于显示虚拟场景及用户交互的显示器4基座5。
其中，基座5位于整个设备的最下层，核心部件2固定在基座5上，手柄1穿插在核心部件2中，中央处理器3固定在核心部件上，显示器4固定在中央处理器3上。核心部件2采集手柄1的图像信息，传给中央处理器3并接收中央处理器3返回的触觉反馈数据，反馈给用户。中央处理器3接受核心部件2的图像数据，经过识别、计算，得到手柄的三维位置和角度信息，经过模拟，得到触觉反馈的力度，传送给核心部件2，同时渲染虚拟场景，传送给显示器4。
如图2所示，所述的核心部件2包括手柄21，空心球体22，曲面托盘23，底座24，曲面金属铁块25，电磁铁26，光学阵列传感器27，半圆铁环28。手柄21穿插在空心球体22中，空心球体22位于整个核心部件的中央，空心球体22在曲面托盘23上进行旋转，曲面托盘23固定在底座24上，曲面金属铁块25贴合在空心球体22的底端，电磁铁26镶嵌在底座24内与曲面金属铁块25空心球体22构成力反馈结构，电磁铁26A通电吸引半圆铁环28对手柄21施加力的作用使得停止手柄21的运动，电磁铁26B通电吸引曲面金属铁块25对空心球体22施加力的作用使得停止空心球体22的运动，光学阵列传感器27A紧贴手柄21用来检测手柄的运动，光学传感27B镶嵌在曲面托盘23内用来检测空心球体22的运动。
如图3所示，所述的数据和信息处理器3包括曲面矫正模块31，图像增强模块32，万向球旋转识别模块33，手柄自旋和前进识别模块34，手柄三维运动模块35，三维渲染模块36，碰撞检测模块37，力反馈计算模块38；曲面矫正模块31将光学传感器阵列A获取的手柄曲面图像和光学传感器阵列B获取的万向球曲面图像经行曲面矫正，提高图像信息的真实度便于计算；图像增强模块32将曲面矫正模块得到的图像经行图像对比度增强利于图像信息识别和信息；万向球自旋识别模块33将经过处理图像进行图像识别和信息提取从而计算出万向球两个维度的旋转信息；手柄自旋和前进识别模块34将经过处理的图像进行图像识别和信息提取从而计算手柄前进信息和沿轴旋转信息；手柄三维运动模块35将万向球两个维度的旋转参数和手柄前进信息、沿轴旋转信息结合通过坐标转换计算得到手柄的三维运动数据；三维渲染模块36根据获取的手柄三维运动数据在虚拟环境中实时模拟和同步显示手柄的运动状态并可以虚拟设置手柄运动边界和生成运动场景中的障碍物；碰撞检测模块37检测手柄与运动边界和障碍物是否发生碰撞，发生碰撞时将碰撞信息传递到力反馈计算模块；力反馈计算模块38根据获取的碰撞信息模拟真实碰撞产生的反馈数据传递到核心部件结构。

Claims (3)

1.一种三维虚拟交互系统，包括：1)带有传感和触觉反馈的多功能部件，该部件由外壳夹持固定；2)手柄，通过多功能部件的准直孔固定；3)用于进行图像处理、虚拟场景渲染和用户交互的中央处理器，固定在多功能部件旁；4)用于显示虚拟场景及用户交互的显示器，固定在处理器旁；5)基座；其特征在于所述的多功能部件包括光学传感器阵列A、光学传感器B、万向球、万向轴固定桩、万向轴支撑器、电磁铁、金属铁块组成；半圆铁环安装在手柄下端3～5cm处，曲面金属铁块安装固定在万向球的固定轴底部，将电磁铁固定在万向轴固定桩的内部底端，万向球安放在万向轴支撑器上，接收中央处理器发来的力反馈数据，控制电磁铁电源闭合通电，电磁铁产生磁场吸附万向轴底部的曲面铁块和半圆铁环，铁块与电磁铁产生磁力束缚万向球和手柄的运动。
2.根据权利要求1所述的核心部件，其特征在于：所述的光学传感器阵列A固定于万向轴支撑器中部与万向球接触，光学传感器阵列B固定于万向球内贴近手柄且位于手柄上部；光学传感器阵列A用于检测万向球旋转参数并将数据传到处理器单元；光学传感器阵列B用于检测手柄的径向位移和旋转角度参数并将数据传到处理器单元。
3.根据权利要求1所述的处理器单元，其特征在于：所述的处理器单元包括曲面矫正模块、图像增强模块、万向球运动识别模块、手柄运动识别模块、手柄三维运动模块、三维渲染模块、碰撞检测模块和力反馈计算模块；曲面矫正模块分别将光学传感器阵列A和光学传感器阵列B获取的图像数据经行曲面矫正，图像增强模块将矫正后的图像进行对比度增强，万向球运动识别模块和手柄运动识别模块分别将光学传感器阵列A和光学传感器阵列B进过增强后图像进行识别并将获取的运动数据传递到手柄三维运动模块，手柄三维运动模块计算处理接收到的数据后得到手柄三维空间运动数据；三维渲染模块用于生成运动场景并实时与显示器交互，运动场景包含运动边界、手柄；碰撞检测模块接收处理器处理传递的手柄运动数据且当手柄与运动边界发生虚拟碰撞时，将碰撞信息传到力反馈计算模块；力反馈计算模块接收碰撞检测模块传递的碰撞数据并计算得到力反馈信息传递给力反馈模块。
CN201610289194.0A 2016-05-04 2016-05-04 一种三维虚拟交互系统 Expired - Fee Related CN105786190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610289194.0A CN105786190B (zh) 2016-05-04 2016-05-04 一种三维虚拟交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610289194.0A CN105786190B (zh) 2016-05-04 2016-05-04 一种三维虚拟交互系统

Publications (2)

Publication Number Publication Date
CN105786190A true CN105786190A (zh) 2016-07-20
CN105786190B CN105786190B (zh) 2019-04-26

Family

ID=56400634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610289194.0A Expired - Fee Related CN105786190B (zh) 2016-05-04 2016-05-04 一种三维虚拟交互系统

Country Status (1)

Country Link
CN (1) CN105786190B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157776A (zh) * 2016-08-12 2016-11-23 北京大学人民医院 交互式虚拟分段诊刮术教学系统和教学方法
CN109144274A (zh) * 2018-09-12 2019-01-04 吉林大学 质心偏移和振动结合的力反馈方向指导系统及控制方法
CN111274705A (zh) * 2020-01-21 2020-06-12 武汉大学 一种面向磁悬浮视触觉交互的多速率协同方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
CN103823551A (zh) * 2013-03-17 2014-05-28 浙江大学 一种实现多维度感知虚拟交互的系统和方法
CN104658394A (zh) * 2015-02-13 2015-05-27 苏州敏行医学信息技术有限公司 一种穿刺虚拟教学训练系统
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN105116961A (zh) * 2015-07-21 2015-12-02 东南大学 一种智能化力反馈手柄及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
CN103823551A (zh) * 2013-03-17 2014-05-28 浙江大学 一种实现多维度感知虚拟交互的系统和方法
CN104658394A (zh) * 2015-02-13 2015-05-27 苏州敏行医学信息技术有限公司 一种穿刺虚拟教学训练系统
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN105116961A (zh) * 2015-07-21 2015-12-02 东南大学 一种智能化力反馈手柄及其控制方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157776A (zh) * 2016-08-12 2016-11-23 北京大学人民医院 交互式虚拟分段诊刮术教学系统和教学方法
CN109144274A (zh) * 2018-09-12 2019-01-04 吉林大学 质心偏移和振动结合的力反馈方向指导系统及控制方法
CN109144274B (zh) * 2018-09-12 2021-06-04 吉林大学 质心偏移和振动结合的力反馈方向指导系统及控制方法
CN111274705A (zh) * 2020-01-21 2020-06-12 武汉大学 一种面向磁悬浮视触觉交互的多速率协同方法及系统
CN111274705B (zh) * 2020-01-21 2021-12-03 武汉大学 一种面向磁悬浮视触觉交互的多速率协同方法及系统

Also Published As

Publication number Publication date
CN105786190B (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN102667672B (zh) 一种加速度动作识别系统及其方法
CN105786190A (zh) 一种三维虚拟交互系统
CN103765352B (zh) 球形三维控制器
JP5969626B2 (ja) 高められたジェスチャ・ベースの対話のためのシステム及び方法
JP3558104B2 (ja) ３次元仮想物体表示装置および方法
CN103744518B (zh) 立体交互方法及其显示装置和系统
CN101986243B (zh) 立体影像互动系统及其位置偏移补偿方法
US20130027393A1 (en) Information processing apparatus, information processing method, and program
US20090104993A1 (en) Electronic game controller with motion-sensing capability
CN104067320A (zh) 使用基于手势的控制的幸运轮盘
TW201220129A (en) 3D gesture manipulation method and apparatus
CN103124949A (zh) 利用单目摄像机标定技术的视觉指向型鼠标输入方法、输入系统和输入装置
CN103562840A (zh) 定位系统、定位设备和定位控制方法
CN108037827A (zh) 面向虚拟现实环境的虚拟物品抛掷仿真方法及其系统
US20130278494A1 (en) Three-dimensional interactive system
CN105892919A (zh) 在触控屏的键盘上识别键位和反馈输入值的方法
US20200033940A1 (en) Information processing apparatus, information processing method, and program
CN105034006A (zh) 一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法
KR20170016695A (ko) 상호작용 컨트롤러, 상호작용 컨트롤러를 이용한 햅틱 피드백 제공 시스템 및 방법
JPWO2016181469A1 (ja) シミュレーションシステム
JP2021136036A (ja) 浮遊画像表示装置、浮遊画像との対話方法及び浮遊画像表示システム
CN103309466A (zh) 指向性影像操控装置及其方法
TWI228840B (en) Display device with photo-sensing functions
Ryden Tech to the future: Making a" kinection" with haptic interaction
CN115998331A (zh) 一种用于远程超声诊断的探头控制系统及控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170413

Address after: 100094 Beijing, Yongfeng, Tuen Mun, building 313, room 1, No., room 538

Applicant after: Beijing thirty-four Technology Co.,Ltd.

Address before: 100871 Beijing the Summer Palace Road, Haidian District, No. 5

Applicant before: Peking University

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100086 Building-1 Floor-103-078, No. 25, Ningzhuang West Road, Haidian District, Beijing

Applicant after: Beijing thirty-four Technology Co.,Ltd.

Address before: Room 313, Building No. 1, 538, Yongfeng Tun, Haidian District, Beijing 100094

Applicant before: Beijing thirty-four Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190426