CN105247453A - 虚拟和增强现实教学系统 - Google Patents

虚拟和增强现实教学系统 Download PDF

Info

Publication number
CN105247453A
CN105247453A CN201380062587.2A CN201380062587A CN105247453A CN 105247453 A CN105247453 A CN 105247453A CN 201380062587 A CN201380062587 A CN 201380062587A CN 105247453 A CN105247453 A CN 105247453A
Authority
CN
China
Prior art keywords
virtual
augmented reality
action
slab element
reality tutoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380062587.2A
Other languages
English (en)
Inventor
伊姆兰·哈迪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN105247453A publication Critical patent/CN105247453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种虚拟和增强现实教学系统可以包括完整类型和便携类型。完整类型可以包括捕捉板表面上的全部动作(包括书写和擦除)的板系统和捕捉全部物理动作的跟踪系统。便携类型可以包括触摸使能设备或数字笔和麦克风，并且便携类型被设计成捕捉通过完整类型捕捉的数据的子集。在完整类型的一个实施方式中，板系统和跟踪系统可以通过网络彼此通信，并且可以用控制设备(比如膝上型计算机、台式计算机、移动电话和平板计算机)来通过网络对板系统和跟踪系统进行控制。在完整类型的另外实施方式中，可以通过3D传感器和透视增强现实眼镜的组合在跟踪系统内实现增强现实。

Description

虚拟和增强现实教学系统
技术领域
本发明涉及通过虚拟和增强现实教学系统来对教学会话的虚拟重创，更具体地涉及被设计成捕捉个体的语音、动作和笔迹的活动的系统。
背景技术
在教育领域，已通过使用静态媒体比如视频来在线提供课程。这些视频已被用来翻转课堂、加强先前概念并且教育个体而无需从小学至大学进入课堂。该视频是预先录制的讲座或研讨会，使得个体能够在其方便时在线获得该讲座或研讨会来观看。
视频的使用导致每个个体访问相同的内容。由于自身的性质，视频不提供可以用来创建动态媒体的充分可量化或可操纵的数据。因此，无法向个体用户提供特定于他们的需要的内容。
对于大多数用户，在线发行静态媒体通常带来高代价。流送视频所需要的带宽量取决于分辨率，因此，随着视频质量提高，用户的代价提高。这引起移动用户不具有可行的无限制访问教育内容的方式。
为了克服静态媒体的挑战，需要事件驱动的系统。这样的系统通过在环境内发生的事件来记录环境。这带来以小的固定的带宽代价产生可量化且可操纵的数据。这通过基于在线发送的事件在用户的计算机上对环境进行呈现来实现。
发明内容
本发明的一个目的是提供一种捕捉个体的语音、动作和笔迹的虚拟和增强现实教学系统。
本发明的另一目的是提供一种能够在虚拟学习环境中用来虚拟地重建课堂或任何种类的训练会话的虚拟和增强现实教学系统。
在本发明的一个方面中，完整型交互信息输入和检索系统可以包括板系统和跟踪系统，板系统捕捉在板表面上的全部动作，跟踪系统捕捉全部物理动作。在一个实施方式中，可以单独地或分别地使用板系统和跟踪系统。板系统和跟踪系统可以通过网络彼此通信，并且可以使用控制设备(比如膝上型计算机、台式计算机、移动电话和平板计算机)来通过网络对板系统和跟踪系统进行控制。
在另一实施方式中，板系统可以包括一个或更多个板单元，并且可以在距板单元预定距离内限定跟踪区域。更具体地，跟踪区域是跟踪系统能够跟踪在板单元前面的个体或对象的总区域。在示例性实施方式中，跟踪系统的每个跟踪单元配备有至少一个3D传感器，该至少一个3D传感器中的每个3D传感器通过网络彼此通信并且被用来跟踪每个个体在跟踪区域中的动作和语音。传感器被配置成跟踪每个个体的骨骼并且映射跟踪区域的环境。在其他的实施方式中，跟踪系统还可以跟踪不是个体骨骼的一部分的运动。
在下面的四个实施方式中，下面的配置可以附接到板单元以检测在板表面上的运动(包括书写和擦除)：
●扫描激光配置
●超声波配置
●红外配置
●3D(三维)传感器配置
在另一实施方式中，可以使用透视增强现实眼镜来操作跟踪系统，以使用户能够使用物理动作来操纵虚拟对象。更具体地，跟踪系统可以将虚拟对象固定至用户位置以允许容易操纵，或者可以允许对象在虚拟空间中独立于用户位置来固定或移动。在另外的实施方式中，用户可以向跟踪系统补充可穿戴运动控制器或标记以使得能够实现更精细的运动控制。
在本发明的另一方面，便携型交互信息输入和检索系统可以包括作为计算设备的一部分的触摸屏显示器或者可以包括捕捉在设备表面上的全部动作的数字笔。在这方面，数字笔或触摸屏显示器是唯一部件而不伴随有跟踪系统或板系统。因此，可以基于用户偏好动态地生成物理环境，并且基于在设备表面上的动作来插入用户跟踪。
在本发明的另外方面，在终端用户终端上的内容播放器包括允许用户使用异步或直播在线讲座来实时提问问题的按钮，其中，内容播放器上的问题按钮允许用户提问被加时间戳至讲座中特定点的问题。此外，内容播放器保持能够被用户获得的时间同步问题流，以及在虚拟环境内提供视觉提示。
附图说明
图1示出了本发明中的虚拟和增强现实教学系统的一个方面[完整型]。
图2a-2b示出了本发明中的具有重叠视场(FOV)的一个或更多个跟踪单元的跟踪系统。
图3a-3b示出了本发明中的虚拟和增强现实教学系统的另一个方面[便携型]。
图4a-4c示出了本发明中的附于板单元以检测在板表面上的动作(包括书写和擦除)的超声波配置。
图5a-5c示出了本发明中的附于板单元以检测在板表面上的动作(包括书写和擦除)的激光配置。
图6a-6c示出了本发明中的附于板单元以检测在板表面上的动作(包括书写和擦除)的红外配置。
图7a-7b示出了本发明中的附于板单元以检测在板表面上的动作(包括书写和擦除)的3D传感器配置。
图8示出了本发明中在跟踪系统内增强现实的用法。
图9示出了内容播放器上的允许用户使用异步或直播在线讲座来实时提出问提的问题按钮，其中，内容播放器上的问题按钮允许用户提出问题，该问题被加时间戳至讲座中的特定点。
图10示出了本发明中的虚拟和增强现实教学系统的各个方面的数据流动。
具体实施方式
以下阐述的详细描述意在作为对根据本发明的各个方面而提供的当前示例性设备的描述，而不意在表示可以制备或利用本发明的唯一形式。然而应当理解，相同或等同的功能和部件可以伴随有不同的实施方式，该不同的实施方式还意在包括在本发明的精神和范围内。
除非另有限定，否则本文中使用的所有技术和科学术语具有与本发明所属技术领域内的普通技术人员所通常理解的含义相同的含义。虽然可以在实施与测试本发明中使用与所描述的方法、设备和材料相似或等同的任何方法、设备和材料，但是现在仅描述示例性方法、设备和材料。
为了描述并且公开例如在可能结合目前描述的本发明而使用的出版物中描述的设计和方法，通过引用来合并所提到的所有出版物。上文、下文和全文所列举或论述的出版物仅被提供用于其在本申请的申请日之前的公开内容。本文中没有任何内容应当解释为承认：本发明人无权由于先前发明而提前这样的公开内容。
为了进一步理解本发明的目的、特性和效果，多个实施方式连同附图被示出如下。
术语“3D传感器”指的是在具备或不具备伴随图像数据的情况下捕捉深度数据的设备。设备还通常称为深度传感器或RGBD传感器。本发明中3D传感器用法独立于用来获得深度数据或图像数据的方法。这些方法包括但不限于结构光(structuredlight)法、飞行时间法(TOF)和立体(stero)法。
参照图1、图2、图3a和图3b，虚拟和增强现实教学系统可以采用完整类型100和便携类型200/300进行。除了便携类型200/300的计算机生成其不捕捉的数据之外，该系统的这两种类型都实现了相同结果。这种数据包括但不限于用户动作、对象(静止的和运动的)、环境几何结构、和环境/背景噪声。
参照图3，采用便携类型200/300的虚拟和增强现实教学系统可以以下面的实施方式实施，在捕捉到数据的情况下该实施方式遵照如图10中概述的数据处理方法。在图3a所示的一个实施方式中，可以经由任何触摸使能设备210比如触摸屏显示器或平板设备来跟踪笔迹。在这种情况下，用户可以使用其手指或软头(机械)笔220来与触摸使能设备210交互。如果能够在触摸使能设备210上获得音频，则可以通过使用外部麦克风230或内置麦克风来捕捉音频。
在图3b所示的另外实施方式中，可以经由数字笔320来跟踪笔迹。在这种情况下，会要求用户使用数字笔320专用的纸310。如果能够在数字笔320上获得音频，则可以通过使用外部麦克风330或内置麦克风来捕捉音频。
参照图10，用于采用便携类型200/300的虚拟和增强现实教学系统的数据处理方法涉及两种类型的数据：书写11和音频12。触摸使能设备210或数字笔320捕捉书写21，并且麦克风230/330捕捉音频22。由于以大约30Hz的最小频率来捕捉书写，所以所捕捉的书写数据是字符或图画内的笔画。接下来，对笔迹笔画和音频加时间戳(30)。下面的步骤涉及通过其相应的引擎来运行原始数据。通过自然动作引擎(NME)41a和笔迹识别引擎(HRE)41b二者来处理经加时间戳的笔迹笔画，并且通过面部动画引擎(FAE)42a和音频转录引擎(ATE)42b二者来处理经加时间戳的音频。NME41a使用当前笔迹笔画相对于先前捕捉的书写的位置和用来捕捉该书写的设备(或介质)的绝对边界来插入化身在虚拟空间内的动作。NME41a还确定无意和有意补充所插入的动作的微小动作；提高计算机生成的运动的现实性水平。这种微小动作包括但不限于在腿部之间转移重量、将化身的关注指向书写文本、轻敲和呼吸等。HRE41b随时间推移来组合笔迹笔画并且将笔迹笔画转换成文本和/或图画。HRE41b输出当前笔迹笔画和它能够根据先前笔迹笔画破译的任何新文本或图画。FAE42a使用由麦克风230/330捕捉的音频来生成与用户所讲的话相对应的面部动画，并且ATE42b将来自麦克风230/330的用户语音转录成文本。在通过上述各种引擎来处理了原始数据之后，来自每个引擎的数据被同步(50)至其相应的时间戳。在数据被同步之后，虚拟和增强现实教学系统的便携类型200/300和完整类型100将具有等同的数据格式，因此将进行相同处理。此时，所处理的数据可以被存储用于异步回放61，可以被流传送至终端用户62，和/或可以被输出至课程构建软件63。
现在参照图1和图2，采用完整类型100的虚拟和增强现实教学系统可以包括捕捉板表面上的所有动作的板系统110和捕捉所有物理动作的跟踪系统120。可以单独地或共同地使用板系统110和跟踪系统120。板系统110和跟踪系统120可以通过网络彼此通信，并且也可以用控制设备130(比如膝上型计算机、台式计算机、远程服务器、移动电话或平板计算机)通过网络对板系统110和跟踪系统120进行控制。
在一个实施方式中，板系统110可以包括一个或更多个板单元111，并且可以在距板单元111预定距离内限定跟踪区域122。更具体地，跟踪区域122是跟踪系统120能够跟踪在板单元111前面的个体的总区域。在每个板单元111中具有基于传感器输出来确定动作的计算设备，然后这些动作被发送至控制设备130。每个板比如白板或粉笔板可以根据板的大小和板单元111的配置而具有附于该板表面的一个或更多个单元。跟踪系统120可以包括一个或更多个跟踪单元121。每个跟踪单元121用来创建传感器之中的连续视场(FOV)或跟踪区域122。这通过登记每个跟踪单元121的各个FOV之间的重叠区域123来实现，如可以在图2中所见。
在示例性实施方式中，跟踪系统120的每个跟踪单元121配备有至少一个3D传感器，该至少一个3D传感器通过网络彼此通信并且被用来跟踪每个个体在跟踪区域122中的动作和语音。传感器被配置成跟踪每个个体的骨骼并且映射跟踪区域的环境。在其他的实施方式中，跟踪系统120还可以跟踪不是个体骨骼部分的运动。例如，跟踪系统120还可以跟踪在空气中行进的运动对象如球的动作。每个跟踪单元121可以配备有麦克风以进行语音捕捉、运动跟踪和环境噪声捕捉。
关于语音捕捉，可以通过使用另外的麦克风来帮助该处理。在这种实施方式中，用户将使用附接在用作控制设备130的移动计算机(移动电话或平板计算机)上的个人麦克风131，如可以在图1所见。因此，个人麦克风131将用作主要音频通道，而每个跟踪单元121内的麦克风将用作针对特定用户的音频的补充音频通道。
关于映射跟踪区域122的环境，其可以包括分析由传感器产生的图像和深度数据以确定在个体旁边存在什么对象。这些对象可以包括桌子、椅子、垃圾桶、讲台等，然后将在终端用户计算机上显示的虚拟环境中重建这些对象。
在图4a所示的板单元111的一个实施方式中，示出一种超声波配置。超声波配置可以包括附于板单元111的两对或更多对超声波接收器410。超声波接收器410是成对的，这是因为三角测量需要至少三个点。每对超声波接收器410接收来自粉笔夹持器、笔夹持器或擦除器夹持器的信号发送，它们以各自相同的频率进行信号发送。三角测量通过相对于板单元111的位置的信号强度来确定粉笔夹持器、笔夹持器或擦除器夹持器的位置。
图4b示出了具有触发器421、超声波发送器422和压力传感器423的粉笔夹持器/笔夹持器420。触发器421用来加载/卸载来自夹持器的笔/粉笔，而超声波发送器422被配置成以其接收器的对应频率发出信号。压力传感器423被配置成确定何时正在使用夹持器(板、粉笔/笔和传感器之间的压力)并且激活信号发送。
图4c示出了具有加速度计和陀螺仪431、超声波发送器432以及压力传感器433的擦除器夹持器430。加速度计和陀螺仪431被用来确定擦除器的定向，这是因为信号发送独立于定向，而超声波发送器432以其接收器的对应频率发出信号。压力传感器433确定何时正在使用夹持器(板、擦除器和传感器之间的压力)并且激活信号发送。在示例性实施方式中，成对超声波接收器410可以附接到板单元111以检测在板表面上的动作(书写和擦除)，并且笔/粉笔夹持器420和擦除器430用来发送动作(书写/擦除)。
在图5a所示的板单元111的另一实施方式中，扫描范围探测激光器510可以附接到板单元111以检测在板表面上的动作(包括书写和擦除)。扫描范围探测激光器510可以每秒对板单元111进行多次扫描。每次扫描将提供180度范围图案，该180度范围图案被用来确定粉笔、笔(520)或擦除器(531、532)的存在和动作，如图5b和5c所示。由于此配置基于图案而非三角测量，所以不需要另外的夹持器，这是因为我们正在针对粉笔、笔和擦除器在每次扫描的范围图案中的几何结构进行测试，据此分析检测图案来检测动作(书写/擦除)。
在板单元111的又一实施方式中，图6a示出了红外配置，该红外配置包括红外相机阵列610，该红外相机阵列610附接到板单元111。红外相机610设置有其FOV，该FOV重叠以防止对板表面上进行检测中出现间隙。三角测量通过相对于红外相机610的位置的红外光强度来确定粉笔夹持器、笔夹持器或擦除器夹持器的位置，该红外相机610检测红外光强度。
与图4b相似，图6b示出了具有触发器621、红外发射器622和压力传感器623的粉笔夹持器/笔夹持器620。触发器621被用来加载/卸载来自夹持器的笔/粉笔，而红外发射器622发出红外光。压力传感器623确定何时正在使用夹持器(板、粉笔/笔和传感器之间的压力)并且激活粉笔夹持器/笔夹持器620的红外发射器622。
此外，擦除器夹持器630可以包括红外发射器阵列631和压力传感器632。由于红外发射器阵列631位于擦除器夹持器630周围，所以板单元111将能够区分出笔/粉笔与擦除器，这是因为，与由笔/粉笔生成的单点相比，擦除器的红外光将被捕捉为线性形状。压力传感器632确定何时正在使用夹持器(板、夹持器和传感器之间的压力)并且激活红外发射器。在示例性实施方式中，红外相机阵列611可以附接到板单元111以检测在板表面上的动作(书写/擦除)，并且笔/粉笔夹持器620和擦除器630被用来发送动作(书写/擦除)。
在图7a所示的板单元111的另一实施方式中，3D(三维)传感器710可以附接到板单元111以检测在板表面上的动作(包括书写和擦除)。3D传感器710设置有其FOV，该FOV重叠以防止在板表面上检测中出现间隙。为了跟踪在书写/擦除时的位置，通过手跟踪算法来处理所捕捉的深度/图像数据，该手跟踪算法是图10所示的骨骼跟踪引擎43a的子集。在获取用户手的位置后，进一步处理深度/图像数据以确定用户是否正在夹持擦除器或粉笔/笔。接下来，对擦除器或粉笔/笔之间的距离进行测试以确定其是否正在使用。由于此配置基于手跟踪，所以不需要另外的夹持器，这是因为我们正在分析由3D传感器710产生的深度/图像数据来检测动作(书写/擦除)。
在图7b所示的板单元111的再一实施方式中，一组3D传感器710可以附接到板单元111。3D传感器710设置成180度的弧度。例如，如果每个3D传感器710具有60度的水平视场，则将需要三个3D传感器710。为了检测书写/擦除，板单元111分析紧挨在板表面上方的深度数据的量。作为结果的数据将提供与图5b和图5c中的图案等同的180度范围的图案。该范围的图案被用来确定粉笔、笔或擦除器的存在和动作。由于此配置基于图案而非三角测量，所以不需要另外的夹持器，这是因为我们正在针对粉笔、笔和擦除器在每次分析的范围的图案中的几何结构行测试，据此分析检测图案来检测动作(书写/擦除)。
板单元111及其对应图的前述实施方式是针对超声波传感器、激光传感器、红外传感器和3D传感器用法的单一表示。传感器的位置、旋转和组合可以根据板(白板或粉笔板)表面的大小和形状以及环境的照明状况而不同。
使用采用完整类型100的交互信息输入和检索系统以及增强现实眼镜810，可以实现如图8所示的用于增强现实的高性价比的系统。具体地，增强现实眼镜810需要是透视的而具有集成显示器，以便于允许用户在无视觉妨碍的情况下继续在现实空间中导航。更重要地，由于跟踪系统120的存在，增强现实眼镜将不需要另外的相机，该另外的相机通常是需要的。被用户穿戴的增强现实眼镜810将显示对象840在跟踪区域122内的虚拟表示。这由于跟踪系统120对用户的位置和定向以及环境的几何结构的不断认识而实现。因此，虚拟对象可以自由地定位在跟踪区域122内任何位置或在跟踪区域122内任何位置移动。例如，虚拟对象(840)的位置可以固定在用户前面而不管用户的动作，从而允许用户贯穿跟踪区域122快速而容易地访问对象。然后跟踪系统120将通过跟踪用户的动作并且将用户的动作翻译至虚拟对象840上来允许教员与虚拟对象840进行交互。虚拟对象840还受物理定律的约束，因此被翻译至虚拟对象840上的力将与用户的动作成比例。然后用户与虚拟对象840之间的交互将显示在终端用户计算机上。
在另外的实施方式中，用户可以向跟踪系统120补充可穿戴运动控制器或标记以使得能够实现更精细的运动控制。每个跟踪单元121内的3D传感器具有有限精确度，并且一定的场景可能需要提高的精确度。这种示例包括经由增强现实与虚拟对象进行交互。因此，图8示出了在其臂部820和腿部830上穿戴四个另外的运动传感器的用户。这些传感器会将另外的数据供应至骨骼跟踪引擎43a，该骨骼跟踪引擎43a允许捕捉更细微且精确的动作。
参照图10，用于采用完整类型100的虚拟和增强现实教学系统的数据处理方法可以包括五种类型数据：动作13、书写14、用户音频15、背景音频16和视频17。每种类型数据采用下面方式来捕捉：
●跟踪系统120捕捉深度数据(动作)(23)。
●板系统110捕捉书写(24)。
●与移动控制设备130连接的麦克风131捕捉用户音频，并且通过每个跟踪单元121(25)内的麦克风进行补充。
●每个跟踪单元121内的麦克风捕捉背景音频(26)。
●每个跟踪单元121中的3D传感器内的RGB相机捕捉视频(27)。
以大约30Hz的最小频率来捕捉书写。因此，所捕捉的书写数据是字符或图画内的笔画。通过跟踪系统120捕捉的动作采用深度数据的形式。每帧数据包含深度值映射(30)。接下来，对深度帧、笔迹笔画、用户音频、背景音频和视频帧加时间戳。下面步骤涉及通过其相应引擎来运行原始数据。
●通过骨骼跟踪引擎(STE)43a和对象跟踪引擎(OTE)43b来处理经加时间戳的深度帧。STE识别在每帧数据内的用户的骨骼。然后骨骼数据与OTE43b共享，该OTE43b捕捉非骨骼对象的动作并且计算虚拟对象的位置、旋转和速度。
●通过笔迹识别引擎(HRE)44来处理经加时间戳的笔迹笔画。HRE44随时间推移来组合笔迹笔画并且将该笔迹笔画转换成文本和/或图画。HRE44输出当前笔迹笔画和其能够根据先前笔迹笔画破译的任何新文本或图画。
●通过面部动画引擎(FAE)45a和音频转录引擎(ATE)45b来处理经加时间戳的用户音频。FAE使用由麦克风捕捉的音频来生成与由用户所讲的话相对应的面部动画，并且ATE将用户的语音转录成文本。
●通过视频处理引擎(VPE)47来处理经加时间戳的视频帧。VPE47将来自每个跟踪单元121的帧登记在一起并且压缩作为结果的数据。
在通过上述各种引擎处理了原始数据之后，来自每个引擎的数据和背景音频被同步(50)至其相应的时间戳。在数据被同步之后，虚拟和增强现实教学系统的便携类型200/300和完整类型100将具有等同的数据格式，因此将进行相同处理。此时，所处理的数据可以被存储用于异步回放61，可以被流传送至终端用户62，和/或可以被输出至课程构建软件63。
输出所处理的数据至课程构建软件63允许用户预览重建的虚拟环境并且进行改变。例如，用户可以使用仅便携类型200/300或板系统110来重新制定会话的一定部分或者重写书写的一部分。此外，用户还可以对环境进行改变并且产生根据其偏好的其化身。
输出所处理的数据至直播流62或存储用于异步回放61可以包括发送数据至终端用户计算机上的内容播放器70。内容播放器70提供下面类型的数据：
●文本81：当使用仅需要文本时终端用户将访问手写和文本数据二者的流以供。
●音频82：当使用不需要视觉回放时终端用户将访问整个会话的音频数据的流。
●局部呈现84：终端用户将访问表示板或纸上书写的手写数据的流。这将伴随着3D化身的呈现。将通过生成的音频、运动和面部动画数据来控制化身。3D化身可以完全地或部分地被呈现，比如说话头部。
●全呈现83：终端用户将访问生成的所有数据的流，该流被用来虚拟地重建其曾存在的整个环境。每个用户将被表示为3D化身。
●视频85：终端用户将访问生成的视频数据的流。
在内容播放器70中观看视频85、局部呈现84和全呈现83将允许终端用户在观看内容时操纵其会话视角。这是由于具有跨跟踪区域122的多个跟踪单元121，所以终端用户可以从各个角度和位置来观看会话。
内容播放器70可以包括问题按钮910，该问题按钮910允许终端用户使用异步或直播在线讲座实时地提问问题。图9是内容播放器70正在被用来显示文本流81的一个实施方式。这里，终端用户还将能够通过回答其在观看讲座时知道答案的问题来帮助其他的终端用户，从而带来增强的学习。问题按钮910允许终端用户提问被加时间戳至讲座中特定点的问题。点击按钮引起带有与讲座中该点相对应的时间戳912的文本段911和提交按钮913的出现。内容播放器70还可以按照三种方式来显示先前问题。在第一实施方式中，在时间轴上示出了记号941来指示何时提问了问题。此外，如果在特定点询问了多个问题，则记号在时间轴940上方扩展(在时间轴上方缩放)。在第二实施方式中，内容播放器70还可以通过标记在虚拟环境中的文本或对象来显示先前问题。这种标记可以包括突出显示920、记号921或者轮廓线922。在第三实施方式中，时间同步流930可以在内容播放器70旁边显示问题。与每个问题931相对应的区域将是可点击的，这允许浏览器将页面聚焦在其中显示了问题及其答案的扩展视图的新窗口或当前窗口的节选。时间同步流930内的每个问题包含“答案”按钮932，该“答案”按钮932允许终端用户采用与问题被提问的方式911、912、913相同的方式来回答问题。此外，在前两个实施方式中在标记或记号上悬停或者选择该标记或记号引起时间同步流930滚动至相应的问题。另外，在问题931的可点击区域上悬停或者选择该可点击区域引起对应问题的(第二实施方式的)标记920、921、922突出显示和/或被关注；允许终端用户容易关注问题的源头。
已通过以上描述和说明描述了本发明，应当理解，这些是本发明的示例而不应当被认为限制性的。因此，本发明不应当被认为限于之前描述而是包括任何等同内容。

Claims (21)

1.一种虚拟和增强现实教学系统，包括第一类型，所述第一类型包括：板系统，所述板系统捕捉在所述板系统中每个板的表面上的全部动作；以及跟踪系统，所述跟踪系统捕捉个体的全部物理动作，其中，所述板系统和所述跟踪系统被配置成通过网络彼此通信，并且通过所述网络由控制设备来控制，其中，所述板系统包括一个或更多个板单元，并且在距所述板单元预定距离内限定跟踪区域，所述板单元被用来基于传感器输出来确定所述个体的动作，并且所述动作被发送至所述控制设备。
2.根据权利要求1所述的虚拟和增强现实教学系统，其中，所述跟踪区域是所述跟踪系统能够跟踪在所述板单元前面的所述个体的总区域。
3.根据权利要求1所述的虚拟和增强现实教学系统，其中，所述跟踪系统包括一个或更多个跟踪单元，所述一个或更多个跟踪单元配备有通过所述网络彼此通信的至少一个三维传感器，并且所述一个或更多个跟踪单元被用来创建传感器之间的连续视场。
4.根据权利要求3所述的虚拟和增强现实教学系统，其中，所述三维传感器被用来跟踪所述个体在所述跟踪区域中的动作和语音，并且映射所述跟踪区域的环境。
5.根据权利要求3所述的虚拟和增强现实教学系统，其中，每个跟踪单元配备有进行语音捕捉、运动跟踪和环境噪声捕捉的麦克风。
6.根据权利要求3所述的虚拟和增强现实教学系统，其中，运动检测配置附接到所述板单元，以检测在所述板单元的表面上的包括书写和擦除的动作，所述动作检测配置包括扫描激光配置、超声波配置、红外配置和三维传感器配置。
7.根据权利要求6所述的虚拟和增强现实教学系统，其中，超声波配置包括附接到所述板单元的两对或更多对超声波接收器，并且每对超声波接收器接收来自粉笔夹持器、笔夹持器或擦除器夹持器的以各自相同频率发送的信号发送。
8.根据权利要求7所述的虚拟和增强现实教学系统，其中，所述粉笔夹持器/笔夹持器包括超声波发送器和压力传感器，所述超声波发送器被配置成以对应频率向所述超声波接收器发出信号，并且所述压力传感器被配置成确定何时正在使用所述粉笔夹持器/笔夹持器并且激活所述信号发送。
9.根据权利要求7所述的虚拟和增强现实教学系统，其中，所述擦除器夹持器包括加速度计和陀螺仪、超声波发送器以及压力传感器，所述加速度计和陀螺仪被用来确定擦除器的定向，所述超声波发送器被配置成以对应频率向所述超声波接收器发出信号，并且所述压力传感器被配置成确定何时正在使用所述夹持器并且激活所述信号发送。
10.根据权利要求6所述的虚拟和增强现实教学系统，其中，扫描范围激光配置包括扫描范围探测激光器，所述扫描范围探测激光器附接到所述板单元以检测在所述板单元的表面上的包括书写和擦除的动作，并且每次扫描提供180度范围图案，所述180度范围图案被用来确定粉笔、笔或擦除器的存在和动作。
11.根据权利要求6所述的虚拟和增强现实教学系统，其中，所述红外配置包括红外相机阵列，所述红外相机阵列附接到所述板单元以检测在所述板单元的表面上的包括书写和擦除的动作，并且所述红外相机设置有其视场，所述视场重叠以防止在所述板的表面上检测期间出现间隙。
12.根据权利要求11所述的虚拟和增强现实教学系统，其中，所述红外配置包括粉笔夹持器/笔夹持器，所述粉笔夹持器/笔夹持器包括红外发射器和压力传感器，所述红外发射器被配置成发出红外光，并且所述压力传感器被配置成确定何时正在使用所述粉笔夹持器/笔夹持器并且激活所述粉笔夹持器/笔夹持器的所述红外发射器。
13.根据权利要求11所述的虚拟和增强现实教学系统，其中，擦除器夹持器包括红外发射器阵列和压力传感器，所述红外发射器阵列被配置成在所述夹持器的边缘周围发出红外光，并且所述压力传感器被配置成确定何时正在使用所述擦除器夹持器并且激活所述擦除器的所述红外发射器。
14.根据权利要求6所述的虚拟和增强现实教学系统，其中，所述三维传感器配置包括多个三维传感器，所述多个三维传感器附接到所述板单元以检测在所述板的表面上的包括书写和擦除的动作，所述三维传感器设置有其视场，所述视场重叠以防止在所述板的表面上检测期间出现间隙。
15.根据权利要求1所述的虚拟和增强现实教学系统，其中，使用增强现实眼镜来显示所述跟踪区域内的虚拟信息。
16.根据权利要求15所述的虚拟和增强现实教学系统，其中，多个运动传感器附接到所述个体的臂部和腿部，以将数据提供至允许捕捉更细微且精确的动作的骨骼跟踪引擎。
17.根据权利要求1所述的虚拟和增强现实教学系统，还包括数据处理单元，所述数据处理单元处理包括动作、书写/擦除、用户音频、背景音频和视频的数据。
18.根据权利要求1所述的虚拟和增强现实教学系统，还包括第二类型，所述第二类型包括触摸使能设备、交互工具和外部麦克风。
19.根据权利要求18所述的虚拟和增强现实教学系统，其中，所述交互工具是用来跟踪笔迹的数字笔。
20.根据权利要求19所述的虚拟和增强现实教学系统，其中，所述触摸使能设备是用于所述数字笔的纸。
21.根据权利要求1所述的虚拟和增强现实教学系统，其中，在所述终端用户终端上的内容播放器包括问题按钮，并且所述问题按钮对问题加时间戳至特定时间。
CN201380062587.2A 2012-11-29 2013-11-29 虚拟和增强现实教学系统 Pending CN105247453A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261731111P 2012-11-29 2012-11-29
US61/731,111 2012-11-29
US201361792771P 2013-03-15 2013-03-15
US61/792,771 2013-03-15
PCT/US2013/072493 WO2014085768A1 (en) 2012-11-29 2013-11-29 Virtual and augmented reality instruction system

Publications (1)

Publication Number Publication Date
CN105247453A true CN105247453A (zh) 2016-01-13

Family

ID=50828517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380062587.2A Pending CN105247453A (zh) 2012-11-29 2013-11-29 虚拟和增强现实教学系统

Country Status (8)

Country Link
US (1) US11694565B2 (zh)
EP (2) EP2926224B1 (zh)
CN (1) CN105247453A (zh)
AU (2) AU2013351959B2 (zh)
CA (1) CA2892958C (zh)
DK (1) DK2926224T3 (zh)
ES (1) ES2893410T3 (zh)
WO (1) WO2014085768A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437343A (zh) * 2016-05-25 2017-12-05 中央大学 交互式教学系统以及方法
CN107635057A (zh) * 2017-07-31 2018-01-26 努比亚技术有限公司 一种虚拟现实终端控制方法、终端和计算机可读存储介质
CN109308132A (zh) * 2018-08-31 2019-02-05 青岛小鸟看看科技有限公司 虚拟现实的手写输入的实现方法、装置、设备及系统
CN109542252A (zh) * 2018-12-06 2019-03-29 中国科学院长春光学精密机械与物理研究所 一种遥控轨迹笔及其使用方法及电缆虚拟预装系统
CN109901714A (zh) * 2019-02-28 2019-06-18 淮北幻境智能科技有限公司 一种电子纸笔系统及其控制方法
CN109979269A (zh) * 2019-03-28 2019-07-05 王雍天 一种基于人工智能的在线教育交互系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805511B2 (en) 2015-10-21 2017-10-31 International Business Machines Corporation Interacting with data fields on a page using augmented reality
CN106713896B (zh) * 2016-11-30 2019-08-20 世优（北京）科技有限公司 静态图像的多媒体呈现方法、装置和系统
CN109255990A (zh) * 2018-09-30 2019-01-22 杭州乔智科技有限公司 一种基于ar增强现实的教学系统
JP2020184172A (ja) * 2019-05-07 2020-11-12 株式会社インフォマティクス トラッキングデバイス、プロットシステム、プロット方法及びプログラム
CN111312012B (zh) * 2020-02-27 2022-05-06 广东工业大学 一种书法练习指引方法及装置
US11694380B2 (en) 2020-11-13 2023-07-04 Zoltan GELENCSER System and method for immersive telecommunications
US12020359B2 (en) 2020-12-07 2024-06-25 Zoltan GELENCSER System and method for immersive telecommunications supported by AI analysis
WO2023141660A1 (en) * 2022-01-24 2023-07-27 Freedom Trail Realty School, Inc. Systems and techniques for hybrid live and remote on-demand sessions
CN115933868B (zh) * 2022-10-24 2023-08-04 华中师范大学 翻转讲台的立体综合教学场系统及其工作方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999044698A2 (en) * 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
CN1521688A (zh) * 2003-02-14 2004-08-18 微软公司 确定电子笔笔尖的位置
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
CN101180601A (zh) * 2005-03-23 2008-05-14 埃波斯技术有限公司 用于数字笔组件的方法和系统
CN101702939A (zh) * 2007-03-16 2010-05-05 科尔摩根公司 用于全景图像处理的系统
CN102474954A (zh) * 2009-08-05 2012-05-23 皇家飞利浦电子股份有限公司 光导系统和用于控制该光导系统的方法
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点
US20120229282A1 (en) * 2011-03-10 2012-09-13 Security Identification Systems Corporation a Florida Maritime Overboard Detection and Tracking System

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
EP1083769B1 (en) * 1999-02-16 2010-06-09 Yugen Kaisha GM & M Speech converting device and method
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
CA2595167A1 (en) * 2006-07-31 2008-01-31 University Of New Brunswick Method for calibrating sensor positions in a human movement measurement and analysis system
US20080149401A1 (en) * 2006-12-20 2008-06-26 3M Innovative Properties Company Untethered stylus employing separate communication channels
US9940589B2 (en) * 2006-12-30 2018-04-10 Red Dot Square Solutions Limited Virtual reality system including viewer responsiveness to smart objects
US20090058850A1 (en) * 2007-09-04 2009-03-05 Wey Fun System and method for intuitive interactive navigational control in virtual environments
JP2009145883A (ja) * 2007-11-20 2009-07-02 Rissho Univ 学習システム、記憶媒体及び学習方法
CN102124432B (zh) * 2008-06-20 2014-11-26 因文西斯系统公司 对用于过程控制的实际和仿真设施进行交互的系统和方法
KR20090132914A (ko) * 2008-06-23 2009-12-31 주식회사 히씽크 페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의실시간 대화형 원격강의시스템
US20120154511A1 (en) * 2010-12-20 2012-06-21 Shi-Ping Hsu Systems and methods for providing geographically distributed creative design
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US20140214629A1 (en) * 2013-01-31 2014-07-31 Hewlett-Packard Development Company, L.P. Interaction in a virtual reality environment
WO2015066037A1 (en) * 2013-10-28 2015-05-07 Brown University Virtual reality methods and systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999044698A2 (en) * 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
CN1521688A (zh) * 2003-02-14 2004-08-18 微软公司 确定电子笔笔尖的位置
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
CN101180601A (zh) * 2005-03-23 2008-05-14 埃波斯技术有限公司 用于数字笔组件的方法和系统
CN101702939A (zh) * 2007-03-16 2010-05-05 科尔摩根公司 用于全景图像处理的系统
CN102474954A (zh) * 2009-08-05 2012-05-23 皇家飞利浦电子股份有限公司 光导系统和用于控制该光导系统的方法
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点
US20120229282A1 (en) * 2011-03-10 2012-09-13 Security Identification Systems Corporation a Florida Maritime Overboard Detection and Tracking System

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D.HALL*等: "MagicBoard: A contribution to an intelligent office environment", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437343A (zh) * 2016-05-25 2017-12-05 中央大学 交互式教学系统以及方法
CN107635057A (zh) * 2017-07-31 2018-01-26 努比亚技术有限公司 一种虚拟现实终端控制方法、终端和计算机可读存储介质
CN109308132A (zh) * 2018-08-31 2019-02-05 青岛小鸟看看科技有限公司 虚拟现实的手写输入的实现方法、装置、设备及系统
CN109542252A (zh) * 2018-12-06 2019-03-29 中国科学院长春光学精密机械与物理研究所 一种遥控轨迹笔及其使用方法及电缆虚拟预装系统
CN109901714A (zh) * 2019-02-28 2019-06-18 淮北幻境智能科技有限公司 一种电子纸笔系统及其控制方法
CN109979269A (zh) * 2019-03-28 2019-07-05 王雍天 一种基于人工智能的在线教育交互系统

Also Published As

Publication number Publication date
DK2926224T3 (da) 2021-11-15
EP2926224A1 (en) 2015-10-07
US20220415197A1 (en) 2022-12-29
AU2021261950B2 (en) 2023-12-14
CA2892958C (en) 2022-04-19
AU2021261950A1 (en) 2021-12-02
EP3968135A1 (en) 2022-03-16
AU2013351959A1 (en) 2015-07-09
EP2926224A4 (en) 2016-10-12
US11694565B2 (en) 2023-07-04
CA2892958A1 (en) 2014-06-05
ES2893410T3 (es) 2022-02-09
AU2013351959B2 (en) 2021-08-19
WO2014085768A1 (en) 2014-06-05
EP2926224B1 (en) 2021-09-01

Similar Documents

Publication Publication Date Title
AU2021261950B2 (en) Virtual and augmented reality instruction system
Thoravi Kumaravel et al. TutoriVR: A video-based tutorial system for design applications in virtual reality
US9292083B2 (en) Interacting with user interface via avatar
Costanza et al. Mixed reality: A survey
US8358320B2 (en) Interactive transcription system and method
Rouanet et al. The impact of human–robot interfaces on the learning of visual objects
AU2019222974B2 (en) Interfaces and techniques to retarget 2d screencast videos into 3d tutorials in virtual reality
US11630633B1 (en) Collaborative system between a streamer and a remote collaborator
CN209895305U (zh) 手势交互系统
Fiore et al. Towards Enabling More Effective Locomotion in VR Using a Wheelchair-based Motion Platform.
US20140310640A1 (en) Interactive digital art apparatus
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
JP7408562B2 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
CN108604125B (zh) 用于基于凝视跟踪生成虚拟标记的系统和方法
Basori et al. Telerobotic 3D articulated arm-assisted surgery tools with augmented reality for surgery training
Kwon A study on taekwondo training system using hybrid sensing technique
JP2015049695A (ja) メガネ型表示装置、表示制御装置、表示システム及びコンピュータプログラム
CN116246043B (zh) 增强现实的视听内容的呈现方法、装置、设备及存储介质
Assudani et al. Smart Virtual Painter.
Lee Multimodal speech-gesture interaction with 3D objects in augmented reality environments
Guo et al. Design and Implementation of Teaching System Based on RGB-D Human-Computer Interaction
Schäfer Improving Essential Interactions for Immersive Virtual Environments with Novel Hand Gesture Authoring Tools
Lala et al. Enhancing communication through distributed mixed reality
Chen Research on the Somatosensory Command System on Stage Performance Effect
Arslan Doing more without more: Data fusion in human-computer interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160113