CN110491226A - 学习支持系统和计算机可读记录介质 - Google Patents

学习支持系统和计算机可读记录介质 Download PDF

Info

Publication number
CN110491226A
CN110491226A CN201910399144.1A CN201910399144A CN110491226A CN 110491226 A CN110491226 A CN 110491226A CN 201910399144 A CN201910399144 A CN 201910399144A CN 110491226 A CN110491226 A CN 110491226A
Authority
CN
China
Prior art keywords
learner
dimensional space
virtual
head
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910399144.1A
Other languages
English (en)
Inventor
阿部信策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanpo Co Ltd
Mitutoyo Corp
Original Assignee
Sanpo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanpo Co Ltd filed Critical Sanpo Co Ltd
Publication of CN110491226A publication Critical patent/CN110491226A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Abstract

本发明提供一种学习支持系统和计算机可读记录介质。该学习支持系统是用于支持使用用于对测量对象进行测量的实际测量机的作业的学习的学习支持系统,所述学习支持系统包括:位置和姿势识别单元,用于识别实际三维空间内的对象的位置和/或姿势;存储单元,用于存储学习数据,所述学习数据定义在虚拟三维空间内化身使用虚拟测量机进行的示范作业;立体视频生成单元,用于基于所述位置和姿势识别单元所识别的所述对象的位置和/或姿势、以及所述存储单元中所存储的所述学习数据,来生成所述化身进行的示范作业的三维视频;以及头戴式显示器,其安装在学习者的头部上,并且将所述三维视频以叠加在所述实际三维空间上的方式显示。

Description

学习支持系统和计算机可读记录介质
技术领域
本发明涉及支持设备操作或作业过程的学习的学习支持系统和程序。
背景技术
传统上采用各种方法作为学习设备操作方法或作业过程的方法,诸如通过课程等中的课堂讲座的学习、OJT(在职培训)和一对一培训等的在来自专家的直接指导下的学习、通过程序文件或教科书的学习、以及通过培训视频的学习等。还提出了用于基于个体作业人员的水平来针对使用设备的作业进行作业管理或作业学习的支持系统(例如,参见日本特开2016-092047)。
发明内容
发明要解决的问题
不利地,上述学习方法分别存在如以下所述的问题。
例如,尽管OJT是可以将初学者的不成功经验转换成他/她的知识和技术能力的积累的方法,但OJT存在如下问题。学习者经常担心不能跟上作业内容。对指导者施加了沉重的时间和心理负担。OJT的效果在很大程度上取决于指导者的教学能力(诸如指导者的素质、能力和行为等)。指导者必须学习教学方法。初学者往往很难获得学习的基本理解或者达不到学习的基本理解。
此外,尽管一对一培训对于学习者来说是理想的,但除了与OJT的问题类似的问题之外,一对一培训还存在如下问题。一对一培训无法有效地将指导者与重复性培训绑定。作业过程的变化导致培训成本的下降很小。
在通过诸如程序文件或教科书等的文件的指导下,学习者可以进行自学。然而,这种指导存在如下问题。学习者的理解水平取决于文件的质量。需要适合于学习者的水平的文件。创建文件需要相当长的时间。学习者必须想象学习内容的实际实践的状况。由于难以用文字表达,因此无法传递诀窍或技巧。
尽管培训视频与文件同样地也能够进行自学,但培训视频存在如下问题。学习者经常无法观看并理解期望的部分。学习者很难在观看视频的同时记住过程,因而视频在学习者自己尝试时不那么有用。诸如针对学习者必须记住的各过程停止视频、以及播放相同部分等的操作也很麻烦。学习者需要在他面前的作业内容和视频之间频繁地且低效地改变他的视点。
这样,尚未实现如下的指导方法,该指导方法尽可能地减少指导者的绑定时间,并且使得学习者能够通过高质量的自学来重复地获取技术。
本发明的目的是提供抑制指导者的绑定时间并且使得学习者能够通过高质量的自学来重复地获得技术的学习支持系统和适合于该学习支持系统的程序。
用于解决问题的方案
为了解决上述问题,根据本发明实施例的一种学习支持系统是用于支持使用用于对测量对象进行测量的实际测量机的作业的学习的学习支持系统,所述学习支持系统包括:位置和姿势识别单元,用于识别实际三维空间内的对象的位置和/或姿势;存储单元,用于存储学习数据,所述学习数据定义在虚拟三维空间内化身使用虚拟测量机进行的示范作业;立体视频生成单元,用于基于所述位置和姿势识别单元所识别的所述对象的位置和/或姿势、以及所述存储单元中所存储的所述学习数据,来生成所述化身进行的示范作业的三维视频;以及头戴式显示器,其安装在学习者的头部上,并且将所述三维视频以叠加在所述实际三维空间上的方式显示。这样,学习者可以从各种角度重复地观察化身所再现的示范作业的外观。
在本发明中,所述位置和姿势识别单元可以基于来自三维传感器和/或来自头部传感器的输出来识别所述实际三维空间内的所述对象的位置和/或姿势,所述三维传感器用于检测所述实际三维空间中的所述对象的三维坐标,所述头部传感器包括在所述头戴式显示器中并用于感测所述头戴式显示器的位置和/或姿势。这样,可以识别实际三维空间中的实际测量机或学习者的位置和/或姿势。
在本发明中,所述立体视频生成单元可以识别所述实际三维空间中的坐标系和所述虚拟三维空间中的坐标系之间的对应关系,并且以使视野根据所述头戴式显示器在所述实际三维空间中的移动而在所述虚拟三维空间内移动的方式生成三维视频数据。这样,学习者可以在无需任何复杂操作的情况下,在实际移动期间从自由视点观察示范作业。
在本发明中,所述立体视频生成单元可以进行以下操作:将所述化身放置于所述虚拟三维空间内、与在所述实际三维空间中所述头戴式显示器存在于的位置坐标相对应的位置坐标处;将所述虚拟测量机放置于所述虚拟三维空间内、与在所述实际三维空间中放置所述实际测量机的位置坐标相对应的位置坐标处;基于所述学习数据、以及所述位置和姿势识别单元所输出的所述学习者和/或所述实际测量机的位置和姿势,来掌握所述学习者所进行的作业的进度;以及基于所掌握的作业的进度和所述学习数据,以比所述学习者的作业提前预定时间的方式生成所述示范作业的三维视频数据。这样,根据学习者的作业速度来自动调整化身的动作。学习者可以跟随化身的操作进行作业,并由此模仿专家的作业来练习该作业。
在本发明中,所述立体视频生成单元可以计算所掌握的作业的进度相对于所述示范作业的延迟时间,并且向所述学习者通知所述延迟时间。这样,学习者可以容易地掌握他/她自己与专家相比的熟练程度。此外,学习者可以掌握该学习者不擅长的过程,识别与目标作业时间的差异,并且还可以尝试缩短测量时间。
在本发明中,响应于在所述实际三维空间内所述学习者没有移动的情况下的操作,所述立体视频生成单元可以以使视野在所述虚拟三维空间内移动的方式生成三维视频数据。这样,学习者可以在无需任何实际移动的情况下,从虚拟三维空间内的自由位置观察示范作业。
在本发明中,所述头戴式显示器可以包括透过型的显示器。
根据本发明实施例的程序使计算机用作任意的上述学习支持系统。
附图说明
图1是示出学习支持系统1的结构、以及学习者L和实际测量机RM的示意图;
图2是示出计算机100的结构的框图;
图3是示出头戴式显示器200的结构的框图;
图4是示出第一学习模式中的学习者L和化身AV及虚拟测量机AM之间的关系的示意图;以及
图5是示出第二学习模式中的学习者L和化身AV及虚拟测量机AM之间的关系的示意图。
具体实施方式
以下将基于附图来说明根据本发明实施例的学习支持系统1。应当注意,在以下说明中,相同的构件被赋予相同的附图标记,并且将适当地省略对说明了一次的构件的说明。
学习支持系统1的结构
图1是示出学习支持系统1的结构、以及学习者L和实际测量机RM的示意图,其中该实际测量机RM是要学习其操作方法的测量机的实际机器(以下称为“实际测量机”)。在本实施例中,实际测量机RM是用于对测量对象的三维坐标或预定位置处的长度等进行测量的设备。实际测量机RM包括例如三维位置测量机和图像测量机。如图1所示,学习支持系统1包括计算机100、头戴式显示器200和3D传感器300。
图2是计算机100的功能框图。计算机100具有CPU(中央处理单元)110、存储单元120、测量机控制单元130、操作输入单元140、以及位置和姿势识别单元150。计算机100还具有立体视频生成单元160和语音输入/输出单元170。头戴式显示器200、3D传感器300和实际测量机RM连接至计算机100。
CPU 110执行预定程序,以由此控制各单元或者进行预定操作。存储单元120包括主存储单元和副存储单元。存储单元存储包括CPU 110的计算机100的各单元中要执行的程序、以及各单元中要使用的各种数据。在本实施例的学习支持系统1中,存储单元120存储要学习的作业过程等的学习数据。
学习数据例如是与虚拟测量机AM或虚拟人模型(化身)AV的形状、姿势、动作、位置和语音等相关联的数据。学习时要播放的三维视频和语音等基于该学习数据。换句话说,学习数据定义在虚拟三维空间内化身AV使用虚拟测量机AM所进行的示范作业。例如,可以使用CAD数据作为这种学习数据中所包括的虚拟测量机AM的形状。此外,可以使用学习者L自身或各种角色的三维形状数据作为化身AV的形状。可以通过对专家的作业的动作捕获来创建表示虚拟测量机AM或化身AV的姿势或动作的数据。可选地,可以根据与作业程序等有关的信息来构建模型数据。此外,语音可以是人(专家或解说员等)的录制实际声音,或者合成语音可以是要播放的数据。
测量机控制单元130被配置为能够基于用户的指示或者存储单元120中所存储的程序,来控制实际测量机RM、或者获得实际测量机RM的状况或测量值。操作输入单元140接受来自诸如键盘、鼠标和触摸面板等的输入装置(未示出)的操作输入。
语音输入/输出单元170接收来自头戴式显示器200中所包括的麦克风230的语音输入信号,并且还将语音输出信号输出至头戴式显示器200中所包括的扬声器240。
位置和姿势识别单元150将3D传感器300所获得的信息、头戴式显示器200的头部传感器220所检测到的头戴式显示器200的位置或取向、以及头戴式显示器200的周围环境等捕获到计算机100中,并且基于这些信息来识别实际三维空间内的对象(学习者L或实际测量机RM等)的位置(三维坐标)或姿势。这里,3D传感器300是用于检测实际三维空间中的对象(例如,实际测量机RM和学习者L)的三维坐标的传感器,并且放置在实际测量机RM的周围。
立体视频生成单元160基于存储单元120中所存储的学习数据、操作输入单元140所接受的输入操作、输入至头戴式显示器200的麦克风230中的语音、以及位置和姿势识别单元150所识别的对象的位置或姿势,来生成包括放置在虚拟三维空间内的虚拟测量机AM和化身AV的三维视频的数据。基于所生成的三维视频数据来在头戴式显示器200的显示单元上显示三维视频。
立体视频生成单元160识别实际三维空间中的坐标系和虚拟三维空间中的坐标系之间的对应关系,并且利用该对应关系来生成三维视频。具体地,立体视频生成单元160以如下方式生成三维视频数据:在佩戴头戴式显示器200的学习者L在实际三维空间中移动时,视野根据佩戴头戴式显示器200的学习者L在实际三维空间内的移动而在虚拟三维空间内移动(追随显示)。这样,可以在无需任何复杂操作的情况下从各种角度观察示范作业。
实际三维空间中的坐标系和虚拟三维空间中的坐标系之间的对应关系可以是预先设置的、或者是基于位置和姿势识别单元150所识别的对象的位置或姿势来设置的。在基于位置和姿势识别单元150所识别的对象的位置或姿势来设置实际三维空间中的坐标系和虚拟三维空间中的坐标系之间的对应关系的情况下,以根据实际测量机RM的放置位置将虚拟测量机AM放置在虚拟三维空间中的方式来调整坐标系。
此外,立体视频生成单元160以如下方式生成三维视频数据:在实际三维空间内学习者L没有移动的情况下,视野响应于学习者L所进行的手势或者输入装置的操作而在虚拟三维空间内移动(非追随显示)。在上述的根据实际三维空间内的移动而在虚拟三维空间内移动的追随显示中,仅能够从允许物理移动的位置观察示范作业。与此相反,在非追随显示中,可以从虚拟三维空间内的自由位置观察示范作业。例如,可以从空中的更高视角观察示范作业。
图3是示出头戴式显示器200的结构的框图。头戴式显示器200是安装在学习者L的头部上的装置,并且包括显示单元210、头部传感器220、麦克风230和扬声器240。
显示单元210包括两个透过型显示器。这两个显示器分别对应于右眼和左眼。显示单元210显示利用计算机100中所包括的立体视频生成单元160基于学习数据等所生成的三维视频。由于显示器是透过型的,因此学习者L可以经由显示单元210从视觉上识别实际空间中的周围环境。因此,显示单元210所显示的三维视频以叠加在实际空间中的周围环境上的方式显示。
麦克风230拾取学习者L所发出的语音,将该语音转换成语音输入信号,并且将该语音输入信号提供至语音输入/输出单元170。在头戴式显示器200安装在学习者的头部上的状态下,麦克风230被放置成位于学习者L的嘴部附近以容易拾取学习者L所发出的声音。可以使用指向性相对较高的麦克风作为麦克风230。
扬声器240根据基于学习数据从语音输入/输出单元170输出的语音输出信号来输出语音。在头戴式显示器200安装在学习者L的头部上的状态下,扬声器240可被放置成与学习者的耳朵接触。应当注意,麦克风230和/或扬声器240也可以与头戴式显示器200分开设置。
头部传感器220感测头戴式显示器200的位置或姿势(即,佩戴头戴式显示器200的学习者L的头部的位置或取向)、以及头戴式显示器200放置于的环境等。作为头部传感器220,例如,可以使用加速度传感器、陀螺仪传感器、方向传感器、深度传感器或照相机等。头部传感器220的输出被输入至位置和姿势识别单元150。
使用学习支持系统的示例
接着,将说明使用如上所述配置成的学习支持系统1的示例。在使用学习支持系统1进行学习时,如图4所示,学习者L佩戴头戴式显示器200。在头戴式显示器200的显示单元210上,基于立体视频生成单元160所生成的三维视频数据,在虚拟三维空间内显示虚拟测量机AM和化身AV。此外,根据作为三维视频进行播放的示范作业的进度,从扬声器240输出语音。
本实施例中的学习支持系统1包括如以下将说明的两个学习模式。
第一学习模式
第一学习模式是佩戴头戴式显示器200的学习者L观看并学习由在虚拟空间内操作虚拟测量机AM的化身AV进行的示范作业的模式。图4是示出第一学习模式中的学习者L和化身AV及虚拟测量机AM之间的关系的示意图。
在通过手势或输入装置进行输入操作来以第一学习模式播放学习数据的情况下,在第一学习模式下将示范作业的外观作为三维视频显示在显示单元210上,并且根据该视频从扬声器240输出语音。
换句话说,立体视频生成单元160基于存储单元120中所存储的学习数据,在虚拟三维空间内生成与化身AV使用虚拟测量机AM所进行的作业的外观有关的三维视频。然后,立体视频生成单元160基于以下内容来识别虚拟三维空间内的学习者L的位置和姿势(眼睛注视位置和取向):头部传感器220或3D传感器300所检测到的学习者L的位置或姿势;以及实际三维空间中的坐标系和虚拟三维空间中的坐标系之间的关系;等等。然后,立体视频生成单元160生成按该位置和该姿势观看到的示范作业的外观的三维视频。
学习者L可以通过手势或者输入装置的操作来给出用以停止、重复、减速和倒退等的命令。立体视频生成单元160经由操作输入单元140或者位置和姿势识别单元150接收到这些命令,并且将这些命令反映在随后要生成的三维视频数据中。由于能够进行这样的操作,因此学习者L可以重复或缓慢地移动示范作业以自由地观察示范作业。
第一学习模式使得能够进行追随显示和非追随显示这两者,该追随显示以如下方式显示三维视频:视野根据佩戴头戴式显示器200的学习者L在实际三维空间中的移动而在虚拟三维空间内移动,以及该非追随显示以如下方式显示三维视频:在实际三维空间内学习者L没有移动的情况下,视野响应于学习者L所进行的手势或者输入装置的操作而在虚拟三维空间内移动。追随显示和非追随显示被配置成通过手势或者输入装置的操作是可切换的。追随显示使得能够在无需任何复杂操作的情况下在实际移动期间从自由视点进行观察。此外,非追随显示使得能够从虚拟三维空间内的自由位置观察示范作业。在非追随显示中,例如,还可以从空中的更高视角观察示范作业。
在第一学习模式中,学习者可以任意次数地重复观看化身AV在虚拟空间内再现的专家的示范作业的外观。然后,学习者L可以继续从各种角度观察示范作业的外观,或者可以使重放速度减慢或暂停并且凝视示范作业的外观。学习者L由此可以从各种角度和视角从整体上或从细节上观察示范作业。结果,可以预期学习者快速地掌握作业。此外,学习者可以针对各测量操作查看作业的诀窍或技巧,收听消息,并由此轻松地理解作业的要点。因此,实现了高效的学习支持。
第二学习模式
第二学习模式是学习者L通过按照化身AV在虚拟空间内操作虚拟测量机AM所进行的示范作业而操作实际测量机RM来进行学习的模式。图5是示出第二学习模式中的学习者L和化身AV及虚拟测量机AM之间的关系的示意图。应当注意,在图5中,虚拟测量机AM以与实际测量机RM重叠的方式显示。
在通过手势或输入装置进行输入操作来以第二学习模式播放学习数据的情况下,在第二学习模式下将示范作业的外观作为三维视频显示在显示单元210上,并且根据该视频从扬声器240输出语音。
换句话说,立体视频生成单元160基于存储单元120中所存储的学习数据,在虚拟三维空间内生成与化身AV使用虚拟测量机AM所进行的作业的外观有关的三维视频。然后,立体视频生成单元160基于以下内容来识别虚拟三维空间内的学习者L的位置和姿势(眼睛注视位置和取向):头部传感器220或3D传感器300所检测到的学习者L的位置或姿势;以及实际三维空间中的坐标系和虚拟三维空间中的坐标系之间的关系;等等。然后,立体视频生成单元160生成按该位置和该姿势观看到的示范作业的外观的三维视频。
在第二学习模式中,在虚拟三维空间内化身AV以与学习者L重叠的方式显示。换句话说,化身AV放置在虚拟三维空间内、与实际三维空间中的头戴式显示器200的位置(即,学习者L存在于的位置坐标)相对应的位置坐标处。此外,在虚拟三维空间内虚拟测量机AM以与实际测量机RM重叠的方式显示。换句话说,虚拟测量机AM放置在虚拟三维空间内、与在实际三维空间中实际测量机RM放置于的位置坐标相对应的位置坐标处。第二学习模式使用追随显示,该追随显示以视野根据佩戴头戴式显示器200的学习者L在实际三维空间中的移动而在虚拟三维空间内移动的方式显示三维视频。
在学习数据开始播放之后,立体视频生成单元160不断地将正在播放的学习数据与位置和姿势识别单元150所输出的学习者L或实际测量机RM的位置和姿势进行对比,并由此掌握学习者L所进行的作业的进度。应当注意,为了掌握作业的进度,除了学习者L或实际测量机RM的位置和姿势之外,立体视频生成单元160还可以利用经由测量机控制单元130从实际测量机RM获得的状态或测量值。然后,立体视频生成单元160基于所掌握的作业的进度和学习数据,使头戴式显示器200的显示单元210以比作业者L的作业提前预定时间的方式显示示范作业的三维视频。换句话说,立体视频生成单元160确认了学习者L正在追踪化身AV所进行的示范作业,并且同时显示学习者L接下来要进行的作业的外观作为化身AV在虚拟三维空间内进行的示范作业。
根据这样的结构,根据学习者L的作业速度来自动调整化身AV的动作。学习者L可以跟随化身AV的操作进行作业,以由此模拟专家的作业并进行他/她的作业。对于佩戴头戴式显示器200的学习者L,化身AV所操作的虚拟测量机AM看起来与学习者L自己所操作的实际测量机RM重叠。因而,化身AV看起来与学习者L自身重叠,并且佩戴头戴式显示器200的学习者L可以以与化身AV相同的视点观察以略微比学习者L自身的作业提前的方式显示的示范作业的外观。
此外,立体视频生成单元160计算所掌握的作业的进度相对于示范作业的延迟(延迟时间),并且向学习者L通知该延迟时间。通知的方法可以包括头戴式显示器200的显示单元210上所显示的通知、以及经由来自扬声器240的语音提供的通知等。
此外,与第一学习模式类似,学习者L可以通过手势或者输入装置的操作来给出用以停止、重复、减速和倒退等的命令。立体视频生成单元160经由操作输入单元140或者位置和姿势识别单元150接收到这些命令,并将这些命令反映在随后要生成的三维视频数据中。由于能够进行这样的操作,因此学习者L可以多次重复地练习作业。
在第二学习模式中,学习者L可以跟随化身AV在虚拟空间内再现的专家的示范作业来操作实际测量机RM以进行训练。然后,根据学习者L的进度来自动播放示范作业。例如,响应于学习者L的作业的进度,化身AV进行比学习者L的操作略进一步的操作。因而,可以预期学习者L在作业中自然地提高自身。结果,可以预期学习者L快速地掌握作业。此外,学习者L可以针对各测量操作查看作业的诀窍或技巧,收听消息,并由此容易地理解作业。因此,实现了高效的学习支持。
根据这样的结构,可以掌握相对于示范作业的延迟,因而学习者L可以容易地掌握他/她自身与专家相比的熟练程度。此外,学习者L可以掌握该学习者L不擅长的过程,识别与目标作业时间的差异,并且还可以尝试缩短测量时间。
如上所述,根据基于本发明的各实施例的学习支持系统1,由于虚拟人模型(化身)再现专家的示范作业,因此学习者L可以从各种角度重复地观察专家的示范作业的外观。此外,初学者可以与化身重叠,以在化身的进行略进一步的操作的动作之后进行尝试。此外,可以根据学习者的操作速度来自动调整示范操作的速度。此外,学习者可以重复地进行自学从而以各学习模式学习,并由此可以支持学习者在短时间内将操作掌握到与示范作业中的高效作业接近的水平。
应当注意,尽管以上已经说明了本实施例,但本发明不限于这些示例。例如,在上述实施例中的第二学习模式中,在学习数据开始播放之后,立体视频生成单元160不断地掌握学习者L所进行的作业的进度,并且使头戴式显示器200的显示单元210以略微比学习者的作业提前的方式显示示范作业的三维视频。然而,立体视频生成单元160可以将示范作业配置成按理想速度(例如,专家的作业速度)播放到预定时间点为止(或者到作业结束为止)。
在这种情况下,立体视频生成单元160可以将正在播放的学习数据与位置和姿势识别单元150基于3D传感器300所获得的对象的位置坐标而输出的学习者或实际测量机RM的位置或姿势进行对比,并且由此可以掌握学习者L所进行的作业的进度。然后,计算学习者L所进行的作业相对于示范作业的延迟(延迟时间),并且向学习者L通知该延迟时间。通知的方法可以包括头戴式显示器200的显示单元210上所显示的通知、以及经由来自扬声器240的语音提供的通知等。
此外,在上述实施例中,头戴式显示器200包括透过型显示器作为显示单元210,然而该显示单元210可以是非透过型显示器。在使用非透过型显示器的情况下,头戴式显示器200包括用于在实际三维空间中在学习者L的眼睛注视方向上(在头戴式显示器200的前方)拍摄图像的照相机。可以将照相机进行摄像得到的实际三维空间的视频和立体视频生成单元160所生成的三维视频以叠加方式显示在非透过型显示器上。
另外,本领域技术人员可以适当对前述实施例进行任何组件的添加、删除或设计改变,并且该实施例的特征的适当组合也落在本发明的范围内,只要它们具有本发明的精神即可。

Claims (8)

1.一种学习支持系统,用于支持使用用于对测量对象进行测量的实际测量机的作业的学习,所述学习支持系统包括:
位置和姿势识别单元,用于识别实际三维空间内的对象的位置和/或姿势;
存储单元,用于存储学习数据,所述学习数据定义在虚拟三维空间内化身使用虚拟测量机进行的示范作业;
立体视频生成单元,用于基于所述位置和姿势识别单元所识别的所述对象的位置和/或姿势、以及所述存储单元中所存储的所述学习数据,来生成所述化身进行的示范作业的三维视频;以及
头戴式显示器,其安装在学习者的头部上,并且将所述三维视频以叠加在所述实际三维空间上的方式显示。
2.根据权利要求1所述的学习支持系统,其中,
所述位置和姿势识别单元基于来自三维传感器和/或来自头部传感器的输出来识别所述实际三维空间内的所述对象的位置和/或姿势,所述三维传感器用于检测所述实际三维空间中的所述对象的三维坐标,所述头部传感器包括在所述头戴式显示器中并用于感测所述头戴式显示器的位置和/或姿势。
3.根据权利要求1或2所述的学习支持系统,其中,
所述立体视频生成单元识别所述实际三维空间中的坐标系和所述虚拟三维空间中的坐标系之间的对应关系,并且以使视野根据所述头戴式显示器在所述实际三维空间中的移动而在所述虚拟三维空间内移动的方式生成三维视频数据。
4.根据权利要求1至3中任一项所述的学习支持系统,其中,所述立体视频生成单元用于进行以下操作:
将所述化身放置于所述虚拟三维空间内、与在所述实际三维空间中所述头戴式显示器存在于的位置坐标相对应的位置坐标处;
将所述虚拟测量机放置于所述虚拟三维空间内、与在所述实际三维空间中放置所述实际测量机的位置坐标相对应的位置坐标处;
基于所述学习数据、以及所述位置和姿势识别单元所输出的所述学习者和/或所述实际测量机的位置和姿势,来掌握所述学习者所进行的作业的进度;以及
基于所掌握的作业的进度和所述学习数据,以比所述学习者的作业提前预定时间的方式生成所述示范作业的三维视频数据。
5.根据权利要求1至4中任一项所述的学习支持系统,其中,
所述立体视频生成单元计算所掌握的作业的进度相对于所述示范作业的延迟时间,并且向所述学习者通知所述延迟时间。
6.根据权利要求1至5中任一项所述的学习支持系统,其中,
响应于在所述实际三维空间内所述学习者没有移动的情况下的操作,所述立体视频生成单元以使视野在所述虚拟三维空间内移动的方式生成三维视频数据。
7.根据权利要求1至6中任一项所述的学习支持系统,其中,
所述头戴式显示器包括透过型的显示器。
8.一种非暂时性计算机可读记录介质,其存储程序,其中所述程序使计算机用作根据权利要求1至7中任一项所述的学习支持系统。
CN201910399144.1A 2018-05-15 2019-05-14 学习支持系统和计算机可读记录介质 Pending CN110491226A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018093625A JP2019200257A (ja) 2018-05-15 2018-05-15 学習支援システム及びプログラム
JP2018-093625 2018-05-15

Publications (1)

Publication Number Publication Date
CN110491226A true CN110491226A (zh) 2019-11-22

Family

ID=68419279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399144.1A Pending CN110491226A (zh) 2018-05-15 2019-05-14 学习支持系统和计算机可读记录介质

Country Status (4)

Country Link
US (1) US20190355281A1 (zh)
JP (1) JP2019200257A (zh)
CN (1) CN110491226A (zh)
DE (1) DE102019002881A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192972A1 (en) * 2019-12-23 2021-06-24 Sri International Machine learning system for technical knowledge capture
WO2023203806A1 (ja) * 2022-04-19 2023-10-26 株式会社Nttドコモ 作業支援装置
US20230412765A1 (en) * 2022-06-20 2023-12-21 International Business Machines Corporation Contextual positioning in virtual space

Also Published As

Publication number Publication date
US20190355281A1 (en) 2019-11-21
JP2019200257A (ja) 2019-11-21
DE102019002881A1 (de) 2019-11-21

Similar Documents

Publication Publication Date Title
CN108010394B (zh) 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
CN110491226A (zh) 学习支持系统和计算机可读记录介质
US11380069B2 (en) System and method for generating asynchronous augmented reality instructions
JP6723738B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20200311396A1 (en) Spatially consistent representation of hand motion
EP3948494A1 (en) Spatially consistent representation of hand motion
CN110969905A (zh) 混合现实的远程教学互动、教具互动系统及其互动方法
CN109493760B (zh) 一种多源同步展示数字沙盘系统
KR20150084586A (ko) 가상 3d 아바타를 이용한 동영상 강의 저작 키오스크 및 저작 시스템
CN108211312A (zh) 基于ar或vr运动的动作校正方法和装置
JP2019184904A (ja) 操作訓練システム
KR102211108B1 (ko) Gmp 환경 모니터링을 위한 가상 현실 기반의 바이오 안전 캐비닛의 무균 입증 절차 교육 시스템
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
JP7129839B2 (ja) 訓練装置、訓練システム、訓練方法、及びプログラム
CN110809751B (zh) 用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序
US20190005831A1 (en) Virtual Reality Education Platform
WO2021131266A1 (ja) プログラム、情報処理装置及び方法
JP5466606B2 (ja) スプレー塗装シミュレートシステム
US20210084197A1 (en) Data processing
TW201937461A (zh) 互動式訓練及檢測裝置
KR20160005841A (ko) 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
KR20100132322A (ko) 모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법
KR101726041B1 (ko) 모션 분석 기반 스키 자세 트레이닝 시스템
KR20140077743A (ko) 모션 시뮬레이터 제어 장치 및 이를 포함하는 모션 시뮬레이션 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191122

WD01 Invention patent application deemed withdrawn after publication