CN114402276A - 授课系统、视听终端、信息处理方法以及程序 - Google Patents

授课系统、视听终端、信息处理方法以及程序 Download PDF

Info

Publication number
CN114402276A
CN114402276A CN202080064978.8A CN202080064978A CN114402276A CN 114402276 A CN114402276 A CN 114402276A CN 202080064978 A CN202080064978 A CN 202080064978A CN 114402276 A CN114402276 A CN 114402276A
Authority
CN
China
Prior art keywords
lecture
teaching material
student
material object
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080064978.8A
Other languages
English (en)
Inventor
下村大树
吉原惠美子
井口智志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Publication of CN114402276A publication Critical patent/CN114402276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于连接通信授课用服务器(10)和学生用终端(30)来接受在具有沉浸感的虚拟空间内进行的授课的授课系统。通信授课用服务器(10)具有：发布部(103)，其将用于视听在虚拟空间内进行的授课的授课内容发布到学生用终端(30)；发送部(104)，其将根据授课的进行而设定的显示信号、非显示信号、操作许可信号和操作禁止信号发送到学生用终端(30)。学生用终端(30)具有：VR功能部(301)，其将使用该学生用终端(30)的学生的化身配置在虚拟空间内来进行控制，并且接收授课内容，以化身的视点显示授课内容；对象控制部(303)，其在接收到显示信号的定时使教材对象(500)出现在虚拟空间内，在接收到非显示信号的定时使教材对象(500)消失，在接收到操作许可信号的定时能够进行基于学生的教材对象(500)的操作，在接收到操作禁止信号的定时禁止基于学生的教材对象(500)的操作。

Description

授课系统、视听终端、信息处理方法以及程序
技术领域
本发明涉及授课系统、视听终端、信息处理方法以及程序。
背景技术
近年来，利用了信息通信技术(ICT)的教育系统正在普及。
例如，非专利文献1的zSpace是具有3维立体视觉显示器的便携式电脑的学习环境。学生通过佩戴3D偏转眼镜，能够立体地视觉辨认显示于显示器的影像、模型。也能够用触控笔直观地操作显示的模型。
另外，非专利文献2的Google Expeditions是能够使用VR套件在全世界虚拟地探索的教材。学生们能够观看360度全景动画进行转动。教师成为指导，向学生们说明影像。
现有技术文献
非专利文献
非专利文献1：“AR/VR Learning Experiences|zSpace”、zSpace，Inc.、インターネット〈URL：https：//zspace.com/〉
非专利文献2：“Expeditionsで授業にリアルな体験を|Google for Education”、Google LLC、インターネット〈URL：https：//edu.google.com/products/vr-ar/expeditions/〉
发明内容
发明要解决的课题
非专利文献1能够立体地观察对象，并且能够操作所显示的模型，因此，能够促进学生的理解。但是，非专利文献1是便携式电脑的系统，以老师和学生处于同一教室内的授课为前提，因此，在具有沉浸感的虚拟现实(VR)空间内进行的通信教育中无法利用。
非专利文献2只是观看具有沉浸感的360度全景动画，并非在虚拟空间内进行授课。也不能自由地操作所显示的对象。
本发明是鉴于上述情况而完成的，其目的在于，在具有沉浸感的虚拟空间内进行的授课中，实现促进学生的理解。
用于解决课题的手段
本发明的一方式的授课系统是用于连接通信授课用服务器和视听终端来接受在具有沉浸感的虚拟空间内进行的授课的授课系统，其中，所述通信授课用服务器具有：发布部，其将对在现实空间中进行的授课拍摄而得的全景动画发布到所述视听终端；发送部，其向所述视听终端发送根据所述授课的进行而设定的显示信号、非显示信号、操作许可信号和操作禁止信号，所述视听终端具有：化身控制部，其将使用该视听终端的学生的化身配置在所述虚拟空间内来进行控制；接收部，其接收所述全景动画；显示部，其根据所述全景动画生成所述虚拟空间，以所述虚拟空间内的所述化身的视点显示所述全景动画；对象控制部，其在接收到所述显示信号的定时使3维的教材对象出现在所述虚拟空间内，在接收到所述非显示信号的定时使所述教材对象消失，在接收到所述操作许可信号的定时能够进行基于所述学生的所述教材对象的操作，在接收到所述操作禁止信号的定时禁止进行基于所述学生的所述教材对象的操作。
发明效果
根据本发明，在具有沉浸感的虚拟空间内进行的授课中，能够实现促进学生的理解。
附图说明
图1是表示本实施方式的授课内容的发布系统的整体结构例的框图。
图2是概念性地表示授课内容的发布源的教室的图。
图3是表示通信授课用服务器的结构例的功能框图。
图4是表示学生用终端的结构例的功能框图。
图5是表示控制教材对象的处理的流程的时序图。
图6是表示学生在虚拟空间内接受授课的样子的图。
图7是表示在虚拟空间内进行的授课中显示教材对象的样子的图。
图8是表示操作教材对象的情形的图。
图9是表示教材对象的状态的变化的图。
具体实施方式
[系统结构]
以下，使用附图对本发明的一实施方式的授课系统进行说明。
本实施方式的授课系统是用于接受在具有沉浸感的虚拟空间内进行的授课的授课系统。图1所示的授课系统具有通信授课用服务器10和多个学生用终端30。通信授课用服务器10和多个学生用终端30被连接于通信线路20。通信授课用服务器10和多个学生用终端30被配置在分开的位置。多个学生用终端30也可以分别配置在分开的位置。通信线路20是互联网等任意的通信线路。此外，在图1中，图示了6台学生用终端30，但学生用终端30的台数是任意的。
学生用终端30能够使用具有VR功能的任意的计算机设备。学生用终端30连接用于供学生佩戴并观看虚拟空间内的头戴式显示器(HMD)、用于受理来自学生的输入并操作配置于虚拟空间内的学生化身的控制器。
学生用终端30从通信授课用服务器10接收用于在虚拟空间中对授课进行视听的信息，并显示于HMD。HMD检测学生的头的活动，根据头的活动使拍摄虚拟空间的虚拟摄影机的拍摄方向变化。即，学生通过活动头，能够观看虚拟空间内的所有方向。在学生操作控制器时，虚拟空间中的学生化身根据输入的操作进行动作。例如，在学生抬起握持控制器的手时，学生化身也抬起手。
学生能够操作学生化身，并且能够根据授课的进行操作在学生化身的前面显示的3维对象(下文，称为教材对象)。例如，学生能够变更教材对象的尺寸，或变更观看的方向，或将视点放入教材对象的内部来调查教材对象的内部构造。
通信授课用服务器10与教室显示器11、中继摄影机12、教师用终端13、麦克风14以及扬声器15连接。扬声器15包含耳机(耳麦)。通信授课用服务器10以从所连接的设备接收到的信息为基础，生成在虚拟空间内进行的授课的授课内容，并发布给学生用终端30。
如图2所示，教师40站在教室显示器11的前面，使用教室显示器11和教师用终端13进行授课。教室显示器11是被称为电子黑板的大画面显示器。教师40使存储在通信授课用服务器10中的授课用数据显示于教室显示器11来进行授课。授课用数据随着教师40的话语转换并显示，授课得以进行。此外，也可以使用黑板或白板来代替教室显示器11。
中继摄影机12拍摄教师40的授课。作为中继摄影机12，例如能够使用对教室内的周向全域进行拍摄的360度摄影机(也称为全天球摄影机)。将拍摄授课而得的全景动画(也称为360度动画或全天球动画)发送到通信授课用服务器10，蓄积为授课内容。通信授课用服务器10将全景动画发布给学生用终端30。学生用终端30将全景动画投影到虚拟空间内。通过利用中继摄影机12拍摄具有视差的全景动画，利用HMD显示具有视差的影像，由此学生能够佩戴HMD而进入虚拟空间内，能够环视投影到虚拟空间内的立体的全景动画。由此，学生能够感到在具有沉浸感的真实的教室接受授课。
中继摄影机12也可以使用拍摄教室前方的任意角度(例如180度)的摄影机。未被中继摄影机12拍摄的教室的后方部分可以在虚拟空间内配置地板、墙壁及天花板的对象并通过计算机图形来构建。在学生在虚拟空间内朝向教室的后方时，学生并非看到什么也未显现的空间，而是看到CG的教室，从而不会损害沉浸感。
教师用终端13是教师40在进行授课时使用的终端。教师40也可以操作教师用终端13，选择显示于教室显示器11的授课用数据。另外，教师40也可以在授课过程中操作教师用终端13，设定使教材对象出现在虚拟空间内、或使教材对象消失的定时。例如，教师40在授课中对地球的构造进行了说明后，操作教师用终端13，发出在学生化身的前面显示模仿了地球的教材对象的指示。教师用终端13将教材对象的显示指示发送给通信授课用服务器10。通信授课用服务器10对教材对象的显示指示赋予定时信息并进行记录。定时信息是表示授课的进度的数值，能够使用从授课开始起的经过时间或动画的时间戳。
教师40也可以操作教师用终端13，改变学生用终端30所显示的教材对象的朝向，或改变尺寸，或变形。教师用终端13将这些指令发送到通信授课用服务器10。通信授课用服务器10对接收到的指示赋予定时信息进行记录。另外，教师40也可以操作教师用终端13，给予学生操作教材对象的许可，或禁止对教材对象的操作。
此外，操作教材对象的指示不只是由教师40一边进行授课一边设定，也可以在拍摄授课后，一边观看拍摄到的授课的动画一边设定。此外，以上的各动作除了使用供教师使用的教师用终端13的方式以外，还可以是各种方式。例如，当然也可以使用远程授课广播的制片人、导演、或者节目的发布者操作的终端或其他装置等。这一点在以下说明的使用教师用终端13的各动作中是共通的。
麦克风14对教师40发出的声音进行收集。收集到的音频数据发送到通信授课用服务器10。通信授课用服务器10与动画匹配地向学生用终端30发布音频数据。
扬声器15例如输出来自拍摄工作人员的与授课的进行相关的指示等并传递给教师40。
[服务器的结构]
参照图3，对通信授课用服务器10的结构例进行说明。图3所示的通信授课用服务器10具有：输入输出部101、存储部102、发布部103以及发送部104。
输入输出部101与教室显示器11、中继摄影机12、教师用终端13、麦克风14以及扬声器15连接，将授课用数据输出至教室显示器11、教师用终端13，或输入动画数据、音频数据以及操作。输入输出部101输入的动画数据、音频数据作为授课内容存储在存储部102中。
存储部102存储要发布到学生用终端30的数据，即，与授课内容和教材对象相关的信息。与教材对象相关的信息是为了显示教材对象所需的模型数据、和对根据授课的进行而设定的教材对象的指示。作为指示，例如有显示开启、显示关闭、可操作以及禁止操作等指示。对指示赋予定时信息。
发布部103根据学生用终端30的请求来发布授课内容。发布部103可以将授课内容流发布到学生用终端30，也可以将授课内容下载到学生用终端30。
发送部104根据授课的进行和对教材对象的指示，向学生用终端30发送用于控制教材对象的对象控制信号。具体而言，在到达自授课开始起的经过时间或者动画的时间戳赋予给指示的定时时，发送部104将与该指示对应的对象控制信号发送给学生用终端30。
[学生用终端的结构]
参照图4，对学生用终端30的结构例进行说明。图4所示的学生用终端30具有：VR功能部301、输入部302以及对象控制部303。学生用终端30与HMD31和控制器32连接。
VR功能部301从通信授课用服务器10接收授课内容，根据由HMD31检测到的学生的头的活动来控制虚拟空间内的虚拟摄影机，使HMD31显示学生的头的方向的影像。另外，VR功能部301根据从HMD31、控制器32输入的信息来控制学生化身的姿势、活动，将学生化身配置在虚拟空间内进行渲染。
VR功能部301在教材对象的显示开启时，将教材对象配置在虚拟空间内，将教材对象与授课内容合成进行显示。
此外，配置在虚拟空间内的对象的渲染所需的数据在授课之前取得，或根据需要取得，并由VR功能部301保持。
输入部302输入由HMD31检测出的学生的头的活动、控制器32的操作。也可以将麦克风与输入部302连接而输入学生的声音。学生的头的活动、操作发送到VR功能部301，用于控制学生化身。另外，控制器32的操作被发送到对象控制部303，用于操作教材对象。
对象控制部303根据授课的进行使教材对象出现在虚拟空间内，或使教材对象消失。例如，在从通信授课用服务器10接收显示信号时，对象控制部303将教材对象的状态设为显示开启，使教材对象出现在虚拟空间内。对象控制部303在接收非显示信号时，将教材对象的状态设为显示关闭，使教材对象从虚拟空间消失。并且，对象控制部303在接收变更尺寸的信号、变更姿势、朝向的信号、或者变更形状的信号时，根据接收到的信号变更教材对象的尺寸、姿势、朝向、或者形状。在对教材对象进行动画时，也可以根据动画的播放、暂时停止、快进以及倒退等信号使教材对象进行动画。
此外，使教材对象在虚拟空间内出现或消失、或者变更教材对象的姿势、朝向、形状、大小等的操作，可以由通信授课用服务器10或学生用终端30中的任一个进行。通信授课用服务器10按照预先决定的授课的进行方案来操作教材对象。学生用终端30按照学生输入的操作来操作教材对象。这样，能够构成为通过通信授课用服务器10、学生用终端30或其他装置来进行与本发明中的虚拟空间或处于其内部的对象相关的所有操作。这是基于VR技术的特征的点，原因在于，既能够根据虚拟对象等外观数据及其运动数据在本终端内进行渲染而生成虚拟对象的显示用数据，或者也能够将虚拟对象的外观数据及其运动数据发送到其他终端等，在接收到的其他终端等的内部进行渲染而生成虚拟对象的显示用数据。关于能够任意地选择进行这样的虚拟对象的数据的生成、变形的主体这一点、以及能够任意地选择进行根据所生成的或变形后的虚拟对象的数据来生成虚拟对象的显示用数据的渲染的主体这一点，针对本公开的各动作是共通的，今后不一一说明。
在教材对象为能够操作的状态时，对象控制部303也可以根据学生的活动来操作教材对象。例如，在学生进行展开或缩小双手的动作时，增大或减小教材对象的尺寸。也可以变更教材对象的位置、朝向而能够从任意的视点进行观察。
学生用终端30可以向通信授课用服务器10发送用于控制学生化身的姿势、活动的运动数据、学生的音频数据。
在通信授课用服务器10和学生用终端30中，例如，能够使用具有中央处理装置(CPU)、存储器、记录器、通信装置以及输入输出装置的通用计算机系统。在该计算机系统中，CPU执行加载在存储器上的预定程序，由此，实现通信授课用服务器10和学生用终端30。该程序可以记录在磁盘、光盘、半导体存储器等计算机可读取的记录介质中，也可以经由网络进行发布。
[控制教材对象的处理]
参照图5的时序图，对控制教材对象的处理进行说明。
在步骤S11中，通信授课用服务器10开始向学生用终端30的授课内容的发布。授课内容是对教师40进行授课的情形进行拍摄而得的全景动画。学生用终端30将全景动画投影到虚拟空间内。在学生佩戴的HMD31显示与学生的头的朝向对应的影像。
图6是表示学生在虚拟空间内接受授课的情形的图。在虚拟空间内，投影对教师40和教室显示器11进行拍摄而得的全景动画。在图6中，省略了全景动画内的教室的墙壁、地板以及天花板。桌子对象510是配置在虚拟空间内的学生化身之前的3维对象。在图6中，虽然省略了学生化身，但学生化身配置在虚拟空间内的相当于中继摄影机12的位置。学生用终端30根据学生化身的视点位置，对将学生化身、桌子对象510等虚拟空间内的对象与全景动画合成而得的图像进行渲染，供给到HMD31。
在授课的开始时间点，不显示教材对象。不显示教材对象直至需要为止，由此，学生能够在不关注教材对象的情况下集中于授课。当然，也可以在授课开始的同时显示教材对象。
在授课进行，而到达教师40使用教材对象进行说明的定时时，在步骤S12中，通信授课用服务器10将显示信号发送到学生用终端30。例如，通信授课用服务器10将定时信息(例如，自授课开始起的经过时间)与对象控制信号(在此为显示信号)关联起来，在自授课开始起的经过时间成为由定时信息指定的时间时，将相符的对象控制信号发送到学生用终端30。
接收到显示信号的学生用终端30在步骤S13中，将教材对象配置在虚拟空间内进行显示。
图7是表示显示教材对象500的情形的图。HMD31显示在全景动画中合成了教材对象500而得的图像。在显示教材对象500后，通信授课用服务器10也可以通过对象控制信号来变更教材对象500的显示方式。例如，教师40一边对教材对象500进行说明，一边根据对象控制信号，变更教材对象500的尺寸，或改变教材对象500的姿势而翻过来。通过利用对象控制信号控制教材对象500的显示方式，学生能够准确地掌握教材对象500的应关注的部位。
在授课中，在成为自由地观察教材对象500的定时时，在步骤S14中，通信授课用服务器10向学生用终端30发送操作许可信号。在接收到操作许可信号后，学生活动教材对象500，能够从任意的视点观察教材对象500。
在步骤S15中，在从学生操作的控制器32输入规定的操作时，在步骤S16中，学生用终端30按照学生的操作，变更教材对象500的显示。例如，在学生握持控制器32进行张开手的动作时，学生用终端30增大教材对象500的尺寸。在学生进行展开手的动作时，如图8所示，学生化身的右手对象600R和左手对象600L也配合学生的活动而展开，教材对象500的尺寸变大。
教材对象500也可以增大尺寸，直至视点的位置即学生化身包含在教材对象500的内部。在视点包含在教材对象500的内部时，学生用终端30显示教材对象500的内部。由此，学生能够观察在授课中学习的对象物的内部构造。例如，在显示建筑物作为教材对象时，若增大教材对象的尺寸，则能够观察建筑物的内部。
在视点进入到教材对象500的内部时，学生用终端30可以不显示教材对象500以外的桌子对象510等对象，也可以不显示全景动画。
学生用终端30除了教材对象500的尺寸，还能够根据学生的操作，操作教材对象500的位置、朝向、姿势等。例如，学生能够将教材对象500翻过来观看教材对象500的背侧。
在授课中，在自由观察的时间结束时，在步骤S17中，通信授课用服务器10向学生用终端30发送操作禁止信号。在接收操作禁止信号后，学生不能操作教材对象500。
在进行授课而不再需要教材对象500时，在步骤S18中，通信授课用服务器10向学生用终端30发送非显示信号。
接收到非显示信号的学生用终端30在步骤S19中，使教材对象从虚拟空间消失。
此外，在图5中，通信授课用服务器10发送信号来变更教材对象500的状态，但通信授课用服务器10也可以事先将对教材对象500的指示和定时信息发送给学生用终端30，学生用终端30观看授课的经过时间、动画的时间戳，根据定时信息，使教材对象500出现或消失。
参照图9，对图5的例子中的教材对象500的状态的变化进行说明。在图9中，示出了与授课的进行对应的教材对象500的状态。
在授课开始时，教材对象500是显示关闭的状态。
在学生用终端30接收显示信号时，教材对象500为显示开启。此时，教材对象500不可操作，学生不能操作教材对象500。此外，也可以与教材对象500的显示同时操作。
在学生用终端30接收操作许可信号时，教材对象500能够操作。学生能够操作教材对象500。
在学生用终端30接收操作禁止信号时，教材对象500不可操作，学生不能操作教材对象500。
在学生用终端30接收非显示信号时，教材对象500为显示关闭。
此外，在多个学生同时视听授课时，可以对每个学生显示教材对象，也可以多人显示一个教材对象。
如上所述，本实施方式的授课系统是用于连接通信授课用服务器10和学生用终端30来接受在具有沉浸感的虚拟空间内进行的授课的授课系统。通信授课用服务器10具有：发布部103，其将用于视听在虚拟空间内进行的授课的授课内容发布到学生用终端30；以及发送部104，其将根据授课的进行而设定的显示信号和非显示信号发送到学生用终端30。学生用终端30具有：VR功能部301，其将使用该学生用终端30的学生的化身配置在虚拟空间内来进行控制，并且接收授课内容，以化身的视点显示授课内容；对象控制部303，其在接收到显示信号的定时使教材对象500出现在虚拟空间内，在接收到非显示信号的定时使教材对象500消失。由此，学生能够在虚拟空间内观察与授课关联的对象物，因此，能够期待促进授课的理解。另外，配合授课的进行来显示教材对象500，或使教材对象500消失，因此，学生能够在不关注教材对象500的情况下集中于授课。
另外，本实施方式的授课与电视节目或广播大学那样的仅单向发送正面授课的图像的结构不同，生成使用拍摄了360度全周的全周摄影机的图像来进行授课的虚拟教室的数据。其结果是，学生感觉到犹如自己处于实际的教室那样的沉浸感、真实感，因此，将增加对授课的兴趣、满意度。并且，通过在能够360度观察的教室中配置能够从360度任意的方向观察、或能够进行移动、变形的教材对象，即使从所有方向观察教材对象，由于将教室内的图像描绘为背景，因此在显示上没有破绽，学生的兴趣不会减少。同样地，在学生化身进入教材对象的内部而进行了视觉辨认外部的动作的情况下，在所有方向上都存在教室内的图像，因此，显示没有破绽，学生的兴趣不会减少。
此外，通过使用实拍的全景动画作为授课内容的例子进行了说明，但也可以将教师化身配置在由计算机图形构成的教室内来进行授课。例如，根据对教师40进行拍摄而得的动画来生成教师化身的运动数据。通信授课用服务器10发送配置于虚拟空间内的教室的对象及教师化身的模型和运动数据。学生用终端30根据接收到的信息将对象配置在虚拟空间内，将运动数据应用于教师化身来控制教师化身，渲染虚拟空间，将影像供给到HMD31。学生用终端30也可以接收并显示由通信授课用服务器10渲染的图像。
也可以利用过去录制的教育节目的影像，从影像中检测出场人物的骨骼，根据检测出的骨骼来活动虚拟空间内的化身。
另外，通过发布所蓄积的授课内容的例子进行了说明，但授课内容也可以是实时进行的授课。授课内容的发布可以在实时发布由教师进行的授课的实时远程授课模式、发布事先拍摄或生成的授课的时移远程授课模式中的任一个中进行。
实时远程授课模式是教师当前实时进行的授课经由通信授课用服务器10发布到各学生用终端30来进行视听的模式。多个学生同时视听相同的授课内容。即，多个学生化身存在于同一虚拟空间内。可以对每一个学生化身配置教材对象，也可以在教室内配置一个教材对象。在教室内配置一个教材对象的情况下，教师可以对学生进行指名，仅被指名的学生能够操作教材对象。
时移远程授课模式并非实时，而是如下的模式：预先拍摄和生成的授课内容被预先蓄积在服务器中，根据来自各个学生用终端30的发送请求发布到在任意时间有请求的学生用终端30来进行视听。该情况下，将正在视听授课内容的学生化身的动作等蓄积在通信授课用服务器10中。对在其他定时视听相同的授课内容的学生发布所蓄积的学生化身的动作等，作为同班同学的学生化身配置在授课内容的虚拟空间内的教室中。由此，能够获得空间上和时间上都分开的不同的学生犹如一起同时接受相同的授课那样的疑似效果。
在实时远程授课模式和时移远程授课模式中的任一个中，学生用终端30可以不将学生化身的动作等发送到通信授课用服务器10。通过在学生用终端30内完结学生化身、教材对象的操作信息等与学生的活动对应的处理，能够减轻通信授课用服务器10的负荷，并且学生的动作等信息不会发送到外部，因此，能够防止信息泄露。
附图标记说明
10…通信授课用服务器101…输入输出部102…存储部103…发布部104…发送部11…教室显示器12…中继摄影机13…教师用终端14…麦克风15…扬声器20…通信线路30…学生用终端301…VR功能部302…输入部303…对象控制部31…HMD 32…控制器40…教师500…教材对象510…桌子对象600L…左手对象600R…右手对象

Claims (5)

1.一种授课系统，用于连接通信授课用服务器和视听终端来接受在具有沉浸感的虚拟空间内进行的授课，其特征在于，
所述通信授课用服务器具有：
发布部，其将对在现实空间中进行的授课拍摄而得的全景动画发布到所述视听终端；
发送部，其向所述视听终端发送根据所述授课的进行而设定的显示信号、非显示信号、操作许可信号和操作禁止信号，
所述视听终端具有：
化身控制部，其将使用该视听终端的学生的化身配置在所述虚拟空间内来进行控制；
接收部，其接收所述全景动画；
显示部，其根据所述全景动画生成所述虚拟空间，以所述虚拟空间内的所述化身的视点显示所述全景动画；
对象控制部，其在接收到所述显示信号的定时使3维的教材对象出现在所述虚拟空间内，在接收到所述非显示信号的定时使所述教材对象消失，在接收到所述操作许可信号的定时能够进行基于所述学生的所述教材对象的操作，在接收到所述操作禁止信号的定时禁止进行基于所述学生的所述教材对象的操作。
2.根据权利要求1所述的授课系统，其特征在于，
在所述化身的视点包含在所述教材对象的内部时，所述显示部显示所述教材对象的内部，并且不显示所述全景动画。
3.一种用于接受在具有沉浸感的虚拟空间内进行的授课的视听终端，其特征在于，该视听终端具有：
化身控制部，其将使用该视听终端的学生的化身配置在所述虚拟空间内来进行控制；
接收部，其接收对在现实空间中进行的授课拍摄而得的全景动画；
显示部，其根据所述全景动画生成所述虚拟空间，以所述虚拟空间内的所述化身的视点显示所述全景动画；
对象控制部，其在根据授课的进行而设定的第一定时使3维的教材对象出现在所述虚拟空间内，在根据授课的进行而设定的第二定时使所述教材对象消失，在根据授课的进行而设定的第三定时能够进行基于所述学生的所述教材对象的操作，在根据授课的进行而设定的第四定时禁止进行基于所述学生的所述教材对象的操作。
4.一种用于接受在具有沉浸感的虚拟空间内进行的授课的视听终端的信息处理方法，其特征在于，
所述信息处理方法具有以下步骤：
将使用该视听终端的学生的化身配置在所述虚拟空间内来进行控制的步骤；
接收对在现实空间中进行的授课拍摄而得的全景动画的步骤；
根据所述全景动画生成所述虚拟空间，以所述虚拟空间内的所述化身的视点显示所述全景动画的步骤；
在与授课的进行对应的第一定时使3维的教材对象出现在所述虚拟空间内的步骤；
在与授课的进行对应的第二定时使所述教材对象消失的步骤；
在与授课的进行对应的第三定时能够进行基于所述学生的所述教材对象的操作的步骤；
在与授课的进行对应的第四定时禁止进行基于所述学生的所述教材对象的操作的步骤。
5.一种程序，其使计算机作为用于接受在具有沉浸感的虚拟空间内进行的授课的视听终端来进行动作，其特征在于，
所述程序使计算机执行以下处理：
将使用该视听终端的学生的化身配置在所述虚拟空间内来进行控制的处理；
接收对在现实空间中进行的授课拍摄而得的全景动画的处理；
根据所述全景动画生成所述虚拟空间，以所述虚拟空间内的所述化身的视点显示所述全景动画的处理；
在与授课的进行对应的第一定时使3维的教材对象出现在所述虚拟空间内的处理；
在与授课的进行对应的第二定时使所述教材对象消失的处理；
在与授课的进行对应的第三定时能够进行基于所述学生的所述教材对象的操作的处理；
在与授课的进行对应的第四定时禁止进行基于所述学生的所述教材对象的操作的处理。
CN202080064978.8A 2019-11-28 2020-11-20 授课系统、视听终端、信息处理方法以及程序 Pending CN114402276A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019215541A JP6739611B1 (ja) 2019-11-28 2019-11-28 授業システム、視聴端末、情報処理方法及びプログラム
JP2019-215541 2019-11-28
PCT/JP2020/043485 WO2021106803A1 (ja) 2019-11-28 2020-11-20 授業システム、視聴端末、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114402276A true CN114402276A (zh) 2022-04-26

Family

ID=71949340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080064978.8A Pending CN114402276A (zh) 2019-11-28 2020-11-20 授课系统、视听终端、信息处理方法以及程序

Country Status (4)

Country Link
US (1) US20220375358A1 (zh)
JP (1) JP6739611B1 (zh)
CN (1) CN114402276A (zh)
WO (1) WO2021106803A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150866A (zh) * 2020-09-04 2020-12-29 温州职业技术学院 一种多语言文化互动交流系统
WO2022097271A1 (ja) * 2020-11-06 2022-05-12 株式会社Abal 仮想空間体感システム
CN113516031B (zh) * 2021-04-29 2024-03-19 广东飞蝶虚拟现实科技有限公司 一种vr教学系统及多媒体教室
WO2023149498A1 (ja) * 2022-02-04 2023-08-10 株式会社Ｎｔｔドコモ 表示制御装置
CN116909406B (zh) * 2023-09-12 2023-12-26 广州乐庚信息科技有限公司 一种基于元宇宙的虚拟课堂显示方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092341A (ja) * 1999-09-24 2001-04-06 Nri & Ncc Co Ltd 三次元空間双方向教育システム
CN102646344A (zh) * 2012-04-11 2012-08-22 合肥心智远教育科技有限公司 教师全控的课堂快速互动教学系统及其使用方法
CN105989753A (zh) * 2015-01-29 2016-10-05 宁波状元郎电子科技有限公司 一种基于云计算智能互动教学系统
CN106781755A (zh) * 2017-01-18 2017-05-31 广州远大信息发展有限公司 一种基于虚拟现实的教学系统及方法
CN106981225A (zh) * 2017-06-06 2017-07-25 广州益升雅思教育信息咨询有限公司 一种基于vr眼镜的教学模拟系统和方法
CN108010394A (zh) * 2017-12-20 2018-05-08 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN108538112A (zh) * 2017-03-02 2018-09-14 未来恩教育引领 利用虚拟现实和增强现实的在线学习系统及方法
JP2018206331A (ja) * 2017-06-05 2018-12-27 凸版印刷株式会社 仮想空間提示装置、仮想空間提示方法、及びプログラム
CN109817041A (zh) * 2019-01-07 2019-05-28 北京汉博信息技术有限公司 多功能教学系统
CN110290211A (zh) * 2019-06-27 2019-09-27 北京大米科技有限公司 多人联机的通信方法、电子设备和可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285894A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
JP2003233296A (ja) * 2002-02-08 2003-08-22 Waseda College Of Medical Arts & Sciences 仮想空間システム及びその制御方法、並びにコンピュータ上で動作する制御プログラム
US7441206B2 (en) * 2004-06-14 2008-10-21 Medical Simulation Corporation 3D visual effect creation system and method
US10732721B1 (en) * 2015-02-28 2020-08-04 sigmund lindsay clements Mixed reality glasses used to operate a device touch freely
AU2017371954A1 (en) * 2016-12-08 2019-07-25 Digital Pulse Pty. Limited A system and method for collaborative learning using virtual reality
JP6892935B2 (ja) * 2018-02-05 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント エンタテインメント装置、表示制御方法及び表示制御プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092341A (ja) * 1999-09-24 2001-04-06 Nri & Ncc Co Ltd 三次元空間双方向教育システム
CN102646344A (zh) * 2012-04-11 2012-08-22 合肥心智远教育科技有限公司 教师全控的课堂快速互动教学系统及其使用方法
CN105989753A (zh) * 2015-01-29 2016-10-05 宁波状元郎电子科技有限公司 一种基于云计算智能互动教学系统
CN106781755A (zh) * 2017-01-18 2017-05-31 广州远大信息发展有限公司 一种基于虚拟现实的教学系统及方法
CN108538112A (zh) * 2017-03-02 2018-09-14 未来恩教育引领 利用虚拟现实和增强现实的在线学习系统及方法
JP2018206331A (ja) * 2017-06-05 2018-12-27 凸版印刷株式会社 仮想空間提示装置、仮想空間提示方法、及びプログラム
CN106981225A (zh) * 2017-06-06 2017-07-25 广州益升雅思教育信息咨询有限公司 一种基于vr眼镜的教学模拟系统和方法
CN108010394A (zh) * 2017-12-20 2018-05-08 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN109817041A (zh) * 2019-01-07 2019-05-28 北京汉博信息技术有限公司 多功能教学系统
CN110290211A (zh) * 2019-06-27 2019-09-27 北京大米科技有限公司 多人联机的通信方法、电子设备和可读存储介质

Also Published As

Publication number Publication date
WO2021106803A1 (ja) 2021-06-03
JP2021086435A (ja) 2021-06-03
JP6739611B1 (ja) 2020-08-12
US20220375358A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
CN114402276A (zh) 授课系统、视听终端、信息处理方法以及程序
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20220404907A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
JP2023181234A (ja) コンテンツ配信サーバ、コンテンツ作成装置、教育端末、コンテンツ配信プログラム、および教育プログラム
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
JP6727388B1 (ja) 授業システム、視聴端末、情報処理方法およびプログラム
US20240054736A1 (en) Adjustable Immersion Level for Content
JP2021086145A (ja) 授業システム、視聴端末、情報処理方法およびプログラム
KR20110006976A (ko) 전시관용 인터렉티브제어시스템
JP7465737B2 (ja) 授業システム、視聴端末、情報処理方法及びプログラム
US20220360827A1 (en) Content distribution system, content distribution method, and content distribution program
JP6766228B1 (ja) 遠隔教育システム
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN115004281A (zh) 视听终端、视听方法、视听系统以及程序
JP2021086146A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP6733027B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Lindeman Tell me about antarctica: Guidelines for in situ capture and viewing of 360-degree video highlighting antarctic science
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2022255262A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
WO2023233849A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2021009348A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
KR20160121269A (ko) 크로마키를 이용한 학습 영상 제작장치 및 그 학습 영상 제공방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination