JP2021086435A - 授業システム、視聴端末、情報処理方法及びプログラム - Google Patents

授業システム、視聴端末、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2021086435A
JP2021086435A JP2019215541A JP2019215541A JP2021086435A JP 2021086435 A JP2021086435 A JP 2021086435A JP 2019215541 A JP2019215541 A JP 2019215541A JP 2019215541 A JP2019215541 A JP 2019215541A JP 2021086435 A JP2021086435 A JP 2021086435A
Authority
JP
Japan
Prior art keywords
lesson
virtual space
student
avatar
teaching material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019215541A
Other languages
English (en)
Other versions
JP6739611B1 (ja
Inventor
大樹 下村
Daiki Shimomura
大樹 下村
恵美子 吉原
Emiko YOSHIHARA
恵美子 吉原
智志 井口
Tomoshi Iguchi
智志 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2019215541A priority Critical patent/JP6739611B1/ja
Priority to JP2020122096A priority patent/JP7465737B2/ja
Application granted granted Critical
Publication of JP6739611B1 publication Critical patent/JP6739611B1/ja
Priority to CN202080064978.8A priority patent/CN114402276A/zh
Priority to US17/762,193 priority patent/US20220375358A1/en
Priority to PCT/JP2020/043485 priority patent/WO2021106803A1/ja
Publication of JP2021086435A publication Critical patent/JP2021086435A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

【課題】没入感のある仮想空間内で行われる授業において、生徒の理解の促進を図る。【解決手段】通信授業用サーバ１０と生徒用端末３０とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムであって、通信授業用サーバ１０は、仮想空間内で行われる授業を視聴するための授業コンテンツを生徒用端末３０に配信する配信部１０３と、授業の進行に応じて設定された表示信号と非表示信号を生徒用端末３０へ送信する送信部１０４を有し、生徒用端末３０は、当該生徒用端末３０を使用する生徒のアバターを仮想空間内に配置して制御するとともに、授業コンテンツを受信し、アバターの視点で授業コンテンツを表示するＶＲ機能部３０１と、表示信号を受信したタイミングで仮想空間内に教材オブジェクト５００を出現させ、非表示信号を受信したタイミングで教材オブジェクト５００を消失させるオブジェクト制御部３０３を有する。【選択図】図４

Description

本発明は、授業システム、視聴端末、情報処理方法及びプログラムに関する。
近年、情報通信技術（ＩＣＴ）を利用した教育システムが広まっている。
例えば、非特許文献１のｚＳｐａｃｅは、３次元立体視ディスプレイを備えたラップトップ型の学習環境である。生徒が３Ｄ偏向グラスを装着することで、ディスプレイに表示された映像やモデルを立体的に視認できる。表示されたモデルをスタイラスペンで直感的に操作することもできる。
また、非特許文献２のＧｏｏｇｌｅ Ｅｘｐｅｄｉｔｉｏｎｓは、ＶＲキットを用いて世界中をバーチャルに探索できる教材である。生徒たちは３６０度パノラマ動画を見て回ることができる。教師はガイドになり生徒たちに映像を説明する。
"AR/VR Learning Experiences | zSpace"、zSpace, Inc.、インターネット〈 URL：https://zspace.com/ 〉 "Expeditions で授業にリアルな体験を | Google for Education"、Google LLC、インターネット〈 URL：https://edu.google.com/products/vr-ar/expeditions/ 〉
非特許文献１は、対象を立体的に観察でき、さらに表示されたモデルを操作できるので、生徒の理解を促進できる。しかしながら、非特許文献１は、ラップトップ型のシステムであって、先生と生徒が同じ教室内にいる授業を前提としているため、没入感のある仮想現実（ＶＲ）空間内で行われる通信教育では利用することはできない。
非特許文献２は、没入感のある３６０度パノラマ動画を見るだけであり、仮想空間内で授業が進行するものではない。表示されたオブジェクトを自由に操作できるものでもない。
本発明は、上記に鑑みてなされたものであり、没入感のある仮想空間内で行われる授業において、生徒の理解の促進を図ることを目的とする。
本発明の一態様の授業システムは、通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムであって、前記通信授業用サーバは、前記仮想空間内で行われる授業を視聴するための授業コンテンツを前記視聴端末に配信する配信部と、前記授業の進行に応じて設定された第１信号と第２信号を前記視聴端末へ送信する送信部を有し、前記視聴端末は、当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、前記授業コンテンツを受信する受信部と、前記アバターの視点で前記授業コンテンツを表示する表示部と、前記第１信号を受信したタイミングで前記仮想空間内に３次元オブジェクトを出現させ、前記第２信号を受信したタイミングで前記３次元オブジェクトを消失させるオブジェクト制御部を有する。
本発明によれば、没入感のある仮想空間内で行われる授業において、生徒の理解の促進を図ることができる。
図１は、本実施形態の授業コンテンツの配信システムの全体的な構成例を示すブロック図である。 図２は、授業コンテンツの配信元の教室を概念的に示す図である。 図３は、通信授業用サーバの構成例を示す機能ブロック図である。 図４は、生徒用端末の構成例を示す機能ブロック図である。 図５は、教材オブジェクトを制御する処理の流れを示すシーケンス図である。 図６は、生徒が仮想空間内で授業を受ける様子を示す図である。 図７は、仮想空間内で行われる授業において教材オブジェクトを表示した様子を示す図である。 図８は、教材オブジェクトを操作した様子を示す図である。 図９は、教材オブジェクトの状態の変化を示す図である。
［システム構成］
以下、本発明の一実施形態の授業システムについて図面を用いて説明する。
本実施形態の授業システムは、没入感のある仮想空間内で行われる授業を受けるための授業システムである。図１に示す授業システムは、通信授業用サーバ１０および複数の生徒用端末３０を備える。通信授業用サーバ１０および複数の生徒用端末３０は、通信回線２０に接続されている。通信授業用サーバ１０と複数の生徒用端末３０とは離れた位置に配置される。複数の生徒用端末３０のそれぞれも離れた位置に配置されてもよい。通信回線２０は、インターネット等の任意の通信回線である。なお、図１では、６台の生徒用端末３０を図示しているが、生徒用端末３０の台数は任意である。
生徒用端末３０は、ＶＲ機能を有する任意のコンピュータ機器を用いることができる。生徒用端末３０は、生徒が装着して仮想空間内を見るためのヘッドマウントディスプレイ（ＨＭＤ）、生徒からの入力を受け付けて仮想空間内に配置される生徒アバターを操作するためのコントローラを接続する。
生徒用端末３０は、通信授業用サーバ１０から仮想空間内で授業を視聴するための情報を受信してＨＭＤに表示する。ＨＭＤは、生徒の頭の動きを検知し、頭の動きに応じて仮想空間を撮影する仮想カメラの撮影方向を変化させる。つまり、生徒は、頭を動かすことで、仮想空間内のあらゆる方向を見ることができる。生徒がコントローラを操作すると、仮想空間内の生徒アバターは、入力された操作に応じて動作する。例えば、生徒がコントローラを持つ手を上げると、生徒アバターも手を上げる。
生徒は、生徒アバターを操作するとともに、授業の進行に応じて生徒アバターの前に表示される３次元オブジェクト（以下、教材オブジェクトと称する）を操作することができる。例えば、生徒は、教材オブジェクトのサイズを変更したり、見る方向を変更したり、視点を教材オブジェクトの内部に入れて教材オブジェクトの内部構造を調べたりできる。
通信授業用サーバ１０には、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５が接続される。スピーカ１５は、ヘッドホン（イヤホン）を含む。通信授業用サーバ１０は、接続された機器から受信した情報を元に、仮想空間内で行われる授業の授業コンテンツを作成し、生徒用端末３０に配信する。
図２に示すように、教師４０は、教室ディスプレイ１１の前に立ち、教室ディスプレイ１１と教師用端末１３を用いて授業を行う。教室ディスプレイ１１は、電子黒板と称される大画面ディスプレイである。教師４０は、通信授業用サーバ１０に記憶されている授業用データを教室ディスプレイ１１に表示させて授業を行う。教師４０の発話に合わせて授業用データが遷移して表示されて授業が進行する。なお、教室ディスプレイ１１の代わりに黒板またはホワイトボードを用いてもよい。
中継カメラ１２は、教師４０による授業を撮影する。中継カメラ１２としては、例えば、教室内の周方向全域を撮影する３６０度カメラ（全天球カメラともいう）を用いることができる。授業を撮影したパノラマ動画（３６０度動画または全天球動画ともいう）は、通信授業用サーバ１０に送信されて、授業コンテンツとして蓄積される。通信授業用サーバ１０は、パノラマ動画を生徒用端末３０に配信する。生徒用端末３０は、パノラマ動画を仮想空間内に投影する。中継カメラ１２で視差のあるパノラマ動画を撮影し、ＨＭＤで視差のある映像を表示することで、生徒は、ＨＭＤを装着して仮想空間内に入り込み、仮想空間内に投影された立体的なパノラマ動画を見渡すことができる。これにより、生徒は、没入感のあるリアルな教室で授業を受けているように感じることができる。
中継カメラ１２は、教室の前方の任意の角度（例えば１８０度）を撮影するカメラを用いてもよい。中継カメラ１２で撮影されていない教室の後方部分は、仮想空間内に床、壁、および天井のオブジェクトを配置してコンピュータグラフィックスで構築するとよい。生徒が仮想空間内で教室の後方を向いたとき、生徒は、何も映っていない空間ではなく、ＣＧの教室を見ることになり、没入感が損なわれない。
教師用端末１３は、教師４０が授業を進行する際に利用する端末である。教師４０は、教師用端末１３を操作し、教室ディスプレイ１１に表示する授業用データを選択してもよい。また、教師４０は、授業中に教師用端末１３を操作し、仮想空間内に教材オブジェクトを出現させたり、教材オブジェクトを消失させたりするタイミングを設定してもよい。例えば、教師４０は、授業内で地球の構造について説明した後、教師用端末１３を操作し、地球を模した教材オブジェクトを生徒アバターの前に表示させる指示を出す。教師用端末１３は、教材オブジェクトの表示指示を通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、教材オブジェクトの表示指示にタイミング情報を付与して記録する。タイミング情報とは、授業の進行度合いを示す数値であり、授業が始まってからの経過時間や動画のタイムスタンプを用いることができる。
教師４０は、教師用端末１３を操作し、生徒用端末３０で表示される教材オブジェクトの向きを変えたり、サイズを変えたり、変形させたりしてもよい。教師用端末１３は、これらの指示を通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、受信した指示にタイミング情報を付与して記録する。また、教師４０は、教師用端末１３を操作し、生徒に教材オブジェクトを操作する許可を与えたり、教材オブジェクトへの操作を禁止したりしてもよい。
なお、教材オブジェクトを操作する指示は、教師４０が授業を行いながら設定するだけでなく、授業を撮影後に、撮影した授業の動画を見ながら設定してもよい。なお、以上の各動作は、教師が用いる教師用端末１３を用いる態様以外にも種々の態様が可能である。例えば、遠隔授業放送のプロデューサやディレクター、あるいは番組の配信者が操作する端末その他を用いてももちろんよい。この点は以下に説明する教師用端末１３を用いる各動作において共通である。
マイクロホン１４は、教師４０の発した音声を収音する。収音された音声データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、動画に合わせて音声データを生徒用端末３０へ配信する。
スピーカ１５は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師４０に伝える。
［サーバの構成］
図３を参照し、通信授業用サーバ１０の構成例について説明する。図３に示す通信授業用サーバ１０は、入出力部１０１、記憶部１０２、配信部１０３、および送信部１０４を備える。
入出力部１０１は、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５と接続し、授業用データを教室ディスプレイ１１や教師用端末１３に出力したり、動画データ、音声データ、および操作を入力したりする。入出力部１０１が入力した動画データや音声データは授業コンテンツとして記憶部１０２に記憶される。
記憶部１０２は、生徒用端末３０に配信するデータ、つまり、授業コンテンツおよび教材オブジェクトに関する情報を記憶する。教材オブジェクトに関する情報とは、教材オブジェクトを表示するために必要なモデルデータと、授業の進行に応じて設定された教材オブジェクトへの指示である。指示としては、例えば、表示オン、表示オフ、操作可、および操作禁止などの指示がある。指示には、タイミング情報が付与されている。
配信部１０３は、生徒用端末３０の求めに応じて、授業コンテンツを配信する。配信部１０３は、授業コンテンツを生徒用端末３０にストリーミング配信してもよいし、授業コンテンツを生徒用端末３０にダウンロードさせてもよい。
送信部１０４は、授業の進行と教材オブジェクトへの指示に応じて、教材オブジェクトを制御するためのオブジェクト制御信号を生徒用端末３０へ送信する。具体的には、授業開始からの経過時間または動画のタイムスタンプが指示に付与されたタイミングになると、送信部１０４は、その指示に対応するオブジェクト制御信号を生徒用端末３０へ送信する。
［生徒用端末の構成］
図４を参照し、生徒用端末３０の構成例について説明する。図４に示す生徒用端末３０は、ＶＲ機能部３０１、入力部３０２、およびオブジェクト制御部３０３を備える。生徒用端末３０には、ＨＭＤ３１とコントローラ３２が接続される。
ＶＲ機能部３０１は、通信授業用サーバ１０から授業コンテンツを受信し、ＨＭＤ３１で検出した生徒の頭の動きに基づいて仮想空間内の仮想カメラを制御し、生徒の頭の方向の映像をＨＭＤ３１に表示させる。また、ＶＲ機能部３０１は、ＨＭＤ３１やコントローラ３２から入力した情報に基づいて生徒アバターの姿勢や動きを制御し、生徒アバターを仮想空間内に配置してレンダリングする。
ＶＲ機能部３０１は、教材オブジェクトの表示がオンのとき、教材オブジェクトを仮想空間内に配置し、授業コンテンツに教材オブジェクトを合成して表示する。
なお、仮想空間内に配置するオブジェクトのレンダリングに必要なデータは、授業の前に取得したり、必要に応じて取得したりして、ＶＲ機能部３０１が保持しておく。
入力部３０２は、ＨＭＤ３１で検出した生徒の頭の動き、コントローラ３２での操作を入力する。入力部３０２にマイクロホンを接続して生徒の音声を入力してもよい。生徒の頭の動きや操作は、ＶＲ機能部３０１へ送信されて、生徒アバターの制御に用いられる。また、コントローラ３２での操作は、オブジェクト制御部３０３へ送信されて、教材オブジェクトの操作に用いられる。
オブジェクト制御部３０３は、授業の進行に応じて仮想空間内に教材オブジェクトを出現させたり、教材オブジェクトを消失させたりする。例えば、オブジェクト制御部３０３は、通信授業用サーバ１０から表示信号を受信すると教材オブジェクトの状態を表示オンにして、仮想空間内に教材オブジェクトを出現させる。オブジェクト制御部３０３は、非表示信号を受信すると教材オブジェクトの状態を表示オフにして、仮想空間から教材オブジェクトを消失させる。さらに、オブジェクト制御部３０３は、サイズを変更する信号、姿勢や向きを変更する信号、あるいは形状を変更する信号を受信すると、受信した信号に応じて教材オブジェクトのサイズ、姿勢や向き、あるいは形状を変更する。教材オブジェクトがアニメーションするときは、アニメーションの再生、一時停止、早送り、および巻き戻しなどの信号に応じて教材オブジェクトをアニメーションさせてもよい。
なお、仮想空間内に教材オブジェクトを出現させたり、あるいは消失させたり、あるいは教材オブジェクトの姿勢や向き、形状、大きさなどを変更したりする操作は、通信授業用サーバ１０または生徒用端末３０のいずれが行ってもよい。通信授業用サーバ１０は、あらかじめ決められた授業の進行シナリオに従って教材オブジェクトを操作する。生徒用端末３０は、生徒の入力した操作に従って教材オブジェクトを操作する。このように、本発明における仮想空間やその内部にあるオブジェクトに関わる全ての操作は、通信授業用サーバ１０、生徒用端末３０、あるいはその他の装置によって行われるよう構成することができる。これは、ＶＲ（バーチャルリアリティ）技術の特徴に基づく点であって、仮想オブジェクト等の外観データとそのモーションデータとから自端末内でレンダリングを行って仮想オブジェクトの表示用データを生成することもできるし、あるいは仮想オブジェクトの外観データとそのモーションデータとを他の端末等に送信し、受信した他の端末等の内部でレンダリングを行って仮想オブジェクトの表示用データを生成することもまた可能であるからである。このような仮想オブジェクトのデータの生成や変形を行う主体を任意に選択できる点、および生成された、あるいは変形された仮想オブジェクトのデータに基づいて仮想オブジェクトの表示用データを生成するレンダリングを行う主体を任意に選択できる点は、本開示の各動作について共通であり、今後いちいち断らないこととする。
教材オブジェクトが操作可能な状態のとき、オブジェクト制御部３０３は、生徒の動きに基づいて教材オブジェクトを操作してもよい。例えば、生徒が両手を広げたり狭めたりする動作をしたときは、教材オブジェクトのサイズを大きくしたり小さくしたりする。教材オブジェクトの位置、向きを変更して任意の視点から観察できるようにしてもよい。
生徒用端末３０は、生徒アバターの姿勢や動きを制御するためのモーションデータや生徒の音声データを通信授業用サーバ１０へ送信してもよい。
通信授業用サーバ１０および生徒用端末３０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置を備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ１０および生徒用端末３０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
[教材オブジェクトを制御する処理]
図５のシーケンス図を参照し、教材オブジェクトを制御する処理について説明する。
ステップＳ１１にて、通信授業用サーバ１０は、生徒用端末３０への授業コンテンツの配信を開始する。授業コンテンツは、教師４０が授業を進める様子を撮影したパノラマ動画であるとする。生徒用端末３０は、パノラマ動画を仮想空間内に投影する。生徒の装着したＨＭＤ３１には、生徒の頭の向きに応じた映像が表示される。
図６は、生徒が仮想空間内で授業を受ける様子を示す図である。仮想空間内には、教師４０と教室ディスプレイ１１が撮影されたパノラマ動画が投影されている。図６では、パノラマ動画内の教室の壁、床、および天井を省略している。机オブジェクト５１０は、仮想空間内の生徒アバターの前に配置した３次元オブジェクトである。図６では、生徒アバターを省略しているが、生徒アバターは、仮想空間内の中継カメラ１２に相当する位置に配置される。生徒用端末３０は、生徒アバターの視点位置に基づき、パノラマ動画に生徒アバターや机オブジェクト５１０などの仮想空間内のオブジェクトを合成した画像をレンダリングして、ＨＭＤ３１に供給する。
授業の開始時点では、教材オブジェクトは表示されていない。必要になるまで、教材オブジェクトを表示しないことで、生徒は、教材オブジェクトに気を取られることなく、授業に集中できる。もちろん、授業開始と同時に教材オブジェクトを表示させてもよい。
授業が進行し、教師４０が教材オブジェクトを用いて説明するタイミングになると、ステップＳ１２にて、通信授業用サーバ１０は、表示信号を生徒用端末３０へ送信する。例えば、通信授業用サーバ１０は、オブジェクト制御信号（ここでは表示信号）にタイミング情報（例えば授業開始からの経過時間）を対応付けておき、授業開始からの経過時間がタイミング情報で指定された時間になると、該当するオブジェクト制御信号を生徒用端末３０へ送信する。
表示信号を受信した生徒用端末３０は、ステップＳ１３にて、教材オブジェクトを仮想空間内に配置して表示する。
図７は、教材オブジェクト５００を表示した様子を示す図である。ＨＭＤ３１は、パノラマ動画に教材オブジェクト５００が合成された画像を表示する。教材オブジェクト５００を表示後、通信授業用サーバ１０は、オブジェクト制御信号により、教材オブジェクト５００の表示態様を変更してもよい。例えば、教師４０は教材オブジェクト５００について説明しながら、オブジェクト制御信号により、教材オブジェクト５００のサイズを変更したり、教材オブジェクト５００の姿勢を変えて裏返したりする。オブジェクト制御信号により教材オブジェクト５００の表示態様を制御することで、生徒は、教材オブジェクト５００の注目すべき箇所を的確に把握できる。
授業において、教材オブジェクト５００を自由に観察させるタイミングになると、ステップＳ１４にて、通信授業用サーバ１０は、操作許可信号を生徒用端末３０へ送信する。操作許可信号を受信後、生徒は、教材オブジェクト５００を動かして、任意の視点から教材オブジェクト５００を観察できるようになる。
ステップＳ１５にて、生徒の操作するコントローラ３２から所定の操作を入力すると、ステップＳ１６にて、生徒用端末３０は、生徒の操作に従って、教材オブジェクト５００の表示を変更する。例えば、生徒がコントローラ３２を持って手を広げる動作をしたときは、生徒用端末３０は、教材オブジェクト５００のサイズを大きくする。生徒が手を広げる動作をすると、図８に示すように、生徒アバターの右手オブジェクト６００Ｒと左手オブジェクト６００Ｌも生徒の動きに合わせて広がり、教材オブジェクト５００のサイズが大きくなる。
教材オブジェクト５００は、視点の位置つまり生徒アバターが教材オブジェクト５００の内部に含まれるまでサイズを大きくできてもよい。視点が教材オブジェクト５００の内部に含まれたとき、生徒用端末３０は教材オブジェクト５００の内部を表示する。これにより、生徒は、授業で習う対象物の内部構造を観察できるようになる。例えば、教材オブジェクトとして建物を表示させたときに、教材オブジェクトのサイズを大きくすると建物の内部を観察できるようになる。
教材オブジェクト５００の内部に視点が入ったとき、生徒用端末３０は、教材オブジェクト５００以外の机オブジェクト５１０などのオブジェクトを非表示としてもよいし、パノラマ動画を非表示としてもよい。
生徒用端末３０は、教材オブジェクト５００のサイズだけでなく、生徒の操作に応じて、教材オブジェクト５００の位置、向き、姿勢などを操作できてもよい。例えば、生徒は、教材オブジェクト５００をひっくり返して教材オブジェクト５００の裏側を見たりできる。
授業において、自由に観察させる時間が終わると、ステップＳ１７にて、通信授業用サーバ１０は、操作禁止信号を生徒用端末３０へ送信する。操作禁止信号を受信後、生徒は、教材オブジェクト５００を操作できなくなる。
授業が進行し、教材オブジェクト５００が不要になると、ステップＳ１８にて、通信授業用サーバ１０は、非表示信号を生徒用端末３０へ送信する。
非表示信号を受信した生徒用端末３０は、ステップＳ１９にて、仮想空間から教材オブジェクトを消失させる。
なお、図５では、通信授業用サーバ１０が信号を送信して教材オブジェクト５００の状態を変更したが、通信授業用サーバ１０は、事前に、教材オブジェクト５００への指示とタイミング情報を生徒用端末３０へ送信しておき、生徒用端末３０が授業の経過時間や動画のタイムスタンプを見て、タイミング情報に基づき、教材オブジェクト５００を出現させたり、消失させたりしてもよい。
図９を参照し、図５の例における教材オブジェクト５００の状態の変化について説明する。図９では、授業の進行に応じた教材オブジェクト５００の状態について示している。
授業開始時、教材オブジェクト５００は表示オフの状態である。
生徒用端末３０が表示信号を受信すると、教材オブジェクト５００は表示オンとなる。このとき、教材オブジェクト５００は操作不可であり、生徒は教材オブジェクト５００を操作できない。なお、教材オブジェクト５００の表示と同時に操作可能としてもよい。
生徒用端末３０が操作許可信号を受信すると、教材オブジェクト５００は操作可能となる。生徒は教材オブジェクト５００を操作できるようになる。
生徒用端末３０が操作禁止信号を受信すると、教材オブジェクト５００は操作不可となり、生徒は教材オブジェクト５００を操作できなくなる。
生徒用端末３０が非表示信号を受信すると、教材オブジェクト５００は表示オフとなる。
なお、複数の生徒が同時に授業を視聴するとき、教材オブジェクトを生徒ごとに表示してもよいし、複数人で一つの教材オブジェクトを表示してもよい。
以上説明したように、本実施形態の授業システムは、通信授業用サーバ１０と生徒用端末３０とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムである。通信授業用サーバ１０は、仮想空間内で行われる授業を視聴するための授業コンテンツを生徒用端末３０に配信する配信部１０３と、授業の進行に応じて設定された表示信号と非表示信号を生徒用端末３０へ送信する送信部１０４を有する。生徒用端末３０は、当該生徒用端末３０を使用する生徒のアバターを仮想空間内に配置して制御するとともに、授業コンテンツを受信し、アバターの視点で授業コンテンツを表示するＶＲ機能部３０１と、表示信号を受信したタイミングで仮想空間内に教材オブジェクト５００を出現させ、非表示信号を受信したタイミングで教材オブジェクト５００を消失させるオブジェクト制御部３０３を有する。これにより、生徒は、授業に関連した対象物を仮想空間内で観察できるので、授業の理解の促進が期待できる。また、授業の進行に合わせて教材オブジェクト５００を表示したり、消失させたりするので、生徒は教材オブジェクト５００に気を取られることなく、授業に集中できる。
また、本実施形態の授業は、テレビ番組や放送大学のような正面だけの授業の画像を片方向だけに送信する構成とは異なり、３６０度全周を撮影した全周カメラの画像を用いて授業を行う仮想的な教室のデータが生成される。その結果、生徒は、あたかも自分が実際の教室にいるかのような没入感、リアル感が感じられるので授業への興味や満足度が増す。さらに、３６０度観察可能な教室の中に、３６０度任意の方向から観察したり、移動や変形をしたりできる教材オブジェクトを配置することで、あらゆる方向から教材オブジェクトを観察しても、背景として教室内の画像が描画されるので、表示に破綻がなく、生徒の興味がそがれることがない。同様に、教材オブジェクトの内部まで生徒アバターが入り込んで外部を視認する動作をした場合に、あらゆる方向に教室内の画像が存在するので表示に破綻がなく、生徒の興味がそがれることがない。
なお、授業コンテンツとして実写のパノラマ動画を用いる例で説明したが、コンピュータグラフィックスで構成した教室内に、教師アバターを配置して授業を進めてもよい。例えば、教師４０を撮影した動画から教師アバターのモーションデータを作成する。通信授業用サーバ１０は、仮想空間内の教室に配置されたオブジェクトおよび教師アバターのモデルとモーションデータを送信する。生徒用端末３０は、受信した情報に基づいて仮想空間内にオブジェクトを配置し、教師アバターにモーションデータを適用して教師アバターを制御し、仮想空間をレンダリングしてＨＭＤ３１に映像を供給する。生徒用端末３０は、通信授業用サーバ１０がレンダリングした画像を受信して表示してもよい。
過去に録画された教育番組の映像を利用し、映像から登場人物のボーンを検出し、検出したボーンに基づいて仮想空間内のアバターを動かしてもよい。
また、蓄積された授業コンテンツを配信する例で説明したが、授業コンテンツは、リアルタイムで行われる授業であってもよい。授業コンテンツの配信は、教師が行っている授業をリアルタイムに配信するリアルタイム遠隔授業モードと、事前に撮影または制作した授業を配信するタイムシフト遠隔授業モードのいずれで行ってもよい。
リアルタイム遠隔授業モードは、教師が現在リアルタイムに行っている授業が通信授業用サーバ１０を介して各生徒用端末３０へ配信されて視聴されるモードである。複数の生徒が同時に同じ授業コンテンツを視聴する。すなわち、複数の生徒アバターが同じ仮想空間内に存在する。生徒アバターのそれぞれに対して教材オブジェクトを配置してもよいし、教室内に一つの教材オブジェクトを配置してよい。教室内に一つの教材オブジェクトを配置する場合、教師が生徒を指名し、指名された生徒だけが教材オブジェクトを操作できるようにしてもよい。
タイムシフト遠隔授業モードは、リアルタイムではなく、あらかじめ撮影および制作された授業コンテンツが予めサーバに蓄積され、個々の生徒用端末３０からの送信要求に応じて任意の時間に要求のあった生徒用端末３０へ配信されて視聴されるモードである。この場合、授業コンテンツを視聴中の生徒アバターの動作等を通信授業用サーバ１０に蓄積しておく。別のタイミングで同じ授業コンテンツを視聴する生徒に蓄積した生徒アバターの動作等を配信し、授業コンテンツの仮想空間内の教室にクラスメイトの生徒アバターとして配置する。これにより、空間的にも時間的にも離間した別々な生徒があたかも一緒に同時に同じ授業を受けているかのような疑似的な効果が得られる。
リアルタイム遠隔授業モードおよびタイムシフト遠隔授業モードのいずれにおいても、生徒用端末３０は、生徒アバターの動作等を通信授業用サーバ１０へ送信しなくてもよい。生徒アバターや教材オブジェクトの操作情報などの生徒の動きに応じた処理を生徒用端末３０内で完結させることで、通信授業用サーバ１０の負荷を軽減でき、さらに生徒の動作などの情報が外部へ送信されないので、情報漏洩を防止できる。
１０…通信授業用サーバ １０１…入出力部 １０２…記憶部 １０３…配信部 １０４…送信部 １１…教室ディスプレイ １２…中継カメラ １３…教師用端末 １４…マイクロホン １５…スピーカ ２０…通信回線 ３０…生徒用端末 ３０１…ＶＲ機能部 ３０２…入力部 ３０３…オブジェクト制御部 ３１…ＨＭＤ ３２…コントローラ ４０…教師 ５００…教材オブジェクト ５１０…机オブジェクト ６００Ｌ…左手オブジェクト ６００Ｒ…右手オブジェクト
本発明の一態様の授業システムは、通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムであって、前記通信授業用サーバは、実空間で行われた授業を撮影したパノラマ動画を前記視聴端末に配信する配信部と、前記授業の進行に応じて設定された表示信号、非表示信号、操作許可信号、および操作禁止信号を前記視聴端末へ送信する送信部を有し、前記視聴端末は、当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、前記パノラマ動画を受信する受信部と、前記パノラマ動画に基づいて前記仮想空間を生成し、前記仮想空間内の前記アバターの視点で前記パノラマ動画を表示する表示部と、前記表示信号を受信したタイミングで前記仮想空間内に３次元の教材オブジェクトを出現させ、前記非表示信号を受信したタイミングで前記教材オブジェクトを消失させ、前記操作許可信号を受信したタイミングで前記生徒による前記教材オブジェクトの操作を可能とし、前記操作禁止信号を受信したタイミングで前記生徒による前記教材オブジェクトの操作を禁止するオブジェクト制御部を有する。

Claims (8)

  1. 通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムであって、
    前記通信授業用サーバは、
    前記仮想空間内で行われる授業を視聴するための授業コンテンツを前記視聴端末に配信する配信部と、
    前記授業の進行に応じて設定された第１信号と第２信号を前記視聴端末へ送信する送信部を有し、
    前記視聴端末は、
    当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、
    前記授業コンテンツを受信する受信部と、
    前記アバターの視点で前記授業コンテンツを表示する表示部と、
    前記第１信号を受信したタイミングで前記仮想空間内に３次元オブジェクトを出現させ、前記第２信号を受信したタイミングで前記３次元オブジェクトを消失させるオブジェクト制御部を有する
    授業システム。
  2. 請求項１に記載の授業システムであって、
    前記授業コンテンツは、実空間で行われた授業を撮影したパノラマ動画であり、
    前記表示部は、前記パノラマ動画に前記３次元オブジェクトを合成した映像を前記アバターの視線に応じて表示する
    授業システム。
  3. 請求項１または２に記載の授業システムであって、
    前記３次元オブジェクトは、前記生徒によって操作が可能である
    授業システム。
  4. 請求項１ないし３のいずれかに記載の授業システムであって、
    前記表示部は、前記アバターの視点が前記３次元オブジェクトの内部に含まれるときは、前記３次元オブジェクトの内部を表示する
    授業システム。
  5. 通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムであって、
    前記通信授業用サーバは、
    前記仮想空間内で行われる授業を視聴するための授業コンテンツを前記視聴端末に配信する配信部を備え、
    前記視聴端末は、
    当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部を備え、
    前記仮想空間は授業が行われる教室の全周を撮影したパノラマ動画に基づいて生成され、当該仮想空間内に前記授業の進行に応じて出現または消失する３次元オブジェクトが配置される
    授業システム。
  6. 没入感のある仮想空間内で行われる授業を受けるための視聴端末であって、
    当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、
    前記仮想空間内で行われる授業を視聴するための授業コンテンツを受信する受信部と、
    前記アバターの視点で前記授業コンテンツを表示する表示部と、
    授業の進行に応じて設定された第１のタイミングで前記仮想空間内に３次元オブジェクトを出現させ、授業の進行に応じて設定された第２のタイミングで前記３次元オブジェクトを消失させるオブジェクト制御部を有する
    視聴端末。
  7. 没入感のある仮想空間内で行われる授業を受けるための視聴端末による情報処理方法であって、
    当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するステップと、
    前記仮想空間内で行われる授業を視聴するための授業コンテンツを受信するステップと、
    前記アバターの視点で前記授業コンテンツを表示するステップと、
    授業の進行に応じた第１のタイミングで前記仮想空間内に３次元オブジェクトを出現させるステップと、
    授業の進行に応じた第２のタイミングで前記３次元オブジェクトを消失させるステップを有する
    情報処理方法。
  8. 没入感のある仮想空間内で行われる授業を受けるための視聴端末としてコンピュータを動作させるプログラムであって、
    当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御する処理と、
    前記仮想空間内で行われる授業を視聴するための授業コンテンツを受信する処理と、
    前記アバターの視点で前記授業コンテンツを表示する処理と、
    授業の進行に応じた第１のタイミングで前記仮想空間内に３次元オブジェクトを出現させる処理と、
    授業の進行に応じた第２のタイミングで前記３次元オブジェクトを消失させる処理をコンピュータに実行させる
    プログラム。
JP2019215541A 2019-11-28 2019-11-28 授業システム、視聴端末、情報処理方法及びプログラム Active JP6739611B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019215541A JP6739611B1 (ja) 2019-11-28 2019-11-28 授業システム、視聴端末、情報処理方法及びプログラム
JP2020122096A JP7465737B2 (ja) 2019-11-28 2020-07-16 授業システム、視聴端末、情報処理方法及びプログラム
CN202080064978.8A CN114402276A (zh) 2019-11-28 2020-11-20 授课系统、视听终端、信息处理方法以及程序
US17/762,193 US20220375358A1 (en) 2019-11-28 2020-11-20 Class system, viewing terminal, information processing method, and program
PCT/JP2020/043485 WO2021106803A1 (ja) 2019-11-28 2020-11-20 授業システム、視聴端末、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019215541A JP6739611B1 (ja) 2019-11-28 2019-11-28 授業システム、視聴端末、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020122096A Division JP7465737B2 (ja) 2019-11-28 2020-07-16 授業システム、視聴端末、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6739611B1 JP6739611B1 (ja) 2020-08-12
JP2021086435A true JP2021086435A (ja) 2021-06-03

Family

ID=71949340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019215541A Active JP6739611B1 (ja) 2019-11-28 2019-11-28 授業システム、視聴端末、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20220375358A1 (ja)
JP (1) JP6739611B1 (ja)
CN (1) CN114402276A (ja)
WO (1) WO2021106803A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150866A (zh) * 2020-09-04 2020-12-29 温州职业技术学院 一种多语言文化互动交流系统
WO2022097271A1 (ja) * 2020-11-06 2022-05-12 株式会社Abal 仮想空間体感システム
CN113516031B (zh) * 2021-04-29 2024-03-19 广东飞蝶虚拟现实科技有限公司 一种vr教学系统及多媒体教室
WO2023149498A1 (ja) * 2022-02-04 2023-08-10 株式会社Ｎｔｔドコモ 表示制御装置
CN116909406B (zh) * 2023-09-12 2023-12-26 广州乐庚信息科技有限公司 一种基于元宇宙的虚拟课堂显示方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233296A (ja) * 2002-02-08 2003-08-22 Waseda College Of Medical Arts & Sciences 仮想空間システム及びその制御方法、並びにコンピュータ上で動作する制御プログラム
JP2018206331A (ja) * 2017-06-05 2018-12-27 凸版印刷株式会社 仮想空間提示装置、仮想空間提示方法、及びプログラム
WO2019151323A1 (ja) * 2018-02-05 2019-08-08 株式会社ソニー・インタラクティブエンタテインメント エンタテインメント装置、表示制御方法及び表示制御プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346748B2 (ja) * 1999-09-24 2009-10-21 株式会社野村総合研究所 三次元空間双方向教育システム
JP2001285894A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
US7441206B2 (en) * 2004-06-14 2008-10-21 Medical Simulation Corporation 3D visual effect creation system and method
CN102646344B (zh) * 2012-04-11 2014-10-22 合肥心智远教育科技有限公司 教师全控的课堂快速互动教学系统及其使用方法
CN105989753A (zh) * 2015-01-29 2016-10-05 宁波状元郎电子科技有限公司 一种基于云计算智能互动教学系统
US10732721B1 (en) * 2015-02-28 2020-08-04 sigmund lindsay clements Mixed reality glasses used to operate a device touch freely
EP3551303A4 (en) * 2016-12-08 2020-07-29 Digital Pulse Pty. Limited COLLABORATIVE LEARNING SYSTEM AND PROCESS USING VIRTUAL REALITY
CN106781755A (zh) * 2017-01-18 2017-05-31 广州远大信息发展有限公司 一种基于虚拟现实的教学系统及方法
KR101788248B1 (ko) * 2017-03-02 2017-10-20 주식회사 미래엔 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법
CN106981225A (zh) * 2017-06-06 2017-07-25 广州益升雅思教育信息咨询有限公司 一种基于vr眼镜的教学模拟系统和方法
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN109817041A (zh) * 2019-01-07 2019-05-28 北京汉博信息技术有限公司 多功能教学系统
CN110290211A (zh) * 2019-06-27 2019-09-27 北京大米科技有限公司 多人联机的通信方法、电子设备和可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233296A (ja) * 2002-02-08 2003-08-22 Waseda College Of Medical Arts & Sciences 仮想空間システム及びその制御方法、並びにコンピュータ上で動作する制御プログラム
JP2018206331A (ja) * 2017-06-05 2018-12-27 凸版印刷株式会社 仮想空間提示装置、仮想空間提示方法、及びプログラム
WO2019151323A1 (ja) * 2018-02-05 2019-08-08 株式会社ソニー・インタラクティブエンタテインメント エンタテインメント装置、表示制御方法及び表示制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
河合 隆史: "サイバースペースを用いた院内学級支援システムの評価", 日本バーチャルリアリティ学会論文誌 第７巻 第１号, vol. 第7巻, JPN6020009329, 31 March 2002 (2002-03-31), JP, pages 79 - 86, ISSN: 0004231296 *

Also Published As

Publication number Publication date
JP6739611B1 (ja) 2020-08-12
US20220375358A1 (en) 2022-11-24
WO2021106803A1 (ja) 2021-06-03
CN114402276A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
WO2021106803A1 (ja) 授業システム、視聴端末、情報処理方法及びプログラム
KR100809479B1 (ko) 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US10092838B2 (en) Electronic apparatus for controlling a multi-field-of-view display apparatus, electronic system and control method
US20090237492A1 (en) Enhanced stereoscopic immersive video recording and viewing
KR20140082266A (ko) 혼합현실 콘텐츠 시뮬레이션 시스템
KR101839122B1 (ko) 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템 및 다중 접속 가상공간에서 3d 가상현실 영상을 제공하는 방법
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20220407902A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
CN109478342B (zh) 图像显示装置及图像显示系统
US10803652B2 (en) Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
KR101839118B1 (ko) 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템
JP6727388B1 (ja) 授業システム、視聴端末、情報処理方法およびプログラム
JP2021086145A (ja) 授業システム、視聴端末、情報処理方法およびプログラム
JP2021086606A (ja) 授業システム、視聴端末、情報処理方法及びプログラム
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
JP2021512402A (ja) マルチビューイング仮想現実ユーザインターフェース
WO2019063962A1 (en) GENERATION OF MOTION SIGNALS
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2023233849A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2022255262A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
JP7011746B1 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
Sammartino Integrated Virtual Reality Game Interaction: The Archery Game
US20240114181A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191128

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191128

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R150 Certificate of patent or registration of utility model

Ref document number: 6739611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250