JP2021125834A - 視聴端末、視聴方法、視聴システム及びプログラム - Google Patents

視聴端末、視聴方法、視聴システム及びプログラム Download PDF

Info

Publication number
JP2021125834A
JP2021125834A JP2020019368A JP2020019368A JP2021125834A JP 2021125834 A JP2021125834 A JP 2021125834A JP 2020019368 A JP2020019368 A JP 2020019368A JP 2020019368 A JP2020019368 A JP 2020019368A JP 2021125834 A JP2021125834 A JP 2021125834A
Authority
JP
Japan
Prior art keywords
virtual space
image
viewing
desk
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020019368A
Other languages
English (en)
Other versions
JP6754908B1 (ja
Inventor
量生 川上
Kazuo Kawakami
量生 川上
進之介 岩城
Shinnosuke Iwaki
進之介 岩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Virtual Cast Inc
Original Assignee
Dwango Co Ltd
Virtual Cast Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd, Virtual Cast Inc filed Critical Dwango Co Ltd
Priority to JP2020019368A priority Critical patent/JP6754908B1/ja
Priority to JP2020140003A priority patent/JP2021125209A/ja
Application granted granted Critical
Publication of JP6754908B1 publication Critical patent/JP6754908B1/ja
Priority to US17/791,486 priority patent/US20230043422A1/en
Priority to PCT/JP2021/003944 priority patent/WO2021157616A1/ja
Priority to CN202180009145.6A priority patent/CN115004281A/zh
Publication of JP2021125834A publication Critical patent/JP2021125834A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】ＨＭＤを装着したまま、現実空間の実体物を利用可能にする。
【解決手段】没入感のある仮想空間内で行われる授業を視聴するための生徒用端末３０は、仮想空間情報に基づいて仮想空間を表示するＶＲ機能部３０１と、授業を視聴する生徒の手の届く範囲の現実空間を撮影した映像を入力する入力部３０２を備える。ＶＲ機能部３０１は、映像から仮想空間内の机オブジェクトに対応する机の天板が写っている領域を抽出し、机オブジェクトの天板部分に領域内の映像をはめ込み合成する。
【選択図】図４

Description

本発明は、仮想空間内で行われる授業を視聴する技術に関する。
近年、テレビ・ラジオを用いた通信教育だけでなく、情報通信技術（ＩＣＴ）を利用した通信教育システムが広まっている。
ＩＣＴを利用した通信教育システムの一つとして、没入感のある仮想現実（ＶＲ）技術を用い、例えば生徒がヘッドマウントディスプレイ（ＨＭＤ）を装着し、仮想空間内で授業を行うことが考えられる。没入感のある仮想空間内での授業に参加することにより、外界の情報をシャットダウンでき、テレビやパーソナルコンピュータなどを用いたときに比べて授業に集中できる。
特開２０１２−２０３７８６号公報 特開２０１９−１０１９４５号公報
しかしながら、ＨＭＤなどにより視界を覆った没入感のある仮想空間では、現実空間の机上にある教科書、ノート、およびパソコンなどの実体物はＨＭＤを外さなければ利用することができない。仮想空間内で行われる授業中に、ＨＭＤを着けたり外したりする動作は面倒である。
ＨＭＤを装着したユーザが下方向を向いたことを検知した場合、ＨＭＤの備えるカメラで撮影した映像を仮想空間内に表示する技術が知られている。この技術を用いると、ＨＭＤを外すことなく現実空間の教科書やノートを使うことができる。しかしながら、従来の方法は、仮想空間内に配置されたオブジェクトを考慮せず、仮想空間の下部に現実空間の映像を表示するものであり、せっかくの没入感が阻害されてしまうという問題がある。
特許文献１には、キャラクタを描画した仮想の画像と現実の画像とを合成し、キャラクタに現実の画像に含まれるフィギュアに合わせたリアリティのある動作をさせる技術が開示されている。特許文献１の技術は、現実空間に仮想のキャラクタを合成するものであって、仮想空間内に現実空間の実体物の映像を合成するものではない。
特許文献２には、仮想空間において手書きの文字を入力する技術が開示されている。特許文献２の技術は、現実空間にある操作板（アクリル板）に対応するオブジェクトを仮想空間内に表示する。ユーザが現実空間において指で操作板に文字を書くと、書いた文字が認識されて仮想空間内のオブジェクトに表示される。ユーザは、現実空間の操作板を用いて手書き文字を仮想空間内に入力できるが、現実空間の操作板に書いた文字が残されるものではなく、現実空間でのノートの作成には利用できない。
本発明は、上記に鑑みてなされたものであり、ＨＭＤを装着したまま、現実空間の実体物を利用可能にすることを目的とする。
本発明の一態様の視聴システムは、没入感のある仮想空間内で行われる授業を視聴するための視聴システムであって、前記授業を配信するサーバと前記授業を視聴する視聴端末とを備え、前記サーバは、前記授業を表示するための仮想空間情報を配信する配信部を備え、前記視聴端末は、前記仮想空間情報に基づいて前記仮想空間を表示する表示部と、前記授業を視聴する生徒の手の届く範囲を少なくとも含んだ現実空間を撮影した映像を入力する入力部と、前記表示部は、前記映像から前記生徒の手の届く範囲の領域を抽出し、前記仮想空間内に前記領域内の映像をはめ込み合成することを特徴とする。
本発明によれば、ＨＭＤを装着したまま、現実空間の実体物を利用可能にすることができる。
図１は、本実施形態の授業コンテンツの視聴システムの全体的な構成例を示すブロック図である。 図２は、授業コンテンツの配信元の教室を概念的に示す図である。 図３は、通信授業用サーバの構成例を示す機能ブロック図である。 図４は、生徒用端末の構成例を示す機能ブロック図である。 図５は、仮想空間内の机オブジェクトに現実空間の机上の画像をはめ込む処理の流れを示すフローチャートである。 図６は、映像をはめ込み合成する前の仮想空間の一例を示す図である。 図７は、現実空間の生徒の机の一例を示す図である。 図８は、図６の仮想空間に図７の机を撮影した映像をはめ込み合成した仮想空間の一例を示す図である。
［システム構成］
以下、本発明の一実施形態の授業コンテンツの視聴システムについて図面を用いて説明する。
本実施形態の授業コンテンツの視聴システムは、仮想現実（ＶＲ）を用いた授業コンテンツを配信するシステムである。図１に示す授業コンテンツの視聴システムは、通信授業用サーバ１０および生徒用端末３０を備える。通信授業用サーバ１０と生徒用端末３０は、通信回線２０を介して接続されている。通信回線２０は、インターネット等の任意の通信回線である。
図１では、生徒用端末３０を１台のみ図示しているが、生徒用端末３０の台数は任意である。生徒１人に対して１台の生徒用端末３０を用意する。授業コンテンツが生放送で配信される場合は、多数の生徒用端末３０が通信授業用サーバ１０に同時に接続される。授業コンテンツがオンデマンドで配信される場合は、生徒用端末３０と通信授業用サーバ１０とを一対一で接続してもよい。
生徒用端末３０は、ＶＲ機能を有する端末であれば、スマートフォンおよびパーソナルコンピュータなどの任意のコンピュータ機器を用いることができる。生徒用端末３０には、ＨＭＤ３１およびカメラ３２が接続される。カメラ３２はＨＭＤ３１が備えてもよいし、生徒がいる室内に固定されていてもよい。生徒用端末３０とＨＭＤ３１とカメラ３２が一体となった装置を用いてもよい。
授業コンテンツを視聴する際、生徒はＨＭＤ３１を装着する。生徒用端末３０は、通信授業用サーバ１０から仮想空間を構成するための情報を受信し、受信した情報に基づいて仮想空間を構成し、ＨＭＤ３１に仮想空間を撮影した映像を表示する。生徒用端末３０は、仮想空間をレンダリングする際、カメラ３２で撮影した生徒の机上の画像を仮想空間内の机オブジェクトにはめ込み合成する。
通信授業用サーバ１０には、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５が接続される。スピーカ１５は、ヘッドホン（イヤホン）を含む。通信授業用サーバ１０は、接続された機器から受信した情報を元に、仮想空間内での授業コンテンツを作成する。
図２に示すように、教師４０は、教室ディスプレイ１１の前に立ち、教室ディスプレイ１１および教師用端末１３を用いて授業を行う。教室ディスプレイ１１は、電子黒板と称される大画面ディスプレイである。教師４０は、通信授業用サーバ１０に記憶されている授業用データを教室ディスプレイ１１に表示させて授業を行う。授業用データは、教師用端末１３に表示されてもよい。教師４０の発話に合わせて授業用データが遷移して表示されて授業が進行する。教師４０は、教師用端末１３を操作し、教室ディスプレイ１１に表示する授業用データを選択してもよい。
教室ディスプレイ１１に表示された授業用データは、仮想空間内に配置される黒板オブジェクトにも表示される。教室ディスプレイ１１の代わりに黒板またはホワイトボードを用いてもよい。
中継カメラ１２は、教師４０による授業を撮影する。教師４０を撮影した動画データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、動画データから教師４０の動きおよび姿勢を検出し、仮想空間内に配置される教師アバターに反映させるためのモーションデータを生成する。教師アバターとは、教師４０の動きを反映させるコンピュータグラフィックス（ＣＧ）キャラクタである。例えば、通信授業用サーバ１０は、動画データから教師４０のボーン（骨格）を検出し、検出したボーンに基づいて教師アバターを動かす。通信授業用サーバ１０は、ボーンに基づいて生成した教師アバターのモーションデータを生徒用端末３０へ配信する。教師４０を撮影した動画データから教師アバターのモーションデータを作成する代わりに、教師がＨＭＤを装着し、コントローラを操作して、教師アバターを操作してもよい。
マイクロホン１４は、教師４０の発した音声を収音する。収音された音声データは、通信授業用サーバ１０に送信される。通信授業用サーバ１０は、音声データを生徒用端末３０へ配信する。
スピーカ１５は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師４０に伝える。授業が双方向の場合、スピーカ１５は、生徒用端末３０から送信された音声データを出力してもよい。
なお、授業を撮影した映像であれば、どのような映像を用いて授業コンテンツを作成してもよい。例えば、過去に録画された教育番組の映像から登場人物のボーンを検出し、検出したボーンに基づいて仮想空間内のアバターを動かしてもよい。
［サーバ構成］
図３を参照し、通信授業用サーバ１０の構成について説明する。図３に示す通信授業用サーバ１０は、入出力部１０１、制御部１０２、音声処理部１０３、記憶部１０４、および配信部１０５を備える。
入出力部１０１は、教室ディスプレイ１１、中継カメラ１２、教師用端末１３、マイクロホン１４、およびスピーカ１５と接続し、授業用データを出力したり、動画データ、音声データ、および操作を入力したりする。
制御部１０２は、動画データから教師４０の動きおよび姿勢を検出し、教師アバターのモーションデータを生成する。モーションデータは記憶部１０４に記憶される。制御部１０２は、教室ディスプレイ１１に表示された情報および教師用端末１３から入力された情報を記憶部１０４に記憶する。
音声処理部１０３は、マイクロホン１４で受信した音声等を記憶部１０４に記憶する。
記憶部１０４は、授業が行われる仮想空間を構築するための情報を記憶する。仮想空間を構築するための情報としては、例えば、仮想空間内に配置されるオブジェクトのモデルデータ、オブジェクトの配置情報、アバターのモデルデータとモーションデータがある。仮想空間内に配置されるオブジェクトとしては、例えば、黒板オブジェクト、教室の壁・床・天井のオブジェクト、および生徒の机オブジェクトがある。記憶部１０４は、授業の進行に合わせて録音された音声データ、教室ディスプレイ１１に表示された情報および教師用端末１３から入力された情報を含む授業用データを記憶する。
配信部１０５は、授業が行われる仮想空間を構築するための仮想空間情報を配信する。例えば、配信部１０５は、授業の開始前に、仮想空間内の教室に配置されたオブジェクトおよびアバターのモデルデータを生徒用端末３０へ配信しておく。配信部１０５は、授業が視聴されている間、教師アバターのモーションデータ、音声データ、黒板オブジェクトに描画される情報などの授業の進行に応じて変化するデータを生徒用端末３０へ随時配信する。
［端末構成］
図４を参照し、生徒用端末３０の構成について説明する。図４に示す生徒用端末３０は、ＶＲ機能部３０１、入力部３０２、測定部３０３、調整部３０４、および記憶部３０５を備える。
ＶＲ機能部３０１は、通信授業用サーバ１０から仮想空間を構築するための仮想空間情報を受信して仮想空間を構築する。ＶＲ機能部３０１は、ＨＭＤ３１で検出した生徒の頭の動きに基づいて仮想カメラを制御して、仮想空間をレンダリングする。生徒の見る映像は、仮想空間内の生徒アバターの視点から見える仮想空間である。生徒アバターとは、授業を視聴する生徒の仮想空間内のＣＧキャラクタである。
ＶＲ機能部３０１は、仮想空間をレンダリングする際、カメラ３２で撮影した現実空間の映像を解析し、映像内から机上部分の領域を抽出し、抽出した領域内の映像を仮想空間内の机オブジェクトの天板にはめ込み合成する。これにより、仮想空間内の机オブジェクトに現実空間の机上の映像が融合されて表示される。映像をはめ込み合成した机オブジェクトの天板以外は仮想空間をレンダリングした映像であるので、没入感が損なわれることがない。
生徒アバターつまり生徒が机オブジェクトを見ることで、生徒はＨＭＤ３１を装着したまま、机オブジェクトの天板に投影された現実空間の机上を見ることができる。生徒は、仮想空間内において、現実空間の机上の教科書、ノート、パソコン等を見ることができる。生徒が現実空間のノートに書いた文字等は、机オブジェクトに投影されるので、生徒はＨＭＤ３１を装着したまま現実空間のノートを作成できる。カメラ３２で撮影する現実空間の映像は、生徒の手の届く範囲を少なくとも含む現実空間を撮影した映像である。生徒は、仮想空間に融合された現実空間の映像を見ながら現実空間の実体物を利用できる。なお、机オブジェクト以外の仮想空間内に、映像から抽出した生徒の手の届く範囲の領域をはめ込み合成してもよい。
なお、生徒が机の引き出しを開けたとき、ＶＲ機能部３０１は、映像内から引き出し部分の領域を抽出し、机オブジェクトを引き出しを開けた状態にして、机オブジェクトに引き出し部分の領域をはめ込み合成してもよい。映像をはめ込み合成する机は学習机に限らず、サイドテーブル、サイドワゴン、あるいはサイドチェストなどの家具であってもよい。机オブジェクトは、これらの家具に対応するオブジェクトも含む。
ＶＲ機能部３０１は、仮想空間内の生徒アバターのモーションデータを生成し、通信授業用サーバ１０へ送信してもよい。生徒は、コントローラを操作して生徒アバターのモーションを制御してもよい。
入力部３０２は、カメラ３２で撮影した映像を入力する。入力部３０２は、ＨＭＤ３１で検出した生徒の頭の動きおよびコントローラの操作内容を入力してもよい。入力部３０２にマイクロホンを接続して生徒の音声を入力し、入力した音声データを通信授業用サーバ１０へ送信してもよい。
測定部３０３は、生徒が授業コンテンツを視聴する前に、生徒の利用する机が置かれた現実空間の３次元空間情報を測定し、得られた３次元空間情報に基づいて現実空間の机の天板を検出する。例えば、カメラ３２を動かしながら現実空間の動画を撮影し、単眼カメラを用いたマーカーレスＡＲの技術により、撮影場所の３次元空間情報を測定できる。測定部３０３は、例えば、得られた３次元空間情報に基づき、所定の範囲内の高さにあり、所定の広さを持った平面を机の天板として検出する。
測定部３０３が天板の候補となる平面をいくつか生徒に提示し、生徒が天板を示す平面を選択してもよい。具体的には、例えば、カメラ３２を備えたＨＭＤ３１を生徒が装着し、カメラ３２で撮影した映像をＨＭＤ３１に表示する。生徒は、カメラ３２のフレーム内に机の天板が収まるように頭（カメラ３２）を動かす。測定部３０３は、映像から３次元空間情報を測定して平面を検出する。測定部３０３は、平面を検出できたときは、カメラ３２の撮影した映像に検出できた平面を示す枠を重ねて表示する。生徒は、平面を示す枠が机の天板と一致したときに、コントローラを操作するなどの決定操作を行う。
調整部３０４は、現実空間でのＨＭＤ３１と机の天板との位置関係に基づき、仮想空間内の机オブジェクトの天板の位置を調整する。ＨＭＤ３１の位置が生徒アバターの頭部に相当する。調整部３０４は、机オブジェクトの天板の大きさを現実空間の机の天板の大きさに調整してもよい。調整部３０４が机オブジェクトの位置や大きさを現実空間の机に合わせて調製することで、生徒が生徒アバターで机オブジェクトの天板に触れると、現実空間においても机の天板に触れることができる。生徒アバターのサイズは生徒に合わせて調整しておく。仮想空間内に現実空間で触れることができるオブジェクトが表示される。
記憶部３０５は、ＶＲ機能部３０１が仮想空間をレンダリングするのに必要な情報、測定部３０３が測定した３次元空間情報、および調整部３０４が調整した調整後の机オブジェクトの情報を保持する。記憶部３０５は、カメラ３２で撮影された映像など入力部３０２が入力した情報を保存してもよい。
なお、授業コンテンツを視聴するための生徒用の専用ブースを用意する場合、生徒の利用する机が写るようにカメラ３２を固定して配置してもよい。机には決められた大きさのものを用い、決められた位置に配置する。これにより、カメラ３２および机の位置は固定されるので、測定部３０３による天板の検出が不要である。机の大きさも決められているので、調整部３０４による机オブジェクトの調整も不要である。また、生徒の自室において、カメラ３２を固定して配置してもよい。自室の机に応じて机オブジェクトを一度調整しておけば、２度目から調整が不要である。
通信授業用サーバ１０および生徒用端末３０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ１０および生徒用端末３０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
通信授業用サーバ１０が仮想空間をレンダリングしてもよい。例えば、生徒用端末３０は、ＨＭＤ３１で検出した生徒の頭の動きを通信授業用サーバ１０へ送信する。通信授業用サーバ１０は、生徒の頭の動きに基づいて仮想カメラを制御し、仮想空間をレンダリングする。生徒用端末３０はレンダリング後の映像を受信して表示する。
［はめ込み合成処理］
図５を参照し、はめ込み合成を行う処理の流れについて説明する。
ステップＳ１１にて、測定部３０３は、現実空間の机の位置および大きさを検出する。
ステップＳ１２にて、調整部３０４は、現実空間の机の位置および大きさに基づいて仮想空間内の机オブジェクトの位置および大きさを調整する。例えば、ＨＭＤ３１から机の天板までの距離を基準として生徒アバターの視点位置から机オブジェクトの天板までの距離を調整し、さらに、机オブジェクトの天板の大きさを調整する。
調整で３０４による机オブジェクトの調整後、生徒は、ＨＭＤ３１を装着して仮想空間内に机オブジェクトを表示させ、手を動かして、仮想空間内での机オブジェクトの位置および大きさが現実空間の机の位置および大きさに対応しているか否か確認し、机オブジェクトの位置および大きさを微調整してもよい。
以上のステップＳ１１およびステップＳ１２の処理により、仮想空間の机オブジェクトを現実空間の机に対応させることができる。
ステップＳ１３にて、カメラ３２で撮影した映像から机上の領域を抽出し、抽出した領域内の映像を仮想空間内の机オブジェクトの天板にはめ込み合成する。これにより、生徒は、ＨＭＤ３１を装着したまま仮想空間内で現実空間の机上を見ることができる。
生徒が、現実空間において机上のノートに記入する場合、机上を撮影した映像には生徒の手や腕が映る。この場合、生徒アバターの手および腕を非表示にしたり、透明にしたりしてもよい。
ＶＲ機能部３０１は、オブジェクトをレンダリングする際、現実空間の実体物と対応が取れている部分を強調表示してもよい。例えば、現実空間の実体物と対応がとれている机の天板について、ＶＲ機能部３０１は、机オブジェクトの天板の端を枠で囲って強調表示する。これにより、生徒は、仮想空間で枠で囲われた部分は現実空間において実体物が存在することを認識できる。
生徒の頭部が揺動した場合でも、現実空間の映像がオブジェクトに対して揺れずに合成されるようにする。
現実空間の映像をはめ込み合成する機能をオン／オフできてもよいし、現実空間の映像に透明度を設定してはめ込み合成してもよい。現実空間の映像をはめ込み合成しない場合でも、仮想空間内の机オブジェクトの位置および大きさは、現実空間の机に対応させておく。
［はめ込み合成例］
図６ないし８を参照し、机オブジェクトに映像をはめ込む合成例について説明する。
図６は、映像をはめ込み合成する前の仮想空間の一例を示す図である。同図では、教師アバター４００、机オブジェクト５００、および黒板オブジェクト６００を図示している。床・天井・壁など図示したもの以外のオブジェクトを仮想空間内に配置してもよい。
複数の生徒で授業を受ける場合あるいは複数の生徒で授業を受けているように演出する場合は、他の生徒のアバターおよび机オブジェクトを配置してもよい。他の生徒の机オブジェクトは、机上を撮影した映像をはめ込み合成した机オブジェクトでもよいし、映像をはめ込み合成しない机オブジェクトでもよい。
教師アバター４００は、教師４０の動きを反映して授業を進行するＣＧキャラクタである。生徒用端末３０は、通信授業用サーバ１０から受信したモーションデータに基づき、教師アバター４００を制御する。
図６に示す机オブジェクト５００は、現実空間の机の位置および大きさに対応するように調整していない。机オブジェクト５００の手前に生徒アバター（図示せず）が存在する。机オブジェクト５００の天板５００Ａに映像をはめ込み合成する。
黒板オブジェクト６００は、教師４０が授業の進行に応じて用いるオブジェクトである。教室ディスプレイ１１に表示された情報を表示したり、教師用端末１３から入力した情報を表示したりする。
図７は、現実空間の生徒の机の一例を示す図である。机７００は、授業を視聴する生徒の手の届く範囲にある机である。生徒用端末３０は、生徒が授業コンテンツを視聴中、カメラ３２で机７００を撮影した映像から机７００の天板７００Ａの領域を抽出する。
図８は、図６の仮想空間に図７の机を撮影した映像をはめ込み合成した仮想空間の一例を示す図である。図８では、図７の天板７００Ａの領域内の映像を仮想空間内の机オブジェクト５００の天板５００Ａにはめ込み合成している。また、天板５００Ａの位置を少し高くし、天板５００Ａの大きさを現実空間の天板７００Ａに合わせて調整している。現実空間の机７００に置かれたパソコンやノートも仮想空間内の机オブジェクトに投影されている。現実空間の映像をはめ込み合成した天板５００Ａを囲う枠を表示してもよい。
なお、机オブジェクトに現実空間の映像をはめ込み合成するだけでなく、例えば、現実空間のパソコンのモニタの画面を仮想空間内のオブジェクトに投影してもよい。具体的には、パソコンのキーボードやマウスは机上に置いて操作できるようにする。パソコンのモニタをカメラで撮影する。仮想空間内にパソコンのモニタに対応するモニタオブジェクトを配置する。現実空間のモニタを撮影した映像からモニタの表示領域を抽出して仮想空間内のモニタオブジェクトにはめ込み合成する。生徒は、現実空間のパソコンを操作しながら、仮想空間内でモニタオブジェクトに写る表示を確認できる。モニタオブジェクトは生徒が触れるものではないので、仮想空間内での位置や大きさは任意に設定してもよい。
また、生徒の自室を３６０度の映像が撮影可能な全天球カメラで撮影し、仮想空間の教室の壁・床・天井に撮影した映像をはめ込み合成してもよい。
以上説明したように、本実施形態の授業コンテンツの視聴システムは、仮想空間内で行われる授業を配信する通信授業用サーバ１０と授業を視聴するための生徒用端末３０を備える。通信授業用サーバ１０は、仮想空間内で行われる授業を表示するための仮想空間情報を配信する配信部１０５を備える。生徒用端末３０は、仮想空間情報に基づいて仮想空間を表示するＶＲ機能部３０１と、授業を視聴する生徒の手の届く範囲の現実空間を撮影した映像を入力する入力部３０２と、を備える。ＶＲ機能部３０１は、映像から机７００の天板７００Ａが写っている領域を抽出し、机オブジェクト５００の天板５００Ａに領域内の映像をはめ込み合成する。これにより、生徒は、ＨＭＤ３１を外すことなく、生徒の使用する机上を見ることができ、さらに、机上の教科書、ノート、パソコンなどを利用することもできる。
１０…通信授業用サーバ
１０１…入出力部
１０２…制御部
１０３…音声処理部
１０４…記憶部
１０５…配信部
１１…教室ディスプレイ
１２…中継カメラ
１３…教師用端末
１４…マイクロホン
１５…スピーカ
２０…通信回線
３０…生徒用端末
３０１…ＶＲ機能部
３０２…入力部
３０３…測定部
３０４…調整部
３０５…記憶部
３１…ＨＭＤ
３２…カメラ
本発明の一態様の視聴システムは、没入感のある仮想空間内で行われる授業を視聴するための視聴システムであって、前記授業を配信するサーバと前記授業を視聴する視聴端末とを備え、前記サーバは、前記授業を表示するための仮想空間情報を配信する配信部を備え、前記視聴端末は、前記仮想空間情報に基づいて前記仮想空間を表示する表示部と、前記授業を視聴する生徒の机を少なくとも含んだ現実空間を撮影した映像を入力する入力部と、を備え、前記表示部は、前記映像から生徒の机の天板を撮影した領域を抽出し、前記仮想空間内の机オブジェクトの天板に前記生徒の机の天板を撮影した領域内の映像をはめ込み合成することを特徴とする。

Claims (7)

  1. 没入感のある仮想空間内で行われる授業を視聴するための視聴端末であって、
    仮想空間情報に基づいて前記仮想空間を表示する表示部と、
    前記授業を視聴する生徒の手の届く範囲を少なくとも含んだ現実空間を撮影した映像を入力する入力部と、を備え、
    前記表示部は、前記映像から前記生徒の手の届く範囲の領域を抽出し、前記仮想空間内に前記領域内の映像をはめ込み合成する
    ことを特徴とする視聴端末。
  2. 請求項１に記載の視聴端末であって、
    前記表示部は、前記映像から生徒の机を撮影した領域を抽出し、前記仮想空間内の机オブジェクトに前記領域内の映像をはめ込み合成する
    ことを特徴とする視聴端末。
  3. 請求項２に記載の視聴端末であって、
    前記机オブジェクトに対応する現実空間内の実体物の位置および大きさを測定する測定部と、
    前記測定部の測定結果に基づいて前記机オブジェクトの位置および大きさを調整する調整部と、を備える
    ことを特徴とする視聴端末。
  4. 請求項１ないし３のいずれかに記載の視聴端末であって、
    前記表示部は、カメラを備えるヘッドマウントディスプレイであり、
    前記入力部は、前記カメラが撮影した映像を入力する
    ことを特徴とする視聴端末。
  5. 没入感のある仮想空間内で行われる授業を視聴するための視聴端末による視聴方法であって、
    仮想空間情報に基づいて前記仮想空間を表示するステップと、
    前記授業を視聴する生徒の手の届く範囲を少なくとも含んだ現実空間を撮影した映像を入力するステップと、を有し、
    前記表示するステップでは、前記映像から前記生徒の手の届く範囲の領域を抽出し、前記仮想空間内に前記領域内の映像をはめ込み合成する
    ことを特徴とする視聴方法。
  6. 没入感のある仮想空間内で行われる授業を視聴するための視聴システムであって、
    前記授業を配信するサーバと前記授業を視聴する視聴端末とを備え、
    前記サーバは、
    前記授業を表示するための仮想空間情報を配信する配信部を備え、
    前記視聴端末は、
    前記仮想空間情報に基づいて前記仮想空間を表示する表示部と、
    前記授業を視聴する生徒の手の届く範囲を少なくとも含んだ現実空間を撮影した映像を入力する入力部と、を備え、
    前記表示部は、前記映像から前記生徒の手の届く範囲の領域を抽出し、前記仮想空間内に前記領域内の映像をはめ込み合成する
    ことを特徴とする視聴システム。
  7. コンピュータを、没入感のある仮想空間内で行われる授業を視聴するための視聴端末として動作させるプログラムであって、
    仮想空間情報に基づいて前記仮想空間を表示する処理と、
    前記授業を視聴する生徒の手の届く範囲を少なくとも含んだ現実空間を撮影した映像を入力する処理と、を前記コンピュータに実行させ、
    前記表示する処理では、前記映像から前記生徒の手の届く範囲の領域を抽出し、前記仮想空間内に前記領域内の映像をはめ込み合成する処理
    を前記コンピュータに実行させるプログラム。
JP2020019368A 2020-02-07 2020-02-07 視聴端末、視聴方法、視聴システム及びプログラム Active JP6754908B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020019368A JP6754908B1 (ja) 2020-02-07 2020-02-07 視聴端末、視聴方法、視聴システム及びプログラム
JP2020140003A JP2021125209A (ja) 2020-02-07 2020-08-21 視聴端末、視聴方法、視聴システム及びプログラム
US17/791,486 US20230043422A1 (en) 2020-02-07 2021-02-03 Viewing terminal, viewing method, viewing system, and program
PCT/JP2021/003944 WO2021157616A1 (ja) 2020-02-07 2021-02-03 視聴端末、視聴方法、視聴システム及びプログラム
CN202180009145.6A CN115004281A (zh) 2020-02-07 2021-02-03 视听终端、视听方法、视听系统以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020019368A JP6754908B1 (ja) 2020-02-07 2020-02-07 視聴端末、視聴方法、視聴システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020140003A Division JP2021125209A (ja) 2020-02-07 2020-08-21 視聴端末、視聴方法、視聴システム及びプログラム

Publications (2)

Publication Number Publication Date
JP6754908B1 JP6754908B1 (ja) 2020-09-16
JP2021125834A true JP2021125834A (ja) 2021-08-30

Family

ID=72432322

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020019368A Active JP6754908B1 (ja) 2020-02-07 2020-02-07 視聴端末、視聴方法、視聴システム及びプログラム
JP2020140003A Pending JP2021125209A (ja) 2020-02-07 2020-08-21 視聴端末、視聴方法、視聴システム及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020140003A Pending JP2021125209A (ja) 2020-02-07 2020-08-21 視聴端末、視聴方法、視聴システム及びプログラム

Country Status (4)

Country Link
US (1) US20230043422A1 (ja)
JP (2) JP6754908B1 (ja)
CN (1) CN115004281A (ja)
WO (1) WO2021157616A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023096339A1 (ko) * 2021-11-29 2023-06-01 삼성전자 주식회사 외부 디스플레이 장치와 연동하여 컨텐츠를 제공하는 전자 장치 및 그 컨텐츠 제공 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP2004061783A (ja) * 2002-07-29 2004-02-26 Fujitsu Ltd 語学教育装置
JP2005128877A (ja) * 2003-10-24 2005-05-19 Canon Inc 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム
WO2014119098A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
CN106781755A (zh) * 2017-01-18 2017-05-31 广州远大信息发展有限公司 一种基于虚拟现实的教学系统及方法
KR101788248B1 (ko) * 2017-03-02 2017-10-20 주식회사 미래엔 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN108319373A (zh) * 2018-04-13 2018-07-24 北京理工大学 一种用于虚拟现实的虚实融合食物摄入系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023096339A1 (ko) * 2021-11-29 2023-06-01 삼성전자 주식회사 외부 디스플레이 장치와 연동하여 컨텐츠를 제공하는 전자 장치 및 그 컨텐츠 제공 방법

Also Published As

Publication number Publication date
US20230043422A1 (en) 2023-02-09
CN115004281A (zh) 2022-09-02
WO2021157616A1 (ja) 2021-08-12
JP2021125209A (ja) 2021-08-30
JP6754908B1 (ja) 2020-09-16

Similar Documents

Publication Publication Date Title
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20070035511A1 (en) Compact haptic and augmented virtual reality system
TWI647593B (zh) 模擬環境顯示系統及方法
US20220375358A1 (en) Class system, viewing terminal, information processing method, and program
CN112616048B (zh) Ar眼镜及其显示方法和系统、图像处理方法及设备
WO2021157616A1 (ja) 視聴端末、視聴方法、視聴システム及びプログラム
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP2021105879A (ja) プログラム、情報処理装置及び方法
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP7161200B2 (ja) カラオケ演出システム
WO2020188721A1 (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP2021086606A (ja) 授業システム、視聴端末、情報処理方法及びプログラム
JP2021005052A (ja) 授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラム
JP2021009348A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP7011746B1 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
JP7047168B1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
US11907434B2 (en) Information processing apparatus, information processing system, and information processing method
JP7072706B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
KR102622709B1 (ko) 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치
WO2021261587A1 (ja) エンターテインメントシステム、処理方法及び情報記憶媒体
Schäfer Improving Essential Interactions for Immersive Virtual Environments with Novel Hand Gesture Authoring Tools
JP2020167654A (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200207

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6754908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250