JP2022132896A - 仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム - Google Patents

仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム Download PDF

Info

Publication number
JP2022132896A
JP2022132896A JP2021031616A JP2021031616A JP2022132896A JP 2022132896 A JP2022132896 A JP 2022132896A JP 2021031616 A JP2021031616 A JP 2021031616A JP 2021031616 A JP2021031616 A JP 2021031616A JP 2022132896 A JP2022132896 A JP 2022132896A
Authority
JP
Japan
Prior art keywords
user
space
virtual
avatar
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021031616A
Other languages
English (en)
Inventor
美奈 舩造
Mina Funatsukuri
生聖 渡部
Seisho Watabe
達朗 堀
Tatsuro Hori
航 加来
Ko Kako
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021031616A priority Critical patent/JP2022132896A/ja
Priority to US17/679,617 priority patent/US20220277528A1/en
Priority to CN202210183449.0A priority patent/CN115061563A/zh
Priority to EP22159485.6A priority patent/EP4054181A1/en
Publication of JP2022132896A publication Critical patent/JP2022132896A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】複数のユーザーで仮想空間を共有した仮想画像を相互方向に出力可能な仮想空間共有システムを実現する。【解決手段】本開示の一形態に係る仮想空間共有システム（１）は、複数の空間（Ｓ）における各々の空間（Ｓ）に存在するユーザーの動作を取得する動作取得部（２）と、各々のユーザーに対応するアバターが当該ユーザーの動作に基づいて複数の空間（Ｓ）で共有する仮想空間内で動作する仮想画像を生成する画像生成部（９）と、他のユーザーのアバターが仮想空間内で動作する仮想画像を各々の空間（Ｓ）に配置された表示部（１５）に出力する出力部（１０）と、を備える。【選択図】図１

Description

本開示は、仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラムに関する。
近年、ユーザーに対応するアバターを仮想空間で動作させる技術が動画配信などで実用化されている。このような動画配信システムは、例えば、特許文献１に開示されているように、ユーザーに対応するアバターが仮想空間で動作する仮想画像を複数の視聴ユーザーに同時配信している。
特開２０１９－２０４２４４号公報
本出願人は、以下の課題を見出した。特許文献１の動画配信システムは、仮想画像を視聴ユーザーに配信する一方向配信である。そのため、特許文献１の動画配信システムは、複数のユーザーで仮想空間を共有した仮想画像を相互方向に配信（出力）することができる構成とされていない。
本開示は、複数のユーザーで仮想空間を共有した仮想画像を相互方向に出力可能な、仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラムを実現する。
本開示の一態様に係る仮想空間共有システムは、
複数の空間における各々の空間に存在するユーザーの動作を取得する動作取得部と、
各々の前記ユーザーに対応するアバターが当該ユーザーの動作に基づいて前記複数の空間で共有する仮想空間内で動作する仮想画像を生成する画像生成部と、
他のユーザーのアバターが前記仮想空間内で動作する仮想画像を前記各々の空間に配置された表示部に出力する出力部と、
を備える。
上述の仮想空間共有システムは、外部から入力された空間要求に基づいて、前記仮想空間を設定する空間設定部を備え、
前記仮想空間に応じて当該仮想空間内で他のユーザーのアバターが配置される初期位置が定められていることが好ましい。
上述の仮想空間共有システムは、外部から入力されたアバターの配置要求に基づいて、前記仮想空間内で定められた前記初期位置毎に各々の他のユーザーのアバターの配置を設定する配置設定部を備えることが好ましい。
上述の仮想空間共有システムは、
前記ユーザーの視線方向を取得する視線取得部と、
前記ユーザーの視線方向に基づいて、前記ユーザーが前記仮想画像内で注目する箇所を取得する注目箇所取得部と、
を備え、
前記画像生成部は、前記ユーザーが前記仮想画像内で注目する箇所に基づいて、前記仮想画像を生成することが好ましい。
上述の仮想空間共有システムは、前記ユーザーの音声を取得する音声取得部を備え、
前記仮想空間がプレゼンテーション空間の場合、前記画像生成部は、前記プレゼンテーション空間内に組み込まれた資料を用いてプレゼンテーションを行うユーザーのアバターと前記資料とが、他のユーザーのアバターに干渉せず、且つ、前記他のユーザーのアバターに対して大きく表示されるように、前記仮想画像を生成することが好ましい。
上述の仮想空間共有システムは、前記ユーザーの音声を取得する音声取得部を備え、
前記仮想空間がミーティング空間の場合、前記画像生成部は、他のユーザーのアバターが前記ミーティング空間内で横並びに配置されるように、前記仮想画像を生成することが好ましい。
上述の仮想空間共有システムは、
前記ユーザーの視線方向を取得する視線取得部と、
前記ユーザーの視線方向に基づいて、前記ユーザーが前記仮想画像内で注目する箇所を取得する注目箇所取得部と、
を備え、
前記画像生成部は、前記ユーザーが前記仮想画像内で注目する箇所に基づいて、会話している他のユーザーのアバター同士が前記ミーティング空間内で向かい合って会話しているように、前記仮想画像を生成することが好ましい。
上述の仮想空間共有システムにおいて、前記画像生成部は、前記仮想空間における前記ユーザーのアバターの視野方向での予め設定された視野範囲で前記仮想画像を生成することが好ましい。
本開示の一態様に係る仮想空間共有方法は、
複数の空間における各々の空間に存在するユーザーの動作を時系列に取得する工程と、
各々の前記ユーザーに対応するアバターが当該ユーザーの時系列の動作に基づいて前記複数の空間で共有する仮想空間内で動作する仮想画像を生成する工程と、
前記仮想空間内で他のユーザーのアバターが動作する仮想画像を各々の前記空間に配置された表示部に出力する工程と、
を備える。
本開示の一態様に係る仮想空間共有プログラムは、
複数の空間における各々の空間に存在するユーザーの動作を時系列に取得する処理と、
各々の前記ユーザーに対応するアバターが当該ユーザーの時系列の動作に基づいて前記複数の空間で共有する仮想空間内で動作する仮想画像を生成する処理と、
前記仮想空間で他のユーザーのアバターが動作する仮想画像を各々の前記空間に配置された表示部に出力する処理と、
をコンピュータに実行させる。
本開示によれば、複数のユーザーで仮想空間を共有した仮想画像を相互方向に出力可能な、仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラムを実現することができる。
実施の形態１の仮想空間共有システム及び周辺構成を示すブロック図である。 実施の形態１の仮想空間共有システムを用いてミーティングを行う際の第１の空間の様子を示す図である。 実施の形態１の仮想空間共有システムを用いてミーティングを行う際の第２の空間の様子を示す図である。 実施の形態１の仮想空間共有システムを用いてミーティングを行う際の第３の空間の様子を示す図である。 実施の形態１の仮想空間共有システムを用いてミーティングを行う際の第４の空間の様子を図である。 実施の形態２の仮想空間共有システムを用いてミーティングを行う際の第１の空間の様子を示す図である。 実施の形態２の仮想空間共有システムを用いてミーティングを行う際の第２の空間の様子を示す図である。 実施の形態３の仮想空間共有システムを用いてプレゼンテーションを行う際のプレゼンテーションを行うユーザーが存在する空間の様子を示す図である。 実施の形態３の仮想空間共有システムを用いてプレゼンテーションを聞くユーザーが存在する空間の様子を示す図である。 プレゼンテーション中に仮想空間をミーティング空間に変更した際の空間の様子を示す図である。 実施の形態４の仮想空間共有システムを用いてダンスレッスンを行う際の先生が存在する空間の様子を示す図である。 実施の形態４の仮想空間共有システムを用いてダンスレッスンを行う際の生徒が存在する空間の様子を示す図である。 第１のユーザーが第２のユーザーに近寄って話し掛けた場合の当該第１のユーザーが存在する空間の様子を示す図である。 第１のユーザーが第２のユーザーに近寄って話し掛けた場合の第３のユーザーが存在する空間の様子を示す図である。 話し掛けてきた第１のユーザーに第２のユーザーが近寄って話し掛けた場合の第１のユーザーが存在する空間の様子を示す図である。 話し掛けてきた第１のユーザーに第２のユーザーが近寄って話し掛けた場合の第３のユーザーが存在する空間の様子を示す図である。 仮想空間共有システムに含まれるハードウェア構成の一例を示す図である。
以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
＜実施の形態１＞
先ず、本実施の形態の仮想空間共有システムの構成を説明する。本実施の形態の仮想空間共有システムは、複数の空間における各々の空間に存在するユーザーが当該ユーザーに対応するアバターを用いて共通する仮想空間内でコミュニケーションを行う際に好適である。ここで、空間は、家の居室、オフィス、又はスタジオなどの仮想空間共有システムを用いて他のユーザーとコミュニケーションを行うユーザーが存在する空間であればよい。
図１は、本実施の形態の仮想空間共有システム及び周辺構成を示すブロック図である。仮想空間共有システム１は、図１に示すように、動作取得部２、視線取得部３、音声取得部４、空間設定部５、アバター設定部６、配置設定部７、注目箇所取得部８、画像生成部９、出力部１０及びデータベース部１１を備えている。
そして、仮想空間共有システム１は、複数の空間Ｓにおける各々の空間Ｓに配置されたモーションキャプチャ装置１２、アイトラッキング装置１３、マイク１４、表示部１５及びスピーカー１６とネットワーク１７を介して接続されている。また、仮想空間共有システム１は、各々の空間に存在するユーザーが所有する携帯端末などの入力装置１８とネットワーク１７を介して接続されている。
動作取得部２は、複数の空間Ｓにおける各々の空間Ｓに存在するユーザーの動作を取得する。例えば、動作取得部２は、各々の空間Ｓに配置されたモーションキャプチャ装置１２からユーザーの動作を取得する。
詳細には、モーションキャプチャ装置１２は、各々の空間Ｓでユーザーの動作を検出可能に空間Ｓ毎に配置されており、ｋｉｎｅｃｔなどのＲＧＢＤカメラを備えている。そして、モーションキャプチャ装置１２は、ユーザーの動作として当該ユーザーの骨格座標を時系列に検出し、検出したユーザーの時系列な骨格座標を示す情報を、ネットワーク１７を介して動作取得部２に出力する。
これにより、動作取得部２は、各々の空間Ｓのモーションキャプチャ装置１２から入力される当該情報が示すユーザーの時系列な骨格座標に基づいて、ユーザーの時系列な姿勢変化、ユーザーの顔の向き及び当該ユーザーの位置などを取得することができる。ここで、ユーザーの骨格座標は、例えば、空間Ｓ内のワールド座標で取得することができる。
但し、動作取得部２は、各々の空間Ｓに配置されるモーションキャプチャ装置で構成してもよい。つまり、動作取得部２は、動作取得部２自身がユーザーの動作を取得してもよく、外部のモーションキャプチャ装置からユーザーの動作を取得してもよい。要するに、動作取得部２は、ユーザーの動作を取得することができれば手段は限定されない。
視線取得部３は、各々の空間Ｓに存在するユーザーの視線方向を取得する。例えば、視線取得部３は、各々の空間Ｓに配置されたアイトラッキング装置１３からユーザーの視線方向を取得する。
詳細には、アイトラッキング装置１３は、各々の空間Ｓでユーザーの視線方向を検出可能に当該空間Ｓに配置されている。そして、アイトラッキング装置１３は、例えば、赤外線光源及び赤外線カメラを備えており、瞳孔中央とプリキニエ像との位置関係に基づいてユーザーの視線方向を時系列に検出する。
アイトラッキング装置１３は、検出したユーザーの時系列な視線方向を示す情報を、ネットワーク１７を介して視線取得部３に出力する。これにより、視線取得部３は、ユーザーの視線方向を取得することができる。ここで、ユーザーの視線方向は、例えば、空間Ｓ内のワールド座標で取得することができる。
但し、視線取得部３は、各々の空間Ｓに配置されるアイトラッキング装置で構成してもよい。つまり、視線取得部３は、視線取得部３自身がユーザーの視線方向を取得してもよく、外部のアイトラッキング装置からユーザーの視線方向を取得してもよい。また、モーションキャプチャ装置１２によってユーザーの視線方向を検出することができる場合、アイトラッキング装置１３をモーションキャプチャ装置１２で構成してもよい。要するに、視線取得部３は、ユーザーの視線方向を取得することができれば手段は限定されない。
音声取得部４は、各々の空間Ｓに存在するユーザーの音声を取得する。例えば、音声取得部４は、各々の空間Ｓに配置されたマイク１４からユーザーの音声を取得する。詳細には、マイク１４は、各々の空間Ｓでユーザーの音声を検出可能に当該空間に配置されており、検出したユーザーの音声を示す情報を、ネットワーク１７を介して音声取得部４に出力する。
これにより、音声取得部４は、ユーザーの音声を取得することができる。ここで、音声取得部４は、マイク１４が検出したユーザーの音声に基づいて、当該音声の指向を取得するとよい。
但し、音声取得部４は、各々の空間Ｓに配置されるマイクで構成してもよい。つまり、音声取得部４は、音声取得部４自身がユーザーの音声を取得してもよく、外部のマイクからユーザーの音声を取得してもよい。要するに、音声取得部４は、ユーザーの音声を取得することができれば手段は限定されない。
空間設定部５は、外部から入力された空間要求に基づいて、複数の空間Ｓで共有する仮想空間を設定する。仮想空間としては、例えば、ミーティング空間、プレゼンテーション空間、又はオフィス空間などが用意されているとよい。仮想空間は、二次元又は三次元の何れでもよく、仮想空間内での座標を有する。
空間設定部５は、例えば、複数の仮想空間候補の選択を促す選択画像を、ユーザーが所有する入力装置１８の表示部に表示させる。そして、少なくとも一人のユーザーが自身の入力装置１８の表示部に表示される仮想空間候補を選択することで、空間要求を示す情報を空間設定部５に入力する。空間設定部５は、入力された当該情報が示す空間要求に基づいて、仮想空間を設定する。
但し、ユーザーが空間要求を入力する手段は限定されず、空間設定部５にユーザーが入力した空間要求を示す情報が入力されればよい。また、空間設定部５に外部から空間要求を示す情報が入力されればよく、例えば、ユーザーに限らずに他人が入力装置を介して空間要求を入力してもよい。さらに、仮想空間が予め一種類に限定されている場合は、空間設定部５を省略してもよい。
アバター設定部６は、外部から入力されたアバター設定要求に基づいて、仮想空間内に出現させる、ユーザーに対応するアバターを設定する。アバターは、詳細は後述するが、動作取得部２が取得したユーザーの動作に対応するように仮想空間内で動作する。
アバターとしては、例えば、ＣＧ（Computer Graphics）キャラクター、動作取得部２が取得又は予め取得したユーザーの顔画像を顔部分に嵌め込んだＣＧキャラクター、動作取得部２が取得したユーザーの画像に対して服などを着せ替えた着せ替えキャラクターなどが用意されているとよい。このとき、アバターは、二次元又は三次元の何れでもよく、仮想空間内での座標を有する。但し、アバターは、ユーザーに対応して仮想空間で動作するものであればよく、上述の限りではない。
アバター設定部６は、例えば、詳細は後述するが、複数のキャラクター候補の選択や選択したキャラクターの詳細設定を促す画像を、ユーザーが所有する入力装置１８の表示部に表示させる。そして、ユーザーが自身の入力装置１８の表示部に表示されるキャラクター候補などを選択することで、アバター設定要求を示す情報をアバター設定部６に入力する。
アバター設定部６は、入力された当該情報が示すアバター設定要求に基づいて、ユーザーに対応するアバターを設定する。但し、ユーザーがアバター設定要求を入力する手段は限定されず、アバター設定部６にユーザーが入力したアバター設定要求を示す情報が入力されればよい。
また、アバター設定部６に外部からアバター設定要求を示す情報が入力されればよく、例えば、ユーザーに限らずに他人が入力装置を介してアバター設定要求を入力してもよい。さらに、ユーザーに対応するアバターが予め割り振られている場合は、アバター設定部６を省略することができる。
配置設定部７は、外部から入力されたアバターの配置要求に基づいて、後述するように画像生成部９で生成される仮想空間内でのアバターの初期位置を設定する。ここで、詳細は後述するが、仮想空間に応じて当該仮想空間内で他のユーザーのアバターが配置される初期位置が予め定められている。
配置設定部７は、例えば、ユーザーが所有する入力装置１８の表示部に配置位置候補の選択を促す選択画像を表示させる。そして、ユーザーが自身の入力装置１８の表示部に表示される配置位置候補を他のユーザーのアバター毎に選択することで、配置要求を示す情報を配置設定部７に入力する。
配置設定部７は、入力された当該情報が示す配置要求に基づいて、仮想空間内での他のユーザーのアバター毎の初期位置を設定する。但し、ユーザーが他のユーザーのアバターの配置要求を入力する手段は限定されず、配置設定部７にユーザーが入力した他のユーザーのアバター毎の配置要求を示す情報が入力されればよい。
また、配置設定部７に外部からアバター設定要求を示す情報が入力されればよく、例えば、ユーザーに限らずに他人が入力装置を介してアバター設定要求を入力してもよい。さらに、コミュニケーションを行う他のユーザーが予め一人の場合や、他のユーザーのアバターの初期位置が予め設定されている場合は、配置設定部７を省略してもよい。
注目箇所取得部８は、視線取得部３が取得した情報が示すユーザーの視線方向に基づいて、ユーザーが存在する空間Ｓに配置された表示部１５から画面１９（図２を参照）に投影された仮想画像内で当該ユーザーが注目する箇所を取得する。
詳細には、表示部１５は、ディスプレイやプロジェクターなどの画像を投影可能な装置である。例えば、表示部１５がプロジェクターであって、画像生成部９で生成された仮想画像を空間Ｓの壁面に投影する場合、空間Ｓの壁面が画面１９として構成される。
このとき、画面１９に投影された状態での仮想画像内の座標と、画像生成部９で生成された状態での仮想画像内の座標と、が対応付けられている。ここで、画面１９で投影された状態での仮想画像内の座標は、例えば、表示部１５と画面１９との位置関係に基づいて、空間Ｓ内のワールド座標で取得することができる。
画像生成部９で生成された状態での仮想画像内の座標は、画素毎に設定されている。これにより、表示部１５と画面１９との位置関係に基づけば、各画素に対応する画面１９での領域を取得することができる。また、ユーザーの骨格座標に基づけば、空間Ｓでのユーザーの座標（例えば、空間Ｓでのユーザーの立ち位置、ユーザーの目の位置など）を取得することができる。
そのため、注目箇所取得部８は、ユーザーの座標、ユーザーの視線方向及び各画素に対応する画面１９での領域に基づいて、仮想画像内でユーザーが注目する箇所を取得することができる。このとき、注目箇所取得部８は、さらにユーザーの顔の向きを参照すると、仮想画像内でユーザーが注目する箇所を精度良く取得することができる。
画像生成部９は、各々のユーザーのアバターが当該ユーザーの動作に基づいて仮想空間内で動作する仮想画像を生成する。このとき、詳細は後述するが、画像生成部９は、設定されている仮想空間、アバター並びに仮想空間内での他のユーザーのアバターの初期位置、各々のユーザーの動作、及び各々のユーザーが仮想画像内で注目する箇所に基づいて、全てのユーザーのアバターが一つの仮想空間を共有しつつ、他のユーザーのアバターが初期位置に配置された状態から動作する仮想画像を各々のユーザーに対して生成する。
ここで、画像生成部９は、例えば、空間Ｓ内でユーザーが画面１９に対して前進又は後進するような動作を行うと、仮想空間内のアバターが前進又は後進し、ユーザーが画面１９に対して左右に移動すると、仮想空間内のアバターが左右に移動する仮想画像を生成する。また、画像生成部９は、例えば、ユーザーの手足の動作に対応するように仮想空間内のアバターの手足が動作する仮想画像を生成する。
なお、「仮想空間を共有」とは、仮想空間内の各アバターの位置関係を含めて共有する場合だけではなく、仮想空間内での各アバターの位置関係を修正した状態も含むものである。つまり、「仮想空間を共有」とは、一つの仮想空間を共有する場合に限らずに、仮想空間としてのシチュエーションを共有する場合も含むものである。
出力部１０は、画像生成部９で生成された各々のユーザーに対する仮想画像を示す情報を、ネットワーク１７を介して各々の空間Ｓの表示部１５に出力したり、音声取得部４が取得した各々のユーザーの音声を示す情報を、ネットワーク１７を介して各々の空間Ｓのスピーカー１６に出力したり、する。
データベース部１１は、仮想空間候補を示す情報、仮想空間内での他のユーザーのアバターの配置位置候補を示す情報、複数のキャラクター候補やキャラクター毎の詳細設定のための情報、及び表示部１５と画面１９との位置関係などを格納している。
次に、本実施の形態の仮想空間共有システム１を用いてミーティングを行う際の流れを説明する。先ず、ユーザーがミーティング空間、アバター及び他のユーザーのアバターの初期位置を設定する流れを説明する。
ここで、本実施の形態では、第１の空間に存在する第１のユーザーと、第２の空間に存在する第２のユーザーと、第３の空間に存在する第３のユーザーと、第４の空間に存在する第４のユーザーと、が共通のミーティング空間内でミーティングを行う場合を例に説明する。
図２は、本実施の形態の仮想空間共有システムを用いてミーティングを行う際の第１の空間の様子を示す図である。図３は、本実施の形態の仮想空間共有システムを用いてミーティングを行う際の第２の空間の様子を示す図である。図４は、本実施の形態の仮想空間共有システムを用いてミーティングを行う際の第３の空間の様子を示す図である。図５は、本実施の形態の仮想空間共有システムを用いてミーティングを行う際の第４の空間の様子を図である。
先ず、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４が各々の所有する入力装置１８を仮想空間共有システム１に接続し、入力装置１８に仮想空間候補を示す情報を取得する。
そして、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４は、入力装置１８を介して複数の仮想空間候補からミーティング空間を選択する。これにより、空間設定部５は、仮想空間をミーティング空間に設定する。
但し、各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４が仮想空間を設定しなくても、例えば、代表のユーザーが仮想空間を設定すると共に、ミーティングに出席する他のユーザーを設定することで、ミーティング空間を各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４で共有できるようにしてもよい。
次に、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４が各々の所有する入力装置１８を仮想空間共有システム１に接続し、入力装置１８にアバターを設定するための情報を取得する。そして、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４は、入力装置１８を介して複数のキャラクター候補から所望のキャラクターを選択する。
例えば、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４は、入力装置１８を介してＣＧキャラクター、動作取得部２が取得したユーザーの顔画像を顔部分に嵌め込むＣＧキャラクター、又は動作取得部２が取得したユーザーの画像に対して服などを着せ替えた着せ替えキャラクターの何れかのキャラクター候補を選択する。これにより、アバター設定部６は、選択したキャラクターを取得する。
そして、アバター設定部６は、さらに選択したキャラクター毎の詳細設定を促す画像を入力装置１８の表示部に表示させる。詳細には、例えば、ＣＧキャラクターを選択した場合、複数種類のＣＧキャラクターが候補画像として表示される。ユーザーの顔画像を嵌め込むＣＧキャラクターを選択した場合、ユーザーの顔画像が嵌め込まれる複数種類のＣＧキャラクターが候補画像として表示される。着せ替えキャラクターを選択した場合、複数種類の服や装飾などが選択画像として表示される。
第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４は、入力装置１８を介して候補画像を選択し、所望のアバターを完成させる。これにより、アバター設定部６は、各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４に対応するアバターＡ１、Ａ２、Ａ３、Ａ４を設定する。
このとき、次回、仮想空間共有システム１を用いてミーティングなどを行う際に完成させたアバターを再度、利用することができるように、各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４のアバターＡ１、Ａ２、Ａ３、Ａ４をデータベース部１１に格納しておくとよい。
これにより、次回、仮想空間共有システム１を用いてミーティングなどを行う際にユーザーは、データベース部１１に格納されたアバターを呼び出すことで、再度のアバターの設定を省略することができる。
ここで、動作取得部２で取得したユーザーの顔画像をＣＧキャラクターの顔部分に嵌め込んだり、動作取得部２で取得したユーザーの画像に対して服などを着せ替えたり、する技術は、一般的な手段を用いることができる。このとき、動作取得部２で取得又は予め取得した画像に基づいてユーザーの胴体と頭とのバランスに対応するようにアバターが形成されるとよい。
次に、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４が各々の所有する入力装置１８を仮想空間共有システム１に接続し、入力装置１８に選択したミーティング空間内での他のユーザーのアバターの配置位置候補を示す情報を取得する。
例えば、仮想空間としてミーティング空間が設定されている場合、ミーティング空間内で他のユーザーのアバターが横並びに配置されるように、当該アバターの初期位置が定めされている。このとき、アバターの初期位置は、画面１９に仮想画像が投影された際、初期位置に配置されたアバターがユーザーの視野範囲内に収まるように定められているとよい。
第１のユーザーＵ１は、入力装置１８を介して、図２に示すように、画面１９に向かって左から右に第２のユーザーＵ２のアバターＡ２、第３のユーザーＵ３のアバターＡ３、第４のユーザーＵ４のアバターＡ４が並ぶように配置位置候補を選択する。
第２のユーザーＵ２は、入力装置１８を介して、図３に示すように、画面１９に向かって左から右に第１のユーザーＵ１のアバターＡ１、第３のユーザーＵ３のアバターＡ３、第４のユーザーＵ４のアバターＡ４が並ぶように配置位置候補を選択する。
第３のユーザーＵ３は、入力装置１８を介して、図４に示すように、画面１９に向かって左から右に第１のユーザーＵ１のアバターＡ１、第２のユーザーＵ２のアバターＡ２、第４のユーザーＵ４のアバターＡ４が並ぶように配置位置候補を選択する。
第４のユーザーＵ４は、入力装置１８を介して、図５に示すように、画面１９に向かって左から右に第１のユーザーＵ１のアバターＡ１、第２のユーザーＵ２のアバターＡ２、第３のユーザーＵ３のアバターＡ３が並ぶように配置位置候補を選択する。
これにより、配置設定部７は、空間Ｓ毎で表示される仮想画像に映し出されるミーティング空間内での他のユーザーの初期位置を設定する。このように各ユーザーがミーティング空間内での他のユーザーの初期位置を適宜、設定することができる。
次に、本実施の形態の仮想空間共有システム１を用いてミーティングを行う際に仮想画像を生成する流れを説明する。ここで、各々の空間Ｓ１、Ｓ２、Ｓ３、Ｓ４に存在するユーザーに向かって他のユーザーのアバターが上述のように配置されたミーティング空間を映し出した仮想画像が、各々の空間Ｓ１、Ｓ２、Ｓ３、Ｓ４の画面１９に投影された状態で、第１のユーザーＵ１と第２のユーザーＵ２とが会話を開始し、第３のユーザーＵ３及び第４のユーザーＵ４が第１のユーザーＵ１と第２のユーザーＵ２とが会話している様子を見ている状態を例に説明する。
第１の空間Ｓ１、第２の空間Ｓ２、第３の空間Ｓ３及び第４の空間Ｓ４のモーションキャプチャ装置１２から仮想空間共有システム１に第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４の動作を示す情報が入力される。これにより、動作取得部２は、各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４の動作を取得する。
それと共に、第１の空間Ｓ１、第２の空間Ｓ２、第３の空間Ｓ３及び第４の空間Ｓ４のアイトラッキング装置１３から仮想空間共有システム１に第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４の視線方向を示す情報が入力される。これにより、視線取得部３は、各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４の視線方向を取得する。
また、第１の空間Ｓ１、第２の空間Ｓ２、第３の空間Ｓ３及び第４の空間Ｓ４のマイク１４から仮想空間共有システム１に第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３及び第４のユーザーＵ４の音声を示す情報が入力される。これにより、音声取得部４は、各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４の音声を取得する。音声取得部４は、取得した各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４の音声を示す情報を出力部１０に出力する。
そして、注目箇所取得部８は、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３並びに第４のユーザーＵ４の座標、第１のユーザーＵ１、第２のユーザーＵ２、第３のユーザーＵ３並びに第４のユーザーＵ４の視線方向、及び第１の空間Ｓ１、第２の空間Ｓ２、第３の空間Ｓ３並びに第４の空間Ｓ４の表示部１５の各画素に対応する画面１９での領域に基づいて、現在、画面１９に投影されている仮想画像内で各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４が注目する箇所を取得する。
画像生成部９は、設定されたミーティング空間、アバター並びにミーティング空間内での他のユーザーのアバターの初期位置、各々のユーザーの動作、及び各々のユーザーが仮想画像内で注目する箇所に基づいて、仮想画像を生成する。ここで、画像生成部９は、仮想空間としてミーティング空間が設定された場合、会話をしている他のユーザーのアバター同士がミーティング空間内で向かい合って会話するように仮想画像を生成する。
詳細には、注目箇所取得部８は、第１の空間Ｓ１において画面１９に投影された仮想画像内の第２のユーザーＵ２のアバターＡ２が映し出されている領域を、第１のユーザーＵ１が注目している箇所として取得する。また、音声取得部４は、第１のユーザーＵ１の音声を取得する。
一方で、注目箇所取得部８は、第２の空間Ｓ２において画面１９に投影された仮想画像内の第１のユーザーＵ１のアバターＡ１が映し出された領域を、第２のユーザーＵ２が注目している箇所として取得する。また、音声取得部４は、第２のユーザーＵ２の音声を取得する。
このとき、画像生成部９は、設定されたミーティング空間や他のユーザーのアバターの初期位置などに基づいて、画像生成部９で生成した仮想画像において、例えば、どのユーザーのアバターが何処の画素領域に配置されているのかを認識している。
これにより、画像生成部９は、第１のユーザーＵ１と第２のユーザーＵ２とが会話していることを認識できる。そこで、画像生成部９は、ミーティング空間内で第１のユーザーＵ１のアバターＡ１と第２のユーザーＵ２のアバターＡ２とが向かい合って会話するように仮想画像を第３の空間Ｓ３及び第４の空間Ｓ４の表示部１５に出力する仮想画像として生成する。このとき、画像生成部９は、音声の指向も参照すると、会話をしているユーザーを精度良く認識することができる。
そして、注目箇所取得部８は、第３の空間Ｓ３において画面１９に投影された仮想画像内の第１のユーザーＵ１のアバターＡ１と第２のユーザーＵ２のアバターＡ２とが会話している領域を、第３のユーザーＵ３が注目している箇所として取得する。また、音声取得部４は、第３のユーザーＵ３の音声を取得していない。
一方、注目箇所取得部８は、第４の空間Ｓ４において画面１９に投影された仮想画像内の第１のユーザーＵ１のアバターＡ１と第２のユーザーＵ２のアバターＡ２とが会話している領域を、第４のユーザーＵ４が注目している箇所として取得する。また、音声取得部４は、第４のユーザーＵ４の音声を取得していない。
これにより、画像生成部９は、第３のユーザーＵ３及び第４のユーザーＵ４が第１のユーザーＵ１と第２のユーザーＵ２との会話に入っておらず、第１のユーザーＵ１と第２のユーザーＵ２との会話を聞いている状態であることを認識できる。
その結果、第１の空間Ｓ１の表示部１５に出力する仮想画像として、画像生成部９は、ミーティング空間内で第２のユーザーＵ２のアバターＡ２、第３のユーザーＵ３のアバターＡ３、第４のユーザーＵ４のアバターＡ４が並んだ状態で、第２のユーザーＵ２のアバターＡ２、第３のユーザーＵ３のアバターＡ３、第４のユーザーＵ４のアバターＡ４が第１の空間Ｓ１に存在する第１のユーザーＵ１に向かって各々のユーザーＵ２、Ｕ３、Ｕ４の動作に基づいて動作する第１の仮想画像を生成する。
第２の空間Ｓ２の表示部１５に出力する仮想画像として、画像生成部９は、ミーティング空間内で第１のユーザーＵ１のアバターＡ１、第３のユーザーＵ３のアバターＡ３、第４のユーザーＵ４のアバターＡ４が並んだ状態で、第１のユーザーＵ１のアバターＡ１、第３のユーザーＵ３のアバターＡ３、第４のユーザーＵ４のアバターＡ４が第２の空間Ｓ２に存在する第２のユーザーＵ２に向かって各々のユーザーＵ１、Ｕ３、Ｕ４の動作に基づいて動作する第２の仮想画像を生成する。
第３の空間Ｓ３の表示部１５に出力する仮想画像として、画像生成部９は、ミーティング空間内で第１のユーザーＵ１のアバターＡ１、第２のユーザーＵ２のアバターＡ２、第４のユーザーＵ４のアバターＡ４が並んだ状態で、第１のユーザーＵ１のアバターＡ１と第２のユーザーＵ１のアバターＡ２とが向かい合って会話し、第４のユーザーＵ４のアバターＡ４が第１のユーザーＵ１のアバターＡ１と第２のユーザーＵ２のアバターＡ２とが会話をしている様子を見るように、各々のユーザーＵ１、Ｕ２、Ｕ４の動作に基づいて動作する第３の仮想画像を生成する。
第４の空間Ｓ４の表示部１５に出力する仮想画像として、画像生成部９は、ミーティング空間内で第１のユーザーＵ１のアバターＡ１、第２のユーザーＵ２のアバターＡ２、第３のユーザーＵ３のアバターＡ３が並んだ状態で、第１のユーザーＵ１のアバターＡ１のアバターＡ１と第２のユーザーＵ１のアバターＡ２とが向かい合って会話し、第３のユーザーＵ３のアバターＡ３が第１のユーザーＵ１のアバターＡ１と第２のユーザーＵ２のアバターＡ２とが会話をしている様子を見るように、各々のユーザーＵ１、Ｕ２、Ｕ３の動作に基づいて動作する第４の仮想画像を生成する。
ちなみに、第３のユーザーＵ３や第４のユーザーＵ４が第１のユーザーＵ１のアバターＡ１と第２のユーザーＵ２のアバターＳ２とが会話をしている様子を見ていない場合、画像生成部９は、第３のユーザーＵ３や第４のユーザーＵ４が注目している箇所や顔の向きに基づいて、仮想空間内で他の部分を見ている仮想画像を生成する。
画像生成部９は、上述のように生成した第１乃至第４の仮想画像を示す情報を出力部１０に出力する。出力部１０は、第１の仮想画像を示す情報を第１の空間Ｓ１の表示部１５に出力すると共に、第１の空間Ｓ１のスピーカー１６に他のユーザーＵ２、Ｕ３、Ｕ４の音声を示す情報を出力する。また、出力部１０は、第２の仮想画像を示す情報を第２の空間Ｓ２の表示部１５に出力すると共に、第２の空間Ｓ２のスピーカー１６に他のユーザーＵ１、Ｕ３、Ｕ４の音声を示す情報を出力する。
さらに、出力部１０は、第３の仮想画像を示す情報を第３の空間Ｓ３の表示部１５に出力すると共に、第３の空間Ｓ３のスピーカー１６に他のユーザーＵ１、Ｕ２、Ｕ４の音声を示す情報を出力する。また、出力部１０は、第４の仮想画像を示す情報を第４の空間Ｓ４の表示部１５に出力すると共に、第４の空間Ｓ４のスピーカー１６に他のユーザーＵ１、Ｕ２、Ｕ３の音声を示す情報を出力する。
そして、各々の空間Ｓ１、Ｓ２、Ｓ３、Ｓ４の表示部１５が入力された仮想画像を画面１９に投影しつつ、スピーカー１６が他のユーザーの音声を出力し、投影された仮想画像に対して各々のユーザーＵ１、Ｕ２、Ｕ３、Ｕ４が動作したり、話し掛けたり、することで、画像生成部９が連続して他のユーザーに対して出力する仮想画像を動画として生成する。
このように本実施の形態の仮想空間共有システム１及び仮想空間共有方法は、ユーザーの動作に伴う仮想画像を相互方向で出力することができる。そのため、本実施の形態の仮想空間共有システム１及び仮想空間共有方法を用いてユーザー同士が良好にコミュニケーションを図ることができる。
また、仮想空間としてミーティング空間を選択した場合、空間Ｓ内でのユーザーの位置に由らずに、ミーティング空間内で他のユーザーのアバターが横並びに配置されるように仮想画像を生成するので、他のユーザーのアバターを視認し易く、他のユーザーとのコミュニケーションが容易である。しかも、ミーティング空間内で会話しているユーザーのアバター同士を向かい合って会話するように仮想画像を生成するので、ミーティング空間上で臨場感を与えることができる。
＜実施の形態２＞
他のユーザーとミーティングを行う場合、画像生成部９は、会話を行う他のユーザーのアバターが空間に存在するユーザーの正面に配置されるように仮想画像を生成するとよい。図６は、本実施の形態の仮想空間共有システムを用いてミーティングを行う際の第１の空間の様子を示す図である。図７は、本実施の形態の仮想空間共有システムを用いてミーティングを行う際の第２の空間の様子を示す図である。
ここで、本実施の形態では、第１の空間Ｓ１１に存在する第１のユーザーＵ１１と第２の空間Ｓ１２に存在する第２のユーザーＵ１２とがミーティングを行う場合を例に説明する。このとき、第１のユーザーＵ１１のアバターＡ１１として着せ替えキャラクターが選択され、第２のユーザーＵ１２の第２のアバターＡ１２として着せ替えキャラクターが選択されているものとする。
このような状態で、第１の空間Ｓ１１に存在する第１のユーザーＵ１１が当該第１の空間Ｓ１１の画面１９に投影されている第２のユーザーＵ１２のアバターＡ１２に向かって話し掛けた場合、図６に示すように、画像生成部９は、ミーティング空間内で第２のユーザーＵ１２のアバターＡ１２が第１のユーザーＵ１１の略正面に配置される仮想画像を生成する。
また、第２の空間Ｓ１２に存在する第２のユーザーＵ１２が当該第２の空間Ｓ１２の画面１９に投影されている第１のユーザーＵ１１のアバターＡ１１に向かって話し掛けた場合、図７に示すように、画像生成部９は、ミーティング空間内で第１のユーザーＵ１１のアバターＡ１１が第２のユーザーＵ１２の略正面に配置される仮想画像を生成する。
これにより、他のユーザーとの会話をスムーズに行うことができる。なお、ミーティングに参加する他のユーザーが複数存在する場合、会話していない他のユーザーのアバターは、会話をしている他のユーザーのアバターを避けるように配置されればよい。
＜実施の形態３＞
実施の形態１では、仮想空間としてミーティング空間を選択したが、仮想空間としてプレゼンテーション空間を選択した場合も、実施の形態１の仮想空間共有システム１を用いて同様に実施することができる。
図８は、本実施の形態の仮想空間共有システムを用いてプレゼンテーションを行う際のプレゼンテーションを行うユーザーが存在する空間の様子を示す図である。図９は、本実施の形態の仮想空間共有システムを用いてプレゼンテーションを聞くユーザーが存在する空間の様子を示す図である。
以下に、仮想空間としてプレゼンテーション空間を選択してユーザーがプレゼンテーションを行う際の流れを説明する。ここで、本実施の形態では、ユーザーＵ２１が、複数のユーザーＵ２２に対して資料Ｄを用いてプレゼンテーションを行う場合を例に説明する。
先ず、ユーザーがプレゼンテーション空間及び他のユーザーのアバターの初期位置を設定する流れを説明する。なお、各ユーザーがアバターを選択する流れは実施の形態１と等しいため、説明を省略する。
各々のユーザーＵ２１、Ｕ２２が所有する入力装置１８を仮想空間共有システム１に接続し、入力装置１８に仮想空間候補を示す情報を取得する。そして、各々のＵ２１、Ｕ２２は、入力装置１８を介して複数の仮想空間候補からプレゼンテーション空間を選択する。このとき、ユーザーＵ２１は、入力装置１８を介して、プレゼンテーション空間を選択すると共に、ユーザーＵ２１自身がプレゼンテーションを行うホストであることを入力することができる。
これにより、空間設定部５は、仮想空間をプレゼンテーション空間に設定すると共に、プレゼンテーションを行うユーザーとしてユーザーＵ２１を設定する。但し、各々のユーザーＵ２１、Ｕ２２がプレゼンテーション空間を設定しなくても、例えば、代表のユーザーや他人がプレゼンテーション空間を設定すると共に、プレゼンテーションに出席するユーザーを設定することで、プレゼンテーション空間をユーザーＵ２１、Ｕ２２で共有できるようにしてもよい。
次に、各々のユーザーＵ２１、Ｕ２２が所有する入力装置１８を仮想空間共有システム１に接続し、プレゼンテーション空間内での他のユーザーのアバターの配置位置候補を示す情報を取得する。
例えば、仮想空間としてプレゼンテーション空間が設定されている場合、プレゼンテーションを行うユーザーＵ２１が存在する空間Ｓ２１の画面１９に投影される仮想画像に映し出されるプレゼンテーション空間では、画面１９に向かって右上にプレゼンテーション用の資料Ｄを組み込む領域が定められている。資料Ｄが組み込まれる領域には、例えば、ユーザーＵ２１が入力装置１８を介して資料Ｄのファイルを選択することで組み込むことができる。
そして、当該プレゼンテーション空間では、画面１９に向かって左側に他のユーザーＵ２２のアバターＡ２２が当該空間Ｓ２１に存在するユーザーＵ２１に向かって着席して配置されるように、当該他のユーザーＵ２２のアバターＡ２２の初期位置が定めされている。
そのため、ユーザーＵ２１は、入力装置１８を介して、図８に示すように、座席毎に各々の他のユーザーＵ２２のアバターＡ２２が着席するように配置位置候補を選択する。このとき、プレゼンテーションに重要な他のユーザーＵ２２のアバターＡ２２を前列の座席に着席させるように選択することができる。
なお、他のユーザーＵ２２のアバターＡ２２は、資料Ｄと干渉しないように配置されていればよい。また、他のユーザーＵ２２のアバターＡ２２の初期位置は、画面１９に仮想画像が投影された際、初期位置に配置されたアバターＡ２２がユーザーＵ２１の視野範囲内に収まるように定められているとよい。
一方、プレゼンテーションを聞くユーザーＵ２２が存在する空間Ｓ２２の画面１９に投影される仮想画像で映し出されるプレゼンテーション空間では、当該プレゼンテーション空間の略中央に資料Ｄ及び他のユーザーＵ２１のアバターＡ２１が配置される領域が定められている。
そして、当該プレゼンテーション空間では、他のユーザーＵ２２のアバターＡ２２が資料Ｄ及び他のユーザーＵ２１のアバターＡ２１を避け、且つ、資料Ｄに向かって座席に着座して配置されるように、当該他のユーザーＵ２２のアバターＡ２２の初期位置が定められている。
そのため、空間Ｓ２２に存在するユーザーＵ２２は、入力装置１８を介して、図９に示すように、座席毎に各々の他のユーザーＵ２２のアバターＡ２２が着席するように配置位置候補を選択する。このとき、他のユーザーＵ２１のアバターＡ２１は資料Ｄの横で恰も空間Ｓ２２に存在するユーザーＵ２２に対してプレゼンテーションを行うように、空間Ｓ２２の内側に向かうように配置される。
これにより、配置設定部７は、空間Ｓ２２毎で投影される仮想画像に映し出されるプレゼンテーション空間内での他のユーザーＵ２１、Ｕ２２の初期位置を設定する。このとき、上述のようにプレゼンテーションを行うユーザーとしてユーザーＵ２１が設定されているため、配置設定部７は、当該領域にユーザーＵ２１のアバターＡ２１を配置するように設定することができる。
次に、プレゼンテーション空間を用いてユーザーＵ２１がユーザーＵ２２にプレゼンテーションを行う際に仮想画像を生成する流れを説明する。ここで、プレゼンテーション空間内で資料Ｄ及び他のユーザーＵ２２のアバターＡ２２が上述のように配置された仮想画像が、ユーザーＵ２１が存在する空間Ｓ２１の画面１９に投影された状態で、ユーザーＵ２１が投影された仮想画像内の資料Ｄを指差しながら他のユーザーＵ２２のアバターＡ２２に向かってプレゼンテーションを行い、そして、プレゼンテーション空間内で他のユーザーＵ２１、Ｕ２２のアバターＡ２１、Ａ２２が上述のように配置された仮想画像が、ユーザーＵ２２が存在する空間Ｓ２２の画面１９に投影された状態で、当該ユーザーＵ２２が投影された仮想画像内の他のユーザーＵ２１のアバターＡ２１及び資料Ｄに向かってプレゼンテーションを聞く状態を例として説明する。
このような状態で、空間Ｓ２１、Ｓ２２のモーションキャプチャ装置１２から仮想空間共有システム１にユーザーＵ２１、Ｕ２２の動作を示す情報が入力される。これにより、動作取得部２は、ユーザーＵ２１、Ｕ２２の動作を取得する。
詳細には、動作取得部２は、空間Ｓ２１の画面１９に投影された仮想画像内の資料Ｄを指差しながら他のユーザーＵ２２のアバターＡ２２に向かってプレゼンテーションを行うユーザーＵ２１の動作を取得する。
また、動作取得部２は、空間Ｓ２２の画面１９に投影された仮想画像内の資料Ｄを参照しつつ、他のユーザーＵ２１のアバターＡ２１に向かってプレゼンテーションを聞く当該空間Ｓ２２に存在するユーザーＵ２２の動作を取得する。
それと共に、空間Ｓ２１、Ｓ２２のアイトラッキング装置１３から仮想空間共有システム１にユーザーＵ２１、Ｕ２２の視線方向を示す情報が入力される。これにより、視線取得部３は、ユーザーＵ２１、Ｕ２２の視線方向を取得する。
詳細には、視線取得部３は、空間Ｓ２１の画面１９に投影された仮想画像内の資料Ｄを参照しつつ他のユーザーＵ２２のアバターＡ２２に向かってプレゼンテーションを行うユーザーＵ２１の視線方向を取得する。
また、視線取得部３は、空間Ｓ２２の画面１９に投影された仮想画像内の資料Ｄを参照しつつ、他のユーザーＵ２１のアバターＡ２１に向かってプレゼンテーションを聞く当該空間Ｓ２２に存在するユーザーＵ２２の視線方向を取得する。
また、空間Ｓ２１、Ｓ２２のマイク１４から仮想空間共有システム１にユーザーＵ２１、Ｕ２２の音声を示す情報が入力される。これにより、音声取得部４は、ユーザーＵ２１、Ｕ２２の音声を取得する。
詳細には、音声取得部４は、空間Ｓ２１でプレゼンテーションを行うユーザーＵ２１の音声を取得する。また、音声取得部４は、空間Ｓ２２でプレゼンテーションを聞き、適宜、ユーザーＵ２１に対して質問などを行うユーザーＵ２２の音声を取得する。
そして、注目箇所取得部８は、ユーザーＵ２１、Ｕ２２の座標、ユーザーＵ２１、Ｕ２２の視線方向、及び空間Ｓ２１、Ｓ２２の表示部１５の各画素に対応する画面１９での領域に基づいて、現在、画面１９に投影されている仮想画像内でユーザーＵ２１、Ｕ２２が注目する箇所を取得する。
詳細には、注目箇所取得部８は、空間Ｓ２１において画面１９に投影された仮想画像内で他のユーザーＵ２２のアバターＡ２２が映し出されている領域、及び資料Ｄが映し出されている領域を、ユーザーＵ２１が注目している箇所として取得する。
また、注目箇所取得部８は、空間Ｓ２２において画面１９に投影された仮想画像内の他のユーザーＵ２１のアバターＡ２１が映し出されている領域、及び資料Ｄが映し出されている領域を、空間Ｓ２２に存在するユーザーＵ２２が注目している箇所として取得する。
画像生成部９は、設定されたプレゼンテーション空間、アバター並びにプレゼンテーション空間内での他のユーザーのアバターの初期位置、各々のユーザーの動作、及び各々のユーザーが仮想画像内で注目する箇所に基づいて、仮想画像を生成する。
詳細には、空間Ｓ２１の表示部１５に出力する仮想画像として、画像生成部９は、図８に示すように、プレゼンテーション空間の右上に資料Ｄが組み込まれ、且つ、プレゼンテーション空間の左側の座席に他のユーザーＵ２２のアバターＡ２２が空間Ｓ２１のユーザーＵ２１に向かって着席しつつ当該他のユーザーＵ２２の動作に基づいて動作する第１の仮想画像を生成する。
また、空間Ｓ２２の表示部１５に出力する仮想画像として、画像生成部９は、図９に示すように、プレゼンテーション空間の略中央に資料Ｄが組み込まれ、且つ、資料Ｄの横で他のユーザーＵ２１のアバターＡ２１が空間Ｓ２２に存在するユーザーＵ２２に向かって資料Ｄを指し示しながらプレゼンテーションを行うように当該他のユーザーＵ２１の動作に基づいて動作し、そして、プレゼンテーション空間内で他のユーザーＵ２２のアバターＡ２２が資料Ｄ及び他のユーザーＵ２１のアバターＡ２１を避け、且つ、資料Ｄに向かって着席して当該他のユーザーＵ２２の動作に基づいて動作する第２の仮想画像を生成する。
このとき、画像生成部９は、例えば、空間Ｓ２１でユーザーＵ２１が資料Ｄを指し示す指の位置と、第２の仮想画像内でユーザーＵ２１のアバターＡ２１が資料Ｄを指し示す指の位置と、が対応するように第２の仮想画像を生成するとよい。
そして、画像生成部９は、例えば、資料Ｄが映し出されている領域内でのユーザーＵ２１などの手の動き（例えば、上下の動き）に基づいて、資料Ｄが前後のページに移行したり、資料Ｄが拡大又は縮小したり、するように仮想画像を生成するとよい。
また、画像生成部９は、例えば、空間Ｓ２１での資料Ｄに対するユーザーＵ２１の位置と、プレゼンテーション空間内での資料Ｄに対するユーザーＵ２１のアバターＡ２１の位置と、が対応するように第２の仮想画像を生成するとよい。
画像生成部９は、上述のように生成した第１及び第２の仮想画像を示す情報を出力部１０に出力する。出力部１０は、第１の仮想画像を示す情報を空間Ｓ２１の表示部１５に出力すると共に、空間Ｓ２１のスピーカー１６に他のユーザーＵ２２の音声を示す情報を出力する。また、出力部１０は、第２の仮想画像を示す情報を空間Ｓ２２の表示部１５に出力すると共に、空間Ｓ２２のスピーカー１６に他のユーザーＵ２１、Ｕ２２の音声を示す情報を出力する。
そして、空間Ｓ２１、Ｓ２２の表示部１５が仮想画像を画面１９に投影しつつ、スピーカー１６が他のユーザーの音声を出力し、投影された仮想画像に対してユーザーＵ２１、Ｕ２２が動作したり、話し掛けたり、することで、画像生成部９が他のユーザーに対して出力する仮想画像を動画として生成する。
ここで、空間Ｓ２２でユーザーＵ２２が資料Ｄに近寄り、資料Ｄの横で追加の説明や質問を行う場合、ユーザーＵ２２が資料Ｄに対して予め設定された範囲内で予め設定された期間経過すると、画像生成部９は、プレゼンテーション空間内でユーザーＵ２１のアバターＡ２１の位置と当該ユーザーＵ２２のアバターＡ２２の位置とが入れ替わるように、仮想画像を生成するとよい。
また、プレゼンテーション中にユーザーＵ２１、Ｕ２２の何れかがミーティングを行った方が好ましいと判断した場合、ユーザーＵ２１、Ｕ２２の何れかが入力装置１８を介してプレゼンテーション中に仮想空間をミーティング空間に変更可能であるとよい。
図１０は、プレゼンテーション中に仮想空間をミーティング空間に変更した際の空間の様子を示す図である。ミーティング空間に変更した場合、画像生成部９は、実施の形態１の場合と同様に、図１０に示すように、ミーティング空間内で他のユーザーを横並びに配置した仮想画像を生成する。
このとき、プレゼンテーション空間からミーティング空間に変更された場合、画像生成部９は、空間に存在するユーザーを中心としてミーティング空間内で他のユーザーのアバターが囲んで配置される仮想画像を生成するとよい。なお、プレゼンテーション空間からミーティング空間に変更された場合、ミーティング空間内で他のユーザーのアバターが座席に着席するように配置した仮想画像を生成してもよい。
このように仮想空間としてプレゼンテーション空間を選択した場合、空間Ｓ２１、Ｓ２２内でのユーザーＵ２１、Ｕ２２の位置に由らずに、空間Ｓ２２に存在するユーザーＵ２２がプレゼンテーション空間内の資料Ｄや他のユーザーＵ２１のアバターＡ２１を見易いように、他のユーザーＵ２２のアバターＡ２２が配置された仮想画像を生成するので、空間Ｓ２２に存在するユーザーＵ２２がプレゼンテーションを聞き易い。
しかも、プレゼンテーション空間内でプレゼンテーションを行っているユーザーＵ２１のアバターＡ２１を資料Ｄの横で空間Ｓ２２に存在するユーザーＵ２２に向かって配置するように仮想画像を生成するので、プレゼンテーション空間上で臨場感を与えることができる。
＜実施の形態４＞
実施の形態１では、仮想空間としてミーティング空間を選択したが、仮想空間としてレッスン空間を選択した場合も、実施の形態１の仮想空間共有システム１を用いて同様に実施することができる。
ここで、本実施の形態では、共通のレッスン空間を用いて先生と生徒とでダンスレッスンを行う場合を例に説明する。図１１は、本実施の形態の仮想空間共有システムを用いてダンスレッスンを行う際の先生が存在する空間の様子を示す図である。図１２は、本実施の形態の仮想空間共有システムを用いてダンスレッスンを行う際の生徒が存在する空間の様子を示す図である。
仮想空間としてレッスン空間を選択した場合、例えば、先生Ｕ３１が存在する空間Ｓ３１の表示部１５に出力する仮想画像として、画像生成部９は、図１１に示すように、レッスン空間内で各々の生徒Ｕ３２のアバターＡ３２が横並びに配置された状態で当該生徒Ｕ３２の動作に基づいて動作する第１の仮想画像を生成する。このとき、生徒Ｕ３２のアバターＡ３２の配置は、実施の形態１と同様に、先生Ｕ３１が入力装置１８を介して予め定められた初期位置に設定することができる。
また、生徒Ｕ３２が存在する空間Ｓ３２の表示部１５に出力する仮想画像として、画像生成部９は、図１２に示すように、レッスン空間内で他の生徒Ｕ３２のアバターＡ２２及び先生Ｕ３１のアバターＡ３１が横並びに配置された状態で当該他の生徒Ｕ３２及び先生Ｕ３１の動作に基づいて動作する第２の仮想画像を生成する。このとき、他の生徒Ｕ３２のアバターＡ２２及び先生Ｕ３１のアバターＡ３１の配置は、実施の形態１と同様に、空間Ｓ３２に存在する生徒Ｕ３２が入力装置１８を介して予め定められた初期位置に設定することができる。
なお、本実施の形態では、レッスン空間内で先生Ｕ３１のアバターＡ３１や生徒Ｕ３２のアバターＡ３２が横並びに配置された仮想画像を生成したが、レッスンの内容に応じて、先生Ｕ３１のアバターＡ３１及び生徒Ｕ３２のアバターＡ３２の配置が、適宜、定められているとよい。
＜実施の形態５＞
実施の形態１では、仮想空間としてミーティング空間を選択したが、仮想空間としてオフィス空間を選択した場合も、実施の形態１の仮想空間共有システム１を用いて同様に実施することができる。
ここで、オフィス空間は、例えば、実際の会社のオフィス内を再現した三次元空間であり、当該三次元空間に並べられた複数のデスクがユーザーのアバターの配置位置候補として定められている。そして、各々のユーザーが自身の入力装置１８を介して配置位置候補を選択すると、配置設定部７は、ユーザーが選択したオフィス空間内のデスクを当該ユーザーのアバターの初期位置として設定する。
画像生成部９は、アバターがユーザーの動作に対応するように、ユーザーが着座している場合、オフィス空間内で当該ユーザーのアバターがデスクに着座し、ユーザーが画面１９に対して移動した場合、オフィス空間内で当該ユーザーのアバターがデスクから移動する仮想画像が生成する。そして、画像生成部９は、オフィス空間における各々のユーザーのアバターの視野方向での予め設定された視野範囲で仮想画像を生成する。
以下に、ユーザーがオフィス空間を共有した際に仮想画像を生成する流れを説明する。ここで、第１の空間に存在する第１のユーザーが第２のユーザーのアバターに近寄って話し掛け、それに対して第２の空間に存在する第２のユーザーが第１のユーザーのアバターに近寄って話し掛ける様子を、第３の空間に存在する第３のユーザーが見ている状態を例に説明する。
図１３は、第１のユーザーが第２のユーザーに近寄って話し掛けた場合の当該第１のユーザーが存在する空間の様子を示す図である。図１４は、第１のユーザーが第２のユーザーに近寄って話し掛けた場合の第３のユーザーが存在する空間の様子を示す図である。図１５は、話し掛けてきた第１のユーザーに第２のユーザーが近寄って話し掛けた場合の第１のユーザーが存在する空間の様子を示す図である。図１６は、話し掛けてきた第１のユーザーに第２のユーザーが近寄って話し掛けた場合の第３のユーザーが存在する空間の様子を示す図である。
先ず、図１３に示すように、オフィス空間内における第１のユーザーＵ４１のアバターＡ４１の視野方向で第２のユーザーＵ４２のアバターＡ４２、第３のユーザーＵ４３のアバターＡ４３が初期位置に配置されてデスクに着席している仮想画像が第１の空間Ｓ４１の画面１９に投影されているものとする。
このような状態で、図１３に示すように、第１のユーザーＵ４１が第１の空間Ｓ４１の画面１９に投影された仮想画像内の第２のユーザーＵ４２のアバターＡ４２に近寄って話し掛けると、第２の空間Ｓ４２の表示部１５に出力する仮想画像として、画像生成部９は、動作取得部２で取得した各々のユーザーＵ４１、Ｕ４２、Ｕ４３の動作に基づいて、オフィス空間内における第２のユーザーＵ４２のアバターＡ４２の視野範囲で第１のユーザーＵ４１のアバターＡ４１が第２の空間Ｓ４２に存在する第２のユーザーＵ４２に近寄って話し掛ける仮想画像を生成する。このとき、第２のユーザーＵ４２のアバターＡ４２の視野範囲に第３のユーザーＵ４３のアバターＡ４３が存在する場合、第３のユーザーＵ４３のアバターＡ４３も含められる。
また、第３の空間Ｓ４３の表示部１５に出力する仮想画像として、画像生成部９は、動作取得部２で取得した各々のユーザーＵ４１、Ｕ４２、Ｕ４３の動作に基づいて、図１４に示すように、オフィス空間内で第１のユーザーＵ４１のアバターＡ４１がデスクに着席している第２のユーザーＵ４２のアバターＡ４２に近寄って話し掛ける仮想画像を生成する。
そして、第２のユーザーＵ４２が第２の空間Ｓ４２の画面１９に投影された仮想画像内の第１のユーザーＵ４１のアバターＡ４１に近寄って話し掛けると、第１の空間Ｓ４１の表示部１５に出力する仮想画像として、画像生成部９は、動作取得部２で取得した各々のユーザーＵ４１、Ｕ４２、Ｕ４３の動作に基づいて、図１５に示すように、オフィス空間内における第１のユーザーＵ４１のアバターＡ４１の視野範囲で第２ユーザーＵ４２のアバターＡ４２が第１の空間Ｓ４１に存在する第１のユーザーＵ４１に近寄って話し掛ける仮想画像を生成する。このとき、第１のユーザーＵ４１のアバターＡ４１の視野範囲に第３のユーザーＵ４３のアバターＡ４３が存在する場合、第３のユーザーＵ４３のアバターＡ４３も含められる。
また、第３の空間Ｓ４３の表示部１５に出力する仮想画像として、画像生成部９は、動作取得部２で取得した各々のユーザーＵ４１、Ｕ４２、Ｕ４３の動作に基づいて、図１６に示すように、オフィス空間内で第１のユーザーＵ４１のアバターＡ４１と第２のユーザーＵ４２のアバターＡ４２とが近寄った状態で会話している仮想画像を生成する。
このように本実施の形態では、オフィス空間内におけるユーザーのアバターの視野範囲で、各々のユーザーの動作に基づいてアバターが動作する仮想画像を生成するので、臨場感のある仮想オフィスを実現することができる。
ここで、第１のユーザーＵ４１と第２のユーザーＵ４２との会話が第３のユーザーＵ４３に聞き取られないように、入力装置１８を介して操作できるとよい。これにより、第３者に聞かれたくない会話をオフィス空間内で行うことができる。
また、第３の空間Ｓ４３で出力される第１のユーザーＵ４１と第２のユーザーＵ４２との会話の音量は、オフィス空間内での第３のユーザーＵ４３のアバターＡ４３と、第１のユーザーＵ４１のアバターＡ４１及び第２のユーザーＵ４２のアバターＡ４２と、の距離に基づいて調整されるとよい。
さらに、例えば、空間内での音を他のユーザーに聴かれたくない場合、入力装置１８を介してマイク１４をミュートに操作できるとよい。また、例えば、入力装置１８を介して他のユーザー同士の会話の音量を調整できるとよい。
＜他の実施の形態＞
上記実施の形態１乃至５では、本開示をハードウェアの構成として説明したが、本開示はこれに限定されるものではない。本開示は、各構成要素の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
例えば、上記実施の形態の仮想空間共有システム１は、次のようなハードウェア構成を備えることができる。図１７は、仮想空間共有システム１に含まれるハードウェア構成の一例を示す図である。
図１７に示す装置５１は、インターフェイス５２と共に、プロセッサ５３及びメモリ５４を備える。上記実施の形態で説明した仮想空間共有システム１は、プロセッサ５３がメモリ５４に記憶されたプログラムを読み込んで実行することにより実現される。つまり、このプログラムは、プロセッサ５３を上記実施の形態の仮想空間共有システム１として機能させるためのプログラムである。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータ（情報通知装置を含むコンピュータ）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、この例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、この例は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、空間内にスピーカー１６を複数配置し、ユーザーが発した音声の指向に基づいて、スピーカー１６から音声を出力するとよい。つまり、他のユーザーのアバターが空間に存在するユーザーに向かって話し掛ける場合、画面１９の側から当該ユーザーに向かって他のユーザーの音声が出力されるように、スピーカー１６を配置及び制御するとよい。また、仮想空間内で他のユーザーが向かい合って会話している場合、他のユーザーのアバターが声を発している方向に向かって当該他のユーザーの音声が出力されるように、スピーカー１６を配置及び制御するとよい。つまり、ユーザーのアバターの顔の向きと、当該空間内でユーザーの音声が出力される向きと、が略等しくするとよい。これにより、臨場感のある仮想空間を実現することができる。
さらに、マイク１４が介して音声取得部４が空間内の音を取得し、空間内の音の指向に基づいて、スピーカー１６から音を出力させてもよい。これにより、臨場感のあるライブ空間を実現することができる。
例えば、画像生成部９は、選択される仮想空間に応じて、ユーザーの一部の動作を仮想空間内の当該ユーザーのアバターの動作に反映させないようにしてもよい。例えば、実施の形態３のプレゼンテーション中、ユーザーＵ２２が立ったり、座ったり、しても当該ユーザーＵ２２のアバターＡ２２が着席した状態の仮想画像を生成するとよい。これにより、空間Ｓ２２に存在するユーザーＵ２２がプレゼンテーションに集中することができる。なお、外部から入力装置を介して反映させたくない動作を入力することで、ユーザーの一部の動作を仮想空間内の当該ユーザーのアバターの動作に反映させないようにしてもよい。
１ 仮想空間共有システム
２ 動作取得部
３ 視線取得部
４ 音声取得部
５ 空間設定部
６ アバター設定部
７ 配置設定部
８ 注目箇所取得部
９ 画像生成部
１０ 出力部
１１ データベース部
１２ モーションキャプチャ装置
１３ アイトラッキング装置
１４ マイク
１５ 表示部
１６ スピーカー
１７ ネットワーク
１８ 入力装置
１９ 画面
５１ 装置
５２ インターフェイス
５３ プロセッサ
５４ メモリ
Ｓ 空間
Ｓ１ 第１の空間
Ｓ２ 第２の空間
Ｓ３ 第３の空間
Ｓ４ 第４の空間
Ｕ１ 第１のユーザー
Ｕ２ 第２のユーザー
Ｕ３ 第３のユーザー
Ｕ４ 第３のユーザー
Ａ１ 第１のユーザーのアバター
Ａ２ 第２のユーザーのアバター
Ａ３ 第３のユーザーのアバター
Ａ４ 第４のユーザーのアバター
Ｓ１１ 第１の空間
Ｓ１２ 第２の空間
Ｕ１１ 第１のユーザー
Ｕ１２ 第２のユーザー
Ａ１１ 第１のユーザーのアバター
Ａ１２ 第２のユーザーのアバター
Ｓ２１、Ｓ２２ 空間
Ｕ２１、Ｕ２２ ユーザー
Ａ２１、Ａ２２ ユーザーのアバター
Ｄ 資料
Ｓ３１ 先生が存在する空間
Ｓ３２ 生徒が存在する空間
Ｕ３１ 先生
Ｕ３２ 生徒
Ａ３１ 先生のアバター
Ａ３２ 生徒のアバター
Ｓ４１ 第１の空間
Ｓ４２ 第２の空間
Ｓ４３ 第３の空間
Ｕ４１ 第１のユーザー
Ｕ４２ 第２のユーザー
Ｕ４３ 第３のユーザー
Ａ４１ 第１のユーザーのアバター
Ａ４２ 第２のユーザーのアバター
Ａ４３ 第３のユーザーのアバター

Claims (10)

  1. 複数の空間における各々の空間に存在するユーザーの動作を取得する動作取得部と、
    各々の前記ユーザーに対応するアバターが当該ユーザーの動作に基づいて前記複数の空間で共有する仮想空間内で動作する仮想画像を生成する画像生成部と、
    他のユーザーのアバターが前記仮想空間内で動作する仮想画像を前記各々の空間に配置された表示部に出力する出力部と、
    を備える、仮想空間共有システム。
  2. 外部から入力された空間要求に基づいて、前記仮想空間を設定する空間設定部を備え、
    前記仮想空間に応じて当該仮想空間内で他のユーザーのアバターが配置される初期位置が定められている、請求項１に記載の仮想空間共有システム。
  3. 外部から入力されたアバターの配置要求に基づいて、前記仮想空間内で定められた前記初期位置毎に各々の他のユーザーのアバターの配置を設定する配置設定部を備える、請求項２に記載の仮想空間共有システム。
  4. 前記ユーザーの視線方向を取得する視線取得部と、
    前記ユーザーの視線方向に基づいて、前記ユーザーが前記仮想画像内で注目する箇所を取得する注目箇所取得部と、
    を備え、
    前記画像生成部は、前記ユーザーが前記仮想画像内で注目する箇所に基づいて、前記仮想画像を生成する、請求項１乃至３のいずれか１項に記載の仮想空間共有システム。
  5. 前記ユーザーの音声を取得する音声取得部を備え、
    前記仮想空間がプレゼンテーション空間の場合、前記画像生成部は、前記プレゼンテーション空間内に組み込まれた資料を用いてプレゼンテーションを行うユーザーのアバターと前記資料とが、他のユーザーのアバターに干渉せず、且つ、前記他のユーザーのアバターに対して大きく表示されるように、前記仮想画像を生成する、請求項１乃至４のいずれか１項に記載の仮想空間共有システム。
  6. 前記ユーザーの音声を取得する音声取得部を備え、
    前記仮想空間がミーティング空間の場合、前記画像生成部は、他のユーザーのアバターが前記ミーティング空間内で横並びに配置されるように、前記仮想画像を生成する、請求項１乃至４のいずれか１項に記載の仮想空間共有システム。
  7. 前記ユーザーの視線方向を取得する視線取得部と、
    前記ユーザーの視線方向に基づいて、前記ユーザーが前記仮想画像内で注目する箇所を取得する注目箇所取得部と、
    を備え、
    前記画像生成部は、前記ユーザーが前記仮想画像内で注目する箇所に基づいて、会話している他のユーザーのアバター同士が前記ミーティング空間内で向かい合って会話しているように、前記仮想画像を生成する、請求項６に記載の仮想空間共有システム。
  8. 前記画像生成部は、前記仮想空間における前記ユーザーのアバターの視野方向での予め設定された視野範囲で前記仮想画像を生成する、請求項４に記載の仮想空間共有システム。
  9. 複数の空間における各々の空間に存在するユーザーの動作を時系列に取得する工程と、
    各々の前記ユーザーに対応するアバターが当該ユーザーの時系列の動作に基づいて前記複数の空間で共有する仮想空間内で動作する仮想画像を生成する工程と、
    前記仮想空間内で他のユーザーのアバターが動作する仮想画像を各々の前記空間に配置された表示部に出力する工程と、
    を備える、仮想空間共有方法。
  10. 複数の空間における各々の空間に存在するユーザーの動作を時系列に取得する処理と、
    各々の前記ユーザーに対応するアバターが当該ユーザーの時系列の動作に基づいて前記複数の空間で共有する仮想空間内で動作する仮想画像を生成する処理と、
    前記仮想空間で他のユーザーのアバターが動作する仮想画像を各々の前記空間に配置された表示部に出力する処理と、
    をコンピュータに実行させる、仮想空間共有プログラム。
JP2021031616A 2021-03-01 2021-03-01 仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム Pending JP2022132896A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021031616A JP2022132896A (ja) 2021-03-01 2021-03-01 仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム
US17/679,617 US20220277528A1 (en) 2021-03-01 2022-02-24 Virtual space sharing system, virtual space sharing method, and virtual space sharing program
CN202210183449.0A CN115061563A (zh) 2021-03-01 2022-02-28 虚拟空间共享系统、虚拟空间共享方法以及虚拟空间共享程序
EP22159485.6A EP4054181A1 (en) 2021-03-01 2022-03-01 Virtual space sharing system, virtual space sharing method, and virtual space sharing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021031616A JP2022132896A (ja) 2021-03-01 2021-03-01 仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム

Publications (1)

Publication Number Publication Date
JP2022132896A true JP2022132896A (ja) 2022-09-13

Family

ID=80623573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021031616A Pending JP2022132896A (ja) 2021-03-01 2021-03-01 仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム

Country Status (4)

Country Link
US (1) US20220277528A1 (ja)
EP (1) EP4054181A1 (ja)
JP (1) JP2022132896A (ja)
CN (1) CN115061563A (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
KR101270780B1 (ko) * 2011-02-14 2013-06-07 김영대 가상 강의실 강의 방법 및 장치
JP2013088878A (ja) * 2011-10-13 2013-05-13 Sony Corp 情報処理システム、情報処理方法、およびプログラム
JP6569452B2 (ja) * 2015-10-08 2019-09-04 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
KR102210150B1 (ko) * 2016-09-23 2021-02-02 애플 인크. 아바타 생성 및 편집
EP3331240A1 (en) * 2016-12-02 2018-06-06 Thomson Licensing Method and device for setting up a virtual meeting scene
US10438418B2 (en) * 2016-12-08 2019-10-08 Colopl, Inc. Information processing method for displaying a virtual screen and system for executing the information processing method
JP6240353B1 (ja) * 2017-03-08 2017-11-29 株式会社コロプラ 仮想空間において情報を提供するための方法、そのためのプログラム、および、そのための装置
EP3635949A1 (en) * 2017-06-09 2020-04-15 PCMS Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
JP7228338B2 (ja) 2018-05-22 2023-02-24 株式会社 ディー・エヌ・エー 動画を配信するためのシステム、方法、及びプログラム

Also Published As

Publication number Publication date
EP4054181A1 (en) 2022-09-07
CN115061563A (zh) 2022-09-16
US20220277528A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US12003890B2 (en) Environment for remote communication
US7626569B2 (en) Movable audio/video communication interface system
US20120077172A1 (en) Presentation system
US20240061497A1 (en) Method and Device for Surfacing Physical Environment Interactions During Simulated Reality Sessions
US10700883B2 (en) Method and apparatus for teleconferencing with multiple participants
WO2018187640A1 (en) System, method and software for producing virtual three dimensional avatars that actively respond to audio signals while appearing to project forward of or above an electronic display
US20240056492A1 (en) Presentations in Multi-user Communication Sessions
JP2022132896A (ja) 仮想空間共有システム、仮想空間共有方法及び仮想空間共有プログラム
US11947733B2 (en) Muting mode for a virtual object representing one or more physical elements
US20190188265A1 (en) Apparatus and method for selecting speaker by using smart glasses
Dean et al. Refining personal and social presence in virtual meetings
US11700351B2 (en) Virtual eye contact in video interaction
WO2018168247A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN108877407A (zh) 用于辅助交流的方法、装置和系统及增强现实眼镜
US20230164304A1 (en) Communication terminal device, communication method, and software program
JPH09107534A (ja) テレビ会議装置及びテレビ会議システム
Barde et al. less is more: Using spatialized auditory and visual cues for target acquisition in a real-world search task
JP7306765B2 (ja) コミュニケーション装置及びコミュニケーションプログラム並びに記憶媒体
KR20150113795A (ko) 눈맞춤 기능 제어 장치 및 방법
US20240119619A1 (en) Deep aperture
JP7053074B1 (ja) 鑑賞システム、鑑賞装置及びプログラム
US20230007127A1 (en) Telepresence system
US20210350604A1 (en) Audiovisual presence transitions in a collaborative reality environment
US10469803B2 (en) System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
Billinghurst et al. Motion-tracking in spatial mobile audio-conferencing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230912