JP2023056109A - 仮想空間制御システム、その制御方法、及び、制御プログラム - Google Patents

仮想空間制御システム、その制御方法、及び、制御プログラム Download PDF

Info

Publication number
JP2023056109A
JP2023056109A JP2021165223A JP2021165223A JP2023056109A JP 2023056109 A JP2023056109 A JP 2023056109A JP 2021165223 A JP2021165223 A JP 2021165223A JP 2021165223 A JP2021165223 A JP 2021165223A JP 2023056109 A JP2023056109 A JP 2023056109A
Authority
JP
Japan
Prior art keywords
user
virtual space
terminal
virtual
management device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021165223A
Other languages
English (en)
Inventor
達朗 堀
Tatsuro Hori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021165223A priority Critical patent/JP2023056109A/ja
Priority to CN202211208608.4A priority patent/CN115951774A/zh
Priority to US17/960,397 priority patent/US11928253B2/en
Publication of JP2023056109A publication Critical patent/JP2023056109A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1089In-session procedures by adding media; by removing media

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることが可能な、仮想空間制御システム、その制御方法、及び、制御プログラムを提供すること。【解決手段】本実施の形態にかかる仮想空間制御システムは、複数のユーザ端末と、各ユーザ端末を利用中のユーザの動作に応じて動作する仮想人物、が配置される仮想空間を管理する管理装置と、を備え、各ユーザ端末は、自端末を利用中のユーザの動作及びユーザの周辺環境に関する情報を取得し、取得された情報に基づいて、自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定し、管理装置によって管理されている仮想空間をモニタに表示し、管理装置は、各ユーザ端末によって決定された表現方法を用いて表現された、各ユーザ端末を利用中のユーザに対応する仮想人物、を仮想空間に配置する。【選択図】図1

Description

本発明は、仮想空間制御システム、その制御方法、及び、制御プログラムに関する。
特許文献1には、第1ユーザを映した映像を解析し、アバターの動作パターン群の中から第1ユーザの視線や姿勢等に対応する動作パターンを選択し、選択した動作パターンに基づいて動作するアバターを第2ユーザの端末へ表示する、コミュニケーション支援システムが開示されている。
国際公開第2020/203999号
仮想空間では、開催されるイベントが会議やヨガ教室など多岐にわたっており、開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現することが求められている。
本発明は、以上の背景に鑑みなされたものであり、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることが可能な、仮想空間制御システム、その制御方法、及び、制御プログラムを提供することを目的とする。
本発明の一実施態様に係る仮想空間制御システムは、複数のユーザ端末と、各前記ユーザ端末を利用中のユーザの動作に応じて動作する仮想人物、が配置される仮想空間を管理する管理装置と、を備えた、仮想空間制御システムであって、各前記ユーザ端末は、自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得し、取得された情報に基づいて、自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定し、前記管理装置によって管理されている前記仮想空間をモニタに表示し、前記管理装置は、各前記ユーザ端末によって決定された表現方法を用いて表現された、各前記ユーザ端末を利用中のユーザに対応する仮想人物、を前記仮想空間に配置する。この仮想空間制御システムは、ユーザ端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報に基づいて、当該ユーザに対応する仮想人物の仮想空間における表現方法を決定することにより、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることができる。例えば、ユーザが仮想空間で開催される勤務先の定例会議に参加する場合、口の動き、顔の表情、メモを取る仕草など、ユーザの上半身の動きが、他の部位の動きよりも激しくなる傾向にある。また、この場合、ユーザ端末は、ユーザの上半身の動き(特に、口の動き、顔の表情、メモを取る仕草など)を他の部位よりも高精度に検出するように設定される傾向にある。例えば、ユーザ端末に設けられたカメラは、ユーザU1の上半身のみを撮影するように設置される傾向にある。このような場合、ユーザ端末は、ユーザの上半身の動きを他の部位の動きよりも高精度に仮想人物に反映させるような、当該仮想人物の表現方法を採用する。或いは、ユーザが仮想空間で開催されるヨガ教室に参加する場合、ユーザの全身の動きが激しくなる傾向にある。また、この場合、ユーザ端末は、ユーザの全身の動きをセンシング可能に設定される傾向にある。例えば、ユーザ端末に設けられたカメラは、ユーザU1の全身を撮影するように設置される傾向にある。このような場合、ユーザ端末は、ユーザの全身の動きを仮想人物に反映させるような、当該仮想人物の表現方法を採用する。即ち、この仮想空間システムは、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることができる。
各前記ユーザ端末は、さらに、自端末を利用中のユーザが参加するイベントの内容に応じて、前記自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定してもよい。それにより、仮想空間において開催されるイベントに参加するユーザの仮想人物を、より正確に、そのイベントに適した表現方法で表現させることができる。
各前記ユーザ端末は、さらに、自端末を利用中のユーザが、所定イベントに集まる複数のユーザのうち、当該所定イベントの主催者又はそれに相当する者であるか否かに基づいて、前記自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定してもよい。例えば、ユーザがヨガ教室の講師である場合には、ユーザ端末は、ユーザの全身の動きをより高い精度で(少なくともヨガ教室の受講者の場合よりも高い精度で)検出するとともに、ユーザの全身の動きをより高精度に仮想人物に反映させるような、当該仮想人物の表現方法を採用する。それにより、ヨガ教室の講師は、受講者に対して、より正確なヨガポーズを伝えることができる。それに対し、ユーザがヨガ教室の受講者である場合には、ユーザ端末は、ユーザの全身の動きをより低い精度で(少なくともヨガ教室の講師の場合よりも低い精度で)検出するとともに、ユーザの全身の動きをより低い精度で仮想人物に反映させるような、当該仮想人物の表現方法を採用する。それにより、仮想空間制御システムの画像処理の負担が軽減される。
各前記ユーザ端末は、取得されたユーザの動作に関する情報から、所定の動作に関する情報を抽出し、前記管理装置は、各前記ユーザ端末における、取得されたユーザの動作に関する情報のうち、前記所定の動作に関する情報、が除外された情報、に基づいて、各前記ユーザ端末を利用中のユーザに対応する仮想人物を仮想空間において動作させてもよい。例えば、管理装置は、ユーザの動作のうち、あくび、のび、クセ、飲み物を飲む仕草などの所定の動作を、仮想人物の動きに反映させないようにする。それにより、イベントに参加する他のユーザに不快な思いをさせないようにすることができる。
各前記ユーザ端末は、マイク、距離センサ、操作端末、及び、カメラの少なくとも何れかに基づいて、自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得してもよい。
本発明の一実施態様に係る仮想空間制御システムの制御方法は、複数のユーザ端末と、各前記ユーザ端末を利用中のユーザの動作に応じて動作する仮想人物、が配置される仮想空間を管理する管理装置と、を備えた、仮想空間制御システムの制御方法であって、各前記ユーザ端末を用いて、自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得し、各前記ユーザ端末を用いて、前記取得された情報に基づいて、自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定し、前記管理装置を用いて、各前記ユーザ端末によって決定された表現方法を用いて表現された、各前記ユーザ端末を利用中のユーザに対応する仮想人物、を前記仮想空間に配置し、各前記ユーザ端末を用いて、前記管理装置によって管理されている前記仮想空間をモニタに表示する。この仮想空間制御システムの制御方法は、ユーザ端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報に基づいて、当該ユーザに対応する仮想人物の仮想空間における表現方法を決定することにより、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることができる。
本発明の一実施態様に係る制御プログラムは、複数のユーザ端末と、各前記ユーザ端末を利用中のユーザの動作に応じて動作する仮想人物、が配置される仮想空間を管理する管理装置と、を備えた、仮想空間制御システムの制御プログラムであって、各前記ユーザ端末を用いて、自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得する処理と、各前記ユーザ端末を用いて、前記取得された情報に基づいて、自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定する処理と、前記管理装置を用いて、各前記ユーザ端末によって決定された表現方法を用いて表現された、各前記ユーザ端末を利用中のユーザに対応する仮想人物、を前記仮想空間に配置する処理と、各前記ユーザ端末を用いて、前記管理装置によって管理されている前記仮想空間をモニタに表示する処理と、をコンピュータに実行させる。この制御プログラムは、ユーザ端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報に基づいて、当該ユーザに対応する仮想人物の仮想空間における表現方法を決定することにより、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることができる。
本発明によれば、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることが可能な、仮想空間制御システム、その制御方法、及び、制御プログラムを提供することができる。
実施の形態1に係る仮想空間制御システムの構成例を示すブロック図である。 図1に示す仮想空間制御システムに設けられたユーザ端末の構成例を示すブロック図である。 図1に示す仮想空間制御システムの動作を示すフローチャートである。 図1に示す仮想空間制御システムに設けられたユーザ端末及びその周辺環境の一例を示す概略図である。 図1に示す仮想空間制御システムに設けられたユーザ端末の表示部に表示された表示内容の一例を示す概略図である。 図1に示す仮想空間制御システムに設けられたユーザ端末及びその周辺環境の他の例を示す概略図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
<実施の形態1>
図1は、実施の形態1に係る仮想空間制御システム1の構成例を示すブロック図である。仮想空間制御システム1は、ユーザ端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報に基づいて、当該ユーザに対応する仮想人物の仮想空間における表現方法を決定することにより、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることができる。以下、具体的に説明する。
図1に示すように、仮想空間制御システム1は、n(nは2以上の整数)個のユーザ端末11と、管理装置12と、ネットワーク50と、を備える。以下の説明では、n個のユーザ端末11をそれぞれユーザ端末11_1~11_nとも称す。ユーザ端末11_1~11_nと、管理装置12とは、互いにネットワーク50を介して通信可能に構成されている。
各ユーザ端末11_1~11_nは、ユーザが所有する、又は、ユーザに一時的に割り当てられた、無線通信可能な端末であって、例えば、PC(Personal Computer)端末、スマートフォン、タブレット端末、本システムのために用意された専用の通信端末などである。各ユーザ端末11_1~11_nは、ユーザ宅の個室に設置されていたり、本システムのために用意された専用の部屋に設置されていたりする。また、各ユーザ端末11_1~11_nは、スマートフォン等の移動通信端末である場合には、ユーザによって保持されていてもよい。
管理装置12は、本システムによって運用されている仮想空間を管理する。仮想空間には、各ユーザ端末11_1~11_nを利用中のユーザの動作に応じて動作する仮想人物(所謂、アバター)が配置される。
図2は、ユーザ端末11_1の構成例を示すブロック図である。なお、ユーザ端末11_2~11_nの構成については、基本的には、ユーザ端末11_1の場合と同様であるため、その説明を省略する。
図2に示すように、ユーザ端末11_1は、例えば、情報取得部111と、表現方法決定部112と、通信部113と、制御部114と、表示部115と、音声出力部116と、を備える。
情報取得部111は、ユーザ端末11_1を利用中のユーザU1の動作、及び、ユーザU1の周辺環境に関する情報を取得する。
情報取得部111は、例えばカメラを含み、カメラの撮影映像を解析することにより、ユーザU1の撮影範囲、ユーザU1の表情、及び、ユーザU1の骨格情報を、ユーザU1の動作に関する情報として取得したり、部屋の明るさや、ユーザU1の周辺に設置された物を、ユーザU1の周辺環境に関する情報として取得したりする。
また、情報取得部111は、例えばマイクを含み、マイクによって収集された音声を解析することにより、ユーザU1が発した声の情報を取得したり、部屋の雑音レベルの情報を取得したりする。
さらに、情報取得部111は、例えば、キーボード等の操作端末を含み、操作端末を介してユーザU1によって入力された情報を取得する。操作端末を介して入力された情報とは、例えば、参加予定のイベントの内容、ユーザU1に関する追加の情報、周辺環境に関する追加の情報(ユーザ端末の種類、部屋の種類など)などである。
なお、情報取得部111は、上述したカメラ、マイク、及び操作端末に限られず、ユーザU1の動作及びその周辺環境に関する情報を取得可能な任意の装置を含んでも良い。例えば、情報取得部111は、ユーザU1とユーザ端末11_1との間の距離を測定可能な距離センサを含んでも良い。
表現方法決定部112は、ユーザ端末11_1を利用中のユーザU1に対応する仮想人物V1の仮想空間における表現方法を決定する。
例えば、ユーザU1が仮想空間で開催される勤務先の定例会議に参加する場合、口の動き、顔の表情、メモを取る仕草など、ユーザU1の上半身の動きが、他の部位の動きよりも激しくなる傾向にある。また、この場合、情報取得部111は、ユーザU1の上半身の動き(特に、口の動き、顔の表情、メモを取る仕草など)を他の部位よりも高精度に検出するように設定される傾向にある。例えば、情報取得部111としてのカメラは、ユーザU1の上半身のみを撮影するように設置される傾向にある。このような場合、表現方法決定部112は、ユーザU1の上半身の動きを他の部位の動きよりも高精度に仮想人物V1に反映させるような、当該仮想人物V1の表現方法を採用する。
また、例えば、ユーザU1が仮想空間で開催されるヨガ教室に参加する場合、ユーザU1の全身の動きが激しくなる傾向にある。また、この場合、情報取得部111は、ユーザU1の全身の動きをセンシング可能に設定される傾向にある。例えば、情報取得部111としてのカメラは、ユーザU1の全身を撮影するように設置される傾向にある。このような場合、表現方法決定部112は、ユーザU1の全身の動きを仮想人物V1に反映させるような、当該仮想人物V1の表現方法を採用する。
なお、表現方法決定部112は、カメラの撮影範囲(例えば、上半身を撮影しているか、全身を撮影しているか)に限られず、例えば部屋の種類(例えば、デスクワークが行われる個室か、運動可能な広い部屋か)などに応じて、表現方法を決定しても良い。部屋の種類は、例えば、操作端末等を介してユーザ端末11_1に入力される。
また、表現方法決定部112は、ユーザU1が参加するイベントの内容に応じて、仮想人物V1の仮想空間における表現方法を決定しても良い。ユーザU1が参加するイベントの内容は、例えば、操作端末等を介してユーザ端末11_1に入力される。
例えば、ユーザU1が参加するイベントが勤務先の定例会議である場合、表現方法決定部112は、ユーザU1の上半身の動きのみを仮想人物V1に反映させるような、仮想人物V1の表現方法を採用しても良い。或いは、ユーザU1が参加するイベントがヨガ教室やウォーキングイベントである場合、表現方法決定部112は、ユーザU1の全身の動きを仮想人物V1に反映させるような、仮想人物V1の表現方法を採用しても良い。それにより、表現方法決定部112は、より正確に、参加イベントに適したユーザU1の動きを、仮想人物V1に反映させることができる。
さらに、表現方法決定部112は、ユーザU1が、所定イベントに集まる複数のユーザのうち、当該所定イベントの主催者又はそれに相当する者であるか否かに基づいて、仮想人物V1の仮想空間における表現方法を決定しても良い。ユーザU1が所定イベントの主催者又はそれに相当する者であるか否かについては、例えば、操作端末等を介してユーザ端末11_1に入力される。
例えば、ユーザU1がヨガ教室の講師である場合には、表現方法決定部112は、ユーザU1の全身の動きをより高精度に(少なくともヨガ教室の受講者の場合よりも高精度に)仮想人物V1に反映させるような、当該仮想人物V1の表現方法を採用しても良い。なお、この場合、情報取得部111は、ユーザU1の全身の動きをより高い精度で(少なくともヨガ教室の受講者の場合よりも高い精度で)検出することが好ましい。それにより、ヨガ教室の講師は、受講者に対して、より正確なヨガポーズを伝えることができる。それに対し、ユーザU1がヨガ教室の受講者である場合には、表現方法決定部112は、ユーザU1の全身の動きをより低い精度で(少なくともヨガ教室の講師の場合よりも低い精度で)仮想人物V1に反映させるような、当該仮想人物V1の表現方法を採用しても良い。なお、この場合、情報取得部111は、ユーザU1の全身の動きをより低い精度で(少なくともヨガ教室の講師の場合よりも低い精度で)検出することが好ましい。それにより、仮想空間制御システム1の画像処理の負担が軽減される。
通信部113は、ネットワーク50を介して、管理装置12との間でデータ(情報)の受け渡しを行う。例えば、通信部113は、情報取得部111によって取得された情報や、表現方法決定部112によって決定された仮想人物V1の表現方法に関する情報を、ネットワーク50を介して、管理装置12に送信する。それにより、管理装置12は、ユーザ端末11_1によって決定された表現方法を用いて表現されたユーザU1に対応する仮想人物V1を仮想空間に配置する。
なお、通信部113は、情報取得部111によって取得されたユーザU1の動作に関する情報から、所定の動作に関する情報を抽出して除外したものを、管理装置12に送信しても良い。この場合、管理装置12は、情報取得部111によって取得されたユーザU1の動作に関する情報のうち、所定の動作に関する情報、が除外された情報、に基づいて、仮想人物V1を仮想空間において動作させる。例えば、管理装置12は、ユーザU1の動作のうち、あくび、のび、クセ、飲み物を飲む仕草などの所定の動作を、仮想人物の動きに反映させないようにする。それにより、イベントに参加する他のユーザに不快な思いをさせないようにすることができる。なお、ユーザU1の動作に関する情報から所定の動作に関する情報を除外する処理は、ユーザ端末11において行われる場合に限られず、管理装置12において行われても良い。
また、通信部113は、管理装置12によって管理されている仮想空間に関する情報を、ネットワーク50を介して、受信する。
制御部114は、ユーザ端末11_1の全般的な制御を行う。表示部115は、管理装置12によって管理されている仮想空間を表示する。音声出力部116は、所謂スピーカであって、管理装置12によって管理されている仮想空間における音声を出力する。
続いて、図3を用いて、仮想空間制御システム1の動作について説明する。
図3は、仮想空間制御システム1の動作を示すフローチャートである。
まず、各ユーザ端末11_1~11_nにおいて、ユーザの動作及び当該ユーザの周辺環境に関する情報の取得が行われる(ステップS101)。
その後、各ユーザ端末11_1~11_nにおいて、取得された情報に基づいて、ユーザに対応する仮想人物の仮想空間における表現方法が決定される(ステップS102)。
その後、管理装置12によって、各ユーザ端末11_1~11_nにおいて決定された表現方法を用いて表現された仮想人物が、仮想空間に配置される(ステップS103)。
その後、各ユーザ端末11_1~11_nにおいて、管理装置12によって管理されている仮想空間が、表示部(モニタ)に表示される(ステップS104)。
図4は、ユーザ端末11_1~11_nの一つであるユーザ端末11_1及びその周辺環境の一例を示す概略図である。
図4を参照すると、ユーザ端末11_1は、例えばPC端末であって、ユーザ宅の個室R1に設置されている。ユーザ端末11_1であるPC端末には、情報取得部111として、カメラ111a、マイク111b、キーボード111cが設けられ、表示部115として、モニタ115aが設けられ、音声出力部116として、スピーカ116aが設けられている。ここで、ユーザ端末11_1は、主に、ユーザU1が、仮想空間において開催される会議に参加するために使用される。したがって、カメラ111aは、ユーザ端末11_1を利用するユーザU1の上半身のみを撮影可能に設置されている。そのため、ユーザ端末11_1は、情報取得部111によって取得した情報(例えば、カメラ111aによるユーザU1の撮影範囲、又は、キーボード111cを介して入力された参加イベントの情報など)に基づいて、ユーザU1の上半身の動きを他の部位の動きよりも高精度に仮想人物V1に反映させるような、当該仮想人物V1の表現方法を採用する。
図5は、ユーザ端末11_1のモニタ115aに表示された表示内容の一例を示す概略図である。図5を参照すると、モニタ115aには、仮想空間において開催される会議の参加者の仮想人物が表示されている。なお、ユーザ端末11_1を利用中のユーザU1の仮想人物V1は、モニタ115aの右下の枠に表示されている。図5を見ても分かるように、会議では、参加者の上半身の動き(特に、口の動き、顔の表情、メモを取る仕草など)に視線が集まる。したがって、ユーザ端末11_1は、ユーザU1の上半身の動きを他の部位の動きよりも高精度に仮想人物V1に反映させるような、当該仮想人物V1の表現方法を採用している。
図6は、ユーザ端末11_1~11_nの一つであるユーザ端末11_2及びその周辺環境の一例を示す概略図である。
図6を参照すると、ユーザ端末11_2は、例えば専用の通信端末であって、例えばウォーキングイベントのために準備された専用の部屋(レンタルルーム等)R2に設置されている。ユーザ端末11_2である通信端末には、情報取得部111として、カメラ111d、集音器111e、キーボード111fが設けられ、表示部115として、壁全体を覆うようにモニタ115bが設けられ、音声出力部116として、スピーカ116aが設けられている。ここで、ユーザ端末11_2は、上述したように仮想空間において開催されるウォーキングイベントに参加するために使用される。そのため、カメラ111aは、ユーザ端末11_2を利用する一人以上のユーザU2の全身を撮影可能に設置されている。したがって、ユーザ端末11_2は、情報取得部111によって取得した情報に基づいて、ユーザU2の全身の動きを仮想人物V2に反映させるような、当該仮想人物V2の表現方法を採用する。
このように、本実施の形態にかかる仮想空間制御システム1は、ユーザ端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報に基づいて、当該ユーザに対応する仮想人物の仮想空間における表現方法を決定することにより、仮想空間において開催されるイベントに参加するユーザの仮想人物を、そのイベントに適した表現方法で表現させることができる。
なお、上記実施の形態では、本開示をハードウェアの構成として説明したが、本開示は、これに限定されるものではない。本開示は、仮想空間制御システム1の制御処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することが可能である。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリを含む。磁気記録媒体は、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブなどである。光磁気記録媒体は、例えば光磁気ディスクなどである。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 仮想空間制御システム
11_1~11_n ユーザ端末
12 管理装置
50 ネットワーク
111 情報取得部
112 表現方法決定部
113 通信部
114 制御部
115 表示部
116 音声出力部
R1 個室
R2 専用の部屋
111a カメラ
111b マイク
111c キーボード
111d カメラ
111e 集音器
111f キーボード
115a モニタ
116a スピーカ
115b モニタ
116b スピーカ

Claims (7)

  1. 複数のユーザ端末と、
    各前記ユーザ端末を利用中のユーザの動作に応じて動作する仮想人物、が配置される仮想空間を管理する管理装置と、
    を備えた、仮想空間制御システムであって、
    各前記ユーザ端末は、
    自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得し、
    取得された情報に基づいて、自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定し、
    前記管理装置によって管理されている前記仮想空間をモニタに表示し、
    前記管理装置は、
    各前記ユーザ端末によって決定された表現方法を用いて表現された、各前記ユーザ端末を利用中のユーザに対応する仮想人物、を前記仮想空間に配置する、
    仮想空間制御システム。
  2. 各前記ユーザ端末は、さらに、自端末を利用中のユーザが参加するイベントの内容に応じて、前記自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定する、
    請求項1に記載の仮想空間制御システム。
  3. 各前記ユーザ端末は、さらに、自端末を利用中のユーザが、所定イベントに集まる複数のユーザのうち、当該所定イベントの主催者又はそれに相当する者であるか否かに基づいて、前記自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定する、
    請求項1又は2に記載の仮想空間制御システム。
  4. 各前記ユーザ端末は、取得されたユーザの動作に関する情報から、所定の動作に関する情報を抽出し、
    前記管理装置は、各前記ユーザ端末における、取得されたユーザの動作に関する情報のうち、前記所定の動作に関する情報、が除外された情報、に基づいて、各前記ユーザ端末を利用中のユーザに対応する仮想人物を仮想空間において動作させる、
    請求項1~3の何れか一項に記載の仮想空間制御システム。
  5. 各前記ユーザ端末は、マイク、距離センサ、操作端末、及び、カメラの少なくとも何れかに基づいて、自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得する、
    請求項1~4の何れか一項に記載の仮想空間制御システム。
  6. 複数のユーザ端末と、
    各前記ユーザ端末を利用中のユーザの動作に応じて動作する仮想人物、が配置される仮想空間を管理する管理装置と、
    を備えた、仮想空間制御システムの制御方法であって、
    各前記ユーザ端末を用いて、自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得し、
    各前記ユーザ端末を用いて、前記取得された情報に基づいて、自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定し、
    前記管理装置を用いて、各前記ユーザ端末によって決定された表現方法を用いて表現された、各前記ユーザ端末を利用中のユーザに対応する仮想人物、を前記仮想空間に配置し、
    各前記ユーザ端末を用いて、前記管理装置によって管理されている前記仮想空間をモニタに表示する、
    仮想空間制御システムの制御方法。
  7. 複数のユーザ端末と、
    各前記ユーザ端末を利用中のユーザの動作に応じて動作する仮想人物、が配置される仮想空間を管理する管理装置と、
    を備えた、仮想空間制御システムの制御プログラムであって、
    各前記ユーザ端末を用いて、自端末を利用中のユーザの動作及び当該ユーザの周辺環境に関する情報を取得する処理と、
    各前記ユーザ端末を用いて、前記取得された情報に基づいて、自端末を利用中のユーザに対応する仮想人物の仮想空間における表現方法を決定する処理と、
    前記管理装置を用いて、各前記ユーザ端末によって決定された表現方法を用いて表現された、各前記ユーザ端末を利用中のユーザに対応する仮想人物、を前記仮想空間に配置する処理と、
    各前記ユーザ端末を用いて、前記管理装置によって管理されている前記仮想空間をモニタに表示する処理と、
    をコンピュータに実行させる制御プログラム。
JP2021165223A 2021-10-07 2021-10-07 仮想空間制御システム、その制御方法、及び、制御プログラム Pending JP2023056109A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021165223A JP2023056109A (ja) 2021-10-07 2021-10-07 仮想空間制御システム、その制御方法、及び、制御プログラム
CN202211208608.4A CN115951774A (zh) 2021-10-07 2022-09-30 虚拟空间控制系统、其控制方法、以及存储有控制程序的计算机可读存储介质
US17/960,397 US11928253B2 (en) 2021-10-07 2022-10-05 Virtual space control system, method for controlling the same, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021165223A JP2023056109A (ja) 2021-10-07 2021-10-07 仮想空間制御システム、その制御方法、及び、制御プログラム

Publications (1)

Publication Number Publication Date
JP2023056109A true JP2023056109A (ja) 2023-04-19

Family

ID=85796938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021165223A Pending JP2023056109A (ja) 2021-10-07 2021-10-07 仮想空間制御システム、その制御方法、及び、制御プログラム

Country Status (3)

Country Link
US (1) US11928253B2 (ja)
JP (1) JP2023056109A (ja)
CN (1) CN115951774A (ja)

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11154178A (ja) * 1997-11-19 1999-06-08 Fujitsu Ltd 通信管理装置及び記録媒体
US6753857B1 (en) * 1999-04-16 2004-06-22 Nippon Telegraph And Telephone Corporation Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor
JP3623415B2 (ja) 1999-12-02 2005-02-23 日本電信電話株式会社 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
US20060294465A1 (en) * 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
WO2008151420A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Automatic feature mapping in inheritance based avatar generation
US20090265642A1 (en) * 2008-04-18 2009-10-22 Fuji Xerox Co., Ltd. System and method for automatically controlling avatar actions using mobile sensors
TW201203030A (en) * 2010-03-16 2012-01-16 Intel Corp A gaming system with safety features
US9064369B2 (en) * 2010-04-06 2015-06-23 Multimedia Games, Inc. Wagering game, gaming machine and networked gaming system with customizable player avatar
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
ITRM20110315A1 (it) * 2011-06-16 2012-12-17 Angelo Bellomo Procedure realizzative di funzionalità dinamiche avanzate nell'ambito dei social network e relativi dispositivi di rete che ne permettono l'implementazione.
US9007427B2 (en) * 2011-12-14 2015-04-14 Verizon Patent And Licensing Inc. Method and system for providing virtual conferencing
CN104937641A (zh) * 2013-02-01 2015-09-23 索尼公司 信息处理装置、客户端装置、信息处理方法以及程序
US20140245192A1 (en) * 2013-02-26 2014-08-28 Avaya Inc. Portable and context sensitive avatar methods and systems
US20170302709A1 (en) * 2015-12-31 2017-10-19 Maria Francisca Jones Virtual meeting participant response indication method and system
US9955120B2 (en) * 2016-02-12 2018-04-24 Sony Interactive Entertainment LLC Multiuser telepresence interaction
KR102553190B1 (ko) * 2016-12-29 2023-07-07 매직 립, 인코포레이티드 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
JP6306765B1 (ja) * 2017-02-27 2018-04-04 株式会社コロプラ 仮想空間を移動するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラムおよび情報処理装置
US10776861B1 (en) * 2017-04-27 2020-09-15 Amazon Technologies, Inc. Displaying garments on 3D models of customers
JP6257825B1 (ja) * 2017-05-26 2018-01-10 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN109802931B (zh) * 2017-11-17 2021-08-06 腾讯科技(深圳)有限公司 一种通信处理方法、终端及存储介质
US10901687B2 (en) * 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
US11244483B2 (en) * 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
KR102663906B1 (ko) * 2019-01-14 2024-05-09 삼성전자주식회사 아바타를 생성하기 위한 전자 장치 및 그에 관한 방법
CN113508369A (zh) 2019-04-01 2021-10-15 住友电气工业株式会社 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
CN113811840A (zh) * 2019-04-15 2021-12-17 苹果公司 减弱模式
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
US20200371673A1 (en) * 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures
JP6737942B1 (ja) 2019-09-30 2020-08-12 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
US11609345B2 (en) * 2020-02-20 2023-03-21 Rockwell Automation Technologies, Inc. System and method to determine positioning in a virtual coordinate system
US11321892B2 (en) * 2020-05-21 2022-05-03 Scott REILLY Interactive virtual reality broadcast systems and methods
US11218669B1 (en) * 2020-06-12 2022-01-04 William J. Benman System and method for extracting and transplanting live video avatar images
US11694413B2 (en) * 2020-08-25 2023-07-04 Spatial Systems Inc. Image editing and sharing in an augmented reality system
US11394925B1 (en) * 2021-06-30 2022-07-19 Microsoft Technology Licensing, Llc Automated UI and permission transitions between presenters of a communication session

Also Published As

Publication number Publication date
US11928253B2 (en) 2024-03-12
US20230114755A1 (en) 2023-04-13
CN115951774A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN112243583B (zh) 多端点混合现实会议
US20150049162A1 (en) Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management
CN113508369A (zh) 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
US11595615B2 (en) Conference device, method of controlling conference device, and computer storage medium
JP6684952B1 (ja) コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
JP2011039860A (ja) 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム
WO2018061173A1 (ja) Tv会議システム、tv会議方法、およびプログラム
US20170185365A1 (en) System and method for screen sharing
KR20200043658A (ko) Vr 발표 및 면접 훈련 시스템
CN112151041A (zh) 基于录音机程序的录音方法、装置、设备及存储介质
US20220070066A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP2023056109A (ja) 仮想空間制御システム、その制御方法、及び、制御プログラム
KR20170127354A (ko) 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
JP7152453B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP2023146875A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20220047226A (ko) 사용자 맞춤형 독서실 관리 시스템
JP2019117997A (ja) ウェブ会議システム、ウェブ会議システムの制御方法、およびプログラム
WO2021140800A1 (ja) コミュニケーション支援システムおよびコミュニケーション支援プログラム
US11949727B2 (en) Organic conversations in a virtual group setting
WO2023149562A1 (ja) 仮想空間もしくはオンラインミーティングシステムの作動システムおよび作動方法
JP7312550B2 (ja) 仮想空間提供システム、仮想空間提供方法及びプログラム
JP7292765B1 (ja) コミュニケーション制御装置及びコンピュータープログラム
JP7477909B2 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP7465012B2 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP7100938B1 (ja) 動画像分析プログラム