JP2023060569A - 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム - Google Patents

情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2023060569A
JP2023060569A JP2021170235A JP2021170235A JP2023060569A JP 2023060569 A JP2023060569 A JP 2023060569A JP 2021170235 A JP2021170235 A JP 2021170235A JP 2021170235 A JP2021170235 A JP 2021170235A JP 2023060569 A JP2023060569 A JP 2023060569A
Authority
JP
Japan
Prior art keywords
user
avatar
mode
information processing
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021170235A
Other languages
English (en)
Inventor
ぼん晶 李
Bonsho Ri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021170235A priority Critical patent/JP2023060569A/ja
Priority to PCT/JP2022/029576 priority patent/WO2023067871A1/ja
Priority to CN202280070206.4A priority patent/CN118215902A/zh
Publication of JP2023060569A publication Critical patent/JP2023060569A/ja
Priority to US18/637,565 priority patent/US20240264672A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Figure 2023060569000001
【課題】仮想空間に複数のユーザのアバターが配置される場合に、容易に、現実空間に近い印象を仮想空間からユーザに与える技術を提供する。
【解決手段】情報処理装置は、第１のアバターに対する第１のユーザの操作を受け付ける受付手段と、コンテンツに応じた仮想空間であって、第２のユーザに紐づく第２のアバターを含む仮想空間を表す画像を表示するように表示手段を制御する制御手段と、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、前記第２のアバターに対する前記第２のユーザの操作を前記第２のアバターの動作に反映させる第１のモードと、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、特定の動作を前記第２のアバターの動作に反映させる第２のモードとの間で動作モードを切り替える切替手段とを有する。
【選択図】図７

Description

本発明は、情報処理装置、表示装置、表示システム、情報処理方法、およびプログラムに関する。
現実と仮想を併せ持った環境（拡張現実（ＡＲ）または複合現実（ＭＲ）など）での教育やトレーニングが広まっている。ユーザは、ユーザ自身の分身であるアバターを仮想空間（ＸＲ空間）内に配置して操作することで、あたかも仮想空間に自分が存在しているかのようにコミュニケーションや作業を行うことができる。ここで、仮想空間は、ＶＲ（仮想現実）、ＡＲ（拡張現実）、ＭＲ（複合現実）、およびＳＲ（代替現実）の空間のいずれの空間であってもよい。
特許文献１では、仮想空間で授業を行う際に、現実空間における教師の動きと同じ動作をするアバターを仮想空間に生成するシステムが記載されている。また、特許文献２では、１つの仮想空間内に複数の生徒のアバターを配置する授業コンテンツと、複数の生徒のアバターをそれぞれ個別の仮想空間内に配置する実地学習コンテンツとを、所定のタイミングで切り替えて表示するシステムが記載されている。
特許第６８９２４７８号公報 特許第６７２７３８８号公報
しかし、仮想空間に複数のユーザのアバターが配置される場合には、複数のユーザのそれぞれは各アバターの動作を自由に操作可能である。このため、仮想空間を見るユーザが仮想空間から感じる印象が、現実空間から想定される印象と乖離しまう可能性がある。これに対して、現実空間に近い印象を仮想空間からユーザに与えるために、一定の管理の下、それぞれのユーザがアバターを細かく操作することが考えられる。しかし、厳格な管理が必要になり現実的ではない。
そこで、本発明は、仮想空間に複数のユーザのアバターが配置される場合に、容易に、現実空間に近い印象を仮想空間からユーザに与える技術の提供を目的とする。
本発明の１つの態様は、
第１のアバターに対する第１のユーザの操作を受け付ける受付手段と、
コンテンツに応じた仮想空間であって、第２のユーザに紐づく第２のアバターを含む仮想空間を表す画像を表示するように表示手段を制御する制御手段と、
前記第１のユーザの操作を前記第１のアバターに反映し、かつ、前記第２のアバターに対する前記第２のユーザの操作を前記第２のアバターの動作に反映させる第１のモードと、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、特定の動作を前記第２のアバターの動作に反映させる第２のモードとの間で動作モードを切り替える切替手段と、
前記動作モードに基づき、前記第２のアバターの動作を制御する動作制御手段と、
を有することを特徴とする情報処理装置である。
本発明の１つの態様は、
表示手段を有する表示装置と、表示装置を制御する情報処理装置とを有する表示システムであって、
第１のアバターに対する第１のユーザの操作を受け付ける受付手段と、
コンテンツに応じた仮想空間であって、第２のユーザに紐づく第２のアバターを含む仮想空間を表す画像を表示するように前記表示手段を制御する制御手段と、
前記第１のユーザの操作を前記第１のアバターに反映し、かつ、前記第２のアバターに対する前記第２のユーザの操作を前記第２のアバターの動作に反映させる第１のモードと、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、特定の動作を前記第２のアバターの動作に反映させる第２のモードとの間で動作モードを切り替える切替手段と、
前記動作モードに基づき、前記第２のアバターの動作を制御する動作制御手段と、
を有することを特徴とする表示システムである。
本発明の１つの態様は、
第１のアバターに対する第１のユーザの操作を受け付ける受付ステップと、
コンテンツに応じた仮想空間であって、第２のユーザに紐づく第２のアバターを含む仮想空間を表す画像を表示するように表示手段を制御する制御ステップと、
前記第１のユーザの操作を前記第１のアバターに反映し、かつ、前記第２のアバターに対する前記第２のユーザの操作を前記第２のアバターの動作に反映させることと、特定の動作を前記第２のアバターの動作に反映させる第１のモードと、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、特定の動作を前記第２のアバターの動作に反映させる第２のモードとの間で動作モードを切り替える切替ステップと、
前記動作モードに基づき、前記第２のアバターの動作を制御する動作制御ステップと、を有することを特徴とする情報処理方法である。
本発明によれば、仮想空間に複数のユーザのアバターが配置される場合に、容易に、現実空間に近い印象を仮想空間からユーザに与えることができる。
実施形態１に係る情報処理装置のシステム構成例を示す図である。 実施形態１に係る情報処理装置の構成要素を説明する図である。 現実空間および仮想空間を説明する図である。 リアルモーションモードを説明する図である。 バーチャルモーションモードを説明する図である。 実施形態１に係る表示制御処理を示すフローチャートである。 実施形態１に係るモーションモード決定処理を示すフローチャートである。 実施形態２に係るモーションモード決定処理を示すフローチャートである。
以下、本発明に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境など）によって適宜修正または変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。
＜実施形態１＞
図１は、実施形態１に係る情報処理装置２０１のシステム構成例を示した構成図である。図２は、情報処理装置２０１が仮想空間（ＸＲ空間）におけるアバターの動作を制御するための構成要素を示した構成図である。
（アバターの動作について）
まず、情報処理装置２０１の構成を説明する前提として、図３Ａ～図５を参照して、仮想空間に配置される複数のアバターの動作について説明する。
ここでは、一例として、複数のユーザのアバターを配置した仮想空間の一部を表す画像をＨＭＤ（ヘッドマウントディスプレイ）に表示する場合を説明する。なお、ユーザは、ＨＭＤに表示された仮想空間を表す画像を見ることにより、現実空間に近い雰囲気で授業を受けるものとする。以下では、仮想空間を表す画像を見るユーザを「観覧者」と呼ぶ。
図３Ａは、ユーザ１０１がいる現実空間１０５と、ユーザ１０２がいる現実空間１０６と、ユーザ１０３がいる現実空間１０７と、ユーザ１０４がいる現実空間１０８を表す図である。ユーザ１０１～１０４はそれぞれ、ＨＭＤを装着している。ユーザ１０１～１０４が装着している各ＨＭＤには、現実空間を撮像（撮影）する撮像装置（カメラ）が搭載されている。また、現実空間１０５～１０８は、ユーザ１０１～１０４の自宅など、互いに遠く離れた空間である。図３Ａでは、ユーザ１０１が授業を行っており、ユーザ１０２～１０４が授業を受けている。ユーザ１０２は正面を向かずに側面を向いており、ユーザ１０３は机にうつぶせており、ユーザ１０４は正面を向いている。
図３Ｂは、現実空間１０５～１０８におけるユーザ１０１～１０４に紐づく（対応する）アバター１０９～１１２と、仮想オブジェクト１１３，１１４とが配置された仮想空間１００を表す図である。仮想オブジェクト１１３は、黒板のオブジェクトである。仮想オブジェクト１１４は、それぞれのアバターに与えられた机のオブジェクトである。
例えば、ユーザ１０４のＨＭＤには、現実空間１０８を撮像した画像に対して、他のユーザ１０１～１０３のアバター１０９～１１１と仮想オブジェクト１１３，１１４とが重畳された画像（仮想空間１００の一部）が表示される。すなわち、ユーザ１０１～１０４は、仮想空間１００に仮想的に配置されているアバター１０９～１１２のうち自身のアバター以外と、仮想オブジェクト１１３，１１４を、ＨＭＤを用いて見ることができる。
ここで、各アバターには、当該アバターの動作を制御するために、モーションモード（動作モード）が設定される。具体的には、各アバターには、リアルモーションモード（第１のアバターモーションモード）とバーシャルモーションモード（第２のアバターモーションモード）との２つのモーションモードのいずれかが設定できる。
リアルモーションモードは、実施形態１では、ユーザの現実の動作（リアルモーション）をアバターに反映（設定）するモーションモードである。なお、リアルモーションモードは、ユーザの現実の動きをアバターの動きに反映するのみならず、アバターに対するユーザの操作（ユーザの位置姿勢の変化を含む）をアバターに反映するモーションモードであってよい。
バーチャルモーションモードは、特定の動作（バーチャルモーション）をアバターに反映するモーションモードである。なお、特定の動作は、予め設定された動作であってもよし、ユーザの過去の動作や他のユーザの現在の動作であってもよい。つまり、バーチャルモーションモードは、アバターに対するユーザの操作に応じた動作以外の動作を、当該アバターに反映するモーションモードである。
例えば、アバター１０９～１１１にリアルモーションモードが設定されている場合には、ユーザ１０１～１０３それぞれの現実の動作（ユーザ１０１～１０３それぞれの位置姿勢の変化に応じた動作）がアバター１０９～１１１に反映される。図４は、この場合に、ユーザ１０４のＨＭＤに表示される仮想空間４００（画像）を表す。このように、ユーザ１０４のＨＭＤには、ＨＭＤの撮像装置（カメラ）にて撮像（撮影）された現実空間を表す画像（現実画像）に、他のユーザの現実の動作と同様の動作をするアバター１０９～１１１が重畳された画像が表示される。
また、例えば、アバター１０９～１１１にバーチャルモーションモードが設定されている場合には、特定の動作（所定の動作）がアバター１０９～１１１に反映される。図５は、この場合に、ユーザ１０４のＨＭＤに表示される仮想空間５００（画像）を表す。特定の動作は、コンテンツの内容に合致した動作（例えば、授業の内容をノートに書き写す動作、正面を向き続ける動作、または周期的に頷く動作）である。このように、ユーザ１０４のＨＭＤには、コンテンツの内容に相応しい動作をする他のユーザのアバター１０９～１１１が表示される。
なお、アバター１０９～１１１にバーチャルモーションモードが設定されている場合には、仮想空間を表す画像が表示されるだけではなく、コンテンツの進行状況に対応する音声（予め設定された音声）が同時に再生されてもよい。例えば、コンテンツの進行状況が授業中である状況であれば、コンテンツの進行状況に対応する音声とは、ノートに文字が書き込まれる音、または所定の時刻に発せられるチャイムの音などである。
（情報処理装置の構成について）
図１は、情報処理装置２０１のシステム構成を示した図である。情報処理装置２０１は、ユーザ１０４のＨＭＤに搭載された撮像装置（カメラ）にて撮像（撮影）された現実空間を表す画像に、仮想オブジェクトを重畳した仮想空間（ＭＲ空間）を表す画像を生成する。そして、情報処理装置２０１は、生成した画像をＨＭＤに送信する。仮想オブジェクトは、コンピュータグラフィック（ＣＧ）技術を用いて生成される。なお、ＭＲ技術は既存の技術であるため、本明細書ではＭＲ技術についての詳細な説明は省略する。
情報処理装置２０１は、システム構成として、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、記録部２０５、入力受付部２０６、通信インターフェース２０７、ＧＰＵボード２０８、ディスプレイドライバ２０９を有する。情報処理装置２０１は、情報処理が可能であれば、ＰＣ、スマートフォン、タブレット端末などの任意の電子機器であってよい。
ＣＰＵ２０２は、システム制御部である。ＣＰＵ２０２は、情報処理装置全体を制御する。また、ＣＰＵ２０２は、情報処理プログラムの実行によって、実施形態１に係る図６および図７のフローチャートの処理を実現する。
ＲＯＭ２０３は、変更を必要としないプログラム（基本プログラム）やパラメータを格納する読み取り専用のメモリである。ＲＡＭ２０４は、入力情報、演算結果（情報処理、画像処理における演算結果）などを一時的に記憶するメモリである。
記録部２０５は、種々の情報の書き込みおよび読出しが可能な装置である。記録部２０５は、情報処理装置２０１に内蔵または外付けされた装置（ハードディスク、またはメモリカード）である。記録部２０５は、情報処理装置２０１に対して着脱可能な装置（メモリカード、フレキシブルディスク、またはＩＣカード）であってもよい。
記録部２０５には、情報処理プログラムが記録されている。情報処理プログラムは、記
録部２０５から読み出されてＲＡＭ２０４に展開され、ＣＰＵ２０２によって実行される。なお、情報処理プログラムは、ＲＯＭ２０３に格納されていてもよい。また、記録部２０５は、入力受付部２０６に入力された操作情報や、各ＨＭＤにおいて検出されるユーザ１０１～１０４の位置姿勢の情報を記録することができる。また、記録部２０５には、バーチャルモーションモードが設定されたアバターの動作である特定の動作の情報も記録されていてもよい。
入力受付部２０６は、各ユーザによる操作に応じた操作情報を操作部２１０から受け付ける。
通信インターフェース２０７は、外部装置（操作デバイスやクラウドなど）とデータの送受信を行うことが可能なインターフェースである。本実施形態では、通信インターフェース２０７は、ネットワークを介して、ユーザ１０１～１０４のＨＭＤに備えられたカメラで撮像した現実空間を表す画像の情報や、ユーザ１０１～１０４のＨＭＤで検出された位置姿勢の情報などを受け付けることができる。
なお、ユーザ１０１～１０４は、自身の位置姿勢を変化させることにより、アバターの動作を制御することができる。このため、ユーザの位置姿勢の情報も、操作情報（ユーザの操作の情報）であるといえる。従って、入力受付部２０６と通信インターフェース２０７とを併せて、ユーザの操作を受け付ける「操作受付部」であると捉えることもできる。
ＧＰＵボード２０８は、画像の生成や合成などの処理を行う。ＧＰＵボード２０８は、汎用グラフィックボードである。ＧＰＵボード２０８は、ＨＭＤのカメラが撮像した現実空間を表す画像に、仮想オブジェクトの画像を重畳するような処理（画像生成、および合成処理）を行うことができる。仮想オブジェクトの画像は、例えば、予め生成して記録部２０５に記録されている。
ディスプレイドライバ２０９は、表示部２１１を制御する。ディスプレイドライバ２０９は、ソフトウェアである。
操作部２１０は、ユーザの操作に応じた操作情報を取得する。操作部２１０は、ポインティング操作や各種コマンドなどの入力が可能な操作デバイス（キーボード、マウス、コントローラなど）を含む。実施形態１では、操作部２１０は、各ユーザが仮想空間のおけるアバターを操作した際の操作情報を取得する。操作情報は、入力受付部２０６に送られる。なお、操作部２１０は、モーションキャプチャに応じた操作情報を取得してもよい。
表示部２１１は、ユーザ１０１～１０４の各ＨＭＤに搭載された電子ディスプレイデバイス（液晶表示デバイスなど）である。表示部２１１は、記録部２０５に記録された情報に基づき、ＧＰＵボード２０８が生成した仮想空間（ＸＲ空間）を表す画像を表示する。表示部２１１は、仮想空間のうち、ＨＭＤを装着するユーザの位置姿勢（アバターに対するユーザの操作）に応じた領域を表示する。
なお、図１では、操作部２１０や表示部２１１が情報処理装置２０１の外部の構成であるとして表現している。このため、図１は、情報処理装置２０１と、表示部２１１を有するＨＭＤ（表示装置）と、操作部２１０を有する操作部材とからなる表示システムを示していると捉えることができる。また、図１がＨＭＤの構成を示していると捉え、ＨＭＤが、情報処理装置２０１と操作部２１０と表示部２１１を含んでいる構成であってもよい。情報処理装置２０１が、操作部２１０や表示部２１１を含んでいてもよい。
図２は、情報処理装置２０１のうちアバターの動作を制御するための構成要素を示す構
成図である。本実施形態では、図３Ａに示すユーザ１０４のＨＭＤに仮想空間を表す画像を表示する情報処理装置２０１の構成要素について説明する。なお、図２に示す構成要素の処理は図１におけるＣＰＵ２０２が実行するため、図２に示す構成要素はＣＰＵ２０２の一部であると言える。情報処理装置２０１は、上記の構成要素として、情報取得部３０１、モーション取得部３０３、モーション決定部３０５、モーション制御部３０６、表示制御部３０７を有する。
情報取得部３０１は、仮想空間におけるアバターに紐づくユーザの情報を取得する。情報取得部３０１は、図３Ａの例では、ユーザ１０１～１０４が装着している各ＨＭＤから、ユーザＩＤ（ログイン情報）とアバター操作方法の情報（操作デバイスの情報）とを取得する。そして、情報取得部３０１は、ユーザＩＤとアバター操作方法の情報をアバター情報３０２として、例えば、記録部２０５に格納する。アバター操作方法の情報とは、ユーザがアバターの動作をどのように制御するかを表す情報である。このため、アバター操作方法の情報とは、例えば、ユーザの位置姿勢の変化によってアバターの動作を制御することや、コントローラに対する操作によってアバターの動作を制御することなどの情報である。
モーション取得部３０３は、アバター１０９～１１２の位置姿勢（位置、向き、および動作）の情報を取得する。モーション取得部３０３は、アバターの位置姿勢の情報をアバターモーション情報３０４として、例えば、記録部２０５に格納する。
モーション決定部３０５は、アバター１０９～１１１に設定するモーションモード（動作モード）を決定する。例えば、モーション決定部３０５は、アバター１０９～１１１それぞれに対する当該アバターの動きを制御するためのユーザの操作に応じて、当該アバター１０９～１１１のモーションモードを決定する。また、モーション決定部３０５は、ユーザ１０４が各アバターに対するモーションモードを指示した場合には、ユーザ１０４による指示に応じて当該アバターのモーションモードを決定する。また、モーション決定部３０５は、コンテンツの進行状況（経過時間など）に紐づけられた設定に従って、各アバターのモーションモードを決定してもよい。なお、ユーザ１０４がモーションモードを指示する場合には、ユーザ１０４が、アバター１０９～１１１の全てに対して一括でモーションモードを指示してもよいし、アバター１０９～１１１それぞれについて個別にモーションモードを指示してもよい。また、ユーザ１０４のＨＭＤに表示されるアバター１０９～１１１に設定されるモーションモードの指示は、ユーザ１０４に限らず、ユーザ１０１～１０３のいずれかが行ってもよい。さらに、アバター１０９～１１１に設定するモーションモードは、予め決定されていてもよい。
モーション制御部３０６は、モーション決定部３０５にて決定されたモーションモードに応じた動作を、アバター１０９～１１１の動作に反映する。具体的には、モーション制御部３０６は、アバター情報３０２、およびモーションモードに基づき、アバター１０９～１１１の動作を制御する（動作制御をする）。
例えば、モーション制御部３０６は、アバター情報３０２に基づき、動作を制御するアバターに紐づくユーザを判定し、アバター操作方法に対応する当該ユーザの操作を取得する。そして、モーション制御部３０６は、動作を制御するアバターのモーションモードがリアルモーションモードである場合には、当該アバターには、当該アバターに対するユーザの操作（動作）を反映する。
一方、或るアバターのモーションモードがバーチャルモーションモードである場合、モーション制御部３０６は、当該アバターに、特定の動作を反映する。なお、モーション制御部３０６は、或るアバターの動作を他のアバターの動作と同様の動作に制御する場合に
は、アバターモーション情報３０４に基づきアバター１０９～１１１の動作を制御してもよい。また、モーション制御部３０６は、例えば、第１のユーザの動作を特定の動作としてアバター１１１に反映している場合に、操作部２１０からの指示に基づき、第２のユーザの動作を特定の動作としてアバター１１１に反映するように切り替えることもできる。
なお、モーション制御部３０６は、アバター１０９～１１１のモーションモード（動作）がいずれの場合でも、ユーザ１０４に紐づくアバター１１２に対しては、常にユーザ１０４の操作（ユーザ１０４の位置姿勢の変化；ユーザ１０４の動作）を反映する。つまり、例えば、アバター１１０にリアルモーションモードが設定されている場合には、当該リアルモーションモードは、ユーザ１０４の操作をアバター１１２に反映させている状態で、ユーザ１０２の操作をアバター１１０に反映させるモードであるといえる。また、例えば、アバター１１０にバーチャルモーションモードが設定されている場合には、当該バーチャルモーションモードは、ユーザ１０４の操作をアバター１１２に反映させている状態で、特定の動作をアバター１１０に反映させるモードであるといえる。
表示制御部３０７は、複数のアバターを配置した仮想空間を表す画像を生成する。具体的には、表示制御部３０７は、現実空間を表す画像に対して、モーション決定部３０５にて決定された動作が反映されたアバター１０９～１１１を重畳した画像を生成する。そして、表示制御部３０７は、ユーザ１０４のＨＭＤに対して、アバター１０９～１１１を重畳した画像を送信する。これにより、ユーザ１０４のＨＭＤには、それぞれ指定された動作を反映したアバター１０９～１１１が表示される。
なお、表示制御部３０７は、モーション制御部３０６が動作を反映したアバター１１２も仮想空間に配置する。しかし、ユーザ１０４のＨＭＤには、仮想空間のうち、モーション制御部３０６が動作を反映したアバター１１２の視点から見た領域のみが表示されるので、アバター１１２自体はＨＭＤに表示されない。なお、例えば、ユーザ１０４の位置姿勢を変化させることによって、アバター１１２の視点が変化して、ＨＭＤに表示される仮想空間の領域が変化する。このため、ユーザ１０４は、ＨＭＤに表示される仮想空間の領域が変化したことを確認することによって、アバター１１２に対する操作がアバター１１２に反映されていることを確認できる。また、ＨＭＤ（表示部２１１）は、図３Ｂに示すように、モーション制御部３０６が動作を反映したアバター１１２も含む仮想空間を表す画像を表示してもよい。
（表示制御処理）
図６のフローチャートを参照して、ユーザ１０４のＨＭＤに表示される仮想空間を表す画像を制御する表示制御処理を説明する。図６のフローチャートの処理は、ＣＰＵ２０２が、記録部２０５に記録された情報処理プログラムを実行して、各構成要素を制御することにより実現される。なお、本フローチャートの開始のタイミングは限定されない。例えば、指定された時間間隔で開始されてもよいし、アバターの動きを検出したときに開始されてもよい。
ステップＳ６０１において、情報取得部３０１は、ユーザ１０１～１０４それぞれのユーザＩＤとアバター操作方法とをアバター情報３０２として取得する。アバター情報３０２によれば、アバターに紐づくユーザ、およびアバターの動作をどのような操作に応じて制御するかを特定できる。
ステップＳ６０２において、情報取得部３０１は、全てのユーザ１０１～１０４（仮想空間における全てのアバターに対応するユーザ）のアバター情報３０２を取得したか否かを判定する。そして、情報取得部３０１は、全てのユーザ１０１～１０４のアバター情報３０２を取得していない場合には、ステップＳ６０１に処理を戻し、未取得のユーザのア
バター情報３０２を取得する。一方、全てのユーザ１０１～１０４のアバター情報３０２の取得が完了している場合には、ステップＳ６０３に進む。
ステップＳ６０３において、モーション取得部３０３は、仮想空間におけるアバター１０９～１１２の位置、向き、および動作をアバターモーション情報３０４として取得する。ここで、本実施形態では、ユーザ１０４が観覧者であるため、記録部２０５には、ユーザ１０４のＨＭＤのカメラで撮像した現実空間に、アバター１０９～１１２などが重畳された重畳画像が記録されている。モーション取得部３０３は、記録部２０５からＲＡＭ２０４に重畳画像を読み出し、重畳画像が表す仮想空間におけるアバター１０９～１１２の位置や姿勢の情報を取得する。
ステップＳ６０４において、モーション決定部３０５は、ユーザ１０４のアバター１１２以外のアバター（アバター１０９～１１１）のモーションモードを決定する。モーションモードの決定処理の詳細については、図７のフローチャートを用いて後述する。このように、モーション決定部３０５は、モーションモードを決定することにより、アバター１０９～１１１に対して反映する動作を切り替えることができる。つまり、モーション決定部３０５は、アバター１０９～１１１に対して反映する動作（モーションモード）を切り替える切替部であると言える。
ステップＳ６０５において、モーション制御部３０６は、モーション決定部３０５が決定したモーションモードに応じて、アバター１０９～１１１の動作を決定する。そして、モーション制御部３０６は、決定した動作をアバター１０９～１１１に反映する。
ステップＳ６０６において、表示制御部３０７は、モーション制御部３０６で動作を反映したアバター１０９～１１１を仮想オブジェクトとともに、現実空間を表す画像に重畳する。そして、ユーザ１０４のＨＭＤ（表示部２１１）は、現実空間を表す画像にアバター１０９～１１１を重畳した画像を、仮想空間を表す画像として表示する。なお、ＣＰＵ２０２は、アバター１０９～１１１の全てまたは特定のアバターにバーチャルモーションモードが設定されている場合には、画像を表示するとともに、コンテンツの進行状況に対応する音声を再生してもよい。
（モーションモードの決定処理）
図７は、ステップＳ６０４においてモーション決定部３０５が行うモーションモードの決定処理を示すフローチャートである。
ステップＳ７０１において、モーション決定部３０５は、アバター１０９～１１１の中から、モーションモードを決定する１つのアバターを選択する。以下、ステップＳ７０１にて選択されたアバターを「選択アバター」と呼ぶ。また、選択アバターに紐づく（対応する）ユーザを「選択ユーザ」と呼ぶ。
ステップＳ７０２において、モーション決定部３０５は、コンテンツの進行状況が所定の状況であるか否かを判定する。所定の状況とは、例えば、授業前や休憩時間である状況（つまり、コンテンツに対して集中する必要が低い状況）である。コンテンツの進行状況が所定の状況であると判定された場合には、ステップＳ７０３に進む。一方、コンテンツの進行状況が所定の状況でないと判定された場合には、ステップＳ７０５に進む。
ステップＳ７０３において、モーション決定部３０５は、選択ユーザの姿勢位置の情報を取得する。なお、選択ユーザの位置姿勢の情報は、選択ユーザが装着するＨＭＤの位置姿勢（ユーザの視点方向を表す情報）から判定可能である。なお、選択ユーザ（ＨＭＤ）の位置姿勢は、ユーザによって任意に変更可能であるため、ユーザの操作の１つであると
捉えることもできる。
ＨＭＤの位置姿勢の推定の方法には、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などの技術を用いることができる。なお、現実空間におけるユーザの位置姿勢（ＨＭＤの位置姿勢）を取得できる方法あれば、ＳＬＡＭ以外の方法を用いてもよい。例えば、ＨＭＤがジャイロセンサ、モーションキャプチャ、または地磁気センサなどを有することによって、ユーザの位置姿勢を取得してもよい。
ステップＳ７０４～Ｓ７０７では、モーション決定部３０５は、選択ユーザの位置姿勢が所定の位置姿勢（所定の状態）であるか否かに応じてモーションモードを決定する（切り替える）。
ステップＳ７０４において、モーション決定部３０５は、選択ユーザの位置姿勢が所定の位置姿勢であるか否かを判定する。ここで、所定の位置姿勢とは、例えば、選択ユーザの視線方向に特定の仮想オブジェクト（黒板または机の仮想オブジェクト）が表示（配置）されているような、選択ユーザの位置姿勢である。そして、選択ユーザの位置姿勢が所定の位置姿勢であると判定された場合には、ステップＳ７０６に進む。一方、選択ユーザの位置姿勢が所定の位置姿勢でないと判定した場合には、ステップＳ７０５に進む。
例えば、ユーザ１０１が授業を行っている際に、図３Ａに示すように、ユーザ１０２が集中力を切らして周囲を見回すような場合がある。この場合に、ユーザ１０２のアバター１１０に現実空間のユーザ１０２の動作を反映してしまうと、授業中（コンテンツの状況）に相応しくない動作するアバター１１０がユーザ１０４のＨＭＤに表示されてしまう。このため、選択ユーザの視線方向が特定の仮想オブジェクトから外れた場合には、選択アバターに対してバーシャルモーションモードを設定する処理（ステップＳ７０５，Ｓ７０７）に移行する。
なお、所定の位置姿勢は、選択ユーザの視線方向に応じた位置姿勢ではなく、選択ユーザの頭部位置に応じた位置姿勢であってもよい。
ステップＳ７０５において、モーション決定部３０５は、特定の動作の情報を記録部２０５から取得する。特定の動作は、予め設定された動作であってもよいし、選択ユーザの過去の動作や、選択ユーザ以外のユーザの現在の動作であってもよい。
ステップＳ７０６において、モーション決定部３０５は、選択アバターにリアルモーションモードを設定する。
ステップＳ７０７において、モーション決定部３０５は、選択アバターにバーチャルモーションモードを設定する。
ステップＳ７０８において、モーション決定部３０５は、全てのアバター１０９～１１１のモーションモードが決定されたか否かを判定する。全てのアバター１０９～１１１のモーションモードが決定されたと判定された場合には、本フローチャートの処理が終了する。モーションモードが決定されていないアバターが存在すると判定された場合には、ステップＳ７０１に戻る。
なお、モーション決定部３０５は、ステップＳ７０２からＳ７０７までの処理が繰り返されている期間では、ユーザ１０４の指示（割り込み指示）に応じて、アバター１０９～１１１のモーションモードを変更することもできる。
実施形態１によれば、情報処理装置２０１は、仮想空間に対応するコンテンツの進行状況やユーザの位置姿勢（ユーザの操作）に応じて、アバターの動作（モーションモード）を変更する。これにより、観覧者は、現実空間に近い雰囲気の仮想空間を見ることができる。
なお、上記では、モーションモードは１つ１つのアバターに対して設定されるものとして説明したが、コンテンツの進行状況に対して設定されるものであってもよい。この場合には、或るコンテンツの進行状況に対してリアルモーションモードが設定されていれば、アバター１１２以外の全てのアバター１０９～１１１の動作にユーザ１０１～１０３の動作が反映される。そして、或るコンテンツの進行状況に対してバーチャルモーションモードが設定されていれば、アバター１１２以外の全てのアバター１０９～１１１の動作に特定の動作が反映される。
また、ユーザの脳波や心拍数、表情などの生体情報をモーションモードの決定に使用してもよい。例えば、モーション決定部３０５は、脳波や表情に応じて、任意の既知の方法によりユーザ１０４のコンテンツへの集中度合いを決定する。そして、モーション決定部３０５は、集中度合いが所定値よりも高ければ、アバター１０９～１１１のモーションモードをバーチャルモーションモードに設定する。また、モーション決定部３０５は、集中度合いが所定値以下であれば、アバター１０９～１１１のモーションモードをリアルモーションモードに設定する。これによれば、ユーザ１０４は、コンテンツに対する集中度合いを高く維持することができる。一方で、モーション決定部３０５は、集中度合いが所定値よりも低ければ、アバター１０９～１１１のモーションモードをバーチャルモーションモードに設定してもよい。この場合、モーション決定部３０５は、集中度合いが所定値以上であれば、アバター１０９～１１１のモーションモードをリアルモーションモードに設定する。これによれば、集中度合いが低いユーザ１０４の集中度合いを高めることができる。このため、集中度合いが所定値よりも高い場合と、集中度合いが所定値よりも低い場合とのいずれの場合に、アバター１０９～１１１のモーションモードをバーチャルモーションモードに設定するかは、ユーザの指示（操作）によって決定可能であってもよい。
さらには、ステップＳ７０４では、モーション決定部３０５は、選択ユーザの視線方向を判定する代わりに、選択ユーザの所定期間における動き量（選択ユーザの位置姿勢の動き量）を判定してもよい。この場合、選択ユーザの動き量が所定量よりも少なければステップＳ７０６に進み、選択ユーザの動き量が所定量以上であればステップＳ７０５に進む。これによれば、動きが多いユーザの動きがアバターに反映されることによって観覧者がコンテンツを集中して見ることの邪魔になるということを防ぐことができる。このため、観覧者が集中してコンテンツを見ることが可能になる。
＜実施形態２＞
実施形態１では、ユーザの姿勢位置に基づきアバターの動作を制御する場合について説明した。しかし、ユーザは、アバターの動作をコントローラなどの入力機器に対する操作に応じて制御する場合もある。この場合には、ユーザの位置姿勢に関わらず、アバターのモーションモードを決定する必要がある。そこで、本実施形態では、ユーザがコントローラに対する操作によりアバターを制御する場合の例について説明する。
なお、実施形態２に係る情報処理装置２０１の構成および表示制御処理については、実施形態１に係るものと同様である。従って、以下では、実施形態１にて行われる処理とは異なる処理である、モーションモードの決定処理についてのみ説明する。
図８は、実施形態２において、図６のステップＳ６０４においてモーション決定部３０
５が行うモーションモードの決定処理を示すフローチャートである。
ステップＳ８０１，Ｓ８０２は、図７のステップＳ７０１，Ｓ７０２と同様であるため、詳細な説明は省略する。
ステップＳ８０３において、モーション決定部３０５は、選択ユーザに紐づく選択アバターの動作を、アバターモーション情報３０４から取得する。
ステップＳ８０４～Ｓ８０７では、モーション決定部３０５は、選択アバターの動作が周囲のアバターと同様の動作をしているか否かにより、モーションモードを決定する（切り替える）。ここで、周囲のアバターとは、例えば、選択アバター以外の全てのアバターである。また、周囲のアバターは、ユーザ１０４に紐づくアバター１１２を含んでいても、含んでいなくてもよい。
ステップＳ８０４において、モーション決定部３０５は、アバターモーション情報３０４に基づき、アバター１０９～１１２の動作を判定する。モーション決定部３０５は、選択アバターの動作と周囲のアバターの動作（例えば、周囲のアバターの動作の平均）との一致度が所定の閾値以上であるか否かを判定する。選択アバターの動作と周囲のアバターの動作との一致度が閾値以上であると判定された場合にはＳ８０６に進む。一方で、選択アバターの動作と周囲のアバターの動作との一致度が閾値未満であると判定された場合には、ステップＳ８０５に進む。
ステップＳ８０５～Ｓ８０８は、図７のステップＳ７０５～Ｓ７０８と同様であるため、詳細な説明は省略する。
以上、実施形態１，２の情報処理装置２０１は、他のユーザの操作の状況に応じて、各アバターのモーションモードを切り替えることができる。このため、観覧者は、複数のユーザが仮想空間内で作業する場合でも、現実空間と同じような雰囲気で作業を行うことができる。また、実施形態１，２の情報処理装置２０１は、観覧者の指示に応じて、それぞれのアバターに設定されるモーションモードを、観覧者が所望するモーションモードに切り替えることもできる。
上述した実施形態では、複数のユーザがそれぞれ離れた場所からそれぞれ仮想空間を表す画像を見る例をあげたが、現実空間内に複数のユーザが集まって仮想空間を表す画像を見てもよい。
また、上述の実施形態では、各ユーザがＨＭＤを装着して現実空間に仮想オブジェクトが重畳された仮想画像を見る例をあげた。しかし、各ユーザが使用する携帯端末は、ＨＭＤに限定されず、スマートフォンやタブレット端末などであってもよい。
さらに、ユーザ１０４のＨＭＤにアバター１０９～１１１を含む仮想空間を表す画像が表示されている場合において、アバター１０９～１１１それぞれに設定されたモーションモードをユーザ１０４が認識できるようにしてもよい。例えば、ＣＰＵ２０２（表示制御部３０７）は、仮想空間を表す画像において、アバター１０９～１１１のそれぞれの周囲に、当該アバターに設定されたモーションモードを示す文字を表示してもよい。
そして、表示制御部３０７は、リアルモーションモードが設定されているアバターと、バーチャルモーションモードが設定されているアバターとで表示形態を異ならせてもよい。例えば、表示制御部３０７は、リアルモーションモードが設定されているアバターを青色で表示し、バーチャルモーションモードが設定されているアバターを赤色で表示するよ
うに制御してもよい。なお、表示制御部３０７は、アバターの色に限らず、アバターの形、大きさ、模様、またはモチーフなどを、モーションモードによって異ならせてもよい。
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。
なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
２０１：情報処理装置、２０２：ＣＰＵ、２０６：入力受付部、
２０７：通信インターフェース、２１１：表示部、
３０６：モーション制御部、３０７：表示制御部

Claims (19)

  1. 第１のアバターに対する第１のユーザの操作を受け付ける受付手段と、
    コンテンツに応じた仮想空間であって、第２のユーザに紐づく第２のアバターを含む仮想空間を表す画像を表示するように表示手段を制御する制御手段と、
    前記第１のユーザの操作を前記第１のアバターに反映し、かつ、前記第２のアバターに対する前記第２のユーザの操作を前記第２のアバターの動作に反映させる第１のモードと、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、特定の動作を前記第２のアバターの動作に反映させる第２のモードとの間で動作モードを切り替える切替手段と、
    前記動作モードに基づき、前記第２のアバターの動作を制御する動作制御手段と、
    を有することを特徴とする情報処理装置。
  2. 前記切替手段は、前記コンテンツの状況、前記第１のユーザの生体情報、前記第２のユーザの操作、または前記第２のアバターの動作に基づき、前記第１のモードと前記第２のモードとの間で前記動作モードを切り替える、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記切替手段は、前記第１のユーザの生体情報に基づき前記第１のユーザのコンテンツへの集中度合いを判定し、前記集中度合いが第１の値よりも高ければ、前記第２のモードを前記動作モードとして決定する、
    ことを特徴とする請求項２に記載の情報処理装置。
  4. 前記切替手段は、前記第１のユーザの生体情報に基づき前記第１のユーザのコンテンツへの集中度合いを判定し、前記集中度合いが第１の値よりも低ければ、前記第２のモードを前記動作モードとして決定する、
    ことを特徴とする請求項２に記載の情報処理装置。
  5. 前記生体情報は、前記第１のユーザの脳波、心拍数、または表情である、
    ことを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
  6. 前記切替手段は、前記コンテンツの状況が所定の状況でなければ、前記第２のモードを前記動作モードとして決定する、
    ことを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。
  7. 前記第２のユーザの操作は、前記第２のユーザの位置姿勢に応じた操作であり、
    前記切替手段は、前記第２のユーザの位置姿勢が所定の状態でなければ、前記第２のモードを前記動作モードとして決定する、
    ことを特徴とする請求項２から６のいずれか１項に記載の情報処理装置。
  8. 前記所定の状態とは、前記第２のユーザの視線方向に特定の仮想オブジェクトが表示されているような前記第２のユーザの位置姿勢の状態である、
    ことを特徴とする請求項７に記載の情報処理装置。
  9. 前記第２のユーザの操作は、前記第２のユーザの位置姿勢に応じた操作であり、
    前記切替手段は、前記第２のユーザの位置姿勢の動き量が所定量以上であれば、前記第２のモードを前記動作モードとして決定する、
    ことを特徴とする請求項２から８のいずれか１項に記載の情報処理装置。
  10. 前記仮想空間は、第２のアバターとともに１または複数のアバターを含み、
    前記切替手段は、前記第２のアバターの動作と前記１または複数のアバターの動作との一致度が、第２の値より小さければ、前記第２のモードを前記動作モードとして決定する、
    ことを特徴とする請求項２から９のいずれか１項に記載の情報処理装置。
  11. 前記特定の動作は、前記第２のユーザ以外のユーザの動作である、
    ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
  12. 前記特定の動作は、前記第２のユーザの過去の動作である、
    ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
  13. 前記特定の動作は、前記第２のアバターに対して予め設定された動作である、
    ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
  14. 前記制御手段は、前記動作モードが前記第２のモードである場合には、さらに、前記コンテンツの状況に対応する音声を再生するように制御する、
    ことを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
  15. 前記切替手段は、前記第１のユーザの指示または前記第２のユーザの指示に従って、前記第１のモードと前記第２のモードとの間で前記動作モードを切り替える、
    ことを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。
  16. 請求項１から１５のいずれか１項に記載の情報処理装置と、
    前記仮想空間を表す画像を表示する前記表示手段と、
    を有することを特徴とする表示装置。
  17. 表示手段を有する表示装置と、表示装置を制御する情報処理装置とを有する表示システムであって、
    第１のアバターに対する第１のユーザの操作を受け付ける受付手段と、
    コンテンツに応じた仮想空間であって、第２のユーザに紐づく第２のアバターを含む仮想空間を表す画像を表示するように前記表示手段を制御する制御手段と、
    前記第１のユーザの操作を前記第１のアバターに反映し、かつ、前記第２のアバターに対する前記第２のユーザの操作を前記第２のアバターの動作に反映させる第１のモードと、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、特定の動作を前記第２のアバターの動作に反映させる第２のモードとの間で動作モードを切り替える切替手段と、
    前記動作モードに基づき、前記第２のアバターの動作を制御する動作制御手段と、
    を有することを特徴とする表示システム。
  18. 第１のアバターに対する第１のユーザの操作を受け付ける受付ステップと、
    コンテンツに応じた仮想空間であって、第２のユーザに紐づく第２のアバターを含む仮想空間を表す画像を表示するように表示手段を制御する制御ステップと、
    前記第１のユーザの操作を前記第１のアバターに反映し、かつ、前記第２のアバターに対する前記第２のユーザの操作を前記第２のアバターの動作に反映させる第１のモードと、前記第１のユーザの操作を前記第１のアバターに反映し、かつ、特定の動作を前記第２のアバターの動作に反映させる第２のモードとの間で動作モードを切り替える切替ステップと、
    前記動作モードに基づき、前記第２のアバターの動作を制御する動作制御ステップと、を有することを特徴とする情報処理方法。
  19. コンピュータを、請求項１から１５のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

JP2021170235A 2021-10-18 2021-10-18 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム Pending JP2023060569A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021170235A JP2023060569A (ja) 2021-10-18 2021-10-18 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム
PCT/JP2022/029576 WO2023067871A1 (ja) 2021-10-18 2022-08-02 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム
CN202280070206.4A CN118215902A (zh) 2021-10-18 2022-08-02 信息处理装置、显示装置、显示系统、信息处理方法和程序
US18/637,565 US20240264672A1 (en) 2021-10-18 2024-04-17 Information processing device, display device, display system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021170235A JP2023060569A (ja) 2021-10-18 2021-10-18 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2023060569A true JP2023060569A (ja) 2023-04-28

Family

ID=86059028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021170235A Pending JP2023060569A (ja) 2021-10-18 2021-10-18 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20240264672A1 (ja)
JP (1) JP2023060569A (ja)
CN (1) CN118215902A (ja)
WO (1) WO2023067871A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674993B2 (ja) * 1995-08-31 2005-07-27 三菱電機株式会社 仮想会議システムの画像表示方法並びに仮想会議用端末装置
US9381426B1 (en) * 2013-03-15 2016-07-05 University Of Central Florida Research Foundation, Inc. Semi-automated digital puppetry control

Also Published As

Publication number Publication date
US20240264672A1 (en) 2024-08-08
WO2023067871A1 (ja) 2023-04-27
CN118215902A (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN107533369B (zh) 带有外围装置的手套指尖的磁性跟踪
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
CN110427110B (zh) 一种直播方法、装置以及直播服务器
US20150138065A1 (en) Head-mounted integrated interface
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的系统
CN103197757A (zh) 一种沉浸式虚拟现实系统及其实现方法
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP2004310518A (ja) 画像情報処理装置
JP2005174021A (ja) 情報提示方法及び装置
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN110651304B (zh) 信息处理装置、信息处理方法以及程序
CN109448050A (zh) 一种目标点的位置的确定方法及终端
EP2107529A2 (en) Storage medium storing image conversion programm and image conversion apparatus
CN112166602B (zh) 信息处理装置、信息处理方法以及程序
KR20180000009A (ko) 증강현실 생성 펜 및 이를 이용한 증강현실 제공 시스템
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
WO2023067871A1 (ja) 情報処理装置、表示装置、表示システム、情報処理方法、およびプログラム
JP2023065528A (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
EP3702008A1 (en) Displaying a viewport of a virtual space
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN114816088A (zh) 线上教学方法、电子设备和通信系统
JP2005157610A (ja) 画像処理装置および方法
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP7544071B2 (ja) 情報処理装置、情報処理システム及び情報処理方法
US12026826B2 (en) Information processing system displaying images of a mixed reality space