JP2019197499A - プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 - Google Patents
プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 Download PDFInfo
- Publication number
- JP2019197499A JP2019197499A JP2018092457A JP2018092457A JP2019197499A JP 2019197499 A JP2019197499 A JP 2019197499A JP 2018092457 A JP2018092457 A JP 2018092457A JP 2018092457 A JP2018092457 A JP 2018092457A JP 2019197499 A JP2019197499 A JP 2019197499A
- Authority
- JP
- Japan
- Prior art keywords
- action
- character
- virtual character
- viewpoint
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 35
- 230000009471 action Effects 0.000 claims abstract description 139
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000006399 behavior Effects 0.000 description 86
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000001514 detection method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 208000020221 Short stature Diseases 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001122315 Polites Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】鑑賞するユーザの状態を推定し、これに対して好適な態様で拡張現実感提示を行う。【解決手段】プログラムは、撮像画像を取得する処理と、実空間におけるコンピュータの位置及び姿勢に基づいて、仮想キャラクタを描画する仮想空間の視点の位置及び姿勢を決定する処理と、視点の位置及び姿勢に基づいて、仮想キャラクタに行わせる行動を制御する処理と、行動が反映された仮想キャラクタを、視点について描画してキャラクタ画像を生成する処理と、キャラクタ画像を撮像画像に重畳させて生成された重畳画像を表示手段に表示させる処理と、仮想キャラクタに行動を反映した結果、該行動が反映された仮想キャラクタと視点とに基づいて、コンピュータを使用するユーザの状態を推定する処理と、をコンピュータに実行させる。そして、仮想キャラクタに行動を反映した結果に推定されたユーザの状態に応じて、仮想キャラクタにとらせる行動を制御する。【選択図】図4
Description
本発明は、プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法に関し、特にユーザに携行させた端末の表示部を介して拡張現実感提示を行う技術に関する。
ウェアラブル機器を使用し、拡張現実感を提示する技術がある。
ユーザ操作が煩雑になることを回避すべく、ウェアラブル機器が接近した際に、対応する位置に存在する、実空間の対象物に重畳して提示する仮想的なコンテンツの再生を開始させている(特許文献1)。
特許文献1に記載の技術では、ウェアラブル機器の位置に応じてコンテンツの再生制御は行うものの、ユーザの状態を推定してコンテンツの再生内容を異ならせる等の制御は行われていなかった。また特許文献1には、バスや電車の外装に施された広告をターゲットとする場合に、ユーザに近接している場合には対応するコンテンツの再生を行うものの、ユーザから遠離した場合等にどのように提示制御を行うかについては何ら開示するものではなかった。
本発明の少なくとも1つの実施形態は、上述の問題点に鑑みてなされたものであり、鑑賞するユーザの状態を推定し、これに対して好適な態様で拡張現実感提示を行うプログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法を提供することを目的とする。
前述の目的を達成するために、本発明の少なくとも1つの実施形態に係るプログラムは、撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行うコンピュータに、撮像画像を取得する処理と、実空間におけるコンピュータの位置及び姿勢に基づいて、仮想キャラクタを描画する仮想空間の視点の位置及び姿勢を決定する処理と、視点の位置及び姿勢に基づいて、仮想キャラクタに行わせる行動を制御する処理と、行動が反映された仮想キャラクタを、視点について描画してキャラクタ画像を生成する処理と、キャラクタ画像を撮像画像に重畳させて生成された重畳画像を表示手段に表示させる処理と、仮想キャラクタに行動を反映した結果、該行動が反映された仮想キャラクタと視点とに基づいて、コンピュータを使用するユーザの状態を推定する処理と、を実行させるプログラムであって、仮想キャラクタに行動を反映した結果に推定されたユーザの状態に応じて、仮想キャラクタにとらせる行動を制御する。
このような構成により本発明の少なくとも1つの実施形態によれば、鑑賞するユーザの状態を推定し、これに対して好適な態様で拡張現実感提示を行うことが可能となる。
[実施形態]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、拡張現実感提示装置の一例としての、撮像を行って得られた実写画像にコンピュータグラフィックス(CG)画像を重畳することで、拡張現実感(AR:Augmented Reality)提示が可能なAR提示端末100に、本発明を適用した例を説明する。しかし、本発明は、実写画像に所定の画像を重畳することで、少なくとも視覚的な拡張現実感を提示することが可能な任意の機器に適用可能である。また、本明細書において、「実空間」とは、ユーザがAR提示端末100を用いずに認識できる現実の3次元空間を指し、「仮想空間」とは、AR提示端末100において構築されるCG描画用の3次元空間を指し、「拡張現実空間」とは、実空間を撮像して得られた実写画像に、仮想空間を描画した画像を重畳することで表現される、実空間と仮想空間を合成させて表現される空間を指すものとして説明する。
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、拡張現実感提示装置の一例としての、撮像を行って得られた実写画像にコンピュータグラフィックス(CG)画像を重畳することで、拡張現実感(AR:Augmented Reality)提示が可能なAR提示端末100に、本発明を適用した例を説明する。しかし、本発明は、実写画像に所定の画像を重畳することで、少なくとも視覚的な拡張現実感を提示することが可能な任意の機器に適用可能である。また、本明細書において、「実空間」とは、ユーザがAR提示端末100を用いずに認識できる現実の3次元空間を指し、「仮想空間」とは、AR提示端末100において構築されるCG描画用の3次元空間を指し、「拡張現実空間」とは、実空間を撮像して得られた実写画像に、仮想空間を描画した画像を重畳することで表現される、実空間と仮想空間を合成させて表現される空間を指すものとして説明する。
《AR提示端末の機能構成》
図1は、本発明の実施形態に係るAR提示端末100の機能構成を示すブロック図である。
図1は、本発明の実施形態に係るAR提示端末100の機能構成を示すブロック図である。
制御部101は、例えばCPUであり、AR提示端末100が有する各ブロックの動作を制御する。制御部101は、記録媒体102に記憶されている各ブロックの動作プログラムやAR提示アプリケーションに係るプログラムを読み出し、メモリ103に展開して実行することにより各ブロックの動作を制御する。
記録媒体102は、例えばAR提示端末100が有する書き換え可能な内蔵メモリや、HDDや光学ドライブを介して読み取り可能になる光学ディスクを含むものであってよい、不揮発性の記録装置である。記録媒体102は、各ブロックの動作プログラムやAR提示アプリケーションに係るプログラムだけでなく、各ブロックの動作において必要となる各種パラメータ等の情報を記録する。本実施形態のAR提示端末100において実行される、AR提示アプリケーションの動作に用いられる各種データも、記録媒体102に格納されているものとする。メモリ103は、例えば揮発性メモリであり、各ブロックの動作プログラムやAR提示アプリケーションのプログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。
撮像部104は、例えばCCDやCMOSセンサ等の撮像素子を有する撮像装置ユニットであり、AR提示に用いられる実写画像の取得に限らず、AR提示端末100の外界認識手段として機能する。撮像部104は、現実世界(実空間)に存在する被写体を撮像し、撮像画像(実写画像)を出力する。撮像は間欠的に行われ、AR提示アプリケーションの実行中、後述の表示部120に実写画像が順次表示されることで、多少の遅延は生じ得るが、端末を介して実空間及び拡張現実空間(実空間+仮想空間)の鑑賞が可能になる。
検出部105は、撮像部104により出力された実写画像に対して所定の画像処理を適用し、実空間中のいずれの位置にAR提示端末100が存在するか、及びどのような姿勢にあるかを検出する。本実施形態のAR提示アプリケーションを用いた鑑賞体験の提供を行うに先立ち、提供範囲となる実空間中の特徴情報が収集されており、仮想空間と実空間とを対応付けるキャリブレーションがなされているものとする。これにより、実写画像中に含まれる特徴情報に基づいて、AR提示端末100の位置及び姿勢を検出することが可能となる。また検出部105は、連続するフレームで撮像された実写画像の全てに対して画像処理を適用して検出を行う必要はなく、所定の時間間隔で撮像された実写画像に対して行い、例えばジャイロセンサや加速度センサ等を含むセンサ110のセンサ出力に基づいてこれを補うものとしてもよい。あるいは、検出部105は、実写画像の画像処理を利用せず、センサ110のセンサ出力のみで検出を行うものとしてもよい。
行動制御部106は、本実施形態のAR提示アプリケーションにおいて実写画像に重畳して提示する仮想オブジェクトの行動制御を行う。AR提示アプリケーションで提示される仮想オブジェクトは、3次元モデルで外観が形成されたキャラクタ(ARキャラクタ)であり、行動制御部106は、AR提示端末100の位置及び姿勢やその他のパラメータに基づいて当該ARキャラクタにとらせる動作や挙動等、各種の行動制御を行う。本実施形態では、ARキャラクタのとる行動は、複数のフレームに渡って生じるものであり、ARキャラクタに対応する3次元モデルに対して該当のモーションデータが適用されることで生じる動作だけでなく、動作や状況に対応付けられた台詞の発声を含むものとする。簡単のため、以下の説明では実写画像に重畳して提示する仮想オブジェクトはARキャラクタのみであるものとして説明するが、本発明の実施はこれに限られるものではない。
提示制御部107は、AR提示端末100におけるユーザへの各種情報提示の制御を司る。本実施形態のAR提示端末100では、ユーザへの各種情報提示の手段として、画像(AR提示画面、その他OSメニュー画面等)表示を行う表示部120、音声出力を行う音声出力部130を有するものとして説明するが、情報提示の手段はこれらに限られるものではなく、代替あるいは追加が可能であることは言うまでもない。
提示制御部107は、例えばGPU等の描画装置を含み、表示部120に表示させるAR提示画面を生成する際には所定の描画処理を行う。具体的には提示制御部107は、AR提示アプリケーションの実行中において、制御部101により行われた処理や命令、及び行動制御部106により決定された行動に基づいて、ARキャラクタの3次元モデルに対して適当な演算処理を実行し、まず仮想空間に係る画像(ARキャラクタのみが提示される画像)の描画を行う。そして提示制御部107は、描画した仮想空間に係る画像と実空間に係る実写画像とを合成することで、拡張現実感を提示するAR画面(拡張現実空間に係る画面)を生成する。生成したAR画面は、AR提示端末100に設けられた表示部120に出力されて表示されることでユーザに提示される。表示部120は、例えばLCD等のAR提示端末100が有する表示装置である。本実施形態では鑑賞体験の提供時の携帯性を考慮し、表示部120はAR提示端末100に内蔵され、一体となっているものとして説明するが、本発明の実施はこれに限られるものではなく、例えばAR提示端末100の外部に、有線無線を問わず着脱可能に接続された表示装置であってもよい。
また提示制御部107は、例えばサウンドボードやアンプ等の音声信号の出力/増幅を行う回路を含み、音声出力部130から出力させる音声を生成する際には所定の処理を行う。具体的には提示制御部107は、例えば予め記録媒体102に記録された音声データに基づき、同時に出力を行う音声データを確定し、これを電気的な音声信号に変換(D/A変換)して音声出力部130に出力することで、音声出力を行う。音声出力部130は、所定のスピーカ等であってよく、入力された音声信号に基づく音波を出力する。
操作入力部108は、例えばタッチパネルやボタン等のAR提示端末100が有するユーザインタフェースである。操作入力部108は、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部101に出力する。
通信部109は、AR提示端末100が有する、他の装置との通信を行うための通信インタフェースである。通信部109は、有線無線を問わず、所定の通信方式により例えばネットワーク上に存在する他のサーバ等に接続し、データの送受信を行う。AR提示アプリケーションのプログラムや検出に用いられる特徴情報、ARキャラクタの基本行動遷移を記述したシナリオ等の情報は、通信部109を介して外部の装置から受信可能に構成されるものであってよい。
《ARコンテンツ概要》
以下、本実施形態のAR提示端末100で実行されるAR提示アプリケーションによって、拡張現実感の提示を伴った鑑賞体験を提供するARコンテンツの概要について説明する。
以下、本実施形態のAR提示端末100で実行されるAR提示アプリケーションによって、拡張現実感の提示を伴った鑑賞体験を提供するARコンテンツの概要について説明する。
〈空間の設定〉
本実施形態ではARコンテンツは、1つの店舗における、店頭から店内の所定の位置までの案内をARキャラクタが行うコンテンツとなっている。図2(a)に示されるように、ARコンテンツ提示を可能ならしめる実空間の範囲(店頭と店内を含む店舗周辺の範囲)には、該範囲と対応付けられた仮想空間が関連付けられている。
本実施形態ではARコンテンツは、1つの店舗における、店頭から店内の所定の位置までの案内をARキャラクタが行うコンテンツとなっている。図2(a)に示されるように、ARコンテンツ提示を可能ならしめる実空間の範囲(店頭と店内を含む店舗周辺の範囲)には、該範囲と対応付けられた仮想空間が関連付けられている。
図2(a)に示したように、実空間に設置されている壁、看板、階段、机、椅子等の静的な(移動されない)物体(実オブジェクト)については、実写画像に重畳する際の実オブジェクトによる遮蔽表現を好適に実現するため、仮想空間に対応する3次元オブジェクトが配置される。該3次元オブジェクトは、仮想空間中に同じく配置されるARキャラクタを描画する際には描画の対象とならないが、ARキャラクタよりも、描画を行う視点寄りに存在する場合には、ARキャラクタを遮蔽した描画表現がなされるように、描画有無を判断するための深度値比較の対象にはなる。また、仮想空間中のこれらの3次元オブジェクトは、対応する実オブジェクトの原寸及び配置関係に則って配置されており、実オブジェクトと同一形状を有し、所定の縮尺でサイズ調整されているものとする。
静的な実オブジェクトに対応する仮想オブジェクトを配置する仮想空間は、予め鑑賞体験を提供する範囲に基づいて構成され、AR提示アプリケーションの実行に先立って、実空間と仮想空間とを対応付けるキャリブレーションがなされているものとする。即ち、AR提示端末100を用いた鑑賞体験の提供前には、AR提示端末100の撮像部104に対する、実空間における実オブジェクトの配置と、AR提示端末100の位置姿勢に応じて描画用に定義される視点に対する、関連付けられた仮想空間における該当の仮想オブジェクトの配置と、が合致するように、仮想空間の座標系の並進及び回転が設定されているものとする。
〈拡張現実感の提示〉
AR提示アプリケーションの実行中、撮像部104は間欠的に撮像(動画撮影)を行い、得られた実写画像が表示部120に順次表示されることにより、実空間の様子を示す、所謂スルー表示が実現される。また、仮想空間における、実写画像の撮像範囲と対応する画角内にARキャラクタが含まれる場合には、図3(a)に示されるように、該キャラクタの画像300を実写画像に重畳することで、あたかも実空間にARキャラクタが存在するかのようにユーザに知覚させる拡張現実感を提示することができる。ここで、実写画像に対してARキャラクタの画像を重畳する条件は、撮像範囲と対応する仮想空間の画角内に、ARキャラクタの少なくとも一部が含まれていればよく、必ずしもARキャラクタの配置位置の基準となる実空間の面や特徴が、実写画像に含まれている必要はない。
AR提示アプリケーションの実行中、撮像部104は間欠的に撮像(動画撮影)を行い、得られた実写画像が表示部120に順次表示されることにより、実空間の様子を示す、所謂スルー表示が実現される。また、仮想空間における、実写画像の撮像範囲と対応する画角内にARキャラクタが含まれる場合には、図3(a)に示されるように、該キャラクタの画像300を実写画像に重畳することで、あたかも実空間にARキャラクタが存在するかのようにユーザに知覚させる拡張現実感を提示することができる。ここで、実写画像に対してARキャラクタの画像を重畳する条件は、撮像範囲と対応する仮想空間の画角内に、ARキャラクタの少なくとも一部が含まれていればよく、必ずしもARキャラクタの配置位置の基準となる実空間の面や特徴が、実写画像に含まれている必要はない。
ARコンテンツに係る拡張現実感を提示するためには、実空間におけるAR提示端末100の移動及び姿勢変更、より詳しくは、撮像部104の移動及び姿勢変更に同期して、仮想空間を描画する視点を移動及び姿勢変更させる必要がある。このため、検出部105は、撮像により順次得られた実写画像及びセンサ110のセンサ出力に基づいて、AR提示端末100の位置及び姿勢を検出する。実空間におけるAR提示端末100の位置及び姿勢が特定されると、仮想空間を描画する視点の位置及び姿勢(視線方向)もこれに応じて特定されるため、該視点に基づき仮想空間を描画して実写画像に重畳することで、拡張現実感を違和感なく提示する画面を生成できる。
なお、本実施形態のARコンテンツでは、ARキャラクタがユーザと共に歩きながら、ユーザを店内に案内する「接客」をテーマにしたシナリオとなっているため、仮想空間における視点は、ARキャラクタによってユーザの頭部(顔または目+視線方向)として認識されるオブジェクトと同等に機能しているものとする。即ち、ARキャラクタはユーザの頭部に向かって話しかける等の動作をとる。
また仮想空間には、ARコンテンツに係る一連の鑑賞体験を提供するにあたり、図2(b)に示されるように、ARキャラクタが基本的に進行するルート201が予め設定されている。本実施形態のARコンテンツは、上述したように、店頭に存在するユーザ(AR提示端末100を使用するユーザ)をARキャラクタが店内の所定位置(目標)まで誘導(案内)するコンテンツであるため、誘導の開始位置であるエリア202aから目標位置であるエリア202dまでをつなぐルート201が設定されている。また図示されるように、ルート201には、開始位置と目標位置に対応するポイント(エリア202a及びd)に加え、その他のポイント(エリア202b及びc)が設けられていてよく、各々でARキャラクタに所定の行動を起こさせるイベントが対応付けられている。本実施形態では、AR提示端末100が、各エリア202に対応する実空間の領域に進入(もしくは接近)したことをもって、キャラクタに行動を起こさせるイベントが発生する。
好適な拡張現実感の提示のため、各エリア202は拡張現実空間において表示しないよう制御し、その存在をユーザが視覚的に認識できないようにする。また、ARキャラクタが自然に振る舞っている様を提示できるよう、各エリア202は、図2(c)に示されるように同心円でその内部の領域が分離されており、エリア中心と視点との距離に応じて段階的にARキャラクタの行動制御を行う態様を採用するものとする。
エリア202について定められたイベントの好適な発生位置が、該エリアの中心部である、図にてハッチングで示した内側の領域203であるとすると、該領域にユーザ(AR提示端末100)を進入させるよう、ARキャラクタの行動制御が行われる。より詳しくは、内側領域203よりも外側に定めた外側領域204にAR提示端末100が進入した際に、さらに内側領域203まで進むように誘導する行動をARキャラクタにとらせることで、好適なイベント発生にユーザを誘導することができる。例えば、外側領域204にAR提示端末100が進入したことを検出した場合は、該エリア202の中心に配置されたARキャラクタに「ユーザを呼び止める」、「近づくよう促す」行動をとらせることで、該エリアについて定められたイベントの発生条件(内側領域203へのAR提示端末100の進入)を満たしやすくすることができる。従って、図示したように、外側領域204は内側領域203よりも大きい半径範囲を有するよう構成され、該領域にAR提示端末100が存在する場合には、ARキャラクタの行動を制御することにより、内側領域203の周辺に存在するユーザを注目させ、自然に好適なイベントの発生位置に誘導できる。
換言すれば、本実施形態のAR提示アプリケーションでは、ルートに沿ったユーザの誘導が行われるよう、各エリア202において、その中心からの距離に応じて多段階のイベント発生が定義されている。なお、本実施形態の態様では、各エリア202について、内側領域203における固有イベントを体験させるための、ARキャラクタの一連の行動(呼びかけ→誘導→固有イベント)の発生条件が、外側領域204にAR提示端末100が進入した際に満たされるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、同心円で区切られた各領域には、関連性のない異なるイベントが割り当てられており、いずれのエリアにどの程度接近したかに応じて、1以上のイベントの発生条件が同時に満たされ得、このうちの少なくともいずれかを、所定の優先順位等に従って発生させるよう制御してもよい。この場合、発生条件が満たされたイベントの情報は順次スタックされ、条件が満たされる場合に、ARキャラクタの行動という形で提示される。
また、本実施形態ではエリア202は円形(正円)で構成されるものとして説明するが、矩形、多角形等、形状はいずれであってもよい。特に、接客用途とのARコンテンツの特性を考慮すると、エリア202の形状は、ARキャラクタの視線方向に延びた楕円形状や扇形状であってもよい。
またARコンテンツは、視覚的だけでなく聴覚的な拡張現実感提示を伴う鑑賞体験を提供するものであってもよい。音声出力部130からの出力が、ステレオやサラウンド設定等、ある程度の音像定位が可能に構成されているのであれば、例えば、ARキャラクタの音声発声イベントは、ARキャラクタの視界の範囲にユーザ(AR提示端末100)が捕らえられた(存在する)際に発声し、ユーザに音声発生源を注目させるよう構成されるものであってもよい。即ち、AR提示端末100の表示部120で表示される画角内にはARキャラクタが存在していなくとも、音声出力によって、ユーザにARキャラクタの存在を認識させることができる。このため、検出部105は、ARキャラクタが存在しない実空間が撮像された場合であっても、実写画像に含まれる特徴情報から仮想空間中の対応する位置を特定可能に構成されていてもよい。
また、本実施形態では撮像部104により撮像された実写画像の解析等によってAR提示端末100の位置及び姿勢を特定する方式を採用するが、AR提示端末100の位置及び姿勢の特定は、所定の実空間範囲に存在するAR提示端末100を検出可能に構成された外部装置によって行われ、AR提示端末100に供給されるものであってもよい。
〈ARコンテンツの鑑賞体験〉
次に、本実施形態のAR提示アプリケーションによって提供されるARコンテンツの鑑賞体験について、より詳しく説明する。簡単のため、以下ではユーザとARキャラクタとの位置関係に応じてとらせるARキャラクタの行動を含めて、提供される鑑賞体験を説明するが、実際には拡張現実空間における、AR提示端末100とARキャラクタとの位置関係、もしくは仮想空間におけるAR提示端末100の位置及び姿勢に対応する視点とARキャラクタとの位置関係に応じて行動制御が行われることは言うまでもない。
次に、本実施形態のAR提示アプリケーションによって提供されるARコンテンツの鑑賞体験について、より詳しく説明する。簡単のため、以下ではユーザとARキャラクタとの位置関係に応じてとらせるARキャラクタの行動を含めて、提供される鑑賞体験を説明するが、実際には拡張現実空間における、AR提示端末100とARキャラクタとの位置関係、もしくは仮想空間におけるAR提示端末100の位置及び姿勢に対応する視点とARキャラクタとの位置関係に応じて行動制御が行われることは言うまでもない。
本実施形態のAR提示アプリケーションでは、例えば店頭にいるARキャラクタに対してユーザが接近したことで開始され、店頭から店舗内の所定の位置(実世界の座席案内役の店員が存在する受付、あるいは空席となっている座席)まで、予め定められた導線(図2(b)のルート201)に沿って、ARキャラクタが先行しながら(あるいは連れ添いながら)ユーザを誘導するシナリオの鑑賞体験が提供される。ここで、ルート201は、あくまでも基準として設けられるものであって、ユーザの移動内容によって多少の変更があってもよい。
ユーザは例えば店先の待機列で順番となるまで待機しており、店内に空席ができた際に店員からAR提示アプリケーションを実行中のAR提示端末100を受け取る。AR提示端末100を受け取った後は、ユーザは表示部120を介して拡張現実空間を鑑賞しながら、自由に移動することができる。
図2(b)に示したルート201上のエリア202のうち、開始位置として定められたエリア202aにユーザが接近した(エリア202aの外側領域204に進入した)ことを受けて、ARキャラクタは、ユーザ方向を向いて近づくように促し、さらに接近した(内側領域203に進入した)ことを条件として、来店に対する挨拶、店内に誘導する旨のセリフの発言を開始する。
ARキャラクタによる発言は、例えば図3(b)に示されるように、音声の聞き逃しを防ぎ、いずれのARキャラクタの発言であるかを明確にするため、ARキャラクタ301の頭上に吹き出しとして構成される平板オブジェクト(吹き出しオブジェクト302)に、セリフ内容の文字列303を同時に提示することによって行われる。また、鑑賞方向によっては吹き出しオブジェクト302が画角内に収まらないため、文字列303と同内容の字幕304が、常に画面内に含まれるよう構成されていてもよい。
店内への誘導を開始すると、ARキャラクタはルート201に沿って所定の速度で進行を始める。ルートの進行中、ARキャラクタは都度、図3(c)に示されるような、後をついてくるように促す発言や動作を行う。ユーザは、表示部120を介してこれを鑑賞しつつ、追従する形で入店する。
ルート上に設定されたエリア202にARキャラクタが至った場合には、ARキャラクタは付近に待機し、ユーザが該エリアの外側領域204や内側領域203に進入したことに応じて、ARキャラクタは該エリアについて定められたイベントに係る行動をとる。
ところで、ARキャラクタはルート201に沿って移動するが、ユーザがARキャラクタを見失ってしまう可能性もある。従って、本実施形態では行動制御部106は、仮想空間における、案内に係る行動(案内行動)を反映させた結果のARキャラクタと視点との距離に基づいて、ユーザが「ARキャラクタを見失った状態にある」か否かを推定するものとする。また行動制御部106は、推定結果に基づいてARキャラクタにとらせる行動を変化させるように制御する。
即ち、ARキャラクタは、エリア202にユーザが進入したことを条件として、該エリアについて予め定められた行動をとるだけでなく、所定の行動後のARキャラクタとユーザとの距離に応じて、動的な行動をとるよう制御される。例えば、エリア202aについて発生したイベントについて、ARキャラクタが次のエリア202bに向かってルート201に沿って移動する際、ARキャラクタとユーザの距離とが所定の閾値を越えた場合には、ユーザがARキャラクタを見失った状態にあると推定し、その距離に応じて、振り返る、立ち止まって呼びかける、ルート201を戻ってユーザに近づく等、行動制御部106はARキャラクタの行動を制御する。
《提示処理》
このような構成をもつ本実施形態のAR提示アプリケーションで行われるARキャラクタの提示処理について、図4のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。なお、本提示処理は、例えば実行されたAR提示アプリケーションにおいて、ARコンテンツ鑑賞体験の提供要求に係る操作入力がなされた際に開始されるものとして説明する。また本提示処理は、AR提示に係る1フレームについて行われる処理を例示したものであり、連続的な提示のために毎フレーム繰り返し実行されるものとする。
このような構成をもつ本実施形態のAR提示アプリケーションで行われるARキャラクタの提示処理について、図4のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。なお、本提示処理は、例えば実行されたAR提示アプリケーションにおいて、ARコンテンツ鑑賞体験の提供要求に係る操作入力がなされた際に開始されるものとして説明する。また本提示処理は、AR提示に係る1フレームについて行われる処理を例示したものであり、連続的な提示のために毎フレーム繰り返し実行されるものとする。
また本提示処理において、イベントの発生条件が満たされた場合には、基本的には該イベントについて予め定めらえたモーション及び音声発生の少なくともいずれかの行動を、ARキャラクタにとらせるよう行動制御がなされ、表示部120、音声出力部130を介してその行動の提示がなされるものとする。各イベントの情報は、例えばAR提示アプリケーション用のデータとして記録媒体102に保持されるものであってよく、それぞれイベントを識別するイベントIDに関連付けて、イベントの発生条件が満たされた際にARキャラクタに適用されるモーション及び音声発声を含む行動を記述した情報が管理されているものとする。
S401で、撮像部104は制御部101の制御の下、本フレームに係る撮像を行い、実写画像を出力する。
S402で、検出部105は制御部101の制御の下、S401において撮像された実写画像及びセンサ110のセンサ出力に基づいて、AR提示端末100の位置及び姿勢を検出する。検出される位置及び姿勢は、例えば仮想空間のワールド座標系における位置(座標)と、該位置を中心とした3軸それぞれの回転角として導出されればよい。制御部101は、検出されたAR提示端末100の位置及び姿勢の情報を、仮想空間の描画を行う視点の情報(視点情報)としてメモリ103に格納する。
S403で、制御部101は、現在の視点位置がルート上に定義されたいずれかのエリアのイベント発生領域に進入しているか否かを判断する。領域に進入したか否かの判断は、例えば視点情報で示される3次元位置をXZ平面(仮想世界における床面)に投影した際に、エリアについて定められた領域に投影点が含まれるか否かによって判断されるものであってよい。制御部101は、現在の視点位置がいずれかのエリアのイベント発生領域に進入していると判断した場合は処理をS404に移し、進入していないと判断した場合は処理をS405に移す。
S404で、行動制御部106は制御部101の制御の下、視点の位置及び姿勢に基づいて、進入しているエリアに対応付けられたイベントのうちの、発生条件が満たされたイベントの情報を、例えばメモリ103に保持されている行動リストに追加する。また行動制御部106は、行動リストに既に追加されているイベントの情報のうち、発生条件を満たさなくなったイベントの情報を行動リストから削除する。行動リストは、発生条件が満たされたイベントの情報をスタックするリストであってよく、リストの1項目の情報(行動情報)は、例えば図5に示されるデータ構造を有して構成されていてよい。
図5の例では、行動リストの1項目として管理される行動情報は、項目を識別する項目ID501に関連付けて、発生条件が満たされたイベントを識別するイベントID502、発生条件が満たされた状態が継続しているフレーム数を示す該当フレーム数503、現在対応する行動をARキャラクタにとらせているか否かを示す行動中フラグ504(論理型。真でARキャラクタが対応行動中)、及び対応する行動についての優先順位505を含むものであってよい。従って、本ステップにおいて発生条件が満たされたイベントのうち、既に行動リストに含められているイベントについては、行動制御部106は行動情報を行動リストに追加する処理に代え、既にリスト内に存在する行動情報の該当フレーム数503を1増加させる処理を行うものとする。優先順位505の情報は、イベントの種類に応じて基準値が予め定められており、初期値としてそれを入力するものであってよいが、後述する通り、AR提示端末100やARキャラクタの状況に応じて、動的に変更可能に構成されるものであってよい。基本的には、行動リストにおいて、現在ARキャラクタにとらせている行動に係る優先順位505が、最も高い(行動を優先する)値に設定される。
なお、詳細は後述するが、ARキャラクタにとらせる行動は、その全ての動作を終えるまでに所定の期間を有する。故に、基本的には現在ARキャラクタに適用中の行動が存在した場合には、不自然な挙動が生じることを回避するために、該行動に要する期間が完了するまで、ARキャラクタに別の行動を反映させないように制御する必要がある。一方で、上述した通り、ユーザの状態を推定することによりとらせるべき行動(案内行動開始後にユーザがARキャラクタを見失ったと推定される際に行動)は、可能な限り早くユーザに伝達されることが好ましい。従って、本実施形態では行動制御部106は、このような行動を好適なタイミングでとらせるべく、現在適用中の行動が存在したとしても、該行動が例えば中断しても問題が生じない状態まで進行したら、強制的に終了させ、上記ユーザの状態推定に基づく行動をARキャラクタにとらせるよう制御する。このため、行動情報はさらに、現在ARキャラクタに適用中の行動を所定の区切りで終了させることを示す行動強制終了フラグ506を含むものとする。強制終了フラグ506は、例えば論理型の情報であり、初期値は偽として追加され、真に変更された場合には、対応する行動が所定の区切りまで進行した際に、その際の優先順位に限らず強制終了させ、別の行動をARキャラクタとらせるよう制御がなされる。
S405で、行動制御部106は、現在ARキャラクタに案内行動をとらせている状態にあるか否かを判断する。本ステップの判断は、行動リストに含まれる行動中フラグ504が真の行動情報が、案内行動に対応するイベントID502を示すか否かにより行われるものであってよい。行動制御部106は、現在ARキャラクタに案内行動をとらせている状態にあると判断した場合は処理をS406に移し、案内行動をとらせている状態にないと判断した場合は処理をS408に移す。
S406で、行動制御部106は、仮想空間における案内行動適用後のARキャラクタの位置と視点の位置の情報に基づいて、ユーザがARキャラクタを見失った状態にあるか否かを推定する。本実施形態では簡単のため、仮想空間における視点とARキャラクタの距離の閾値を1つだけ設け、該閾値を越えた場合に、ユーザがARキャラクタを見失った状態にあるものとして推定する。故に、行動制御部106は、これまでのフレームの処理においてARキャラクタが開始した案内行動(ルートに沿った移動を伴う行動)の結果、視点とARキャラクタの距離が所定の閾値以上離れたか否かに基づいて、ユーザの状態を推定する。行動制御部106は、ユーザがARキャラクタを見失った状態にあると推定する場合は処理をS407に移し、見失った状態にないと推定する場合は処理をS408に移す。
S407で、行動制御部106は制御部101の制御の下、案内行動の結果、ユーザがARキャラクタを見失った状態にあると推定される状況で発生させるイベントに係る行動情報を、行動リストに追加する。また行動制御部106は、メモリ103に格納されている、移動によって視点とARキャラクタとの距離が所定の閾値以上離れていることを示す遠離フラグを真に設定する。なお、当該遠離フラグは、視点とARキャラクタの距離が所定の閾値を下回った場合には偽に変更されるものとする。また行動制御部106は、現在ARキャラクタに適用中の行動が存在する場合には、対応する行動情報(行動中フラグ504が真である行動情報)の強制終了フラグ506を真に変更する。
また本実施形態では、上述したように案内行動の結果、視点とARキャラクタとが閾値以上離れた状況において、行動制御部106は、視点の方向に近づかせる行動をARキャラクタにとらせる行動情報を行動リストに追加するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、当該状況では、視点とARキャラクタとの距離を縮ませるべく、AR提示端末100(AR提示端末100を携行するユーザ自身)及びARキャラクタの少なくともいずれかにこれを促す行動を生じさせるものであればよい。例えばARキャラクタ自体は移動しなくとも、AR提示端末100をARキャラクタに近づける移動をユーザになさせるよう、呼びかけ等の行動をとらせるものとしてもよい。
S408で、行動制御部106は制御部101の制御の下、視点情報と仮想空間に配置されたオブジェクトの配置情報とに基づいて、仮想空間を描画する視点の画角内にARキャラクタの3次元オブジェクトの少なくとも一部が含まれるか否かを判断する。制御部101は、画角内にARキャラクタの3次元オブジェクトの少なくとも一部が含まれると判断した場合は処理をS409に移し、含まれないと判断した場合は処理をS410に移す。
S409で、行動制御部106は、メモリ103に格納されている、仮想空間において視点の画角内にARキャラクタの3次元オブジェクトが含まれていることを示す論理型の情報(画角内フラグ)を真に設定する。
一方、S408において画角内にARキャラクタの3次元オブジェクトが含まれないと判断した場合、行動制御部106はS410で、視点の画角内にARキャラクタを捕らえていないことで発生させるイベント(ユーザをARキャラクタに注目させるための行動)に係る行動情報を、行動リストに追加する。また行動制御部106は、メモリ103に格納されている画角内フラグを偽に設定する。本実施形態では簡単のため、画角内にARキャラクタが捕らえられていないと判断されたフレームで行動情報の追加及び画角内フラグの変更を行うものとして説明するが、該当の状態が複数フレーム継続したことを以て、これが達成されたものと判断するものであってもよい。
S411で、行動制御部106は制御部101の制御の下、行動リストに含まれる行動情報の優先順位を決定する。優先順位の決定は、行動リストに含まれる各行動情報、遠離フラグ、及び画角内フラグに基づいて行われればよく、これまでのフレームにおいて設定された優先順位505を基準にしつつ、状況に応じて優先順位を入れ替えるよう行われるものとする。
例えば、ARキャラクタの不自然な振る舞いを回避するために、行動中フラグ504が真のイベント、即ち、少なくとも直前のフレームでARキャラクタに対応する行動が進行中のイベントについては、現フレームに当該行動について定められたモーションや音声が継続するのであれば、行動制御部106は該イベントに係る行動情報の優先順位505が最も高くなるよう設定する。当該処理は、例えば予め定められた最先順位の値で、優先順位505を更新することにより行われるものであってよい。一方で、進行中のイベントに係る行動情報の強制終了フラグ506が真に設定されている場合は、対応する行動については、強制終了させるフレームまでは優先順位505を最も高くなるよう設定するが、強制終了させるフレームを越えた場合には、優先順位505を他の行動に係る行動情報のものよりも低くなるよう制御するものとする。
また遠離フラグが真であれば、ユーザがARキャラクタを見失った状態にあると推定されるため、行動制御部106は現在行動が進行中のイベントがあるのであれば、遠離したことに対応する行動情報の優先順位505を、それに次いで高く設定する。この場合、進行中のイベントに係る行動情報の強制終了フラグ506は真に設定され、例えば数フレーム以内に対応する行動が強制終了されるため、案内行動の結果に遠離したことに対応する行動情報の優先順位505は、当該強制終了後に最も高くなるものとする。また、現在行動が進行中のイベントがなければ、行動制御部106は遠離フラグを真にした際に登録された行動情報の優先順位505を、すぐに最も高くするよう設定すればよい。
また画角に捕らえられていない状態で、主要なイベントを進行させることは好ましくないため、画角内フラグが偽である場合には、行動制御部106は視点の画角内にARキャラクタを捉えていないことで発生させるイベントに係る優先順位505を、同様に、現在行動が進行中のイベントの有無に応じて高く設定する。なお、本実施形態ではユーザがARキャラクタを見失った状態にあると推定される場合にとらせる行動、即ち、案内行動の結果に遠離したことに応じてとらせる行動には、画角に捕らえさせるための行動を含むものとして、単純に画角内フラグが偽となった場合にとらせる行動とは分離して取り扱うものとする。
また、既に対応する行動をARキャラクタに行わせたイベントが存在する場合には、同一のイベントが生じないよう、行動制御部106は該当の行動情報の優先順位505を最も低い値に設定する、または該当の行動情報を行動リストから削除する処理を行ってよい。
基本的なイベントの優先順位は、例えば、現在行動が進行中のイベント、視点とARキャラクタの遠離を解消させるためのイベント、画角内にARキャラクタを捕らえさせるためのイベント、エリアについて設定されたイベントの順序で、行動制御部106は優先順位505を設定するものであってよい。この際、同一の分類になるイベントが複数存在する場合には、各行動情報の該当フレーム数503を参照し、発生条件が満たされているフレーム数が長いイベントから開始させるよう制御されるものであってよい。
S412で、行動制御部106は制御部101の制御の下、S411において設定した優先順位に基づいて、本フレームのARキャラクタの行動制御を行う。より詳しくは、行動制御部106は、本フレームにおけるARキャラクタの姿勢情報や台詞及び音声の情報を提示制御部107に供給し、適宜提示させる。提示制御部107による本フレームに係る提示(画面、音声)が行われると、制御部101は処理をS401に戻す。
以上説明したように、本実施形態の拡張現実感提示装置によれば、鑑賞するユーザの状態を推定し、これに対して好適な態様で拡張現実感提示を行うことができる。
[変形例1]
上述した実施形態では、案内行動適用の結果、仮想空間における視点とARキャラクタとの距離が1つの所定の閾値を越えたことを条件として、ユーザがARキャラクタを見失った状態にあるものとして説明した。しかしながら、このように案内行動をARキャラクタにとらせた結果に、仮想空間における視点とARキャラクタとが遠離する状況は、ユーザがARキャラクタを見失ったことに依るものに限られない。
上述した実施形態では、案内行動適用の結果、仮想空間における視点とARキャラクタとの距離が1つの所定の閾値を越えたことを条件として、ユーザがARキャラクタを見失った状態にあるものとして説明した。しかしながら、このように案内行動をARキャラクタにとらせた結果に、仮想空間における視点とARキャラクタとが遠離する状況は、ユーザがARキャラクタを見失ったことに依るものに限られない。
上述したような鑑賞体験の提供態様では、ユーザはAR提示端末100を携帯して自由に移動可能であるため、例えば店頭の外観を観察する、写真撮影する等、必ずしもARキャラクタに追従して行動しないこともあり得る。この他、ユーザがARキャラクタを追い越して進行する、誤った方向に移動する、何らかの不測の事態で進行が困難になる等、ユーザの状況は様々となり得る。従って、行動制御部106は、行動を反映した結果のARキャラクタと視点との仮想空間における距離だけでなく、AR提示端末100のセンサ出力や撮影方向を加味してユーザの状態を推定し、該推定結果に基づいてARキャラクタに行わせる行動を変化させるように制御するものであってもよい。
例えば、仮想空間における視点とARキャラクタとが所定の閾値を越えて離間し、かつAR提示端末100の姿勢が案内に係る進行方向と異なる方向に向かったまま、略静止していると判断できる場合、行動制御部106は、ユーザが実空間にある何かしらのオブジェクトに注視している状態であるものと推定するものであってよい。この場合、行動制御部106は、ARキャラクタにルートを戻らせ、何に注視しているかを尋ねる等のイベントを発生させつつ、案内に再度誘導するように、イベント発生及び行動を制御するものであってよい。
また例えば、案内行動で移動させるルートにおいて、ARキャラクタの進行方向に視点が存在している場合、即ち、ユーザがARキャラクタを追い越して移動した場合、行動制御部106は、ユーザが速やかな案内を所望している状態と推定するものであってよい。この場合、行動制御部106は、視点の位置までARキャラクタにルートを進行させたのち、それまでの案内に係るルート移動速度よりも速い速度でルートを先行するように、イベント発生及び行動を制御すればよい。
また、上述した実施形態では、所定の閾値は1つであるものとして説明したが、本発明の実施はこれに限られるものではなく、ルートに沿った移動の結果に視点とARキャラクタとの間に生じた距離の閾値を複数設け、推定可能なユーザの状態、及び対応してとらせる行動を段階的に設ける構成としてもよい。
[変形例2]
上述した実施形態では、基本的には、視点の予め設定されたエリアへの接近か、視点とARキャラクタとの距離に応じてイベントを発生させるかの判断を行い、行動情報の行動リストへの登録を行うものとして判断したが、本発明の実施はこれに限られるものではない。イベントの発生条件は、予め定められたものに限られる必要はなく、例えば実写画像中に機械学習によって把握した特定のオブジェクトの像が検出される場合、仮想空間が対応付けられる実空間の地理的情報を取得した場合等に、行動制御部106は、ARキャラクタに該物体や地域に関する話題を含めた会話を開始するイベントを発生させるよう制御するものとしてもよい。
上述した実施形態では、基本的には、視点の予め設定されたエリアへの接近か、視点とARキャラクタとの距離に応じてイベントを発生させるかの判断を行い、行動情報の行動リストへの登録を行うものとして判断したが、本発明の実施はこれに限られるものではない。イベントの発生条件は、予め定められたものに限られる必要はなく、例えば実写画像中に機械学習によって把握した特定のオブジェクトの像が検出される場合、仮想空間が対応付けられる実空間の地理的情報を取得した場合等に、行動制御部106は、ARキャラクタに該物体や地域に関する話題を含めた会話を開始するイベントを発生させるよう制御するものとしてもよい。
例えば、実空間中に設置されている特定のオブジェクトは、店舗壁面に掲示されているイベントポスターや商品ポスター、あるいは商品自体等であってよく、これらが検出された場合に行動制御部106は、ポスターに関するエピソード、商品宣伝、購買への誘導トーク等をARキャラクタにとらせる行動情報を行動リストに追加するようにしてもよい。この際、画角内にオブジェクトが捕らえられているとしても、ユーザが注目しているとは限らないため、まずオブジェクトに注目するよう促す行動をキャラクタにとらせ、センサ110のセンサ出力等に基づき、これに注目したと推定される場合に、行動を開始させるようにしてもよい。また、センサ110のセンサ出力等により該当のオブジェクトに注目したかを判断し、ユーザの興味・関心があるテーマを推察し、以後の行動制御に反映させるものとしてもよい。
また例えば、鑑賞体験の提供が行われる店舗が海の近くにある場合に、海の話題に触れる、画角に上空が捕らえられた場合に天候の話題を振る、気象情報を受信した場合に天候の話題に触れる等、イベントの発生条件は適応的に追加・削除されるものであってよい。
[変形例3]
ところで、上述したような接客用途の鑑賞体験をユーザに提供する態様では、ユーザの年齢や身長は様々である。即ち、平均身長の成人に対する利用を想定してARキャラクタ身長やARコンテンツの内容を構成したとしても、ユーザによってはこれを好適に体験できない可能性がある。例えば低身長の児童が利用する場合には、AR提示端末100が常に地表から数十センチメートルの高さに維持され得る。故に、AR提示端末100を水平に保った状態では、図6(a)のようにARキャラクタの足元ばかりが提示されてARコンテンツを好適に把握できない可能性がある。あるいは、ARキャラクタの顔を提示させるために、閾値以上の仰角を保つようにAR提示端末100が把持される場合、ユーザ自身の足元が確認しづらいため安全性が担保されない、また、必要な特徴情報が画角内に含まれにくくなるため、ARコンテンツの提示を安定的に行えない可能性がある。
ところで、上述したような接客用途の鑑賞体験をユーザに提供する態様では、ユーザの年齢や身長は様々である。即ち、平均身長の成人に対する利用を想定してARキャラクタ身長やARコンテンツの内容を構成したとしても、ユーザによってはこれを好適に体験できない可能性がある。例えば低身長の児童が利用する場合には、AR提示端末100が常に地表から数十センチメートルの高さに維持され得る。故に、AR提示端末100を水平に保った状態では、図6(a)のようにARキャラクタの足元ばかりが提示されてARコンテンツを好適に把握できない可能性がある。あるいは、ARキャラクタの顔を提示させるために、閾値以上の仰角を保つようにAR提示端末100が把持される場合、ユーザ自身の足元が確認しづらいため安全性が担保されない、また、必要な特徴情報が画角内に含まれにくくなるため、ARコンテンツの提示を安定的に行えない可能性がある。
従って、本変形例において行動制御部106は、AR提示端末100を携行しているユーザがどのような人物であるかを推定し、それに応じて行動を変更させるよう制御する。より詳しくは、検出部105による実写画像の解析及びAR提示端末100の姿勢に係るセンサ出力に基づいて、行動制御部106はユーザの身長や年齢を推定し、ARキャラクタによる案内の仕方を異ならせるよう行動制御を行う。
例えば、ARキャラクタの身長が170cmに設定され、口調がフレンドリーに設定されているARキャラクタを用いて、拡張現実感提示を伴う鑑賞体験を提供する態様を想定する。ARキャラクタからの呼びかけに対して、ARキャラクタの顔が画角に入るように変更された姿勢において、仰角が所定度以上であり、AR提示端末100の地表からの高さが低いと判断できる場合、行動制御部106は、ユーザを低身長の児童であるものとして推定する。この場合、行動制御部106は、図6(b)に示されるように屈んでユーザに話しかける、口調を丁寧語に設定する、歩くスピードを遅くする等、ARキャラクタの行動基準を変更すればよい。また、変形例1のように外界認識して商品紹介等を行う場合にも、低年齢の客層受けしやすい商品に対象をシフトさせるよう制御を行うものとしてもよい。同様に、ARキャラクタよりも身長が高い場合、即ち、ARキャラクタの顔が画角に入るように変更された姿勢において俯角を示しており、AR提示端末100の地表からの高さが高いと判断できる場合、行動制御部106は、ユーザを見上げるようにして話しかける等、行動制御を行ってよい。
[その他の実施形態]
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る拡張現実感提示装置は、1以上のコンピュータを該拡張現実感提示装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る拡張現実感提示装置は、1以上のコンピュータを該拡張現実感提示装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。
100:AR提示端末、101:制御部、102:記録媒体、103:メモリ、104:撮像部、105:検出部、106:行動制御部、107:提示制御部、108:操作入力部、109:通信部、110:センサ、120:表示部、130:音声出力部
Claims (10)
- 撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行うコンピュータに、
前記撮像画像を取得する処理と、
前記実空間における前記コンピュータの位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する処理と、
前記視点の位置及び姿勢に基づいて、前記仮想キャラクタにとらせる行動を制御する処理と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する処理と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる処理と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記コンピュータを使用するユーザの状態を推定する処理と、
を実行させるプログラムであって、
前記仮想キャラクタに行動を反映した結果に推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動を制御するプログラム。 - 前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点との距離が所定の閾値を越える場合に、前記ユーザの状態が特定の状態にあると推定して、前記仮想キャラクタと前記視点との距離に応じて前記仮想キャラクタにとらせる行動を異ならせるよう制御する請求項1に記載のプログラム。
- 前記仮想キャラクタにとらせる行動は、前記仮想空間中を移動させる行動を含み、
前記仮想キャラクタに移動を反映させた結果、移動後の前記仮想キャラクタと前記視点との距離が前記所定の距離を越える場合に、該距離を低減させる行動を前記仮想キャラクタに行わせる請求項2に記載のプログラム。 - 前記距離を低減させる行動は、前記仮想空間において前記仮想キャラクタを前記視点の方向に近づける行動、及び前記実空間における前記コンピュータの移動を促す行動の少なくともいずれかである請求項3に記載のプログラム。
- 前記所定の閾値は、複数設定されており、
前記推定する処理において、前記仮想キャラクタに行動を反映した結果、該行動が反映された仮想キャラクタと前記視点との距離がいずれの閾値を越えるかに応じて、前記ユーザの状態が推定される
請求項2乃至4のいずれか1項に記載のプログラム。 - 前記推定する処理において、さらに前記コンピュータの姿勢を加味して、前記ユーザの状態が推定される請求項5に記載のプログラム。
- 前記プログラムは、取得された前記撮像画像に基づいて、前記実空間における前記コンピュータの位置及び姿勢を検出する処理を、前記コンピュータにさらに実行させる請求項1乃至6のいずれか1項に記載のプログラム。
- 請求項1乃至7のいずれか1項に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
- 撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行う拡張現実感提示装置であって、
前記撮像画像を取得する取得手段と、
前記実空間における前記拡張現実感提示装置の位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する決定手段と、
前記視点の位置及び姿勢に基づいて、前記仮想キャラクタに行わせる行動を制御する制御手段と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する生成手段と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる表示制御手段と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記拡張現実感提示装置を使用するユーザの状態を推定する推定手段と、を有し、
前記制御手段は、前記仮想キャラクタに行動を反映した結果、前記推定手段により推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動を制御する拡張現実感提示装置。 - 撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行う拡張現実感提示方法であって、
前記撮像画像を取得する取得工程と、
前記実空間における前記撮像手段を有する端末の位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する決定工程と、
前記視点の位置及び姿勢に基づいて、前記仮想キャラクタに行わせる行動を制御する制御工程と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する生成工程と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる表示制御工程と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記端末を使用するユーザの状態を推定する推定工程と、を有し、
前記制御工程において、前記仮想キャラクタに行動を反映した結果、前記推定工程で推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動が制御される拡張現実感提示方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018092457A JP2019197499A (ja) | 2018-05-11 | 2018-05-11 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
CN201980031143.XA CN112106114A (zh) | 2018-05-11 | 2019-05-10 | 程序、记录介质、增强现实感呈现装置及增强现实感呈现方法 |
PCT/JP2019/018762 WO2019216419A1 (ja) | 2018-05-11 | 2019-05-10 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
US17/091,985 US20210132686A1 (en) | 2018-05-11 | 2020-11-06 | Storage medium, augmented reality presentation apparatus, and augmented reality presentation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018092457A JP2019197499A (ja) | 2018-05-11 | 2018-05-11 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020029693A Division JP7090116B2 (ja) | 2020-02-25 | 2020-02-25 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019197499A true JP2019197499A (ja) | 2019-11-14 |
Family
ID=68466996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018092457A Pending JP2019197499A (ja) | 2018-05-11 | 2018-05-11 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210132686A1 (ja) |
JP (1) | JP2019197499A (ja) |
CN (1) | CN112106114A (ja) |
WO (1) | WO2019216419A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113140045A (zh) * | 2020-01-16 | 2021-07-20 | 史克威尔·艾尼克斯有限公司 | 用于生成增强现实图像的方法 |
JP2022526512A (ja) * | 2019-11-28 | 2022-05-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体 |
WO2022163651A1 (ja) * | 2021-01-29 | 2022-08-04 | 株式会社Nttドコモ | 情報処理システム |
WO2022264377A1 (ja) * | 2021-06-17 | 2022-12-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
EP3899865A1 (en) | 2018-12-20 | 2021-10-27 | Snap Inc. | Virtual surface modification |
US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
US11232646B2 (en) * | 2019-09-06 | 2022-01-25 | Snap Inc. | Context-based virtual object rendering |
US11315326B2 (en) * | 2019-10-15 | 2022-04-26 | At&T Intellectual Property I, L.P. | Extended reality anchor caching based on viewport prediction |
US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
CN113587975A (zh) * | 2020-04-30 | 2021-11-02 | 伊姆西Ip控股有限责任公司 | 用于管理应用环境的方法、设备和计算机程序产品 |
JP7372230B2 (ja) * | 2020-12-21 | 2023-10-31 | トヨタ自動車株式会社 | 表示システム及び表示装置 |
CN113362472B (zh) * | 2021-05-27 | 2022-11-01 | 百度在线网络技术(北京)有限公司 | 物品展示方法、装置、设备、存储介质及程序产品 |
CN117836813A (zh) * | 2021-08-25 | 2024-04-05 | 索尼半导体解决方案公司 | 信息处理装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014098033A1 (ja) * | 2012-12-17 | 2014-06-26 | Iwata Haruyuki | 携帯型移動支援装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012118560A1 (en) * | 2011-02-28 | 2012-09-07 | Linda Smith | Real-time virtual reflection |
JP2018020888A (ja) * | 2016-08-04 | 2018-02-08 | 船井電機株式会社 | 情報取得装置 |
EP3291531A1 (en) * | 2016-09-06 | 2018-03-07 | Thomson Licensing | Methods, devices and systems for automatic zoom when playing an augmented reality scene |
JP7041888B2 (ja) * | 2018-02-08 | 2022-03-25 | 株式会社バンダイナムコ研究所 | シミュレーションシステム及びプログラム |
-
2018
- 2018-05-11 JP JP2018092457A patent/JP2019197499A/ja active Pending
-
2019
- 2019-05-10 WO PCT/JP2019/018762 patent/WO2019216419A1/ja active Application Filing
- 2019-05-10 CN CN201980031143.XA patent/CN112106114A/zh active Pending
-
2020
- 2020-11-06 US US17/091,985 patent/US20210132686A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014098033A1 (ja) * | 2012-12-17 | 2014-06-26 | Iwata Haruyuki | 携帯型移動支援装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022526512A (ja) * | 2019-11-28 | 2022-05-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体 |
CN113140045A (zh) * | 2020-01-16 | 2021-07-20 | 史克威尔·艾尼克斯有限公司 | 用于生成增强现实图像的方法 |
WO2022163651A1 (ja) * | 2021-01-29 | 2022-08-04 | 株式会社Nttドコモ | 情報処理システム |
WO2022264377A1 (ja) * | 2021-06-17 | 2022-12-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2019216419A1 (ja) | 2019-11-14 |
US20210132686A1 (en) | 2021-05-06 |
CN112106114A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019216419A1 (ja) | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 | |
US11494000B2 (en) | Touch free interface for augmented reality systems | |
US9791921B2 (en) | Context-aware augmented reality object commands | |
TWI775134B (zh) | 互動方法、裝置、設備以及記錄媒體 | |
CN109416562B (zh) | 用于虚拟现实的装置、方法和计算机可读介质 | |
JP6298563B1 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
TWI775135B (zh) | 互動方法、裝置、設備以及記錄媒體 | |
US11244682B2 (en) | Information processing device and information processing method | |
CN111670431B (zh) | 信息处理装置、信息处理方法以及程序 | |
KR20210124313A (ko) | 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체 | |
JP7267411B2 (ja) | インタラクティブオブジェクト駆動方法、装置、電子デバイス及び記憶媒体 | |
US20210383097A1 (en) | Object scanning for subsequent object detection | |
JP7090116B2 (ja) | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 | |
JP2019012509A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
CN110460719B (zh) | 一种语音通话方法及移动终端 | |
WO2023058393A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20240281203A1 (en) | Information processing device, information processing method, and storage medium | |
JP2024108601A (ja) | プログラム | |
JP2023184000A (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP2022148263A (ja) | ロボット、コミュニケーションシステム、コミュニケーション方法及びプログラム | |
CN111782056A (zh) | 内容分享方法、装置、设备及存储介质 | |
JP2020087428A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
CN112135152A (zh) | 信息处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191122 |