JP2023002032A - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

Abstract

【課題】ＡＲコンテンツにおけるユーザビリティの向上を図る。【解決手段】表示制御装置は、周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御部と、周囲に実在する実在オブジェクトが有する実在平面に対応する撮像画像中の仮想空間におけるオブジェクト平面を特定する特定部と、を備え、表示制御部は、仮想オブジェクトに関する文字列を含む付加情報をオブジェクト平面に重畳して表示する、ことを特徴とする。【選択図】図１

Description

本発明は表示制御装置、表示制御方法および表示制御プログラムに関する。

近年、インターネットを介して提供されるコンテンツとして、拡張現実（ＡＲ；Augmented Reality）が普及しつつある。このようなＡＲにおいては、たとえば、仮想的な視点から見た３次元データを撮像画像に対して重畳表示する（例えば、特許文献１参照）。

特開２０２０－９５６０２号公報

しかしながら、従来技術では、たとえば、ＡＲコンテンツにおけるユーザビリティの向上を図るうえで改善の余地があった。

本発明は、上記に鑑みてなされたものであって、ＡＲコンテンツにおけるユーザビリティの向上を図ることができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御部と、前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定部と、を備え、前記表示制御部は、前記仮想オブジェクトに関する文字列を含む付加情報を前記オブジェクト平面に重畳して表示する、ことを特徴とする。

本発明によれば、ＡＲコンテンツにおけるユーザビリティの向上を図ることができる。

図１は、実施形態に係る表示制御システムの概要を示す図である。 図２は、実施形態に係る情報処理装置の構成例を示すブロック図である。 図３は、実施形態に係る多視点映像データベースに記憶する情報の一例を示す図である。 図４は、実施形態に係る表示制御装置の構成例を示すブロック図である。 図５は、実施形態に係る実在オブジェクト情報記憶部に記憶する情報の一例を示す図である。 図６は、実施形態に係る付加情報の表示態様の一例を示す図である。 図７は、実施形態に係る表示面の一例を示す模式図である。 図８は、実施形態に係る仮想オブジェクトと付加情報との関係性を示す模式図である。 図９は、実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 図１０は、実施形態に係る表示制御装置が実行する処理手順の一例を示すフローチャートである。 図１１は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る表示制御装置、表示制御方法および表示制御プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る表示制御装置、表示制御方法および表示制御プログラムが限定されるものではない。

［実施形態］
〔１．表示制御処理〕
まず、図１を用いて、実施形態に係る表示制御処理の一例について説明する。図１は、実施形態に係る表示制御処理の一例を示す図である。

図１に示すように、実施形態に係る表示システムＳは、たとえば、情報処理装置１０と、表示制御装置５０とを有する。情報処理装置１０は、各表示制御装置５０に対して、各種、ＡＲ（Augmented Reality）コンテンツを配信する情報処理装置である。情報処理装置１０は、サーバ装置やクラウドシステムにより実現される。

図１に示すように、情報処理装置１０は、多視点映像データベースを有しており、多視点映像データベースに登録された多視点映像をＡＲコンテンツ１００として提供する。ここで、多視点映像とは、それぞれ異なる視点から同時に撮影された静止画像若しくは動画像のデータをまとめたデータである。例えば、多視点映像を視聴する視聴者の視点位置が変わると、対応する視点位置から撮影された画像に切り替わって見える。

表示制御装置５０は、たとえば、スマートフォンやＨＭＤ(Head Mount Display)などといった各種端末装置であり、情報処理装置１０から配信されるＡＲコンテンツ１００をユーザへ視聴可能に提供する。

たとえば、表示制御装置５０は、周囲を撮像した撮像画像Ｇに対して、情報処理装置１０から配信される多視点映像の仮想オブジェクトＯｖを重畳表示したＡＲコンテンツ１００を提供する。すなわち、表示制御装置５０は、いわゆるビデオシースルータイプのＡＲコンテンツ１００を提供する。なお、表示システムＳで提供するＡＲコンテンツ１００は、ビデオシースルータイプに限られず、光学シースルータイプであってもよい。

ところで、たとえば、多視点映像のＡＲコンテンツを提供するにあたり、ＡＲコンテンツを視聴しているユーザが多視点映像中の仮想オブジェクトに関する感想やコメント等の投稿情報を投稿して、ＡＲコンテンツ中にリアルタイムに表示する技術が望まれている。

具体的には、図１に示すように、たとえば、表示制御装置５０は、情報処理装置１０から多視点映像の配信を受け付ける（ステップＳ１）。たとえば、表示制御装置５０は、配信された多視点映像に基づき、いわゆるストリーミング再生を行うことで、ＡＲコンテンツ１００を表示する。この際、表示制御装置５０は、仮想オブジェクトを任意の視点位置からみた多視点画像に関する情報と、多視点映像中の仮想オブジェクトＯｖ毎に設定された仮想オブジェクトの位置や形状に関する情報等を多視点映像として受け付ける。

続いて、表示制御装置５０は、Ｌｉｄａｒなどの測距センサの測距結果に基づき、周囲に実在する実在オブジェクトＯｒの形状や表示制御装置５０から実在オブジェクトＯｒまでの距離等を算出する。そして、表示制御装置５０から実在オブジェクトＯｒまでの距離等に基づき、実在オブジェクトＯｒが実際に存在する空間（以下、実空間）全体の大きさ、配置などといった実空間情報を推定する。続いて、表示制御装置５０は、実空間情報を推定すると、撮像画像から仮想オブジェクトＯｖを表示する仮想的な表示面（以下、単に表示面）を設定する。図１に示す例では、表示制御装置５０は、実在オブジェクトＯｒである床面に対応する撮像画像中のオブジェクト平面Ｖｐを表示面に設定する。続いて、表示制御装置５０は、表示面を設定すると、仮想オブジェクトＯｖを撮像画像Ｇに表示する（ステップＳ２）。

続いて、表示制御装置５０は、実在オブジェクトＯｒである床面に対応する撮像画像Ｇ中のオブジェクト平面Ｖｐを特定する（ステップＳ３）。表示制御装置５０は、オブジェクト平面Ｖｐを特定した場合に、ユーザに対してオブジェクト平面Ｖｐが特定されたことを視認可能に通知してもよい。例えば、表示制御装置５０は、オブジェクト平面Ｖｐを特定した場合に、特定されたオブジェクト平面Ｖｐに対応する領域を点滅表示させるなどして、ユーザに対してオブジェクト平面Ｖｐが特定されたことを通知してもよい。例えば、表示制御装置５０は、複数のオブジェクト平面Ｖｐが特定された場合は、複数のオブジェクト平面Ｖｐそれぞれを色違いで点滅表示させるなどして、ユーザに対して複数のオブジェクト平面Ｖｐが特定されたことを通知してもよい。

続いて、表示制御装置５０は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付ける(ステップＳ４)。例えば、表示制御装置５０は、指定操作の一例として、画面内のオブジェクト平面Ｖｐが表示されている領域のうち任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。例えば、表示制御装置５０は、複数の複数のオブジェクト平面Ｖｐのうちいずれか一つのオブジェクト平面Ｖｐが表示されている領域の任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。

続いて、表示制御装置５０は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザから仮想オブジェクトＯｖに関する投稿情報の投稿操作を受け付ける。例えば、表示制御装置５０は、オブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザが投稿情報を入力する入力フォームおよび投稿情報を投稿するために押下する送信ボタンを含むコンテンツを画面に表示してよい。そして、表示制御装置５０は、ユーザが入力フォームに文字列を入力した後に送信ボタンを押下する操作を受け付けた場合に、投稿情報の投稿を受け付けてよい。

なお、表示制御装置５０は、オブジェクト平面Ｖｐを指定する指定操作と投稿情報の投稿操作を別々に受け付けてもよい。例えば、表示制御装置５０は、投稿情報の投稿操作としてあらかじめ決められた任意の操作を受け付けた後に、オブジェクト平面Ｖｐを指定する指定操作を受け付けてもよい。例えば、表示制御装置５０は、投稿情報の投稿操作の一例として、ユーザが画面をタップする操作やフリックする操作、または表示制御装置５０を振る操作や傾ける操作を受け付けてよい。

続いて、表示制御装置５０は、ユーザによって指定されたオブジェクト平面Ｖｐに投稿情報を重畳して表示する(ステップＳ５)。より具体的には、表示制御装置５０は、サッカーの試合中にゴール脇に表示される「９０°システム広告」のように投稿情報に含まれる文字列を錯視的に表示する。例えば、表示制御装置５０は、ユーザの視点位置に応じて、投稿情報に含まれる文字列がオブジェクト平面Ｖｐに対して垂直に立って見えるように、投稿情報に含まれる文字列を歪ませた表示態様で投稿情報をオブジェクト平面Ｖｐに表示する。例えば、表示制御装置５０は、ユーザの視点位置から見ると立体に見えるように、投稿情報に含まれる文字列を斜めに引き伸ばされた形でオブジェクト平面Ｖｐに表示する。

図６は、実施形態に係る付加情報の表示態様の一例を示す図である。ここで、付加情報とは、仮想オブジェクトに関する文字列を含む情報のことを指す。例えば、付加情報には、文字列以外の情報（例えば、絵文字、顔文字および画像など）が含まれてよい。例えば、投稿情報は、付加情報の一例である。図６では、撮影画像中の仮想空間の床面が仮想オブジェクトＯｖの表示面であり、仮想オブジェクトＯｖの表示面とオブジェクト平面Ｖｐとが同一の面である例を示す。図６に示すように、表示制御装置５０は、錯視の効果によってユーザの視点位置から見ると立体に見えるように、オブジェクト平面Ｖｐに歪んだ文字である「ＴＥＸＴ」を表示する。すると、錯視の効果により、ユーザの視点位置から見たときに知覚される知覚像は、オブジェクト平面Ｖｐに対して「ＴＥＸＴ」の文字が垂直に立って見える。このように、表示制御装置５０は、ユーザの視点の位置から見たときに、錯視の効果によって、仮想オブジェクトＯｖから所定距離だけ離れた手前側の空間に「ＴＥＸＴ」の文字が表示されて見えるように制御することができる。したがって、表示制御装置５０は、付加情報によってＡＲコンテンツの視聴を妨げないようにすることができる。

なお、図６では、表示制御装置５０が仮想空間の床面であるオブジェクト平面Ｖｐに付加情報を表示する場合について説明したが、表示制御装置５０は仮想空間の天井（例えば、仮想オブジェクトの表示面と平行な平面）または壁面（例えば、仮想オブジェクトの表示面と垂直に交わる平面）に相当する平面に付加情報を表示してもよい。例えば、表示制御装置５０は、錯視の効果によってユーザの視点位置から見ると立体に見えるように、仮想空間の天井または壁面に相当する平面に歪んだ文字である「ＴＥＸＴ」を表示してもよい。このように、表示制御部は、仮想オブジェクトの表示面とオブジェクト平面Ｖｐとの位置関係に応じた表示態様で付加情報を表示する。

〔２．情報処理装置の構成例〕
次に、図２を用いて、情報処理装置１０の構成例について説明する。図２は、情報処理装置１０の構成例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを備える。

通信部２０は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

記憶部３０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、多視点映像データベース３１を有する。

多視点映像データベース３１は、多視点映像を記憶するデータベースである。図３は、多視点映像データベース３１に格納された情報の一例を示す図である。図３に示すように、多視点映像データベース３１は、「映像ＩＤ」、「多視点映像」、「サイズ情報」、「音声」、「音源座標」などといった項目の情報を互いに対応付けて記憶する。

「映像ＩＤ」は、各多視点映像を識別するための識別子であり、「多視点映像」は、それぞれ異なる視点から同時に撮影された静止画像若しくは動画像のデータをまとめた情報である。具体的には、多視点映像データベース３１に保存される多視点映像は、実在する被写体(アーティストである人物など)の周りに複数台の撮影機材を設置し撮影された映像である。なお、多視点映像データベース３１に保存される多視点映像は、３次元モデルを複数の所定の視点からレンダリングした映像であってもよい。

「サイズ情報」は、多視点映像のサイズに関する情報を示し、たとえば、多視点映像に含まれる各仮想オブジェクトＯｖの実寸大の大きさに関する情報である。「音声」は、多視点映像とともに流す音声データを示し、「音源座標」は、多視点映像における音声データの音源の座標に関する情報である。

ＡＲコンテンツ１００として、アーティストの歌唱映像を提供する場合において、音声はアーティストが歌っている音源であり、音源座標は、アーティストの頭部(たとえば、口元)となる。

図２の説明に戻り、制御部４０について説明する。制御部４０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

図２に示すように、制御部４０は、選択部４１と、配信部４２とを備える。選択部４１は、各表示制御装置５０から受け取った多視点映像の配信要求に基づき、対応する多視点映像を多視点映像データベース３１から選択する。

たとえば、配信要求には、上記の映像ＩＤに関する情報が含まれており、選択部４１は、配信要求に含まれる映像ＩＤに合致する多視点映像を多視点映像データベース３１から選択する。

また、たとえば、多視点映像の配信中において、選択部４１は、ＡＲコンテンツ１００に対するユーザの注視点情報を各表示制御装置５０から受け取り、注視点情報に基づき、多視点映像に対する視点切替処理を行う。

たとえば、注視点情報は、実空間における撮像画像Ｇの撮像範囲や撮像向きに関する情報であり、ＡＲコンテンツ１００に表示される実空間に関する情報である。すなわち、ＡＲコンテンツ１００におけるユーザの注視点に関する情報である。たとえば、ユーザが表示制御装置５０（たとえば、後述する外向きカメラ６１）の位置を変化させた場合に注視点が変化し、変化した向きや変化量などに関する情報が注視点情報となる。

選択部４１は、注視点情報に基づき、多視点映像に対する視点位置を選択することで、視点切替処理を行う。これにより、選択した視点位置から見た仮想オブジェクトＯｖの画像が生成される。その後、選択部４１は、注視点情報の変化に追従させて視点位置を随時切り替える処理を行う。

配信部４２は、選択部４１によって選択された多視点映像を各表示制御装置５０に対して配信する。なお、配信部４２が配信する多視点映像は、時間的に連続する多視点画像であり、配信部４２は、注視点情報に基づいて設定された視点位置から見た多視点画像を連続的に配信する。また、配信部４２は、多視点映像とともに音声等に関する情報をあわせて表示制御装置５０へ配信する。

〔３．表示制御装置の構成例〕
次に、図４を用いて、実施形態に係る表示制御装置５０の構成例について説明する。図４は、表示制御装置５０の構成例を示すブロック図である。図４に示すように、表示制御装置５０は、通信部６０、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４、音声出力部６５、記憶部７０および制御部８０を備える。なお、各種センサは、表示制御装置５０以外の他の装置に備えられたセンサであってもよい。

通信部６０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部６０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

外向きカメラ６１は、表示制御装置５０の外側(たとえば、表示部６４の表示面とは逆側)を撮像するカメラであり、実空間を撮像する。たとえば、外向きカメラ６１によって撮像された撮像画像は、ＡＲコンテンツ１００における仮想オブジェクトＯｖの背景画像として用いられる。内向きカメラ６２は、表示制御装置５０の内側(たとえば、表示部６４の表示面側)を撮像するカメラであり、ＡＲコンテンツ１００を視聴するユーザを撮像する。

センサ群６３は、例えば、表示制御装置５０の姿勢や、実空間に存在する実在オブジェクトＯｒまでの距離を検出するための各種センサによって構成される。たとえば、センサ群６３には、ジャイロセンサ、Ｌｉｄａｒなどが含まれる。

例えば、センサ群６３が備えるＬｉｄａｒは、表示制御装置５０から実在オブジェクトＯｒまでの距離や実在オブジェクトＯｒの形状を算出する。

表示部６４は、たとえば、タッチパネルディスプレイであり、ＡＲコンテンツ１００等の各種映像を表示するとともに、各種ユーザ操作を受け付ける。音声出力部６５は、たとえば、サラウンドスピーカあるいはステレオスピーカであり、ＡＲコンテンツ１００とともに流れる各種音声を出力する。

記憶部７０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部７０は、マップ情報記憶部７１および実在オブジェクト情報記憶部７２を有する。

マップ情報記憶部７１は、実空間のマップ情報を記憶する。たとえば、マップ情報とは、表示制御装置５０の周辺環境を示す環境地図であり、後述する自己位置推定部８１や実在オブジェクト推定部８２による処理結果に基づいて作成される。

実在オブジェクト情報記憶部７２は、実在オブジェクトＯｒに関する情報を記憶する。図５は、実在オブジェクト情報記憶部７２に記憶する情報の一例を示す図である。図５に示すように、実在オブジェクト情報記憶部７２は、「オブジェクトＩＤ」、「特徴量」、「オブジェクト情報」などといった項目の情報を互いに対応付けて記憶する。

「オブジェクトＩＤ」は、実在オブジェクトＯｒを識別するための識別子であり、「特徴量」は、実在オブジェクトＯｒの特徴量を示す。ここでの特徴量は、実在オブジェクトＯｒの外見の特徴を示す。「オブジェクト情報」は、実在オブジェクトＯｒの形状、表示制御装置５０から実在オブジェクトＯｒまでの距離、および実空間における実在オブジェクトＯｒの位置を示す位置座標に関する情報を示す。

図４の説明に戻り、制御部８０について説明する。制御部８０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

図４に示すように、制御部８０は、自己位置推定部８１と、実在オブジェクト推定部８２と、表示面設定部８３と、表示制御部８４と、音声制御部８５と、特定部８６と、受付部８７を備える。

自己位置推定部８１は、外向きカメラ６１やセンサ群６３から入力される各種情報に基づき、Ｓｌａｍ（Simultaneous Localization and Mapping）等の技術を用いて実空間の環境地図を作成するとともに、環境地図内における表示制御装置５０の座標(たとえば、ワールド座標)や姿勢を推定する。

また、自己位置推定部８１は、作成した環境地図に関する情報をマップ情報としてマップ情報記憶部７１に格納するとともに、推定した位置や姿勢に関する情報、すなわち、上記の注視点情報を表示面設定部８３へ渡す。また、ＡＲコンテンツ１００の提供中においては、注視点情報は、情報処理装置１０へも送信される。

実在オブジェクト推定部８２は、周囲に実在する実在オブジェクトＯｒに関するオブジェクト情報を推定する。たとえば、実在オブジェクト推定部８２は、外向きカメラ６１によって撮影された撮像画像から実在オブジェクトＯｒを認識するとともに、実在オブジェクトの種別を推定する。

例えば、実在オブジェクト推定部８２は、実在オブジェクト情報記憶部７２に記憶された各実在オブジェクトＯｒの特徴量と、撮像画像中に含まれる対象物の特徴量とを比較することで、双方の特徴量の一致率から周囲の実在オブジェクトＯｒの種別を認識する。

また、実在オブジェクト推定部８２は、Ｌｉｄａｒなどのセンサ群６３の検出結果に基づき、実在オブジェクトＯｒの形状、表示制御装置５０から実在オブジェクトＯｒまでの距離、および実空間における実在オブジェクトＯｒの位置を示す位置座標を推定する。

図７は、撮影画像中の仮想オブジェクトＯｖを表示する仮想的な表示面（以下、単に表示面）の一例を示す模式図である。図７の例では、２つの仮想オブジェクトＯｖ１、２を表示する場合について説明する。

表示面設定部８３は、仮想オブジェクトＯｖ１、２を共に内包可能な空間を仮想オブジェクトＯｖ１、２を表示する表示領域Ａとして設定し、表示領域Ａの底面を表示面Ａｐとして設定する。以下では、撮影画像中の仮想オブジェクトを内包可能な仮想的な空間のことを「仮想空間」と記載する場合がある。例えば、表示領域Ａは、仮想空間に設定された空間である。

言い換えれば、表示面設定部８３は、仮想オブジェクトＯｖ１、２が内包できない空間を表示領域Ａとして設定しない。これにより、たとえば、ＡＲコンテンツ１００において、仮想オブジェクトＯｖが、実空間の壁や天井を突き抜けて表示される誤表示をあらかじめ回避することができる。

その後、表示面設定部８３は、設定した表示領域Ａおよび表示面Ａｐの座標情報をマップ情報記憶部７１に書き込む。なお、たとえば、表示面Ａｐは、実空間の床であるが、仮想オブジェクトＯｖの種類に応じて、ユーザの体の一部（たとえば手のひらなど）であってもよい。また、表示面Ａｐは、実空間の家具（例えば、机や椅子など）の表面であってもよい。また、表示領域Ａ自体を実際の床から浮遊させることにしてもよい。また、表示面設定部８３は、仮想オブジェクトＯｖ１、２に対して、それぞれ独立に表示領域Ａおよび表示面Ａｐを設定することにしてもよい。また、たとえば、仮想オブジェクトＯｖ自体がＡＲコンテンツ１００内を移動したりすることも考えられるので、表示面設定部８３は、仮想オブジェクトＯｖの移動範囲を包含するように表示領域Ａや表示面Ａｐを設定するようにしてもよい。

図４の説明に戻り、表示制御部８４について説明する。表示制御部８４は、表示面設定部８３によって設定された表示面Ａｐに仮想オブジェクトＯｖを表示することで、仮想オブジェクトＯｖを撮像画像Ｇに重畳して表示する。まず、表示制御部８４は、情報処理装置１０に対して多視点映像の配信要求を行い、情報処理装置１０から多視点映像の取得を開始する。

音声制御部８５は、撮像画像Ｇの撮像位置と、多視点画像において設定された音声発生源との位置関係に基づき、音声出力を制御する。図８は、仮想オブジェクトＯｖと音声発生源との関係性を示す模式図である。図８には、３軸の直交座標を示し、外向きカメラ６１と仮想オブジェクトＯｖの位置関係を示すワールド座標系に対応する。

図８に示すように、たとえば、仮想オブジェクトＯｖの頭部に音声発生源Ｓｓが設定される。すなわち、図８に示す例では、音声制御部８５は、仮想オブジェクトＯｖから音声が発生されるように音声出力を制御する。

特定部８６は、Ｌｉｄａｒなどのセンサ群６３の検出結果に基づいて、実在オブジェクトＯｒが有する実在平面を特定する。例えば、特定部８６は、実在オブジェクトＯｒである床が有する床面を特定する。また、例えば、特定部８６は、実在オブジェクトＯｒである天井が有する天井面または壁が有する壁面を特定する。また、例えば、特定部８６は、実在平面の一例として、実在オブジェクトＯｒであるユーザの体の一部（たとえば手のひらなど）または実在オブジェクトＯｒである家具（例えば、机や椅子など）の表面を特定してよい。続いて、特定部８６は、特定した実在平面に対応する撮像画像Ｇ中の仮想空間におけるオブジェクト平面Ｖｐを特定する。より具体的には、特定部８６は、特定した実在平面に対応する仮想空間のオブジェクト平面Ｖｐの位置を特定する。例えば、特定部８６は、実空間の床面に対応する仮想空間のオブジェクト平面Ｖｐとして、表示面設定部８３が設定した表示面Ａｐをオブジェクト平面Ｖｐとして特定する。また、例えば、特定部８６は、実空間の天井面に対応する仮想空間のオブジェクト平面Ｖｐとして、表示面設定部８３が設定した表示領域Ａにおける天井に対応する平面（表示面Ａｐと平行な平面）をオブジェクト平面Ｖｐとして特定する。また、例えば、特定部８６は、実空間の壁面に対応する仮想空間のオブジェクト平面Ｖｐとして、表示領域Ａにおける壁面に対応する平面（表示面Ａｐと直交する平面）をオブジェクト平面Ｖｐとして特定する。

また、特定部８６は、実在平面がユーザの体の一部（たとえば手のひらなど）または家具（例えば、机や椅子など）の表面である場合には、ユーザの体の一部（たとえば手のひらなど）または家具（例えば、机や椅子など）の表面に対応する仮想空間の平面を特定する。例えば、特定部８６は、表示面設定部８３がマップ情報記憶部７１に書き込んだ仮想空間の位置座標と実在オブジェクト推定部８２が推定した実在オブジェクトＯｒの平面の位置座標とに基づいて、仮想空間におけるオブジェクト平面Ｖｐの位置を特定する。

受付部８７は、特定部８６が特定した仮想空間におけるオブジェクト平面Ｖｐが複数存在する場合には、複数のオブジェクト平面Ｖｐの中からオブジェクト平面Ｖｐを指定する指定操作をユーザから受け付ける。例えば、受付部８７は、指定操作の一例として、画面内のオブジェクト平面Ｖｐが表示されている領域のうち任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。例えば、受付部８７は、複数の複数のオブジェクト平面Ｖｐのうちいずれか一つのオブジェクト平面Ｖｐが表示されている領域の任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。

続いて、受付部８７は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザから仮想オブジェクトＯｖに関する投稿情報の投稿操作を受け付ける。例えば、受付部８７は、オブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザが投稿情報を入力する入力フォームおよび投稿情報を投稿するために押下する送信ボタンを含むコンテンツを画面に表示してよい。そして、受付部８７は、ユーザが入力フォームに文字列を入力した後に送信ボタンを押下する操作を受け付けた場合に、投稿情報の投稿を受け付けてよい。

表示制御部８４は、受付部８７が受け付けた指定操作によって指定されたオブジェクト平面Ｖｐに投稿情報を重畳して表示する。図８に示す例では、受付部８７は、ユーザから実空間の床面に対応するオブジェクト平面Ｖｐの指定を受け付ける。表示制御部８４は、受付部８７が受け付けた指定操作によって指定されたオブジェクト平面Ｖｐの位置座標とユーザの視点の位置座標との位置関係に応じた表示態様で付加情報を表示する。例えば、表示制御部８４は、オブジェクト平面Ｖｐの位置座標とユーザの視点の位置を示す位置情報に基づいて、ユーザの視点の位置から投稿情報に含まれる文字列がオブジェクト平面Ｖｐに対して垂直に立って見えるように、投稿情報に含まれる文字列を歪ませた表示態様で投稿情報をオブジェクト平面Ｖｐに表示する。

〔４．処理手順〕
次に、図９および図１０を用いて、実施形態に係る情報処理装置１０および表示制御装置５０が実行する処理手順について説明する。まず、図９を用いて、情報処理装置１０が実行する処理手順について説明する。図９は、情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、情報処理装置１０の制御部４０によって配信要求の取得毎に繰り返し実行される。

図９に示すように、まず、情報処理装置１０は、配信要求を受け付ける(ステップＳ１０１)。続いて、情報処理装置１０は、受け付けた配信要求に基づき、多視点映像を配信し(ステップＳ１０２)、処理を終了する。

なお、多視点映像の配信時において、情報処理装置１０は、注視点情報に基づき、視点位置を変更した仮想オブジェクトＯｖの多視点画像を随時生成し、生成した多視点画像を配信する。

次に、図１０を用いて、表示制御装置５０が実行する処理手順について説明する。図１０は、表示制御装置５０が実行する処理手順の一例を示すフローチャートである。なお、以下に示す処理手順は、ＡＲコンテンツ１００の提供毎に表示制御装置５０の制御部８０によって実行される。

図１０に示すように、まず、表示制御装置５０は、例えば、周囲を撮像した撮像画像等に基づき、周囲に実在する実在オブジェクトＯｒの実在オブジェクトの位置や大きさを推定する。続いて、表示制御装置５０は、推定した実在オブジェクトの位置や大きさに基づき、仮想オブジェクトＯｖの表示領域Ａを設定する(ステップＳ２０１)。

その後、表示制御装置５０は、情報処理装置１０から多視点映像を取得し(ステップＳ２０２)、取得した多視点映像を撮像画像Ｇに重畳表示したＡＲコンテンツ１００を表示する(ステップＳ２０３)。

その後、表示制御装置５０は、周囲に実在する実在オブジェクトＯｒが有する実在平面に対応する撮像画像中のオブジェクト平面Ｖｐを特定する(ステップＳ２０４)。続いて、表示制御装置５０は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付ける(ステップＳ２０５)。続いて、表示制御装置５０は、ユーザによって指定されたオブジェクト平面Ｖｐに付加情報を重畳して表示する(ステップＳ２０５)。

〔５．変形例〕
上述した実施形態では、表示制御装置５０が仮想オブジェクトについて利用者が投稿した投稿情報に対応する付加情報を表示する場合について説明したが、表示制御装置５０が表示する付加情報は投稿情報に限られない。具体的には、表示制御装置５０は、仮想オブジェクトである人物の音声データに含まれる歌詞やセリフなどの言語に対応する文字列を含む付加情報を表示してもよい。

より具体的には、受付部８７は、ユーザから仮想オブジェクトに対応する人物の歌に含まれる歌詞や発話に含まれるセリフに対応する文字列（以下、歌詞等の文字列ともいう）を表示するよう指示する表示操作を受け付ける。例えば、受付部８７は、ユーザから、歌詞等の文字列の表示を指示する表示操作としてあらかじめ決められた所定の操作を受け付ける。例えば、受付部８７は、表示操作の一例として、利用者からオブジェクト平面を指定する指定操作を受け付ける。

情報処理装置１０は、映像ＩＤごとに、仮想オブジェクトの多視点映像と、仮想オブジェクトの歌詞等の文字列と、動画像の再生時間とを対応付けてあらかじめ多視点映像データベース３１に記憶する。表示制御部８４は、受付部８７が表示操作を受け付けると、情報処理装置１０に対して歌詞等の文字列を含む文字情報の配信を要求する。情報処理装置１０は、文字情報の配信要求を受け付けると、表示制御装置５０に対して文字情報を配信する。表示制御部８４は、情報処理装置１０から文字情報を取得すると、利用者によって指定されたオブジェクト平面に文字情報を重畳して表示する。

また、表示制御部８４は、動画像の再生時間に応じて付加情報の表示態様を変更する。例えば、表示制御部８４は、情報処理装置１０に対して、動画像の再生時間に応じた歌詞等の文字列を含む文字情報の配信を要求する。情報処理装置１０は、動画像の再生時間に応じた歌詞等の文字列を含む文字情報を表示制御装置５０に対して配信する。表示制御部８４は、情報処理装置１０から取得した動画像の再生時間に応じた文字情報をオブジェクト平面に重畳して表示する。

なお、受付部８７は、オブジェクト平面を指定する指定操作と歌詞等の文字列を表示するよう指示する表示操作を別々に受け付けてもよい。例えば、受付部８７は、オブジェクト平面を指定する指定操作を受け付けた後に、歌詞等の文字列を表示するよう指示する表示操作を受け付けてよい。あるいは、受付部８７は、歌詞等の文字列を表示するよう指示する表示操作を受け付けた後に、オブジェクト平面を指定する指定操作を受け付けてもよい。例えば、受付部８７は、表示操作の一例として、画面をタップする操作やフリックする操作、または表示制御装置５０を振る操作や傾ける操作を受け付けてよい。

〔６．効果〕
上述してきたように、本願に係る表示制御装置５０は、表示制御部８４と特定部８６を備える。表示制御部８４は、周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する。特定部８６は、周囲に実在する実在オブジェクトが有する実在平面に対応する撮像画像中の仮想空間におけるオブジェクト平面を特定する。表示制御部８４は、仮想オブジェクトに関する文字列を含む付加情報をオブジェクト平面に重畳して表示する。

これにより、表示制御装置５０は、例えば、ＡＲコンテンツを視聴中の利用者が投稿した投稿情報を重畳したＡＲコンテンツを視聴することを可能にする。また、表示制御装置５０は、例えば、ＡＲコンテンツを視聴中の利用者が仮想コンテンツである人物の音声データに含まれる歌詞やセリフを文字によって視認可能にすることができる。したがって、表示制御装置５０は、ＡＲコンテンツにおけるユーザビリティの向上を図ることができる。

また、表示制御部８４は、オブジェクト平面に対する利用者の視点の位置に応じた表示態様で付加情報を表示する。また、表示制御部８４は、付加情報に含まれる文字列がオブジェクト平面に対して垂直に立って見えるように、付加情報に含まれる文字列を歪ませた表示態様で付加情報を表示する。

これにより、表示制御装置５０は、利用者の視点の位置に関わらず、付加情報に含まれる文字列を適切に視認することを可能にする。

また、表示制御部８４は、仮想オブジェクトの表示面とオブジェクト平面との位置関係に応じた表示態様で付加情報を表示する。例えば、表示制御部８４は、仮想オブジェクトの表示面、仮想オブジェクトの表示面と平行な平面、または仮想オブジェクトの表示面と直交する平面であるオブジェクト平面に付加情報を表示する。

このように、表示制御装置５０は、仮想オブジェクトの表示面に付加情報を表示することで、例えば、利用者の視点の位置から見たときに、付加情報に含まれる文字が仮想オブジェクトの表示面に対して垂直に立って見えるように制御することができる。これにより、表示制御装置５０は、利用者の視点の位置から見たときに、仮想オブジェクトＯｖから所定距離だけ離れた手前側の空間に付加情報が表示されて見えるように制御することができる。したがって、表示制御装置５０は、付加情報によってＡＲコンテンツの視聴を妨げないようにすることができる。

また、表示制御部８４は、仮想オブジェクトが動画像である場合には、動画像の再生時間に応じて付加情報の表示態様を変更する。

これにより、表示制御装置５０は、例えば、仮想オブジェクトである人物の歌の歌詞やセリフなどを動画像の動きと合わせたタイミングで視聴可能とすることができる。

また、表示制御装置５０は、受付部８７をさらに備える。受付部８７は、利用者からオブジェクト平面を指定する指定操作を受け付ける。表示制御部８４は、付加情報を、指定操作によって指定されたオブジェクト平面に重畳して表示する。

これにより、表示制御装置５０は、利用者が所望する面に付加情報を表示させることができる。

また、付加情報は、仮想オブジェクトについて利用者が投稿した投稿情報または仮想オブジェクトである人物の音声データに含まれる言語情報である。

これにより、表示制御装置５０は、ＡＲコンテンツを視聴中の利用者が投稿した投稿情報または仮想オブジェクトである人物の音声データに含まれる言語情報を視認可能にすることができる。

〔７．ハードウェア構成〕
また、上述してきた実施形態に係る表示制御装置５０は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、表示制御装置５０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。なお、ＣＰＵ１１００の代わりに、ＭＰＵ（Micro Processing Unit）、また多大な計算パワーを必要とすることからＧＰＵ（Graphics Processing Unit）を用いてもよい。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が表示制御装置５０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部８０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。

５０ 表示制御装置
６０ 通信部
６１ 外向きカメラ
６２ 内向きカメラ
６３ センサ群
６４ 表示部
６５ 音声出力部
７０ 記憶部
７１ マップ情報記憶部
７２ 実在オブジェクト情報記憶部
８０ 制御部
８１ 自己位置推定部
８２ 実在オブジェクト推定部
８３ 表示面設定部
８４ 表示制御部
８５ 音声制御部
８６ 特定部
８７ 受付部

Claims (10)

1. 周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御部と、
   前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定部と、
   を備え、
   前記表示制御部は、
   前記仮想オブジェクトに関する文字列を含む付加情報を前記オブジェクト平面に重畳して表示する、
   ことを特徴とする表示制御装置。
2. 前記表示制御部は、
   前記オブジェクト平面に対する利用者の視点の位置に応じた表示態様で前記付加情報を表示する、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、
   前記付加情報に含まれる文字列が前記オブジェクト平面に対して垂直に立って見えるように、前記付加情報に含まれる文字列を歪ませた表示態様で前記付加情報を表示する、
   ことを特徴とする請求項２に記載の表示制御装置。
4. 前記表示制御部は、
   前記仮想オブジェクトの表示面と前記オブジェクト平面との位置関係に応じた表示態様で前記付加情報を表示する、
   ことを特徴とする請求項１～３のいずれか１つに記載の表示制御装置。
5. 前記表示制御部は、
   前記仮想オブジェクトの表示面、前記仮想オブジェクトの表示面と平行な平面、または前記仮想オブジェクトの表示面と直交する平面である前記オブジェクト平面に前記付加情報を表示する、
   ことを特徴とする請求項４に記載の表示制御装置。
6. 前記表示制御部は、
   前記仮想オブジェクトが動画像である場合には、前記動画像の再生時間に応じて前記付加情報の表示態様を変更する、
   ことを特徴とする請求項１～５のいずれか１つに記載の表示制御装置。
7. 利用者から前記オブジェクト平面を指定する指定操作を受け付ける受付部をさらに備え、
   前記表示制御部は、
   前記付加情報を、前記指定操作によって指定された前記オブジェクト平面に重畳して表示する、
   ことを特徴とする請求項１～６のいずれか１つに記載の表示制御装置。
8. 前記付加情報は、前記仮想オブジェクトについて利用者が投稿した投稿情報または前記仮想オブジェクトである人物の音声データに含まれる言語情報である、
   ことを特徴とする請求項１～７のいずれか１つに記載の表示制御装置。
9. コンピュータが実行する表示制御方法であって、
   周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御工程と、
   前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定工程と、
   を含み、
   前記表示制御工程は、
   前記仮想オブジェクトに関する文字列を含む付加情報を前記オブジェクト平面に重畳して表示する、
   ことを特徴とする表示制御方法。
10. 周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御手順と、
    前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定手順と、
    をコンピュータに実行させ、
    前記表示制御手順は、
    前記仮想オブジェクトに関する文字列を含む付加情報を前記オブジェクト平面に重畳して表示する、
    表示制御プログラム。

Images