JP2014225727A

JP2014225727A - 表示制御装置、表示制御方法および記録媒体

Info

Publication number: JP2014225727A
Application number: JP2013102884A
Authority: JP
Inventors: 康之古賀; Yasuyuki Koga; 哲男池田; Tetsuo Ikeda; 厚史泉原; Atsushi Izumihara; 池田　卓郎; Takuro Ikeda; 卓郎池田; 健太郎木村; Kentaro Kimura; 翼塚原; Tsubasa Tsukahara
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-05-15
Filing date: 2013-05-15
Publication date: 2014-12-04
Anticipated expiration: 2033-05-15
Also published as: WO2014185002A1; CN105210009B; EP2997445A1; CN105210009A; US20160078685A1; JP6318470B2

Abstract

【課題】ユーザがより閲覧しやすくなるように仮想オブジェクトの立体表示を行うことが可能な技術を提供する。
【解決手段】視点検出部によって検出されたユーザの視点を取得する視点取得部と、仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御する表示制御部と、を備え、前記表示制御部は、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、表示制御装置が提供される。
【選択図】図１

Description

本開示は、表示制御装置、表示制御方法および記録媒体に関する。

近年、ユーザの頭部に装着するディスプレイとしてＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）の開発が進んでいる。ユーザの頭部に装着されたＨＭＤによるコンテンツの表示動作は、ユーザの状況に依存せず一定である場合も想定されるが、ユーザの状況に基づいて制御される場合も想定される。例えば、ユーザの状況に応じてコンテンツの表示動作を制御する技術が開示されている（例えば、特許文献１参照）。

特開２００８−６５１６９号公報

しかしながら、立体表示により仮想オブジェクトをユーザに提示するＨＭＤも開発されている。そこで、ユーザがより閲覧しやすくなるように仮想オブジェクトの立体表示を行うことが可能な技術が実現されることが望ましい。

本開示によれば、視点検出部によって検出されたユーザの視点を取得する視点取得部と、仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御する表示制御部と、を備え、前記表示制御部は、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、表示制御装置が提供される。

また、本開示によれば、視点検出部によって検出されたユーザの視点を取得することと、仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御することと、を含み、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御すること、を含む、表示制御方法が提供される。

また、本開示によれば、コンピュータを、視点検出部によって検出されたユーザの視点を取得する視点取得部と、仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御する表示制御部と、を備え、前記表示制御部は、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。

以上説明したように本開示によれば、ユーザがより閲覧しやすくなるように仮想オブジェクトの立体表示を行うことが可能な技術を提供することが可能である。

本開示の実施形態に係る情報処理システムの構成例を示す図である。本開示の実施形態に係る情報処理システムの機能構成例を示す図である。ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する手法の例を説明するための図である。静止時におけるユーザへの天気予報画面の提示の例を示す図である。歩行時におけるユーザへの天気予報画面の提示の例を示す図である。走行時におけるユーザへの天気予報画面の提示の例を示す図である。運転時におけるユーザへの天気予報画面の提示の例を示す図である。静止時におけるユーザへのナビゲーション画面の提示の例を示す図である。歩行時におけるユーザへのナビゲーション画面の提示の例を示す図である。走行時におけるユーザへのナビゲーション画面の提示の例を示す図である。静止時におけるユーザへのランニングアプリケーション画面の提示の例を示す図である。歩行時におけるユーザへのランニングアプリケーション画面の提示の例を示す図である。走行時におけるユーザへのランニングアプリケーション画面の提示の例を示す図である。撮像画像の輝度情報に基づいて仮想オブジェクトの表示位置を制御する例を示す図である。撮像画像の色情報に基づいて仮想オブジェクトの表示位置を制御する例を示す図である。撮像画像の輝度情報に基づいて遮光量を制御する例を示す図である。撮像画像の輝度情報に基づいて遮光量を制御する例を示す図である。本開示の実施形態に係る表示制御装置の動作の流れを示すフローチャートである。本開示の実施形態に係る表示制御装置のハードウェア構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．実施形態
１−１．情報処理システムの構成例
１−２．情報処理システムの機能構成例
１−３．表示制御装置の機能詳細
１−４．表示制御装置の動作
１−５．ハードウェア構成例
２．むすび

＜＜１．実施形態＞＞
まず、本開示の実施形態について説明する。

［１−１．情報処理システムの構成例］
最初に、本開示の実施形態に係る情報処理システム１の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、表示制御装置１０と、撮像部１３０と、センサ部１４０と、表示部１５０と、遮光部１６０とを備える。

撮像部１３０は、撮像範囲を撮像する機能を有する。例えば、撮像部１３０は、ユーザの視線方向を撮像することができるようにユーザの頭部に装着されている。撮像部１３０によって撮像されて得られた撮像画像３０は、例えば、無線信号または有線信号により表示制御装置１０に提供される。なお、図１に示した例では、撮像部１３０は表示制御装置１０と別体に構成されているが、撮像部１３０は、表示制御装置１０と一体化されていてもよい。

センサ部１４０は、センサデータを検出する。例えば、センサ部１４０は、ユーザＵの目領域を撮像して撮像結果を取得する。以下の説明においては、センサ部１４０によってユーザＵの両方の目領域が撮像される場合を主に想定するが、センサ部１４０はユーザＵの片方の目領域を撮像してもよい。センサ部１４０によって撮像されて得られた撮像結果４０は、例えば、無線信号または有線信号により表示制御装置１０に提供される。

なお、本明細書においては、センサ部１４０がユーザＵの目領域を撮像する場合について主に説明するが、ユーザＵの身体に関する他の測定を行ってもよい。例えば、センサ部１４０は、ユーザＵの筋電を測定してもよい。かかる場合、センサ部１４０によって撮像されて得られた筋電の測定結果は、例えば、無線信号または有線信号により表示制御装置１０に提供される。

また、図１に示した例では、センサ部１４０は表示制御装置１０と別体に構成されているが、センサ部１４０は、表示制御装置１０と一体化されていてもよい。また、後に説明するように、情報処理システム１は、センサ部１４０の他にセンサを有していてもよい。

表示部１５０は、表示制御装置１０から無線信号または有線信号により提供された制御信号に従って仮想オブジェクトを表示する機能を有する。表示部１５０によって表示される仮想オブジェクトの種類は特に限定されない。また、本明細書においては、表示部１５０が透過型ＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）である場合を主に想定する。なお、図１に示した例では、表示部１５０は表示制御装置１０と別体に構成されているが、表示部１５０は、表示制御装置１０と一体化されていてもよい。

遮光部１６０は、ユーザＵの目領域に到達する光の量を調整する機能を有する。遮光部１６０は、表示部１５０を通過した光の一部だけを遮光してもよいし、全部を遮光してもよいし、全部を透過させてもよい。図１に示した例では、表示部１５０の外側に遮光部１６０が設けられているが、遮光部１６０が設けられる位置は特に限定されない。遮光部１６０は、例えば、液晶シャッタにより構成されていてよい。なお、図１に示した例では、遮光部１６０は表示制御装置１０と別体に構成されているが、遮光部１６０は、表示制御装置１０と一体化されていてもよい。

以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。

［１−２．情報処理システムの機能構成例］
続いて、本開示の実施形態に係る情報処理システム１の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１の機能構成例を示す図である。図２に示すように、本開示の実施形態に係る表示制御装置１０は、制御部１１０と、記憶部１２０とを備える。上記したように、撮像部１３０、センサ部１４０、表示部１５０および遮光部１６０それぞれは、表示制御装置１０と無線または有線により接続されている。

制御部１１０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのプロセッサに相当する。制御部１１０は、記憶部１２０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、視点検出部１１１と、視点取得部１１２と、表示制御部１１３と、行動認識部１１４と、行動取得部１１５と、画像取得部１１６と、遮光制御部１１７とを有する。これらの各機能ブロックそれぞれが有する機能については後に説明する。

記憶部１２０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１２０は、プログラムによって使用される各種のデータ（例えば、仮想オブジェクトを立体表示させるための画像など）を記憶することもできる。なお、図２に示した例では、記憶部１２０は表示制御装置１０と一体化されているが、記憶部１２０は表示制御装置１０と別体に構成されていてもよい。

以上、本開示の実施形態に係る情報処理システム１の機能構成例について説明した。

［１−３．表示制御装置の機能詳細］
続いて、本開示の実施形態に係る表示制御装置１０の機能詳細について説明する。まず、表示制御部１１３は、仮想オブジェクトが表示部１５０によって立体表示されるように表示部１５０を制御する機能を有し、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する機能を有している。そこで、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する手法の例について説明する。

図３は、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する手法の例を説明するための図である。図３を参照すると、ユーザの左眼位置ｅｌおよび右眼位置ｅｒが示されている。ここで、表示制御部１１３は、ユーザの左眼に提示される左眼画像を表示部１５０Ｌの表示位置ｄｌに表示させるとともにユーザの右眼に提示される右眼画像を表示部１５０Ｒの表示位置ｄｒに表示させた場合、仮想オブジェクトは、表示位置Ｐに立体表示される。表示位置Ｐは、左眼位置ｅｌおよび表示位置ｄｌを結ぶ直線と右眼位置ｅｒおよび表示位置ｄｒを結ぶ直線との交点に相当する

図３に示した例において、表示位置Ｐからユーザの左眼位置ｅｌと右眼位置ｅｒとを結ぶ直線までの距離を輻輳距離Ｄとし、左眼位置ｅｌと表示位置Ｐとを結ぶ線分と右眼位置ｅｒと表示位置Ｐとを結ぶ線分とのなす角を輻輳角ａとする。表示制御部１１３は、表示位置ｄｌと表示位置ｄｒとの間隔を広げることによって、輻輳距離Ｄを大きくするほど（または輻輳角を小さくするほど）、ユーザに提示される仮想オブジェクトの奥行方向の位置をユーザから遠ざけることができる。

一方、表示制御部１１３は、表示位置ｄｌと表示位置ｄｒとの間隔を狭めることによって、輻輳距離Ｄを小さくするほど（または輻輳角を大きくするほど）、ユーザに提示される仮想オブジェクトの奥行方向の位置をユーザに近づけることができる。このようにして、表示制御部１１３は、左眼画像の表示位置ｄｌと右眼画像の表示位置ｄｒとを制御することによって、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御することが可能である。しかし、ここで説明した手法は、単なる一例に過ぎない。したがって、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する手法は特に限定されない。

例えば、表示制御部１１３は、サイズが大きい仮想オブジェクトほど手前に存在するように見えるという特性を利用し、仮想オブジェクトのサイズを制御することによってユーザに提示される仮想オブジェクトの奥行方向の位置を制御してもよい。また、表示制御部１１３は、仮想オブジェクトのピントが合う位置を制御することによってユーザに提示される仮想オブジェクトの奥行方向の位置を制御してもよい。さらに、表示制御部１１３は、視差の大きさを制御することによって、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御してもよい。

以上、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する手法の例を説明した。ここで、仮想オブジェクトの奥行方向の位置とユーザの視点との間にずれが生じてしまうような場合には、仮想オブジェクトを閲覧しにくくなるという状況が起こり得る。そのため、本明細書においては、ユーザがより閲覧しやすくなるように仮想オブジェクトの立体表示を行うことが可能な技術を提案する。

視点検出部１１１は、センサ部１４０によって検出されたセンサデータに基づいてユーザの視点を検出する。例えば、視点検出部１１１は、センサ部１４０により撮像された撮像結果４０に基づいてユーザの視点を検出する。視点検出部１１１による視点の検出手法としては、例えば、特開２０１２−８７４６号公報に開示された技術を用いることができるが、視点検出部１１１による視点の検出手法は特に限定されない。

例えば、視点検出部１１１は、センサ部１４０による筋電の測定結果に基づいて、ユーザの視点を検出してもよい。図２に示した例では、視点検出部１１１が表示制御装置１０に備えられているが、表示制御装置１０の代わりにセンサ部１４０に備えられていてもよい。視点検出部１１１によって検出されたユーザの視点は、視点取得部１１２によって取得される。

行動認識部１１４は、ユーザの行動を認識する。例えば、行動認識部１１４は、ユーザの行動を認識する手法としては、例えば、特開２００６−３４５２６９号公報により開示されている技術を採用することができる。かかる技術によれば、例えば、センサによりユーザの動きが検出され、検出された動きが行動認識部１１４により解析されることにより、ユーザの行動が認識される。

しかしながら、行動認識部１１４による行動の認識手法は、かかる例に限定されない。例えば、行動認識部１１４は、ユーザから行動の入力が受け付けられた場合には、ユーザからの入力が受け付けられた行動を取得してもよい。図２に示した例では、行動認識部１１４が表示制御装置１０に備えられているが、表示制御装置１０の代わりにセンサ部１４０に備えられていてもよい。行動認識部１１４によって認識されたユーザの行動は、行動取得部１１５によって取得される。

続いて、表示制御部１１３は、視点取得部１１２によって取得された視点に基づいて、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する。かかる制御によって、ユーザの視点の遠近に応じて、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御することが可能となり、ユーザがより閲覧しやすくなるように仮想オブジェクトの立体表示を行うことが可能となる。

以下、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する手法の例をより詳細に説明する。まず、図４〜図７を参照しながら、仮想オブジェクトが天気予報画面である場合について説明する。しかし、仮想オブジェクトの種類が特に限定されない旨は上記した通りであるため、仮想オブジェクトが天気予報画面に限定されないことは言うまでもない。

図４〜図６は、静止時、歩行時および走行時それぞれにおけるユーザへの天気予報画面５０−Ａ１〜５０−Ａ３の提示の例を示す図である。図４〜図６に示すように、静止時よりも歩行時のほうがユーザの視点が遠くなり、歩行時よりも走行時のほうがユーザの視点が遠くなっている。そこで、例えば、表示制御部１１３は、視点がユーザから遠くなるほど、ユーザに提示される天気予報画面の奥行方向の位置を遠ざければよい。

なお、一時的に視点を変更したに過ぎない場合なども想定される。このような場合にまで、ユーザの視点の遠近が変わる度に、ユーザに提示される仮想オブジェクトの奥行方向の位置を変更してしまうと、ユーザに煩わしさを与えてしまう可能性もある。したがって、表示制御部１１３は、所定時間を超えても視点が変更されなかった場合に、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御するようにしてもよい。

また、天気予報画面５０−Ａ１〜５０−Ａ３それぞれには、コンテンツ（例えば、文字データ、画像データなど）が含まれている。コンテンツはユーザの行動に依存せずに一定であってもよいが、ユーザの行動に応じて変更されてもよい。例えば、表示制御部１１３は、行動取得部１１５によって取得された行動に基づいて天気予報画面に含まれるコンテンツを制御してもよい。

天気予報画面に含まれるコンテンツの制御はどのようになされてもよいが、表示制御部１１３は、ユーザの行動に基づいて、仮想オブジェクトに含まれるコンテンツの情報量を制御してもよい。例えば、図４〜図６に示すように、静止時よりも歩行時のほうがコンテンツを閲覧しにくい状況が起こり得る。また、歩行時よりも走行時のほうがコンテンツを閲覧しにくい状況が起こり得る。そこで、表示制御部１１３は、行動の移動速度が大きいほど、ユーザに提示される天気予報画面に含まれるコンテンツの情報量が小さくなるように制御してよい。

また、表示制御部１１３は、ユーザの行動に基づいて、仮想オブジェクトに含まれるコンテンツの表示サイズを制御してもよい。例えば、上記したように、静止時よりも歩行時のほうがコンテンツを閲覧しにくい状況が起こり得る。また、歩行時よりも走行時のほうがコンテンツを閲覧しにくい状況が起こり得る。そこで、表示制御部１１３は、行動の移動速度が大きいほど、ユーザに提示される天気予報画面に含まれるコンテンツの表示サイズが大きくなるように制御してよい。

また、表示制御部１１３は、ユーザの行動に基づいて、仮想オブジェクトに含まれるコンテンツの仮想オブジェクトにおける位置を制御してもよい。例えば、上記したように、静止時よりも歩行時のほうがコンテンツを閲覧しにくい状況が起こり得る。また、歩行時よりも走行時のほうがコンテンツを閲覧しにくい状況が起こり得る。そこで、表示制御部１１３は、行動の移動速度が大きいほど、ユーザに提示される天気予報画面に含まれるコンテンツの仮想オブジェクトにおける位置が仮想オブジェクトの端部により偏るように制御してよい。

ユーザの行動に対応する天気予報画面は、あらかじめ作成されていてもよいし、表示が必要となる度に作成してもよい。例えば、天気予報画面があらかじめ作成されている場合、表示制御部１１３は、ユーザの行動に対応する天気予報画面をユーザに提示するようにすればよい。また、表示制御部１１３は、ユーザの行動に対応するコンテンツの情報量に基づいて天気予報画面を作成してもよい。

同様に、表示制御部１１３は、ユーザの行動に対応するコンテンツの表示サイズに基づいて天気予報画面を作成してもよい。また、表示制御部１１３は、コンテンツの仮想オブジェクトにおける位置に基づいて天気予報画面を作成してもよい。

なお、表示制御部１１３は、ユーザの行動に基づいて、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御してもよい。例えば、表示制御部１１３は、行動が示す移動速度が大きくなるほど、ユーザに提示される天気予報画面の奥行方向の位置が遠くなるように制御してもよい。

また、表示制御部１１３は、ユーザの行動および視点のいずれか一方に基づいて、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御してもよいが、ユーザの行動および視点の双方に基づいて、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御してもよい。あるいは、表示制御部１１３は、状況に応じてユーザの行動および視点のいずれを優先して利用するかを決めてもよい。

図７は、運転時におけるユーザへの天気予報画面５０−Ａ４の提示の例を示す図である。図７に示すように、ユーザが自動車を運転している場合、行動は「静止時」であるが、視点はユーザから遠いことがよくある。そのため、表示制御部１１３は、行動よりも視点を優先して利用し、視点に基づいて、ユーザに提示される天気予報画面５０−Ａ４の奥行方向の位置を制御すればよい。

図８〜図１０は、静止時、歩行時および走行時それぞれにおけるユーザへのナビゲーション画面５０−Ｂ１〜５０−Ｂ３の提示の例を示す図である。図８〜図１０に示したように、仮想オブジェクトがナビゲーション画面である場合も、仮想オブジェクトが天気予報画面である場合と同様にして、ユーザに提示される仮想オブジェクトの奥行方向の位置が制御され得る。仮想オブジェクトがナビゲーション画面に限定されないことは言うまでもない。

また、図１１〜図１３は、静止時、歩行時および走行時それぞれにおけるユーザへのランニングアプリケーション画面５０−Ｃ１〜５０−Ｃ３の提示の例を示す図である。図１１〜図１３に示したように、仮想オブジェクトがランニングアプリケーション画面である場合も、仮想オブジェクトが天気予報画面である場合と同様にして、ユーザに提示される仮想オブジェクトの奥行方向の位置が制御され得る。仮想オブジェクトがランニングアプリケーション画面に限定されないことは言うまでもない。

上記した例では、ユーザ自身の視点や行動に基づいて仮想オブジェクトを制御する手法について説明したが、他にも様々な要因に基づいて仮想オブジェクトを制御することも考えられる。一例として、画像取得部１１６は、撮像部１３０によって撮像された撮像画像３０を取得し、表示制御部１１３は、画像取得部１１６によって取得された撮像画像３０に基づいて仮想オブジェクトを制御してもよい。かかる制御によれば、ユーザの周囲の環境に応じて仮想オブジェクトを制御することが可能となる。

撮像画像３０に基づいた仮想オブジェクトの制御の手法は特に限定されないが、例えば、表示制御部１１３は、撮像画像３０の輝度情報に基づいて仮想オブジェクトの表示位置を制御してもよい。図１４は、撮像画像３０の輝度情報に基づいて仮想オブジェクト５０の表示位置を制御する例を示す図である。図１４を参照すると、撮像画像３０−Ａには、領域３０−Ａ１と領域３０−Ａ２が映っている。

ここで、表示制御部１１３は、仮想オブジェクト５０を領域３０−Ａ１に表示させようとしたところ、領域３０−Ａ１の輝度が閾値より高いことを検出したとする。一方、表示制御部１１３は、領域３０−Ａ２の輝度が閾値より低いことを検出したとする。かかる場合、表示制御部１１３は、仮想オブジェクト５０の表示位置を領域３０−Ａ２に変更することが可能である。このようにすれば、ユーザがより閲覧しやすい仮想オブジェクト５０を提示することが可能となる。

なお、表示制御部１１３が仮想オブジェクト５０の表示位置を制御する例を説明したが、表示制御部１１３は、撮像画像３０の輝度情報に基づいて仮想オブジェクトの輝度を制御してもよい。例えば、図１４に示した例において、表示制御部１１３は、仮想オブジェクト５０の表示位置を領域３０−Ａ２に変更する代わりに、仮想オブジェクト５０の輝度を高めてもよい。このようにしても、ユーザが閲覧しやすい仮想オブジェクト５０を提示することが可能となる。

また、表示制御部１１３は、撮像画像３０の色情報に基づいて仮想オブジェクトの表示位置を制御してもよい。図１５は、撮像画像３０の色情報に基づいて仮想オブジェクト５０の表示位置を制御する例を示す図である。図１５を参照すると、撮像画像３０−Ｂには、領域３０−Ｂ１と領域３０−Ｂ２が映っている。

ここで、表示制御部１１３は、仮想オブジェクト５０を領域３０−Ｂ１に表示させようとしたところ、領域３０−Ｂ１と仮想オブジェクト５０とが類似色であることを検出したとする。一方、表示制御部１１３は、領域３０−Ｂ２と仮想オブジェクト５０とは類似色ではないことを検出したとする。かかる場合、表示制御部１１３は、仮想オブジェクト５０の表示位置を領域３０−Ｂ２に変更することが可能である。このようにすれば、ユーザがより閲覧しやすい仮想オブジェクト５０を提示することが可能となる。

例えば、表示制御部１１３は、領域３０−Ｂ２の色と仮想オブジェクト５０の色との距離が閾値を下回る場合に、領域３０−Ｂ２と仮想オブジェクト５０とが類似色であることを検出する。領域３０−Ｂ２の色と仮想オブジェクト５０の色との距離は、領域３０−Ｂ２のＲ値、Ｇ値およびＢ値をＸ軸、Ｙ軸およびＺ軸にプロットし、仮想オブジェクト５０のＲ値、Ｇ値およびＢ値をＸ軸、Ｙ軸およびＺ軸にプロットした場合に、２点間の３次元的な距離により算出され得る。

なお、表示制御部１１３が仮想オブジェクト５０の表示位置を制御する例を説明したが、表示制御部１１３は、撮像画像３０の色情報に基づいて仮想オブジェクトの色を制御してもよい。例えば、図１５に示した例において、表示制御部１１３は、仮想オブジェクト５０の表示位置を領域３０−Ｂ２に変更する代わりに、仮想オブジェクト５０の色を変更してもよい。表示制御部１１３は、仮想オブジェクト５０の色を領域３０−Ｂ２の色の補色に変更してもよい。このようにしても、ユーザが閲覧しやすい仮想オブジェクト５０を提示することが可能となる。

また、例えば、表示制御部１１３は、撮像画像３０から抽出された特徴量に基づいて、仮想オブジェクト５０の表示位置を制御してもよい。再度、図１４を参照する。ここで、表示制御部１１３は、仮想オブジェクト５０を領域３０−Ａ１に表示させようとしたところ、領域３０−Ａ１には壁の前に物体が映っているため、領域３０−Ａ１から抽出した特徴量の安定度が閾値より小さいことを検出する。一方、表示制御部１１３は、領域３０−Ａ２には壁の前に物体が映っていないため、領域３０−Ａ２から抽出した特徴量の安定度が閾値より大きいことを検出する。

かかる場合、表示制御部１１３は、仮想オブジェクト５０の表示位置を領域３０−Ａ２に変更することが可能である。このようにすれば、ユーザがより閲覧しやすい仮想オブジェクト５０を提示することが可能となる。各領域における特徴量の安定度はどのように算出されてもよいが、例えば、表示制御部１１３は、各領域における特徴量の最大値と最小値との差分値が小さいほど安定度を高く算出してよい。

また、例えば、表示制御部１１３は、撮像画像３０から物体が検出された場合、物体の位置に基づいて、ユーザに提示される仮想オブジェクト５０の位置を制御してもよい。再度、図１４を参照しながら、壁を物体の例として取り上げて説明する。ここで、表示制御部１１３は、仮想オブジェクト５０を表示させようとしたところ、領域３０−Ａ２に壁が映っていることを認識したとする。かかる場合、表示制御部１１３は、壁が映っていると認識した領域３０−Ａ２に仮想オブジェクト５０を表示させればよい。

さらに、表示制御部１１３は、仮想オブジェクト５０の奥行方向の位置を制御してもよい。例えば、表示制御部１１３は、撮像部１３０からフォーカスが合っている対象までの距離を壁の奥行方向における位置として測定し、仮想オブジェクト５０の奥行方向の位置が壁の奥行方向における位置に合うようにすればよい。このようにすれば、物体の奥行方向における位置に合わせて仮想オブジェクト５０の奥行方向の位置も調整されるため、より自然に仮想オブジェクト５０を提示することが可能となる。

ここで、上記したように、情報処理システム１には、ユーザＵの目領域に到達する光の量を調整する遮光部１６０が備えられている。遮光部１６０による遮光量は一定であってもよいが、状況に応じて制御されてもよい。例えば、遮光制御部１１７は、撮像画像３０の輝度情報に基づいて遮光部１６０による遮光量を制御してもよい。図１６および図１７は、撮像画像３０の輝度情報に基づいて遮光量を制御する例を示す図である。

図１６に示した例では、画像取得部１１６によって撮像画像３０−Ｃ１が取得されている。ここで、撮像画像３０−Ｃ１が明るい場所において撮像されたため、輝度が大きかったとする。かかる場合、遮光制御部１１７は、遮光量が大きくなるように遮光部１６０（遮光部１６０Ｌおよび遮光部１６０Ｒ）を制御してもよい。

一方、図１７に示した例では、画像取得部１１６によって撮像画像３０−Ｃ２が取得されている。ここで、撮像画像３０−Ｃ２が暗い場所において撮像されたため、輝度が小さかったとする。かかる場合、遮光制御部１１７は、遮光量が小さくなるように遮光部１６０（遮光部１６０Ｌおよび遮光部１６０Ｒ）を制御してもよい。

このようにして、遮光制御部１１７は、撮像画像３０の輝度が高いほど、遮光部１６０による遮光量が大きくなるように遮光部１６０を制御してよい。かかる制御によれば、ユーザの視野が明るいときほど、ユーザの目に入射する光の量をより小さくすることが可能となり、ユーザが仮想オブジェクト５０をさらに閲覧しやすくなることが期待できる。

以上、本開示の実施形態に係る表示制御装置１０の機能詳細について説明した。

［１−４．表示制御装置の動作］
続いて、本開示の実施形態に係る表示制御装置１０の動作の流れについて説明する。図１８は、本開示の実施形態に係る表示制御装置１０の動作の流れを示すフローチャートである。なお、図１８に示した例は、本開示の実施形態に係る表示制御装置１０の動作の流れの一例に過ぎない。したがって、本開示の実施形態に係る表示制御装置１０の動作の流れは、図１８に示した例に限定されない。

図１８に示すように、まず、視点取得部１１２は、視点検出部１１１によって検出されたユーザの視点を取得し（Ｓ１１）、行動取得部１１５は、行動認識部１１４によって認識されたユーザの行動を取得する（Ｓ１２）。また、画像取得部１１６は、撮像部１３０によって撮像された撮像画像を取得する（Ｓ１３）。表示制御部１１３は、視点取得部１１２によって取得された視点に基づいて、ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する（Ｓ１４）。

また、表示制御部１１３は、行動取得部１１５によって取得された行動に基づいて、仮想オブジェクトに含まれるコンテンツを制御する（Ｓ１５）。さらに、表示制御部１１３は、撮像部１３０によって撮像された撮像画像に基づいて仮想オブジェクトを制御する（Ｓ１６）。遮光制御部１１７は、撮像画像の輝度情報に基づいて遮光部１６０による遮光量を制御する（Ｓ１７）。制御部１１０は、Ｓ１７の動作が終了した後は、Ｓ１１の動作に再度戻ってもよいし、動作を終了させてもよい。

以上、本開示の実施形態に係る表示制御装置１０の動作の流れについて説明した。

［１−５．ハードウェア構成例］
続いて、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明する。図１９は、本開示の実施形態に係る表示制御装置１０のハードウェア構成例を示す図である。ただし、図１９に示したハードウェア構成例は、表示制御装置１０のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置１０のハードウェア構成は、図１９に示した例に限定されない。

図１９に示したように、表示制御装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３と、入力装置９０８と、出力装置９１０と、ストレージ装置９１１と、ドライブ９１２とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。

入力装置９０８は、センサ部１４０により測定されたセンサデータ（例えば、センサ部１４０により撮像された撮像結果）および撮像部１３０により撮像された撮像画像の入力を受け付ける。入力装置９０８により入力が受け付けられたセンサデータおよび撮像画像は、ＣＰＵ９０１に出力される。また、入力装置９０８は、他のセンサにより検出された検出結果を、ＣＰＵ９０１に出力してもよい。

出力装置９１０は、表示部１５０に対して出力データを提供する。例えば、出力装置９１０は、ＣＰＵ９０１による制御に従って表示データを表示部１５０に提供する。また、表示部１５０が音声出力装置により構成されている場合には、出力装置９１０は、ＣＰＵ９０１による制御に従って音声データを表示部１５０に提供する。

ストレージ装置９１１は、表示制御装置１０の記憶部１２０の一例として構成されたデータ格納用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９１１は、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９１２は、記憶媒体用リーダライタであり、表示制御装置１０に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。

以上、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明した。

＜＜２．むすび＞＞
以上説明したように、本開示の実施形態によれば、視点検出部１１１によって検出されたユーザの視点を取得する視点取得部１１２と、仮想オブジェクト５０が表示部１５０によって立体表示されるように表示部１５０を制御する表示制御部１１３と、を備え、表示制御部１１３は、視点に基づいて、ユーザに提示される仮想オブジェクト５０の奥行方向の位置を制御する、表示制御装置１０が提供される。かかる構成によれば、ユーザがより閲覧しやすくなるように仮想オブジェクトの立体表示を行うことが可能となる。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した表示制御装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
視点検出部によって検出されたユーザの視点を取得する視点取得部と、
仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御する表示制御部と、を備え、
前記表示制御部は、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、
表示制御装置。
（２）
前記表示制御装置は、
行動認識部によって認識されたユーザの行動を取得する行動取得部をさらに備え、
前記表示制御部は、前記行動に基づいて前記仮想オブジェクトに含まれるコンテンツを制御する、
前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記行動に基づいて、前記仮想オブジェクトに含まれるコンテンツの情報量を制御する、
前記（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記行動に基づいて、前記仮想オブジェクトに含まれるコンテンツの表示サイズを制御する、
前記（２）に記載の表示制御装置。
（５）
前記表示制御部は、前記行動に基づいて、前記仮想オブジェクトに含まれるコンテンツの前記仮想オブジェクトにおける位置を制御する、
前記（２）に記載の表示制御装置。
（６）
前記表示制御装置は、
行動認識部によって認識されたユーザの行動を取得する行動取得部をさらに備え、
前記表示制御部は、前記行動に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、
前記（１）に記載の表示制御装置。
（７）
前記表示制御装置は、
撮像部によって撮像された撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、前記撮像画像に基づいて前記仮想オブジェクトを制御する、
前記（１）〜（６）のいずれか一項に記載の表示制御装置。
（８）
前記表示制御部は、前記撮像画像の輝度情報に基づいて前記仮想オブジェクトの表示位置を制御する、
前記（７）に記載の表示制御装置。
（９）
前記表示制御部は、前記撮像画像の輝度情報に基づいて前記仮想オブジェクトの輝度を制御する、
前記（７）に記載の表示制御装置。
（１０）
前記表示制御部は、前記撮像画像の色情報に基づいて前記仮想オブジェクトの表示位置を制御する、
前記（７）に記載の表示制御装置。
（１１）
前記表示制御部は、前記撮像画像の色情報に基づいて前記仮想オブジェクトの色を制御する、
前記（７）に記載の表示制御装置。
（１２）
前記表示制御部は、前記撮像画像から抽出された特徴量に基づいて、前記仮想オブジェクトの表示位置を制御する、
前記（７）に記載の表示制御装置。
（１３）
前記表示制御装置は、
撮像部によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像の輝度情報に基づいて遮光部による遮光量を制御する遮光制御部と、
をさらに備える、
前記（１）〜（１２）のいずれか一項に記載の表示制御装置。
（１４）
前記表示制御部は、前記ユーザの左眼に提示される左眼画像の表示位置と前記ユーザの右眼に提示される右眼画像の表示位置とを制御することによって、前記ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する、
前記（１）〜（１３）のいずれか一項に記載の表示制御装置。
（１５）
前記表示制御装置は、
撮像部によって撮像された撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、前記撮像画像から物体が検出された場合、前記物体の位置に基づいて、前記ユーザに提示される前記仮想オブジェクトの位置を制御する、
前記（１）〜（１４）のいずれか一項に記載の表示制御装置。
（１６）
前記表示制御部は、前記視点が前記ユーザから遠くなるほど、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を遠ざける、
前記（１）〜（１５）のいずれか一項に記載の表示制御装置。
（１７）
視点検出部によって検出されたユーザの視点を取得することと、
仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御することと、を含み、
前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御すること、
を含む、表示制御方法。
（１８）
コンピュータを、
視点検出部によって検出されたユーザの視点を取得する視点取得部と、
仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御する表示制御部と、を備え、
前記表示制御部は、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、
表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。

１情報処理システム
１０表示制御装置
３０撮像画像
４０撮像結果
５０仮想オブジェクト
１１０制御部
１１１視点検出部
１１２視点取得部
１１３表示制御部
１１４行動認識部
１１５行動取得部
１１６画像取得部
１１７遮光制御部
１２０記憶部
１３０撮像部
１４０センサ部
１５０（１５０Ｌ、１５０Ｒ）表示部
１６０（１６０Ｌ、１６０Ｒ）遮光部

Claims

視点検出部によって検出されたユーザの視点を取得する視点取得部と、
仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御する表示制御部と、を備え、
前記表示制御部は、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、
表示制御装置。
前記表示制御装置は、
行動認識部によって認識されたユーザの行動を取得する行動取得部をさらに備え、
前記表示制御部は、前記行動に基づいて前記仮想オブジェクトに含まれるコンテンツを制御する、
請求項１に記載の表示制御装置。
前記表示制御部は、前記行動に基づいて、前記仮想オブジェクトに含まれるコンテンツの情報量を制御する、
請求項２に記載の表示制御装置。
前記表示制御部は、前記行動に基づいて、前記仮想オブジェクトに含まれるコンテンツの表示サイズを制御する、
請求項２に記載の表示制御装置。
前記表示制御部は、前記行動に基づいて、前記仮想オブジェクトに含まれるコンテンツの前記仮想オブジェクトにおける位置を制御する、
請求項２に記載の表示制御装置。
前記表示制御装置は、
行動認識部によって認識されたユーザの行動を取得する行動取得部をさらに備え、
前記表示制御部は、前記行動に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、
請求項１に記載の表示制御装置。
前記表示制御装置は、
撮像部によって撮像された撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、前記撮像画像に基づいて前記仮想オブジェクトを制御する、
請求項１に記載の表示制御装置。
前記表示制御部は、前記撮像画像の輝度情報に基づいて前記仮想オブジェクトの表示位置を制御する、
請求項７に記載の表示制御装置。
前記表示制御部は、前記撮像画像の輝度情報に基づいて前記仮想オブジェクトの輝度を制御する、
請求項７に記載の表示制御装置。
前記表示制御部は、前記撮像画像の色情報に基づいて前記仮想オブジェクトの表示位置を制御する、
請求項７に記載の表示制御装置。
前記表示制御部は、前記撮像画像の色情報に基づいて前記仮想オブジェクトの色を制御する、
請求項７に記載の表示制御装置。
前記表示制御部は、前記撮像画像から抽出された特徴量に基づいて、前記仮想オブジェクトの表示位置を制御する、
請求項７に記載の表示制御装置。
前記表示制御装置は、
撮像部によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像の輝度情報に基づいて遮光部による遮光量を制御する遮光制御部と、
をさらに備える、
請求項１に記載の表示制御装置。
前記表示制御部は、前記ユーザの左眼に提示される左眼画像の表示位置と前記ユーザの右眼に提示される右眼画像の表示位置とを制御することによって、前記ユーザに提示される仮想オブジェクトの奥行方向の位置を制御する、
請求項１に記載の表示制御装置。
前記表示制御装置は、
撮像部によって撮像された撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、前記撮像画像から物体が検出された場合、前記物体の位置に基づいて、前記ユーザに提示される前記仮想オブジェクトの位置を制御する、
請求項１に記載の表示制御装置。
前記表示制御部は、前記視点が前記ユーザから遠くなるほど、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を遠ざける、
請求項１に記載の表示制御装置。
視点検出部によって検出されたユーザの視点を取得することと、
仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御することと、を含み、
前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御すること、
を含む、表示制御方法。
コンピュータを、
視点検出部によって検出されたユーザの視点を取得する視点取得部と、
仮想オブジェクトが表示部によって立体表示されるように前記表示部を制御する表示制御部と、を備え、
前記表示制御部は、前記視点に基づいて、前記ユーザに提示される前記仮想オブジェクトの奥行方向の位置を制御する、
表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。