JP2012133543A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】特定のオブジェクトへのユーザの注目に応じて、前記オブジェクトを奥行き方向にアニメーション表示させる。
【解決手段】情報処理装置１００は、立体視表示が可能な表示画面１２０に表示されたオブジェクトへのユーザの注目に関する検出結果を取得する取得部１３０と、取得された検出結果に基づき前記ユーザの注目に応じて前記オブジェクトを奥行き方向にアニメーション表示させる表示制御部１５０と、を有する。
【選択図】図３

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、ユーザの注目したオブジェクトの表示を制御する情報処理装置、情報処理方法およびプログラムに関する。

近年、仮想的な３次元空間にコンテンツを立体表示する立体視ディスプレイが普及しつつある（例えば、特許文献１）。仮想的な３次元空間にオブジェクトを表示する場合、立体視ディスプレイ上にてオブジェクトを左右の目に提示する右目用画像及び左目用画像の視差量の調整によって、目の前の至近距離から無限遠まで、奥行き方向の任意の距離にオブジェクトを提示することが可能である。

しかしながら、人が立体視ディスプレイを見た場合、ディスプレイに表示されているオブジェクトの視差を大きく付けすぎるとそれに目の焦点を併せるのに時間を要してしまい、人の目に負担が掛かり、疲労感を感じやすいという問題が生じる。そこで、オブジェクトの飛び出し量や引き込み量の取りえる範囲を制限することによって、目に与える疲労や違和感を軽減する方法が提案されている。

特に、携帯機器向けの小型ディスプレイのように、腕を伸ばした程度の距離でオブジェクトを立体視表示させる状況では、視聴距離が非常に短いため上記問題が特に顕著になり、ディスプレイの前後数センチを超えてオブジェクトを立体視提示することが困難になる。そこで、小型ディスプレイでは特に、視聴距離が長い大型ディスプレイより画像の視差量を小さくすることにより、目に与える疲労や違和感を軽減する方法が提案されている。

また、疲労や違和感を軽減するためには、一般的に、画面より前に飛び出す表現よりも画面より奥に引き込む表現の方が人の目に負担が掛からず閲覧が容易である。このため、飛び出し量より引き込み量を大きくして奥行き感のある立体視表示を行う方法が提案されている。

特開平０８−１１６５５６号公報号公報

しかしながら、オブジェクトの飛び出し量や引き込み量を小さくした場合、目に与える疲労は少なくなるものの、立体感が得にくく臨場感や迫力に欠ける表示となってしまう。このため、目の焦点を合わせ易いように表示方法を工夫することにより、オブジェクトの飛び出し量や引き込み量の取りえる範囲を広くして、臨場感や迫力のある表現が可能な技術が望まれていた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、特定のオブジェクトへのユーザの注目に応じて、前記オブジェクトを奥行き方向にアニメーション表示させることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、立体視表示が可能な表示画面に表示されたオブジェクトへのユーザの注目に関する検出結果を取得する取得部と、前記取得された検出結果に基づき前記ユーザの注目に応じて前記オブジェクトを奥行き方向にアニメーション表示させる表示制御部と、を備える情報処理装置が提供される。

前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れたことに応じて、前記オブジェクトの奥行き量が小さくなるように前記オブジェクトをアニメーション表示させてもよい。

前記表示制御部は、前記ユーザの注目が前記オブジェクトに向けられたことに応じて、前記オブジェクトの奥行き量が大きくなるように前記オブジェクトをアニメーション表示させてもよい。

前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れてから第１の所定時間が経過した後、前記アニメーション表示を開始させてもよい。

前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れてから第２の所定時間、前記オブジェクトをアニメーション表示させてもよい。

前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れてから前記第２の所定時間が経過した後、前記オブジェクトを視差量がない状態で表示させてもよい。

前記表示制御部は、前記オブジェクトの視差量を線形又は非線形に調整してもよい。

前記表示制御部は、アニメーションの開始と終了及びその近傍の時間帯では、その間の時間帯よりゆっくりアニメーションさせるように前記オブジェクトの視差量を非線形に調整してもよい。

前記取得部は、ユーザによる操作を取得し、前記表示制御部は、前記取得されたユーザによる操作に応じて前記視差量を再調整してもよい。

前記表示制御部は、前記ユーザが複数の場合には、ユーザ毎に注目するオブジェクトをそれぞれ奥行き方向にアニメーション表示させてもよい。

前記ユーザの注目に関する検出結果は、少なくともユーザの顔の有無の検出結果を含んでもよい。

前記ユーザの注目に関する検出結果は、顔の有無、顔の方向、前記表示画面と顔との距離、２つ以上の目、赤外線がユーザの目を反射した際の反射光、ユーザによる機器の操作、ユーザの機器から発せられる音の指向性、アイコンタクト、視線の移動、視線の方向、体の有無、体の一部の方向、ユーザのジェスチャ、脳信号からなる群から選択される少なくとも一つ以上を含んでもよい。

また、上記課題を解決するために、本発明の別の観点によれば、立体視表示が可能な表示画面に表示されたオブジェクトへのユーザの注目に関する検出結果を取得するステップと、前記取得された検出結果に基づき前記ユーザの注目に応じて前記オブジェクトを奥行き方向にアニメーション表示させるステップと、を含む情報処理方法が提供される。

また、上記課題を解決するために、本発明のさらに別の観点によれば、立体視表示が可能な表示画面に表示されたオブジェクトへのユーザの注目に関する検出結果を取得する処理と、前記取得された検出結果に基づき前記ユーザの注目に応じて前記オブジェクトを奥行き方向にアニメーション表示させる処理と、をコンピュータに実行させるプログラムが提供される。

以上説明したように本発明によれば、特定のオブジェクトへのユーザの注目に応じて、前記オブジェクトを奥行き方向にアニメーション表示させることができる。

本発明の一実施形態に係る情報処理装置の概略的な構成を示す図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係る情報処理装置によるアニメーション表示処理を示したフローチャートである。 同実施形態に係る奥行き方向のアニメーション表示例である。 同実施形態に係る左右の視差表現を用いたアニメーション表示例である。 同実施形態に係る縮小／視差拡大アニメーション表示時間と視差量との関係を示した図である。 同実施形態に係る情報処理装置による画面を切替えた場合のアニメーション表示例である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１−１．情報処理装置の構成
１−２．情報処理装置の動作
１−３．視差量の調整
１−４．画面の切替
１−５．変形例

１−１．情報処理装置の構成
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。図１は、本発明の第１の実施形態に係る情報処理装置１００の概略的な構成を示す。図２は、情報処理装置１００の機能構成を示す。

図１を参照すると、情報処理装置１００は、例えばＰＣ（Personal Computer）、テレビ、音楽プレイヤ、ゲーム機器、携帯電話、携帯型端末などであり、表示画面１２０および取得部１３０を有する。表示画面１２０には、複数のオブジェクト２００ａ〜２００ｇが配置された仮想的な３次元空間Ｓｖが表示される。取得部１３０は、画面１２０に表示されたオブジェクトへのユーザの注目に関する検出結果を取得する。

表示画面１２０は、例えばＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、または有機ＥＬ（Electro-Luminescence）パネルなどのディスプレイである。表示画面１２０は、立体視表示が可能なディスプレイである。表示画面１２０が立体画像を表示する場合の表示方式としては、例えば偏光眼鏡を用いて、両目に互いに異なった偏光状態に基づいた視点画像（あるいは視差画像）を見る方法がある。その他にも、眼鏡を用いず、パララックスバリアやレンチキュラーレンズを用いて複数の視点画像のうち所定の視点画像を視聴者の眼球に導光する方法やフレームシーケンシャル方式など、いかなる方式を用いてもよい。なお、表示画面１２０は、図示されているように、情報処理装置１００と一体であってその表面に設けられてもよいし、また、情報処理装置１００には含まれずに、独立して設けられていてもよい。

仮想的な３次元空間Ｓｖは、表示画面１２０に表示される。本実施形態において、仮想的な３次元空間Ｓｖには、ｘ軸方向、ｙ軸方向、およびｚ軸方向として図示されている３つの方向が定義されている。ｘ軸方向は表示画面１２０の左右方向であり、ｙ軸方向は表示画面１２０の上下方向であり、ｚ軸方向は表示画面１２０の奥行き方向である。

仮想的な３次元空間Ｓｖには、複数のオブジェクト２００ａ〜２００ｇが表示されている。オブジェクトは、例えば、ユーザによって操作されるポインタオブジェクト２００ｇと、その他のコンテンツオブジェクト２００ａ〜２００ｆとを含んでもよい。なお、本実施形態におけるオブジェクトのアニメーション表示については後述する。

取得部１３０は、画面に表示されたオブジェクトへのユーザの注目に関する検出結果を取得する。図１では、取得部１３０は、特定のオブジェクト２００ｅにユーザが注目しているという検出結果を取得する。

取得部１３０は、ユーザの注目の検出結果を取得するために、例えば、カメラ、または赤外線の発光部および受光部などを含んでもよい。本実施形態では、カメラを含む取得部１３０が情報処理装置１００の上部など視聴者の顔を検出しやすい位置に設置されている。

（ユーザの注目）
ユーザが特定のオブジェクトに注目しているかを検出する方法として、本実施形態では、取得部１３０のカメラを用いて撮影した画像データから顔検出（顔認識）を行い、ユーザの顔の有無によりユーザが特定のオブジェクトに注目しているかを推測する。

ユーザが特定のオブジェクトに注目しているかを検出する方法としては、これ以外にも様々な方法がある。例えば、前記顔認識技術を用いてユーザの顔の有無及び顔の方向を検知し、これに基づきユーザが注目する特定のオブジェクトを推測してもよい。ユーザの顔の方向及び表示画面１２０と顔との距離の検出結果に基づき、ユーザが注目する特定のオブジェクトを推測することもできる。２つ以上の目があることを検出することにより、ユーザが注目する特定のオブジェクトを推測してもよい。

赤外線がユーザの目の網膜を反射した際の反射光を検出することにより、ユーザの注目を推測してもよい。ユーザがかけている眼鏡などにカメラ等のセンサを付けて、眼鏡と表示画面１２０との距離及び向きの関係を検出することによりユーザの注目を推測してもよい。

ユーザの機器の操作状態からユーザの注目を推測してもよい。特に、情報処理装置１００が、携帯電話、携帯型端末、携帯型ゲーム機器等のモバイル機器の場合には、ユーザの機器への操作状態や、機器から発せられる音の指向性に基づき、ユーザの注目を推測してもよい。その他、ユーザの注目は、アイコンタクト、視線の移動、視線の方向、体の有無、体の方向、頭の方向、ユーザのジェスチャ、脳信号など、ユーザが注目するオブジェクトを推測できれば、いかなる方法を用いてもよい。

このように、ユーザの注目に関する検出結果は、顔の有無、顔の方向、前記表示画面と顔との距離、２つ以上の目、赤外線がユーザの目を反射した際の反射光、機器の操作、機器から発せられる音の指向性、脳信号、アイコンタクト、視線の移動、視線の方向、体の有無、体の方向、頭の方向、ユーザのジェスチャ、脳信号からなる群から選択される少なくとも一つ以上を含んでいればよい。特に、ユーザの注目に関する検出結果には、少なくとも顔の有無に関する検出結果が含まれることが好ましい。なお、図１では、ユーザは、オブジェクト２００ｅに注目している。

取得部１３０は、例えば、図１に示されているように、情報処理装置１００の上部など視聴者の顔を検出しやすい位置であって、表示画面１２０の向きに対応する向きに設置されていてもよい。その場合、ユーザは、仮想的な３次元空間Ｓｖにおける方向と、実際の方向を対応付けることが容易になり、取得部１３０により取得されるユーザの顔検出結果によってアニメーション表示することが容易になる。

図１に示した情報処理装置１００は、取得部１３０にユーザの注目に関する検出結果を取得させて、その結果に基づきユーザが注目する特定のオブジェクトをアニメーション表示する。例えば、情報処理装置１００は、ユーザの注目がいずれかのオブジェクトから離れた場合、オブジェクトの飛び出し量又は引き込み量を徐々に小さくするアニメーション表示を実行する。また、情報処理装置１００は、ユーザの注目がいずれかのオブジェクトに向けられた場合、オブジェクトの飛び出し量又は引き込み量を徐々に大きくするアニメーション表示を実行する。

図２は、本発明の第１の実施形態に係る情報処理装置１００の機能構成を示すブロック図である。図２を参照すると、情報処理装置１００は、表示画面１２０、取得部１３０、画像入力部１４０、表示制御部１５０、および記憶部１６０を有する。上述のように、情報処理装置１００は、例えばＰＣやテレビ、モバイル機器などであり得るが、必ずしも上記の各構成要素を同じ筐体に含む必要はない。例えば、表示画面１２０は、情報処理装置１００には含まれずに、独立して設けられていてもよい。また、記憶部１６０は情報処理装置１００には含まれずに、例えばネットワーク上のストレージによってその機能が提供されてもよい。表示画面１２０と取得部１３０については、図１を参照して説明したため、ここでは説明を省略する。

画像入力部１４０は、表示画面１２０に表示する画像を入力する。表示制御部１５０は、特定のオブジェクトに対してのユーザの注目に応じて視差量を調整する。例えば、表示制御部１５０は、ユーザの注目がオブジェクトから離れると、これに応じてオブジェクトの視差量を小さくする。また、表示制御部１５０は、ユーザの注目がオブジェクトに向けられると、これに応じてオブジェクトの視差量を大きくする。

オブジェクトの視差量を調整する方法としては、単純にコンテンツの奥行き量を奥行き方向（Ｚ方向）に調整させることにより視差量を調整する方法や、実際に視差（輻輳角）を調整する方法がある。例えば、両眼視差を用いるディスプレイ上でアニメーション表示を実現するためには、図５の右図に示した目的の立体視表示を実現するための右目用画像２００ｅＲ及び左目用画像２００ｅＬの最終状態の視差量を補完する形で、各画像２００ｅＲ、２００ｅＬの視差量（ずれ量）が異なる中間視差画像を複数生成する。そして、各画像２００ｅＲ、２００ｅＬの視差がない表示状態（図５の左図）から順に視差が大きくなるように中間視差画像を表示する（図５の中央図）。これによりオブジェクトの視差量を調整することができる。

表示制御部１５０は、仮想的な３次元空間Ｓｖに配置されるオブジェクト２００ａ〜２００ｇを立体画像として表示画面１２０に表示させる。表示制御部１５０は、視差量の調整に基づき特定のオブジェクトを奥行き方向にアニメーション表示させる。より詳細には、表示制御部１５０は、ユーザの注目がオブジェクトから離れると、これに応じてオブジェクトの視差量を徐々に小さく調整する。これにより、特定のオブジェクトをオブジェクトの奥行き量が小さくなるようにアニメーション表示させることができる。また、表示制御部１５０は、ユーザの注目がオブジェクトに向けられると、これに応じてオブジェクトの視差量を徐々に大きく調整する。これにより、特定のオブジェクトをオブジェクトの奥行き量が大きくなるようにアニメーション表示させることができる。

アニメーション表示について、図４及び図５を参照しながら更に説明する。図４の上段は、オブジェクト２００ｅが奥行き方向に飛び出して表現される際のアニメーション表示例を示す。図４の下段は、オブジェクト２００ｅが奥行き方向に引き込まれて表現される際のアニメーション表示例を示す。図５は、前述の通り、奥行き方向のアニメーション表示を、右目用画像２００ｅＲと左目用画像２００ｅＬとの視差（ずれ）の度合いで示した図である。

例えば、図４及び図５の左図は、立体視表示を行わない通常の画面表示状態、すなわち、右目用画像２００ｅＲ及び左目用画像２００ｅＬの視差量が０の場合の表示状態を示している。このときには、オブジェクト２００ｅは表示画面１２０上に視差がない２Ｄ表示される。この表示状態から、図５の中央に示したように徐々に右目用画像２００ｅＲ及び左目用画像２００ｅＬの視差量（ずれ量）を大きくする。これによって、図４の中央に示した奥行き方向のアニメーション表示が実行され、図４の右図に示した目的の立体視表示位置までオブジェクトを移動させる。図５の右図では、右目用画像２００ｅＲが左目用画像２００ｅＬより左側に位置するため、図４の上段右に示したように、目的の立体視表示ではオブジェクト２００ｅは飛び出して見える。一方、図５の右図とは反対に右目用画像２００ｅＲが左目用画像２００ｅＬの右側に位置した場合には、図４の下段右に示したように、目的の立体視表示ではオブジェクト２００ｅは引き込まれて見える。

これによれば、オブジェクトが実際に表示したい位置まで徐々に奥行き方向に移動していくため、ユーザは目の焦点を段階的に調整してオブジェクトに追従させることが容易になる。よって、アニメーション表示しなかった場合に比べて、奥行き量の取りえる範囲を広くすることができ、臨場感のある立体視表現と実現できる。なお、オブジェクトの奥行き量は、表示画面１２０から前に飛び出す飛び出し量や表示画面１２０から後ろに引き込む引き込み量をいう。

図４及び図５では、オブジェクトの視差量の絶対値を０から徐々に大きくし、オブジェクトの飛び出し表現又は引き込み表現を大きくする方向にアニメーション表示した。本明細書では、これを視差拡大アニメーション表示という。一方、図４及び図５の矢印を反対に向けて、右から左にアニメーション表示させる場合もある。この場合、オブジェクトの視差量の絶対値を目的の立体視表示を実現する値から徐々に小さくし、オブジェクトの飛び出し表現又は引き込み表現を小さくする方向にアニメーション表示する。本明細書では、これを視差縮小アニメーション表示という。

表示制御部１５０は、表示のための演算処理装置であり、例えばＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）、またはＤＳＰ（Digital Signal Processor）などによって実現されうる。表示制御部１５０は、記憶部１６０に格納されたプログラムに従って動作してもよい。

なお、表示制御部１５０の機能を実現するためのプログラムは、ディスク状記録媒体、またはメモリカードなどのリムーバブル記憶媒体に格納されて情報処理装置１００に提供されるものであってもよく、またＬＡＮ（Local Area Network）、インターネット等のネットワークを介して情報処理装置１００にダウンロードされるものであってもよい。

記憶部１６０には、情報処理装置１００における処理に必要なデータが格納される。本実施形態では、記憶部１６０には、アニメーション表示のための閾値として予め定められた第1の所定時間及び第２の所定時間も格納される。記憶部１６０は、例えばＲＡＭ（Random Access Memory）、またはＲＯＭ（Read Only Memory）などの記憶装置でありうる。また、記憶部１６０は、光ディスク、磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体であってもよく、記憶装置とリムーバブル記憶媒体を組み合わせたものであってもよい。記憶部１６０には、ＣＰＵ、またはＤＳＰなどに実行させることによって、例えば表示制御部１５０などの機能を実現するためのプログラムが格納されてもよい。

１−２．情報処理装置の動作
次に、図３を参照して、本実施形態に係るアニメーション表示処理について説明する。本実施形態に係るアニメーション表示処理は、入力画像の提示時の画面遷移及び入力画像の閲覧開始時において、視差量が小さい位置から実際に立体視表示したい位置までアニメーション表示を実行するものである。

まず、ステップＳ３０５において、画像入力部１４０は、複数のオブジェクト２００ａ〜２００ｇを含む画像を入力する。ステップＳ３１０では、表示制御部１５０は、画像を視差がない状態で表示画面１２０に２Ｄ表示する。ステップＳ３１５では、取得部１３０が、特定のオブジェクトに向けられたユーザの注目に関する検出結果を取得し、表示制御部１５０は、特定のオブジェクトに対するユーザの注目を判定する。ユーザが特定のオブジェクトに注目していないと判定された場合、ステップＳ３１０に戻り、ユーザが特定のオブジェクトに注目するまでステップＳ３１０、Ｓ３１５を繰り返す。

ユーザが特定のオブジェクトに注目していると判定された場合、ステップＳ３２０に進み、表示制御部１５０は、ユーザの注目している特定のオブジェクトの奥行き量が大きくなるようにオブジェクトをアニメーション表示させる(視差拡大アニメーション表示)。

これによれば、調整する視差量の符号の正負により、図４の上段に示したように、オブジェクト２００ｅが、視差なしの表示状態から徐々に表示画面１２０の前に飛び出し、目的の立体視表示位置までアニメーション表示され得る。または、図４の下段に示したように、オブジェクト２００ｅが、視差なしの表示状態から徐々に表示画面１２０の後ろに引き込まれ、目的の立体視表示位置までアニメーション表示され得る。

次に、ステップＳ３２５において、表示制御部１５０は、特定のオブジェクトの立体視画像を目的の立体視表示位置に表示する。次に、ステップＳ３３０において、表示制御部１５０は、ユーザが特定のオブジェクトに注目しているかを判定する。ユーザが特定のオブジェクトに注目していると判定された場合、ステップＳ３２５に戻り、ユーザが特定のオブジェクトから目を離すまで、特定のオブジェクトの立体視画像を目的の立体視表示位置に表示するためのステップＳ３２５、Ｓ３３０の処理を繰り返す。

ユーザが特定のオブジェクトから目を離したと判定された場合、ステップＳ３３５に進み、表示制御部１５０は、目を離した時間の長さを判定する。目を離した時間が予め定められた閾値Ａ（第１の所定時間に相当）以下の場合、ステップＳ３２５に戻り、表示制御部１５０は、特定のオブジェクトの立体視画像を目的の立体視表示位置に表示し、目を離した時間が閾値Ａより長くなるまで、ステップＳ３２５〜３３５の処理を繰り返す。

目を離した時間が予め定められた閾値Ａより長くなった場合、ステップＳ３４０に進み、表示制御部１５０は、特定のオブジェクトの奥行き量が小さくなるようにオブジェクトをアニメーション表示させる(視差縮小アニメーション表示)。次に、ステップＳ３４５において、表示制御部１５０は、ユーザが特定のオブジェクトに注目しているかを判定する。ユーザが特定のオブジェクトに注目していると判定された場合、ステップＳ３２０に戻り、表示制御部１５０は、特定のオブジェクトの奥行き量が大きくなるようにオブジェクトをアニメーション表示させ、ステップＳ３２５以後の処理を再度実行する。

ステップＳ３４５において、表示制御部１５０は、ユーザが特定のオブジェクトに注目していないと判定された場合、ステップＳ３３５に戻り、目を離した時間が閾値Ａより長く閾値Ｂ（第２の所定時間に相当）より短い間、視差縮小アニメーション表示を続け、ステップＳ３３５にて、目を離した時間が閾値Ｂ以上になったら、ステップＳ３１０に進んで特定のオブジェクトの画像を視差がない状態で表示画面１２０に表示する。その後、ステップＳ３１５以後の処理を再び実行する。

以上の処理によれば、アニメーション表示により、オブジェクトを奥行き方向に徐々に移動していくため、ユーザはアニメーション表示に従って目の焦点を徐々に調整してオブジェクトに追従させることができる。よって、アニメーション表示しなかった場合に比べて、オブジェクトの飛び出し量や引き込み量の取りえる範囲を広くして、臨場感や迫力のある立体視を表示することができる。

目を離した時間が閾値Ａ以下の場合、ステップＳ３２５に戻り、特定のオブジェクトの立体視画像を画面に表示するのは、ほんの少し目を離しただけではアニメーション表示を開始しなくても、ユーザは立体視表示されたオブジェクトに容易に焦点を合わせられるためである。また、ほんの少し目を離しただけでアニメーション表示を開始すると、ユーザがすぐにそのオブジェクトに目を戻した場合にも表示の切り替えが頻繁に生じ、煩雑になることを回避するためである。

目を離した時間が閾値Ａより長く閾値Ｂより短い間、ステップＳ３４０にて視差縮小アニメーション表示を実行するのは、アニメーション表示により、オブジェクトが目的の立体視表示位置から徐々に奥行き量を小さくする方向に移動していくため、ユーザがオブジェクトに目を戻した場合にもアニメーション表示に従って目の焦点を容易に調整することができるためである。

目を離した時間が閾値Ｂ以上の場合、ステップＳ３１０に戻り、画像（オブジェクト）を視差がない状態で画面に表示するのは、ユーザがかなり長く目を離した場合には、オブジェクトを視差のない状態で表示すると、ユーザが最も目に疲労感を覚えずに、オブジェクトを閲覧することができるためである。

ステップＳ３２０にて、表示制御部１５０が視差拡大アニメーション表示を行った後、ステップＳ３２５にてオブジェクトの立体視画像を画面に表示したのは、オブジェクトを視差がない状態で画面に表示してから目的の立体視表示の位置までアニメーション表示で繋ぐと不自然さが少なくなり、ユーザが見やすくユーザの目に疲労感を与えないためである。

なお、ステップＳ３３５では、目を離した時間の長さにより、画像の画面への表示方法を判定した。しかしながら、ステップＳ３３５では、時間に替えてオブジェクトのもつ視差量によって制御してもよい。例えば、過剰に飛び出したコンテンツや、過剰に引っ込んだオブジェクト等、視差量が大きい画像コンテンツの場合には、しばらく目を離した後はステップＳ３１０に戻って画像コンテンツを視差なしで画面に表示してもよい。また、視差量が小さい場合には、しばらく目を離した後はステップＳ３２５に戻って、視差を変えずに立体視表示を続けてもよい。視差量が小さくもなく大きくもない場合には、ステップＳ３４０に進んで、視差縮小アニメーション表示を実行してもよい。なお、しばらく目を離したかどうかや、視差量が小さくもなく大きくもない場合とはどのような条件かについては、予め定められていてその値が記憶部１６０に格納されていてもよい。

１−３．視差量の調整
前述したように、表示制御部１５０は、取得部１３０により取得された検出結果に基づきユーザの注目に応じて特定のオブジェクトの視差量を調整し、調整された視差量に対応してオブジェクトをアニメーション表示する。

このとき、表示制御部１５０は、オブジェクトの視差量を線形又は非線形に調整することができる。これによりアニメーション表示のスピードを制御することができる。例えば、図６の上段のグラフには、視差量を線形に調整する例が示され、図６の下段のグラフには、視差量を非線形に調整する例が示されている。

上段の左側のグラフは、アニメーション表示を開始してから終了するまでの時間、視差量の絶対値を線形に小さくする調整する方法である。これによれば、オブジェクトの飛び出し表現又は引き込み表現を徐々に小さくする視差縮小アニメーション表示が実行される。ユーザの疲労や違和感を軽減するためには、一般的に、表示画面１２０より前に飛び出す表現よりも表示画面１２０より奥に引き込む表現の方が人の目に負担が掛からず閲覧が容易である。このため、図６の各グラフでは、表示画面１２０より奥に表示する際の視差量の絶対値が、表示画面１２０より手前に表示する際の視差量の絶対値より大きくなっている。なお、いずれの側にオブジェクトを表示する際にも、アニメーションの開始時間ｔ_０から、終了時間ｔ_１までに要する時間は同じである。よって、表示画面１２０より奥で行われるアニメーション表示のスピードは、表示画面１２０より手前で行われるアニメーション表示のスピードよりも早くなる。

上段の右側のグラフは、視差量の絶対値を線形に大きくする調整する方法であり、これによれば、オブジェクトの飛び出し表現又は引き込み表現を徐々に大きくする視差拡大アニメーション表示が実行される。この場合にも、表示画面１２０より奥で行われるアニメーション表示のスピードは、表示画面１２０より手前で行われるアニメーション表示のスピードよりも早くなる。

一方、下段の左側のグラフは、アニメーション表示を開始してから終了するまでの時間、視差量の絶対値を非線形に小さく調整する。これによれば、オブジェクトの飛び出し又は引き込みのスピードが時間によって変化する、視差縮小アニメーション表示を実行することができる。前述の通り、一般的に、表示画面１２０より前に飛び出す表現よりも表示画面１２０より奥に引き込む表現の方が人の目に負担が掛からず閲覧が容易である。これに加えて、アニメーションの開始時間ｔ_０と終了時間ｔ_１及びその付近の時間帯は、その間の時間帯よりも人の目がオブジェクトに追従しにくい。このようなユーザの視差状態を考慮して、下段左のグラフでは、アニメーションの開始時間ｔ_０と終了時間ｔ_１及びその近傍の時間帯では、その間の時間帯より視差量の変化量を小さくすることにより、アニメーションの開始と終了ではゆっくりアニメーション表示させる。

下段の右側のグラフも同様に、視差量の絶対値を非線形に大きく調整する。これによれば、オブジェクトの飛び出し又は引き込みのスピードが変化する、視差拡大アニメーション表示を実行することができる。この場合にも、アニメーション表示の初めと終わりでは、その途中よりアニメーション表示の変化のスピードが遅いため、目に負担がかからず、人の目がオブジェクトに追従しやすくなる。このため、オブジェクトの奥行き量の取りえる範囲を更に広くすることができ、より臨場感や迫力のある立体視表現が可能になる。

１−４．画面の切替
以上に説明したアニメーション表示方法（図３参照）は、静止画像Ａの入力後、静止画像Ｂを入力したときや、入力される画像が動画像であってシーンが変わるときなど、ある立体視画像の表示から別の立体視画像の表示に画面が切り替わる場面で、異なる距離感をユーザの目に認識させる際に特に有効である。図７は画面の切り替え動作を簡略化して示した図である。この動作ステップは、上から下に向かって実行される。

例えば、ステップＳ７０５は、ある入力画像に対して、その画像を立体視表現した状態である（立体視画面Ａ表示状態）。これは図３のステップＳ３２５に相当する。その後、ユーザが目を離すと、ステップＳ７１０にて、視差縮小アニメーション表示が実行される。これは図３のステップＳ３４０（ステップＳ３３０〜Ｓ３４５）に相当する。第２の所定時間経過後、ステップＳ７１５にて、入力画像の画面Ａは視差のない状態で表示される。これは図３のステップＳ３１０（ステップＳ３３５→Ｓ３１０）に相当する。

ステップＳ７２０では、例えば新たな画像を入力することにより、画面が画面Ａから画面Ｂに切り替えられ、ステップＳ７２５では、切り替え後の画面Ｂの画像を視差なしで表示する。これは、図３のステップＳ３０５、Ｓ３１０に相当する。その後、ステップＳ７３０にて視差拡大アニメーション表示が実行される。これは図３のステップＳ３２０に相当する。所定時間経過後、ステップＳ７３５にて、入力画像の画面Ｂは立体視表示される。これは図３のステップＳ３２５に相当する。

以上に説明したように、切り替えて表示される画像のそれぞれについて立体視表示を行う際、目的の立体視表示までの表示過程で、各画像に対する目的の立体視表示ではない、中間的な画像を表示する。その結果、各画像を、目に負担のかからない非立体視表示から目的の立体視表示までなめらかにアニメーションで遷移させることができ。これにより、ユーザが立体視表示画面を見るときの負担を軽減させることができる。

以上に説明したように、本実施形態に係る情報処理装置１００によれば、特定のオブジェクトへのユーザの注目に応じて、オブジェクトを奥行き方向にアニメーション表示させる。これにより、オブジェクトの飛び出し量や引き込み量の取りえる範囲を広くして、臨場感や迫力のある立体視を表示することができる。

特に、携帯機器向けの小型ディスプレイにおいて、腕を伸ばした程度の距離でオブジェクトを立体視表示させるような状況では、視聴距離が非常に短いため、人の目への負担が顕著であり大型ディスプレイと比べてより疲労感を感じやすい。よって、ディスプレイの前後数センチを超えてオブジェクトを提示しようとすると立体視することが困難になってしまう。しかしながら、本実施形態に係る奥行き方向のアニメーション表示によれば、小型ディスプレイにおいても目の疲労や違和感を軽減しながら、オブジェクトの飛び出し量や引き込み量の取りえる範囲を広くして、より臨場感や迫力のある立体視を表示することができる。

１−５．変形例
情報処理装置１００によるアニメーション表示は、別の用途にも利用することができる。その一例として本変形例では、立体視での視聴が可能な正視領域と立体視での視聴が困難な逆視領域とで画像の表示方法を変える際に、アニメーション表示を利用する場合について説明する。

最初に、ユーザの視聴位置から視聴可能領域か否かが判定される。例えば、カメラ等を用いてユーザの視聴位置が検出され、その検出結果は、取得部１３０に送られる。表示制御部１５０は、取得部１３０により取得された検出結果に基づき、ユーザの視聴位置に応じて、画像を奥行き方向にアニメーション表示させる。具体的には、表示制御部１５０は、ユーザの視聴位置が、立体視での視聴が可能な正視領域か、それ以外の逆視領域かの判定を行い、ユーザの視聴位置が正視領域から逆視領域に移ったとき、視差縮小アニメーション表示を実行する。その際、視差縮小アニメーション表示により視差なしで表示されるまで画像を遷移させてもよいし、そのユーザ用に奥行きを調整した立体視表示まで画像を遷移させてもよい。

係る変形例によれば、以上に説明したタイミングに視差縮小アニメーション（フェードアニメーション）を実行することにより、正視領域と逆視領域との境界部分を繋ぐことができる。これにより、正視領域と逆視領域との境界部分で生じる目の不快感を軽減することができる。

以上に説明した実施形態及び変形例によれば、特定のオブジェクトへのユーザの注目に応じて、前記オブジェクトを奥行き方向にアニメーション表示させることにより、オブジェクトの飛び出し量や引き込み量の取りえる範囲を広くすることができる。また、ユーザの閲覧が容易になるため、立体視の飛び出しや引き込み度合いを画面やコンテンツ毎に細かく調整する必要がなくなるため、立体視を使用するユーザインタフェース（ＧＵＩ）の画面設計を容易にすることができる。

上記実施形態及び変形例において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、情報処理装置の実施形態を、情報処理方法の実施形態及び情報処理装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、視聴するユーザが一人の場合を想定して、ユーザの注目に応じてオブジェクトを奥行き方向にアニメーション表示させたが、本発明はかかる例に限定されない。例えば、視聴するユーザが複数の場合、取得部は、ユーザ毎にユーザの注目に関する検出結果を取得してもよい。また、表示制御部は、取得された検出結果に基づきユーザ毎に、各ユーザの注目に応じてオブジェクトをそれぞれ奥行き方向にアニメーション表示させてもよい。なお、画面に表示されたオブジェクトの奥行き方向の前後関係は維持されるように制御がなされる。

ユーザが意図的にジェスチャしたときに、これに応じてアニメーション表示を実行するようにしてもよい。その際、取得部は、ユーザによる操作を取得し、表示制御部は、前記取得されたユーザによる操作に応じて視差量を再調整し、再調整された視差量に基づきオブジェクトをアニメーション表示する。これによれば、例えば、視差縮小アニメーション表示の実行中にユーザが意図的にジェスチャした場合には、そのジェスチャに応じて視差拡大アニメーション表示に表示方法が変わり、オブジェクトがあたかも戻ってきたりするように表示することができる。また、ユーザによる操作によって初めてアニメーション表示を開始することもできる。ユーザによる操作によってアニメーション表示を終了させることもできる。

１００ 情報処理装置
１２０ 表示画面
１３０ 取得部
１４０ 画像入力部
１５０ 表示制御部
１６０ 記憶部
２００ａ〜２００ｇ オブジェクト

Claims (14)

1. 立体視表示が可能な表示画面に表示されたオブジェクトへのユーザの注目に関する検出結果を取得する取得部と、
   前記取得された検出結果に基づき前記ユーザの注目に応じて前記オブジェクトを奥行き方向にアニメーション表示させる表示制御部と、
   を備える情報処理装置。
2. 前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れたことに応じて、前記オブジェクトの奥行き量が小さくなるように前記オブジェクトをアニメーション表示させる請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記ユーザの注目が前記オブジェクトに向けられたことに応じて、前記オブジェクトの奥行き量が大きくなるように前記オブジェクトをアニメーション表示させる請求項１に記載の情報処理装置。
4. 前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れてから第１の所定時間が経過した後、前記アニメーション表示を開始させる請求項２に記載の情報処理装置。
5. 前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れてから第２の所定時間、前記オブジェクトをアニメーション表示させる請求項２又は３に記載の情報処理装置。
6. 前記表示制御部は、前記ユーザの注目が前記オブジェクトから離れてから前記第２の所定時間が経過した後、前記オブジェクトを視差量がない状態で表示させる請求項５に記載の情報処理装置。
7. 前記表示制御部は、前記オブジェクトの視差量を線形又は非線形に調整する請求項１に記載の情報処理装置。
8. 前記表示制御部は、アニメーションの開始と終了及びその近傍の時間帯では、その間の時間帯よりゆっくりアニメーションさせるように前記オブジェクトの視差量を非線形に調整する請求項７に記載の情報処理装置。
9. 前記取得部は、ユーザによる操作を取得し、
   前記表示制御部は、前記取得されたユーザによる操作に応じて前記視差量を再調整する請求項７に記載の情報処理装置。
10. 前記表示制御部は、前記ユーザが複数の場合には、ユーザ毎に注目するオブジェクトをそれぞれ奥行き方向にアニメーション表示させる請求項１に記載の情報処理装置。
11. 前記ユーザの注目に関する検出結果は、少なくともユーザの顔の有無の検出結果を含む請求項１に記載の情報処理装置。
12. 前記ユーザの注目に関する検出結果は、顔の有無、顔の方向、前記表示画面と顔との距離、２つ以上の目、赤外線がユーザの目を反射した際の反射光、ユーザによる機器の操作、ユーザの機器から発せられる音の指向性、アイコンタクト、視線の移動、視線の方向、体の有無、体の一部の方向、ユーザのジェスチャ、脳信号からなる群から選択される少なくとも一つ以上を含む請求項１に記載の情報処理装置。
13. 立体視表示が可能な表示画面に表示されたオブジェクトへのユーザの注目に関する検出結果を取得するステップと、
    前記取得された検出結果に基づき前記ユーザの注目に応じて前記オブジェクトを奥行き方向にアニメーション表示させるステップと、
    を含む情報処理方法。
14. 立体視表示が可能な表示画面に表示されたオブジェクトへのユーザの注目に関する検出結果を取得する処理と、
    前記取得された検出結果に基づき前記ユーザの注目に応じて前記オブジェクトを奥行き方向にアニメーション表示させる処理と、
    をコンピュータに実行させるプログラム。
    

Images