JP2012060236A - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】立体画像表示において、観察者の見やすさを向上させることが可能な画像処理装置を提供する。
【解決手段】画像処理装置としての表示装置１００は、画像表示部１１０の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行う操作認識部１２４と、操作認識部１２４による認識結果に基づいて、画像表示部１１０の画面に表示させる画像を当該画面に立体画像または平面画像として表示させるための画像描画を行う画像描画部１２６とを備える。
【選択図】図６

Description

本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。

時分割駆動方式による映像表示装置は、複数の映像ストリームを時分割的に順次切り換えて出力する映像表示装置である。このような時分割駆動方式を用いた映像表示装置として、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム（例えば、特許文献１〜３参照）や、シャッタ眼鏡を用いて複数の観察者が画面を分割することなく異なる映像を観察するマルチ映像表示システム等が挙げられる。

人間は、右目と左目とで捉えた２次元網膜映像の違い（両眼視差）から、複数の奥行き手掛かりを抽出・統合することにより、３次元情報を知覚し、物体を３次元的な立体映像として認識している。眼球の回転運動は、視線の交差角である輻輳角を変化させ、人間はこれを基に物体までの距離を判断し空間を３次元的に認識している。この原理を利用して画像を立体的に見せることを立体視と言い、左右目用画像を一枚ずつ使って表示したものを立体画像、左右目用画像を複数枚ずつ用意し、それらを連続的に変化させたものを立体映像と呼ぶ。また、それらを表示できる装置が立体映像表示装置である。

時分割立体映像表示システムは、左目用映像および右目用映像を非常に短い周期で画面全体に交互に表示すると同時に、左目用映像および右目用映像の表示周期に同期して左目および右目に映像を分離して提供する立体映像表示装置を用いた映像表示システムである。例えば、シャッタ眼鏡方式は、左目用映像が表示される間はシャッタ眼鏡の左目部が光を透過させ、右目部が遮光する。また、右目用映像が表示される間はシャッタ眼鏡の右目部が光を透過させ、左目部が遮光する。

立体画像を生成する手法としては、カメラを２台用意し、１台のカメラを右目用に、もう１台のカメラを左目用に水平方向にずらして設置することで視差のついた画像を撮影する手法が挙げられる。また、コンピュータグラフィックス等で作られた立体映像においては、仮想的に画面からユーザまでの距離と右目および左目の位置を定義し、表示する対象を右目の位置から見たと仮定してレンダリングした画像と、表示する対象を左目の位置から見たと仮定してレンダリングした画像とを２つの視差画像として生成している。

特開平９−１３８３８４号公報 特開２０００−３６９６９号公報 特開２００３−４５３４３号公報

ところで、上述した両眼視差を利用した立体画像は上記過程によって作成されているため、画像生成の際の視点位置（上記のカメラ位置や仮想的な視点位置）が正しく立体像として認識できる視点位置として、各画像につき一点に限定されている。このような理由により、これらの立体画像を表示する際は映像表示装置の正面から観察されることを前提としている。

そのため、立体画像を同一画面上に複数表示する場合、表示された各立体画像が自身の正面に視点位置を持ってしまうため、画面全体としてみると１つの画面に対して複数の視点位置が存在してしまうことになる。これにより画面全体として見やすさが低下し、さらに観察者の目に与える負担も大きくなるという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体画像表示において、観察者の見やすさを向上させることが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像表示部の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行う操作認識部と、前記操作認識部による認識結果に基づいて、前記画面に表示させる画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う画像描画部と、を備える、画像処理装置が提供される。

前記画像描画部は、前記操作認識部により特定された前記フォーカスされている画像については、当該画像を前記画面に立体画像として表示させるための画像描画を行い、前記操作認識部により特定された前記フォーカスされている画像以外の画像については、当該画像を前記画面に平面画像として表示させるための画像描画を行ってもよい。

前記画像描画部は、前記操作認識部による認識の結果、前記画面におけるスクロール速度が所定の速度以上であるときは、前記画面に表示させる画像を前記画面に平面画像として表示させるための画像描画を行ってもよい。

前記画像描画部は、前記操作認識部による認識の結果、前記画面におけるスクロール速度が所定の速度以上でないときは、前記操作認識部により特定された前記フォーカスされている画像については、当該画像を前記画面に立体画像として表示させるための画像描画を行い、前記操作認識部により特定された前記フォーカスされている画像以外の画像については、当該画像を前記画面に平面画像として表示させるための画像描画を行ってもよい。

前記画像描画部は、前記画面における画像の占める面積の大きさに基づいて、当該画像を前記画面に立体画像または平面画像として表示させるための画像描画を行ってもよい。

前記画像描画部は、前記画面における画像の当該画面の中央からの距離の大きさに基づいて、当該画像を前記画面に立体画像または平面画像として表示させるための画像描画を行ってもよい。

前記画像描画部は、前記画面に表示させる画像を前記画面に平面画像として表示させるための画像描画を行う際に、当該画像が前記画面の中央よりも右側に表示される画像であるときは、当該画像を立体画像として表示させるための画像のうちの左目用の画像を用いて平面画像を生成し、当該画像が前記画面の中央よりも左側に表示される画像であるときは、当該画像を立体画像として表示させるための画像のうちの右目用の画像を用いて平面画像を生成してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像表示部の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行う操作認識ステップと、前記操作認識ステップでの認識結果に基づいて、前記画面に表示させる画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う画像描画ステップと、を有する、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、画像表示部の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行う操作認識ステップと、前記操作認識ステップでの認識結果に基づいて、前記画面に表示させる画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う画像描画ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本発明によれば、立体画像表示において、観察者の見やすさを向上させることができる。

立体表示装置による立体視の原理を示す説明図である。 立体表示装置による立体視の原理を示す説明図である。 立体表示装置による立体視の原理を示す説明図である。 本発明の実施の形態に係る映像表示システムの構成を概略的に示す説明図である。 本実施の形態に係る表示装置の構成を概略的に示す説明図である。 本実施の形態に係る表示装置における映像信号制御部の機能構成を示すブロック図である。 本実施の形態に係る表示装置が実行する画像描画処理のフローチャートである。 表示装置の画像表示部に複数の立体画像が表示されている場合を説明するための説明図である。 表示装置の画像表示部にフォーカスされた立体画像のみが立体画像表示されている場合を説明するための説明図である。 画像表示部の画面を正面から観察した場合を説明するための説明図である。 画像表示部の画面に表示される立体画像を説明するために、立体画像を画像表示部の上方から観察した場合を説明するための模式図である。 画像表示部の画面に表示される立体画像を説明するために、立体画像を画像表示部の上方から観察した場合を説明するための模式図である。 画像表示部の画面に表示される立体画像を説明するために、立体画像を画像表示部の上方から観察した場合を説明するための模式図である。 画像表示部の画面に表示される立体画像を説明するために、立体画像を画像表示部の上方から観察した場合を説明するための模式図である。 画像表示部の画面に表示される立体画像を説明するために、立体画像を画像表示部の上方から観察した場合を説明するための模式図である。 本実施の形態に係る表示装置が実行する他の画像描画処理のフローチャートである。 表示装置の画像表示部にシーンサーチのアプリケーションの画面が表示されている場合を説明するための説明図である。 表示装置の画像表示部にシーンサーチのアプリケーションの画面が表示されている場合を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．立体視の原理
２．本発明の実施の形態
２−１．本発明の実施の形態に係る映像表示システムの構成
２−２．本発明の実施の形態に係る表示装置の構成
２−３．本発明の実施の形態に係る表示装置の動作
３．まとめ

＜１．立体視の原理＞
まず、図面を参照しながら立体表示装置による立体視の原理について説明する。人間は、図１のように右目と左目で捉えた２次元網膜映像の違い（両眼視差）から、複数の奥行き手掛かりを抽出・統合することにより３次元情報を知覚し、物体を３次元的な立体映像として認識している。

眼球の回転運動は図１に示した輻輳角を変化させ、人間はこれをもとに物体までの距離を判断し空間を３次元的に認識している。輻輳角とは、図１に示すように、視線の交差角である。この人間の特性を利用して、図２のように左右目用に視差をつけた２つの平面画像を用意し、それぞれを右目、左目に別々に映すと、その輻湊角から図３のように物体までの距離を錯覚し画像を立体的に認識することができる。視差とは、図２で示すように左右目用画像のずれ量である。この原理を利用して画像を立体的に見せることができる。

＜２．本発明の実施の形態＞
［２−１．本発明の実施の形態に係る映像表示システムの構成］
まず、本発明の実施の形態に係る映像表示システム１０の構成について説明する。図４は、本実施の形態に係る映像表示システム１０の構成を概略的に示す説明図である。また、図４には、表示装置１００と、表示装置１００が表示する画像を観察者が立体的な画像として知覚するために用いるシャッタ眼鏡２００も併せて示している。表示装置１００とシャッタ眼鏡２００とで、映像表示システム１０を構成する。

図４に示した表示装置１００は、画像の表示が行われる画像表示部１１０を備えている。表示装置１００は、通常の画像を画像表示部１１０に表示するだけではなく、観察者に立体的な画像として知覚させる立体画像を画像表示部１１０に表示することが可能な装置である。

画像表示部１１０の構成については詳述するが、ここで簡単に説明すると、画像表示部１１０は、光源、液晶パネル、および液晶パネルを挟んで設けられる一対の偏光板を備える。光源からの光は液晶パネルおよび偏光板を透過することで所定の方向に偏光された光となる。

シャッタ眼鏡２００は、例えば液晶シャッタからなる右目用画像透過部２１２および左目用画像透過部２１４を備える。シャッタ眼鏡２００は、表示装置１００から送出される信号に応じて、それぞれ液晶シャッタからなる右目用画像透過部２１２および左目用画像透過部２１４の開閉動作を実行する。右目用画像透過部２１２および左目用画像透過部２１４の開閉動作は後述するシャッタ制御部１３０が実行する。観察者は、シャッタ眼鏡２００の右目用画像透過部２１２および左目用画像透過部２１４を通して、画像表示部１１０から発する光を見ることで、画像表示部１１０に表示される画像を立体的な画像として知覚することができる。

一方、通常の画像が画像表示部１１０に表示されている場合は、観察者はそのまま画像表示部１１０から出射される光を見ることで、通常の画像として知覚することができる。

なお、図４では、表示装置１００をテレビ受像機として図示していたが、本発明においては、表示装置の形状はかかる例に限定されないことは言うまでも無い。例えば、本発明の表示装置は、例えば、パーソナルコンピュータその他の電子機器と接続して用いられるモニタであってもよく、携帯型のゲーム機であってもよく、携帯電話や携帯型の音楽再生装置であってもよい。

［２−２．本発明の実施の形態に係る表示装置の構成］
次に、本発明の実施の形態に係る表示装置１００の構成について説明する。図５は、本実施の形態に係る表示装置１００の構成を概略的に示す説明図である。

図５に示したように、本実施の形態に係る表示装置１００は、画像表示部１１０と、映像信号制御部１２０と、シャッタ制御部１３０と、タイミング制御部１４０と、メモリ１５０と、バックライト制御部１５５とを備える。

画像表示部１１０は、上述したように画像の表示が行われるものであり、外部から信号が印加されると、印加された信号に応じた画像の表示が行われる。画像表示部１１０は、表示パネル１１２と、ゲートドライバ１１３と、データドライバ１１４と、バックライト１１５とを備える。

表示パネル１１２は、外部からの信号の印加に応じて画像を表示するものである。表示パネル１１２は、複数の走査線に対する順次走査により画像を表示する。表示パネル１１２は、ガラス等の透明板の間に所定の配向状態を有する液晶分子が封入されている。表示パネル１１２の駆動方式は、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）方式であってもよく、ＶＡ（Ｖｉｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）方式であってもよく、ＩＰＳ（Ｉｎ−Ｐｌａｃｅ−Ｓｗｉｔｃｈｉｎｇ）方式であってもよい。以下の説明では、表示パネル１１２の駆動方式は、特に断りが無ければＶＡ方式であるとして説明するが、本発明においてはかかる例に限られないことはいうまでも無い。なお、本実施の形態に係る表示パネル１１２は、高速なフレームレート（例えば１２０Ｈｚや２４０Ｈｚ）で画面の書き換えが可能な表示パネルである。そして、本実施の形態では、右目用の画像と左目用の画像とを、表示パネル１１２に所定のタイミングで交互に表示させることで、観察者に立体的な画像として知覚させることができる。

ゲートドライバ１１３は、表示パネル１１２のゲートバスライン（図示しない）を駆動するためのドライバである。ゲートドライバ１１３にはタイミング制御部１４０から信号が伝送され、ゲートドライバ１１３はタイミング制御部１４０から伝送された信号に応じてゲートバスラインへ信号を出力する。

データドライバ１１４は、表示パネル１１２のデータ線（図示しない）に印加するための信号を生成するためのドライバである。データドライバ１１４にはタイミング制御部１４０から信号が伝送され、データドライバ１１４はタイミング制御部１４０から伝送された信号に応じてデータ線へ印加する信号を生成して出力する。

バックライト１１５は、観察者側から見て画像表示部１１０の一番奥に設けられるものである。画像表示部１１０に画像を表示する際には、バックライト１１５からは偏光されていない（無偏光の）白色光が観察者側に位置する表示パネル１１２に出射される。バックライト１１５としては、例えば発光ダイオードを用いてもよく、冷陰極管を用いてもよい。なお、図５では、バックライト１１５として面光源を示しているが、本発明においては光源の形態はかかる例に限定されない。例えば、表示パネル１１２の周辺部に光源を配置し、当該光源からの光を拡散板等で拡散することで表示パネル１１２に光を出射してもよい。また例えば、面光源の替わりに点光源と集光レンズを組み合わせてもよい。

映像信号制御部１２０は、映像信号制御部１２０の外部からの映像信号およびフォーカス画像を特定するための操作信号の伝送を受けると、受け取った操作信号の認識結果に基づいて、受け取った映像信号を、画像表示部１１０における立体画像の表示、または平面画像の表示に適したものとなるように各種信号処理を実行して出力するものである。フォーカス画像を特定するための操作信号の詳細については後述する。映像信号制御部１２０で信号処理が施された映像信号はタイミング制御部１４０に伝送される。また、映像信号制御部１２０で信号処理が実行されると、信号処理に応じてシャッタ制御部１３０に所定の信号を伝送する。映像信号制御部１２０における信号処理としては、例えば以下のようなものがある。

映像信号制御部１２０に、右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）と、フォーカス画像を特定するための操作信号が伝送されると、伝送された操作信号の認識の結果、当該画像が立体画像として表示すべき画像であるときは、映像信号制御部１２０は２つの映像信号から立体画像のための映像信号を生成する。本実施の形態においては、映像信号制御部１２０は、入力される右目用映像信号および左目用映像信号から、表示パネル１１２に右目用画像→左目用画像→右目用画像→左目用画像→・・・の順で時分割に表示させるための映像信号を生成する。ここで、左目用画像と右目用画像をそれぞれ複数フレームずつ繰り返して表示させる場合もあり、この場合においては、映像信号制御部１２０は、例えば右目用画像→右目用画像→左目用画像→左目用画像→右目用画像→右目用画像→・・・の順に表示させるための映像信号を生成する。

一方、映像信号制御部１２０に、右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）と、フォーカス画像を特定するための操作信号が伝送されると、伝送された操作信号の認識の結果、当該画像が立体画像として表示すべきではない画像、すなわち平面画像として表示すべき画像であるときは、映像信号制御部１２０は後述するように２つの映像信号のうちの少なくとも１つの映像信号から平面画像のための映像信号を生成する。

シャッタ制御部１３０は、映像信号制御部１２０における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてシャッタ眼鏡２００のシャッタ動作を制御するシャッタ制御信号を生成するものである。シャッタ眼鏡２００では、シャッタ制御部１３０で生成され、例えばＩＥＥＥ８０２．１５．４に基づく無線によって発せられるシャッタ制御信号に基づいて、右目用画像透過部２１２および左目用画像透過部２１４の開閉動作が実行される。バックライト制御部１５５は、映像信号制御部１２０における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてバックライトの点灯動作を制御するバックライト制御信号を生成するものである。

タイミング制御部１４０は、映像信号制御部１２０から伝送される信号に応じて、ゲートドライバ１１３およびデータドライバ１１４の動作に用いられるパルス信号を生成するものである。タイミング制御部１４０でパルス信号を生成して、ゲートドライバ１１３およびデータドライバ１１４がタイミング制御部１４０で生成されたパルス信号を受けることで、映像信号制御部１２０から伝送される信号に応じた画像が表示パネル１１２に表示される。

メモリ１５０は、表示装置１００を動作させるためのコンピュータプログラムや、表示装置１００の各種設定等が格納されるものである。

次に、本発明の実施の形態に係る表示装置１００における映像信号制御部１２０の機能構成について説明する。図６は、本実施の形態に係る表示装置１００における映像信号制御部１２０の機能構成を示すブロック図である。

図６において、映像信号制御部１２０は、画像表示部１１０に立体画像または平面画像として表示させるための画像描画処理を実行する画像描画処理部１２２を備える。また、画像描画処理部１２２は、操作認識部１２４と、画像描画部１２６とを備える。

操作認識部１２４は、映像信号制御部１２０に伝送された、画像表示部１１０の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行うものである。当該操作信号は、画像表示部１１０に複数の画像が表示される際の観察者などによる操作等に関する信号である。例えば、当該操作信号としては、リモコン（図示しない）などの方向キーによる選択に関する信号や、マウス（図示しない）などのポインタによる選択（クリック）に関する信号、マウスなどのポインタの位置による選択（マウスオーバー）に関する信号が挙げられる。また、例えば、当該操作信号としては、観察者のヘッドトラッキングやアイトラッキングに関する信号が挙げられる。操作認識部１２４は、当該操作信号の認識を行って、画像表示部１１０の画面に表示されている画像のうちのフォーカスされている画像を特定する。

画像描画部１２６は、操作認識部１２４による操作信号の認識結果に基づいて、画像表示部１１０に立体画像または平面画像として表示させるための画像描画を行うものである。

画像描画部１２６は、右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）とを受信すると、操作認識部１２４による認識の結果、当該画像がフォーカスされているときは、受信した２つの映像信号から立体画像のための映像信号を生成する。

一方、画像描画部１２６は、右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）とを受信すると、操作認識部１２４による認識の結果、当該画像がフォーカスされていないときは、受信した２つの映像信号のうちの少なくとも１つの映像信号から平面画像のための映像信号を生成する。例えば、画像描画部１２６は、画像がフォーカスされていないときは、受信した２つの映像信号のうちの予め決められたどちらか一方の映像信号、すなわち右目用映像信号または左目用映像信号から平面画像のための映像信号を生成する。また、例えば、画像描画部１２６は、操作認識部１２４による認識の結果、当該画像がフォーカスされていなくて、当該画像が画像表示部１１０の画面の中央よりも右側に表示される画像であるときは、受信した２つの映像信号のうちの左目用映像信号から平面画像のための映像信号を生成し、操作認識部１２４による認識の結果、当該画像がフォーカスされていなくて、当該画像が画像表示部１１０の画面の中央よりも左側に表示される画像であるときは、受信した２つの映像信号のうちの右目用映像信号から平面画像のための映像信号を生成する。これにより、観察者により適切な平面画像を観察させることができる。また、例えば、画像描画部１２６は、操作認識部１２４による認識の結果、当該画像がフォーカスされていなくて、当該画像が画像表示部１１０の画面の中央よりも右側に表示される画像であるときは、受信した２つの映像信号のうちの右目用映像信号から平面画像のための映像信号を生成し、操作認識部１２４による認識の結果、当該画像がフォーカスされていなくて、当該画像が画像表示部１１０の画面の中央よりも左側に表示される画像であるときは、受信した２つの映像信号のうちの左目用映像信号から平面画像のための映像信号を生成してもよい。

［２−３．本発明の実施の形態に係る表示装置の動作］
次に、本発明の実施の形態に係る表示装置１００の動作について説明する。まず、本実施の形態に係る表示装置１００が実行する画像描画処理について説明する。図７は、本実施の形態に係る表示装置１００が実行する画像描画処理のフローチャートである。

図７において、まず、映像信号制御部１２０が右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）とを受信すると、画像描画処理部１２２の操作認識部１２４は、映像信号制御部１２０が受信したフォーカス画像を特定するための操作信号の認識を行い、当該画像がフォーカスされているか否かを判別する（ステップＳ１００）。

ステップＳ１００の判別の結果、画像がフォーカスされているときは（ステップＳ１００でＹＥＳ）、画像描画処理部１２２の画像描画部１２６は、画像表示部１１０に立体画像として表示させるための画像描画を行って（ステップＳ１０２）、本処理を終了する。

ステップＳ１００の判別の結果、画像がフォーカスされていないときは（ステップＳ１００でＮＯ）、画像描画処理部１２２の画像描画部１２６は、画像表示部１１０に平面画像として表示させるための画像描画を行って（ステップＳ１０４）、本処理を終了する。

図７の画像描画処理によれば、画像表示部１１０において、フォーカスされている画像が立体画像として表示され、フォーカスされていない画像が平面画像として表示される。例えば、図８に示すように、表示装置１００の画像表示部１１０において、複数の立体画像１６０，１６１，１６２が表示されている場合には、表示された各立体画像１６０，１６１，１６２が自身の正面に視点位置を持ってしまうため、画面全体としてみると１つの画面に対して複数の視点位置が存在し、これにより画面全体として見やすさが低下し、さらに観察者の目に与える負担も大きくなる。一方、例えば、図９に示すように、表示装置１００の画像表示部１１０において、観察者等の操作による枠１６３により選択された、すなわちフォーカスされた立体画像１６０のみが立体画像表示され、立体画像１６１，１６２に代えて平面画像１６４，１６５が平面画像表示されている場合には、１つの画面に対して複数の視点位置が存在することなく、視点位置が１つとなるため、観察者の見やすさを向上させることができる。

なお、図９において、観察者等の操作によって例えば枠１６３が平面画像１６５に移動されて平面画像１６５が選択される、すなわちフォーカスされると、平面画像１６５に代えて立体画像１６２が表示されるとともに、立体画像１６０に代えて当該立体画像１６０に対応する平面画像（図示しない）が表示されるようになる。

図１０〜図１５は、画像表示部１１０の画面に複数の立体画像１６６，１６７，１６８，１６９，１７０が表示される場合について説明するための説明図である。図１０は、画像表示部１１０の画面を正面から観察した場合を説明するための説明図である。図１１〜図１５は、画像表示部１１０の画面に表示される立体画像を説明するために、立体画像を画像表示部１１０の上方から観察した場合を説明するための模式図である。

図１０において、画像表示部１１０の画面には、複数の異なる画像サイズの立体画像１６６，１６７，１６８，１６９，１７０が表示されている。図１０に示すように、画面の中央に近い場所に位置する立体画像１６６の画像サイズを他の立体画像１６７，１６８，１６９，１７０よりも大きくし、画面の中央から遠い場所に位置する立体画像１６９，１７０の画像サイズを他の立体画像１６６，１６７，１６８よりも小さくする。これにより、図１１に示すように、観察者は立体画像１６６が他の立体画像１６７，１６８，１６９，１７０よりも観察者側に近い位置に表示されているかのように知覚するとともに、立体画像１６９，１７０が他の立体画像１６６，１６７，１６８よりも観察者側から遠い位置に表示されているかのように知覚するようになる。

図１０および図１１に示す場合においても、図１２に示すように、フォーカスされている画像としての立体画像１６６のみを立体画像表示し、フォーカスされていない画像としての立体画像１６７，１６８，１６９，１７０については、立体画像１６７，１６８，１６９，１７０に代えて平面画像１７１，１７２，１７３，１７４を表示することにより、上述したように観察者の見やすさを向上させることができる。

また、図１０〜図１２では、画像表示部１１０の画面に複数の異なる画像サイズの画像を表示させる場合について説明したが、図１３に示すように、画像表示部１１０の画面に複数の同一の画像サイズの立体画像１７５，１７６，１７７，１７８，１７９を表示させる場合についても同様に、観察者の見やすさを向上させることができる。すなわち、図１４に示すように、フォーカスされている画像としての立体画像１７５のみを立体画像表示し、フォーカスされていない画像としての立体画像１７６，１７７，１７８，１７９については、立体画像１７６，１７７，１７８，１７９に代えて平面画像１８０，１８１，１８２，１８３を表示することにより、上述したように観察者の見やすさを向上させることができる。

また、図１５に示すように、画面の中央に近い場所に位置する立体画像１６６の画像サイズを他の立体画像（図示しない）よりも大きくし、観察者に立体画像１６６が他の立体画像（図示しない）よりも観察者側に近い位置に表示されているかのように知覚させる場合についても同様に、観察者の見やすさを向上させることができる。すなわち、図１５に示すように、フォーカスされている画像としての立体画像１６６のみを立体画像表示し、フォーカスされていない画像としての立体画像（図示しない）については、立体画像（図示しない）に代えて平面画像１８０，１８１，１８２，１８３を表示することにより、上述したように観察者の見やすさを向上させることができる。

次に、本実施の形態に係る表示装置１００が実行する他の画像描画処理について説明する。図１６は、本実施の形態に係る表示装置１００が実行する他の画像描画処理のフローチャートである。

図１６において、まず、映像信号制御部１２０が右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）とを受信すると、画像描画処理部１２２の操作認識部１２４は、映像信号制御部１２０が受信したフォーカス画像を特定するための操作信号の認識を行い、画像表示部１１０の画面におけるスクロール速度が所定の速度以上であるか否かを判別する（ステップＳ２００）。

ステップＳ２００の判別の結果、スクロール速度が所定の速度以上でないときは（ステップＳ２００でＮＯ）、画像描画処理部１２２の操作認識部１２４は、映像信号制御部１２０が受信したフォーカス画像を特定するための操作信号の認識を行い、当該画像がフォーカスされているか否かを判別する（ステップＳ２０２）。

ステップＳ２０２の判別の結果、画像がフォーカスされているときは（ステップＳ２０２でＹＥＳ）、画像描画処理部１２２の画像描画部１２６は、画像表示部１１０に立体画像として表示させるための画像描画を行って（ステップＳ２０４）、本処理を終了する。

ステップＳ２００の判別の結果、スクロール速度が所定の速度以上であるとき（ステップＳ２００でＹＥＳ）、またはステップＳ２０２の判別の結果、画像がフォーカスされていないときは（ステップＳ２０２でＮＯ）、画像描画処理部１２２の画像描画部１２６は、画像表示部１１０に平面画像として表示させるための画像描画を行って（ステップＳ２０６）、本処理を終了する。

図１６の他の画像描画処理によれば、画像表示部１１０の画面において、スクロール速度が所定の速度以上であるときは、全ての画像が平面画像として表示され、スクロール速度が所定の速度以上でないときは、フォーカスされている画像が立体画像として表示され、フォーカスされていない画像が平面画像として表示される。例えば、図１７に示すように、表示装置１００の画像表示部１１０において、例えばシーンサーチのアプリケーションの画面が表示されている場合に、観察者などの操作によるスクロール速度が所定の速度以上であるときは、フォーカスされている画像１８４を立体画像表示すると、画面全体として見やすさが低下し、さらに観察者の目に与える負担も大きくなる虞がある。このため、スクロール速度が所定の速度以上であるときは、全ての画像を平面画像として表示することにより、観察者の見やすさを向上させることができるとともに、観察者の目に負担を与える虞をなくすことができる。一方、スクロール速度が所定の速度以上でないときは、フォーカスされている画像１８４を立体画像表示しても、画面全体として見やすさが低下する虞がなく、さらに観察者の目に負担を与える虞がないため、フォーカスされている画像１８４を立体画像表示して、観察者に立体画像を観察させるようにする。

また、上述した本実施の形態では、フォーカス画像を特定するための操作信号の認識を行って、画像がフォーカスされているか否かの判別を行い、フォーカスされている画像のみを立体画像表示するようにしたが、図１８に示すように、画像表示部１１０の画面における画像の占める面積の大きさに基づいて、立体画像表示させるか否かの判断を行うようにしてもよい。例えば、画像表示部１１０の画面において、画像の占める面積が一番大きい画像１８５については、当該画像１８５を立体画像表示させるようにしてもよい。

また、上述した本実施の形態では、フォーカス画像を特定するための操作信号の認識を行って、画像がフォーカスされているか否かの判別を行い、フォーカスされている画像のみを立体画像表示するようにしたが、図１８に示すように、画像表示部１１０の画面における画像の当該画面の中央からの距離の大きさに基づいて、立体画像表示させるか否かの判断を行うようにしてもよい。例えば、画像表示部１１０の画面において、中央からの距離が一番小さい、すなわち中央に一番近い画像１８５については、当該画像１８５を立体画像表示させるようにしてもよい。

＜３．まとめ＞
以上説明したように本発明の実施の形態に係る表示装置１００は、画像表示部１１０の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行い、当該認識結果に基づいて、画像表示部１１０の画面に表示させる画像を当該画面に立体画像または平面画像として表示させるための画像描画を行う。

例えば、表示装置１００は、フォーカスされている画像については、当該画像を画像表示部１１０の画面に立体画像として表示させるための画像描画を行い、フォーカスされている画像以外の画像については、当該画像を画像表示部１１０の画面に平面画像として表示させるための画像描画を行う。

これにより、本発明の実施の形態に係る表示装置１００は、立体画像表示において、観察者の見やすさを向上させることができる。

また、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。

以上、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施の形態では、表示装置１００が表示する画像をユーザがシャッタ眼鏡２００を通して見ることで、ユーザが立体画像として認識することができる表示装置１００を例に挙げて説明したが、本発明はかかる例に限定されない。表示装置１００が表示する画像をユーザが直接見ることで、ユーザが立体画像として認識することができる表示装置であっても、同様に本発明を適用可能であることは言うまでもない。

また、例えば、上記実施の形態では、映像信号制御部１２０に、右目用映像信号と左目用映像信号とが伝送されていたが、レンダリングにより右目用映像信号と左目用映像信号とを生成していた場合には、左右の視点位置に基づいて各目用に２回行っていた描画処理を、どちらか一方の視点、もしくは左右の視点位置の中点に基づいて描画処理を行い、平面画像表示において同一の画像を両目用に表示するようにしてもよい。

また、例えば、本発明をテレビや携帯端末等の立体映像表示可能な電子機器に適用することにより、カバーフローやサムネイルなどの複数の立体画像が表示される選択画面での負荷を低減させることができる。また、立体テレビ等で２画面同時表示モードを利用した際に、主となる画面を立体表示、サブとなる画面を平面表示にすることで画面の見やすさを向上し、視聴者の目に与える負荷を低減させることができる。さらに同様の効果はディスプレイを用いた電子広告や電子看板等においても得ることができる。

また、平面表示された画像自体に視差をつけた場合、対象となる画像自体が浮き出て表示されるが、このような場合においても本発明を適用することで同様の効果を得ることができる。立体感を調節する手法としては、画像自体の視差をなくすことで上述した視差をなくし右目・左目に全く同じ画像を見せる手法と同じ効果が得られる。また、立体感を調節する別の手法として、画像への枠の付加が挙げられる。この手法では、画像自体に枠を付加することで、その画像がどの奥行きにいるかを認知しやすくなり、観察者はより立体感を感じることができる。そのため、中心となる画像とその他の画像とで枠の有無を切り替えることにより立体感を調節し、視聴者の負荷を軽減することができる。

１０ 映像表示システム
１００ 表示装置
１１０ 画像表示部
１１２ 表示パネル
１１３ ゲートドライバ
１１４ データドライバ
１１５ バックライト
１２０ 映像信号制御部
１２２ 画像描画処理部
１２４ 操作認識部
１２６ 画像描画部
１３０ シャッタ制御部
１４０ タイミング制御部
１５０ メモリ
１５５ バックライト制御部
２００ シャッタ眼鏡
２１２ 右目用画像透過部
２１４ 左目用画像透過部

Claims (9)

1. 画像表示部の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行う操作認識部と、
   前記操作認識部による認識結果に基づいて、前記画面に表示させる画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う画像描画部と、
   を備える、画像処理装置。
2. 前記画像描画部は、前記操作認識部により特定された前記フォーカスされている画像については、当該画像を前記画面に立体画像として表示させるための画像描画を行い、前記操作認識部により特定された前記フォーカスされている画像以外の画像については、当該画像を前記画面に平面画像として表示させるための画像描画を行う、請求項１に記載の画像処理装置。
3. 前記画像描画部は、前記操作認識部による認識の結果、前記画面におけるスクロール速度が所定の速度以上であるときは、前記画面に表示させる画像を前記画面に平面画像として表示させるための画像描画を行う、請求項１に記載の画像処理装置。
4. 前記画像描画部は、前記操作認識部による認識の結果、前記画面におけるスクロール速度が所定の速度以上でないときは、前記操作認識部により特定された前記フォーカスされている画像については、当該画像を前記画面に立体画像として表示させるための画像描画を行い、前記操作認識部により特定された前記フォーカスされている画像以外の画像については、当該画像を前記画面に平面画像として表示させるための画像描画を行う、請求項１に記載の画像処理装置。
5. 前記画像描画部は、前記画面における画像の占める面積の大きさに基づいて、当該画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う、請求項１に記載の画像処理装置。
6. 前記画像描画部は、前記画面における画像の当該画面の中央からの距離の大きさに基づいて、当該画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う、請求項１に記載の画像処理装置。
7. 前記画像描画部は、前記画面に表示させる画像を前記画面に平面画像として表示させるための画像描画を行う際に、当該画像が前記画面の中央よりも右側に表示される画像であるときは、当該画像を立体画像として表示させるための画像のうちの左目用の画像を用いて平面画像を生成し、当該画像が前記画面の中央よりも左側に表示される画像であるときは、当該画像を立体画像として表示させるための画像のうちの右目用の画像を用いて平面画像を生成する、請求項１に記載の画像処理装置。
8. 画像表示部の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行う操作認識ステップと、
   前記操作認識ステップでの認識結果に基づいて、前記画面に表示させる画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う画像描画ステップと、
   を有する、画像処理方法。
9. コンピュータに、
   画像表示部の画面に表示されている画像のうちのフォーカスされている画像を特定するための操作信号の認識を行う操作認識ステップと、
   前記操作認識ステップでの認識結果に基づいて、前記画面に表示させる画像を前記画面に立体画像または平面画像として表示させるための画像描画を行う画像描画ステップと、
   を実行させる、コンピュータプログラム。
   
   

Images