JP2013102270A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】立体画像データの表示切り替え時における視聴疲労を低減する。
【解決手段】グラフィックス生成部７は、第１の立体画像データに対応する位置まで移動していく画像データを生成する。表示パネル制御部２９は、第１の立体画像データを表示させる前に、又は、第１の立体画像データを表示させながら、上記画像データを表示させる。
【選択図】図１

Description

本発明は、立体画像データの表示切り替え時に適用される技術に関するものである。

視聴者の両眼に異なる画像を見せることにより、立体画像を視聴することができる表示ディスプレイが知られている。左目用の画像上と右目用の画像上とで被写体は距離に応じてずれた位置に配置され、この視差を利用して立体視を行わせる。左目用の画像と右目用の画像とを同じ画面上に表示する方法として、視差バリア、偏光フィルタ、時分割等の方法が知られている。

視聴する立体画像コンテンツを切り替えた際の奥行き感の急激な変化による視聴疲労を防ぐための方法として、特許文献１には、画像本編よりも視差の少ない補間画像を生成し、画像表示前に視差が漸次変更されるような補間画像を表示する方法が開示されている。

特開２００９−２３９３８９号公報

しかしながら、上述した従来技術においては、視聴開始時の立体画像コンテンツの内容によっては、視聴疲労をうまく防げない場合があった。例えば、画面が暗かったり、被写体が小さかったりして奥行きが分かりづらい場合、補間画像では急激な視差変化を緩和できない場合があった。また従来技術では、冒頭部を補間画像と置き換えてしまうため、冒頭部のシーンは立体感に欠けたものになっていた。

そこで、本発明の目的は、立体画像データの表示切り替え時における視聴疲労を低減することにある。

本発明の画像処理装置は、第１の立体画像データに対応する位置まで移動していく画像データを生成する第１の生成手段と、前記第１の立体画像データを表示させる前に、又は、前記第１の立体画像データを表示させながら、前記画像データを表示させる制御手段とを有することを特徴とする。

本発明によれば、立体画像データの表示切り替え時における視聴疲労を低減することができる。

本発明の第１の実施形態に係る表示装置の構成を示す図である。 表示切り替え前後に表示される立体画像コンテンツの例を示す図である。 立体視トレーニング用画像データの例を示す図である。 本発明の第１の実施形態における立体画像コンテンツの表示切り替え処理を示すフローチャートである。 奥行き検出部の奥行き範囲の検出処理を示すフローチャートである。 オブジェクトリストの構成を示す図である。 本発明の第２の実施形態に係る表示装置の構成を示す図である。 本発明の第２の実施形態における立体画像コンテンツの表示切り替え処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下の実施形態において示す構成は飽くまでも本発明の一適用例に過ぎず、本発明を限定するものではない。

先ず、本発明の第１の実施形態について説明する。第１の実施形態では、立体画像コンテンツの奥行き範囲を検出して、立体画像コンテンツの表示切り替え時には徐々に最深深度又は最浅深度に移動する画像を表示する例について説明する。

以下、図２及び図３に示す画面表示例を参照しながら、第１の実施形態に係る表示制御の動作例について説明する。図２は、表示切り替え前後に表示される立体画像コンテンツの例を示す図である。即ち、図２（ａ）は、表示切り替え前に表示されていた立体画像コンテンツの例を示しており、図２（ｂ）は、表示切り替え後に表示される立体画像コンテンツの例を示している。図２（ａ）に示す立体画像コンテンツでは、建物オブジェクト３１、３２、３３が遠景に同列に配置されている。図２（ｂ）に示す立体画像コンテンツでは、山オブジェクト４２が遠景にあり、手前に家オブジェクト４１、さらに手前に人オブジェクト４３が配置されている。図２（ｂ）の例では、近景から遠景までオブジェクトがあるために、画面内の奥行き範囲は広くなっている。なお、図２（ａ）に示す立体画像コンテンツは第２の立体画像データの例であり、図２（ｂ）に示す立体画像コンテンツは第１の立体画像データの例である。

図２（ａ）に示す立体画像コンテンツから図２（ｂ）に示す立体画像コンテンツに表示を切り替えようとした場合、図２（ｂ）に示す立体画像コンテンツの人オブジェクト４３が近景に突然現れるため、表示画面上での視差が急激に変化する。そのため、ユーザの融合限界を超えてしまい、立体視できなくなったり、疲労を招いてしまう可能性がある。これに対し、本実施形態では、徐々に最深深度又は最浅深度に移動する画像データを表示した後、新たな立体画像コンテンツを表示する。このような急激な視差変化を緩和するために挿入する画像データのことを、以下では、立体視トレーニング用画像データと称す。

図３は、立体視トレーニング用画像データの例を示す図である。図３において、５１は背景オブジェクトであり、５２は立体視トレーニング用画像データとしての近景オブジェクトである。図３（ａ）の例では、背景オブジェクト５１と立体視トレーニング用画像データ５２とが同じ深度に配置されている。図３（ｂ）の例では、奥行き範囲を広げ、立体視トレーニング用画像データ５２が手前の深度に配置されている。図３（ｃ）の例では、奥行き範囲をさらに広げ、立体視トレーニング用画像データ５２がより手前の深度に配置されている。奥行き範囲を広げる速度は、視聴するユーザの融合限界を超えないような速度に設定される。本実施形態においては、立体視トレーニング期間に、図３（ａ）〜（ｃ）に示すような立体視トレーニング用画像データ５２を順に表示していくことにより、表示画面上での視差の急激な変化をなくすことができる。

また、立体視トレーニング用画像データ５２のＸＹ方向の表示位置も、立体視トレーニング期間に徐々に変化させる。即ち、初めは立体視トレーニング用画像データ５２を中央に表示しておき、徐々に表示切り替え後の立体画像コンテンツおける人オブジェクト４３の位置に近付けるように移動させる。図３（ｂ）では、オフセット５３の量だけ立体視トレーニング用画像データ５２を右に移動させ、図３（ｃ）では、オフセット５４の量だけ立体視トレーニング用画像データ５２を右に移動させている。こうすることにより、新たな立体画像コンテンツに表示切り替えを行った場合における視線の急激な移動をなくすことができる。

図１は、本発明の第１の実施形態に係る表示装置の構成を示す図である。以下、図１を参照しながら、第１の実施形態に係る表示装置の構成について説明する。

図１において、１は表示装置の本体である。表示装置１は、立体画像コンテンツを表示させることが可能であり、複数の立体画像コンテンツの表示切り替えを行うことができる。なお、表示装置１は表示処理装置の適用例となる構成である。２は映像入力部であり、放送波やビデオ信号等、外部から立体画像コンテンツを入力する。３は表示部であり、立体画像コンテンツを表示パネル３０に表示させる。ここで表示部３は、視差のある左目用の画像データと右目用の画像データとを切り替えて表示させることにより、立体画像コンテンツを表示させる。４は操作指示部であり、表示させる立体画像コンテンツの選択や表示切り替え等のユーザからの操作指示を入力する。５はトレーニング制御部であり、立体視トレーニング期間を制御する。６は奥行き検出部であり、立体画像コンテンツの画面内における奥行き深度を検出する。７はグラフィックス生成部であり、立体視トレーニング用画像データを生成する。

操作指示部４は、リモコン受光部２１及びキースイッチ入力部２２を備える。２０はリモコンであり、操作コマンドを赤外光にエンコードして送信する。リモコン受光部２１は、リモコン２０から赤外光を受信してデコードすることにより、操作コマンドを取得する。キースイッチ入力部２２は、放送チャンネルやビデオポートの切り替え、音量調整、各種操作のためのキースイッチである。なお、操作指示部４をタッチパネル等で構成してもよい。

画像入力部２は、ビデオ入力インタフェース２４、チューナ２５及び入力セレクタ２６を備える。ビデオ入力インタフェース２４は、外部から画像データを入力する。例えば、ビデオ入力インタフェース２４は、アナログコンポジット信号、アナログコンポーネント信号、ＨＤＭＩやＤＶＩ等のデジタルビデオ信号規格のインタフェースで構成され、各種の画像データを入力する。チューナ２５は、アンテナから入力された放送波から所望の放送チャンネルの信号を抽出して復調する。またチューナ２５は、復調したストリームデータのデコードを行って、ベースバンドの画像データを出力する。入力セレクタ２６は、ビデオ入力インタフェース２４及びチューナ２５からの画像データを入力し、指定された画像データのみを選択して出力する。

表示部３は、出力セレクタ２７、高画質化処理部２８、表示パネル制御部２９及び表示パネル３０を備える。出力セレクタ２７は、画像入力部２又はグラフィックス生成部７から画像データを入力し、指定された画像データのみを選択して出力する。高画質化処理部２８は、出力セレクタ２７から入力した画像データに対して、拡大縮小処理、輪郭補正処理及び色補正処理等の画像処理を行う。表示パネル制御部２９は、表示パネル３０に画像データを表示させるための制御を行う。即ち、表示パネル制御部２９は、表示パネル３０の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて画像データを読み出して表示パネル３０に出力する。また表示パネル制御部２９は、信号電圧レベルの変換や補助信号の生成も行う。表示パネル３０は、液晶方式、プラズマ方式、投射方式、ＣＲＴ方式、有機ＥＬ方式等の任意の表示方式で構成される。なお、表示パネル３０は、立体画像コンテンツに含まれる音声を再生するための音声処理部、アンプ及びスピーカ等を備える。

表示装置１は、ＣＰＵ、周辺回路、メモリ及び通信インタフェース等をハードウェア構成として備える。例えば、トレーニング制御部５、奥行き検出部６及びグラフィックス生成部７等は、ＣＰＵがＲＯＭ等の記録媒体から必要なプログラムを読み出して実行することにより実現する機能的な構成である。

次に、図４のフローチャートを参照しながら、第１の実施形態における立体画像コンテンツの表示切り替え処理について説明する。本実施形態においては、立体画像コンテンツの表示切り替え時には、表示切り替え前後の立体画像コンテンツの奥行き範囲が検出される。両者の奥行き範囲の差が閾値以上である場合、徐々に最深深度又は最浅深度に移動する立体視トレーニング用画像データが表示された後、表示切り替え後の立体画像コンテンツが表示される。以下、詳細に説明する。

ステップＳ１０１において、奥行き検出部６は、表示切り替え前の立体画像コンテンツの奥行き範囲を検出する。ステップＳ１０２において、奥行き検出部６は、表示切り替え後の立体画像コンテンツの奥行き範囲を検出する。奥行き範囲の検出処理の詳細については後述する。ステップＳ１０３において、トレーニング制御部５は、表示切り替え前後の立体画像コンテンツの奥行き範囲の差が閾値以上であるか否かを判定する。奥行き範囲の差が閾値以上である場合、処理はステップＳ１０４に移行する。一方、奥行き範囲の差が閾値未満である場合、処理はステップＳ１０８に移行する。なお、ステップＳ１０１は第２の検出手段の処理例であり、ステップＳ１０２は第１の検出手段の処理例である。

ステップＳ１０４において、トレーニング制御部５は、立体視トレーニングプランを生成する。即ち、トレーニング制御部５は、奥行き範囲の差に応じて立体視トレーニング期間の所要時間やフレーム毎の奥行き変化の度合いを立体視トレーニングプランとして設定する。例えば、奥行き範囲の差を３段階に分け、奥行き範囲の差が少ない場合は１秒、奥行き範囲の差が中程度である場合は２秒、奥行き範囲の差が多い場合は３秒、というように立体視トレーニング期間の所要時間を設定する。また、入力セレクタ２６は新たな立体画像コンテンツ側に切り替えられ、出力セレクタ２７はグラフィックス生成部７側に切り替えられる。ステップＳ１０５において、グラフィックス生成部７は、立体視トレーニング用画像データを生成する。即ち、グラフィックス生成部７は、図３を用いて説明したように、立体視トレーニングが進むほどに奥行き範囲が拡がるような立体視トレーニング用画像データを生成する。ステップＳ１０６において、表示パネル制御部２９は、立体視トレーニング用画像データを表示パネル３０に表示させる。ステップＳ１０７において、トレーニング制御部５は、立体視トレーニング期間が終了したか否かを判定する。立体視トレーニング期間が終了した場合、処理はステップＳ１０８に移行する。立体視トレーニング期間が終了していない場合、処理はステップＳ１０５に戻る。ステップＳ１０８において、出力セレクタ２７は立体画像コンテンツ側に切り替えられる。これにより、新たな立体画像コンテンツの表示が開始される。以上の処理により、表示切り替え時には、立体視トレーニング用画像データが表示された後に、新たな立体画像コンテンツが表示される。なお、ステップＳ１０５は、第１の生成手段の処理例である。

次に、図５を参照しながら、図４のステップＳ１０１やＳ１０２における奥行き検出部６の奥行き範囲の検出処理について説明する。本処理では、先ずコンテンツ製作者の指示があるか否かが判定され、指示があった場合はそれに従って奥行き範囲が決定される。一方、立体画像コンテンツが深度を指定する映像フォーマットである場合、当該映像フォーマットの深度データに基づいて奥行き範囲が決定される。それ以外の場合、立体画像コンテンツ内の各オブジェクトの視差量から奥行き範囲が決定される。以下、詳細に説明する。

ステップＳ１２１において、奥行き検出部６は、コンテンツ製作者の指示があったか否かを判定する。コンテンツ製作者の指示があった場合、処理はステップＳ１２２に移行する。一方、コンテンツ製作者の指示がない場合、処理はステップＳ１２４に移行する。

ステップＳ１２２において、奥行き検出部６は、立体画像コンテンツに付随するヘッダ等から指示データを取得する。その他の実施形態としては、通信ネットワークを介して立体画像コンテンツ提供者のサーバから指示データを取得するようにしてもよい。ステップＳ１２３において、奥行き検出部６は、取得した指示データに基づいて奥行き範囲を決定する。

ステップＳ１２４において、奥行き検出部６は、立体画像コンテンツが深度を指定する映像フォーマットであるか否かを判定する。立体画像コンテンツが深度を指定する映像フォーマットである場合、処理はステップＳ１２５に移行する。一方、立体画像コンテンツが深度を指定する映像フォーマットではない場合、処理はステップＳ１２７に移行する。例えば、ＨＤＭＩ１．４規格では、「Ｌ＋ｄｅｐｔｈ」形式で映像を伝送する映像フォーマットが規定されており、ステップＳ１２４では、立体画像コンテンツがこのような映像フォーマットであるか否かを判定している。

ステップＳ１２５において、奥行き検出部６は、立体画像コンテンツのｄｅｐｔｈフレームから深度データを取得する。ステップＳ１２６において、奥行き検出部６は、深度データに基づいて奥行き範囲を決定する。即ち、奥行き検出部６は、例えば深度データの最小値と最大値とを検索し、それらの差を奥行き範囲として決定する。

ステップＳ１２７において、奥行き検出部６は、立体画像コンテンツからオブジェクトを抽出する。オブジェクトの抽出方法は公知の任意の技術を用いることができる。即ち、輪郭線を追跡してオブジェクトを抽出するようにしてもよいし、色分布を検出してオブジェクトを抽出するようにしてもよい。ステップＳ１２８において、奥行き検出部６は、オブジェクトが閾値以上の大きさであるか否かを判定する。オブジェクトが所定の閾値以上の大きさである場合、処理はステップＳ１２９に移行する。一方、オブジェクトが所定の閾値未満の大きさである場合、処理はステップＳ１２７に戻る。即ち、閾値未満の大きさのオブジェクトを奥行き範囲の対象から除外するものであり、例えば雨や雪の降っているシーンで雨粒のような小さなオブジェクトを除外する。他の実施形態として、オブジェクトの動きを検出し、オブジェクトの速度が所定の閾値以上である場合、処理はステップＳ１２９に移行し、オブジェクトの速度が所定の閾値未満である場合、処理はステップＳ１２７に戻るようにしてもよい。

ステップＳ１２９において、奥行き検出部６は、左目用の画像データのオブジェクトと右目用の画像データのオブジェクトとのマッチングを行う。即ち、奥行き検出部６は、左目用の画像データから抽出したオブジェクトが右目用の画像データのどこにあるかをマッチングにより探索する。ステップＳ１３０において、奥行き検出部６は、左目用の画像データのオブジェクトと右目用の画像データのオブジェクトとの位置の差分から、視差量を検出する。視差量は、オブジェクト間の中心位置の差によって検出してもよいし、各オブジェクトの特徴点間の位置の差の平均値によって検出してもよい。ステップＳ１３１において、奥行き検出部６は、検出した視差量をオブジェクトリストに追加する。

図６は、オブジェクトリストの構成を示す図である。オブジェクトリストはオブジェクト毎にその位置（Ｘ座標、Ｙ座標）と視差量とを記録する。オブジェクトリスト内の６１はオブジェクトＩＤであり、オブジェクト毎に割り当てられるＩＤ番号である。図６の例では、家オブジェクト４１については「＠１」というＩＤ番号が記録され、山オブジェクト４２については「＠２」というＩＤ番号が記録され、人オブジェクト４３については「＠３」というＩＤ番号が記録されている。オブジェクトリスト内の６２には各オブジェクトのＸ座標が記録され、オブジェクトリスト内の６３には各オブジェクトのＹ座標が記録される。オブジェクトリスト内の６４には、左目用の画像データと右目用の画像データとの視差量が記録されている。オブジェクトリスト内の６５は、ユーザとオブジェクトとの距離の順位が記録されている。

図５の説明に戻る。ステップＳ１３２において、奥行き検出部６は、立体画像コンテンツ内の最後のオブジェクトであるか否かを判定する。最後のオブジェクトである場合、処理はステップＳ１３３に移行する。一方、最後のオブジェクトではない場合、処理はステップＳ１２７に戻る。ステップＳ１３３において、奥行き検出部６は、オブジェクトリストに基づいて奥行き範囲を決定する。即ち、奥行き検出部６は、オブジェクトリスト内の視差量６４を検索し、最小値の視差量と最大値の視差量とを検索して奥行き範囲とする。図６の例では、人オブジェクト４３の視差量が最小値（人オブジェクト４３の位置が最浅）、山オブジェクト４２の視差量が最大値（山オブジェクト４２の位置が最深）として検出され、奥行き範囲は１０〜７０と決定される。以上の処理により、立体画像コンテンツから奥行き範囲が検出される。

以上のように、本実施形態によれば、立体視トレーニング用画像データを用いて確実に立体視トレーニングを行うことができるので、立体画像コンテンツの表示切り替え時の視聴疲労を低減することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、幅広く応用することが可能である。例えば、本実施形態では、立体画像コンテンツの表示切り替え時に立体視トレーニングを行う場合について説明したが、表示装置の起動時や立体画像コンテンツの再生開始時に立体視トレーニングを行うようにしてもよい。また、奥行き範囲の検出の際に使用する画像データは、冒頭部又は所定時間後のフレーム画像データでもよい。また、予め定められた枚数のフレーム画像データの奥行き範囲の平均値を使用してもよい。また、立体視トレーニングに使用する立体視トレーニング用画像データのパターンは任意のものでよい。例えば、表示開始が指示された立体画像コンテンツのタイトル、再生ボタンのアイコン、又は、ユーザによって指定されたアイコン等を立体視トレーニング用画像データとして使用してもよい。また、表示切り替え後の立体画像コンテンツに類似したグラフィックスの立体視トレーニング用画像データを表示するようにしてもよい。この場合、表示切り替え後の立体画像コンテンツとテンプレートのグラフィックスとの類似度を判定し、最も類似度の高いグラフィックスを立体視トレーニング用画像データとして使用する。また、立体画像コンテンツの製作者による指定がある場合には、当該作成者によって指定されたグラフィックスを立体視トレーニング用画像データとして使用してもよい。例えば、立体画像コンテンツのタイトルをロゴ化したものや登場人物をキャラクタ化したグラフィックスを立体視トレーニング用画像データとして使用することができる。

また、立体視トレーニングで奥行き範囲を拡げる速度は一定でもよいし、曲線的に上昇させるようにしてもよい。立体画像コンテンツのシーン中で深度が変化している場合には、それに応じた速度で奥行き範囲を拡げるようにしてもよい。また、立体視トレーニング用画像データを透過表示できるようにし、表示切り替え後の立体画像コンテンツを表示しながら立体視トレーニング用画像データを表示するようにしてもよい。この場合、出力セレクタ２７は、立体視トレーニング用画像データと立体画像コンテンツとを透過合成して出力する。このとき、透過表示された前景の立体視トレーニング用画像データが徐々に手前に移動するように表示される。また、透過表示される前景の立体視トレーニング用画像データは、立体画像コンテンツの画面で前景のオブジェクトがない場所に表示させるようにしてもよい。

また、視聴しているユーザが誰であるかを検出し、ユーザ毎に立体視トレーニング用画像データのパターンや立体視トレーニングの速度を切り替えるようにしてもよい。また、視聴しているユーザの位置を検出し、立体視トレーニング用画像データをユーザの正面に表示させ、そのまま奥行き範囲を増加させるようにしてもよい。ここでユーザの位置を検出する処理は第３の検出手段の処理である。また、初めは立体視トレーニング用画像データをユーザの正面に表示しておき、徐々に立体画像コンテンツの前景のオブジェクトの位置に立体視トレーニング用画像データを移動させるようにしてもよい。複数のユーザが存在する場合には、それぞれのユーザの正面に立体視トレーニング用画像データを表示させるようにしてもよい。また、ユーザと表示画面との距離に応じて、立体視トレーニング用画像データの大きさを変えるようにしてもよい。例えば、ユーザと表示画面との距離が近い場合は立体視トレーニング用画像データを小さく表示させ、ユーザと表示画面との距離が遠い場合は立体視トレーニング用画像データを大きく表示させる。ここでユーザと表示画面との距離の検出処理が行われるが、本処理は第４の検出手段の処理例である。

立体視トレーニング用画像データと立体画像コンテンツとの表示切り替えは、表示パネル３０における立体視トレーニング用画像データの比率を徐々に低下させつつ立体画像コンテンツを表示させていくことにより表示切り替えを行うようにしてもよい。また、立体視トレーニング用画像データをモーフィングして表示切り替えを行うようにしてもよい。立体視トレーニングの終了後に比率を低下（又はモーフィング）させてもよいし、奥行き範囲を変更しながら比率を低下（又はモーフィング）させてもよい。比率の低下（又はモーフィング）の方法は任意の公知技術を使用することができる。

次に、本発明の第２の実施形態について説明する。第２の実施形態では、立体画像コンテンツの内容が立体視トレーニングに適しているか否かを判定し、適さない場合に立体視トレーニング用画像データを表示する例について説明する。

図７は、本発明の第２の実施形態に係る表示装置の構成を示す図であり、以下、図７を参照しながら、第２の実施形態に係る表示装置１１の構成について説明する。なお、第２の実施形態に係る表示装置１１は、図１に示した構成にトレーニング適性解析部８及び補間画像生成部９を追加したものである。

図７において、８はトレーニング適性解析部であり、表示切り替え後の立体画像コンテンツが立体視トレーニングに適した画像データであるか否かを解析する。即ち、トレーニング適性解析部８は、表示切り替え後の立体画像コンテンツから前景のオブジェクトと背景のオブジェクトとを抽出し、両者の色差を検出する。両者の色差が閾値以下である場合、オブジェクトを見分けづらいために立体視トレーニングを確実に行えない可能性がある。従って、この場合は、立体視トレーニング用画像データによって立体視トレーニングを行うように処理を切り替える。９は補間画像生成部であり、表示切り替え後の立体画像コンテンツの視差量を変更した補間画像データを生成する。立体画像コンテンツが立体視トレーニングに適した画像データである場合、即ち、上記両者の色差が閾値より大きい場合、補間画像データによって立体視トレーニングを行うように処理を切り替える。なお、視差量を変更した補間画像データの生成は、例えば特許文献１に開示される方法で行うことができる。また、補間画像データの生成はこれに限られることなく、任意の公知技術を用いることができる。

次に、図８を参照しながら、第２の実施形態における立体画像コンテンツの表示切り替え処理について説明する。図８に示す第２の実施形態における立体画像コンテンツの表示切り替え処理は、図４に示すフローチャートのステップＳ１０３とＳ１０４との間に、ステップＳ２０１〜Ｓ２０６を追加した処理である。以下では、図４と相違する処理についてのみ説明するものとする。

ステップＳ２０１において、トレーニング適性解析部８は、立体画像コンテンツについて立体視トレーニング適性を解析する。ステップＳ２０２において、トレーニング適性解析部８は、ステップＳ２０１の解析の結果、立体画像コンテンツが立体視トレーニングに適しているか否かを判定する。立体画像コンテンツが立体視トレーニングに適している場合、処理はステップＳ２０３に移行する。一方、立体画像コンテンツが立体視トレーニングに適していない場合、処理はステップＳ１０４に移行する。

ステップＳ２０３において、トレーニング制御部５は、補間画像データを用いた立体視トレーニングのプランを生成する。例えば、トレーニング制御部５は、奥行きの差に応じて立体視トレーニング期間や１フレーム毎の奥行き変化の度合いを設定する。また、入力セレクタ２６は新たな立体画像コンテンツ側に切り替えられ、出力セレクタ２７は補間画像データ側に切り替えられる。ステップＳ２０４において、補間画像生成部９は、立体視トレーニング用に視差量を変更した補間画像データを作成する。即ち、補間画像生成部９は、立体視トレーニングが進むほどに奥行き範囲が拡がるような補間画像データを生成する。ステップＳ２０５において、表示パネル制御部２９は、立体視トレーニング用に視差量が変更された補間画像データを表示する。ステップＳ２０６において、トレーニング制御部５は、立体視トレーニング期間が終了したか否かを判定する。立体視トレーニング期間が終了した場合、処理はステップＳ１０８に移行する。一方、立体視トレーニング期間が終了していない場合、処理はステップＳ２０４に戻る。ステップＳ１０８において、出力セレクタ２７は立体画像コンテンツ側に切り替えられる。これにより、新たな立体画像コンテンツの表示が開始される。以上の処理により、立体視トレーニング用画像データ又は補間画像データによって立体視トレーニングを行うことができる。なお、ステップＳ２０４は第２の生成手段の処理例である。

以上説明したように、第２の実施形態によれば、第１の実施形態と同様な効果を得ることができる。なお、本発明は、上述した実施形態に限定されるものではなく、幅広く応用することが可能である。即ち、トレーニング適性解析部８で検出されるパラメータは、任意のものでよい。例えば、前景のオブジェクトと背景のオブジェクトとの面積比率を検出するようにしてもよい。極端な比率の場合、視差変化を見比べる部分が小さいために、立体視トレーニングが確実に行えない可能性がある。そこで、比率が極端に大きい場合、又は比率が極端に小さい場合、立体画像コンテンツが立体視トレーニングに適さないと判定される。また、前景のオブジェクトの位置が極端に端にある場合、立体画像コンテンツが立体視トレーニングに適さないと判定するようにしてもよい。また、前景のオブジェクトの動きを検出し、動きが激しい場合、立体画像コンテンツが立体視トレーニングに適さないと判定するようにしてもよい。さらに、画像レイアウトのテンプレートを予め用意しておき、これと立体画像コンテンツとの類似度に応じて、当該立体画像コンテンツが立体視トレーニングに適しているか否かを判定するようにしてもよい。

補間画像生成部９は、立体画像コンテンツの特定の１つのフレーム画像データを用いて、徐々に視差を拡げるような補間画像データを生成するようにしてもよい。これにより、静止画が徐々に立体的になっていくような立体視トレーニングとなる。対象のフレーム画像データは、立体画像コンテンツの冒頭部のフレーム画像データでもよいし、シーン中央のフレーム画像データを使用してもよい。また、シーン内での画面の揺れ度合いに応じて、平均位置にあるフレーム画像データを使用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１、１１：表示装置、２：映像入力部、３：表示部、４：操作指示部、５：トレーニング制御部、６：奥行き検出部、７：グラフィックス生成部、８：トレーニング適性解析部、９：補間画像生成部、２０：リモコン、２１：リモコン受光部、２２：キースイッチ入力部、２４：ビデオ入力インタフェース、２５：チューナ、２６：入力セレクタ、２７：出力セレクタ、２８：高画質化処理部、２９：表示パネル制御部、３０：表示パネル

Claims (23)

1. 第１の立体画像データに対応する位置まで移動していく画像データを生成する第１の生成手段と、
   前記第１の立体画像データを表示させる前に、又は、前記第１の立体画像データを表示させながら、前記画像データを表示させる制御手段とを有することを特徴とする画像処理装置。
2. 前記第１の立体画像データの奥行き範囲を検出する第１の検出手段と、
   前記第１の立体画像データの前に表示される第２の立体画像データの奥行き範囲を検出する第２の検出手段とを更に有し、
   前記第１の生成手段は、前記第１の立体画像データの奥行き範囲と前記第２の立体画像データの奥行き範囲との差に対応する前記画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の検出手段と前記第２の検出手段とのうちの少なくとも何れか一方は、該当する立体画像データの製作者の指示を示すデータに基づいて、当該立体画像データの奥行き範囲を検出することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の検出手段と前記第２の検出手段とのうちの少なくとも何れか一方は、該当する立体画像データに含まれる深度を示すデータに基づいて、当該立体画像データの奥行き範囲を検出することを特徴とする請求項２に記載の画像処理装置。
5. 前記第１の検出手段と前記第２の検出手段とのうちの少なくとも何れか一方は、該当する立体画像データの視差量に基づいて、当該立体画像データの奥行き範囲を検出することを特徴とする請求項２に記載の画像処理装置。
6. 前記第１の検出手段と前記第２の検出手段とのうちの少なくとも何れか一方は、該当する立体画像データに含まれるオブジェクトの大きさを検出し、所定の大きさ以上のオブジェクトを用いて前記視差量を検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の検出手段と前記第２の検出手段とのうちの少なくとも何れか一方は、該当する立体画像データに含まれるオブジェクトの動きを検出し、所定の速度よりも遅いオブジェクトを用いて前記視差量を検出することを特徴とする請求項５に記載の画像処理装置。
8. 前記第１の生成手段は、前記第１の立体画像データに類似する前記画像データを生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記第１の生成手段は、前記第１の立体画像データにおける所定のオブジェクトに対応する位置まで移動していく前記画像データを生成することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. ユーザの位置を検出する第３の検出手段を更に有し、
    前記制御手段は、前記第３の検出手段により検出された前記ユーザの位置に対応する位置に前記画像データを表示させることを特徴とする請求項１に記載の画像処理装置。
11. ユーザと前記第１の立体画像データが表示される表示画面との距離を検出する第４の検出手段を更に有し、
    前記制御手段は、前記第４の検出手段により検出された距離に対応する大きさで前記画像データを表示させることを特徴とする請求項１に記載の画像処理装置。
12. 前記制御手段は、前記第１の立体画像データの手前に前記画像データを透過表示させることを特徴とする請求項１に記載の画像処理装置。
13. 前記制御手段は、画面上における前記画像データの比率を徐々に低下させつつ前記第１の立体画像データを表示させていくことを特徴とする請求項１に記載の画像処理装置。
14. 前記制御手段は、前記画像データをモーフィングして前記第１の立体画像データを表示させていくことを特徴とする請求項１に記載の画像処理装置。
15. 前記第１の立体画像データに基づいて、前記画像データを表示させることによる立体視トレーニングに関する適性を判定する判定手段を更に有し、
    前記第１の生成手段は、前記判定手段による判定結果に応じて、前記画像データを生成することを特徴とする請求項１に記載の画像処理装置。
16. 前記判定手段による判定結果に応じて、前記第１の立体画像データの視差量を変更した補間画像データを生成する第２の生成手段を更に有し、
    前記制御手段は、前記第２の生成手段により前記補間画像データが生成された場合、前記第１の立体画像データを表示させる前に、又は、前記第１の立体画像データを表示させながら、前記補間画像データを表示させることを特徴とする請求項１５に記載の画像処理装置。
17. 前記判定手段は、前記第１の立体画像データ内におけるオブジェクト間の面積比率に基づいて立体視トレーニングに関する適性を判定することを特徴とする請求項１５又は１６に記載の画像処理装置。
18. 前記判定手段は、前記第１の立体画像データ内におけるオブジェクト間の色差に基づいて立体視トレーニングに関する適性を判定することを特徴とする請求項１５又は１６に記載の画像処理装置。
19. 前記判定手段は、前記第１の立体画像データ内におけるオブジェクトの位置に基づいて立体視トレーニングに関する適性を判定することを特徴とする請求項１５又は１６に記載の画像処理装置。
20. 前記判定手段は、前記第１の立体画像データ内におけるオブジェクトの動きに基づいて立体視トレーニングに関する適性を判定することを特徴とする請求項１５又は１６に記載の画像処理装置。
21. 前記第２の生成手段は、前記第１の立体画像データ内の所定の画像データに基づいて前記補間画像データを生成することを特徴とする請求項１６に記載の画像処理装置。
22. 画像処理装置によって実行される画像処理方法であって、
    立体画像データに対応する位置まで移動していく画像データを生成する生成ステップと、
    前記立体画像データを表示させる前に、又は、前記立体画像データを表示させながら、前記画像データを表示させる制御ステップとを有することを特徴とする画像処理方法。
23. 立体画像データに対応する位置まで移動していく画像データを生成する生成ステップと、
    前記立体画像データを表示させる前に、又は、前記立体画像データを表示させながら、前記画像データを表示させる制御ステップとをコンピュータに実行させるためのプログラム。

Images