JP2012009010A - 画像処理装置、画像処理方法および画像表示装置 - Google Patents

Abstract

【課題】 立体画像表示装置において、視差をある程度以上に大きくすると、融合限界により右目と左目の画像が融合せず、２重像が見えてしまい立体視が得られなくなるという問題がある。
【解決手段】 画像処理装置１００は、次の構成要素を備える。視差算出部１は、画像入力データＤａ１，Ｄｂ１を入力し、複数の領域に分けた各領域の視差量を算出して複数の視差データＴ１を出力する。フレーム視差算出部２は、飛び出し方向の視差データＴ１を基にフレーム視差データＴ２を出力する。フレーム視差補正部３は、複数のフレームのフレーム視差データＴ２を用いて、補正後フレーム視差データＴ３を出力する。視差調整量算出部４は、視差調整情報Ｓ１および補正後フレーム視差データＴ３に基づいて視差調整データＴ４を出力する。調整画像生成部５は、視差調整データＴ４に基づいて画像出力データＤａ２，Ｄｂ２を出力する。
【選択図】 図１

Description

本発明は、立体映像をなす一対の入力画像を、補正した画像として生成する画像処理装置、画像処理方法および画像表示装置に関するものである。

近年、鑑賞者が擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術がある。両眼視差を利用した立体画像表示技術では、３次元空間の左眼で見た映像と右眼で見た映像とを鑑賞者の左眼と右眼とに分けて見せることによって鑑賞者が映像を立体と感じる。

鑑賞者の左右の眼に異なる映像を見せるための技術として、左眼用画像と右眼用画像を時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれのレンズを透過する光量を制御する眼鏡を用いて左右の視界を時間的に分離する方式がある。また、ディスプレイの前面に画像の表示角を制限するバリアやレンズを用いることで左右の眼それぞれに左眼用画像と右眼用画像を見せる方式など、様々な方式がある。

このような立体画像表示装置において視差が大きいと、飛び出し量が大きくなり、鑑賞者に驚きを与えることができる。しかし、視差をある程度以上に大きくすると、融合限界により右目と左目の画像が融合せず、２重像が見えてしまい立体視が得られなくなる。このことから、鑑賞者の眼に負担を与えるという問題がある。

この問題に対して、特許文献１では、立体映像に埋め込まれた視差の情報に基づき立体画像の表示時間が所定時間を越えた場合に、立体画像の視差を変更することによって鑑賞者の眼の負担を軽減することで鑑賞者の眼の疲れを軽減するする技術が開示されている。

特開２００８−３０６７３９号公報

しかしながら、特許文献１に開示された技術では、立体映像に視差情報が埋め込まれていない場合に対応できない。また、立体画像の表示時間が所定時間を越えた場合の立体画像の視差の変更に、ディスプレイ表示面から鑑賞者までの距離およびディスプレイ表示面の大きさなどの個別の条件が考慮されていない。

この発明は、上述のような課題を解決するためになされたもので、立体映像に視差情報が埋め込まれているか否かにかかわらず、入力された一対の画像の視差量を、ディスプレイ表示面から鑑賞者までの距離およびディスプレイ表示面の大きさなどの個別の条件を考慮でき、鑑賞者に好適な奥行き感の視差に変更して立体画像を表示することを目的とする。

本発明に係わる画像処理装置は、立体映像をなす一対の画像入力データを入力し、前記一対の画像入力データを複数の領域に分け、前記各領域に対応した視差量を算出して前記各領域に対応した視差データとして出力する視差算出部と、複数の前記視差データを基にフレーム視差データを生成して出力するフレーム視差算出部と、１つのフレームのフレーム視差データを他のフレームのフレーム視差データに基づいて補正し補正後フレーム視差データとして出力するフレーム視差補正部と、鑑賞の状況を示す情報を基に作成される視差調整情報および前記補正後フレーム視差データに基づいて視差調整データを生成して出力する視差調整量算出部と、前記視差調整データに基づいて視差量を調整した一対の画像出力データを生成して出力する調整画像生成部とを備える。

本発明によれば、立体映像に視差情報が埋め込まれているか否かにかかわらず、鑑賞者による２重像の認識を低減することができる。

本発明の実施の形態１に係る画像表示装置の構成を示す図である。 本発明の実施の形態１に係る画像処理装置の視差算出部が視差データを算出する方法を説明する図である。 本発明の実施の形態１に係る画像処理装置の視差算出部の詳細な構成を示す図である。 本発明の実施の形態１に係る画像処理装置の領域視差算出部が視差データを算出する方法を説明する図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差算出部へ入力される視差データを詳細に説明するための図である。 本発明の実施の形態１に係る画像処理装置の視差データからフレーム視差のデータを算出する方法を説明する図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差データから算出される補正後フレーム視差データについて詳細に説明する図である 本発明の実施の形態１に係る画像表示装置の画像入力データの視差量と画像出力データの視差量の変化による飛び出し量の変化を説明する図である。 本発明の実施の形態１に係る画像表示装置の視差のある画像の具体例について説明する図である。 本発明の実施の形態１に係る画像処理装置の左眼用画像入力データと右眼用画像入力データから視差を算出する説明の図である 本発明の実施の形態１に係る画像処理装置の視差算出部によって出力された視差を示した図である。 本発明の実施の形態１に係る画像処理装置の視差データからフレーム視差データを算出する説明の図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差算出部によって出力されたフレーム視差データの時間的変化を示した図である 本発明の実施の形態１に係る画像処理装置のフレーム視差データから補正後フレーム視差データを算出する説明の図である。 本発明の実施の形態１に係る画像処理装置の補正後フレーム視差データから視差調整データを算出する説明の図である。 本発明の実施の形態１に係る画像表示装置の視差調整データと画像入力データから、画像出力データを算出する説明の図である。 本発明の実施の形態２に係る画像処理装置の本発明の実施の形態２に係る立体画像処理方法のフローを示す図である。 本発明の実施の形態２に係る画像処理装置の視差算出ステップのフローを示す図である。 本発明の実施の形態２に係る画像処理装置のフレーム視差補正ステップのフローを示す図である。 本発明の実施の形態３に係る立体画像表示装置の構成を示す図である。 本発明の実施の形態３に係る画像処理装置のフレーム視差算出部へ入力される視差データを詳細に説明するための図である。 本発明の実施の形態３に係る画像処理装置の視差データから第１のフレーム視差データ、および第２のフレーム視差データを算出する方法を説明する図である。 本発明の実施の形態３に係る画像処理装置の第１のフレーム視差データ、および第２のフレーム視差データから算出される第１の補正後フレーム視差データ、および第２の補正後フレーム視差データについて詳細に説明する図である。 本発明の実施の形態３に係る画像表示装置の視差のある画像の具体例について説明する図である。 本発明の実施の形態３に係る画像処理装置の左眼用画像入力データと右眼用画像入力データから視差を算出する説明の図である 本発明の実施の形態３に係る画像処理装置の左眼用画像入力データと右眼用画像入力データから視差を算出する説明の図である 本発明の実施の形態３に係る画像処理装置の視差算出部によって出力される視差を示した図である。 本発明の実施の形態３に係る画像処理装置の視差データから第１のフレーム視差データ、および第２のフレーム視差データを算出する説明の図である。 本発明の実施の形態３に係る画像処理装置のフレーム視差算出部によって出力された第１のフレーム視差データ、および第２のフレーム視差データの時間的変化を示した図である 本発明の実施の形態３に係る画像処理装置の第１のフレーム視差データから第１の補正後フレーム視差データを、第２のフレーム視差データから第２の補正後フレーム視差データを算出する説明の図である。 本発明の実施の形態３に係る画像処理装置の第１の補正後フレーム視差データ、第２の補正後フレーム視差データから中間視差調整データ、および視差調整データを算出する説明の図である。 本発明の実施の形態３に係る画像表示装置の視差調整データと画像入力データから、画像出力データを算出する説明の図である。 本発明の実施の形態５に係る画像処理装置の構成を示す模式図である。 本発明の実施の形態５に係る画像処理装置の画像縮小部を説明する図である。 本発明の実施の形態５に係る画像処理装置の視差算出部１が左眼用画像データＤａ３と右眼用画像データＤｂ３に基づいて視差データＴ１を算出する方法を説明するための図である。 本発明の実施の形態５に係る画像処理装置の視差算出部１の詳細な構成を示す模式図である。 本発明の実施の形態５に係る画像処理装置のフレーム視差データＴ２から算出される補正後フレーム視差データＴ３について詳細に説明するための図である 本発明の実施の形態５に係る画像処理装置の画像入力データＤａ０とＤｂ０の視差量と画像出力データＤａ２とＤｂ２の視差量の変化による飛び出し量の変化を説明するための図である。 本発明の実施の形態５に係る画像処理装置の左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１から縮小した左眼用画像データＤａ３と右眼用画像データＤｂ３を生成することを説明するための図である。 本発明の実施の形態５に係る画像処理装置の左眼用画像データＤａ３と右眼用画像データＤｂ３から視差を算出することを説明するための図である。 本発明の実施の形態５に係る画像処理装置の左眼用画像データＤａ３と右眼用画像データＤｂ３から視差を算出することを説明するための図である。 本発明の実施の形態５に係る画像処理装置のフレーム視差算出部２によって出力されたフレーム視差データＴ２の時間的変化を示した模式図である 本発明の実施の形態５に係る画像処理装置のフレーム視差データＴ２から補正後フレーム視差データＴ３を算出することを説明するための図である。 本発明の実施の形態５に係る画像処理装置の補正後フレーム視差データＴ３から視差調整データＴ４を算出することを説明するための図である。 本発明の実施の形態６に係る画像処理方法のフロー図である。

実施の形態１．
図１は、本発明の実施の形態１に係る立体画像を表示する画像表示装置２００の構成を示す図である。実施の形態１に係る画像表示装置２００は、視差算出部１、フレーム視差算出部２、フレーム視差補正部３、視差調整量算出部４、調整画像生成部５および表示部６を備える。画像表示装置２００の内の画像処理装置１００は、視差算出部１、フレーム視差算出部２、フレーム視差補正部３、視差調整量算出部４および調整画像生成部５で構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは視差算出部１と調整画像生成部５に入力される。視差算出部１は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて領域ごとに視差量を算出し視差データＴ１を出力する。視差データＴ１は、フレーム視差算出部２に入力される。

フレーム視差算出部２は、視差データＴ１に基づいて着目フレームに対する視差量を算出しフレーム視差データＴ２として出力する。フレーム視差データＴ２は、フレーム視差補正部３に入力される。

フレーム視差補正部３は、着目フレームのフレーム視差データＴ２を他の時刻のフレームのフレーム視差データＴ２を参照して補正した補正後フレーム視差データＴ３を出力する。補正後フレーム視差データＴ３は、視差調整量算出部４に入力される。

視差調整量算出部４は、鑑賞者９が入力する視差調整情報Ｓ１と補正後フレーム視差データＴ３に基づいて算出した視差調整データＴ４を出力する。視差調整データＴ４は、調整画像生成部５に入力される。

調整画像生成部５は、視差調整データＴ４に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差量を調整した左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを出力する。左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とは表示部６に入力される。表示部６は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを表示面に表示する。

以下で、本発明の実施の形態１に係る画像処理装置１００の詳細な動作について説明する。

図２は、視差算出部１が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて視差データＴ１を算出する方法を説明するための図である。

視差算出部１は、入力データである左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とをディスプレイ表示面の上で幅Ｗ１、高さＨ１に区切った大きさと対応するように分割し、その領域ごとの視差量を算出する。立体映像は左眼用画像と右眼目用画像との一対の画像が連続して動画となっている。左眼用画像入力データＤａ１は左眼用画像であり、右眼用画像入力データＤｂ１は右眼用画像である。このため、映像の画像自体が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とになる。例えばテレビに実施の形態１に係る画像処理装置１００を適用する場合であれば、デコーダで放送信号が復号されるが、その復号された映像信号が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１として入力される。なお、画面の分割数については、実施の形態１に係る画像処理装置１００を実際のＬＳＩなどに実装する際にＬＳＩの処理量等を考慮して決定する。

ディスプレイ表示面の上を区切った領域の垂直方向の領域の数を正の整数ｈ、水平方向の領域の数を正の整数ｗとする。図２では、最も左上の領域の番号を第１番目とし、順次、左の列の上から下へと進み、列は左から右へと進み第２番目、第３番目から第ｈ×ｗ番目まで番号を振っている。さらに、左眼用画像入力データＤａ１の第１番目の領域に含まれる画像データをＤａ１（１）とし、以下各領域に対する画像データをＤａ１（２）、Ｄａ１（３）からＤａ１（ｈ×ｗ）までとする。また、右眼用画像入力データＤｂ１の各領域に対する画像データも同様にＤｂ１（１）、Ｄｂ１（２）、Ｄｂ１（３）からＤｂ（ｈ×ｗ）までとする。

図３は、視差算出部１の詳細な構成を示す図である。視差算出部１は、領域ごとに視差量を算出するため、ｈ×ｗ個の領域視差算出部１ｂで構成されている。領域視差算出部１ｂ（１）は、第１番目の領域に含まれる左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに基づいて第１番目の領域の視差量を算出し、第１番目の領域の視差データＴ１（１）として出力する。以下同様に、領域視差算出部１ｂ（２）から領域視差算出部１ｂ（ｈ×ｗ）は、それぞれ第２番目から第ｈ×ｗ番目までの領域の視差量を算出し、第２番目から第ｈ×ｗ番目までの領域の視差データＴ１（２）から視差データＴ１（ｈ×ｗ）として出力する。そして、視差算出部１は第１番目から第ｈ×ｗ番目までの領域の視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までを視差データＴ１として出力する。

領域視差算出部１ｂ（１）は、位相限定相関法を用いて左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）との視差データＴ１（１）を算出する。位相限定相関法については例えば非特許文献（萩原瑞木、川俣政征著「位相限定関数を用いた画像のサブピクセル精度の位置ずれ検出」電子情報通信学会技術研究報告、Ｎｏ．ＣＡＳ２００１−１１、ＶＬＤ２００１−２８、ＤＳＰ２００１−３０、２００１年６月、ｐｐ．７９−８６）に説明されている。位相限定相関法は、立体映像の一対の画像を入力として受け取り、視差量を出力するアルゴリズムである。

次に示す式（１）は位相限定相関法で算出される視差量Ｎｏｐｔを表す式である。式（１）において、Ｇａｂ（ｎ）は位相限定相関関数である。

ここで、ｎは０≦ｎ≦Ｗ１の範囲とする。ａｒｇｍａｘ（Ｇ_ａｂ（ｎ））はＧ_ａｂ（ｎ）が最大となるｎの値であり、このときのｎがＮ_ｏｐｔである。Ｇ_ａｂ（ｎ）は次の式（２）で表される。

ここで、関数ＩＦＦＴは、逆高速フーリエ変換関数であり、｜Ｆ_ａｂ（ｎ）｜はＦ_ａｂ（ｎ）の大きさである。Ｆ_ａｂ（ｎ）は次の式（３）で表される。

ここで、Ｂ^＊（ｎ）はＢ（ｎ）の複素共役の系列であり、Ａ・Ｂ^＊（ｎ）はＡとＢ^＊（ｎ）の畳み込みである。ＡおよびＢ（ｎ）は次の式（４）で表される。

ここで、関数ＦＦＴは高速フーリエ変換関数である。ａ（ｍ）、ｂ（ｍ）は連続する１次元の系列であり、ｍは系列のインデックスである。そしてｂ（ｍ）はａ（ｍ−τ）と等しい（ｂ（ｍ）＝ａ（ｍ−τ））。すなわちｂ（ｍ）はａ（ｍ）を右にτずらした系列であり、ｂ（ｍ−ｎ）はｂ（ｍ）を右にｎずらした系列である。

領域視差算出部１ｂでは、左眼用画像入力データＤａ１（１）を式（４）のａとし、右眼用画像入力データＤｂ１（１）を式（４）のｂとする。そして、位相限定相関法によって算出されたＮ_ｏｐｔが視差データＴ１（１）となる。

図４は、第１番目の領域に含まれる左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）から位相限定相関法を用いて視差データＴ１（１）を算出する方法を説明するための図である。図４（ａ）の実線で表されるグラフは、第１番目の領域に対応する左眼用画像入力データＤａ１（１）である。横軸は水平位置、縦軸は階調を示している。図４（ｂ）のグラフは、第１番目の領域に対応する右眼用画像入力データＤｂ１（１）である。横軸は水平位置、縦軸は階調を示している。図４（ａ）の破線で表される特性曲線は、図４（ｂ）で示した右眼用画像入力データＤｂ１（１）の特性曲線を第１番目の領域の視差量ｎ１だけずらしたものである。図４（Ｃ）のグラフは、位相限定相関関数Ｇ_ａｂ（ｎ）であり、横軸はＧ_ａｂ（ｎ）の変数ｎ、縦軸は相関の強さを示している。

位相限定相関関数Ｇ_ａｂ（ｎ)は、連続する系列ａとａをτだけシフトした系列ｂとで定義されており、式（２）、式（３）よりｎ＝−τにピークを持つデルタ関数になる。右眼用画像入力データＤｂ１（１）は、左眼用画像入力データＤａ１（１）に対して飛び出す場合に左方向にずれ、引っ込む場合に右方向にずれている。左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ（１）とを領域に区切ったデータでは飛び出し方向または引っ込み方向のいずれか一方にずれている可能性が高い。左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とを式（４）の入力ａ（ｍ）と入力ｂ（ｍ）として算出した式（１）のＮ_ｏｐｔが視差データＴ１（１）となる。

本実施の形態においては、視差データＴ１は符号を持つ値とする。対応する右眼用画像と左眼用画像とが有する飛び出し方向の視差に対応する視差データＴ１は正となる。対応する右眼用画像と左眼用画像とが有する引っ込み方向の視差に対応する視差データＴ１は負となる。対応する右眼用画像と左眼用画像が視差を有しない場合には視差データＴ１がゼロになる。

図４（ａ）と図４（ｂ）の関係よりずれ量はｎ１である。このため、図４（Ｃ）に示すように位相限定相関関数Ｇ_ａｂ（ｎ）に関するずれ量の変数ｎがｎ１のときに相関関数の値が最大となる。

領域視差算出部１ｂ（１）は、式（１）より左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに対する位相限定相関関数Ｇ_ａｂ（ｎ）の値が最大となるずれ量ｎ１を視差データＴ１（１）として出力する。

同様に、Ｎを２からｈ×ｗまでの整数とすると、領域視差算出部１ｂ（Ｎ）は、第Ｎ番目の領域に含まれる左眼用画像入力データＤａ１（Ｎ）および第Ｎ番目の領域に含まれる右眼用画像入力データＤｂ１（Ｎ）の位相限定相関の値が最大となるずれ量を視差データＴ１（Ｎ）として出力する。

上述の非特許文献１には、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とをそのまま入力として、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差量を得る方法が記載されている。しかし、入力される画像が大きければ計算量が多くなり、ＬＳＩに実装した際、回路規模が大きくなるという問題がある。さらに、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに小さく写っている物体に対する位相限定相関関数Ｇ_ａｂ（ｎ）のピークは小さくなってしまい、小さく写っている物体の視差量の算出が難しい。

実施の形態１に係る画像処理装置１００の視差算出部１では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを小さい領域に分割し、領域ごとに位相限定相関法を適用している。このため、小さい回路規模で位相限定相関法をＬＳＩに実装できる。この場合、すべての領域を同時に計算するのではなく、１つの回路を使って１つの領域ずつ順番に視差量を計算することでさらに回路規模を小さくできる。さらに、小さく分割された領域内では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに小さく写っている物体も、相対的に大きな面積を占めることになるので、位相限定相関関数Ｇ_ａｂ（ｎ）のピークも大きくなり検出しやすくなる。このため、視差量がより正確に求められる。領域ごとに求めた視差量をもとに、次に説明するフレーム視差算出部２で左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との画像全体での視差量を出力する。

次に、フレーム視差算出部２の詳細な動作について説明する。

図５は、フレーム視差算出部２について入力される視差データＴ１を詳細に説明するための図である。フレーム視差算出部２は、入力される第１番目から第ｈ×ｗ番目までの領域に対応する視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までを集約し、着目フレームの画像に対して１つのフレーム視差データＴ２を算出する。

図６は、視差データＴ１（１）から視差データＴ（ｈ×ｗ）までを基にフレーム視差データＴ２を算出する方法を説明するための図である。横軸は領域の番号であり、縦軸は視差データＴ１（視差量）である。フレーム視差算出部２は、視差データＴ１（１）から視差データＴ（ｈ×ｗ）までのうち、最大の視差データＴ１をフレーム画像のフレーム視差データＴ２として出力する。

これにより、視差の情報が埋め込まれていない立体映像に対しても、鑑賞者９にとって最も影響が大きいと考えられる立体映像の各フレームでの最も飛び出している部分の視差量を算出することができる。

次に、フレーム視差補正部３の詳細な動作について説明する。

図７は、フレーム視差データＴ２から算出される補正後フレーム視差データＴ３について詳細に説明するための図である。図７（ａ）は、フレーム視差データＴ２の時間的変化を示した図である。横軸は時間であり、縦軸はフレーム視差データＴ２である。図７（ｂ）は補正後フレーム視差データＴ３の時間的変化を示した図である。横軸は時間であり、縦軸は補正後フレーム視差データＴ３である。

フレーム視差補正部３は、フレーム視差データＴ２を一定時間分保持し、着目フレームの前後複数のフレーム視差データＴ２の平均値を算出し、補正後フレーム視差データＴ３として出力する。補正後フレーム視差データＴ３は次の式（５）で表される。

ここで、Ｔ３（ｔｊ）は着目する時刻ｔｊにおける補正後フレーム視差データである。Ｔ２（ｋ）は時刻ｋにおけるフレーム視差データＴ３である。正の整数Ｌは平均値を算出する幅である。またｔｊ＜ｔｉであるので、例えば図７（ａ）に示す時刻（ｔｉ−Ｌ）からｔｉまでにおけるフレーム視差データＴ２の平均値から図７（ｂ）に示す時刻ｔｊの補正後フレーム視差データＴ３が求められる。また（ｔｉ−Ｌ）＜ｔｊ＜ｔｉであるので、例えば図７（ａ）に示す時刻（ｔｉ−Ｌ）から時刻ｔｉまでにおけるフレーム視差データＴ２の平均値から図７（ｂ）に示す時刻ｔｊの補正後フレーム視差データＴ３が求められる。

立体映像の飛び出し量は時間的に連続的に変化するものが多い。フレーム視差データＴ２が時間的に不連続に変化する場合、例えば、時間軸に対してインパルス状に変化する場合はフレーム視差データＴ２の誤検出とみなしても良い。フレーム視差データ補正部３により、たとえインパルス状の変化があったとしても時間的に平均化されるため誤検出を緩和することができる。

次に、視差調整量算出部４の詳細な動作について説明する。

視差調整量算出部４は、鑑賞者９が自分の見やすい視差量に合わせて設定する視差調整情報Ｓ１と補正後のフレーム視差データＴ３とに基づいて視差調整量を算出し視差調整データＴ４を出力する。

視差調整情報Ｓ１は、視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂを含む。視差調整データＴ４は次の式（６）で表される。

視差調整データＴ４は、画像調整によって飛び出し量を減少させる視差量のことであり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量を示す。後で詳述するように、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量の和が視差調整データＴ４となる。このため、フレーム視差データＴ３が視差調整閾値Ｓ１ｂ以下の場合は、画像調整により左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にシフトしない。一方、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂより大きい場合は、補正後フレーム視差データＴ３と視差調整閾値Ｓ１ｂとの差の値に視差調整係数Ｓ１ａを乗じた値だけ左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平方向にシフトする。

例えば、視差調整係数Ｓ１ａ＝１で視差調整閾値Ｓ１ｂ＝０の場合、Ｔ３≦０ではＴ４＝０となる。つまり画像調整は行われない。一方、Ｔ３＞０ではＴ４＝Ｔ３となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にＴ３だけシフトされる。補正後フレーム視差データＴ３はフレーム画像の最大の視差量であるため、着目フレーム内で算出された最大の視差量がゼロとなる。また、視差調整係数Ｓ１ａを１より小さくしていくと視差調整データＴ４は補正後視差データＴ３より小さくなり、着目フレーム内で算出された最大の視差量もゼロより大きくなる。また、視差調整閾値Ｓ１ｂをゼロより大きくしていくと、補正後フレーム視差データＴ３がゼロより大きい値に対しても視差データＴ１の調整を行わない。つまり画像が少し飛び出しているフレームに対しても視差調整を行わないことになる。

視差調整情報Ｓ１の設定は、例えばユーザーがリモコンなどの入力手段によって視差調整情報Ｓ１を変化させて立体画像の飛び出し量の変化を見ながら決定する。リモコンの視差調整係数ボタンと視差調整閾値ボタンから入力することもできるが、ランク分けされた一つの視差調整ボタンから視差の調整度合いを入力すると、所定の視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂが設定されるようにすることもできる。

また、画像表示装置２００が鑑賞者９を観察するカメラなどを備え、鑑賞者９の年齢、鑑賞者９の性別およびディスプレイ表示面から鑑賞者９までの距離などを判別して自動的に視差調整情報Ｓ１を設定することもできる。この場合、画像表示装置２００の表示面の大きさなどを視差調整情報Ｓ１に含めることができる。また、画像表示装置２００の表示面の大きさなどを所定の値のみを視差調整情報Ｓ１とすることもできる。上記のように、鑑賞者９がリモコンなどの入力手段を用いて入力する個人的な情報、鑑賞者９の年齢、鑑賞者９の性別、鑑賞者９と画像表示装置との距離を含む位置関係および画像表示装置の表示面の大きさなどの鑑賞の状況に関係する情報を含むものを鑑賞の状況を示す情報と呼ぶ。

以上より本実施の形態における画像処理装置１００は、入力された一対の画像の視差量を、ディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差などに対応した、鑑賞者９に好適な奥行き感の視差に変更して立体画像を表示することができる。

次に、調整画像生成部５の動作について説明する。

図８は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１の視差量と画像の飛び出し量との関係を説明するための図である。また、図８は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２の視差量と画像の飛び出し量との関係を説明するための図である。図８（ａ）は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１の視差量と画像の飛び出し量の関係を示した図である。図８（ｂ）は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２の視差量と画像の飛び出し量の関係を示した図である。

調整画像生成部５は、視差調整データＴ４に基づいてＴ３＞Ｓ１ｂと判断した場合に、視差調整データＴ４に基づいて左眼用画像入力データＤａ１を左方向に水平移動した左眼用画像出力データＤａ２と、右眼用画像入力データＤｂ１を右方向に水平移動した右眼用画像出力データＤｂ２とを出力する。このとき視差量ｄ２は、視差量ｄ１および視差調整データＴ４を用いてｄ２＝ｄ１−Ｔ４で求められる。

左眼用画像入力データＤａ１の画素Ｐ１ｌと右眼用画像入力データＤｂ１の画素Ｐ１ｒは同じ物体の同じ部分であるとすると、その視差量はｄ１となる。そして、鑑賞者９はその物体を位置Ｆ１に飛び出した状態で見ることができる。

左眼用画像出力データＤａ２の画素Ｐ２ｌと右眼用画像出力データＤｂ２の画素Ｐ２ｒは同じ物体の同じ部分であるとすると、その視差量はｄ２となる。そして、鑑賞者９はその物体を位置Ｆ２に飛び出した状態で見ることができる。

左眼用画像入力データＤａ１を左方向に水平移動し、右眼用画像入力データＤｂ１右方向に水平移動することにより視差量ｄ１は小さくなり、視差量ｄ２となる。このため、飛び出し位置が位置Ｆ１から位置Ｆ２へと変化する。その変化量は△Ｆである。

補正後フレーム視差データＴ３はフレーム画像の最大の視差データであるフレーム視差データＴ２から算出される。このため、補正後フレーム視差データＴ３はフレーム画像の最大の視差データとなる。視差調整データＴ４は、式（６）より補正後フレーム視差データＴ３を基に算出される。このため、視差調整係数Ｓ１ａが１の場合は着目フレーム内の最大の視差量と等しくなり、視差調整係数Ｓ１ａが１より小さい場合は最大の視差量より小さくなる。図８の視差量ｄ１を着目フレーム内で算出された最大の視差量と仮定すると、図８（ｂ）に示す調整後の最大の視差量ｄ２は視差調整係数Ｓ１ａを１より小さく設定した場合は視差量ｄ１より小さい値となり、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０と設定した場合は映像が飛び出さない画像となり視差量ｄ２＝０となる。こうすることで、調整後の画像データの最大飛び出し位置Ｆ２が、ディスプレイ表示面６１から飛び出し位置Ｆ１までの間に調整される。

次に、表示部６の動作について述べる。表示部６は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を鑑賞者９の左眼および右眼に別々に表示する。具体的には、表示角を制限するバリアやレンズなどの光学的な機構により左眼および右眼で異なった画像を表示できるディスプレイを使う立体画像表示方式でも良い。また、左眼用画像および右眼用画像を交互に表示したディスプレイに同期して左眼のレンズと右眼のレンズとのシャッターを閉じる専用メガネを用いる立体画像表示方式でも良い。

以上で、本発明の実施の形態１による立体画像を表示する画像表示装置２００の詳細な動作について説明をした。

以下では、具体的な画像例を基に実施の形態１について説明する。

図９は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との具体例を示す図である。図９（ａ）は、左眼用画像入力データＤａ１の全体を示している。図９（ｂ）は右眼用画像入力データＤｂ１の全体を示している。左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、水平方向に視差量ｄ１の視差がある。左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１について、視差量を算出するための領域に区切る境界を破線で示している。最も左上の領域から順に第１番目の領域、第２番目の領域、第３番目の領域と続き、最も右下の第３９番目の領域までの領域に分割される。第１６番目の領域の左眼用画像入力データＤａ１（１６）と右眼用画像入力データＤｂ１（１６）とを太い実線で示している。

図１０は、左眼用画像入力データＤａ１（１６）と右眼用画像入力データＤｂ１（１６）から視差量を算出する方法を説明するための図である。図１０（ａ）は、左眼用画像入力データＤａ１（１６）の水平位置と階調の関係を示す。図１０（ｂ）は、右眼用画像入力データＤｂ１（１６）の水平位置と階調の関係を示す。横軸は水平位置、縦軸は階調である。

左眼用画像入力データＤａ１（１６）と右眼用画像入力データＤｂ１（１６）とはともに諧調の低い方向（図１０中の下方向）に凸形の谷形状に変化する領域を含むグラフとなっている。そして、極小値の位置はちょうど視差量ｄ１だけずれている。視差算出部１の領域視差算出部１ｂ（１６）に左眼用画像入力データＤａ１（１６）および右眼用画像入力データＤｂ１が入力される。そして、視差量ｄ１が第１６番目の領域の視差データＴ１（１６）として出力される。

図１１は、視差算出部１から出力された視差データＴ１を示した図である。破線で区切られた領域の中に領域視差算出部１ｂ（１）から領域視差算出部１ｂ（３９）までが出力する視差データＴ１（１）から視差データＴ１（３９）までの値を示している。

図１２は、視差データＴ１からフレーム視差データＴ２を算出する方法を説明するための図である。横軸が各領域の番号であり、縦軸が視差データＴ１（視差量）である。

斜線を施した棒グラフが第１６番目の領域の視差データＴ１（１６）を示している。フレーム視差算出部２は、視差算出部１から入力された視差データＴ１を比較し最大値である視差量ｄ１をフレーム視差データＴ２として出力する。

図１３は、フレーム視差算出部２によって出力されたフレーム視差データＴ２の時間的変化を示した図である。横軸が時間であり、縦軸がフレーム視差データＴ２である。図９に示した画像は時刻ｔｊでのフレームである。

図１４は、フレーム視差データＴ２から補正後フレーム視差データＴ３を算出する方法を説明するための図であり、補正後フレーム視差データＴ３の時間的変化を示している。横軸は時間であり、縦軸は補正後フレーム視差データＴ３である。図９に示した画像は時刻ｔｊでのフレームである。フレーム視差データＴ２の平均値を算出する幅Ｌを幅Ｌ＝３とする。フレーム視差補正部３は、式（５）を用いて着目フレームおよび着目フレームの前後のフレームのフレーム視差データＴ２を平均する。フレーム視差補正部３は、その平均値を補正後フレーム視差データＴ３として出力する。例えば、図１４の時刻ｔｊにおける補正後フレーム視差データＴ３（ｔｊ）は、図１３に示す時刻ｔ１，ｔｊ，ｔ２のフレーム視差データＴ２（ｔ１），Ｔ２（ｔｊ），Ｔ２（ｔ２）の平均値として算出される。すなわち、Ｔ３（ｔｊ）＝（Ｔ２（ｔ１）＋Ｔ（ｔｊ）＋Ｔ（ｔ２））／３となる。

図１５は、補正後フレーム視差データＴ３から視差調整データＴ４を算出する方法を説明するための図である。図１５（ａ）は、補正後フレーム視差データＴ３の時間的変化を示している。横軸は時間であり、縦軸は補正後フレーム視差データＴ３である。Ｓ１ｂは視差調整閾値である。図１５（ｂ）は、視差調整データＴ４の時間的変化を示している。横軸は時間であり、縦軸は視差調整データＴ４である。

図９に示した画像は時刻ｔｊでのフレームである。視差調整量算出部４は、図１５（ａ）に示した補正後フレーム視差データＴ３に対して図１５（ｂ）に示す視差調整データＴ４を出力する。補正後フレーム視差データＴ３は、画像があまり飛び出していない視差調整閾値Ｓ１ｂ以下の時刻では視差調整データＴ４としてゼロを出力する。逆に、補正後フレーム視差データＴ３は、視差調整閾値Ｓ１ｂより大きい時刻では、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えた量に視差調整係数Ｓ１ａを乗じた分を視差調整データＴ４として出力する。

図１６は、視差調整データＴ４、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１から、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を算出する方法を説明するための図である。図１６は図９に示した画像と同時刻ｔｊのフレームである。図１６（ａ）は左眼用画像出力データＤａ２を示しており、図１６（ｂ）は右眼用画像出力データＤｂ２を示している。

調整画像生成部５は、図１５に示した時刻ｔｊにおける視差調整データＴ４に基づき、左眼用画像入力データＤａ１を視差調整データＴ４の半分の値のＴ４／２だけ左方向に水平に移動させる。また、調整画像生成部５は、右眼用画像入力データＤｂ１を視差調整データＴ４の半分の値のＴ４／２だけ右方向に水平に移動させる。そして、調整画像生成部５は、水平移動後の各々の画像データを左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２として出力する。図１６に示す視差量ｄ２はｄ１−Ｔ４となり、視差量ｄ１に比べ視差量が減っている。

以上のように、本実施の形態における画像表示装置２００において表示された立体映像は、ある閾値を超えた飛び出し量の大きな部分の視差量を減じることにより飛び出し量を制御することができる。このことで、画像表示装置２００は画像入力データＤａ１，Ｄｂ１をディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差などに対応した視差量の画像出力データＤａ２，Ｄｂ２に変換する。つまり、画像表示装置２００は、好適な奥行き感の視差量に変換された立体画像を表示することができる。

なお、実施の形態１では、フレーム視差補正部３は、着目フレームの前後の複数のフレーム視差データＴ２を平均している。そして、フレーム視差補正部３は、その平均値を補正後フレーム視差データＴ３として出力している。しかし、着目フレームの前後の複数のフレーム視差データＴ２の中央値を算出し、補正後フレーム視差データＴ３として出力しても良い。その他の方法を用いて着目フレームの前後の複数のフレーム視差データＴ２から補正した値を算出し、補正後フレーム視差データＴ３を出力しても良い。

実施の形態２．
図１７は、本発明の実施の形態２に係る立体画像の画像処理方法のフローを表す図である。実施の形態２に係る立体画像処理方法は、視差算出ステップＳＴ１、フレーム視差算出ステップＳＴ２、フレーム視差補正ステップＳＴ３、視差調整量算出ステップＳＴ４および調整画像生成ステップＳＴ５からなる。

視差算出ステップＳＴ１は、図１８に示すように画像切り出しステップＳＴ１ａと領域視差算出ステップＳＴ１ｂからなる。

フレーム視差補正ステップＳＴ３は、図１９に示すようにフレーム視差バッファステップＳＴ３ａとフレーム視差加算平均ステップＳＴ３ｂからなる。

以下では、本発明に係る実施の形態２の動作について説明する。

まず、視差算出ステップＳＴ１では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに対して、以下のような処理が行われる。

画像切り出しステップＳＴ１ａにおいて、左眼用画像入力データＤａ１をディスプレイ表示面６１上で幅Ｗ１、高さＨ１の格子状に区切りｈ×ｗ個の領域に分割する。そして、画像切り出しステップＳＴ１ａは分割された左眼用画像入力データＤａ１（１）、Ｄａ１（２）、Ｄａ１（３）から左眼用画像入力データＤａ１（ｈ×ｗ）までを作成する。右眼用画像入力データＤｂ１についても同様に幅Ｗ１、高さＨ１の格子状に区切り、分割された右眼用画像入力データＤｂ１（１）、Ｄｂ１（２）、Ｄｂ１（２）、Ｄｂ１（３）から右眼用画像入力データＤｂ１（ｈ×ｗ）までを作成する。

領域視差算出ステップＳＴ１ｂにおいて、第１番目の領域に対する左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに対して位相限定相関法を用いて、第１番目の領域の視差データＴ１（１）を算出する。すなわち、左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに対して位相限定相関Ｇ_ａｂ（ｎ）が最大となるｎを算出し、視差データＴ１（１）とする。第２番目から第ｈ×ｗ番目までの領域に対する左眼用画像入力データＤａ１（２）から左眼用画像入力データＤａ１（ｈ×ｗ）までに対して位相限定相関法を用いて視差データＴ１（２）から視差データＴ１（ｈ×ｗ）までを算出する。また、右眼用画像入力データＤｂ１（２）から右眼用画像入力データＤｂ１（ｈ×ｗ）までに対しても、位相限定相関法を用いて視差データＴ１（２）から視差データＴ１（ｈ×ｗ）までを算出する。この動作は、実施の形態１における視差算出部１と同等である。

次に、フレーム視差算出ステップＳＴ２では、視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までのうち最大の視差データを選択し、フレーム視差データＴ２とする。この動作は、実施の形態１におけるフレーム視差算出部２と同等である。

次に、フレーム視差補正ステップＳＴ３では、フレーム視差データＴ２に対して以下のような処理が行われる。

フレーム視差バッファステップＳＴ３ａにおいて、時間的に変化するフレーム視差データＴ２を一定の容量のバッファ記憶装置に順次保存する。

フレーム視差加算平均ステップＳＴ３ｂにおいて、バッファ領域に保存されている視差データＴ２に基づき、着目フレームの前後の複数のフレーム視差データＴ２の加算平均値を算出し、補正後フレーム視差データＴ３を算出する。この動作は、実施の形態１におけるフレーム視差補正部３と同等である。

次に、視差調整量算出ステップＳＴ４では、設定された視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂとに基づき、補正後フレーム視差データＴ３から視差調整データＴ４を算出する。補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂ以下の時刻においては、視差調整データＴ４はゼロとする（Ｔ４＝０）。逆に、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えている時刻では、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えた量に視差調整係Ｓ１ａを乗じた値を視差調整データＴ４とする（Ｔ４＝Ｓ１ａ×（Ｔ３−Ｓ１ｂ））。この動作は、実施の形態１における視差調整量算出部４と同等である。

次に、調整画像生成ステップＳＴ５では、視差調整データＴ４に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１から、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を算出する。具体的には、左眼用画像入力データＤａ１を視差調整データＴ４の半分の値のＴ４／２だけ左方向に水平に移動し、右眼用画像入力データＤｂ１を視差調整データＴ４の半分の値のＴ４／２だけ右方向に水平に移動する。このことで、視差量が視差調整データＴ４だけ減った、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２が生成される。この動作は、実施の形態１における調整画像生成部５と同等である。

以上が本発明の実施の形態２に係る立体画像の画像処理方法の動作である。

これまでの説明から、本発明の実施の形態１における立体画像の画像処理装置１００と同等である。したがって本発明における画像処理方法は、本発明の実施の形態１における画像処理装置１００と同様の効果を持つ。

実施の形態３．
実施の形態１および実施の形態２では、立体画像の飛び出し量の大きな画像の視差量を減じることにより飛び出し量を制御している。このことで、ディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差に対応した、好適な奥行き感の視差量に変更して立体画像を表示した。実施の形態３では、立体画像の飛び出し量と引っ込み量との両方がディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差に対応した、好適な位置にとなるように視差量に変更して立体画像を表示する。ただし、飛び出し位置から引っ込み位置までの奥行き量の幅は変更していない。

図２０は、本発明の実施の形態３に係る立体画像を表示する画像表示装置２１０の構成を示す図である。実施の形態３に係る立体画像表示装置２１０は、視差算出部１、フレーム視差算出部２、フレーム視差補正部３、視差調整量算出部４、調整画像生成部５および表示部６を備える。画像表示装置２１０の内の画像処理装置１１０は、視差算出部１、フレーム視差算出部２、フレーム視差補正部３、視差調整量算出部４および調整画像生成部５で構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは視差算出部１と調整画像生成部５とに入力される。視差算出部１は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて領域ごとに視差量を算出し視差データＴ１を出力する。視差データＴ１は、フレーム視差算出部２に入力される。

フレーム視差算出部２は、視差データＴ１に基づいて着目フレームに対する視差を算出し第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂとして出力する。第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂは、フレーム視差補正部３に入力される。

フレーム視差補正部３は、着目フレームの第１のフレーム視差データＴ２ａを他の時刻のフレームの第１のフレーム視差データＴ２ａを参照して補正した第１の補正後フレーム視差データＴ３ａを出力する。また、着目フレームの第２のフレーム視差データＴ２ｂを他の時刻のフレームの第２のフレーム視差データＴ２ｂを参照して補正した第２の補正後フレーム視差データＴ３ｂを出力する。第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂは、視差調整量算出部４に入力される。

視差調整量算出部４は、鑑賞者９が入力する視差調整情報Ｓ１と第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂに基づいて算出した視差調整データＴ４を出力する。視差調整データＴ４は、調整画像生成部５に入力される。

調整画像生成部５は、視差調整データＴ４に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差量を調整した左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを出力する。左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とは表示部６に入力される。表示部６は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを表示面に表示する。

以下で、本発明の実施の形態３に係る画像処理装置１１０の詳細な動作について説明する。

視差算出部１および領域視差算出部１ｂの説明は、実施の形態１の図２、図３および図４を用いた説明と同様であるため、その説明を省略する。また、位相限定相関法の説明は、実施の形態１の式（１）から式（４）までを用いた説明と同様であるため、その説明を省略する。

このため、フレーム視差算出部２の詳細な動作について説明を始める。

図２１は、フレーム視差算出部２について入力される視差データＴ１を詳細に説明するための図である。フレーム視差算出部２は、入力される第１番目から第ｈ×ｗ番目までの領域に対応する視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までを集約し、着目フレームの画像に対して１つの第１のフレーム視差データＴ２ａおよび１つの第２のフレーム視差データＴ２ｂを算出する。

図２２は、視差データＴ１（１）から視差データＴ（ｈ×ｗ）までを基に第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂを算出する方法を説明するための図である。横軸は領域の番号であり、縦軸は視差データＴ１（視差量）である。フレーム視差算出部２は、視差データＴ１（１）から視差データＴ（ｈ×ｗ）までのうち、最大の視差データＴ１をフレーム画像の第１のフレーム視差データＴ２ａとして出力し、最小の視差データＴ１をフレーム画像の第２のフレーム視差データＴ２ｂとして出力する。

これにより、視差の情報が埋め込まれていない立体映像に対しても、鑑賞者９にとって最も影響が大きいと考えられる立体映像の各フレームでの最も飛び出している部分の視差量、および各フレームでの最も引っ込んでいる部分の視差量を算出することができる。

次に、フレーム視差補正部３の詳細な動作について説明する。

図２３は、第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂから算出される第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂについて詳細に説明するための図である。図２３（ａ）は、第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂの時間的変化を示した図である。横軸は時間であり、縦軸はフレーム視差データＴ２ａ，Ｔ２ｂの大きさである。図２３（ｂ）は第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂの時間的変化を示した図である。横軸は時間であり、縦軸は補正後フレーム視差データＴ３ａ，Ｔ３ｂの大きさである。

フレーム視差補正部３は、第１のフレーム視差データＴ２ａを一定時間分保持し、着目フレームの前後の複数の第１のフレーム視差データＴ２ａの平均値を算出し、第１の補正後フレーム視差データＴ３ａとして出力する。また、第２のフレーム視差データＴ２ｂを一定時間分保持し、着目フレームの前後の複数の第２のフレーム視差データＴ２ｂの平均値を算出し、第２の補正後フレーム視差データＴ３ｂとして出力する。Ｔ３ａは次の式（７ａ）で、Ｔ３ｂは次の式（７ｂ）で表される。

ここで、Ｔ３ａ（ｔｊ）は着目する時刻ｔｊにおける第１の補正後フレーム視差データであり、Ｔ３ｂ（ｔｊ）は着目する時刻ｔｊにおける第２の補正後フレーム視差データである。Ｔ２ａ（ｋ）は時刻ｋにおける第１のフレーム視差データであり、Ｔ２ｂ（ｋ）は時刻ｋにおける第２のフレーム視差データである。正の整数Ｌは平均値を算出する幅である。またｔｊ＜ｔｉであるので、例えば図２３（ａ）に示す時刻（ｔｉ−Ｌ）から時刻ｔｉまでにおける第１のフレーム視差データＴ２ａの平均値から図２３（ｂ）に示す時刻ｔｊの第１の補正後フレーム視差データＴ３ａが求められる。また、時刻（ｔｉ−Ｌ）から時刻ｔｉまでにおける第２のフレーム視差データＴ２ｂの平均値から図２３（ｂ）に示す時刻ｔｊの第２の補正後フレーム視差データＴ３ｂが求められる。

立体映像の飛び出し量は時間的に連続的に変化するものが多い。第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂが時間的に不連続に変化する場合、例えば、時間軸に対してインパルス状に変化する場合は第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂの誤検出とみなしても良い。フレーム視差データ補正部３により、たとえインパルス状の変化があったとしても時間的に平均化されるため誤検出を緩和することができる。

次に、視差調整量算出部４の詳細な動作について説明する。

視差調整量算出部４は、鑑賞者９が自分の見やすい視差量に合わせて設定する視差調整情報Ｓ１と第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂとに基づいて視差調整量を算出し視差調整データＴ４を出力する。

視差調整情報Ｓ１は、視差調整係数Ｓ１ａと第１の視差調整閾値Ｓ１ｂ、および第２の視差調整閾値Ｓ１ｃを含む。まず、視差調整量算出部４は、視差調整係数Ｓ１ａと第１の視差調整閾値Ｓ１ｂ、および第１の補正後フレーム視差データＴ３ａに基づいて、次の式（８）で表される式により図示しない中間視差調整データＶを求める。

第１の補正後フレーム視差データＴ３ａが第１の視差調整閾値Ｓ１ｂ以下の場合は、前記中間視差調整データＶ＝０とする。一方、第１の補正後フレーム視差データＴ３ａが第１の視差調整閾値Ｓ１ｂより大きい場合は、第１の補正後フレーム視差データＴ３ａと第１の視差調整閾値Ｓ１ｂとの差の値に視差調整係数Ｓ１ａを乗じた値を中間視差調整データＶとする。

次に、視差調整量算出部４は、第２の視差調整閾値Ｓ１ｃと第２の補正後フレーム視差データＴ３ｂ、および中間視差調整データＶに基づいて、次の式（９）で表される式により視差調整データＴ４を求める。

視差調整データＴ４は、画像調整によって減少させる視差量のことであり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量を示す。後で詳述するように、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量の和が視差調整データＴ４となる。

視差調整量算出部４は、第２の補正後フレーム視差データＴ３ｂが第２の視差調整閾値Ｓ１ｃ以下の場合は、画像調整により左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にシフトしない。一方、第２の補正後フレーム視差データＴ３ｂが第２の視差調整閾値Ｓ１ｃより大きく、かつ、中間視差調整データＶが第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値以上の場合は、第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値を中間視差調整データＶから減じた値だけ左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１を水平方向にシフトする。また、第２の補正後フレーム視差データＴ３ｂが第２の視差調整閾値Ｓ１ｃより大きく、かつ、中間視差調整データＶが第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値より小さい場合、中間視差調整データＶの値だけ左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１を水平方向にシフトする。

つまり、第２の補正後フレーム視差データＴ３ｂと第２の視差調整閾値Ｓ１ｃの関係に応じて、中間視差調整データＶを基にして視差調整データＴ４を算出する。

例えば、視差調整係数Ｓ１ａ＝１、第１の視差調整閾値Ｓ１ｂ＝０、第２の視差調整閾値Ｓ１ｃ＝−４の場合、式（８）より、Ｔ３ａ≦０ではＴ４＝０となる。つまり画像調整は行われない。一方、Ｔ３ａ＞０ではＶ＝Ｔ３ａとなり、式（９）より、Ｔ３ｂ−Ｖが−４より大きい値を持つ場合、Ｔ４＝Ｖ（＝Ｔ３ａ）となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にＴ３ａだけシフトされる。つまり、フレーム画像の最大の視差量に基づいて調整された結果、フレーム画像の最小の視差量が第２の視差調整閾値Ｓ１ｃよりも小さくならない場合は、中間視差調整データＶだけ調整を行う。第１の補正後フレーム視差データＴ３ａはフレーム画像の最大の視差データとなるため、視差調整データＴ４は、着目フレーム内の最大の視差量がゼロとなるように算出される。

逆に、Ｔ３ａ＞０、かつ、Ｔ３ｂ−Ｖが−４より小さい値を持つ場合、Ｔ４＝Ｔ３ａ−（Ｔ３ｂ−（−４））となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にＴ３ａ−（Ｔ３ｂ−（−４））だけシフトされる。つまり、フレーム画像の最大の視差量に基づいて調整された結果、フレーム画像の最小の視差量が第２の視差調整閾値Ｓ１ｃよりも小さくなる場合は、第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値を中間視差調整データＶから減じた値だけ調整を行う。このように調整量に制限をかけることで、フレーム画像の最小の視差量が第２の視差調整閾値Ｓ１ｃよりも小さくならないようにする。

上述のように、視差調整量算出部４は、フレーム画像の最小の視差量と第２の視差調整閾値Ｓ１ｃの関係に応じて中間視差調整データＶの値を小さくするように制御した結果を視差調整データＴ４として出力する。このことで、フレーム画像の最小の視差量を過度に小さくすることを抑制できる。なお、フレーム画像の最小の視差量は、第２の補正後フレーム視差データＴ３ｂである。

視差調整情報Ｓ１の設定は、例えばユーザーがリモコンなどの入力手段によって視差調整情報Ｓ１を変化させて立体画像の飛び出し量の変化を見ながら決定する。リモコンの視差調整係数ボタンと視差調整閾値ボタンから入力することもできるが、ランク分けされた一つの視差調整ボタンから視差の調整度合いを入力すると、所定の視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂが設定されるようにすることもできる。

また、画像表示装置２１０が鑑賞者９を観察するカメラなどを備え、鑑賞者９の年齢、鑑賞者９の性別およびディスプレイ表示面から鑑賞者９までの距離などを判別して自動的に視差調整情報Ｓ１を設定することもできる。この場合、画像表示装置２１０の表示面の大きさなどを視差調整情報Ｓ１に含めることができる。また、画像表示装置２１０の表示面の大きさなどを所定の値のみを視差調整情報Ｓ１とすることもできる。上記のように、鑑賞者９がリモコンなどの入力手段を用いて入力する個人的な情報、鑑賞者９の年齢、鑑賞者９の性別、鑑賞者９と画像表示装置との距離を含む位置関係および画像表示装置の表示面の大きさなどの鑑賞の状況に関係する情報を含むものを鑑賞の状況を示す情報と呼ぶ。

次に、調整画像生成部５の動作について説明する。

調整画像生成部５の動作は、実施の形態１の図８を用いて説明する。実施の形態１で説明した左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差量、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２との視差量および飛び出し量の関係は、実施の形態１で説明した内容と同様であるため、説明を省略する。

第１の補正後フレーム視差データＴ３ａはフレーム画像の最大の視差データである第１のフレーム視差データＴ２ａから算出される。第２の補正後フレーム視差データＴ３ｂは、フレーム画像の最小の視差データである第２のフレーム視差データＴ２ｂから算出される。このため、第１の補正後フレーム視差データＴ３ａはフレーム画像の最大の視差データとなり、第２の補正後フレーム視差データＴ３ｂはフレーム画像の最小の視差データとなる。中間視差調整データＶは、式（８）より第１の補正後フレーム視差データＴ３ａを基に求められる。このため、視差調整係数Ｓ１ａが１の場合は着目フレーム内の最大の視差量と等しくなり、視差調整係数Ｓ１ａが１より小さい場合は最大の視差量より小さくなる。図８（ａ）の視差量ｄ１を着目フレーム内で算出された最大の視差量と仮定すると、視差調整係数Ｓ１ａを１より小さく設定した場合、図８（ｂ）に示す調整後の最大の視差量ｄ２は、視差量ｄ１より小さい値となる。また、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０と設定し、かつ、第１の補正後フレーム視差データＴ３ａから中間視差調整データＶを減じた値が視差調整閾値Ｓ１ｃよりも大きい場合は映像が飛び出さない画像となり視差量ｄ２＝０となる。こうすることで、調整後の画像データの最大飛び出し位置Ｆ２が、ディスプレイ表示面６１から飛び出し位置Ｆ１の間に調整される。

表示部６の動作は、実施の形態１と同様であるため、その説明を省略する。

以上より本実施の形態における画像処理装置１１０は、入力された一対の画像の視差を、ディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差などに対応した、鑑賞者９に好適な奥行き感の視差量に変更して立体画像を表示することができる。

以上で、本発明の実施の形態３による立体画像を表示する画像表示装置２１０の詳細な動作について説明した。

以下では、具体的な画像例を基に実施の形態３について説明する。

図２４は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との具体例を示す図である。図２４（ａ）は、左眼用画像入力データＤａ１全体を示している。図２４（ｂ）は右眼用画像入力データＤｂ１全体を示している。左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、中央部分の領域で水平方向に視差量ｄ１ａの視差があり、左側部分の領域で水平方向に視差量ｄ１ｂの視差がある。左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とには、視差量を算出するための領域に区切る境界を破線で示している。最も左上の領域から順に第１番目の領域、第２番目の領域、第３番目の領域と続き、最も右下の第３９番目の領域までの領域に分割されている。第８番目の領域の左眼用画像入力データＤａ１（８）および右眼用画像入力データＤｂ１（８）を太い実線で示している。また、第１６番目の領域の左眼用画像入力データＤａ１（１６）および右眼用画像入力データＤｂ１（１６）を太い実線で示している。

図２５は、左眼用画像入力データＤａ１（８）と右眼用画像入力データＤｂ１（８）とから視差量を算出する方法を説明するための図である。図２５（ａ）は、左眼用画像入力データＤａ１（８）の水平位置と階調との関係を示し、図２５（ｂ）は、右眼用画像入力データＤｂ１（８）の水平位置と階調との関係を示す。横軸は水平位置、縦軸は階調である。

左眼用画像入力データＤａ１（８）と右眼用画像入力データＤｂ１（８）とはともに階調の高い方向に凸形の山形状に変化する領域を含むグラフとなっている。そして、その極大値の位置はちょうど視差量ｄ１ｂだけずれている。視差算出部１の領域視差算出部１ｂ（８）に左眼用画像入力データＤａ１（８）と右眼用画像入力データＤｂ１（８）とが入力される。そして、視差量ｄ１ｂが第８番目の領域の視差データＴ１（８）として出力される。

図２６は、左眼用画像入力データＤａ１（１６）と右眼用画像入力データＤｂ１（１６）とから視差量を算出する方法を説明するための図である。図２５（ａ）は、左眼用画像入力データＤａ１（１６）の水平位置と階調との関係を示し、図２５（ｂ）は、右眼用画像入力データＤｂ１（１６）の水平位置と階調との関係を示す。横軸は水平位置、縦軸は階調である。

左眼用画像入力データＤａ１（１６）と右眼用画像入力データＤｂ１（１６）とはともに階調の低い方向に凸形の谷形状に変化する領域を含む曲線となっている。そして、その極小値の位置はちょうど視差量ｄ１ａだけずれている。視差算出部１の領域視差算出部１ｂ（１６）に左眼用画像入力データＤａ１（１６）と右眼用画像入力データＤｂ１（１６）とが入力される。そして、視差量ｄ１ａが第１６番目の領域の視差データＴ１（１６）として出力される。

図２７は、視差算出部１によって出力された視差データＴ１を示した図である。破線で区切られた領域の中に領域視差算出部１ｂ（１）から領域視差算出部１ｂ（３９）までが出力する視差データＴ１（１）から視差データＴ１（３９）までの値を示している。

図２８は、視差データＴ１から第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂを算出する説明のための図である。横軸が各領域の番号であり、縦軸が視差量（視差データＴ１）である。

図２８において、例えば、第８番目の領域の視差データＴ１（８）および第１６番目の領域の視差データＴ１（１６）を斜線で示している。フレーム視差算出部２は、視差算出部１から入力された視差データＴ１を比較し、最大値である視差量ｄ１ａを第１のフレーム視差データＴ２ａとして出力し、最小値である視差量ｄ１ｂを第２のフレーム視差データＴ２ｂとして出力する。

図２９は、フレーム視差算出部２によって出力された第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂの時間的変化を示した図である。横軸が時間であり、縦軸がフレーム視差データＴ２ａ，Ｔ２ｂの大きさである。この図２９において、時刻ｔｊの位置のデータは、図２４に示した画像の時刻ｔｊでのフレームに対応するものである。

図３０は、第１のフレーム視差データＴ２ａから第１の補正後フレーム視差データＴ３ａを算出する方法および第２のフレーム視差データＴ２ｂから第２の補正後フレーム視差データＴ３ｂを算出する方法を説明するための図である。図３０は、第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂの時間的変化を示している。横軸は時間であり、縦軸は補正後フレーム視差データＴ３ａ，Ｔ３ｂの大きさである。フレーム視差補正部３は、平均値を算出する幅Ｌ＝３として式（７）を用いて着目フレームと着目フレームの前後のフレームの第１のフレーム視差データＴ２ａの平均値を第１の補正後フレーム視差データＴ３ａとして出力する。また、フレーム視差補正部３は、平均値を算出する幅Ｌ＝３として式（７）を用いて着目フレームと着目フレームの前後の第２のフレーム視差データＴ２ｂの平均値を第２の補正後フレーム視差データＴ３ｂとして出力する。例えば、図３０の時刻ｔｊにおける第１の補正後フレーム視差データＴ３ａ（ｔｊ）は、図２９に示す時刻ｔ１，ｔｊ，ｔ２の第１のフレーム視差データＴ２ａ（ｔ１），Ｔ２ａ（ｔｊ），Ｔ２ａ（ｔ２）の平均値として算出される。すなわち、Ｔ３ａ（ｔｊ）＝（Ｔ２ａ（ｔ１）＋Ｔ２ａ（ｔｊ）＋Ｔ２ａ（ｔ２））／３となる。

図３１は、第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂから、視差調整量算出部４において、上述の式（９）に基づいて、中間視差調整データＶおよび視差調整データＴ４を算出する方法を説明するための図である。図３１（ａ）は、第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂの時間的変化を示している。Ｓ１ｂは第１の視差調整閾値、Ｓ１ｃは第２の視差調整閾値である。横軸は時間であり、縦軸は補正後フレーム視差データＴ３の大きさを示している。図３１（ｂ）は、中間視差調整データＶおよび視差調整データＴ４の時間的変化を示している。横軸は時間であり、縦軸は視差調整視差データＶ，Ｔ４の大きさを示している。

視差調整量算出部４は、図３１（ａ）に示した第１の補正後フレーム視差データＴ３ａを基にして図３１（ｂ）に示す中間視差調整データＶを出力する。第１の補正後フレーム視差データＴ３ａが第１の視差調整閾値Ｓ１ｂ以下の時刻では、中間視差調整データＶはゼロとして出力される。第１の視差調整閾値Ｓ１ｂ以下の時刻とは、画像があまり飛び出していない時刻である。逆に、第１の補正後フレーム視差データＴ３ａが第１の視差調整閾値Ｓ１ｂより大きい時刻では、第１の補正後フレーム視差データＴ３ａが第１の視差調整閾値Ｓ１ｂを超えた量に視差調整係数Ｓ１ａを乗じた値が中間視差調整データＶとして出力される。

また、視差調整量算出部４は、図３１（ａ）に示した第２の補正後フレーム視差データＴ３ｂと中間視差調整データＶを基にして図３１（ｂ）に示す視差調整データＴ４を算出する。第２の補正後フレーム視差データＴ３ｂから中間視差調整データＶを減じた結果の値が、第２の視差調整閾値Ｓ１ｃ以下になる（Ｔ３ｂ−Ｖ≦Ｓ１ｃ）時刻では、視差調整データＴ４は、第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値を中間視差調整データＶから減じた値（Ｔ４＝Ｖ−（Ｔ３ｂ−Ｓ１ｃ））となる。第２の補正後フレーム視差データＴ３ｂから中間視差調整データＶを減じた結果の値が、第２の視差調整閾値Ｓ１ｃ以下（Ｔ３ｂ−Ｖ≦Ｓ１ｃ）になる時刻とは、中間視差調整データＶを用いて調整を行った結果、フレーム画像の最小の視差量が第２の視差調整閾値Ｓ１ｃ以下になる時刻である。

逆に、第２の補正後フレーム視差データＴ３ｂから中間視差調整データＶを減じた結果の値が、第２の視差調整閾値Ｓ１ｃより大きくなる（Ｔ３ｂ−Ｖ＞Ｓ１ｃ）時刻では、視差調整データＴ４は中間視差調整データＶと等しくなる（Ｔ４＝Ｖ）。第２の補正後フレーム視差データＴ３ｂから中間視差調整データＶを減じた結果の値が、第２の視差調整閾値Ｓ１ｃより大きくなる（Ｔ３ｂ−Ｖ＞Ｓ１ｃ）時刻とは、中間視差調整データＶを用いて調整を行った結果、フレーム画像の最小の視差量が第２の視差調整閾値Ｓ１ｃ以下にならない時刻である。

図３２は、視差調整データＴ４、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１から、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を算出する方法を説明するための図である。図３２の画像は、図２４に示した画像と同じ時刻ｔｊのフレームである。図３２（ａ）は左眼用画像出力データＤａ２を示しており、図３２（ｂ）は右眼用画像出力データＤｂ２を示している。

調整画像生成部５は、図３１に示した時刻ｔｊにおける視差調整データＴ４に基づき、左眼用画像入力データＤａ１を視差調整データＴ４の半分の値のＴ４／２だけ左に水平移動し、左眼用画像出力データＤａ２として出力する。また、調整画像生成部５は、図３１に示した時刻ｔｊにおける視差調整データＴ４に基づき、右眼用画像入力データＤｂ１を視差調整データＴ４の半分の値のＴ４／２だけ右に水平移動し、右眼用画像出力データＤｂ２として出力する。図３２に示す視差量ｄ２ａはｄ１ａ−Ｔ４となり、視差量ｄ１ａに比べ視差量が減っている。また、図３２に示す視差量ｄ２ｂはｄ１ｂ−Ｔ４となり、視差量ｄ１ｂに比べ視差量が減っている。また、この場合の視差量ｄ２ｂは、視差調整閾値Ｓ１ｃに等しい。

以上のように、本実施の形態における画像表示装置２１０において表示された立体映像は、ある閾値を超えて飛び出し量の大きな画像の視差量を減じることにより飛び出し量を制御することができる。これにより、画像表示装置２１０はディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差に対応した、好適な奥行き感の視差量に変更して立体画像を表示することができる。

なお、実施の形態３では、フレーム視差補正部３は、着目フレームの前後の複数の第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂの平均値を算出し、それぞれ第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂとして出力した例を示した。しかし、着目フレームの前後の複数の第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂの中央値を算出し、第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂとして出力しても良い。その他の方法を用いて着目フレームの前後複数の第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂから補正した値を算出し、第１の補正後フレーム視差データＴ３ａおよび第２の補正後フレーム視差データＴ３ｂを出力しても良い。

実施の形態４．
実施の形態３で示した画像処理装置１１０の画像処理方法に関して説明する。説明に用いる図は、実施の形態２の図１７および図１９を用いる。また、視差算出ステップＳＴ１の説明は、図１８を用いた説明も含めて実施の形態２と同様であるため、説明を省略する。

フレーム視差算出ステップＳＴ２から説明を始める。フレーム視差補正ステップＳＴ３は、図１９に示すようにフレーム視差バッファステップＳＴ３ａとフレーム視差加算平均ステップＳＴ３ｂとからなる。

フレーム視差算出ステップＳＴ２では、視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までのうち最大の視差データＴ１を選択し、第１のフレーム視差データＴ２ａとする。また、視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までのうち最小の視差データＴ１を選択し、第２のフレーム視差データＴ２ｂとする。この動作は、実施の形態３におけるフレーム視差算出部２と同様である。

次に、フレーム視差補正ステップＳＴ３では、第１のフレーム視差データＴ２ａ、および第２のフレーム視差データＴ２ｂに対して以下のような処理が行われる。

フレーム視差バッファステップＳＴ３ａにおいて、時間的に変化する第１のフレーム視差データＴ２ａおよび第２のフレーム視差データＴ２ｂを一定の容量のバッファ記憶装置に順次保存する。

フレーム視差加算平均ステップＳＴ３ｂにおいて、バッファ領域に保存されている着目フレームの前後の複数の第１のフレーム視差データＴ２ａの加算平均値を算出し、第１の補正後フレーム視差データＴ３ａを算出する。また、バッファ領域に保存されている着目フレームの前後の複数の第２のフレーム視差データＴ２ｂの加算平均値を算出し、第２の補正後フレーム視差データＴ３ｂを算出する。この動作は、実施の形態３におけるフレーム視差補正部３と同様である。

次に、視差調整量算出ステップＳＴ４では、設定された視差調整係数Ｓ１ａ、第１の視差調整閾値Ｓ１ｂおよび第２の視差調整閾値Ｓ１ｃに基づき、まず、第１の補正後フレーム視差データＴ３ａおよび第２の補正後視差フレームデータＴ３ｂから中間視差調整量Ｖを算出する。第１の補正後フレーム視差データＴ３ａが第１の視差調整閾値Ｓ１ｂ以下の時刻においては、中間視差調整データＶ＝０とする。一方、第１の補正後フレーム視差データＴ３ａが第１の視差調整閾値Ｓ１ｂより大きい時刻においては、第１の補正後フレーム視差データＴ３ａと第１の視差調整閾値Ｓ１ｂとの差の値に視差調整係数Ｓ１ａを乗じた値を中間視差調整データＶとする（Ｖ＝Ｓ１ａ×（Ｔ３ａ−Ｓ１ｂ））。

次に、第２の視差調整閾値Ｓ１ｃ、第２の補正後フレーム視差データＴ３ｂおよび中間視差調整データＶに基づいて、視差調整データＴ４を求める。第２の補正後フレーム視差データＴ３ｂが第２の視差調整閾値Ｓ１ｃ以下の時刻においては、視差調整データＴ４＝０とする。一方、第２の補正後フレーム視差データＴ３ｂが第２の視差調整閾値Ｓ１ｃの値より大きく（Ｔ３ｂ＞Ｓ１ｃ）、かつ中間視差調整データＶが第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値以上の時刻（Ｖ≧Ｔ３ｂ−Ｓ１ｃ）においては、視差調整データＴ４は、第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値を中間視差調整データＶから減じた値（Ｔ４＝Ｖ−（Ｔ３ｂ−Ｓ１ｃ））とする。また、第２の補正後フレーム視差データＴ３ｂが第２の視差調整閾値Ｓ１ｃの値より大きく（Ｔ３ｂ＞Ｓ１ｃ）、かつ中間視差調整データＶが第２の補正後フレーム視差データＴ３ｂから第２の視差調整閾値Ｓ１ｃを減じた値より小さい（Ｖ＜Ｔ３ｂ−Ｓ１ｃ）時刻においては、視差調整データＴ４は、中間視差調整データＶの値と等しくなる（Ｔ４＝Ｖ）。この動作は、実施の形態３における視差調整量算出部４と同様である。

次に、調整画像生成ステップＳＴ５では、視差調整データＴ４に基づいて左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１から、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を算出する。具体的には、左眼用画像入力データＤａ１を視差調整データＴ４の半分の値のＴ４／２だけ左に水平移動し、右眼用画像入力データＤｂ１を視差調整データＴ４の半分の値のＴ４／２だけ右に水平移動する。これにより、視差量がＴ４だけ減った左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２が生成される。この動作は、実施の形態３における調整画像生成部５と同様である。

以上のように構成された画像処理方法においては、入力された一対の画像の視差量を、ディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差に対応した、好適な奥行き感の視差に変更して立体画像を表示することができる。

実施の形態５．
実施の形態１では、入力画像データＤａ１，Ｄｂ１を用いて、視差算出部１およびフレーム視差算出部２の処理を行っている。実施の形態５では、入力画像データＤａ１，Ｄｂ１を画像縮小部７で縮小して視差算出部１およびフレーム視差算出部２の処理を行う。その後、フレーム視差補正部３にデータを出力する前にフレーム視差拡大部８でフレーム視差データを拡大している。

図３３は、本発明を実施するための実施の形態５に係る立体画像を表示する画像表示装置２２０の構成を示す模式図である。実施の形態５に係る立体画像表示装置２２０は、画像縮小部７、視差算出部１、フレーム視差算出部２、フレーム視差拡大部８、フレーム視差補正部３、視差調整量算出部４、調整画像生成部５および表示部６を備える。画像表示装置２２０の内の画像処理装置１２０は、画像縮小部７、視差算出部１、フレーム視差算出部２、フレーム視差拡大部８、フレーム視差補正部３、視差調整量算出部４および調整画像生成部５で構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは画像縮小部７と調整画像生成部５に入力される。画像縮小部７は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１を縮小し左眼用画像データＤａ３と右眼用画像データＤｂ３を出力する。左眼用画像データＤａ３および右眼用画像データＤｂ３は視差算出部１に入力される。視差算出部１は、左眼用画像データＤａ３および右眼用画像データＤｂ３に基づいて領域ごとに視差を算出し視差データＴ１として出力する。視差データＴ１は、フレーム視差算出部２に入力される。

フレーム視差算出部２は、視差データＴ１に基づいて着目フレームに対する視差を算出しフレーム視差データＴ２として出力する。フレーム視差データＴ２は、フレーム視差拡大部８に入力される。

フレーム視差拡大部８は、フレーム視差データＴ２を拡大して拡大フレーム視差データＴ８を出力する。拡大フレーム視差データＴ８は、フレーム視差補正部３に入力される。

フレーム視差補正部３は、着目フレームの拡大フレーム視差データＴ８を他の時刻のフレームの拡大フレーム視差データＴ８を参照して補正した補正後フレーム視差データＴ３を出力する。補正後フレーム視差データＴ３は、視差調整量算出部４に入力される。

視差調整量算出部４は、鑑賞者９が入力する視差調整情報Ｓ１と補正後フレーム視差データＴ３に基づいて算出した視差調整データＴ４を出力する。視差調整データＴ４は、調整画像生成部５に入力される。

調整画像生成部５は、視差調整データＴ４に基づいて左眼用画像データＤａ３および右眼用画像データＤｂ３の視差を調整した左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を出力する。左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２は表示部６に入力される。表示部６は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を表示面に表示する。

以下で、実施の形態５に係る画像処理装置１２０の詳細な動作について説明する。

画像縮小部７には、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とが入力される。立体映像は左眼用画像と右眼目用画像との一対の画像が連続した動画で構成されている。左眼用画像入力データＤａ１は左眼用画像であり、右眼用画像入力データＤｂ１は右眼用画像である。このため、映像の画像自体が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とになる。例えばテレビ画像であれば、デコーダが放送信号を復号してできた映像信号が左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１として入力される。

図３４は、画像縮小部７を説明するための模式図である。画像縮小部７は、入力データである左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを縮小して左眼用画像データＤａ３と右眼用画像データＤｂ３とを生成する。入力データの画像サイズを幅ＩＷおよび高さＩＨ、水平縮小率と垂直縮小率とを共に１／α（α＞１）とした場合、画像縮小部７からの出力データの画像サイズは幅ＩＷ／αおよび高さＩＨ／αとなる。

図３５は、視差算出部１が左眼用画像データＤａ３と右眼用画像データＤｂ３に基づいて視差データＴ１を算出する方法を説明するための模式図である。

視差算出部１は、左眼用画像データＤａ３と右眼用画像データＤｂ３とを幅Ｗ１と高さＨ１の大きさに区切り、その領域ごとの視差量を算出する。なお、画面の分割数については、実施の形態５に係る発明を実際のＬＳＩなどに実装する際にＬＳＩの処理量等を考慮して決定する。

区切った領域の垂直方向の領域の数を正の整数ｈ、水平方向の領域の数を正の整数ｗとする。図３５では、最も左上の領域の番号を第１番目とし、順次各領域を、第２番目、第３番目・・・第ｈ×ｗ番目としている。さらに、左眼用画像データＤａ３の第１番目の領域に含まれる画像データをＤａ１（１）とし、以下各領域に対する画像データをＤａ１（２）、Ｄａ１（３）からＤａ１（ｈ×ｗ）までとし、右眼用画像データＤｂ３の各領域に対する画像データも同様にＤｂ１（１）、Ｄｂ１（２）、Ｄｂ１（２）、Ｄｂ（３）からＤｂ（ｈ×ｗ）までとする。

図３６は、視差算出部１の詳細な構成を示す模式図である。視差算出部１は、領域ごとに視差量を算出するため、ｈ×ｗ個の領域視差算出部１ｂで構成されている。領域視差算出部１ｂ（１）は、第１番目の領域に含まれる左眼用画像データＤａ３（１）と右眼用画像データＤｂ３（１）とに基づいて第１番目の領域の視差量を算出し、第１番目の領域の視差データＴ１（１）として出力する。以下同様に、領域視差算出部１ｂ（２）から領域視差算出部１ｂ（ｈ×ｗ）までは、それぞれ第２番目から第ｈ×ｗ番目までの領域の視差量を算出し、第２番目から第ｈ×ｗ番目までの領域の視差データＴ１（２）から視差データＴ１（ｈ×ｗ）までとして出力する。そして、視差算出部１は第１番目から第ｈ×ｗ番目までの領域の視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までを視差データＴ１として出力する。

領域視差算出部１ｂ（１）は、位相限定相関法を用いて左眼用画像データＤａ３（１）と右眼用画像データＤｂ３（１）の視差データＴ１（１）を算出する。位相限定相関法については、例えば非特許文献（ 萩原 瑞木、川俣 政征著「位相限定関数を用いた画像のサブピクセル精度の位置ずれ検出」電子情報通信学会技術研究報告、Ｎｏ．ＣＡＳ２００１−１１、ＶＬＤ２００１−２８、ＤＳＰ２００１−３０、２００１年６月、ｐｐ．７９−８６）に説明されている。位相限定相関法は、立体映像の一対の画像を入力として受け取り、視差量を出力するアルゴリズムである。

実施の形態１で式（１）から式（４）までを用いて説明した位相限定相関法に関する説明は、実施の形態１の説明と同様であるため、その説明を省略する。

領域視差算出部１ｂでは、左眼用画像データＤａ３（１）を式（４）のａとし、右眼用画像データＤｂ３（１）を式（４）のｂとして、位相限定相関法によって算出されたＮ_ｏｐｔが視差データＴ１（１）となる。

実施の形態１の図４を用いて、第１番目の領域に含まれる左眼用画像データＤａ３（１）および右眼用画像データＤｂ３（１）から位相限定相関法を用いて視差データＴ１（１）を算出する方法を説明する。図４（ａ）の実線で表される特性曲線は、第１番目の領域に対応する左眼用画像データＤａ３（１）である。横軸は水平位置、縦軸は階調を示している。図４（ｂ）のグラフは、第１番目の領域に対応する右眼用画像データＤｂ３（１）である。横軸は水平位置、縦軸は階調を示している。図４（ａ）の破線で表される特性曲線は、図４（ｂ）で示した右眼用画像入力データＤｂ１（１）の特性曲線を第１番目の領域の視差量ｎ１だけずらしたものである。図５（ｃ）のグラフは、位相限定相関関数Ｇ_ａｂ（ｎ）であり、横軸はＧ_ａｂ（ｎ）の変数ｎ、縦軸は相関の強さを示している。

位相限定相関関数Ｇ_ａｂ（ｎ)は、連続する系列ａとａをτシフトした系列ｂで定義されており、式（２）および式（３）よりｎ＝−τにピークを持つデルタ関数になる。右眼用画像データＤｂ３（１）は、左眼用画像データＤａ３（１）に対して飛び出す場合に左方向にずれ、引っ込む場合に右方向にずれている。左眼用画像データＤａ３（１）と右眼用画像入力データＤｂ（１）を領域に区切ったデータでは飛び出し方向、引っ込み方向いずれか一方にずれている可能性が高く、左眼用画像データＤａ３（１）および右眼用画像データＤｂ３（１）を式（４）の入力ａ（ｍ），ｂ（ｍ）として算出した式（１）のＮ_ｏｐｔが視差データＴ１（１）となる。

本実施の形態５においては、視差データＴ１は符号を持つ値とする。対応する右眼用画像と左眼用画像とが有する飛び出し方向の視差に対応する視差データＴ１は正となる。対応する右眼用画像と左眼用画像とが有する引っ込み方向の視差に対応する視差データＴ１は負となる。対応する右眼用画像と左眼用画像が視差を有しない場合には視差データＴ１がゼロになる。

図４（ａ）と図４（ｂ）との関係より、ずれ量はｎ１であるため、図４（ｃ）に示すように位相限定相関関数Ｇ_ａｂ（ｎ）に関するずれ量の変数ｎがｎ１のときに相関関数の値が極大となる。

領域視差算出部１ｂ（１）は、式（１）より左眼用画像データＤａ３（１）と右眼用画像データＤｂ３（１）とに対する位相限定相関関数Ｇ_ａｂ（ｎ）の値が最大となるずれ量ｎ１を視差データＴ１（１）として出力する。

同様に、領域視差算出部１ｂ（２）から領域視差算出部１ｂ（ｈ×ｗ）までは、第２番目から第ｈ×ｗ番目の領域に含まれる左眼用画像データＤａ３（２）から左眼用画像データＤａ３（ｈ×ｗ）までと右眼用画像データＤｂ３（２）から右眼用画像データＤｂ３（ｈ×ｗ）までとのそれぞれの位相限定相関の値がピークとなるずれ量を視差データＴ１（２）から視差データＴ１（ｈ×ｗ）までとして出力する。

上述の非特許文献には、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とをそのまま入力として、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差を得る方法が記載されている。しかし、入力される画像が大きければ計算量が多くなり、ＬＳＩに実装した際、回路規模が大きくなるという問題がある。

実施の形態５に係る立体画像表示装置２２０の視差算出部１では、左眼用画像データＤａ３と右眼用画像データＤｂ３とを小さい領域に分割し、領域ごとに位相限定相関法を適用している。このため、小さい回路規模で位相限定相関法をＬＳＩに実装できる。この場合、すべての領域を同時に計算するのではなく、１つの回路を使って１領域ずつ順番に視差量を計算することでさらに回路規模を小さくできる。領域ごとに求めた視差量をもとに、次に説明するフレーム視差算出部２で左眼用画像データＤａ３と右眼用画像データＤｂ３との画像全体での視差量を出力する。

フレーム視差算出部２の詳細な動作については、実施の形態１の図５および図６を用いた説明と同様であるため、その説明を省略する。

次に、フレーム視差拡大部８の詳細な動作について説明する。

フレーム視差拡大部８は、フレーム視差データＴ２を拡大して拡大フレーム視差データＴ８を出力する。ここで、画像縮小部７での水平縮小率を１／αとした時、フレーム視差拡大部８での拡大率はαとする。つまり拡大フレーム視差データＴ８はα×Ｔ２となる。

フレーム視差データＴ２は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１を１／αに縮小した左眼用画像データＤａ３と右眼用画像データＤｂ３とに対応する視差である。フレーム視差データＴ２をα倍した拡大フレーム視差データＴ８は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに対応する視差に相当する。

次に、フレーム視差補正部３の詳細な動作について説明する。

図３７は、拡大フレーム視差データＴ８から算出される補正後フレーム視差データＴ３について詳細に説明するための図である。図３７（ａ）は、拡大フレーム視差データＴ８の時間的変化を示した図である。横軸は時間であり、縦軸は拡大フレーム視差データＴ８である。図３７（ｂ）は補正後フレーム視差データＴ３の時間的変化を示した図である。横軸は時間であり、縦軸は補正後フレーム視差データＴ３である。

フレーム視差補正部３は、拡大フレーム視差データＴ８を一定時間分保持し、着目フレームの前後複数の拡大フレーム視差データＴ８の平均値を算出し、補正後フレーム視差データＴ３として出力する。補正後フレーム視差データＴ３は次の式（１０）で表される。

ここで、補正後フレーム視差データＴ３（ｔｊ）は着目する時刻ｔｊにおける補正後フレーム視差データである。拡大フレーム視差データＴ８（ｋ）は時刻ｋにおける拡大フレーム視差データである。正の整数Ｌは平均値を算出する幅である。またｔｊ＜ｔｉであるので、例えば図３７（ａ）に示す時刻（ｔｉ−Ｌ）からｔｉまでにおける拡大フレーム視差データＴ８の平均値から図３７（ｂ）に示す時刻ｔｊの補正後フレーム視差データＴ３が求められる。また（ｔｉ−Ｌ）＜ｔｊ＜ｔｉであるので、例えば図３７（ａ）に示す時刻（ｔｉ−Ｌ）から時刻ｔｉまでにおける拡大フレーム視差データＴ８の平均値から図３７（ｂ）に示す時刻ｔｊの補正後フレーム視差データＴ３が求められる。

立体映像の飛び出し量は時間的に連続的に変化するものが多い。拡大フレーム視差データＴ８が時間的に不連続に変化する場合、例えば、時間軸に対してインパルス状に変化する場合は拡大フレーム視差データＴ８の誤検出とみなしても良い。フレーム視差データ補正部５により、たとえインパルス状の変化があったとしても時間的に平均化されるため誤検出を緩和することができる。

次に、視差調整量算出部４の詳細な動作について説明する。

視差調整量算出部４は、鑑賞者９が自分の見やすい視差量に合わせて設定する視差調整情報Ｓ１と補正後フレーム視差データＴ３とに基づいて視差調整量を算出し視差調整データＴ４を出力する。

視差調整情報Ｓ１は、視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂを含む。視差調整データＴ４は次の式（１１）で表される。

視差調整データＴ４は、画像調整によって飛び出し量を減少させるための視差量であり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平方向に移動させる量を示す。後で詳述するように、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平方向に移動する量の和が視差調整データＴ４となる。このため、フレーム視差データＴ４が視差調整閾値Ｓ１ｂ以下の場合は、画像調整により左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にシフトさせない。一方、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂより大きい場合は、補正後フレーム視差データＴ３と視差調整閾値Ｓ１ｂとの差の値に視差調整係数Ｓ１ａを乗じた値（（Ｔ３−Ｓ１ｂ）×Ｓ１ａ）だけ左眼用画像データＤａ３と右眼用画像データＤｂ３とを水平方向に移動させることになる。

例えば、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０の場合、Ｔ３≦０ではＴ４＝０となる。つまり画像調整は行われない。一方、Ｔ３＞０ではＴ４＝Ｔ３となり、左眼用画像データＤａ３と右眼用画像データＤｂ３とは水平方向にＴ４だけシフトされる。補正後フレーム視差データＴ３はフレーム画像の最大の視差量であるため、着目フレーム内で算出された最大の視差量が０となる。また、視差調整係数Ｓ１ａを１より小さくしていくと視差調整データＴ４は補正後視差データＴ３より小さくなり、着目フレーム内で算出された最大の視差量も０より大きくなる。また、視差調整閾値Ｓ１ｂを０より大きくしていくと、補正後フレーム視差データＴ３が０より大きい値に対しても視差データＴ１の調整は行われない。つまり画像が少し飛び出しているフレームに対しても視差調整は行われない。

視差調整情報Ｓ１の設定は、例えばユーザーがリモコンなどの入力手段によって視差調整情報Ｓ１を変化させて立体画像の飛び出し量の変化を見ながら決定する。リモコンの視差調整係数ボタンと視差調整閾値ボタンから入力することもできるが、ランク分けされた一つの視差調整ボタンから視差の調整度合いを入力すると、所定の視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂが設定されるようにすることもできる。

また、画像表示装置２２０が鑑賞者９を観察するカメラなどを備え、鑑賞者９の年齢、鑑賞者９の性別およびディスプレイ表示面から鑑賞者９までの距離などを判別して自動的に視差調整情報Ｓ１を設定することもできる。この場合、画像表示装置２２０の表示面の大きさなどを視差調整情報Ｓ１に含めることができる。また、画像表示装置２２０の表示面の大きさなどを所定の値のみを視差調整情報Ｓ１とすることもできる。上記のように、鑑賞者９がリモコンなどの入力手段を用いて入力する個人的な情報、鑑賞者９の年齢、鑑賞者９の性別、鑑賞者９と画像表示装置との距離を含む位置関係および画像表示装置の表示面の大きさなどの鑑賞の状況に関係する情報を含むものを鑑賞の状況を示す情報と呼ぶ。

次に、調整画像生成部５の動作について説明する。

図３８は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１の視差量と飛び出し量との関係を説明するための図である。また、図３８は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２の視差量と飛び出し量との関係を説明するための図である。図３８（ａ）は、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１の視差量と飛び出し量の関係を示した図である。図３８（ｂ）は、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２の視差量と飛び出し量の関係を示した図である。

調整画像生成部５は、視差調整データＴ４に基づいてＴ３＞Ｓ１ｂと判断した場合に、視差調整データＴ４に基づいて左眼用画像データＤａ３を左方向に水平に移動した左眼用画像出力データＤａ２を出力し、右眼用画像データＤｂ３を右方向に水平に移動した右眼用画像出力データＤｂ２を出力する。このとき視差量ｄ２は、視差量ｄ０および視差調整データＴ４を用いて視差量ｄ２＝ｄ０−Ｔ４で求められる。

左眼用画像入力データＤａ１の画素Ｐ１ｌと右眼用画像入力データＤｂ１の画素Ｐ１ｒとは同じ物体の同じ部分である。そして、その視差量はｄ０となり鑑賞者９からはその物体は位置Ｆ１の位置に飛び出して見える。

左眼用画像出力データＤａ２の画素Ｐ２ｌと右眼用画像入力データＤｂ２の画素Ｐ２ｒとは同じ物体の同じ部分である。そして、その視差量はｄ２となり鑑賞者９からはその物体は位置Ｆ２の位置に飛び出して見える。

左眼用画像データＤａ３を左方向に水平に移動し、右眼用画像データＤｂ３を右方向に水平に移動する。これにより視差量ｄ０は小さくなり、視差量ｄ２となる。このため、これに応じて物体の飛び出し位置が位置Ｆ１から位置Ｆ２へと変化する。

補正後フレーム視差データＴ３は入力フレーム画像の最大の視差データである拡大フレーム視差データＴ８から算出されるため、この補正後フレーム視差データＴ３はフレーム画像の最大の視差データとなる。視差調整データＴ４は、式（８）より補正後フレーム視差データＴ３を基に算出されるため、視差調整係数Ｓ１ａが１の場合は着目フレーム内の最大の視差量と等しくなる。また、視差調整係数Ｓ１ａが１より小さい場合は最大の視差量より小さくなる。図３８の視差量ｄ１を着目フレーム内で算出された最大の視差量と仮定すると、図３８（ｂ）に示す調整後の最大の視差量ｄ２は視差調整係数Ｓ１ａを１より小さく設定した場合は視差量ｄ０より小さい値となる。また、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０と設定した場合は映像が飛び出さない画像となりｄ２＝０となる。こうすることで、調整後の画像データの最大飛び出し位置Ｆ２が、ディスプレイ表示面６１から飛び出し位置Ｆ１の間に調整される。

次に、表示部６の動作について述べる。表示部６は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを鑑賞者９の左眼と右眼とに別々に表示する。具体的には、表示角を制限するバリアやレンズなどの光学的な機構により左眼と右眼とに異なった画像を表示できるディスプレイを使う立体画像表示方式でも良い。また、左眼用画像と右眼用画像を交互に表示したディスプレイに同期して左眼用のレンズと右眼用のレンズとのシャッターを交互に閉じる専用メガネを用いる立体画像表示方式でも良い。

以上より本実施の形態５における画像処理装置１２０は、入力された一対の画像入力データＤａ１，Ｄｂ１の視差量を、ディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差に対応した、鑑賞者９に好適な奥行き感の視差量に変更して立体画像を表示することができる。

以上で、本発明の実施の形態５による立体画像を表示する画像表示装置２２０の詳細な動作について説明を述べた。

以下では、具体的な画像例を基に実施の形態５について説明する。

図３９は、画像縮小部７の動作の具体例を示す模式図である。図３９（ａ）は、左眼用画像入力データＤａ１全体を示している。図３９（ｂ）は右眼用画像入力データＤｂ１全体を示している。図３９（ｃ）は、縮小した左眼用画像データＤａ３全体を示している。図３９（ｄ）は右眼用画像入力データＤｂ１全体を示している。水平縮小率と垂直縮小率とを共に１／α（α＞１）とした。左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、水平方向に視差量ｄ０の視差がある。この時、縮小した左眼用画像データＤａ３と右眼用画像データＤｂ３との視差量は視差量ｄ０をαで割ったｄ０／αとなる。この縮小した左眼用画像データＤａ３と右眼用画像データＤｂ３の視差量とをｄ１とする。

図４０は、左眼用画像データＤａ３および右眼用画像データＤｂ３の具体例を示す模式図である。図４０（ａ）は、左眼用画像データＤａ３全体を示している。図４０（ｂ）は右眼用画像データＤｂ３全体を示している。左眼用画像データＤａ３と右眼用画像データＤｂ３とは、水平方向に視差量ｄ１の視差がある。左眼用画像データＤａ３と右眼用画像データＤｂ３とについて、視差量を算出するための領域に区切る境界を破線で示している。最も左上の領域から順に第１番目の領域、第２番目の領域、第３番目の領域と続き、最も右下の第３９番目の領域までの領域に分割される。着目する第１６番目の領域の左眼用画像データＤａ３（１６）および右眼用画像データＤｂ３（１６）を太い実線で示している。

図４１は、左眼用画像データＤａ３（１６）と右眼用画像データＤｂ３（１６）とから視差量を算出する方法を説明するための図である。図４１（ａ）は、左眼用画像データＤａ３（１６）の水平位置と階調との関係を示し、図４１（ｂ）は、右眼用画像データＤｂ３（１６）の水平位置と階調との関係を示す。横軸は水平位置、縦軸は階調である。

左眼用画像データＤａ３（１６）と右眼用画像データＤｂ３（１６）とはともに階調の低い方向に凸形の谷形状に変化する領域を含むグラフとなっている。そして、その極小値の位置はちょうど視差量ｄ１だけずれている。視差算出部１の領域視差算出部１ｂ（１６）に左眼用画像データＤａ３（１６）と右眼用画像データＤｂ３とが入力される。そして、視差量ｄ１が第１６番目の領域の視差データＴ１（１６）として出力される。

視差算出部１によって出力された視差データＴ１が領域視差算出部１ｂに区切られている説明は、実施の形態１の図１１を用いた説明と同様のため、その説明を省略する。また、視差データＴ１からフレーム視差データＴ２を算出する説明も実施の形態１の図１２を用いた説明と同様のため、その説明を省略する。

なお、フレーム視差拡大部８では、フレーム視差算出部２によって出力されたフレーム視差データＴ２をα倍して拡大フレーム視差データＴ８を出力する。フレーム視差データＴ２の視差量はｄ１なので補正後フレーム視差データＴ３の視差量はｄ０となる。

図４２は、フレーム視差拡大部８によって出力された拡大フレーム視差データＴ８の時間的変化を示した模式図である。図４２において、横軸が時間であり、縦軸が拡大フレーム視差データＴ８である。図３９（ａ）、図３９（ｂ）に示した画像は時刻ｔｊでのフレームである。

図４３は、拡大フレーム視差データＴ８から補正後フレーム視差データＴ３を算出する方法を説明するための説明図であり、補正後フレーム視差データＴ３の時間的変化を示している。図４３において、横軸は時間であり、縦軸は補正後フレーム視差データＴ３である。図３９に示した画像は時刻ｔｊでのフレームである。フレーム視差補正部３は、式（５）を用いて着目フレームおよび着目フレームの前後のフレームの拡大フレーム視差データＴ８を平均する。フレーム視差補正部３は、その平均値を補正後フレーム視差データＴ３として出力する。例えば、図４３の時刻ｔｊにおける補正後フレーム視差データＴ３（ｔｊ）は、図４２に示す時刻ｔ１，ｔｊ，ｔ２の拡大フレーム視差データＴ８（ｔ１），Ｔ３（ｔｊ），Ｔ３（ｔ２）の平均値として算出される。すなわち、Ｔ３（ｔｊ）＝（Ｔ２（ｔ１）＋Ｔ２（ｔｊ）＋Ｔ２（ｔ２））／３となる。

図４４は、補正後フレーム視差データＴ３から視差調整データＴ４を算出する方法を説明するための図である。図４４（ａ）は、補正後フレーム視差データＴ３の時間的変化を示しており、Ｓ１ｂは視差調整閾値である。図４４（ｂ）は、視差調整データＴ４の時間的変化を示している。図４４において、横軸は時間であり、縦軸は視差調整データＴ４である。

視差調整量算出部４は、図４４（ａ）に示した補正後フレーム視差データＴ３を基に図４４（ｂ）に示す視差調整データＴ４を出力する。視差調整量算出部４は、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂ以下の時刻では視差調整データＴ４として０を出力する。補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂ以下の時刻とは、画像があまり飛び出していない時刻である。逆に、視差調整量算出部４は、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂより大きい時刻では、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えた量に視差調整係数Ｓ１ａを乗じた値（（Ｔ３−Ｓ１ｂ）×Ｓ１ａ）を視差調整データＴ４として出力する。

実施の形態１の図１６を用いて、視差調整データＴ４、左眼用画像入力データＤａ１および右眼用画像入力データＤｂ１から、左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２を算出する説明する。図１６は図４０に示した画像と同時刻ｔｊのフレームである。図１６（ａ）は左眼用画像出力データＤａ２を示しており、図１６（ｂ）は右眼用画像出力データＤｂ２を示している。

調整画像生成部５は、図４４に示した時刻ｔｊにおける視差調整データＴ４に基づき、左眼用画像入力データＤａ１を視差調整データＴ４の半分の値のＴ４／２だけ左に水平移動し、右眼用画像データＤｂ３を視差調整データＴ４の半分の値のＴ４／２だけ右に水平移動する。そして、調整画像生成部５は、それらの画像データを左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２として出力する。本実施の形態５では、図１６に示す視差量ｄ２はｄ０−Ｔ５となり、視差量ｄ０に比べ視差量が減少している。

以上のように、本実施の形態５における画像表示装置２２０は、ある閾値を超えて飛び出し量の大きな画像の視差量を減じることにより飛び出し量を制御する。これにより、画像表示装置２２０は、ディスプレイ表示面６１から鑑賞者９までの距離や鑑賞者９の個人差に対応した、好適な奥行き感の視差量に変更して立体画像を表示することができる。

なお、実施の形態５では、フレーム視差補正部３は、着目フレームの前後の複数のフレーム視差データＴ３の平均値を算出し、補正後フレーム視差データＴ３として出力した例を示した。しかし、着目フレームの前後複数のフレーム視差データＴ３の中央値を算出し、補正後フレーム視差データＴ３として出力しても良い。その他の方法を用いて着目フレームの前後の複数のフレーム視差データＴ３から補正した値を算出し、補正後フレーム視差データＴ３を出力しても良い。

ここで、画像縮小部７で画像縮小処理をしない場合と画像縮小処理をする場合とを比較する。画像縮小部７で画像縮小処理をしない場合、視差算出部１には入力画像データがそのまま入力される。画像縮小部７で画像縮小処理をする場合、視差算出部１には縮小画像データが入力される。ここで、視差算出部１で分割される領域のサイズは同じとする。この時、視差算出部１で分割された領域に含まれる画像を比較すると、縮小画像を使用した方が画像の広い範囲を参照することができる。このため、大きい視差を検出することができる。また、縮小画像を使用した方が分割された領域数が少ないので演算量が減少して応答性が向上する。このため、縮小画像を使用した方が画像処理を行う回路規模を小さくすることができる。

実施の形態６．
実施の形態５で示した画像処理装置１２０の画像処理方法に関して説明する。なお、視差算出ステップＳＴ１の説明は、実施の形態１の図１８を用いて説明する。また、フレーム視差補正ステップＳＴ３の説明は、実施の形態１の図１９を用いて説明する。

図４５は、本発明の実施の形態６に係る立体画像の画像処理方法のフローを表す図である。実施の形態６に係る立体画像処理方法は、画像縮小ステップＳＴ７、視差算出ステップＳＴ１、フレーム視差算出ステップＳＴ２、フレーム視差拡大ステップＳＴ８、フレーム視差補正ステップＳＴ３、視差調整量算出ステップＳＴ４、調整画像生成ステップＳＴ５からなる。

視差算出ステップＳＴ１は、図１８に示すように画像切り出しステップＳＴ１ａと領域視差算出ステップＳＴ１ｂからなる。

フレーム視差補正ステップＳＴ３は、図１９に示すようにフレーム視差バッファステップＳＴ３ａとフレーム視差加算平均ステップＳＴ３ｂからなる。

以下では、本発明に係る実施の形態６の動作について説明する。

まず、画像縮小ステップＳＴ７において、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを縮小して左眼用画像データＤａ３と右眼用画像データＤｂ３とを出力する。この動作は、実施の形態５における画像縮小部７と同様である。

視差算出ステップＳＴ１では、左眼用画像データＤａ３と右眼用画像データＤｂ３とに対して、以下のような処理が行われる。

画像切り出しステップＳＴ１ａにおいて、左眼用画像データＤａ３をディスプレイ表示面６１上で幅Ｗ１、高さＨ１の格子状に区切りｈ×ｗ個の領域に分割する。分割された左眼用画像データＤａ３（１）、Ｄａ１（２）、Ｄａ１（３）からＤａ１（ｈ×ｗ）までを作成する。右眼用画像データＤｂ３についても同様に幅Ｗ１、高さＨ１の格子状に区切り、分割された右眼用画像データＤｂ３（１）、Ｄｂ１（２）、Ｄｂ１（２）、Ｄｂ１（３）からＤｂ１（ｈ×ｗ）までを作成する。

領域視差算出ステップＳＴ１ｂにおいて、第１番目の領域に対する左眼用画像データＤａ３（１）と右眼用画像データＤｂ３（１）とに対して位相限定相関法を用いて、第１番目の領域の視差データＴ１（１）を算出する。すなわち、左眼用画像データＤａ３（１）と右眼用画像データＤｂ３（１）とに対して位相限定相関Ｇ_ａｂ（ｎ）が最大となるずれ量の変数ｎを算出し、視差データＴ１（１）とする。第２番目から第ｈ×ｗ番目までの領域に対する左眼用画像データＤａ３（２）からＤａ１（ｈ×ｗ）までに対して位相限定相関法を用いて視差データＴ１（２）から視差データＴ１（ｈ×ｗ）までを算出する。また、と右眼用画像データＤｂ３（２）から右眼用画像データＤｂ３（ｈ×ｗ）までに対しても、位相限定相関法を用いて視差データＴ１（２）から視差データＴ１（ｈ×ｗ）までを算出する。この動作は、実施の形態５における視差算出部１と同様である。

次に、フレーム視差算出ステップＳＴ２では、視差データＴ１（１）から視差データＴ１（ｈ×ｗ）までのうち最大の視差データを選択し、フレーム視差データＴ２とする。この動作は、実施の形態５におけるフレーム視差算出部２と同様である。

次に、フレーム視差拡大ステップＳＴ８では、フレーム視差データＴ２を拡大して拡大フレーム視差データＴ８を出力する。この動作は、実施の形態５におけるフレーム視差算出部４と同様である。

次に、フレーム視差補正ステップＳＴ３では、拡大フレーム視差データＴ８に対して以下のような処理が行われる。

フレーム視差バッファステップＳＴ３ａにおいて、時間的に変化する拡大フレーム視差データＴ８を一定の容量のバッファ記憶装置に順次保存する。

フレーム視差加算平均ステップＳＴ３ｂにおいて、バッファ領域に保存されている拡大フレーム視差データＴ８に基づき、着目フレームの前後の複数の拡大フレーム視差データＴ８の加算平均値を算出し、補正後フレーム視差データＴ３を算出する。この動作は、実施の形態５におけるフレーム視差補正部３と同等である。

次に、視差調整量算出ステップＳＴ４では、あらかじめ設定された視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂとに基づき、視差補正後フレーム視差データＴ３から視差調整データＴ４を算出する。補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂ以下の時刻においては、視差調整データＴ４はゼロとする（Ｔ４＝０）。逆に、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えている時刻では、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えた量に視差調整係Ｓ１ａを乗じた値を視差調整データＴ４とする（Ｔ４＝Ｓ１ａ×（Ｔ３−Ｓ１ｂ））。この動作は、実施の形態５における視差調整量算出部４と同様である。

次に、調整画像生成ステップＳＴ５では、視差調整データＴ４に基づいて左眼用画像データＤａ３と右眼用画像データＤｂ３とから、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを算出する。具体的には、左眼用画像データＤａ３を視差調整データＴ４の半分の値のＴ４／２だけ左方向に水平に移動させる。また、右眼用画像データＤｂ３を視差調整データＴ４の半分の値のＴ４／２だけ右方向に水平に移動させる。このことで、視差量が視差調整データＴ４だけ減った左眼用画像出力データＤａ２および右眼用画像出力データＤｂ２が生成される。この動作は、実施の形態５における調整画像生成部５と同様である。

以上が本発明の実施の形態６に係る立体画像処理方法の動作である。

これまでの説明から、本実施の形態６のおける画像処理方法は、実施の形態５における立体画像処理装置１２０と同様である。したがって本発明における画像処理方法は、本発明の実施の形態５における画像処理装置と同様の効果を持つ。

ここまで、実施の形態５のフレーム視差補正部３および実施の形態６のフレーム視差補正ステップＳＴ３において、フレーム視差データＴ２に対して拡大処理を行っていた。しかし、これらの実施の形態５、６の例に限定されない。領域ごとの視差データＴ１、補正後フレーム視差データＴ３および視差調整データＴ４のいずれかに対して拡大処理を行ってもよい。

１ 視差算出部、 １ｂ 領域視差算出部、 ２ フレーム視差算出部、 ３ フレーム視差補正部、 ４ 視差調整量算出部、 ５ 調整画像生成部、 ６ 表示部、 ６１ ディスプレイ表示面、 ７ 画像縮小部、 ８ フレーム視差拡大部、 ９ 鑑賞者、 １００，１１０，１２０ 画像処理装置、 ２００，２１０，２２０ 画像表示装置、 Ｓ１ 視差調整情報、 Ｓ１ａ 視差調整係数、 Ｓ１ｂ，Ｓ１ｃ 視差調整閾値、 Ｄａ１ 左眼用画像入力データ、 Ｄｂ１ 右眼用画像入力データ、 Ｄａ２ 左眼用画像出力データ、 Ｄｂ２ 右眼用画像出力データ、 Ｄａ３ 左眼用画像データ、 Ｄｂ３ 右眼用画像データ、 Ｔ１ 視差データ、 Ｔ２ フレーム視差データ、 Ｔ２ａ 第１のフレーム視差データ、 Ｔ２ｂ 第２のフレーム視差データ、 Ｔ３ 補正後フレーム視差データ、 Ｔ３ａ 第１の補正後フレーム視差データ、 Ｔ３ｂ 第２の補正後フレーム視差データ、 Ｔ４ 視差調整データ、 Ｖ 中間視差調整データ、 Ｔ８ 拡大フレーム視差データ、 ＳＴ１ 視差算出ステップ、 ＳＴ１ａ 画像切り出しステップ、 ＳＴ１ｂ 領域視差算出ステップ、 ＳＴ２ フレーム視差算出ステップ、 ＳＴ３ フレーム視差補正ステップ、 ＳＴ３ａ フレーム視差バッファステップ、 ＳＴ３ｂ フレーム視差加算平均ステップ、 ＳＴ４ 視差調整量算出ステップ、 ＳＴ５ 調整画像生成ステップ、 ＳＴ７ 画像縮小ステップ、 ＳＴ８ フレーム視差拡大ステップ、 Ｗ１ 幅、 Ｈ１ 高さ、 Ｖ１ 幅、 ｈ，ｗ 領域の整数、 Ｇａｂ（ｎ） 位相限定相関関数、 ｎ１ ずれ量、 Ｌ 平均算出幅、 ｄ０，ｄ１，ｄ１ａ，ｄ１ｂ，ｄ２ 視差量、 Ｐ１ｒ，Ｐ１ｌ，Ｐ２ｒ，Ｐ２ｌ 画素、 Ｆ１，Ｆ２ 画像の飛び出し位置、 ｔ 時刻。

Claims (19)

1. 立体映像をなす一対の画像入力データを入力し、前記一対の画像入力データを複数の領域に分け、前記各領域に対応した視差量を算出して前記各領域に対応した視差データとして出力する視差算出部と、
   複数の前記視差データを基にフレーム視差データを生成して出力するフレーム視差算出部と、
   １つのフレームのフレーム視差データを他のフレームのフレーム視差データに基づいて補正し補正後フレーム視差データとして出力するフレーム視差補正部と、
   鑑賞の状況を示す情報を基に作成される視差調整情報および前記補正後フレーム視差データに基づいて視差調整データを生成して出力する視差調整量算出部と、
   前記視差調整データに基づいて視差量を調整した一対の画像出力データを生成して出力する調整画像生成部とを備える画像処理装置。
2. 前記フレーム視差データは、前記視差データの中の飛び出し方向の視差データを基に生成される請求項１記載の画像処理装置。
3. 前記フレーム視差データは、前記視差データの内最大の値の前記視差データである請求項２に記載の画像処理装置。
4. 前記視差調整データは、前記視差調整情報に基づいて定められる閾値および前記視差調整情報に基づいて定められる係数を基に補正後フレーム視差データを補正して生成される請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記視差調整データは、補正後フレーム視差データが前記閾値を基準として大きい場合は前記補正後フレーム視差データと前記閾値との差に前記係数を乗じた値とし、補正後フレーム視差データが前記閾値を基準として小さい場合は値をゼロの値とする請求項４に記載の画像処理装置。
6. 前記補正後フレーム視差データは、１つのフレームのフレーム視差データに前記１つのフレームの前後のフレーム視差データを含めた平均値である請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記フレーム視差データは、第１のフレーム視差データおよび第２のフレーム視差データを有し、前記第１のフレーム視差データは前記視差データの中で飛び出し方向の視差データを基に生成され、前記第２のフレーム視差データは前記視差データの中で引っ込み方向の視差データを基に生成される請求項１に記載の画像処理装置。
8. 前記フレーム視差補正部は、１つのフレームの前記第１のフレーム視差データを他のフレームの前記第１のフレーム視差データに基づいて補正して第１の補正後フレーム視差データとして出力し、１つのフレームの前記第２のフレーム視差データを他のフレームの前記第２のフレーム視差データに基づいて補正して第２の補正後フレーム視差データとして出力する請求項７に記載の画像処理装置。
9. 前記フレーム視差補正部は、１つのフレームの第１のフレーム視差データに前記１つのフレームの前後の第１のフレーム視差データを含めた平均値を第１の補正後フレーム視差データとして出力し、１つのフレームの第２のフレーム視差データに前記１つのフレームの前後の第２のフレーム視差データを含めた平均値を第２の補正後フレーム視差データとして出力する請求項８に記載の画像処理装置。
10. 前記視差調整データは、前記視差調整情報に基づいて定められる閾値および前記視差調整情報に基づいて定められる係数を基に補正後フレーム視差データを補正して生成される請求項７から９のいずれか１項に記載の画像処理装置。
11. 前記閾値は第１の閾値を有し、前記視差調整量算出部は、前記第１の補正後フレーム視差データが前記第１の閾値より大きい場合に、前記視差調整データとして第１の補正後フレーム視差データに前記係数を乗じた値を出力する請求項１０に記載の画像処理装置。
12. 前記閾値は第２の閾値をさらに有し、前記視差調整量算出部は、前記第１の補正後フレーム視差データが前記第１の閾値より大きく、かつ、前記第１の補正後フレーム視差データに前記係数を乗じた値を前記第２の補正後フレーム視差データから減じた値が前記第２の閾値より小さい場合に、前記視差調整データとして第１の補正後フレーム視差データに前記係数を乗じた値より小さい値を出力する請求項１１に記載の画像処理装置。
13. 前記視差調整量算出部は、前記第２の補正後フレーム視差データが前記第２の閾値より小さい場合に、前記視差調整データとしてゼロの値を出力する請求項１２に記載の画像処理装置。
14. 前記一対の画像入力データを入力し、前記一対の画像入力データを縮小して一対の縮小画像データを出力する画像縮小部と、
    前記フレーム視差データを拡大して拡大フレーム視差データとして前記フレーム視差補正部に出力するフレーム視差拡大部とをさらに有し、
    前記視差算出部は前記一対の縮小画像データを複数の領域に分け、前記各領域に対応した視差量を算出して前記各領域に対応した視差データとして出力する請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記調整画像生成部は、前記一対の画像入力データの各画像入力データを視差調整データの２分の１の量ずつ視差量を減ずる方向に移動した一対の画像出力データを生成する請求項１から１４のいずれか１項に記載の画像処理装置。
16. 請求項１から１５のいずれか１項に記載の画像処理装置にさらに表示部を備え、前記表示部は前記調整画像生成部で生成された一対の画像出力データを表示する画像表示装置。
17. 立体映像をなす一対の画像入力データを入力し、前記一対の画像入力データを複数の領域に分け、前記各領域に対応した視差量を算出して前記各領域に対応した視差データとして出力する視差算出ステップと、
    前記視差データを基にフレーム視差データを生成して出力するフレーム視差算出ステップと、
    １つのフレームのフレーム視差データを他のフレームのフレーム視差データ に基づいて補正し補正後フレーム視差データを生成して出力するフレーム視差補正ステップと、
    鑑賞の状況を示す情報を基に作成される視差調整情報および前記補正後フレーム視差データに基づいて視差調整データを生成して出力する視差調整量算出ステップと、
    前記視差調整データに基づいて視差量を調整した一対の画像出力データを生成して出力する調整画像生成ステップとを備える画像処理方法。
18. 前記フレーム視差データは、第１のフレーム視差データおよび第２のフレーム視差データを有し、前記第１のフレーム視差データは前記視差データの中で飛び出し方向の視差データを基に生成され、前記第２のフレーム視差データは前記視差データの中で引っ込み方向の視差データを基に生成される請求項１７に記載の画像処理方法。
19. 前記一対の画像入力データを入力し、前記一対の画像入力データを縮小して一対の縮小画像データを出力するステップと、
    前記フレーム視差データを拡大して拡大フレーム視差データとして前記フレーム視差補正部に出力するステップとをさらに有し、
    前記視差算出ステップは前記一対の縮小画像データを複数の領域に分け、前記各領域に対応した視差量を算出して前記各領域に対応した視差データとして出力する請求項１７または１８のいずれか１項に記載の画像処理方法。

Images