JP2011250278A - 画像処理装置、画像処理方法および画像表示装置 - Google Patents

Abstract

【課題】入力された一対の画像の視差を、観察者とディスプレイ表示面との距離や観察者の立体映像に対する臨場感などの個人差に対応した、従来技術より目が疲れにくい好適な奥行き感の視差に変更して立体画像を表示することを目的とする。
【解決手段】両眼の視差に対応した一対の画像を複数の領域に分け、それぞれの領域の視差を算出し、これら視差を複数の視差データとして出力する視差算出部と、最大の視差データをフレーム視差データとして出力するフレーム視差算出部と、１つのフレームのフレーム視差データを他のフレームのフレーム視差データによって補正した補正後フレーム視差データを出力するフレーム視差補正部と、観察者の指示による視差調整情報および補正後フレーム視差データに基づいて視差調整データを出力する視差調整量算出部と、視差調整データに基づいて視差を調整した一対の画像を生成する調整画像生成部とを備える。
【選択図】図１

Description

本発明は、両眼の視差に対応した一対の入力画像を用いて立体映像を生成する画像処理装置に関するものである。

近年、観察者が擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術がある。両眼視差を利用した立体画像表示技術では、３次元空間の左眼で見た映像と右眼で見た映像とを観察者の左眼と右眼とに分けて見せることによって観察者が映像を立体と感じる。

観察者の左右の眼に異なる映像を見せるための技術として、左眼用画像と右眼用画像とを時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれのレンズを透過する光量を制御する眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面に画像の表示角を制限するバリアやレンズを用いることで左右の眼それぞれに左眼用画像と右眼用画像とを見せる方式など、様々な方式がある。

このような立体画像表示装置において、観察者は飛び出した物体の位置に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせることになる。この不整合は、飛び出し量が大きすぎる場合、観察者に目の疲れを誘発するという問題点がある。一方、観察者にとって目の疲れを誘発する奥行き感は、観察者とディスプレイの表示面との距離や観察者の個人差によって異なるという問題がある。なお、輻輳角とは左眼の視線と右眼の視線が成す角度のことを表し、奥行き感とは両眼視差よって表現される物体の飛び出し量または引っ込み量のことを表す。

この問題に対して、特許文献１では、立体映像に埋め込まれた視差の情報に基づき立体画像の表示時間が所定時間を越えた場合に、立体画像の視差を変更することによって観察者の眼の疲れを軽減する技術が開示されている。

特開２００８−３０６７３９号公報（３頁、図５）

しかしながら、上述のような従来の技術では、立体映像に視差情報が埋め込まれていない場合には立体画像の視差を変更することができない。また、視差を変更する量も、観察者とディスプレイ表示面との距離および観察者の個人差が考慮されていないため、個々の観察者に対応した目が疲れにくい好適な奥行き感の立体画像を表示することができない。

この発明は、上述のような課題を解決するためになされたもので、立体映像に視差情報が埋め込まれているか否かにかかわらず、入力された一対の画像の視差を、観察者とディスプレイ表示面との距離や観察者の立体映像に対する臨場感などの個人差に対応した、従来技術より目が疲れにくい好適な奥行き感の視差に変更して立体画像を表示することを目的とする。

本発明に係わる画像処理装置においては、両眼の視差に対応した一対の画像が入力され、前記一対の画像を複数の領域に分け、それぞれの領域の視差を算出し、前記それぞれの領域に対応した視差を複数の視差データとして出力する視差算出部と、前記複数の視差データの中で最大の視差データをフレーム視差データとして出力するフレーム視差算出部と、１つのフレームの前記フレーム視差データを他のフレームの前記フレーム視差データによって補正した補正後フレーム視差データとして出力するフレーム視差補正部と、観察者の指示による視差調整情報および前記補正後フレーム視差データに基づいて視差調整データを出力する視差調整量算出部と、前記視差調整データに基づいて前記一対の画像の視差を調整した一対の画像を生成する調整画像生成部とを備え、前記視差算出部は、位相限定相関法によって前記一対の画像を複数の領域に分けたそれぞれの領域の相関データおよび選択前視差データを出力する相関算出部と、前記複数の領域の前記相関データが高いか低いかの判定結果を高相関領域データとして出力する高相関領域抽出部と、前記高相関領域データに基づいて密集領域データを出力する密集検出部と、前記密集領域データと前記選択前視差データに基づいて、前記複数の領域の前記選択前視差データを補正した前記視差データを出力する視差選択部とを備えることを特徴とする。

本発明によれば、立体映像に視差情報が埋め込まれているか否かにかかわらず、観察者とディスプレイ表示面との距離および観察者の立体映像に対する臨場感などの個人差に対応し、観察者の目の疲れを軽減した奥行き感の立体画像を表示することができる。

本発明の実施の形態１に係る画像表示装置の構成を示す図である。 本発明の実施の形態１に係る画像処理装置の視差算出部１の詳細な構成を示す図である。 本発明の実施の形態１に係る画像処理装置の視差算出部１が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１に基づいて視差データＴ１を算出する方法を説明する図である。 本発明の実施の形態１に係る画像処理装置の相関算出部１０の詳細な構成を示す図である。 本発明の実施の形態１に係る画像処理装置の相関算出部１０が相関データＴ１０と選択前視差データＴ１３を算出する方法を説明するための図である。 本発明の実施の形態１に係る画像処理装置の高相関領域検出部１１に入力される相関データＴ１０と高相関領域検出部１１から出力される高相関領域データＴ１１を詳細に示した図である。 本発明の実施の形態１に係る画像処理装置の相関データＴ１０から高相関領域データＴ１１を算出する方法を説明するための図である。 本発明の実施の形態１に係る画像処理装置の密集検出部１２に入力される高相関領域データＴ１１と密集検出部１２から出力される密集領域データＴ１２を詳細に示した図である。 本発明の実施の形態１に係る画像処理装置の高相関領域データＴ１１から密集領域データＴ１２を算出する方法を説明するための図である。 本発明の実施の形態１に係る画像処理装置の視差選択部１３に入力される密集領域データＴ１２と選択前視差データＴ１３と視差選択部１３から出力される視差データＴ１を詳細に示した図である。 本発明の実施の形態１に係る画像処理装置の密集領域データＴ１２と選択前視差データＴ１３から視差データＴ１を算出する方法を説明するための図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差算出部２へ入力される視差データＴ１を詳細に示した図である。 本発明の実施の形態１に係る画像処理装置の視差データＴ１からフレーム視差のデータＴ２を算出する方法を説明する図である。 本発明の実施の形態１に係る画像処理装置のフレーム視差データＴ２から算出される補正後フレーム視差データＴ３について詳細に説明する図である 本発明の実施の形態１に係る画像処理装置の画像入力データＤａ１とＤｂ１の視差量と画像出力データＤａ２とＤｂ２の視差量の変化による飛び出し量の変化を説明する図である。 本発明の実施の形態２に係る画像処理方法のフローである。 本発明の実施の形態２に係る画像処理方法の視差算出ステップＳＴ１のフローである。 本発明の実施の形態２に係る画像処理方法のフレーム視差補正ステップＳＴ３のフローである。

実施の形態１．
図１は、本発明の実施の形態１に係る立体画像を表示する画像表示装置２００の構成を示す図である。実施の形態１に係る立体画像表示装置２００は、視差算出部１、フレーム視差算出部２、フレーム視差補正部３、視差調整量算出部４、調整画像生成部５および表示部６を備える。画像表示装置２００の内の画像処理装置１００は、視差算出部１、フレーム視差算出部２、フレーム視差補正部３、視差調整量算出部４および調整画像生成部５で構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは視差算出部１と調整画像生成部５に入力される。視差算出部１は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１に基づいて領域ごとに視差を算出し視差データＴ１を出力する。視差データＴ１は、フレーム視差算出部２に入力される。

フレーム視差算出部２は、視差データＴ１に基づいて着目フレームに対する視差を算出しフレーム視差データＴ２として出力する。フレーム視差データＴ２は、フレーム視差補正部３に入力される。

フレーム視差補正部３は、着目フレームのフレーム視差データＴ２を他の時刻のフレームのフレーム視差データＴ２を参照して補正した補正後フレーム視差データＴ３を出力する。補正後フレーム視差データＴ３は、視差調整量算出部４に入力される。

視差調整量算出部４は、観察者が入力する視差調整情報Ｓ１と補正後フレーム視差データＴ３に基づいて算出した視差調整データＴ４を出力する。視差調整データＴ４は、調整画像生成部５に入力される。

調整画像生成部５は、視差調整データＴ４に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差を調整した左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを出力する。左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とは表示部６に入力される。表示部６は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを表示面に表示する。

図２は、視差算出部１の詳細な構成を示す図である。視差算出部１は、相関算出部１０と高相関領域抽出部１１と密集検出部１２と視差選択部１３とで構成されている。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは相関算出部１０に入力される。相関算出部１０は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて、領域ごとに相関値と視差とを算出し、相関値を相関データＴ１０として出力し、視差を選択前視差データＴ１３として出力する。相関データＴ１０は高相関領域抽出部１１に入力され、選択前視差データＴ１３は視差選択部１３に入力される。

高相関領域抽出部１１は、相関データＴ１０に基づいて各領域の相関値が高いか低いかを判定し、その結果を高相関領域データＴ１１として出力する。高相関領域データＴ１１は密集検出部１２に入力される。

密集検出部１２は、高相関領域データＴ１１に基づいて、相関値が高い高相関領域について、複数の高相関領域が近接して密集している領域か否かを判定し、その結果を密集領域データＴ１２として出力する。密集領域データＴ１２は視差選択部１３に入力される。

視差選択部１３は、密集領域データＴ１２と選択前視差データＴ１３とに基づいて、密集している高相関領域に対しては平滑化した視差を視差データＴ１として出力し、それ以外の領域に対しては無効信号を視差データＴ１として出力する。

次に、本発明の実施の形態１に係る画像処理装置１００の詳細な動作について説明する。 図３は、視差算出部１が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１に基づいて視差データＴ１を算出する方法を説明するための図である。

視差算出部１は、入力データである左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを幅Ｗ１、高さＨ１の大きさに区切り、その領域ごとの視差を算出する。この時、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを区切る領域は水平方向に幅Ｖ１（Ｖ１はＷ１以下の整数）ずつずらし、オーバーラップさせる。立体映像は左眼用画像と右眼目用画像との一対の画像が連続した動画となっている。左眼用画像入力データＤａ１は左眼用画像であり、右眼用画像入力データＤｂ１は右眼用画像であるため、映像の画像自体が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とになる。例えばテレビに実施の形態１に係る画像処理装置を適用する場合であれば、デコーダで放送信号が復号されるが、その復号された映像信号が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１として入力される。なお、画面を区切る領域の幅Ｗ１、高さＨ１およびオーバーラップさせる際のずらし幅Ｖ１については、任意の値を用いることができ、実施の形態１に係る画像処理装置を実際のＬＳＩなどに実装する際にＬＳＩの処理量等を考慮して決定される。

このように領域をオーバーラップさせることで、画像入力データを視差の検出しやすい位置で切り出した領域が増え、視差の算出の精度を高めることができる。

左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを区切る垂直方向の領域の数を正の整数ｈ、区切った領域の数を正の整数ｘと表す。まず、図３の（ａ）、（ｂ）では、最も左上の領域の番号を第１番目とし、縦方向にＨ１ずつずれた領域を順次、第２番目、第３番目・・・第ｈ番目と番号を振っている。さらに、図３の（ｃ）、（ｄ）では、第１番目の領域から右にＶ１ずれた領域を第ｈ＋１番目の領域とし、順次、第２番目から右にＶ１ずれた領域を第ｈ＋２番目の領域・・・第ｈ番目の領域から右にＶ１ずれた領域を第２×ｈ番目の領域とする。同様に、ディスプレイ画面の右端まで、順次、左にＶ１ずつずれた領域に画面を区切り、最も右下の領域を第ｘ番目の領域とする。

左眼用画像入力データＤａ１の第１番目の領域に含まれる画像入力データをＤａ１（１）とし、以下各領域に対する左眼用画像入力データをＤａ１（２）、Ｄａ１（３）・・・Ｄａ１（ｘ）とし、右眼用画像入力データＤｂ１の各領域に対する右眼用画像入力データも同様にＤｂ１（１）、Ｄｂ１（２）、Ｄｂ１（２）、Ｄｂ（３）・・・Ｄｂ（ｘ）とする。

上記の例では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを区切る領域は等間隔に水平方向にオーバーラップさせたが、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを区切る領域を垂直方向にオーバーラップさせてもよい。あるいは、水平方向と垂直方向とにオーバーラップさせても良い。なお、領域は等間隔でオーバーラップさせなくても良い。

図４は、相関算出部１０の詳細な構成を示す図である。相関算出部１０は、領域ごとに相関値と視差とを算出するため、ｘ個の領域相関算出部で構成されている。領域相関算出部１０ｂ（１）は、第１番目の領域に含まれる左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに基づいて、第１番目の領域の相関値と視差とを算出し、相関値を第１番目の領域の相関データＴ１０（１）として出力し、視差を第１番目の領域の選択前視差データＴ１３（１）として出力する。以下同様に、領域相関算出部１０ｂ（２）から領域相関算出部１０ｂ（ｘ）は、それぞれ第２番目から第ｘ番目までの領域の相関値と視差とを算出し、相関値を第２番目から第ｘ番目までの領域の相関データＴ１０（２）からＴ１０（ｘ）までとして出力し、視差を第２番目から第ｘ番目までの領域の選択前視差データＴ１３（２）からＴ１３（ｘ）までとして出力する。そして、相関算出部１０は第１番目から第ｘ番目までの領域の相関データＴ１０（１）からＴ１０（ｘ）までを相関データＴ１０として出力し、第１番目から第ｘ番目までの領域の選択前視差データＴ１３（１）からＴ１３（ｘ）までを選択前視差データＴ１３として出力する。

領域視差算出部１０ｂ（１）は、位相限定相関法を用いて左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）との相関データＴ１０（１）と選択前視差データＴ１３（１）とを算出する。位相限定相関法については例えば非特許文献（ 萩原 瑞木、川俣 政征著「位相限定関数を用いた画像のサブピクセル精度の位置ずれ検出」電子情報通信学会技術研究報告、Ｎｏ．ＣＡＳ２００１−１１、ＶＬＤ２００１−２８、ＤＳＰ２００１−３０、２００１年６月、ｐｐ．７９−８６）に説明されている。位相限定相関法は、立体映像の一対の画像を入力として受け取り、視差量を出力するアルゴリズムである。

次に示す式（１）は位相限定相関法で算出される視差量Ｎ_ｏｐｔを表す式である。式（１）において、Ｇ_ａｂ（ｎ）は位相限定相関関数である。

ここで、ｎ：０≦ｎ≦Ｗ１とする。ａｒｇｍａｘ（Ｇ_ａｂ（ｎ））はＧ_ａｂ（ｎ）が最大となるｎの値であり、このときのｎがＮ_ｏｐｔである。Ｇ_ａｂ（ｎ）は次の式（２）で表される。

ここで、関数ＩＦＦＴは、逆高速フーリエ変換関数であり、｜Ｆ_ａｂ（ｎ）｜はＦ_ａｂ（ｎ）の大きさである。Ｆ_ａｂ（ｎ）は次の式（３）で表される。

ここで、Ｂ^＊（ｎ）はＢ（ｎ）の複素共役の系列、Ａ・Ｂ^＊（ｎ）はＡとＢ^＊（ｎ）との畳み込みである。ＡおよびＢ（ｎ）は次の式（４）で表される。

ここで、関数ＦＦＴは高速フーリエ変換関数である。ａ（ｍ）、ｂ（ｍ）は連続する１次元の系列であり、ｍは系列のインデックスである。そしてｂ（ｍ）＝ａ（ｍ−τ）すなわちｂ（ｍ）はａ（ｍ）を右にτずらした系列であり、ｂ（ｍ−ｎ）はｂ（ｍ）を右にｎずらした系列である。

領域視差算出部１ｂでは、左眼用画像入力データＤａ１（１）を式（４）のａとし、右眼用画像入力データＤｂ１（１）を式（４）のｂとして位相限定相関法によって算出されたＧ_ａｂ（ｎ）の最大値が相関データＴ１０（１）となり、Ｇ_ａｂ（ｎ）が最大となるｎの値Ｎ_ｏｐｔが選択前視差データＴ１３（１）となる。

図５は、第１番目の領域に含まれる左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）から位相限定相関法を用いて相関データＴ１０（１）と選択前視差データＴ１３（１）を算出する方法を説明するための図である。図５（ａ）の実線で表されるグラフは、第１番目の領域に対応する左眼用画像入力データＤａ１（１）であり、横軸は水平位置、縦軸は階調を示している。図５（ｂ）のグラフは、第１番目の領域に対応する右眼用画像入力データＤｂ１（１）であり、横軸は水平位置、縦軸は階調を示している。図５（ａ）の破線で表されるグラフは、第１番目の領域の視差量ｎ１だけずらした右眼用画像入力データＤｂ１（１）である。図５（ｃ）のグラフは、位相限定相関関数Ｇ_ａｂ（ｎ）であり、横軸はＧ_ａｂ（ｎ）の変数ｎ、縦軸は相関の強さを示している。

位相限定相関関数Ｇ_ａｂ（ｎ)は、連続する系列ａとａをτシフトした系列ｂとで定義されており、式（２）、式（３）よりｎ＝−τにピークを持つデルタ関数になる。右眼用画像入力データＤｂ１（１）は、左眼用画像入力データＤａ１（１）に対して飛び出す場合に左方向にずれ、引っ込む場合に右方向にずれている。左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ（１）を領域に区切ったデータでは飛び出し方向、引っ込み方向いずれか一方にずれている可能性が高く、左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）を式（４）の入力ａ（ｍ）、ｂ（ｍ）として算出した式（１）のＮ_ｏｐｔが選択前視差データＴ１３（１）となり、このときの位相限定相関関数Ｇ_ａｂ（ｎ)の最大値が相関データＴ１０（１）となる。

図５（ａ）と図５（ｂ）との関係よりずれ量はｎ１であるため、図５（ｃ）に示すように位相限定相関関数Ｇ_ａｂ（ｎ）に関するずれ量の変数ｎがｎ１のときに相関関数の値が一番大きくなる。

図４に示す領域相関算出部１０ｂ（１）は、式（１）より左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）に対する位相限定相関関数Ｇ_ａｂ（ｎ）の最大値を相関データＴ１０（１）として出力し、位相限定相関関数Ｇ_ａｂ（ｎ）の値が最大となるずれ量ｎ１を選択前視差データＴ１３（１）として出力する。Ｔ１３（１）からＴ１３（ｘ）までがＴ１３である。

同様に、図４に示す領域相関算出部１０ｂ（２）から１０ｂ（ｘ）までは、第２番目から第ｘ番目までの領域に含まれる左眼用画像入力データＤａ１（２）からＤａ１（ｘ）までと右眼用画像入力データＤｂ１（２）からＤｂ１（ｘ）までのそれぞれの位相限定相関の最大値を相関データＴ１０（２）からＴ１０（ｘ）までとして出力し、位相限定相関の値が最大となるずれ量を選択前視差データＴ１３（２）からＴ１３（ｘ）までとして出力する。

前述の非特許文献には、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とをそのまま入力として、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差を得る方法が記載されている。しかし、入力される画像が大きければ計算量が多くなり、ＬＳＩに実装した際、回路規模が大きくなるという問題がある。さらに、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに小さく写っている物体に対する位相限定相関関数Ｇ_ａｂ（ｎ）のピークは小さくなってしまい、小さく写っている物体の視差の算出が難しい。

実施の形態１に係る画像処理装置の視差算出部１では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを小さい領域に分割し、領域ごとに位相限定相関法を適用している。このため、小さい回路規模で位相限定相関法をＬＳＩに実装できる。この場合、すべての領域を同時に計算するのではなく、１つの回路を使って１領域ずつ順番に視差を計算することでさらに回路規模を小さくできる。さらに、小さく分割された領域内では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに小さく写っていた物体も、相対的に大きな面積を占めることになるので、位相限定相関関数Ｇ_ａｂ（ｎ）のピークも大きくなり検出しやすくなる。このため、視差がより正確に求められる。

図６は、高相関領域検出部１１に入力される相関データＴ１０と高相関領域検出部１１から出力される高相関領域データＴ１１とを詳細に示した図である。高相関領域検出部１１は入力される第１番目から第ｘ番目までの領域に対応する相関データＴ１０（１）からＴ１０（ｘ）までが高いか低いかを判定し、その判定結果を第１番目から第ｘ番目までの領域に対応する高相関領域データＴ１１（１）からＴ１１（ｘ）までとして出力する。Ｔ１１（１）からＴ１１（ｘ）までがＴ１１である。

図７は、相関データＴ１０（１）〜Ｔ１０（ｘ）を基に高相関領域データＴ１１（１）〜Ｔ１１（ｘ）を算出する方法を説明するための図である。横軸は領域番号であり、縦軸は相関データである。高相関領域検出部１１は相関データＴ１０（１）からＴ１０（ｘ）までの平均値を求め、その平均値より相関データＴ１０（１）からＴ１０（ｘ）までが高いか低いかを判定し、その判定結果を高相関領域データＴ１１（１）からＴ１１（ｘ）までとして算出する。図７の斜線でマスクした領域は相関データが低く、それ以外の領域の相関データが高い。相関データが高いと判定された領域を高相関領域と呼ぶ。これにより、相関が高く視差が正しく求められている領域を検出することができ、視差の算出精度を高めることができる。

上記の例では、相関データＴ１０（１）からＴ１０（ｘ）までの平均値を基準として判定を行う例を示したが、相関データＴ１０（１）からＴ１０（ｘ）までが高いか低いかを判定する基準は、あらかじめ設定した定数を用いても良い。

図８は、密集検出部１２に入力される高相関領域データＴ１１と密集検出部１２から出力される密集領域データＴ１２を詳細に示した図である。密集検出部１２は入力される第１番目から第ｘ番目までの領域に対応する高相関領域データＴ１１（１）からＴ１１（ｘ）までに基づき、高相関領域について、複数の高相関領域が近接して密集している領域か否かを判定し、その判定結果を第１番目から第ｘ番目までの領域に対応する密集領域データＴ１２（１）からＴ１２（ｘ）までとして出力する。Ｔ１２（１）からＴ１２（ｘ）までがＴ１２である。

図９は、高相関領域データＴ１１（１）〜Ｔ１１（ｘ）に基づき密集領域データＴ１２（１）〜Ｔ１２（ｘ）を算出する方法を説明するための図である。横軸は領域番号であり、縦軸は相関データである。密集検出部１２は高相関領域データＴ１１（１）からＴ１１（ｘ）までに基づき、位置的に一定数以上連続している高相関領域を判定し、その判定結果を密集領域データＴ１２（１）からＴ１２（ｘ）までとして算出する。ただし、第ｃ×ｈ番目（ｃは０以上の整数）と第ｃ×ｈ＋１番目は画像入力データ上で連続していないので、高相関領域が連続しているかを判定する場合には、第ｃ×ｈ番目と第ｃ×ｈ＋１番目の領域間をまたいで連続しているとは判定しない。図９では、高相関領域が１２以上連続している領域を密集していると判定した場合を示している。相関が低いと判定されている領域をグレーのマスクで示し、高相関領域であるが密集していない領域を斜線のマスクで示しており、残りのマスクされていない領域が密集している高相関領域示を示している。これにより、視差を検出しやすい領域を検出することができ、検出しやすい領域の視差を選別することで、視差の算出精度を高めることができる。

密集していると判定する基準は、高相関領域が垂直方向に連続しているか否かという基準以外に、高相関領域が水平方向に連続しているか否かという基準でも良いし、また、高相関領域が垂直方向と水平方向両方に連続しているかという基準でも良い。さらには、連続しているという判定の代わりに、一定の範囲内の高相関領域の密度を基準にしても良い。

図１０は、視差選択部１３に入力される密集領域データＴ１２、選択前視差データＴ１３および視差選択部１３から出力される視差データＴ１を詳細に示した図である。視差選択部１３は入力される第１番目から第ｘ番目までの領域に対応する密集領域データＴ１２（１）からＴ１２（ｘ）までと選択前視差データＴ１３（１）からＴ１３（ｘ）までに基づき、密集している高相関領域の選択前視差データＴ１３（１）からＴ１３（ｘ）までを平滑化した値を視差データＴ１（１）からＴ１（ｘ）までとして出力する。密集している高相関領域以外の領域に対しては、視差が選択されないことを表す無効信号を視差データＴ１３（１）からＴ１３（ｘ）までとして出力する。Ｔ１（１）からＴ１（ｘ）までがＴ１である。

図１１は、密集領域データＴ１２（１）〜Ｔ１２（ｘ）と選択前視差データＴ１３（１）〜Ｔ１３（ｘ）とを基に視差データＴ１（１）〜Ｔ１（ｘ）を算出する方法を説明するための図である。横軸は領域番号であり、縦軸は選択前視差データＴ１３である。視差選択部１３は、密集領域データＴ１２（１）からＴ１２（ｘ）までと選択前視差データＴ１３（１）からＴ１３（ｘ）までに基づき、視差データＴ１（１）からＴ１（ｘ）までとして出力する。密集している高相関領域以外の領域に対しては、視差が選択されないことを表す無効信号を視差データＴ１（１）からＴ１（ｘ）までとして出力する。図１１では密集している高相関領域以外をグレーのマスクで表している。図１１（ａ）は選択前視差データＴ１３を示しており、図１１（ｂ）は視差データＴ１を示している。これにより、視差が検出しやすい領域である密集した高相関領域の視差のうち、誤検出と考えられるはずれ値を除去することができ、視差の算出精度を高めることができる。

次に、フレーム視差算出部２の詳細な動作について説明する。

図１２は、フレーム視差算出部２について入力される視差データＴ１を詳細に示した図である。フレーム視差算出部２は、入力される第１番目から第ｘ番目までの領域に対応する視差データＴ１（１）からＴ１（ｘ）までのうち視差が選択されないことを表す無効信号以外の視差データを集約し、着目フレームの画像に対して１つのフレーム視差データＴ２を算出する。

図１３は、視差データＴ１（１）からＴ（ｘ）までを基にフレーム視差のデータＴ２を算出する方法を説明するための図である。横軸は領域の番号であり、縦軸は視差データである。フレーム視差算出部２は、視差データＴ１（１）からＴ（ｘ）までのうち、最大の視差データをフレーム画像のフレーム視差データＴ２として出力する。

これにより、視差の情報が埋め込まれていない立体映像に対しても、観察者にとって最も影響が大きいと考えられる立体映像の各フレームでの最も飛び出している部分の視差量を算出することができる。

次に、フレーム視差補正部３の詳細な動作について説明する。

図１４は、フレーム視差データＴ２から算出される補正後フレーム視差データＴ３について詳細に説明するための図である。図１４（ａ）は、フレーム視差データＴ２の時間的変化を示した図である。横軸は時間であり、縦軸はフレーム視差データＴ２である。図１４（ｂ）は補正後フレーム視差データＴ３の時間的変化を示した図である。横軸は時間であり、縦軸は補正後フレーム視差データＴ３である。

フレーム視差補正部３は、フレーム視差データＴ２を一定時間分保持し、着目フレームの前後複数のフレーム視差データＴ２の平均を算出し、補正後フレーム視差データＴ３として出力する。補正後フレーム視差データＴ４は次の式（５）で表される。

ここで、Ｔ３（ｔｊ）は着目する時刻ｔｊにおける補正後フレーム視差データであり、Ｔ２（ｋ）は時刻ｋにおけるフレーム視差データであり、正の整数Ｌは平均を算出する幅である。またｔｉ＜ｔｊであるので、例えば図１４（ａ）に示す時刻（ｔｉ−Ｌ）からｔｉまでにおけるフレーム視差データＴ２の平均から図１４（ｂ）に示す時刻ｔｊの補正後フレーム視差データＴ３が求められる。

３Ｄの飛び出し量は時間的に連続的に変化するものが多い。視差データＴ２が時間的に不連続に変化する場合、例えば、時間軸に対してインパルス状に変化する場合は視差データＴ２の誤検出とみなしても良い。フレーム視差データ補正部３により、たとえインパルス状の変化があったとしても時間的に平均化されるため誤検出を緩和することができる。

次に、視差調整量算出部４の詳細な動作について説明する。

視差調整量算出部４は、観察者９が好みや疲れ度合いに合わせて設定する視差調整情報Ｓ１と補正後のフレーム視差データＴ３とに基づいて視差調整量を算出し視差調整データＴ４を出力する。

視差調整情報Ｓ１は、視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂを含み、視差調整データＴ４は次の式（６）で表される。

視差調整データＴ４は、画像調整によって減少させる視差量のことであり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量を示す。後で詳述するように、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量の和がＴ４となる。このため、フレーム視差データＴ３が視差調整閾値Ｓ１ｂ以下の場合は、画像調整により左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にシフトしない。一方、フレーム視差データＴ３が視差調整閾値Ｓ１ｂより大きい場合は、フレーム視差データＴ３と視差調整閾値Ｓ１ｂとの差の値に視差調整係数Ｓ１ａを乗じた値だけ左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にシフトすることになる。

例えば、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０の場合、Ｔ３≦０ではＴ４＝０となる。つまり画像調整は行われない。一方、Ｔ３＞０ではＴ４＝Ｔ３となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にＴ３だけシフトされる。補正後フレーム視差データＴ３はフレーム画像の最大の視差であるため、着目フレーム内で算出された最大の視差が０となる。また、視差調整係数Ｓ１ａを１より小さくしていくと視差調整データＴ４は補正後視差データＴ３より小さくなり、着目フレーム内で算出された最大の視差も０より大きくなる。また、視差調整閾値Ｓ１ｂを０より大きくしていくと、補正後視差データＴ３が０より大きい値に対しても視差データの調整を行わない。つまり画像が少し飛び出しているフレームに対しても視差調整を行わないことになる。

視差調整情報Ｓ１の設定は、例えばユーザーがリモコンなどの入力手段によって視差調整情報Ｓ１を変化させて立体画像の飛び出し量の変化を見ながら決定する。リモコンの視差調整係数ボタンと視差調整閾値ボタンから入力することもできるが、ランク分けされた一つの視差調整ボタンから視差の調整度合いを入力すると、所定の視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂが設定されるようにすることもできる。

以上より本実施の形態は、入力された一対の画像の視差を、観察者９とディスプレイ表示面６１との距離や観察者９の好みや疲れ度合いなどの個人差に対応した、目が疲れにくい好適な奥行き感の視差に変更して立体画像を表示することができる。

次に、調整画像生成部５の動作について説明する。

図１５は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２との視差および飛び出し量の関係を説明するための図である。図１５（ａ）は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１と飛び出し量の関係を示した図である。図１５（ｂ）は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２と飛び出し量の関係を示している。

調整画像生成部５は、Ｔ３＞Ｓ１ｂと判断した場合に、視差調整データＴ４に基づいて左眼用画像入力データＤａ１を左方向に水平移動し、右眼用画像入力データＤｂ１を右方向に水平移動した左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を出力する。このとき視差ｄ２は、ｄ２＝ｄ１−Ｔ４で求められる。

左眼用画像入力データＤａ１の画素Ｐ１ｌと右眼用画像入力データＤｂ１の画素Ｐ１ｒとは同じ物体の同じ部分であるとすると、その視差はｄ１となり観察者からはＦ１の位置に飛び出して見える。

左眼用画像出力データＤａ２の画素Ｐ２ｌと右眼用画像入力データＤｂ２の画素Ｐ２ｒとは同じ物体の同じ部分であるとすると、その視差はｄ２となり観察者からはＦ２の位置に飛び出して見える。

左眼用画像入力データＤａ１を左方向に、右眼用画像入力データＤｂ１右方向に水平移動することにより視差ｄ１は視差ｄ２へと小さくなるため、これに対して飛び出し位置がＦ１からＦ２へと変化する。

補正後フレーム視差データＴ３はフレーム画像の最大の視差データであるフレーム視差データＴ２から算出されるため、補正後フレーム視差データＴ３はフレーム画像の最大の視差データとなる。視差調整データＴ４は、式（６）より補正後フレーム視差データＴ３を基に求めているため、視差調整係数Ｓ１ａが１の場合は着目フレーム内の最大の視差と等しくなり、視差調整係数Ｓ１ａが１より小さい場合は最大の視差より小さくなる。図１５（ａ）の視差ｄ１を着目フレーム内で算出された最大の視差と仮定すると、図１５（ｂ）に示す調整後の最大の視視差ｄ２は視差調整係数Ｓ１ａを１より小さく設定した場合はｄ１より小さい値となり、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０と設定した場合は映像が飛び出さない画像となりｄ２＝０となる。こうすることで、調整後の画像出力データの最大飛び出し量Ｆ２が、のディスプレイ表示面６１から飛び出し位置Ｆ１の間に調整される。

次に、表示部６の動作について述べる。表示部６は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を観察者９の左眼と右眼に別々に表示する。具体的には、光学的な機構により左眼と右眼とで異なった画像を表示できるディスプレイを使う３Ｄ表示方式でも良いし、左眼用画像と右眼用画像とを交互に表示したディスプレイに同期して左眼と右眼のレンズのシャッターを開閉する専用メガネを用いる３Ｄ表示方式でも良い。

以上により本実施の形態においては、入力された一対の画像の視差を、観察者９とディスプレイ表示面６１との距離や観察者９の好みや疲れ度合いなどの個人差に対応した、目が疲れにくい好適な奥行き感の視差に変更して立体画像を表示することができる。

なお、実施の形態１では、フレーム視差補正部３は、着目フレームの前後複数のフレーム視差データＴ２の平均を算出し、補正後フレーム視差データＴ３として出力した例を示したが、着目フレームの前後複数のフレーム視差データＴ２の中央値を算出し、補正後フレーム視差データＴ３として出力しても良い。その他の方法を用いて着目フレームの前後複数のフレーム視差データＴ２から補正した値を算出し、補正後フレーム視差データＴ３を出力しても良い。

実施の形態２．
図１６は、本発明の実施の形態２に係る立体画像の画像処理方法のフローを表す図である。実施の形態２に係る画像処理方法は、視差算出ステップＳＴ１、フレーム視差算出ステップＳＴ２、フレーム視差補正ステップＳＴ３、視差調整量算出ステップＳＴ４および調整画像生成ステップＳＴ５からなる。

視差算出ステップＳＴ１は、図１７に示すように画像切り出しステップＳＴ１ａと領域視差算出ステップＳＴ１ｂとからなる。

フレーム視差補正ステップＳＴ３は、図１８に示すようにフレーム視差バッファステップＳＴ３ａとフレーム視差加算平均ステップＳＴ３ｂとからなる。

以下、実施の形態２係る画像処理方法動作について説明する。

まず、視差算出ステップＳＴ１では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに対して、以下のような処理が行われる。

画像切り出しステップＳＴ１ａにおいて、左眼用画像入力データＤａ１を幅Ｗ１、高さＨ１のオーバーラップした格子状に区切りｘ個の領域に分割し、分割された左眼用画像入力データＤａ１（１）、Ｄａ１（２）、Ｄａ１（３）からＤａ１（ｘ）までを作成する。右眼用画像入力データＤｂ１についても同様に幅Ｗ１高さＨ１の格子状に区切り、分割された右眼用画像入力データＤｂ１（１）、Ｄｂ１（２）、Ｄｂ１（３）からＤｂ１（ｘ）までを作成する。

領域視差算出ステップＳＴ１ｂにおいて、第１番目の領域に対する左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに対して位相限定相関法を用いて、第１番目の領域の視差データＴ１（１）を算出する。すなわち、左眼用画像入力データＤａ１（１）と右眼用画像入力データＤｂ１（１）とに対して位相限定相関Ｇ_ａｂ（ｎ）が最大となるｎを算出し、視差データＴ１（１）とする。第２番目から第ｘ番目までの領域に対する左眼用画像入力データＤａ１（２）からＤａ１（ｘ）までと右眼用画像入力データＤｂ１（２）からＤｂ（ｘ）までに対しても、位相限定相関法を用いて視差データＴ１（２）からＴ１（ｘ）までを算出する。この動作は、実施の形態１における視差算出部１と同等である。

次に、フレーム視差算出ステップＳＴ２では、視差データＴ１（１）からＴ１（ｘ）までのうち最大の視差データを選択し、フレーム視差データＴ２とする。この動作は、実施の形態１におけるフレーム視差算出部２と同等である。

次に、フレーム視差補正ステップＳＴ３では、フレーム視差データＴ２に対して以下のような処理が行われる。

フレーム視差バッファステップＳＴ３ａにおいて、時間的に変化するフレーム視差データＴ２を一定の容量のバッファ記憶装置に順次保存する。

フレーム視差加算平均ステップＳＴ３ｂにおいて、バッファ領域に保存されている視差データＴ２に基づき、着目フレームの前後複数のフレーム視差データＴ２の加算平均を算出し、補正後フレーム視差データＴ３を算出する。この動作は、実施の形態１におけるフレーム視差補正部３と同等である。

次に、視差調整量算出ステップＳＴ４では、あらかじめ設定された視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂに基づき、視差補正後フレーム視差データＴ３から視差調整量Ｔ４を算出する。補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂ以下の時刻においては、視差調整データＴ４は０とする。逆に、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えている時刻では、補正後フレーム視差データＴ３が視差調整閾値Ｓ１ｂを超えた量にＳ１ａを乗じた分を視差調整データＴ４とする。この動作は、実施の形態１における視差調整量算出部４と同等である。

次に、調整画像生成ステップＳＴ５では、視差調整データＴ４に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１から、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を算出する。具体的には、左眼用画像入力データＤａ１をＴ４／２だけ左に水平移動し、右眼用画像入力データＤｂ１をＴ４／２だけ右に水平移動することで、視差がＴ４減った左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とが生成される。この動作は、実施の形態１における調整画像生成部５と同等である。以上が実施の形態２に係る画像処理方法の動作である。

このように構成された画像処理方法においては、視差がＴ４減った左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とが生成されるので、入力された一対の画像の視差を、観察者とディスプレイ表示面との距離や観察者の好みや疲れ度合いなどの個人差に対応した、目が疲れにくい好適な奥行き感の視差に変更して立体画像を表示することができる。

１ 視差算出部、 ２ フレーム視差算出部、 ３ フレーム視差補正部、 ４ 視差調整量、 ５ 調整画像生成部、 ６ 表示部、 ９ 観察者、 １０ 相関算出部、 １１ 高相関領域抽出部、 １２ 密集検出部、 １３ 視差選択部、 １００ 画像処理装置、 ２００ 画像表示装置、 Ｓ１ 視差調整情報、 Ｄａ１ 左眼用画像入力データ、 Ｄｂ１ 右眼用画像入力データ、 Ｄａ２ 左眼用画像出力データ、 Ｄｂ２ 右眼用画像出力データ、 Ｔ１ 視差データ、 Ｔ２ フレーム視差データ、 Ｔ３ 補正後フレーム視差データ、 Ｔ４ 視差調整データ、 Ｔ１０ 相関データ、 Ｔ１１ 高相関領域データ、 Ｔ１２ 密集領域データ、 Ｔ１３ 選択前視差データ、 ＳＴ１ 視差算出ステップ、 ＳＴ１ａ 画像切り出しステップ、 ＳＴ１ｂ 領域視差算出ステップ、 ＳＴ２ フレーム視差算出ステップ、 ＳＴ３ フレーム視差補正ステップ、 ＳＴ３ａ フレーム視差バッファステップ、 ＳＴ３ｂ フレーム視差加算平均ステップ、 ＳＴ４ 視差調整量算出ステップ、 ＳＴ５ 調整画像生成ステップ。

Claims (12)

1. 両眼の視差に対応した一対の画像が入力され、前記一対の画像を複数の領域に分け、それぞれの領域の視差を算出し、前記それぞれの領域に対応した視差を複数の視差データとして出力する視差算出部と、
   前記複数の視差データの中で最大の視差データをフレーム視差データとして出力するフレーム視差算出部と、
   １つのフレームの前記フレーム視差データを他のフレームの前記フレーム視差データによって補正した補正後フレーム視差データとして出力するフレーム視差補正部と、
   観察者の指示による視差調整情報および前記補正後フレーム視差データに基づいて視差調整データを出力する視差調整量算出部と、
   前記視差調整データに基づいて前記一対の画像の視差を調整した一対の画像を生成する調整画像生成部とを備え、
   前記視差算出部は、位相限定相関法によって前記一対の画像を複数の領域に分けたそれぞれの領域の相関データおよび選択前視差データを出力する相関算出部と、
   前記複数の領域の前記相関データが高いか低いかの判定結果を高相関領域データとして出力する高相関領域抽出部と、
   前記高相関領域データに基づいて密集領域データを出力する密集検出部と、
   前記密集領域データと前記選択前視差データに基づいて、前記複数の領域の前記選択前視差データを補正した前記視差データを出力する視差選択部とを備えたことを特徴とする画像処理装置。
2. 視差算出部は、一対の画像を互いに重なる複数の領域に分け、それぞれの領域の視差を算出した結果を複数の視差データとして出力することを特徴とする請求項１に記載の画像処理装置。
3. 高相関領域抽出部は、複数の領域の相関データを前記複数の領域の前記相関データの平均値と比較した判定結果を高相関領域データとして出力することを特徴とする請求項１または２に記載の画像処理装置。
4. 密集検出部は、高相関領域データが高い複数の領域があらかじめ定めた数以上に連続していることを基準として密集しているか否かを判定した判定結果を密集領域データとして出力することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 視差選択部は、密集領域データに基づいて高相関領域データが高く密集している複数の領域に対応する選択前視差データをメディアンフィルターによって補正した視差データを出力することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 視差選択部は、密集領域データに基づいて高相関領域データが高く密集している複数の領域に対応する選択前視差データを移動平均によって補正した視差データを出力することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. フレーム視差補正部は、１つフレームのフレーム視差データ及び他のフレームの前記フレーム視差データの平均を算出することにより、補正後フレーム視差データを算出することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 視差調整量算出部は、補正後フレーム視差データに視差調整情報に含まれる視差調整係数を乗ずることにより、前記視差調整データを生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記視差調整量算出部は、前記視差調整情報に含まれる視差調整閾値より大きい補正後フレーム視差データに対して前記視差調整情報に含まれる視差調整係数を乗ずることにより、前記視差調整データを算出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 調整画像生成部は、一対の画像を視差調整データ２分の１ずつ視差が減る方向にシフトすることにより、新たな一対の画像を生成することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 請求項１に記載の画像処理装置にさらに表示部を備え、この表示部は前記画像処理装置の調整画像生成部で生成された一対の画像を表示することを特徴とする画像表示装置。
12. 両眼の視差に対応した一対の画像が入力され、前記一対の画像の視差を検出して視差データを出力する視差算出ステップと、
    前記視差データを集約してフレーム視差データとして出力するフレーム視差算出ステップと、
    当該フレームの前記フレーム視差データを当該フレーム以外のフレームの前記フレーム視差データによって補正した補正後フレーム視差データとして出力するフレーム視差補正ステップと、
    観察者の指示による視差調整情報および前記補正後フレーム視差データに基づいて視差調整データを出力する視差調整量算出ステップと、
    前記視差調整データに基づいて前記一対の画像の視差を調整した新たな一対の画像を生成する調整画像生成ステップとを備えることを特徴とする画像処理方法。

Images