JP2013205780A - 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】画面を正常視域にすることが可能な画像処理装置、立体画像表示装置、画像処理方法、および、画像処理プログラムを提供する。
【解決手段】実施形態の画像処理装置は、取得部と補正部とを備える。取得部は、互いに視差を有する複数の視差画像を含む立体画像を取得する。補正部は、立体画像の画素ごとに、視点位置で観察されるべき視差画像の第１視差番号と、視点位置で実際に観察された視差画像の視差番号であって、光線の歪みを補正する歪み補正が行われた第２視差番号との差分値を示す補正データを用いて、視点位置で観察される視差画像の視差番号を第１視差番号に設定するための補正を行う。
【選択図】図８

Description

本発明の実施形態は、画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラムに関する。

視聴者に立体画像を観察させる画像表示装置がある。画像表示装置では、複数の画素が配列された表示パネルの前面に、各画素からの光線の出射方向を制御する光線制御部を設け、互いに視差を有する複数の視差画像を表示する。

例えば、シートディスプレイなどのように、表示領域自体が湾曲可能な場合や、経年変化によってパネルとレンズの一部が変形する、または剥がれる場合には、表示領域（画面）において、立体画像を観察可能な領域と、立体画像を観察できない領域（逆視領域）とが発生してしまい、視聴者は、画面全体で立体画像を観察することができない。

特開２００９−２５１０９８号公報

本発明が解決しようとする課題は、画面を正常視域にすることが可能な画像処理装置、立体画像表示装置、画像処理方法、および、画像処理プログラムを提供することである。

実施形態の画像処理装置は、取得部と補正部とを備える。取得部は、互いに視差を有する複数の視差画像を含む立体画像を取得する。補正部は、立体画像の画素ごとに、視点位置で観察されるべき視差画像の第１視差番号と、視点位置で実際に観察された視差画像の視差番号であって、光線の歪みを補正する歪み補正が行われた第２視差番号との差分値を示す補正データを用いて、視点位置で観察される視差画像の視差番号を第１視差番号に設定するための補正を行う。

第１実施形態の立体画像表示装置の一例を示す図。 ピクセルマッピングの例を説明するための図。 ピクセルマッピングの例を説明するための図。 ある視点で片目に届く光を説明するための図。 光線方向が均一である場合の模式図。 光線方向が不均一である場合の模式図。 表示領域を複数に分割して得られる単位領域の例を示す図。 第１実施形態の画像処理部の構成例を示す図。 補正部による補正処理の概念図。 画像処理部による処理の一例を示すフローチャート。 第２実施形態の画像処理部の構成例を示す図。 視聴者の位置に対応する補正データの算出例を説明するための図。

以下、添付図面を参照しながら、本発明に係る画像処理装置、立体画像表示装置、画像処理方法、および、画像処理プログラムの実施の形態を詳細に説明する。なお、以下の各実施形態の立体画像表示装置は、互いに視差を有する複数の視差画像を表示することにより、視聴者に立体画像を観察させることが可能なものである。立体画像表示装置は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置の例としては、例えば視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレームなどが挙げられる。

（第１実施形態）
図１は、本実施形態の立体画像表示装置１の概略図である。立体画像表示装置１は、表示部１０と、画像処理部２０とを備える。

表示部１０は、互いに視差を有する複数の視差画像を含む立体画像を表示可能なデバイスである。図１に示すように、表示部１０は、表示パネル１１と光線制御素子１２とを含む。

視差画像は、立体画像を視聴者に観察させるのに用いる画像であり、立体画像を構成する個々の画像である。立体画像は、視聴者の視点位置から、光線制御素子１２を通して表示パネル１１を観察した場合、視聴者の一方の眼には一の視差画像が観察され、もう一方の眼には他の視差画像が観察されるように、視差画像の各画素を割り当てたものである。すなわち、各視差画像の画素が並べ替えられることにより、立体画像が生成される。

表示パネル１１は、色成分を有する複数のサブ画素（例えば、Ｒ，Ｇ，Ｂ）が、第１方向（行方向）と第２方向（列方向）とに、マトリクス状に配列された液晶パネルである。表示パネル１１は、有機ＥＬパネルやプラズマパネル等のフラットパネルでも構わない。図１に示す表示パネル１１は、バックライト等の光源を含んでいるものとする。図１の例では、ひとつの画素はＲＧＢ各色のサブ画素から構成される。各サブ画素は、第１方向にＲ（赤）、Ｇ（緑）、Ｂ（青）の順で繰り返し配列され、第２方向に同一の色成分が配列される。

光線制御素子１２は、表示パネル１１の各サブ画素からの光線の出射方向を制御する。光線制御素子１２は、光線を出射するための光学的開口が直線状に延伸し、当該光学的開口が第１方向に複数配列されたものである。図１の例では、光線制御素子１２は、シリンドリカルレンズ（光学的開口として機能）が複数配列されたレンチキュラーシートであるが、これに限らず、例えば光線制御素子１２は、スリットが複数配列されたパララックスバリアであってもよい。表示パネル１１と光線制御素子１２とは、一定の距離（ギャップ）を有する。また、光線制御素子１２は、その光学的開口の延伸方向が表示パネル１１の第２方向（列方向）に対して、所定の傾きを有するように配置されるので、光学的開口と表示画素との行方向の位置がずれることにより、高さごとに視域（立体画像を観察可能な領域）が異なる。

本実施形態では、図２に示すように、画素の上に斜めにレンズが配置されるので、レンズを通して視認される画素は、例えば図の点線に沿ったものとなる。すなわち、表示パネル１１内の複数の画素は、水平方向および垂直方向に沿ってマトリクス状に配置されるが、レンズは斜めに配置されるため、視差画像を表示する画素の割り当て（ピクセルマッピング）を行う場合は、レンズの延伸方向に合わせて画素の割り当てを行う必要がある。ここでは、一例として、７つの視差画像の各々を表示する画素の割り当てが行われる場合を説明する。なお、同一番号の画素は、同一の視差画像を表示する画素である。各視差画像には、互いに異なる値を示すとともに隣り合う視差画像間で１ずつ相違する番号（視差番号）が予め割り当てられている。表示パネル１１に配列された複数の画素のうち、ピクセルマッピングが行われた第ｉ行第ｊ列目の画素（ｉ，ｊ）の視差番号ｖは、例えば以下の式１により求めることができる。

式１において、i_offsetとは、画像とレンズとの位相ずれを表すものであり、単位はピクセルである。図３の例では、画像の左上端を基準点（原点）とし、その基準点とレンズの左上端とのずれ量がi_offsetとなる。

視差番号ｖは連続値であるが、視差画像は離散的であるので、ｖにそのまま視差画像を割り当てることはできない。そこで、線形補間や３次内挿などの補間を用いる。このようにして、表示部１０には、互いに視差を有する複数の視差画像が表示される。

次に、ある視点で片目に届く光について説明する。図４は、レンズ２０１が１つ、視差画像の数（視差数）が３つ、各視差画像の幅と高さが共に１（この場合、画素であると捉えることができる）の場合における光線分布を模式的に示す図である。１つの画素から発せられた光線はレンズ２０１に入射し、制御された方向に射出される。光線は散らばりを持つため、レンズ２０１から一定距離だけ離れた位置でその光線の強度を計測すると、図４に示すように、ある一定の範囲に分布する。ここで、横軸が第１方向の位置、縦軸が光の強度を表し、画素５０１の光線分布が５０６、画素５０２の光線分布が５０５、画素５０３の光線分布が５０４である。

ある視点からこのレンズ２０１を観察したときに目に届く光はこの光線分布（５０４、５０５、５０６）に従って、各画素の画素値が重ね合わされた（例えば混色された）光になる。例えば、ある視点に対応する位置５０７からこのレンズ２０１を観察したときに目に届く光は、各光線分布の位置５０７における値５０８、５０９、５１０を重みとして、画素５０１、５０２、５０３の各々の画素値に重み付けをしたものを加算した値で示される。複数のレンズの場合も同様に、ＩＩ方式の立体画像表示装置をある視点から片目で観察したときに見える観測画像は、複数の視差画像の各画素がその視点における光線分布の強度によって重なり合った重ね合わせ画像である。視差画像は両眼視差の効果を出すために物体（オブジェクト）の位置がずれた画像である。視点によって、光線分布が異なるため、観測画像は視点によって異なる画像となる。なお、この例では視差数が３の場合について説明しているが、視差数は任意の値に設計することができる。例えば視差数を９としてもよい。この場合での実施形態での説明は視差数が３の場合の説明と同様になる。

図５は、視差数が９である場合に、同じ視差番号の画素から出射する光線方向が均一である場合を示す図である。なお、光線方向が均一である、とは、各視差番号の画素から出射する光線方向が、予め定められた方向に一致する状態であることを意味する。さらに具体的には、ある視点位置(片眼)で、同じ視差番号によって特定される視差画像の画素が観察されることを示す。

図５（Ａ）は、光線方向が均一である場合に、ある視点位置から、表示部１０における立体画像の表示領域で観察される視差画像の視差番号を示す図である。この例では、視点位置ｍから観察されるべき視差画像が、視差番号５の視差画像であるとする。この場合、図５（Ｂ）に示すように、視点位置ｍには、表示部１０から視差番号５の視差画像の画素からの光が入射するので、視聴者が、ある視点位置ｍから表示部１０を片眼で観察すると、表示部１０の全領域に渡って視差番号５の視差画像を観察することができる。

図６は、視差数が９である場合に、同じ視差番号の画素から出射する光線方向が不均一である場合を示す図である。なお、光線方向が不均一である、とは、各視差番号の画素から出射する光線方向に、予め定められた方向とは異なる方向が含まれる場合を意味する。さらに具体的には、ある視点位置(片眼)で、異なる視差番号によって特定される視差画像の画素が観察されることを示す。

図６（Ａ）は、光線方向が不均一である場合に、ある視点位置から、表示部１０の表示領域で観察される視差画像の視差番号を示す図である。この例では、視点位置ｍから観察されるべき視差画像が、視差番号５の視差画像であるとする。この場合、図６（Ｂ）に示すように、視点位置ｍには、表示部１０から、異なる視差番号（１、４、５、９）の視差画像の画素からの光が入射するので、視聴者が、ある視点位置ｍから表示部１０を片眼で観察すると、異なる視差番号の視差画像を観察することとなる。すなわち、光線方向が不均一である場合には、表示領域（画面）において、立体画像を観察可能な領域と、立体画像を観察できない領域（逆視領域）と、が発生してしまい、視聴者は、画面全体で立体画像を観察することができない。

以上のように、例えば表示部１０の歪みや経年劣化によるパネルとレンズとの部分的な剥離などによって、各視差画像の画素から出射する光線が、想定した方向とは異なる方向に出射する場合がある。すると、ある視点位置から観察されるべき視差番号とは異なる視差番号の視差画像が観察され、画面全域が正常視域にならず、立体視できない。つまり、表示部１０の表示領域において、立体画像を観察可能な領域と、立体画像を観察できない領域とが発生する。

そこで、本実施形態では、画像処理部２０は、立体画像の画素ごとに、任意の視点位置で観察されるべき視差画像の第１視差番号と、当該視点位置で実際に観察された視差画像の第２視差番号との差分値を示す補正データを用いて、当該視点位置で観察される視差画像の視差番号を第１視差番号に設定するための補正を行う。そして、補正後の立体画像（複数の視差画像、視差画像群）を表示部１０に表示させる。これにより、本実施形態の立体画像表示装置１では、画面を正常視域にすることができる。以下、具体的に説明する。

画像処理部２０の説明の前に、上述の補正データについて説明する。ここでは、視差数が９の場合を例に挙げて説明するが、他の視差数の場合についても同様に考えることができる。以下では、第１番目の視差画像に視差番号「０」が割り当てられ、隣の第２番目の視差画像に視差番号「１」が割り当てられ、隣の第３番目の視差画像に視差番号「２」が割り当てられ、隣の第４番目の視差画像に視差番号「３」が割り当てられ、隣の第５番目の視差画像に視差番号「４」が割り当てられ、隣の第６番目の視差画像に視差番号「５」が割り当てられ、隣の第７番目の視差画像に視差番号「６」が割り当てられ、隣の第８番目の視差画像に視差番号「７」が割り当てられ、隣の第９番目の視差画像に視差番号「８」が割り当てられることを前提として説明を行う。

また、ここでは、図７に示すように、表示部１０の表示領域は、Ｍ行Ｎ列のマトリクス状に配置される複数の単位領域Ｐに分割される。例えば第ｍ行（≦Ｍ）第ｎ列（≦Ｎ）目の単位領域Ｐは、Ｐ（ｍ，ｎ）と表記される。各単位領域Ｐは、視差番号０〜８の各々の画素を含む要素画像が少なくとも１つ表示される領域である。この例では、１つの単位領域Ｐは、１つの要素画像が表示される領域として説明する。

本実施形態では、単位領域Ｐごとに、任意の視点位置で観察されるべき第１視差番号と、当該単位領域Ｐに表示される０〜８の視差番号の視差画像のうち当該視点位置で実際に観察された第２視差番号との差分値を示す補正データを求め、その求めた補正データと当該単位領域Ｐとを対応付けて記憶部に記憶しておく。補正データを算出する際の視点位置は任意に設定可能であるが、この例では、視差番号４の視差画像が観察されるべき視点位置を、補正データを算出する際の視点位置として設定した場合を例に挙げて説明する。以下では、説明の便宜上、補正データを算出する際の視点位置（この例では、視差番号４の視差画像が観察されるべき視点位置）を、補正用視点位置と呼ぶ。

ここで、任意の視点位置（例えば補正用視点位置）において、どの視差番号が実際に観察されたかを示すデータを光線方向データと呼ぶ。ここでは、単位領域Ｐ（ｍ，ｎ）に表示される０〜８の視差番号のうち、補正用視点位置で実際に観察された視差番号を示す光線方向データを、Ｌ（ｍ，ｎ）と表記する。この光線方向データは、請求項の「第２視差番号」に対応していると捉えることもできる。なお、光線方向データの取得方法は任意であるが、例えば表示部１０から発せられる光線の輝度を測定するための輝度計を動かして取得することもできるし、順番に点灯させた視差画像を目視で確認することで取得することもできるし、順番に点灯させた視差画像を撮影（複数枚撮影してもよい）し、その撮影結果を解析することで取得することもできる。

以下では、単位領域Ｐ（ｍ，ｎ）に対応する補正データｃ（ｍ，ｎ）の算出方法を例に挙げて説明するが、他の単位領域Ｐに対応する補正データの算出方法についても同様に考えることができる。単位領域Ｐ（ｍ，ｎ）に対応する補正データは、補正用視点位置で観察されるべき第１視差番号ｋ_ｄｓｔ（この例では４）と、単位領域Ｐ（ｍ，ｎ）に表示される０〜８の視差番号のうち当該補正用視点位置で実際に観察された視差番号を示す光線方向データＬ（ｍ，ｎ）との差分値であり、以下の式２により求めることができる。

例えば単位領域Ｐ（ｍ，ｎ）に表示される０〜８の視差番号のうち、補正用視点位置で実際に観察された視差番号が「２」である場合、補正データｃ（ｍ，ｎ）は、「２（＝４−２）」となる。以上のようにして、単位領域Ｐごとに補正データを求め、その求めた補正データと単位領域Ｐとを対応付けて記憶部に予め記憶しておく。以上を前提として、本実施形態の画像処理部２０の具体的な内容を説明する。

図８は、画像処理部２０の構成例を示すブロック図である。図８に示すように、画像処理部２０は、取得部２１と、記憶部２２と、補正部２３と、出力部２４とを備える。取得部２１は、立体画像に用いるＫ個（Ｋは２以上の整数）の視差画像を取得する。つまり、取得部２１は、複数の視差画像を含む立体画像を取得する機能を有する。

記憶部２２には、上述の補正データが格納されている。より具体的には、記憶部２２は、複数の単位領域Ｐの各々と、補正データとを対応付けて記憶する。

補正部２３は、表示パネル１１のサブ画素ごとに、記憶部２２に記憶された補正データを用いて、前述のピクセルマッピングで算出した当該サブ画素の視差番号を補正する。以下、具体的に説明する。ここでは、表示パネル１１の第１方向（行方向）のサブ画素数をＷ、第２方向（列方向）のサブ画素数をＨとし、レンズ下に配置される表示パネル１１のサブ画素の位置座標を（ｉ，ｊ）^Ｔとする。Ｔは転置を示す。

ここで、サブ画素位置（ｉ，ｊ）^Ｔと、単位領域Ｐの座標位置（ｍ，ｎ）^Ｔとの間の関係は、以下の式３により表される。

このため、サブ画素位置（ｉ，ｊ）^Ｔに対応する単位領域Ｐの補正データは、以下の式４により表される。

ここで、サブ画素位置（ｉ，ｊ）^Ｔに対応する単位領域Ｐの座標位置は、整数でない可能性もある。その場合は、例えば周辺の補正データを用いた補間を行うことで、サブ画素位置（ｉ，ｊ）^Ｔの補正データを求めることができる。

補正部２３は、サブ画素ごとに、当該サブ画素に対応する単位領域Ｐの補正データが示す値に応じて、当該サブ画素の視差番号を変更する。より具体的には、補正部２３は、サブ画素ごとに、当該サブ画素の視差番号を、前述のピクセルマッピングにより算出される補正前の視差番号が示す値と、当該サブ画素に対応する補正データが示す値とを加算した値を視差数Ｋで除算した結果の余りの数が示す視差番号に変更する。例えば、第ｉ行第ｊ列目のサブ画素（ｉ，ｊ）の補正前の視差番号をｖ（ｉ，ｊ）とすると、補正部２３による補正後のサブ画素（ｉ，ｊ）の視差番号ｖ’（ｉ，ｊ）は、以下の式５により表すことができる。

位置座標（ｉ，ｊ）^Ｔに配置すべき視差画像は以下の式６により表すことができる。

ただし、視差番号ｖ’（ｉ，ｊ）は整数ではなくて、小数となっていることがあり得る。その場合は、以下の式７のように線形補間で求めることができる。

図９は、ある単位領域Ｐに対応する視差番号０〜８の各々の画素に対して行われる補正処理の概念図である。図９の例では、補正用視点位置で観察されるべき視差番号が「４」である一方、ある単位領域Ｐに対応する０〜８の視差番号のうち、補正用視点位置で実際に観察された視差番号が「２」（つまり、単位領域Ｐの光線方向データ＝２）である。従って、ある単位領域Ｐに対応する補正データは「２」（＝４−２）となり、ある単位領域Ｐに対応する各画素は、補正前の視差番号に「２」を加えた値を視差数「９」で除算した結果の余りの数が示す視差番号の画素に変更される（図９参照）。以上のようにして、補正部２３は、視差番号４の視差画像（補正用視点位置で観察されるべき視差画像）が補正用視点位置で観察されるように、各サブ画素の配列を変更する。これにより、補正用視点位置では、視差番号「４」の視差画像が観察される。補正部２３は、補正後の視差画像群を出力部２４へ出力する。出力部２４は、補正部２３から受け付けた視差画像群（言い換えれば、補正部２３による補正が行われた立体画像）を、表示部１０の表示パネル１１に出力する。

図１０は、本実施形態の画像処理部２０による処理の一例を示すフローチャートである。図１０に示すように、まず取得部２１が、複数の視差画像を取得する（ステップＳ１）。取得部２１は、取得した視差画像群を補正部２３へ出力する。補正部２３は、表示パネル１１においてマトリクス状に配列される複数のサブ画素のうちの何れかを指定する（ステップＳ２）。補正部２３は、前述の式１により、ステップＳ２で指定したサブ画素の視差番号を算出する（ステップＳ３）。補正部２３は、ステップＳ２で指定したサブ画素に対応する単位領域Ｐの補正データを取得し、当該サブ画素の補正処理を行う（ステップＳ４）。

全てのサブ画素に対する補正処理が完了した場合（ステップＳ５の結果：ＹＥＳの場合）、補正部２３は、補正後の視差画像群を出力部２４へ出力する。そして、出力部２４は、補正部２３から受け付けた視差画像群を表示パネル１１に表示し（ステップＳ６）、本ルーチンを終了する。一方、全てのサブ画素に対する補正処理が完了していない場合（ステップＳ５の結果：ＮＯの場合）、処理は前述のステップＳ２に戻り、補正部２３は、未だ補正処理を実行していないサブ画素を順次に指定する。

以上に説明したように、本実施形態では、サブ画素ごとに、補正用視点位置で観察されるべき第１視差番号と、補正用視点位置で実際に観察された第２視差番号との差分値を示す補正データを用いて、補正用視点位置で観察される視差番号を第１視差番号に設定するための補正を行うので、立体画像の表示領域（画面）において、立体画像を観察可能な領域と、立体画像を観察できない領域（逆視領域）と、が発生することを抑制できる。つまり、本実施形態によれば、画面を正常視域にすることが可能になる。

（第１実施形態の変形例）
ここで、取得された光線方向データは、カメラレンズの歪みなどによってパネル形状の長方形ではなく、台形などに歪んでいる可能性が高い。このような歪み補正の座標変換は、例えば以下の式８により表される。

例えば射影変換などを用いる場合は、以下の式９により表される。

上記式９におけるａ_０〜ａ_９は射影変換のパラメータであり、取得された光線方向データにおけるパネルの４頂点と、液晶パネル（表示パネル１１）の４頂点の座標から求めることができる。このため、サブ画素位置（ｉ，ｊ）^Ｔの補正データは、以下の式１０により表される。

すなわち、サブ画素の補正データは、補正用視点位置で観察されるべき第１視差番号と、当該サブ画素に対応する単位領域Ｐに表示される複数の視差番号のうち、補正用視点位置で実際に観察された視差番号であって、光線の歪みを補正する歪み補正が行われた第２視差番号との差分値で表されると捉えることもできる。

ここで、サブ画素位置（ｉ，ｊ）^Ｔに対応する単位領域Ｐの座標位置は、整数でない可能性もある。その場合は、例えば周辺の補正データを用いた補間を行うことで、サブ画素位置（ｉ，ｊ）^Ｔの補正データを求めることができる。

上述の第１実施形態と同様に、補正部２３は、サブ画素ごとに、当該サブ画素の補正データが示す値に応じて、当該サブ画素の視差番号を変更する。より具体的には、補正部２３は、サブ画素ごとに、当該サブ画素の視差番号を、前述のピクセルマッピングにより算出される補正前の視差番号が示す値と、当該サブ画素の補正データが示す値とを加算した値を視差数Ｋで除算した結果の余りの数が示す視差番号に変更する。例えば、第ｉ行第ｊ列目のサブ画素（ｉ，ｊ）の補正前の視差番号をｖ（ｉ，ｊ）とすると、補正部２３による補正後のサブ画素（ｉ，ｊ）の視差番号ｖ’（ｉ，ｊ）は、以下の式１１により表すことができる。

その他の内容は、上述の第１実施形態と同様なので、詳細な説明は省略する。
（第２実施形態）
上述の第１実施形態では、１つの視点位置（補正用視点位置）での補正データを用いて前述の補正を行っている。これに対して、第２実施形態では、想定される複数の視点位置（「候補視点位置」と呼ぶ）の各々における補正データが予め格納された記憶部を備え、視聴者の位置と、記憶部に記憶された情報とから、視聴者の位置に対応する補正データを求め、その求めた補正データを用いて前述の補正を行う点で第１実施形態と相違する。以下、具体的に説明する。なお、第１実施形態と同一の符号を付した要素は同様の機能を有するものとして、重複する説明を適宜省略する。

図１１は、本実施形態の画像処理部２００の構成例を示す図である。図１１に示すように、画像処理部２００は、取得部２１と記憶部２２０と検出部２５と補正部２３０と出力部２４とを備える。記憶部２２０は、複数の候補視点位置ごとに、当該候補視点位置を示す候補位置情報と、各単位領域Ｐの補正データとを対応付けて記憶する。各候補視点位置における各単位領域Ｐの補正データは、第１実施形態と同様にして予め算出されて記憶部２２０に格納される。なお、候補視点位置の数は、設計条件等に応じて任意の値に設定可能である。

検出部２５は、視聴者の位置を検出する。より具体的には、検出部２５は、カメラからの映像を取得して、公知の顔検出により、１人以上の視聴者の顔の領域を検出する。そして、右目、左目、および、両目の何れかの位置を設定し、視聴者の空間的なＸ、Ｙ座標を特定する。例えば顔領域内において目の存在する確率が最も高い位置を、視聴者の目の位置として設定してもよい。または、カメラで撮像された画像から、公知の目検出によって、右目、左目、両目の各々の位置を検出することもできる。または、カメラで撮像された画像に写っている顔の大きさを用いて視聴者との距離を推定し、視聴者の空間的なＺ座標を特定することもできる。検出部２５は、これらＸ、Ｙ、Ｚ座標の１つ以上を、視聴者の位置を示す視聴者位置情報として検出し、検出した視聴者位置情報を補正部２３０へ出力する。

補正部２３０は、検出部２５で検出された視聴者位置情報が、記憶部２２０に記憶された複数の候補視点位置情報のうちの何れかと一致する場合は、検出部２５で検出された視聴者位置情報と一致する候補視点位置情報に対応する補正データを用いて前述の補正を行う。

一方、補正部２３０は、検出部２５で検出された視聴者位置情報が何れの候補視点位置情報とも一致しない場合は、補間処理を行って、視聴者位置情報に対応する補正データを求める。例えば図１２に示すように、予め設定された候補視点位置が６つ（Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５、Ｓ_６）であり、検出部２５で検出された視聴者位置情報が示す視聴者の位置Ｖｘが、何れの候補視点位置Ｓとも一致しない場合、補正部２３０は、視聴者の位置Ｖｘとの距離が閾値以下の候補視点位置Ｓを特定する。図１２の例では、候補視点位置Ｓ_１、Ｓ_２、Ｓ_４、および、Ｓ_５が特定される。そして、補正部２３０は、候補視点位置Ｓ_１と視聴者の位置Ｖｘとの距離α、候補視点位置Ｓ_２と視聴者の位置Ｖｘとの距離β、候補視点位置Ｓ_４と視聴者の位置Ｖｘとの距離γ、および、候補視点位置Ｓ_５と視聴者の位置Ｖｘとの距離δに応じた線形補間を行うことにより、視聴者の位置Ｖｘに対応する補正データを求める。そして、補正部２３０は、その求めた補正データを用いて前述の補正を行う。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述の各実施形態および変形例は任意に組み合わせることもできる。

例えば上述の各実施形態では、光線制御素子１２は、その光学的開口の延伸方向が表示パネル１１の第２方向（列方向）に対して、所定の傾きを有するように配置されているが、傾きの大きさは任意に変更可能である。また、例えば光線制御素子１２は、その光学的開口の延伸方向が、表示パネル１１の第２方向に一致するように配置される構成（いわゆる垂直レンズ）であってもよい。

また、例えば上述の第１実施形態において、記憶部２２は、補正データの代わりに、各単位領域Ｐの光線方向データと、補正用視点位置で観察されるべき視差番号とを記憶する構成であってもよい。つまり、補正部２３は、記憶部２２に記憶された情報から、補正対象のサブ画素に対応する光線方向データと、補正用視点位置で観察されるべき視差番号とを求めたうえで、両者の差分値である補正データを算出し、その算出した補正データを用いて前述の補正を行うこともできる。つまり、補正部２３が補正データを作成する構成であってもよい。なお、各単位領域Ｐの光線方向データと、補正用視点位置で観察されるべき視差番号とは、別々の記憶装置に格納されていてもよい。

上述の第２実施形態においても同様に、記憶部２２０は、候補視点位置ごとの補正データを記憶する代わりに、候補視点位置ごとの光線方向データと、各候補視点位置で観察されるべき視差番号とを記憶する構成（つまり、補正部２３０が候補視点位置ごとの補正データを作成する構成）であってもよい。

上述の実施形態の画像処理部（２０，２００）は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、各部の機能のうちの少なくとも一部を個別の回路（ハードウェア）で実現することもできる。

また、上述の実施形態の画像処理部（２０，２００）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の実施形態の画像処理部（２０，２００）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の実施形態の画像処理部（２０，２００）で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

１ 立体画像表示装置
１０ 表示部
１１ 表示パネル
１２ 光線制御素子
２０ 画像処理部
２１ 取得部
２２ 記憶部
２３ 補正部
２４ 出力部
２５ 検出部

本実施形態では、図２に示すように、画素の上に斜めにレンズが配置されるので、レンズを通して視認される画素は、例えば図の点線に沿ったものとなる。すなわち、表示パネル１１内の複数の画素は、水平方向および垂直方向に沿ってマトリクス状に配置されるが、レンズは斜めに配置されるため、視差画像を表示する画素の割り当て（ピクセルマッピング）を行う場合は、レンズの延伸方向に合わせて画素の割り当てを行う必要がある。ここでは、一例として、７つの視差画像の各々を表示する画素の割り当てが行われる場合を説明する。なお、同一番号の画素は、同一の視差画像を表示する画素である。各視差画像には、互いに異なる値を示すとともに隣り合う視差画像間で１ずつ相違する番号（視差番号）が予め割り当てられている。表示パネル１１に配列された複数の画素のうち、ピクセルマッピングが行われた第ｉ行第ｊ列目の画素（ｉ，ｊ）の視差番号ｖは、例えば以下の式１により求めることができる。

Claims (7)

1. 互いに視差を有する複数の視差画像を含む立体画像を取得する取得部と、
   前記立体画像の画素ごとに、視点位置で観察されるべき視差画像の第１視差番号と、前記視点位置で実際に観察された視差画像の視差番号であって、光線の歪みを補正する歪み補正が行われた第２視差番号との差分値を示す補正データを用いて、前記視点位置で観察される視差画像の視差番号を前記第１視差番号に設定するための補正を行う補正部と、を備える、
   画像処理装置。
2. 前記表示部において前記立体画像が表示される表示領域は、前記複数の視差画像の各々の画素を含む要素画像が表示される複数の単位領域に予め分割され、
   前記補正部は、前記立体画像の画素ごとに、当該画素に対応する前記単位領域の前記補正データが示す値に応じて、当該画素の視差番号を変更する、
   請求項１の画像処理装置。
3. 前記補正部は、前記立体画像の画素ごとに、当該画素の視差番号を、補正前の視差番号と当該画素の前記補正データとを加算した値を視差数で除算した結果の余りの値が示す視差番号に変更する、
   請求項２の画像処理装置。
4. 複数の前記視点位置ごとに、前記補正データを対応付けて記憶する記憶部と、
   視聴者の位置を検出する検出部と、をさらに備え、
   前記補正部は、前記検出部で検出された前記視聴者の位置と、前記記憶部に記憶された情報とから、前記視聴者の位置に対応する前記補正データを求め、その求めた前記補正データを用いて前記補正を行う、
   請求項１の画像処理装置。
5. 互いに視差を有する複数の視差画像を含む立体画像を取得する取得部と、
   前記立体画像の画素ごとに、視点位置で観察されるべき視差画像の第１視差番号と、前記視点位置で実際に観察された視差画像の視差番号であって、光線の歪みを補正する歪み補正が行われた第２視差番号との差分値を示す補正データを用いて、前記視点位置で観察される視差画像の視差番号を、前記第１視差番号に設定するための補正を行う補正部と、
   前記補正部による前記補正が行われた前記立体画像を表示する表示部と、を備える、
   立体画像表示装置。
6. 互いに視差を有する複数の視差画像を含む立体画像を取得し、
   前記立体画像の画素ごとに、視点位置で観察されるべき視差画像の第１視差番号と、前記視点位置で実際に観察された視差画像の視差番号であって、光線の歪みを補正する歪み補正が行われた第２視差番号との差分値を示す補正データを用いて、前記視点位置で観察される視差画像の視差番号を前記第１視差番号に設定するための補正を行う、
   画像処理方法。
7. コンピュータを、
   互いに視差を有する複数の視差画像を含む立体画像を取得する手段と、
   前記立体画像の画素ごとに、視点位置で観察されるべき視差画像の第１視差番号と、前記視点位置で実際に観察された視差画像の視差番号であって、光線の歪みを補正する歪み補正が行われた第２視差番号との差分値を示す補正データを用いて、前記視点位置で観察される視差画像の視差番号を前記第１視差番号に設定するための補正を行う手段として機能させる、画像処理プログラム。

Images