JP2012244396A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】実世界に近似する運動視差を実現することができるようにする。
【解決手段】画像処理部は、視聴者の位置等を表す位置情報に基づいて、入力画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する。立体感補正部は、拡大処理部から供給される拡大画像と拡大デプス画像に対して、実世界に近似した運動視差を得るために立体感を補正する処理を行う。立体感補正部は、運動視差処理後の拡大画像を再構成画像として立体感強調部に供給するとともに、運動視差処理後の拡大デプス画像を再構成デプス画像として視点生成部に供給する。本技術は、例えば、画像処理装置に適用することができる。
【選択図】図３

Description

本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、実世界に近似する運動視差を実現することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

現在普及している２Ｄディスプレイや２視点（シングルビュー）の３Ｄ画像を表示する３Ｄディスプレイでは、視聴者の位置によらず、同一の３Ｄ画像が表示される。そのため、視聴者は、実世界で得られる運動視差を享受することができない。

また、多視点の３Ｄ画像を表示する３Ｄディスプレイも普及しつつあるが（例えば、特許文献１参照）、表示可能な画像の視点数が少ないため、運動視差を充分に実現することは難しい。なお、ここでは、多視点とは３以上の視点を指す。

また、従来の３Ｄディスプレイでは、実世界とは異なる運動視差が実現されることがある。例えば、視聴者の奥行方向の位置の変化によって融像する絶対位置が変わる。

具体的には、図１に示すように、顔を近づける等により、視聴者の目がΔvだけ３Ｄディスプレイに近づくと、木の画像の奥行方向の位置が奥側に移動する。即ち、木の画像のディスプレイ面からの距離Δｄが、距離Δｄ’に変化する。これは、実世界の感覚とは異なるため、視聴者に違和感を与える。なお、図１は、３Ｄディスプレイを鑑賞する視聴者を上から見た図である。

また、３Ｄディスプレイでは、図２に示すように、顔を傾ける等により、視聴者の目の水平方向の位置が大きく異なると、融像が困難になり、疲労に繋がることがある。

特開２０１０−２１１０３６号公報

上述したように、従来のディスプレイでは、実世界に近似する運動視差を実現することはできない。

本技術は、このような状況に鑑みてなされたものであり、実世界に近似する運動視差を実現することができるようにするものである。

本技術の一側面の画像処理装置は、視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する画像処理部を備える画像処理装置である。

本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。

本技術の一側面においては、視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像が補正される。

本技術の一側面によれば、実世界に近似する運動視差を実現することができる。

従来の３Ｄディスプレイにおける表示の例を示す図である。 従来の３Ｄディスプレイにおける表示の他の例を示す図である。 本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 本技術を適用した画像処理装置の第１実施の形態の他の構成例を示すブロック図である。 図３の画像処理部の詳細構成例を示すブロック図である。 図３の画像処理部の他の詳細構成例を示すブロック図である。 図３の入力視点選択部の詳細構成例を示すブロック図である。 図３の入力視点選択部の他の詳細構成例を示すブロック図である。 図３の拡大処理部の処理を説明する図である。 図５の立体感補正部の構成例を示すブロック図である。 図５の立体感補正部の他の構成例を示すブロック図である。 図１０のデプス補正部の処理を説明する図である。 図１０のデプス補正部の処理を説明する図である。 拡大デプス画像と再構成デプス画像のデプス値を示すグラフである。 拡大デプス画像と再構成デプス画像のデプス値を示すグラフである。 スケーリング部の処理を説明する図である。 スケーリング部の処理を説明する図である。 スケーリング部の他の処理を説明する図である。 スケーリング部の他の処理を説明する図である。 スケーリング部に入出力される再構成デプス画像のデプス値を示すグラフである。 スケーリング部に入出力される再構成デプス画像のデプス値を示すグラフである。 図５の視点生成部の投影処理を説明する図である。 出力画像の例を示す図である。 図５の画像処理部の画像処理を説明するフローチャートである。 図２４の視点選択処理の詳細を説明するフローチャートである。 図２４の視点選択処理の詳細を説明するフローチャートである。 図２４の運動視差処理の詳細を説明するフローチャートである。 出力画像に対応するデプス画像を説明する図である。 本技術を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 本技術を適用した画像処理装置の第２実施の形態の他の構成例を示すブロック図である。 図２９の画像処理部の詳細構成例を示すブロック図である。 図３１の入力視点選択部の詳細構成例を示すブロック図である。 図３１の入力視点選択部の他の詳細構成例を示すブロック図である。 図３２の入力視点選択部による視点選択処理の詳細を説明するフローチャートである。 図３３の入力視点選択部による視点選択処理の詳細を説明するフローチャートである。 本技術を適用した画像処理装置の第２実施の形態のさらに他の構成例を示すブロック図である。 図３６の視点生成部の投影処理を説明する図である。 本技術を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 本技術を適用した画像処理装置の第３実施の形態の他の構成例を示すブロック図である。 図３８の画像処理部の詳細構成例を示すブロック図である。 図４０の入力視点選択部の詳細構成例を示すブロック図である。 図４１の入力視点選択部の視点の選択を説明する図である。 図４１の入力視点選択部の視点の選択を説明する図である。 図４１の視点選択部の立体感補正用パラメータの生成を説明する図である。 図４０の入力視点選択部の他の詳細構成例を示すブロック図である。 図４５の入力視点選択部の視点の選択を説明する図である。 図４１の入力視点選択部による視点選択処理の詳細を説明するフローチャートである。 図４５の入力視点選択部による視点選択処理の詳細を説明するフローチャートである。 本技術を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。 本技術を適用した画像処理装置の第４実施の形態の他の構成例を示すブロック図である。 図４９の画像処理部の詳細構成例を示すブロック図である。 図５１の入力視点選択部の詳細構成例を示すブロック図である。 図５２の入力視点選択部の視点の選択を説明する図である。 図５２の入力視点選択部の視点の選択を説明する図である。 図５２の視点選択部の立体感補正用パラメータの生成を説明する図である。 図５１の入力視点選択部の他の詳細構成例を示すブロック図である。 図５６の入力視点選択部の視点の選択を説明する図である。 図５２の入力視点選択部による視点選択処理の詳細を説明するフローチャートである。 図５６の入力視点選択部による視点選択処理の詳細を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示す図である。

＜第１実施の形態＞
［画像処理装置の第１実施の形態の構成例］
図３は、本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図３の画像処理装置１０は、位置検出部１１、画像処理部１２、および画像表示部１３により構成され、視聴者の位置に基づいて、１視点のカラー画像の運動視差を実現する。

具体的には、画像処理装置１０の位置検出部１１は、例えば、画像表示部１３に搭載されたカメラや各種のセンサ等により構成される。位置検出部１１は、視聴者の頭部、両眼や単眼の眼球などの、少なくとも奥行方向を含む方向の位置を視聴位置として検出する。

また、位置検出部１１は、視聴者の視線の方向などから視聴者の注視点の位置を検出する。位置検出部１１は、検出された視聴位置と注視点の位置を表す位置情報を画像処理部１２に供給する。

画像処理部１２には、外部から１以上の視点のカラー画像が入力画像として入力されるとともに、入力画像に対応する１以上の視点のデプス画像が入力される。なお、デプス画像（Depth Map）は、対応するカラー画像の各画素の奥行方向の位置を表すデプス値からなる画像である。本実施の形態では、デプス値は、奥行方向の位置が表示面の位置である場合０となり、表示面より手前側（視聴者側）の位置である場合負の値となり、奥側の位置である場合正の値となるものとする。

画像処理部１２は、位置検出部１１から供給される位置情報に基づいて、外部から入力された入力画像とデプス画像を補正し、補正後の入力画像とデプス画像を用いて、所定の１視点のカラー画像を出力画像として生成する。画像処理部１２は、出力画像を画像表示部１３に供給する。

画像表示部１３は、２Ｄディスプレイにより構成され、画像処理部１２から供給される出力画像を表示する。

なお、図３の画像処理装置１０では、入力画像に対応する１以上の視点のデプス画像が入力されたが、入力画像から生成されるようにしてもよい。この場合、図４に示すように、画像処理装置１０には、入力画像から１以上の視点のデプス画像を生成するデプス検出部２１が設けられる。

［画像処理部の詳細構成例］
図５は、図３の画像処理部１２の詳細構成例を示すブロック図である。

図５の画像処理部１２は、入力視点選択部４１、拡大処理部４２、立体感補正部４３、立体感強調部４４、および視点生成部４５により構成される。

入力視点選択部４１は、位置検出部１１から供給される位置情報が表す視聴位置に基づいて、外部から入力される入力画像の視点から所定の視点を選択する。そして、入力視点選択部４１は、選択された所定の視点の入力画像と、対応するデプス画像を用いて、所定の１視点の入力画像とデプス画像を生成し、拡大処理部４２に供給する。また、入力視点選択部４１は、位置情報が表す視聴位置に基づいて、立体感補正部４３で用いられるパラメータである立体感補正用パラメータを生成し、立体感補正部４３に供給する。

拡大処理部４２は、入力視点選択部４１から供給される入力画像とデプス画像に対して拡大処理を行う。この拡大処理は、所望の解像度の出力画像を得るために行われ、立体感補正部４３におけるスケーリング処理と、入力画像と出力画像の解像度の差を考慮して行われる。拡大処理部４２は、拡大処理後の入力画像を拡大画像として立体感補正部４３に供給するとともに、拡大処理後のデプス画像を拡大デプス画像として立体感補正部４３に供給する。

立体感補正部４３は、拡大処理部４２から供給される拡大画像と拡大デプス画像に対して、実世界に近似した運動視差を得るために立体感を補正する処理（以下、運動視差処理という）を行う。立体感補正部４３は、運動視差処理後の拡大画像を再構成画像として立体感強調部４４に供給するとともに、運動視差処理後の拡大デプス画像を再構成デプス画像として視点生成部４５に供給する。

立体感強調部４４は、位置検出部１１から供給される位置情報が表す注視点の位置に基づいて、立体感補正部４３から供給される再構成画像に対して、空気遠近感を得るために立体感を強調する処理（以下、空気遠近感処理という）を行う。

例えば、立体感強調部４４は、注視点の位置に基づいて、再構成画像の注視点付近の領域に対して、エッジやテクスチャのエンハンスを向上させる処理を行い、その領域以外の領域に対して、エッジやテクスチャのエンハンスを低下させる処理を行う。または、立体感強調部４４は、再構成画像の注視点付近の領域に対して、コントラストを向上させる処理を行い、その領域以外の領域に対して、コントラストを低下させる処理を行う。これにより、再構成画像において、空気遠近感が得られ、立体感が強調される。立体感強調部４４は、空気遠近感処理後の再構成画像を視点生成部４５に供給する。

視点生成部４５は、表示制御部や投影処理部として機能する。視点生成部４５は、位置検出部１１から供給される位置情報が表す視聴位置と、立体感補正部４３から供給される再構成デプス画像とに基づいて、立体感強調部４４から供給される再構成画像に対して、カラー画像を視聴位置に向けて投影する投影処理を行う。視点生成部４５は、その結果得られる所定の１視点のカラー画像を出力画像として画像表示部１３（図３）に供給し、表示させる。

なお、図５の画像処理部１２では、立体感補正部４３の後段に立体感強調部４４が設けられたが、図６に示すように、立体感強調部４４の後段に立体感補正部４３が設けられるようにしてもよい。

［入力視点選択部の詳細構成例］
図７は、図３の入力視点選択部４１の詳細構成例を示すブロック図である。

図７の入力視点選択部４１は、視点選択部５１とセレクタ５２により構成される。

入力視点選択部４１の視点選択部５１は、位置検出部１１から供給される位置情報が表す視聴位置に基づいて、入力画像の視点のうちの、視聴位置に対応する所定の１視点を選択する。視点選択部５１は、選択された１視点の、視点を特定するための番号である視点番号をセレクタ５２に供給する。また、視点選択部５１は、位置情報が表す視聴位置に基づいて、その視聴位置の、選択された１視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成し、立体感補正部４３に供給する。

なお、本実施の形態では、視聴位置が初期位置より画像表示部１３側にある場合、立体感補正用パラメータに含まれる奥行方向の座標が正の値となり、画像表示部１３と反対側にある場合、奥行方向の座標が負の値となるものとする。

セレクタ５２は、外部から入力される入力画像とデプス画像のうち、視点選択部５１から供給される視点番号で特定される視点の入力画像とデプス画像を選択し、拡大処理部４２に供給する。

［入力視点選択部の他の詳細構成例］
図８は、入力視点選択部４１の他の詳細構成例を示すブロック図である。

図８の入力視点選択部４１は、視点選択部６１と視点合成部６２により構成される。

入力視点選択部４１の視点選択部６１は、位置検出部１１から供給される位置情報が表す視聴位置に基づいて、入力画像の視点のうちの、視聴位置に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。視点選択部６１は、選択された複数の視点の視点番号を視点合成部６２に供給する。また、視点選択部６１は、図７の視点選択部５１と同様に、視聴位置に基づいて立体感補正用パラメータを生成し、立体感補正部４３に供給する。

視点合成部６２は、外部から入力される入力画像とデプス画像のうち、視点選択部６１から供給される視点番号で特定される複数の視点の入力画像とデプス画像を選択する。視点合成部６２は、選択された複数の視点の入力画像を合成することにより、1視点の入力画像を生成し、拡大処理部４２に供給する。また、視点合成部６２は、選択された複数の視点のデプス画像を合成することにより、１視点のデプス画像を生成し、拡大処理部４２に供給する。

［拡大処理部の処理の説明］
図９は、図３の拡大処理部４２の処理を説明する図である。

図９に示すように、拡大処理部４２では、入力画像７１に対して拡大処理が行われ、拡大画像７２が生成される。この拡大処理では、立体感補正部４３におけるスケーリング処理が考慮されているため、拡大画像７２のサイズは、出力画像と同一の解像度の画像７３のサイズより大きい。

［立体感補正部の構成例］
図１０は、図５の立体感補正部４３の構成例を示すブロック図である。

図１０に示すように、立体感補正部４３は、デプス補正部８１とスケーリング部８２により構成される。

デプス補正部８１は、図５の入力視点選択部４１から供給される立体感補正用パラメータに基づいて、拡大処理部４２から供給される拡大デプス画像を補正する。デプス補正部８１は、補正後の拡大デプス画像を再構成デプス画像としてスケーリング部８２に供給する。

スケーリング部８２は、立体感補正用パラメータに基づいて、拡大処理部４２から供給される拡大画像と、デプス補正部８１から供給される再構成デプス画像に対してスケーリングを行う。スケーリング部８２は、スケーリング後の拡大画像を再構成画像として図５の立体感強調部４４に供給し、スケーリング後の再構成デプス画像を視点生成部４５に供給する。

なお、図１０の立体感補正部４３では、デプス補正部８１の後段にスケーリング部８２が設けられたが、図１１に示すように、スケーリング部８２の後段にデプス補正部８１が設けられるようにしてもよい。

［デプス補正部の処理の説明］
図１２および図１３は、図１０のデプス補正部８１の処理を説明する図である。

なお、図１２および図１３は、画像表示部１３を鑑賞する視聴者を上から見た図である。また、図１２および図１３の上部の曲線は、拡大デプス画像または再構成デプス画像を構成する各画素のデプス値が表す奥行方向の位置を示している。

図１２や図１３に示すように、デプス補正部８１は、立体感補正用パラメータに基づいて、拡大デプス画像の各画素の補正量を、奥行方向の位置がより手前側であることを表すデプス値に対応する画素ほど大きくなるように決定する。

具体的には、デプス補正部８１は、例えば、図１２に示すように、入力視点選択部４１で選択された視点に対して予め設定された初期位置から位置情報が表す視聴位置への奥行方向の移動方向および移動量、並びに、拡大デプス画像に基づいて、補正量を求める。これにより、ある２つの画素の補正量Δｄ１，Δｄ２は、以下の式（１）で表される。

Δｄ１＝ｆ（Δａ，ｄ１＿ｉｎ）
Δｄ２＝ｆ（Δａ，ｄ２＿ｉｎ）
・・・（１）

なお、式（１）において、Δａは、立体感補正用パラメータの奥行方向の座標、即ち入力視点選択部４１で選択された視点に対して予め設定された初期位置から位置情報が表す視聴位置への奥行方向の移動量である。ｄ１＿ｉｎ，ｄ２＿ｉｎは、それぞれ、Δｄ１，Δｄ２に対応する画素の補正前のデプス値である。

また、式（１）における関数ｆは、ｄ１＿ｉｎ，ｄ２＿ｉｎが小さく、Δａの絶対値が大きいほど、Δｄ１，Δｄ２の絶対値が大きくなり、Δｄ１，Δｄ２の符号がΔａの符号と反対になる関数である。

なお、図１３に示すように、Δａの代わりに、初期位置と各画素のデプス値に対応する位置の距離と、視聴位置と各画素のデプス値に対応する位置の距離の差分に基づいて、補正量を求めることもできる。この場合、補正量Δｄ１，Δｄ２は、以下の式（２）で表される。

Δｄ１＝ｆ’（ｄ１＿ｉｎ，ａ１＿ｉｎ−ａ１＿ｏｕｔ）
Δｄ２＝ｆ’（ｄ２＿ｉｎ，ａ２＿ｉｎ−ａ２＿ｏｕｔ）
・・・（２）

式（２）において、ｄ１＿ｉｎ，ｄ２＿ｉｎは、それぞれ、Δｄ１，Δｄ２に対応する画素の補正前のデプス値である。また、ａ１＿ｉｎ，ａ２＿ｉｎは、Δｄ１，Δｄ２に対応する画素の補正前のデプス値に対応する位置と初期位置との距離である。ａ１＿ｏｕｔ，ａ２＿ｏｕｔは、Δｄ１，Δｄ２に対応する画素の補正前のデプス値に対応する位置と視聴位置との距離である。

また、式（２）における関数ｆ’は、ｄ１＿ｉｎ，ｄ２＿ｉｎが小さく、ａ１＿ｉｎ−ａ１＿ｏｕｔ，ａ２＿ｉｎ−ａ２＿ｏｕｔの絶対値が大きいほど、Δｄ１，Δｄ２の絶対値が大きくなり、Δｄ１，Δｄ２の符号がａ１＿ｉｎ−ａ１＿ｏｕｔ，ａ２＿ｉｎ−ａ２＿ｏｕｔの符号と反対になる関数である。

デプス補正部８１は、以上のようにして決定された拡大デプス画像の各画素の補正量だけ、その画素のデプス値を補正する。図１２および図１３の例では、補正量Δｄ１，Δｄ２だけ、補正前のデプス値ｄ１＿ｉｎ，ｄ２＿ｉｎが補正され、補正後のデプス値は、ｄ１＿ｏｕｔ，ｄ２＿ｏｕｔとなる。

図１４と図１５は、図１０のデプス補正部８１に入力される拡大デプス画像のデプス値と、図１０のデプス補正部８１に出力される再構成デプス画像のデプス値を示すグラフである。

なお、図１４および図１５において、横軸は、拡大デプス画像や再構成デプス画像の水平方向の位置を表し、縦軸は、デプス値を表す。また、図１４および図１５において、黒丸は、拡大デプス画像の各画素のデプス値を表し、灰色の丸は、再構成デプス画像の各画素のデプス値を表している。

また、図１４は、視聴位置が初期位置より画像表示部１３側にある場合のデプス値を表す図であり、図１５は、視聴位置が初期位置より画像表示部１３とは反対側にある場合のデプス値を表す図である。

図１４に示すように、視聴位置が初期位置より画像表示部１３側にある場合、即ちΔａが正の値である場合、拡大デプス画像の各画素のデプス値は、そのデプス値が小さいほど大きい補正量で、負方向に補正される。その結果、出力画像全体の奥行方向の位置がより手前側になるとともに、立体感が強調される。

一方、図１５に示すように、視聴位置が初期位置より画像表示部１３とは反対側にある場合、即ちΔａが負の値である場合、拡大デプス画像の各画素のデプス値は、そのデプス値が小さいほど大きい補正量で、正方向に補正される。その結果、出力画像全体の奥行方向の位置がより奥側になるとともに、立体感が弱められる。

以上のように、視聴者が初期位置より画像表示部１３に近づくと、出力画像全体の奥行方向の位置がより手前側になるとともに、立体感が強調され、画像表示部１３から遠ざかると、出力画像全体の奥行方向の位置がより奥側になるとともに、立体感が弱められる。その結果、より実世界に近似する運動視差を実現することができる。

［スケーリング部の処理の説明］
図１６および図１７は、スケーリング部８２の処理を説明する図である。

なお、図１６および図１７は、画像表示部１３を鑑賞する視聴者を上から見た図である。また、図１６および図１７の上部の曲線は、拡大デプス画像または再構成デプス画像を構成する各画素のデプス値が表す奥行方向の位置を示している。これらのことは、後述する図１８および図１９においても同様である。

図１６に示すように、スケーリング部８２は、立体感補正用パラメータに基づいて、拡大デプス画像内のスケーリングの中心点Ｃを決定する。そして、スケーリング部８２は、拡大デプス画像と立体感補正用パラメータに基づいて、中心点Ｃからの距離がより遠く、デプス値がより小さい画素ほど大きいスケーリング率で、中心点Ｃを中心として拡大デプス画像をスケーリングし、立体感を補正する。

スケーリング部８２のスケーリングにより、例えば、ある２つの画素の補正前の水平方向の位置と補正後の水平方向の位置の差分ΔＬ１，ΔＬ２は、以下の式（３）で表される。なお、本実施の形態では、補正後の水平方向の位置が補正前の水平方向の位置より、中心点Ｃを中心とした外方向にあるとき、補正前の水平方向の位置と補正後の水平方向の位置の差分は正の値であり、内方向にあるとき、その差分は負の値であるものとする。

ΔＬ１＝ｆｓ（Δａ，ｄ１＿ｉｎ，Ｌ１）
ΔＬ２＝ｆｓ（Δａ，ｄ２＿ｉｎ，Ｌ２）
・・・（３）

なお、式（３）において、Δａは、立体感補正用パラメータの奥行方向の座標である。ｄ１＿ｉｎ，ｄ２＿ｉｎは、それぞれ、ΔＬ１，ΔＬ２に対応する画素の補正前のデプス値である。また、Ｌ１，Ｌ２は、それぞれ、ΔＬ１，ΔＬ２に対応する画素の補正前の位置の、中心点Ｃからの距離である。

また、式（３）における関数ｆｓは、Ｌ１，Ｌ２が大きく，ｄ１＿ｉｎ，ｄ２＿ｉｎが小さく、Δａの絶対値が大きいほど大きくなり、ΔＬ１，ΔＬ２の符号がΔａの符号と同一になる関数である。

また、図１７に示すように、スケーリング部８２は、拡大デプス画像内のスケーリングの中心点Ｃに対応する拡大画像内の中心点Ｃ’を決定する。そして、スケーリング部８２は、拡大デプス画像の各画素に対するスケーリング率と同一のスケーリング率で、中心点Ｃ’を中心として拡大画像をスケーリングし、再構成画像を生成する。なお、図１７の曲線は、拡大画像に対応する拡大デプス画像および再構成画像に対応する再構成デプス画像の各画素のデプス値が表す奥行方向の位置を示している。このことは、後述する図１９においても同様である。

また、図１８に示すように、Δａの代わりに、初期位置と各画素のデプス値に対応する位置の距離と、視聴位置と各画素のデプス値に対応する位置の距離の差分に基づいて、スケーリングを行うこともできる。この場合、差分ΔＬ１，ΔＬ２は、以下の式（４）で表される。

ΔＬ１＝ｆｓ’（ｄ１＿ｉｎ，Ｌ１，ａ１＿ｉｎ−ａ１＿ｏｕｔ）
ΔＬ２＝ｆｓ’（ｄ２＿ｉｎ，Ｌ２，ａ２＿ｉｎ−ａ２＿ｏｕｔ）
・・・（４）

式（４）において、ｄ１＿ｉｎ，ｄ２＿ｉｎは、それぞれ、ΔＬ１，ΔＬ２に対応する画素の補正前のデプス値である。また、Ｌ１，Ｌ２は、それぞれ、ΔＬ１，ΔＬ２に対応する画素の補正前の位置の、中心点Ｃからの距離である。さらに、ａ１＿ｉｎ，ａ２＿ｉｎは、ΔＬ１，ΔＬ２に対応する画素の補正前のデプス値に対応する位置と初期位置との距離である。ａ１＿ｏｕｔ，ａ２＿ｏｕｔは、ΔＬ１，ΔＬ２に対応する画素の補正前のデプス値に対応する位置と視聴位置との距離である。

また、式（４）における関数ｆｓ’は、Ｌ１，Ｌ２が大きく、ｄ１＿ｉｎ，ｄ２＿ｉｎが小さく、ａ１＿ｉｎ−ａ１＿ｏｕｔ，ａ２＿ｉｎ−ａ２＿ｏｕｔの絶対値が大きいほど大きくなり、ΔＬ１，ΔＬ２の符号がａ１＿ｉｎ−ａ１＿ｏｕｔ，ａ２＿ｉｎ−ａ２＿ｏｕｔの符号と同一になる関数である。

この場合も、また、図１９に示すように、スケーリング部８２は、拡大デプス画像の各画素に対するスケーリング率と同一のスケーリング率で、拡大画像に対してスケーリングを行い、再構成画像を生成する。

図２０と図２１は、図１０のスケーリング部８２に入力される再構成デプス画像のデプス値と、図１０のデプス補正部８１に出力される再構成デプス画像のデプス値を示すグラフである。

なお、図２０と図２１において、横軸は、再構成デプス画像の水平方向の位置を表し、縦軸は、デプス値を表す。また、図２０と図２１において、黒丸は、入力される再構成デプス画像の各画素のデプス値を表し、白丸は、出力される再構成デプス画像の各画素のデプス値を表している。また、灰色の丸は、入力される再構成デプス画像の各画素のデプス値に対応する、出力される再構成デプス画像の位置を表している。

また、図２０は、視聴位置が初期位置より画像表示部１３側にある場合のデプス値を表す図であり、図２１は、視聴位置が初期位置より画像表示部１３とは反対側にある場合のデプス値を表す図である。

図２０に示すように、視聴位置が初期位置より画像表示部１３側にある場合、再構成デプス画像の各画素のデプス値は、中心点Ｃに遠く、そのデプス値が小さいほど大きいスケーリング率で拡大される。具体的には、黒丸でデプス値が表される再構成デプス画像の各画素の位置は、灰色の丸でデプス値が表される再構成デプス画像の位置に移動する。そして、移動後のデプス値が補間され、白丸で表される各画素のデプス値が求められる。

一方、図２１に示すように、視聴位置が初期位置より画像表示部１３とは反対側にある場合、再構成デプス画像の各画素のデプス値は、中心点Ｃに遠く、そのデプス値が小さいほど大きいスケーリング率で縮小される。

以上のようにしてスケーリングが行われることにより、視聴者が初期位置より画像表示部１３に近づくと、出力画像が、視聴位置に対応する中心点を中心として拡大され、画像表示部１３から遠ざかると、出力画像が、その中心点を中心として縮小される。その結果、より実世界に近似する運動視差を実現することができる。

[視点生成部の投影処理の説明]
図２２は、図５の視点生成部４５の投影処理を説明する図である。

なお、図２２は、視点生成部４５に入力される再構成画像に対応する再構成デプス画像のデプス値と、その再構成画像の各画素に対応する出力画像の位置を示すグラフである。

図２２において、横軸は、再構成画像および出力画像の水平方向の位置を表し、縦軸は、デプス値を表す。また、図２２において、黒丸は、再構成画像の各画素に対応するデプス値を表し、灰色の丸は、再構成画像の各画素に対応する出力画像の位置を表している。

図２２に示すように、視点生成部４５は、再構成画像に対する投影処理において、まず、再構成画像の各画素を視聴位置に向けて投影する。これにより、視点生成部４５は、投影線と画像表示部１３の交点を、図２２中灰色の丸で表される再構成画像の各画素に対応する出力画像の位置として求める。そして、視点生成部４５は、再構成画像の各画素の画素値を、その画素に対応する交点の画素値として用いて、図２２中白丸で位置が表される出力画像の各画素の画素値を補間する。

[出力画像の例]
図２３は、出力画像の例を示す図である。

なお、図２３は、画像表示部１３を鑑賞する視聴者を上から見た図である。また、図２３の上部の曲線は、出力画像の各画素の奥行方向の位置を表している。

図２３Ａに示すように、木と、木より手前側の車の画像を含む出力画像が画像表示部１３に表示されている場合に、図２３Ｂに示すように、視聴者が前に移動し、木を注視すると、出力画像において、木が手前側に移動するとともに大きくなり、車が木に比べてより手前側に移動し、より大きくなる。また、図２３Ｂに示すように、注視されている木がくっきりし、注視されていない車がぼける。

[画像処理部の処理の説明]
図２４は、図５の画像処理部１２の画像処理を説明するフローチャートである。この画像処理は、例えば、位置情報、入力画像、およびデプス画像が画像処理部１２に供給されたとき、開始される。

図２４のステップＳ１１において、画像処理部１２の入力視点選択部４１は、位置検出部１１から供給される位置情報が表す視聴位置に基づいて、入力画像の視点から所定の視点を選択し、立体感補正用パラメータを生成する視点選択処理を行う。この視点選択処理の詳細は、後述する図２５や図２６を参照して説明する。

ステップＳ１２において、拡大処理部４２は、入力視点選択部４１から供給される入力画像とデプス画像に対して拡大処理を行う。拡大処理部４２は、拡大処理後の入力画像を拡大画像として立体感補正部４３に供給するとともに、拡大処理後のデプス画像を拡大デプス画像として立体感補正部４３に供給する。

ステップＳ１３において、立体感補正部４３は、拡大処理部４２から供給される拡大画像と拡大デプス画像に対して運動視差処理を行う。この運動視差処理の詳細は、後述する図２７を参照して説明する。

ステップＳ１４において、立体感強調部４４は、位置検出部１１から供給される位置情報が表す注視点の位置に基づいて、立体感補正部４３から供給される再構成画像に対して空気遠近感処理を行う。立体感強調部４４は、空気遠近感処理後の再構成画像を視点生成部４５に供給する。

ステップＳ１５において、視点生成部４５は、位置検出部１１から供給される位置情報が表す視聴位置と、立体感補正部４３から供給される再構成デプス画像とに基づいて、立体感強調部４４から供給される再構成画像に対して投影処理を行う。視点生成部４５は、その結果得られる所定の１視点のカラー画像を出力画像として画像表示部１３（図３）に供給し、処理を終了する。

図２５は、図７の入力視点選択部４１による図２４のステップＳ１１の視点選択処理の詳細を説明するフローチャートである。

図２５のステップＳ３１において、入力視点選択部４１の視点選択部５１は、位置検出部１１から供給される位置情報が表す視聴位置に基づいて、入力画像の視点から、視聴位置に対応する所定の１視点を選択する。入力視点選択部４１は、選択された１視点の視点番号をセレクタ５２に供給する。

ステップＳ３２において、視点選択部５１は、位置情報が表す視聴位置に基づいて、その視聴位置の、選択された１視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成し、立体感補正部４３に供給する。

ステップＳ３３において、セレクタ５２は、外部から入力される入力画像とデプス画像のうち、視点選択部５１から供給される視点番号で特定される視点の入力画像とデプス画像を選択し、拡大処理部４２に出力する。そして、処理は図２４のステップＳ１１に戻り、ステップＳ１２に進む。

図２６は、図８の入力視点選択部４１による図２４のステップＳ１１の視点選択処理の詳細を説明するフローチャートである。

図２６のステップＳ４１において、入力視点選択部４１の視点選択部６１は、位置検出部１１から供給される位置情報が表す視聴位置に基づいて、入力画像の視点から、視聴位置に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。視点選択部６１は、選択された複数の視点の視点番号を視点合成部６２に供給する。

ステップＳ４２において、視点選択部６１は、図７の視点選択部５１と同様に、視聴位置に基づいて、立体感補正用パラメータを生成し、立体感補正部４３に供給する。

ステップＳ４３において、視点合成部６２は、外部から入力される入力画像とデプス画像のうち、視点選択部６１から供給される視点番号で特定される複数の視点の入力画像とデプス画像を選択し、合成する。

ステップＳ４４において、視点合成部６２は、ステップＳ４３の合成の結果得られる1視点の入力画像とデプス画像を、拡大処理部４２に出力する。そして、処理は図２４のステップＳ１１に戻り、ステップＳ１２に進む。

図２７は、図１０の立体感補正部４３による図２４のステップＳ１３の運動視差処理の詳細を説明するフローチャートである。

図２７のステップＳ５１において、立体感補正部４３のデプス補正部８１は、図１２および図１３で説明したように、入力視点選択部４１からの立体感補正用パラメータに基づいて、拡大処理部４２からの拡大デプス画像を補正する。デプス補正部８１は、補正後の拡大デプス画像を再構成デプス画像としてスケーリング部８２に供給する。

ステップＳ５２において、スケーリング部８２は、図１６および図１７で説明したように、立体感補正用パラメータに基づいて、拡大処理部４２からの拡大画像と、デプス補正部８１からの再構成デプス画像に対してスケーリングを行う。スケーリング部８２は、スケーリング後の拡大画像を再構成画像として図５の立体感強調部４４に供給し、スケーリング後の再構成デプス画像を視点生成部４５に供給する。そして、処理は図２４のステップＳ１３に戻り、ステップＳ１４に進む。

以上のように、画像処理部１２は、視聴位置に基づいてデプス画像を補正するので、２Ｄディスプレイである画像表示部１３において、実世界に近似する運動視差を実現することができる。その結果、視聴者は高精度の立体視を行うことができる。

なお、画像処理装置１０では、画像処理部１２が出力画像のみを出力したが、出力画像に対応するデプス画像も出力するようにしてもよい。この場合、視点生成部４５は、図２８に示すように、出力画像に対応するデプス画像として、再構成デプス画像を構成する各画素のデプス値をそのまま出力する。なお、図２８において、横軸は、再構成デプス画像の水平方向の位置を表し、縦軸は、デプス値を表す。

＜第２実施の形態＞
［画像処理装置の第２実施の形態の構成例］
図２９は、本技術を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

図２９に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２９の画像処理装置１００の構成は、主に、画像処理部１２の代わりに画像処理部１０２および画像処理部１０３が設けられ、画像表示部１３の代わりに画像表示部１０４が設けられている点、および、新たに対象決定部１０１が設けられている点が図３の構成と異なる。画像処理装置１００は、１以上の視点の入力画像およびデプス画像並びに位置情報に基づいて、左眼用と右眼用の２視点の出力画像を表示する。

具体的には、画像処理装置１００の対象決定部１０１は、画像処理部１０２における生成対象に対応する視点として左眼を指定する処理視点情報を画像処理部１０２に供給する。また、対象決定部１０１は、画像処理部１０３における生成対象に対応する視点として右眼を指定する処理視点情報を画像処理部１０３に供給する。

画像処理部１０２には、図３や図４の画像処理部１２と同様に、外部から１以上の視点のカラー画像が入力画像として入力されるとともに、入力画像に対応する１以上の視点のデプス画像が入力される。また、画像処理部１０２は、位置検出部１１から供給される位置情報と、対象決定部１０１から供給される処理視点情報とに基づいて、外部から入力された入力画像とデプス画像を補正する。画像処理部１０２は、補正後の入力画像とデプス画像を用いて、所定の１視点のカラー画像を生成し、左眼用の出力画像として画像表示部１０４に供給する。

また、画像処理部１０３は、画像処理部１０２と同様に構成される。また、画像処理部１０３には、画像処理部１０２と同様に、外部から１以上の視点のカラー画像が入力画像として入力されるとともに、入力画像に対応する１以上の視点のデプス画像が入力される。画像処理部１０３は、画像処理部１０２と同様に、位置検出部１１から供給される位置情報と、対象決定部１０１から供給される処理視点情報とに基づいて、外部から入力された入力画像とデプス画像を補正する。画像処理部１０３は、画像処理部１０２と同様に、補正後の入力画像とデプス画像を用いて、所定の１視点のカラー画像を生成し、右眼用の出力画像として画像表示部１０４に供給する。

画像表示部１０４は、２視点の３Ｄ画像を表示する３Ｄディスプレイにより構成される。画像表示部１０４は、画像処理部１０２から供給される左眼用の出力画像と、画像処理部１０３から供給される右眼用の出力画像を、例えば交互に表示させる。これにより、視聴者は、左眼用の出力画像の表示時に左眼用のシャッタが開き、右眼用の出力画像の表示時に右眼用のシャッタが開く３Ｄ鑑賞用のメガネ等を装着することで、３Ｄ画像を鑑賞することができる。

なお、図２９の画像処理装置１００では、入力画像に対応する１以上の視点のデプス画像が入力されたが、入力画像から生成されるようにしてもよい。この場合、図３０に示すように、画像処理装置１００には、図４のデプス検出部２１が設けられる。

［画像処理部の詳細構成例］
図３１は、図２９の画像処理部１０２の詳細構成例を示すブロック図である。

図３１に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３１の画像処理部１０２の構成は、主に、入力視点選択部４１の代わりに入力視点選択部１２１が設けられている点が図５の構成と異なる。

具体的には、画像処理部１０２の入力視点選択部１２１は、位置検出部１１から供給される位置情報が表す視聴位置と、対象決定部１０１から供給される処理視点情報とに基づいて、外部から入力される入力画像の視点から所定の視点を選択する。そして、入力視点選択部１２１は、図５の入力視点選択部４１と同様に、選択された所定の視点の入力画像と、対応するデプス画像を用いて、所定の１視点の入力画像とデプス画像を生成し、拡大処理部４２に供給する。また、入力視点選択部１２１は、位置情報が表す視聴位置と処理視点情報が指定する左眼に基づいて立体感補正用パラメータを生成し、立体感補正部４３に供給する。

なお、図示は省略するが、図３１の画像処理部１０２において、立体感強調部４４の後段に立体感補正部４３が設けられるようにしてもよい。

[入力視点選択部の詳細構成例]
図３２は、図３１の入力視点選択部１２１の詳細構成例を示すブロック図である。

図３２に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３２の入力視点選択部１２１の構成は、主に、視点選択部５１の代わりに視点選択部１４１が設けられている点が図７の構成と異なる。

具体的には、入力視点選択部１２１の視点選択部１４１は、位置検出部１１から供給される位置情報が表す視聴位置と、対象決定部１０１から供給される処理視点情報が指定する左眼とに基づいて、入力画像の視点のうちの所定の１視点を選択する。

より詳細には、視点選択部１４１は、視聴位置に基づいて左眼の視聴位置（以下、左眼視聴位置という）を求め、その左眼視聴位置に対応する所定の１視点を選択する。なお、左眼視聴位置とは、例えば、視聴位置から所定の距離だけ左側にシフトした位置である。

視点選択部１４１は、選択された１視点の視点番号をセレクタ５２に供給する。また、視点選択部１４１は、左眼視聴位置に基づいて、その左眼視聴位置の、選択された１視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成し、立体感補正部４３に供給する。

［入力視点選択部の他の詳細構成例］
図３３は、図３１の入力視点選択部１２１の他の詳細構成例を示すブロック図である。

図３３に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３３の入力視点選択部１２１の構成は、主に、視点選択部６１の代わりに視点選択部１６１が設けられている点が図８の構成と異なる。

具体的には、入力視点選択部１２１の視点選択部１６１は、位置検出部１１からの位置情報が表す視聴位置と、対象決定部１０１からの処理視点情報が指定する左眼とに基づいて、入力画像の視点のうちの複数の視点を選択する。より詳細には、視点選択部１６１は、視聴位置に基づいて左眼視聴位置を求める。そして、視点選択部１６１は、入力画像の視点のうちの、左眼視聴位置に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。

視点選択部１６１は、図８の視点選択部６１と同様に、選択された複数の視点の視点番号を視点合成部６２に供給する。また、視点選択部１６１は、図３２の視点選択部１４１と同様に、左眼視聴位置に基づいて立体感補正用パラメータを生成し、立体感補正部４３に供給する。

[画像処理部の処理の説明]
図３１の画像処理部１０２の画像処理は、視点選択処理を除いて、図２４の画像処理と同様であるので、視点選択処理についてのみ説明する。

図３４は、図３２の入力視点選択部１２１による視点選択処理の詳細を説明するフローチャートである。

図３４のステップＳ７１において、入力視点選択部１２１の視点選択部１４１は、視聴位置と処理視点情報が指定する左眼とに基づいて、入力画像の視点から、左眼視聴位置に対応する所定の１視点を選択する。入力視点選択部４１は、選択された１視点の視点番号をセレクタ５２に供給する。

ステップＳ７２において、視点選択部１４１は、左眼視聴位置に基づいて、その左眼視聴位置の、選択された１視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成し、立体感補正部４３に供給する。

ステップＳ７３の処理は、図２５のステップＳ３３の処理と同様であるので、説明は省略する。

図３５は、図３３の入力視点選択部１２１による視点選択処理の詳細を説明するフローチャートである。

図３５のステップＳ９１において、入力視点選択部１２１の視点選択部１６１は、視聴位置と処理視点情報が指定する左眼とに基づいて、入力画像の視点から、左眼視聴位置に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。視点選択部１６１は、選択された複数の視点の視点番号を視点合成部６２に供給する。

ステップＳ９２において、視点選択部１６１は、図３２の視点選択部１４１と同様に、左眼視聴位置に基づいて立体感補正用パラメータを生成し、立体感補正部４３に供給する。

ステップＳ９３およびＳ９４の処理は、図２６のステップＳ４３およびＳ４４の処理と同様であるので、説明は省略する。

[画像処理装置の第２実施の形態の他の構成例]
図３６は、画像処理装置１００の他の構成例を示すブロック図である。

図３６に示す構成のうち、図２９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３６の画像処理装置１００の構成は、主に、画像処理部１０２の代わりに画像処理部１７１が設けられるとともに、画像処理部１０３の代わりに画像処理部１７２が設けられている点、および、デプス検出部１７３と視点生成部１７４が新たに設けられている点が図２９の構成と異なる。画像処理装置１００は、画像処理部１０２により生成された左眼用の出力画像と画像処理部１０３により生成された右眼用の出力画像を用いて共通のデプス画像を生成し、その共通のデプス画像を用いて新たな左眼用の出力画像と右眼用の出力画像を生成する。

具体的には、画像処理装置１００の画像処理部１７１は、図３１の視点生成部４５が左眼用の出力画像とともに、立体感強調部４４から供給される再構成画像を出力する点を除いて、図３１の画像処理部１０２と同様に構成される。画像処理部１７１から出力される左眼用の出力画像は、デプス検出部１７３に供給され、再構成画像は、左眼用の再構成画像として視点生成部１７４に供給される。

また、画像処理部１７２は、図２９の画像処理部１０３の視点生成部が右眼用の出力画像とともに、立体感強調部から供給される再構成画像を出力する点を除いて、画像処理部１０３と同様に構成される。画像処理部１７２から出力される右眼用の出力画像は、デプス検出部１７３に供給され、再構成画像は、右眼用の再構成画像として視点生成部１７４に供給される。

デプス検出部１７３は、画像処理部１７１から供給される左眼用の出力画像と、画像処理部１７２から供給される右眼用の出力画像を用いて、マッチング等により、共通のデプス画像を生成する。デプス検出部１７３は、生成された共通のデプス画像を視点生成部１７４に供給する。

視点生成部１７４は、表示制御部として機能し、位置検出部１１から供給される位置情報が表す視聴位置と、デプス検出部１７３から供給されるデプス画像とに基づいて、画像処理部１７１から供給される左眼用の再構成画像に対して投影処理を行う。そして、視点生成部１７４は、その結果得られる所定の１視点の画像を、左眼用の出力画像として画像表示部１０４に供給する。また、視点生成部１７４は、視聴位置とデプス画像とに基づいて、画像処理部１７２から供給される右眼用の再構成画像に対して投影処理を行う。そして、視点生成部１７４は、その結果得られる所定の１視点の画像を、右眼用の出力画像として画像表示部１０４に供給する。

[視点生成部の投影処理の説明]
図３７は、図３６の視点生成部１７４の投影処理を説明する図である。

なお、図３７は、視点生成部１７４に入力される左眼用と右眼用の再構成画像に対応する共通のデプス画像のデプス値と、その左眼用と右眼用の再構成画像の画素に対応する、左眼用と右眼用の出力画像の位置を示すグラフである。

図３７において、横軸は、左眼用と右眼用の再構成画像および出力画像の水平方向の位置を表し、縦軸は、デプス値を表す。また、図３７において、曲線は、左眼用と右眼用の再構成画像に対応する共通のデプス画像のデプス値を表す。

図３７に示すように、視点生成部１７４は、左眼用の再構成画像に対する投影処理において、まず、左眼用の再構成画像の各画素を左眼視聴位置に向けて投影する。これにより、視点生成部１７４は、例えば、図３７中Ｌが付された黒丸で表されるデプス値に対応する画素に対応する左眼用の出力画像の位置として、図３７中Ｌ’が付された灰色の丸で表される、投影線と画像表示部１０４の交点を求める。そして、視点生成部１７４は、左眼用の再構成画像の各画素の画素値を、その画素に対応する交点の画素値として用いて、左眼用の出力画像の各画素の画素値を補間する。

同様に、視点生成部１７４は、右眼用の再構成画像に対する投影処理において、まず、右眼用の再構成画像の各画素を右眼の視聴位置（以下、右眼視聴位置という）に向けて投影する。これにより、視点生成部１７４は、例えば、図３７中Ｒが付された黒丸で表されるデプス値に対応する画素に対応する右眼用の出力画像の位置として、図３７中Ｒ’が付された灰色の丸で表される、投影線と画像表示部１０４の交点を求める。そして、視点生成部１７４は、右眼用の再構成画像の各画素の画素値を、その画素に対応する交点の画素値として用いて、右眼用の出力画像の各画素の画素値を補間する。

なお、右眼視聴位置とは、例えば、視聴位置から所定の距離だけ右側にシフトした位置である。

以上のようにして、共通のデプス画像を用いて左眼用と右眼用の再構成画像に対する投影処理が行われる場合、視聴者は、共通のデプス画像に対応する奥行方向の位置に、確実に３Ｄ画像を融像することができる。

以上のように、画像処理装置１００は、視聴位置に基づいてデプス画像を補正するので、２視点の３Ｄ画像を表示する３Ｄディスプレイである画像表示部１０４において、実世界に近似する運動視差を実現することができる。その結果、視聴者は高精度の立体視を行うことができる。

＜第３実施の形態＞
［画像処理装置の第３実施の形態の構成例］
図３８は、本技術を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。

図３８に示す構成のうち、図２９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３８の画像処理装置１８０の構成は、主に、画像処理部１０２、画像処理部１０３、画像表示部１０４の代わりに、画像処理部１８１、画像処理部１８２、画像表示部１８３が設けられている点が図２９の構成と異なる。画像処理装置１８０は、１以上の視点の入力画像およびデプス画像並びに位置情報に基づいて、表示対象の多視点の３Ｄ画像のうちの２視点の３Ｄ画像として、左眼用と右眼用の２視点の出力画像を表示する。

具体的には、画像処理装置１８０の画像処理部１８１には、図２９の画像処理部１０２と同様に、外部から１以上の視点のカラー画像が入力画像として入力されるとともに、入力画像に対応する１以上の視点のデプス画像が入力される。また、画像処理部１８１は、位置検出部１１からの位置情報、対象決定部１０１からの処理視点情報、および画像表示部１８３からの表示パラメータ(詳細は後述する)に基づいて、外部から入力された入力画像とデプス画像を補正する。そして、画像処理部１８１は、補正後の入力画像とデプス画像を用いて、所定の１視点のカラー画像を生成し、左眼用の出力画像として画像表示部１８３に供給する。

なお、表示パラメータとは、画像表示部１８３で表示される多視点の３Ｄ画像のうちの各視点の画像を鑑賞可能な視聴位置を表すパラメータである。即ち、表示パラメータは、画像表示部１８３で表示される多視点の３Ｄ画像の指向性を表すパラメータである。

また、画像処理部１８１は、表示パラメータと位置情報が表す視聴位置とに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。そして、画像処理部１８１は、その視点の視点番号を左眼視点番号として画像表示部１８３に供給する。

画像処理部１８２は、画像処理部１８１と同様に構成される。また、画像処理部１８２には、画像処理部１８１と同様に、外部から１以上の視点のカラー画像が入力画像として入力されるとともに、入力画像に対応する１以上の視点のデプス画像が入力される。画像処理部１８２は、画像処理部１８１と同様に、位置検出部１１からの位置情報、対象決定部１０１からの処理視点情報、および画像表示部１８３からの表示パラメータに基づいて、外部から入力された入力画像とデプス画像を補正する。画像処理部１８２は、画像処理部１８１と同様に、補正後の入力画像とデプス画像を用いて、所定の１視点のカラー画像を生成し、右眼用の出力画像として画像表示部１８３に供給する。

また、画像処理部１８２は、表示パラメータと位置情報が表す視聴位置とに基づいて、右眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。そして、画像処理部１８２は、その視点の視点番号を右眼視点番号として画像表示部１８３に供給する。

画像表示部１８３は、多視点の３Ｄ画像を表示する３Ｄディスプレイにより構成される。画像表示部１８３は、画像処理部１８１から供給される左眼視点番号と、画像処理部１８２から供給される右眼視点番号とに基づいて、左眼用の出力画像と右眼用の出力画像を含む多視点の３Ｄ画像を生成する。例えば、画像表示部１８３は、左眼視点番号の視点の画像を左眼用の出力画像とし、右眼視点番号の視点の画像を右眼用の出力画像とし、それらの視点以外の視点の画像を所定の画像(例えば、黒画)とした多視点の３Ｄ画像を生成する。

そして、画像表示部１８３は、生成された多視点の３Ｄ画像を、視点ごとに異なる方向に向けて表示する。これにより、視聴者は、３Ｄ鑑賞用のメガネを装着せずに３Ｄ画像を鑑賞することができる。

なお、図３８の画像処理装置１８０では、入力画像に対応する１以上の視点のデプス画像が入力されたが、入力画像から生成されるようにしてもよい。この場合、図３９に示すように、画像処理装置１８０には、図４のデプス検出部２１が設けられる。また、図示は省略するが、図３８の画像処理装置１８０は、図３６の画像処理装置１００と同様に、共通のデプス画像を用いて新たな左眼用と右眼用の出力画像を生成し、その左眼用と右眼用の出力画像を含む多視点の３Ｄ画像を生成するようにしてもよい。

また、視聴者が複数存在する場合には、画像処理装置１８０は、視聴者ごとに左眼用の出力画像と右眼用の出力画像を生成し、全ての視聴者の左眼用の出力画像と右眼用の出力画像を含む多視点の３Ｄ画像を表示することができる。この場合、各視聴者に対して２視点の３Ｄ画像のみが表示されるので、隣接する視点の画像間でクロストークが発生すると、疲労感に繋がる。

[画像処理部の詳細構成例]
図４０は、図３８の画像処理部１８１の詳細構成例を示すブロック図である。

図４０に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図４０の画像処理部１８１の構成は、主に、入力視点選択部４１の代わりに入力視点選択部２０１が設けられている点が図５の構成と異なる。

具体的には、画像処理部１８１の入力視点選択部２０１は、位置検出部１１からの位置情報が表す視聴位置、対象決定部１０１からの処理視点情報、および画像表示部１８３からの表示パラメータに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。そして、入力視点選択部２０１は、その視点の視点番号を左眼視点番号として画像表示部１８３に供給する。

また、入力視点選択部２０１は、左眼視点番号に基づいて、外部から入力される入力画像の視点から所定の視点を選択する。そして、入力視点選択部２０１は、図５の入力視点選択部４１と同様に、選択された所定の視点の入力画像と、対応するデプス画像を用いて、所定の１視点の入力画像とデプス画像を生成し、拡大処理部４２に供給する。さらに、入力視点選択部２０１は、左眼視点番号、位置情報が表す視聴位置、および処理視点情報が指定する左眼に基づいて立体感補正用パラメータを生成し、立体感補正部４３に供給する。

なお、図示は省略するが、図４０の画像処理部１８１において、立体感強調部４４の後段に立体感補正部４３が設けられるようにしてもよい。

[入力視点選択部の詳細構成例]
図４１は、図４０の入力視点選択部２０１の詳細構成例を示すブロック図である。

図４１に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図４１の入力視点選択部２０１の構成は、主に、視点選択部５１の代わりに視点選択部２２１が設けられている点が図７の構成と異なる。

具体的には、入力視点選択部２０１の視点選択部２２１は、図３２の視点選択部１４１と同様に、位置検出部１１からの位置情報が表す視聴位置と、対象決定部１０１からの処理視点情報が指定する左眼とに基づいて、左眼視聴位置を求める。そして、視点選択部２２１は、左眼視聴位置と、画像表示部１８３から供給される表示パラメータとに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。そして、視点選択部２２１は、その視点の視点番号を左眼視点番号として画像表示部１８３に供給する。

また、視点選択部２２１は、左眼視点番号に基づいて、入力画像の視点のうちの、その左眼視点番号に対応する所定の１視点を選択する。視点選択部２２１は、選択された１視点の視点番号をセレクタ５２に供給する。

さらに、視点選択部２２１は、左眼視聴位置に基づいて、その左眼視聴位置の、左眼視点番号の視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成し、立体感補正部４３に供給する。なお、この初期位置は、例えば、画像表示部１８３で表示される多視点の３Ｄ画像に対応する視点ごとに設定される、その視点の３Ｄ画像を鑑賞する際に最適な位置である。

[入力視点選択部の処理の説明]
図４２および図４３は、図４１の入力視点選択部２０１の視点の選択を説明する図である。

図４２は、入力画像と、画像表示部１８３で表示される３Ｄ画像の視点数が同一である場合の視点選択部２２１の処理を説明する図である。

なお、図４２の例では、入力画像と画像表示部１８３で表示される３Ｄ画像の視点数は４である。また、図４２および図４３では、視点番号ｉの視点を視点＃ｉといい、表示パラメータが表す視聴位置のうち、視点番号ｉの視点の画像を鑑賞可能な視聴位置を視聴位置＃ｉという。

図４２に示すように、入力視点選択部２０１の視点選択部２２１は、まず、位置情報が表す視聴位置と処理視点情報が指定する左眼とに基づいて、左眼視聴位置を求める。そして、視点選択部２２１は、左眼視聴位置と表示パラメータに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。

図４２の例では、左眼視聴位置から鑑賞可能な画像表示部１８３で表示される３Ｄ画像に対応する視点が視点＃２であるため、視点選択部２２１は、左眼用の出力画像を視点＃２の画像として表示することを決定する。

また、図４２の例では、入力画像と、画像表示部１８３で表示される３Ｄ画像の視点数が同一であるので、視点選択部２２１は、入力画像の視点＃１乃至視点＃４のうちの、画像表示部１８３における視点＃２に対応する視点として、同一の視点＃２を選択する。そして、視点選択部２２１は、視点＃２の視点番号２をセレクタ５２に供給する。これにより、セレクタ５２は、入力画像およびデプス画像のうち、視点＃２の入力画像とデプス画像を選択する。

図４３は、入力画像と、画像表示部１８３で表示される３Ｄ画像の視点数が異なる場合の視点選択部２２１の処理を説明する図である。

なお、図４３の例では、入力画像の視点数は７であり、画像表示部１８３で表示される３Ｄ画像の視点数は４である。

図４３に示すように、視点選択部２２１は、まず、位置情報が表す視聴位置と処理視点情報が指定する左眼とに基づいて、左眼視聴位置を求める。そして、視点選択部２２１は、左眼視聴位置と表示パラメータに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。

図４３の例では、左眼視聴位置から鑑賞可能な画像表示部１８３で表示される３Ｄ画像に対応する視点が視点＃２であるため、視点選択部２２１は、左眼用の出力画像を視点＃２の画像として表示することを決定する。

また、図４３の例では、入力画像と、画像表示部１８３で表示される３Ｄ画像の視点数が異なっているので、視点選択部２２１は、入力画像の視点＃１乃至視点＃７のうちの、画像表示部１８３における視点＃２に対応する視点として、例えば視点＃３を選択する。そして、視点選択部２２１は、視点＃３の視点番号３をセレクタ５２に供給する。これにより、セレクタ５２は、入力画像およびデプス画像のうち、視点＃３の入力画像とデプス画像を選択する。

図４４は、図４１の視点選択部２２１の立体感補正用パラメータの生成を説明する図である。

図４４の例では、入力画像と画像表示部１８３で表示される３Ｄ画像の視点数は４である。また、図４４では、視点番号ｉの視点を視点＃ｉといい、表示パラメータが表す視聴位置のうち、視点番号ｉの視点の画像を鑑賞可能な視聴位置を視聴位置＃ｉという。

図４４に示すように、左眼視点番号が２である場合、視点選択部２２１は、左眼視聴位置の、視点＃２に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成する。

［入力視点選択部の他の詳細構成例］
図４５は、図４０の入力視点選択部２０１の他の詳細構成例を示すブロック図である。

図４５の入力視点選択部２０１の構成は、主に、視点選択部６１の代わりに視点選択部２４１が設けられている点が図８の構成と異なる。

具体的には、入力視点選択部２０１の視点選択部２４１は、図３３の視点選択部１６１と同様に、位置検出部１１からの位置情報が表す視聴位置と、対象決定部１０１からの処理視点情報が指定する左眼とに基づいて、左眼視聴位置を求める。そして、視点選択部２４１は、左眼視聴位置と、画像表示部１８３から供給される表示パラメータとに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。そして、視点選択部２４１は、その視点の視点番号を左眼視点番号として画像表示部１８３に供給する。

また、視点選択部２４１は、左眼視点番号に基づいて、入力画像の視点のうちの、その左眼視点番号に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。視点選択部２４１は、選択された複数の視点の視点番号を視点合成部６２に供給する。さらに、視点選択部２４１は、図４１の視点選択部２２１と同様に、左眼視聴位置に基づいて立体感補正用パラメータを生成し、立体感補正部４３に供給する。

[他の入力視点選択部の処理の説明]
図４６は、図４５の入力視点選択部２０１の視点の選択を説明する図である。

なお、図４６の例では、入力画像の視点数は７であり、画像表示部１８３で表示される３Ｄ画像の視点数は４である。また、図４６では、視点番号ｉの視点を視点＃ｉといい、表示パラメータが表す視聴位置のうち、視点番号ｉの視点の画像を鑑賞可能な視聴位置を視聴位置＃ｉという。

図４６に示すように、入力視点選択部２０１の視点選択部２４１は、まず、位置情報が表す視聴位置と処理視点情報が指定する左眼とに基づいて、左眼視聴位置を求める。そして、視点選択部２４１は、左眼視聴位置と表示パラメータに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。

図４６の例では、左眼視聴位置から鑑賞可能な画像表示部１８３で表示される３Ｄ画像に対応する視点が視点＃２であるため、視点選択部２４１は、左眼用の出力画像を視点＃２の画像として表示することを決定する。

また、視点選択部２４１は、入力画像の視点＃１乃至視点＃７のうちの、画像表示部１８３における視点＃２に対応する視点＃３と、視点＃３に隣接する視点＃２および視点＃４を選択する。そして、視点選択部２４１は、視点＃２乃至視点＃４の視点番号２乃至４を視点合成部６２に供給する。これにより、視点合成部６２は、入力画像とデプス画像のうち、視点＃２乃至視点＃４の入力画像とデプス画像を選択し、それぞれを合成することにより、所定の１視点の入力画像とデプス画像を生成する。

[画像処理部の処理の説明]
図４０の画像処理部１８１の画像処理は、視点選択処理を除いて、図２４の画像処理と同様であるので、視点選択処理についてのみ説明する。

図４７は、図４１の入力視点選択部２０１による視点選択処理の詳細を説明するフローチャートである。

図４７のＳ１１０において、入力視点選択部２０１の視点選択部２２１は、位置検出部１１からの位置情報が表す視聴位置と、対象決定部１０１からの処理視点情報が指定する左眼とに基づいて、左眼視聴位置を求める。

ステップＳ１１１において、視点選択部２２１は、左眼視聴位置と、画像表示部１８３から供給される表示パラメータとに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。そして、視点選択部２２１は、その視点の視点番号を左眼視点番号として画像表示部１８３に供給する。

ステップＳ１１２において、視点選択部２２１は、左眼視点番号に基づいて、入力画像の視点から、その左眼視点番号に対応する所定の１視点を選択する。視点選択部２２１は、選択された１視点の視点番号をセレクタ５２に供給する。

ステップＳ１１３において、視点選択部２２１は、左眼視聴位置に基づいて、その左眼視聴位置の、左眼視点番号の視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成し、立体感補正部４３に供給する。

ステップＳ１１４の処理は、図３４のステップＳ７３の処理と同様であるので、説明は省略する。

図４８は、図４５の入力視点選択部２０１による視点選択処理の詳細を説明するフローチャートである。

図４８のＳ１２０において、入力視点選択部２０１の視点選択部２４１は、位置検出部１１からの位置情報が表す視聴位置と、対象決定部１０１からの処理視点情報が指定する左眼とに基づいて、左眼視聴位置を求める。

ステップＳ１２１において、視点選択部２４１は、左眼視聴位置と、画像表示部１８３から供給される表示パラメータとに基づいて、左眼用の出力画像を、画像表示部１８３で表示される多視点の３Ｄ画像のうちのいずれの視点の画像として表示するかを決定する。そして、視点選択部２４１は、その視点の視点番号を左眼視点番号として画像表示部１８３に供給する。

ステップＳ１２２において、視点選択部２４１は、左眼視点番号に基づいて、入力画像の視点のうちの、その左眼視点番号に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。そして、視点選択部２４１は、選択された複数の視点の視点番号を視点合成部６２に供給する。

ステップＳ１２３において、視点選択部２４１は、左眼視聴位置に基づいて、その左眼視聴位置の、左眼視点番号の視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成し、立体感補正部４３に供給する。

ステップＳ１２４およびＳ１２５の処理は、図３５のステップＳ９３およびＳ９４の処理と同様であるので、説明は省略する。

以上のように、画像処理装置１８０は、視聴位置に基づいてデプス画像を補正するので、多視点の３Ｄ画像を表示する３Ｄディスプレイである画像表示部１８３において、実世界に近似する運動視差を実現することができる。その結果、視聴者は高精度の立体視を行うことができる。

また、画像処理装置１８０は、左眼視聴位置および右眼視聴位置で視聴可能な２視点の出力画像のみを生成するので、画像表示部１８３で表示可能な多視点分の出力画像を生成する場合に比べて処理負荷を軽減することができる。

＜第４実施の形態＞
［画像処理装置の第４実施の形態の構成例］
図４９は、本技術を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。

図４９に示す構成のうち、図３８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図４９の画像処理装置２６０の構成は、主に、対象決定部１０１の代わりに対象決定部２６１が設けられている点、画像処理部１８１と画像処理部１８２の代わりに、画像処理部２６２−１乃至２６２−Ｎ（Ｎは３以上の整数）が設けられている点、および、画像表示部１８３の代わりに画像表示部２６３が設けられている点が図３８の構成と異なる。画像処理装置２６０は、１以上の視点の入力画像およびデプス画像並びに位置情報に基づいて、表示対象のＮ視点の３Ｄ画像として、Ｎ視点の出力画像を表示する。

具体的には、画像処理装置２６０の対象決定部２６１は、画像処理部２６２−１乃至２６２−Ｎにおける生成対象に対応する視点として、Ｎ視点の各視点を指定する処理視点情報を、それぞれ、画像処理部２６２−１乃至２６２−Ｎに供給する。

画像処理部２６２−１乃至２６２−Ｎには、それぞれ、図３８の画像処理部１８１と同様に、外部から１以上の視点のカラー画像が入力画像として入力されるとともに、入力画像に対応する１以上の視点のデプス画像が入力される。また、画像処理部２６２−１乃至２６２−Ｎは、位置検出部１１からの位置情報、対象決定部２６１からの処理視点情報、および画像表示部２６３からの表示パラメータに基づいて、外部から入力された入力画像とデプス画像を補正する。そして、画像処理部２６２−１乃至２６２−Ｎは、補正後の入力画像とデプス画像を用いて所定の１視点のカラー画像を生成し、処理視点情報が指定する視点の出力画像として画像表示部２６３に供給する。

なお、以下では、画像処理部２６２−１乃至２６２−Ｎを特に区別する必要がない場合、それらをまとめて画像処理部２６２という。

画像表示部２６３は、多視点の３Ｄ画像を表示する３Ｄディスプレイにより構成される。画像表示部２６３は、画像処理部２６２から供給されるＮ視点の出力画像からＮ視点の３Ｄ画像を生成する。例えば、画像表示部２６３は、画像処理部２６２から供給される出力画像を順に、１乃至Ｎ番目の視点の画像としたＮ視点の３Ｄ画像を生成する。

そして、画像表示部２６３は、生成されたＮ視点の３Ｄ画像を、視点ごとに異なる方向に向けて表示する。これにより、視聴者は、３Ｄ鑑賞用のメガネを装着せずに、Ｎ視点のうちの２視点の画像からなる３Ｄ画像を鑑賞することができる。

なお、図４９の画像処理装置２６０では、入力画像に対応する１以上の視点のデプス画像が入力されたが、入力画像から生成されるようにしてもよい。この場合、図５０に示すように、画像処理装置１８０には、図４のデプス検出部２１が設けられる。また、図示は省略するが、図４９の画像処理装置２６０は、図３６の画像処理装置１００と同様に、所定の２視点ごとに共通のデプス画像を用いて新たなＮ視点の出力画像を生成し、そのＮ視点の出力画像からＮ視点の３Ｄ画像を生成するようにしてもよい。

また、視聴者が複数存在する場合には、画像処理装置２６０は、Ｎ視点を視聴者の人数で分割して各視聴者に割り当て、視聴者ごとに、割り当てられた視点分の出力画像を生成し、全ての視聴者の出力画像からなるＮ視点の３Ｄ画像を表示することができる。この場合、各視聴者に対して、各視聴者が鑑賞している２視点以外の視点の３Ｄ画像も表示されるので、隣接する視点の画像間でクロストークが発生した場合であっても、疲労感が発生しにくい。

[画像処理部の詳細構成例]
図５１は、図４９の画像処理部２６２の詳細構成例を示すブロック図である。

図５１に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図５１の画像処理部２６２の構成は、主に、入力視点選択部４１の代わりに入力視点選択部２８１が設けられている点が図５の構成と異なる。

具体的には、画像処理部２６２の入力視点選択部２８１は、対象決定部２６１からの処理視点情報に基づいて、外部から入力される入力画像の視点から所定の視点を選択する。そして、入力視点選択部２８１は、図５の入力視点選択部４１と同様に、選択された所定の視点の入力画像と、対応するデプス画像を用いて、所定の１視点の入力画像とデプス画像を生成し、拡大処理部４２に供給する。

また、入力視点選択部２８１は、位置検出部１１からの位置情報が表す視聴位置と、画像表示部２６３からの表示パラメータとに基づいて、画像表示部２６３で表示される多視点の３Ｄ画像のうちの、視聴位置から視聴可能な３Ｄ画像に対応する視点を検出する。そして、入力視点選択部２８１は、検出された視点、視聴位置、および、対象決定部２６１からの処理視点情報に基づいて、立体感補正用パラメータを生成し、立体感補正部４３に供給する。

なお、図示は省略するが、図５１の画像処理部２６２において、立体感強調部４４の後段に立体感補正部４３が設けられるようにしてもよい。

[入力視点選択部の詳細構成例]
図５２は、図５１の入力視点選択部２８１の詳細構成例を示すブロック図である。

図５２に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図５２の入力視点選択部２８１の構成は、主に、視点選択部５１の代わりに視点選択部３０１が設けられている点が図７の構成と異なる。

具体的には、入力視点選択部２８１の視点選択部３０１は、対象決定部２６１からの処理視点情報に基づいて、入力画像の視点のうちの、処理視点情報が指定する視点に対応する所定の１視点を選択する。そして、視点選択部３０１は、選択された１視点の視点番号をセレクタ５２に供給する。

また、視点選択部３０１は、位置検出部１１からの位置情報が表す視聴位置と、画像表示部２６３からの表示パラメータとに基づいて、画像表示部２６３で表示される多視点の３Ｄ画像のうちの、視聴位置から視聴可能な３Ｄ画像に対応する視点を検出する。そして、視点選択部３０１は、検出された視点、視聴位置、および処理視点情報に基づいて、処理視点情報が指定する視点に対応する位置の、その視点に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータとして生成する。そして、視点選択部３０１は、その立体感補正用パラメータを立体感補正部４３に供給する。

[入力視点選択部の処理の説明]
図５３および図５４は、図５２の入力視点選択部２８１の視点の選択を説明する図である。

図５３は、入力画像と、画像表示部２６３で表示される３Ｄ画像の視点数が同一である場合の視点選択部３０１の処理を説明する図である。

なお、図５３の例では、入力画像と画像表示部２６３で表示される３Ｄ画像の視点数は４である。また、図５３および図５４では、視点番号ｉの視点を視点＃ｉといい、表示パラメータが表す視聴位置のうち、視点番号ｉの視点の画像を鑑賞可能な視聴位置を視聴位置＃ｉという。

図５３に示すように、入力視点選択部２８１の視点選択部３０１は、対象決定部２６１からの処理視点情報に基づいて、入力画像の視点のうちの、処理視点情報が指定する視点に対応する所定の１視点を選択し、その１視点の視点番号をセレクタ５２に供給する。図５３の例では、入力画像と、画像表示部２６３で表示される３Ｄ画像の視点数が同一であるので、視点選択部３０１は、入力画像の視点＃１乃至視点＃４のうちの、処理視点情報が指定する視点＃４に対応する視点として、同一の視点＃４を選択する。そして、視点選択部３０１は、視点＃４の視点番号４をセレクタ５２に供給する。これにより、セレクタ５２は、入力画像およびデプス画像のうち、視点＃４の入力画像とデプス画像を選択する。

図５４は、入力画像と、画像表示部２６３で表示される３Ｄ画像の視点数が異なる場合の視点選択部３０１の処理を説明する図である。

なお、図５４の例では、入力画像の視点数は８であり、画像表示部２６３で表示される３Ｄ画像の視点数は４である。

図５４に示すように、視点選択部３０１は、対象決定部２６１からの処理視点情報に基づいて、入力画像の視点のうちの、処理視点情報が指定する視点に対応する所定の１視点を選択し、その１視点の視点番号をセレクタ５２に供給する。図５４の例では、入力画像と、画像表示部２６３で表示される３Ｄ画像の視点数が異なっているので、視点選択部３０１は、入力画像の視点＃１乃至視点＃８のうちの、処理視点情報が指定する視点＃４に対応する視点として、例えば視点＃７を選択する。そして、視点選択部３０１は、視点＃７の視点番号７をセレクタ５２に供給される。これにより、セレクタ５２は、入力画像およびデプス画像のうち、視点＃７の入力画像とデプス画像を選択する。

図５５は、図５２の視点選択部３０１の立体感補正用パラメータの生成を説明する図である。

図５５の例では、入力画像と画像表示部２６３で表示される３Ｄ画像の視点数は４である。また、図５５では、視点番号ｉの視点を視点＃ｉといい、表示パラメータが表す視聴位置のうち、視点番号ｉの視点の画像を鑑賞可能な視聴位置を視聴位置＃ｉという。

図５５に示すように、視点選択部３０１は、まず、位置検出部１１からの位置情報が表す視聴位置と、画像表示部２６３からの表示パラメータとに基づいて、画像表示部２６３で表示される多視点の３Ｄ画像のうちの、視聴位置から視聴可能な３Ｄ画像に対応する視点を検出する。図５５の例では、視聴位置から鑑賞可能な画像表示部２６３で表示される３Ｄ画像に対応する視点として、視点＃２が検出される。

そして、視点選択部３０１は、検出された視点＃２、視聴位置、および、処理視点情報が指定する視点＃４に基づいて、例えば、視点＃２に対応する視聴位置＃２と奥行方向の位置が同一であり、水平方向の位置が視点＃４を鑑賞可能な水平方向の位置である位置を、視点＃４に対応する位置とする。視点選択部３０１は、その視点＃４に対応する位置の、視点＃４に対して予め設定された初期位置を基準とした座標を、立体感補正用パラメータを生成する。

［入力視点選択部の他の詳細構成例］
図５６は、図５１の入力視点選択部２８１の他の詳細構成例を示すブロック図である。

図５６の入力視点選択部２８１の構成は、主に、視点選択部６１の代わりに視点選択部３２１が設けられている点が図８の構成と異なる。

具体的には、入力視点選択部２８１の視点選択部３２１は、対象決定部２６１からの処理視点情報に基づいて、入力画像の視点のうちの、処理視点情報が指定する視点に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。そして、視点選択部３０１は、選択された複数の視点の視点番号を視点合成部６２に供給する。

また、視点選択部３２１は、図５２の視点選択部３０１と同様に、位置検出部１１からの位置情報が表す視聴位置と、画像表示部２６３からの表示パラメータとに基づいて、画像表示部２６３で表示される多視点の３Ｄ画像のうちの、視聴位置から視聴可能な３Ｄ画像に対応する視点を検出する。そして、視点選択部３２１は、視点選択部３０１と同様に、検出された視点、視聴位置、および処理視点情報に基づいて、立体感補正用パラメータを生成し、立体感補正部４３に供給する。

[他の入力視点選択部の処理の説明]
図５７は、図５６の入力視点選択部２８１の視点の選択を説明する図である。

なお、図５７の例では、入力画像の視点数は８であり、画像表示部２６３で表示される３Ｄ画像の視点数は４である。また、図５７では、視点番号ｉの視点を視点＃ｉといい、表示パラメータが表す視聴位置のうち、視点番号ｉの視点の画像を鑑賞可能な視聴位置を視聴位置＃ｉという。

図５７に示すように、入力視点選択部２８１の視点選択部３２１は、対象決定部２６１からの処理視点情報に基づいて、入力画像の視点のうちの、処理視点情報が指定する視点に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。

図５７の例では、入力画像と、画像表示部２６３で表示される３Ｄ画像の視点数が異なっているので、視点選択部３２１は、入力画像の視点＃１乃至視点＃８のうちの、処理視点情報が指定する視点＃４に対応する視点として、例えば視点＃７を選択する。また、視点選択部３２１は、視点＃７に隣接する視点＃６および視点＃８も選択する。そして、視点選択部３２１は、視点＃６乃至視点＃８の視点番号６乃至８を視点合成部６２に供給する。これにより、視点合成部６２は、入力画像およびデプス画像のうち、視点＃６乃至＃８の入力画像とデプス画像を選択し、それぞれを合成することにより、所定の１視点の入力画像とデプス画像を生成する。

[画像処理部の処理の説明]
図５１の画像処理部２６２の画像処理は、視点選択処理を除いて、図２４の画像処理と同様であるので、視点選択処理についてのみ説明する。

図５８は、図５２の入力視点選択部２８１による視点選択処理の詳細を説明するフローチャートである。

図５８のＳ１４１において、入力視点選択部２８１の視点選択部３０１は、対象決定部２６１からの処理視点情報に基づいて、入力画像の視点から、処理視点情報が指定する視点に対応する所定の１視点を選択する。そして、視点選択部３０１は、選択された１視点の視点番号をセレクタ５２に供給する。

ステップＳ１４２において、視点選択部３０１は、位置検出部１１からの位置情報が表す視聴位置、処理視点情報、および、画像表示部２６３からの表示パラメータに基づいて、立体感補正用パラメータを生成する。そして、視点選択部３０１は、その立体感補正用パラメータを立体感補正部４３に供給する。

ステップＳ１４３の処理は、図３４のステップＳ７３の処理と同様であるので、説明は省略する。

図５９は、図５６の入力視点選択部２８１による視点選択処理の詳細を説明するフローチャートである。

図５９のＳ１６１において、入力視点選択部２８１の視点選択部３２１は、対象決定部２６１からの処理視点情報に基づいて、入力画像の視点から、処理視点情報が指定する視点に対応する所定の１視点と、その１視点に隣接する視点からなる複数の視点を選択する。そして、視点選択部３０１は、選択された複数の視点の視点番号を視点合成部６２に供給する。

ステップＳ１６２において、視点選択部３２１は、位置検出部１１からの位置情報が表す視聴位置、処理視点情報、および画像表示部２６３からの表示パラメータに基づいて、立体感補正用パラメータを生成し、立体感補正部４３に供給する。

ステップＳ１６３およびＳ１６４の処理は、図３５のステップＳ９３およびＳ９４の処理と同様であるので、説明は省略する。

以上のように、画像処理装置２６０は、視聴位置に基づいてデプス画像を補正するので、多視点の３Ｄ画像を表示する３Ｄディスプレイである画像表示部２６３において、実世界に近似する運動視差を実現することができる。その結果、視聴者は高精度の立体視を行うことができる。

なお、上述した画像処理装置１０（１００，１８０，２６０）が携帯型の装置である場合には、位置検出部１１は、視聴者の位置の代わりに、画像処理装置１０（１００，１８０，２６０）の位置や傾き等を検出するようにしてもよい。この場合、画像処理装置１０（１００，１８０，２６０）の位置や傾きに基づいて視聴位置が求められる。また、画像処理装置１０（１００，１８０，２６０）のサイズや表示解像度等も外部から入力されるようにすることができる。

また、画像処理装置１００（１８０，２６０）は、画像処理装置１０と同様に、出力画像に対応するデプス画像も出力するようにしてもよい。

さらに、本実施の形態では、運動視差処理および空気遠近感処理が、位置情報に基づいて行われたが、視聴者の疲労や情動などに基づいて行われるようにしてもよい。

[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図６０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部５０８やROM（Read Only Memory）５０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア５１１に格納（記録）しておくことができる。このようなリムーバブルメディア５１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア５１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア５１１からドライブ５１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部５０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)５０１を内蔵しており、CPU５０１には、バス５０４を介して、入出力インタフェース５０５が接続されている。

CPU５０１は、入出力インタフェース５０５を介して、ユーザによって、入力部５０６が操作等されることにより指令が入力されると、それに従って、ROM５０２に格納されているプログラムを実行する。あるいは、CPU５０１は、記憶部５０８に格納されたプログラムを、RAM(Random Access Memory)５０３にロードして実行する。

これにより、CPU５０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU５０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース５０５を介して、出力部５０７から出力、あるいは、通信部５０９から送信、さらには、記憶部５０８に記録等させる。

なお、入力部５０６は、キーボードや、マウス、マイク等で構成される。また、出力部５０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は、以下のような構成もとることができる。

（１）
視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する画像処理部
を備える画像処理装置。
（２）
前記画像処理部は、前記視聴位置情報に基づいて、前記所定の視点のデプス画像の各画素の補正量を、前記所定の視点のデプス画像のうち、奥行方向の位置がより手前側であることを表すデプス値に対応する画素ほど大きくなるように決定し、前記画素ごとに、その画素の補正量だけ前記デプス値を補正する
前記（１）に記載の画像処理装置。
（３）
前記画像処理部は、前記視聴者の位置が、所定の初期位置より、前記画像処理部により補正された前記所定の視点のデプス画像に基づいて前記所定の視点のカラー画像を表示する表示装置側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記補正量だけ手前側方向に補正し、前記視聴者の位置が、前記所定の初期位置より前記表示装置とは反対側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記補正量だけ奥側方向に補正する
前記（２）に記載の画像処理装置。
（４）
前記画像処理部は、前記視聴者位置情報に基づいて、前記所定の視点のデプス画像とカラー画像のスケーリングの中心点を決定し、前記所定の視点のデプス画像とカラー画像の各画素のスケーリング率を、前記中心点からの距離がより遠く、奥行方向の位置がより手前側であることを表すデプス値に対応する画素ほど大きくなるように決定し、前記画素ごとに、その画素のスケーリング率で前記中心点を中心として前記デプス値と前記所定の視点のカラー画像を構成する画素値をスケーリングする
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記画像処理部は、前記視聴者の位置が、所定の初期位置より、前記画像処理部により補正された前記所定の視点のデプス画像に基づいて前記所定の視点のカラー画像を表示する表示装置側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記スケーリング率で拡大し、前記視聴者の位置が、前記所定の初期位置より前記表示装置とは反対側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記スケーリング率で縮小する
前記（４）に記載の画像処理装置。
（６）
前記所定の視点のデプス画像を拡大する拡大処理部
をさらに備え、
前記画像処理部は、前記視聴者位置情報に基づいて、前記拡大処理部により拡大された前記所定の視点のデプス画像のスケーリングを行う
前記（５）に記載の画像処理装置。
（７）
前記画像処理部はまた、前記視聴者の注視点の位置を表す注視点位置情報に基づいて、前記所定の視点のカラー画像の前記注視点付近の領域に対して、エンハンスまたはコントラストを向上させる処理を行い、前記注視点付近以外の領域に対して、エンハンスまたはコントラストを低下させる処理を行う
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を表示装置に表示させる表示制御部
をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記位置情報に基づいて、複数の視点のデプス画像から前記所定の視点のデプス画像を選択する選択部
をさらに備える
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記位置情報に基づいて、複数の視点のデプス画像から所定の複数の視点のデプス画像を選択する選択部と、
前記選択部により選択された前記所定の複数の視点のデプス画像を合成し、前記所定の視点のデプス画像を生成する合成部と
をさらに備える
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１１）
前記所定の視点は、複数の視点であり、
前記画像処理部は、前記所定の視点の視点ごとに、前記位置情報に基づいて、その視点のデプス画像を補正する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（１２）
前記所定の視点の視点ごとに、前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を、前記所定の視点の視点数より多い視点の画像を表示する表示装置に表示させる表示制御部と、
前記位置情報に基づいて、前記表示装置に表示される画像に対応する視点から、前記投影処理の結果得られる前記所定の視点のカラー画像に割り当てる視点を選択し、その視点に基づいて、複数の視点のデプス画像から前記所定の視点のデプス画像を選択する選択部と
をさらに備える
前記（１１）に記載の画像処理装置。
（１３）
前記所定の視点の視点ごとに、前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を、前記所定の視点の視点数より多い視点の画像を表示する表示装置に表示させる表示制御部と、
前記位置情報に基づいて、前記表示装置に表示される画像に対応する視点から、前記投影処理の結果得られる前記所定の視点のカラー画像に割り当てる視点を選択し、その視点に基づいて、複数の視点のカラー画像から所定の複数の視点のカラー画像を選択する選択部と、
前記選択部により選択された前記所定の複数の視点のカラー画像を合成し、前記所定の視点のカラー画像を生成する合成部と
をさらに備える
前記（１１）に記載の画像処理装置。
（１４）
前記所定の視点の視点ごとに、前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行う投影処理部と、
前記投影処理部による投影処理の結果得られる前記所定の視点のカラー画像を用いて、そのカラー画像に共通のデプス画像を生成する生成部と、
前記所定の視点の視点ごとに、前記位置情報と前記生成部により生成された前記デプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を、表示装置に表示させる表示制御部
を更に備える
前記（１１）に記載の画像処理装置。
（１５）
画像処理装置が、
視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する画像処理ステップ
を含む画像処理方法。
（１６）
コンピュータに、
視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する画像処理ステップ
を含む処理を実行させるためのプログラム。

１０ 画像処理装置， １２ 画像処理部， １３ 画像表示部， ４１ 入力視点選択部， ４２ 拡大処理部， ４３ 立体感補正部， ４４ 立体感強調部， ４５ 視点生成部， ５１，６１ 視点選択部， ６２ 視点合成部， ８１ デプス補正部， ８２ スケーリング部， １００ 画像処理装置， １０２，１０３ 画像処理部， １０４ 画像表示部， １２１ 入力視点選択部， １４１，１６１ 視点選択部， １７１，１７２ 画像処理部， １７３ デプス検出部， １７４ 視点生成部， ２６０ 画像処理装置， ２６２−１乃至２６２−Ｎ 画像処理部， ２６３ 画像表示部， ２８１ 入力視点選択部， ３０１，３２１ 視点選択部

Claims (16)

1. 視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する画像処理部
   を備える画像処理装置。
2. 前記画像処理部は、前記視聴位置情報に基づいて、前記所定の視点のデプス画像の各画素の補正量を、前記所定の視点のデプス画像のうち、奥行方向の位置がより手前側であることを表すデプス値に対応する画素ほど大きくなるように決定し、前記画素ごとに、その画素の補正量だけ前記デプス値を補正する
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記視聴者の位置が、所定の初期位置より、前記画像処理部により補正された前記所定の視点のデプス画像に基づいて前記所定の視点のカラー画像を表示する表示装置側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記補正量だけ手前側方向に補正し、前記視聴者の位置が、前記所定の初期位置より前記表示装置とは反対側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記補正量だけ奥側方向に補正する
   請求項２に記載の画像処理装置。
4. 前記画像処理部は、前記視聴者位置情報に基づいて、前記所定の視点のデプス画像とカラー画像のスケーリングの中心点を決定し、前記所定の視点のデプス画像とカラー画像の各画素のスケーリング率を、前記中心点からの距離がより遠く、奥行方向の位置がより手前側であることを表すデプス値に対応する画素ほど大きくなるように決定し、前記画素ごとに、その画素のスケーリング率で前記中心点を中心として前記デプス値と前記所定の視点のカラー画像を構成する画素値をスケーリングする
   請求項１に記載の画像処理装置。
5. 前記画像処理部は、前記視聴者の位置が、所定の初期位置より、前記画像処理部により補正された前記所定の視点のデプス画像に基づいて前記所定の視点のカラー画像を表示する表示装置側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記スケーリング率で拡大し、前記視聴者の位置が、前記所定の初期位置より前記表示装置とは反対側にある場合、前記所定の視点のデプス画像の各画素のデプス値を前記スケーリング率で縮小する
   請求項４に記載の画像処理装置。
6. 前記所定の視点のデプス画像を拡大する拡大処理部
   をさらに備え、
   前記画像処理部は、前記視聴者位置情報に基づいて、前記拡大処理部により拡大された前記所定の視点のデプス画像のスケーリングを行う
   請求項５に記載の画像処理装置。
7. 前記画像処理部はまた、前記視聴者の注視点の位置を表す注視点位置情報に基づいて、前記所定の視点のカラー画像の前記注視点付近の領域に対して、エンハンスまたはコントラストを向上させる処理を行い、前記注視点付近以外の領域に対して、エンハンスまたはコントラストを低下させる処理を行う
   請求項１に記載の画像処理装置。
8. 前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を表示装置に表示させる表示制御部
   をさらに備える
   請求項１に記載の画像処理装置。
9. 前記位置情報に基づいて、複数の視点のデプス画像から前記所定の視点のデプス画像を選択する選択部
   をさらに備える
   請求項１に記載の画像処理装置。
10. 前記位置情報に基づいて、複数の視点のデプス画像から所定の複数の視点のデプス画像を選択する選択部と、
    前記選択部により選択された前記所定の複数の視点のデプス画像を合成し、前記所定の視点のデプス画像を生成する合成部と
    をさらに備える
    請求項１に記載の画像処理装置。
11. 前記所定の視点は、複数の視点であり、
    前記画像処理部は、前記所定の視点の視点ごとに、前記位置情報に基づいて、その視点のデプス画像を補正する
    請求項１に記載の画像処理装置。
12. 前記所定の視点の視点ごとに、前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を、前記所定の視点の視点数より多い視点の画像を表示する表示装置に表示させる表示制御部と、
    前記位置情報に基づいて、前記表示装置に表示される画像に対応する視点から、前記投影処理の結果得られる前記所定の視点のカラー画像に割り当てる視点を選択し、その視点に基づいて、複数の視点のデプス画像から前記所定の視点のデプス画像を選択する選択部と
    をさらに備える
    請求項１１に記載の画像処理装置。
13. 前記所定の視点の視点ごとに、前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を、前記所定の視点の視点数より多い視点の画像を表示する表示装置に表示させる表示制御部と、
    前記位置情報に基づいて、前記表示装置に表示される画像に対応する視点から、前記投影処理の結果得られる前記所定の視点のカラー画像に割り当てる視点を選択し、その視点に基づいて、複数の視点のカラー画像から所定の複数の視点のカラー画像を選択する選択部と、
    前記選択部により選択された前記所定の複数の視点のカラー画像を合成し、前記所定の視点のカラー画像を生成する合成部と
    をさらに備える
    請求項１１に記載の画像処理装置。
14. 前記所定の視点の視点ごとに、前記位置情報と前記画像処理部により補正された前記所定の視点のデプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行う投影処理部と、
    前記投影処理部による投影処理の結果得られる前記所定の視点のカラー画像を用いて、そのカラー画像に共通のデプス画像を生成する生成部と、
    前記所定の視点の視点ごとに、前記位置情報と前記生成部により生成された前記デプス画像に基づいて、前記所定の視点のカラー画像を前記視聴者の位置に投影する投影処理を行い、投影処理の結果得られる前記所定の視点のカラー画像を、表示装置に表示させる表示制御部
    を更に備える
    請求項１１に記載の画像処理装置。
15. 画像処理装置が、
    視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する画像処理ステップ
    を含む画像処理方法。
16. コンピュータに、
    視聴者の位置を表す情報である視聴者位置情報に基づいて、所定の視点のカラー画像の各画素の奥行方向の位置を表すデプス値からなるデプス画像を補正する画像処理ステップ
    を含む処理を実行させるためのプログラム。

Images