JP2012138885A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】簡易な信号処理により新たな視点からの画像を生成可能とした構成を提供する。
【解決手段】３次元画像表示に適用する右眼用の画像信号と左眼用の画像信号を入力し、右画像変換部が右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する。同様に、左画像変換部左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する。これら右画像変換部の生成画像、および左画像変換部の生成画像を複数の新たな視点画像として出力する。変換画像は、例えば入力画像の輝度微分信号、あるいは輝度微分信号の非線形変換信号を入力画像信号に対して加算／減算する処理によって生成する。
【選択図】図４

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元画像に対する画像変換を実行して例えば３Ｄ画像として利用可能な多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

ユーザが立体的な画像を知覚することが出来る３Ｄテレビにおいて、メガネを装着しなくても立体画像を視聴することができる裸眼３Ｄテレビが実用化され始めている。裸眼３Ｄテレビでは、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御している。すなわち、左眼用画像と右眼用画像を生成して左眼用画像は左眼でのみ観察させ、右眼用画像は右眼でのみ観察させる構成としている。
このような技術を用いることで、左眼と右眼に入る画像が混ざるクロストークを抑制し、メガネを装着しなくても立体視が可能となる。

しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼には右眼用の画像が、右眼には左眼用の画像が入ってしまう逆視や、左眼用画像と右眼用画像が混ざるクロストークが発生する。

この問題を解決するために、正規の１つの観察位置に対応する標準の左眼用画像と右眼用画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。すなわち、ユーザの様々な観察位置に応じた左眼用画像と右眼用画像を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。

具体的には、表示装置に入力されるオリジナルの２視点の画像、すなわち左眼用画像と右眼用画像の２つの視点画像に基づいて、さらに、これら２つの視点以外の視点画像を生成する。ディスプレイに対するユーザの観察位置に応じて、オリジナルの左眼用画像と右眼用画像、さらに生成した擬似的な視点画像の中からユーザ観察位置に応じた最適な２つの画像を組み合わせて表示することで左眼用画像と右眼用画像が混ざるクロストークを抑制した表示、観察が可能となる。

具体的な処理例について図参照して説明する。
図１は、２つの異なる視点から被写体Ａ，Ｂを撮影する場合に得られる画像を表わしている。図に示す通り、左カメラ１１で撮影される左画像２１と、右カメラ１２で撮影される右画像２２では被写体の位置がカメラからの距離に応じて異なり、例えば被写体Ｂは左画像２１よりも右画像２２の方がより多く被写体Ａの像に隠れている。

図２は、４つの異なる視点（視点１〜４）から被写体を撮影する場合に得られる画像を表わしている。左から順に視点１カメラ３１、視点２カメラ３２、視点３カメラ３３、視点４カメラ３４、これら４つのカメラで被写体Ａ，Ｂを撮影する。
視点１カメラ３１の撮影画像が、視点１画像４１、
視点２カメラ３２の撮影画像が、視点２画像４２、
視点３カメラ３３の撮影画像が、視点３画像４３、
視点４カメラ３４の撮影画像が、視点４画像４４、
である。
図に示す通り、視点数が増えてカメラ間の距離が離れるに従って、視点１〜４の画像では被写体の位置の変化が大きくなる。

もし３Ｄ画像表示を実行する画像処理装置に対する入力画像が視点２と視点３に相当する２つの画像しかない場合、画像処理装置の多視点画像生成部は、例えば視点２画像４２に基づいて視点１画像４１を生成し、視点３画像４３を利用して視点４画像４４を疑似的に生成する。

しかし、例えば視点１画像４１には視点２画像４２には映っていない領域（被写体Ａの後ろに隠れていた被写体Ｂの領域）が存在し、多視点画像生成部は、この領域を画像処理により補間する必要がある。同様に、視点４画像４４には視点３画像４３には映っていない領域（被写体Ａの後ろに隠れていた背景領域）が存在し、この領域の補間が必要である。通常、このような領域をオクルージョン領域と呼ぶ。

従来、２つまたはそれ以上の視点画像から、さらに多数の視点画像を生成する多視点生成技術において、入力画像から各画素あるいはブロック単位の被写体距離情報を持つ画像奥行情報を生成し、画像奥行情報から得られる奥行き情報を基にして異なる視点画像を合成する技術が提案されている。
従来の手法では、奥行き情報から得られる被写体の位置を、新たに生成すべき異なる視点位置から得られる画像上の位置へ変換することによって被写体を投影し、新たな視点画像を生成する。

このような手法によって、任意視点からの画像を生成することが可能であるが、新たな視点画像の品質は奥行き情報の精度に影響する。従って、高精度な画像奥行情報を生成するための奥行き検出処理が必要であり、そのための回路規模が大きくなるという問題があった。

また、上記のとおり、実際の撮影画像において隠れた領域に相当するオクルージョン領域がある場合、新たな視点画像において必要となる画像情報が撮影画素像から得られないことがある。この結果、新たに生成する視点画像の画素値の設定ができず、画像上に穴が開くという問題がある。この問題を解決するためには画像補間技術が必要であり、この補間処理のための回路の必要性からも回路規模が大きくなるという問題があった。

上述したように、撮影画像に基づいて異なる視点からの擬似的な撮影画像を生成するためには、高精度な奥行き情報を取得するための奥行き検出処理回路や、オクルージョン領域の画像補間処理回路が必要となり、装置の大型化やコスト高を招く要因となっている。

本開示は、例えば上記の問題を解決し、奥行検出処理やオクルージョン領域に対する処理を不要または簡易化して構成で撮影画像に基づく異なる視点からの画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供するもである。

本開示の第１の側面は、
３次元画像表示に適用する右眼用の画像信号を入力する右画像入力部と、
３次元画像表示に適用する左眼用の画像信号を入力する左画像入力部と、
前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換部と、
前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換部と、
前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力部を有する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離情報を持つ画像奥行情報を生成する奥行き検出部を有し、前記左画像変換部、および右画像変換部は、前記画像奥行情報を補助情報として前記画像信号を左方向、または右方向に位相変化を施した変換画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離推定情報を生成する奥行き推定部を有し、前記左画像変換部、および右画像変換部は、前記奥行き推定情報を補助情報として画像信号を左方向、または右方向に位相変化を施した変換画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、および右画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して、輝度微分信号あるいは輝度微分信号の非線形変換信号を加算または減算することで前記変換画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、または右画像変換部は多段接続構成を有し、前段の画像変換部が生成した変換画像を後段の画像変換部に入力し、入力画像信号に対する位相変化を施す処理を各画像変換部において繰り返し実行し、各画像変換部において、順次新たな変換画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
右画像入力部が、３次元画像表示に適用する右眼用の画像信号を入力する右画像入力ステップと、
左画像入力部が、３次元画像表示に適用する左眼用の画像信号を入力する左画像入力ステップと、
右画像変換部が、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換ステップと、
左画像変換部が、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換ステップと、
画像出力部が、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力ステップを実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
右画像入力部に、３次元画像表示に適用する右眼用の画像信号を入力させる右画像入力ステップと、
左画像入力部に、３次元画像表示に適用する左眼用の画像信号を入力させる左画像入力ステップと、
右画像変換部に、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成させる右画像変換ステップと、
左画像変換部に、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成させる左画像変換ステップと、
画像出力部に、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力させる画像出力ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例構成によれば、簡易な信号処理により新たな視点からの画像を生成する画像処理装置が実現される。具体的には、例えば、画像表示に適用する右眼用の画像信号と左眼用の画像信号を入力し、右画像変換部が右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する。同様に、左画像変換部左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する。これら右画像変換部の生成画像、および左画像変換部の生成画像を複数の新たな視点画像として出力する。変換画像は、例えば入力画像の輝度微分信号、あるいは輝度微分信号の非線形変換信号を入力画像信号に対して加算／減算する処理によって生成する。これらの処理により、高精度の被写体距離情報を利用することなく様々な視点からの画像の生成が可能となる。

２つの異なる視点から被写体Ａ，Ｂを撮影する場合に得られる画像の例について説明する図である。 ４つの異なる視点（視点１〜４）から被写体を撮影する場合に得られる画像の例について説明する図である。 本開示の方法により生成する多視点画像の生成処理の一例について説明する図である。 本開示の第１実施例に係る画像処理装置の構成例について説明する図である。 距離情報に基づく新たな視点画像の生成処理例について説明する図である。 ２Ｄ３Ｄ画像変換部の構成例について説明する図である。 ２Ｄ３Ｄ画像変換部のゲイン制御部の構成例について説明する図である。 ２Ｄ３Ｄ画像変換部のゲイン制御部のゲイン制御処理について説明する図である。 ２Ｄ３Ｄ画像変換部の２Ｄ３Ｄ画像変換処理に適用する信号について説明する図である。 ２Ｄ３Ｄ画像変換部の非線形変換部の非線形変換処理について説明する図である。 ２Ｄ３Ｄ画像変換部の実行する入力画像からの新たな視点画像の画像信号生成処理例について説明する図である。 ２Ｄ３Ｄ画像変換部の実行する入力画像からの新たな視点画像の画像信号生成処理例について説明する図である。 本開示の第２実施例に係る画像処理装置の構成例について説明する図である。 距離情報に基づく新たな視点画像の生成処理例について説明する図である。 ２Ｄ３Ｄ画像変換部の構成例について説明する図である。 本開示の第３実施例に係る画像処理装置の構成例について説明する図である。 本開示の第４実施例に係る画像処理装置の構成例について説明する図である。 本開示の第５実施例に係る画像処理装置の構成例について説明する図である。 本開示の第６実施例に係る画像処理装置の構成例について説明する図である。 本開示の第７実施例に係る画像処理装置の構成例について説明する図である。 本開示の第８実施例に係る画像処理装置の構成例について説明する図である。 本開示の第９実施例に係る画像処理装置の構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．本開示の画像処理装置の実行する処理の概要について
２．画像処理装置の第１実施例について
３．画像処理装置の第２実施例について
４．画像処理装置の第３実施例について
５．画像処理装置の第４実施例について
６．画像処理装置の第５実施例について
７．画像処理装置の第６実施例について
８．画像処理装置の第７実施例について
９．画像処理装置の第８実施例について
１０．画像処理装置の第９実施例について
１１．本開示の構成のまとめ

［１．本開示の画像処理装置の実行する処理の概要について］
まず、本開示の画像処理装置の実行する処理の概要について説明する。
本開示の画像処理装置は、例えば３Ｄ画像表示に適用する左眼用の左画像と、右眼用の右画像の２画像を含む２以上の異なる視点から撮影した画像を入力し、これらの入力画像を利用して、入力画像の視点と異なる視点からの撮影画像に相当する画像を生成して出力する。

本開示の画像処理装置においては、１枚の２次元画像（２Ｄ画像）から、その２次元画像と異なる視点からの撮影画像に相当する画像を生成する処理を行う。なお、この処理には、例えば、本出願人による先の特許出願である特開２０１０−６３０８３号に記載された処理の適用が可能である。なお、２次元画像に基づいて、異なる視点の画像を生成する処理を本明細書では２Ｄ３Ｄ変換処理と呼ぶ。

なお、特開２０１０−６３０８３号に記載した２Ｄ３Ｄ変換処理は、１枚の２次元画像に基づいてステレオ視（立体視）に対応した両眼視差画像、すなわち左眼用画像と右眼用画像を生成する処理である。２次元画像に含まれる空間的な特徴量、例えば輝度情報を抽出し、抽出した特徴量を用いて入力画像の変換処理を実行して左眼用画像や右眼用画像を生成する。

本開示の画像処理装置は、例えばこの２Ｄ３Ｄ変換処理を適用して、入力画像に基づいて、その入力画像とは異なる視点の画像を生成する。

具体的には、例えば入力画像である３Ｄ画像表示用の左眼用の左画像に基づいて、さらに左側の視点から撮影した画像に相当する画像を生成する。
同様に、入力画像である３Ｄ画像表示用の右眼用の右画像に基づいて、さらに右側の視点からの画像に相当する画像を生成する。
このような処理により、入力画像と異なる様々な視点からの撮影画像に相当する画像を生成し、入力画像の視点以外の多視点画像を生成する。

図３は、本開示の方法により生成する多視点画像生成処理の一例を示す図である。
先に図１を参照して説明したと同様、３Ｄ画像表示用に撮影された２枚の画像、すなわち、
（１）左カメラ１０１によって撮影された左画像１１１、
（２）右カメラ１０２によって撮影された右画像１１２、
これらの画像を本開示の画像処理装置に入力する。

本開示の画像処理装置は、これらの撮影画像を利用して、例えば、
左画像１１１を利用した２Ｄ３Ｄ変換処理によって左カメラ１０１よりさらに左側の視点１，１０３からの撮影画像に相当する視点１画像１１３を生成する。
また、右画像１１２を利用した２Ｄ３Ｄ変換処理によって右カメラ１０２よりさらに右側の視点４，１０４からの撮影画像に相当する視点４画像１１４を生成する。

なお、図３に示す例は、本開示の画像処理装置の実行する処理の一例である。本開示の画像処理装置は、１枚の２次元画像に基づいて、その画像とは異なる視様々な点からの画像を上記の２Ｄ３Ｄ変換処理により生成することを可能としている。

［２．画像処理装置の第１実施例について］
図４に本開示の画像処理装置の第１実施例の構成図を示す。
第１の実施例は、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う装置である。
入力画像は、３Ｄ画像表示に適用する左眼用画像（左画像）と、右眼用画像（右画像）の組み合わせである。例えば、図３に示す例における左カメラ１０１において撮影された左画像１１１（第２視点画像）と、右カメラ１０２において撮影された右画像１１２である。

図４に示す画像処理装置２００は、
入力左画像をそのまま第２視点画像として出力する。
入力左画像（第２視点画像）に基づく２Ｄ３Ｄ変換処理により、左画像よりさらに左側の視点からの撮影画像である第１視点画像を生成する。
さらに、
入力右画像をそのまま第３視点画像として出力する。
入力右画像（第３視点画像）に基づく２Ｄ３Ｄ変換処理により、右画像よりさらに右側の視点からの撮影画像である第４視点画像を生成する。

図４に示す画像処理装置２００の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部２０１は、左画像（第２視点画像）を入力する。入力された左画像（第２視点画像）は、奥行き検出部２０３、および左画像２Ｄ３Ｄ変換部２０４に入力される。
同様に、右画像入力部２０２は、右画像（第３視点画像）を入力する。入力された右画像（第３視点画像）は、奥行き検出部２０３、および右画像２Ｄ３Ｄ変換部２０５に入力される。

奥行き検出部２０３は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。

すなわち、従来から知られる例えばブロックマッチング等に基づく対応画素の位置ずれに基づいて、ブロック単位あるいは画素単位の奥行き情報（カメラからの距離情報）を算出し、画素やブロック対応の距離データを持つ奥行情報（例えば距離画像）を生成する。

奥行検出部２０３は、左画像に対応する左画像奥行情報（例えば距離画像）を生成して左画像２Ｄ３Ｄ変換部２０４に提供する。さらに、右画像に対応する右画像奥行情報（例えば距離画像）を生成して右画像２Ｄ３Ｄ変換部２０５に提供する。

左画像２Ｄ３Ｄ変換部２０４は、左画像入力部２０１から入力する左画像（第２視点画像）と、奥行き検出部２０３で生成された左画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力左画像（第２視点画像）よりさらに左側の視点からの撮影画像に相当する第１視点画像を生成する。

同様に、右画像２Ｄ３Ｄ変換部２０５は、右画像入力部２０２から入力する右画像（第３視点画像）と、奥行き検出部２０３で生成された右画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力右画像（第３視点画像）よりさらに右側の視点からの撮影画像に相当する第４視点画像を生成する。

左画像２Ｄ３Ｄ変換部２０４の生成した第１視点画像は第１視点画像出力部２０６を介して出力する。
左画像入力部２０１の入力した左画像、すなわち第２視点画像は第２視点画像出力部２０７を介して出力する。
右画像入力部２０２の入力した右画像、すなわち第３視点画像は第３視点画像出力部２０８を介して出力する。
右画像２Ｄ３Ｄ変換部２０５の生成した第４視点画像は第４視点画像出力部２０９を介して出力する。
なお、画像の出力先は、例えば３Ｄ画像表示の表示処理を実行する装置、あるいは３Ｄ画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。

例えば表示装置において３Ｄ画像表示を実行する際、これらの４つの異なる視点画像から、ユーザの観察位置に応じて適宜２つの画像を選択して左眼用画像と右眼用画像として出力する。
例えば、ユーザの観察位置が、表示部の正面の標準的な位置である場合は、
第２視点画像を左眼用画像、第３視点画像を右眼用画像として出力する。
また、ユーザの観察位置が、表示部の正面より左側にいる場合には、
第１視点画像を左眼用画像、第２視点画像を右眼用画像として出力する。
また、ユーザの観察位置が、表示部の正面より右側にいる場合には、
第３視点画像を左眼用画像、第４視点画像を右眼用画像として出力する。
このような切り替えを行うことで、ユーザの観察位置に応じた最適な左眼用画像と右眼用画像の出力が可能となる。

この処理により、裸眼対応の３Ｄ表示装置、例えば、ディスプレイ面にレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する構成を持つ表示装置において、左眼用画像を左眼でのみ観察させ、右眼用画像を右眼でのみ観察させることが可能となる。すなわち、左眼に右眼用画像が観察され、また右眼に左眼用画像が観察されるような逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

この図４に示す画像処理装置２００において、左画像２Ｄ３Ｄ変換部２０４は、左画像入力部２０１から入力する左画像（第２視点画像）と、奥行き検出部２０３で生成された左画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力左画像（第２視点画像）よりさらに左側の視点からの撮影画像に相当する第１視点画像を生成する。

また、右画像２Ｄ３Ｄ変換部２０５は、右画像入力部２０２から入力する右画像（第３視点画像）と、奥行き検出部２０３で生成された右画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力右画像（第３視点画像）よりさらに右側の視点からの撮影画像に相当する第４視点画像を生成する。

左画像２Ｄ３Ｄ変換部２０４と右画像２Ｄ３Ｄ変換部２０５は、１枚の２次元画像と奥行き情報を用いて異なる視点の画像を生成する。具体的には、奥行き情報に応じたシフト量を設定して画像を左右方向にシフトする処理、すなわち位相変化を施す処理により、擬似的な異なる視点からの撮影画像を生成する。各画素あるいはブロック単位で取得された奥行き情報（カメラからの距離）に応じて、位相変化量（シフト量）や位相変化方向（シフト方向）を調整して位相変化処理（シフト処理）を実行することで擬似的な異なる視点の画像を生成する。

従って、２Ｄ３Ｄ変換部で利用する画像奥行情報の空間的な解像度は必ずしも高くする必要がなく、奥行き検出部２０３から出力する左画像奥行情報、および右画像奥行情報は入力画像の画素数よりも少ない情報量のデータとすることが可能であり、奥行き検出部の回路規模を小さくすることが可能である。

なお、２Ｄ３Ｄ変換処理には、例えば先に説明した本出願人の先の特許出願である特開２０１０−６３０８３号に記載された処理の適用が可能である。
なお、特開２０１０−６３０８３号に記載した２Ｄ３Ｄ変換処理は、１枚の２次元画像に含まれる空間的な特徴量、例えば輝度情報を抽出し、抽出した特徴量を用いて入力画像の変換処理を実行して異なる視点からの撮影画像に相当する変換画像を生成する処理である。具体的には、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して特徴量である輝度微分信号、あるいは輝度微分信号の非線形変換信号を加算または減算することで変換画像を生成する。例えば、この処理を適用することができる。

なお、この特許文献に記載の方法に限らず、２次元画像から異なる視点からの画像を擬似的に生成する処理については様々な提案があり、左画像２Ｄ３Ｄ変換部２０４と右画像２Ｄ３Ｄ変換部２０５では、例えばこれらの既存の方法のいずれかを適用して入力画像と異なる視点からの画像を生成する。

奥行き検出部２０３の生成する奥行き情報に基づいて、左画像２Ｄ３Ｄ変換部２０４と、右画像２Ｄ３Ｄ変換部２０５の実行する新たな視点画像生成処理の具体的処理例について、図５を参照して説明する。

図５は、図４に示す実施例における入力左右画像、および生成される新たな視点画像間の奥行き情報を示している。
図５の右下に示すグラフ（ａ）は、左画像入力部２０１を介して入力される左画像（第２視点画像に相当）と、右画像入力部２０２を介して入力する右画像（第３視点画像に相当）の間で検出された奥行き情報のヒストグラムを表わしている。
すなわち、奥行き検出部２０３が検出した奥行き情報である。

ここで、奥行き情報は、２つの画像の対応する位置の間の距離ｄとして示している。すなわちブロックマッチング等の処理によって検出された左画像と右画像の対応画素の画像上における画素間距離である。
図５（ａ）に示すヒストグラムは、横軸が被写体までの距離に応じて変化する距離情報ｄ、縦軸が各距離を持つ画素面積を示している。

距離ｄ＝０の場合は、左画像と右画像の対応画素が各画像の同一位置に出力された状態であり、いわゆる視差のない画像状態となる。このような画素位置の画像は、表示画面の画面位置に観察できる。
一方、距離ｄが０より小さい（左画像よりも右画像の方が左側に存在）場合には画面手前に被写体像が観察される。
また、ｄが０より大きい（左画像よりも右画像の方が右側に存在）場合には画面奥に被写体像が観察される。

左画像２Ｄ３Ｄ変換部２０４と、右画像２Ｄ３Ｄ変換部２０５では、奥行き検出部２０３の生成情報から得られる図５（ａ）に示す奥行き情報のヒストグラムから、まず、距離ｄの最小値ｄｍｉｎと最大値ｄｍａｘを求める。

なお、これらの最小値ｄｍｉｎと最大値ｄｍａｘの値はノイズの影響を考慮し、ヒストグラムの実際の最大値、最小値から数パーセント内側の値として設定することも出来る。図５（ａ）では実際の測定値より、数％内側に最小値ｄｍｉｎと最大値ｄｍａｘのラインを示している。

このようにして求められた最小値ｄｍｉｎは、入力画像において最も手前に位置する被写体の奥行きに対応する値であり、最大値ｄｍａｘは、入力画像において最も奥に位置する被写体の奥行きに対応する値である。

図４に示す実施例において、左画像２Ｄ３Ｄ変換部２０４は、入力左画像（第２視点画像）から２Ｄ３Ｄ変換処理によって、入力左画像（第２視点画像）より、さらに左側の第１視点画像を生成する。この新たな視点画像の生成処理に際しては、図５（ａ）に示す左右画像から得られた奥行き情報を用いた処理を行う。

すなわち、図５（ａ）に示す左右画像から得られた奥行きヒストグラムは、入力左画像（第２視点画像）と入力右画像（第３視点画像）の奥行きヒストグラムである。
左画像２Ｄ３Ｄ変換部２０４は、新たに生成する第１視点画像と入力左画像（第２視点画像）との奥行きヒストグラムが図５（ａ）に示す奥行きヒストグラムとなるような第１視点画像を生成する。
図５（ｂ）に示すグラフは、新たに生成する第１視点画像と入力左画像（第２視点画像）との奥行きヒストグラムである。このヒストグラムに対応するように第１視点画像を生成する。

左画像２Ｄ３Ｄ変換部２０４と右画像２Ｄ３Ｄ変換部２０５は、奥行き情報に応じたシフト量を設定して画像を左右方向にシフトする処理、すなわち位相変化を施す処理により、擬似的な異なる視点からの撮影画像を生成する。各画素あるいはブロック単位で取得された奥行き情報（カメラからの距離）に応じて、位相変化量（シフト量）や位相変化方向（シフト方向）を調整して位相変化処理（シフト処理）を実行することで擬似的な異なる視点の画像を生成する。

この２Ｄ３Ｄ変換処理では、奥行き情報に基づいて、シフト量を制御する。具体的には、図４における実施例において、左画像２Ｄ３Ｄ変換部２０４は、図５（ａ）に示す奥行き情報に基づいてシフト量を調整することで、入力左右画像から得られる奥行き感と同等の奥行き感が、新たに生成する第１視点画像と入力左画像（第２視点画像）の組み合わせで得られる第１視点画像を生成する。
具体的なシフト処理については後述する。

右画像２Ｄ３Ｄ変換部２０５も、同様にして、図５（ａ）に示す奥行き情報に基づいてシフト量を調整することで、入力左右画像から得られる奥行き感と同等の奥行き感が、新たに生成する第４視点画像と入力右画像（第３視点画像）の組み合わせで得られる第４視点画像を生成する。

図５（ｂ）は、左画像２Ｄ３Ｄ変換部２０４が新たに生成する第１視点画像と入力左画像（第２視点画像）との奥行きヒストグラムである。
新たに生成された第１視点画像と、第２視点画像（＝入力左画像）間の奥行きは、入力左右画像の間の奥行きと同等であることが好ましいが、２Ｄ３Ｄ変換処理では、必ずしも入力される奥行き情報と同等の視差を生成できるとは限らない。２Ｄ３Ｄ変換処理によって生成される視差量は、例えばシフト量を制御するゲインの設定や変換フィルタの特性により決定されるため、奥行き情報に基づいてゲイン制御や変換フィルタ特性を制御することにより最大の視差が入力画像間の視差を超えないように制御する。

したがって、２Ｄ３Ｄ変換処理によって生成される視点１の画像は、入力左画像に対して、入力右画像との間のシフト量と同等以下のシフト量で、より左側の視点からの画像として生成された画像になる。

右画像２Ｄ３Ｄ変換部２０５も、新たに生成する第４視点画像について、同様にして、入力右画像に対して、入力左画像との間のシフト量と同等以下のシフト量で、より右側の視点からの画像を生成する。

このように、各２Ｄ３Ｄ画像変換部は、右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する。

次に、距離情報に応じたシフト量の制御による２Ｄ３Ｄ変換処理の具体例について説明する。
図６は、左画像２Ｄ３Ｄ変換部２０４の一実施例の構成を示すブロック図である。なお、左画像２Ｄ３Ｄ変換部２０４と右画像２Ｄ３Ｄ変換部２０５は、新たに生成する画像に応じてシフト方向が変化するのみである。以下では、距離情報に応じたシフト量の制御による２Ｄ３Ｄ変換処理の具体例について左画像２Ｄ３Ｄ変換部２０４の処理例を代表例として説明する。

左画像２Ｄ３Ｄ変換部２０４は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。左画像２Ｄ３Ｄ変換部２０４は、微分器２１１、ゲイン制御部２１２、非線形変換部２１３、および画像合成部２１４から構成される。

微分器２１１は、左画像２Ｄ３Ｄ変換部２０４に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号（Ｈ）を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。

ゲイン制御部２１２は、微分器２１１から出力される微分信号（Ｈ）に、予め設定した規則に則った係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号（Ｈ'）を生成する。

非線形変換部２１３は、ゲイン制御部２１２から出力される補正微分信号（Ｈ'）を非線形的に変換し、視差強調信号（Ｅ'）として画像合成部２１４に出力する。

画像合成部２１４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号（Ｈ'）、または、この補正微分信号を非線形変換して生成した視差強調信号（Ｅ'）を適用して新たな視点の画像を生成する処理を行う。

なお、図６に点線で示すように、非線形変換部２１３の変換処理を省略し、ゲイン制御部２１２で補正処理した補正微分信号（Ｈ'）を画像合成部２１４に直接入力して、画像合成部２１４が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。

次に、ゲイン制御部２１２の実行する処理について説明する。
図７は、ゲイン制御部２１２の一実施例の構成を示すブロック図である。ゲイン制御部２１２では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の１画素ごとに、１つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。

ゲイン係数算出部２２１は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。
乗算処理部２２２は、入力された微分信号の各画素について、ゲイン係数算出部２２１から出力された各画素に対するゲイン係数を、微分信号（Ｈ）の振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号（Ｈ'）を出力する。

図８は、ゲイン係数算出部２２１において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部２２１におけるゲイン係数の出力を示している。
ゲイン係数算出部２２１は、入力された奥行き情報（Ｉｎ）を、予め設定した関数ｆ（ｘ）により変換して、ゲイン係数（Ｏｕｔ）を出力する。
このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝Ａ×ｘ
（ただしＡは定数）
上記式に示されるような線形一次関数を用いる。Ａは予め設定した定数であり、様々な値に設定可能である。

また、ゲイン係数算出部２２１における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。
奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。

図８は、ゲイン係数算出部の入力値（奥行き情報）と、出力値（ゲイン係数）の対応例を示す図である。図８には３つの入力値（奥行き情報）とそれに対応する３つの出力値（ゲイン係数）の例を示している。
入力値（奥行き情報）の例は、Ｄ１、Ｄ２、Ｄ３であり、ある３つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者（ユーザ）あるいはカメラから被写体までの距離に対応する値である。
奥行き（＝被写体距離）はＤ１＜Ｄ２＜Ｄ３の順に、手前から奥へと深く（ユーザまたはカメラから遠く）なっていくものとする。ここで、図８中、奥行き情報Ｉｎ＝０の位置は生成した画像を３次元表示装置に表示した場合に表示画面上に知覚される点である。
このとき出力値（ゲイン係数）の例は、Ｇ１、Ｇ２、Ｇ３であり、各々は図８中の関数ｆ（ｘ）に、Ｄ１、Ｄ２、Ｄ３の値を入力することで得られる値である。
この例のように、ゲイン係数算出部２２１は、微分信号の各画素に応じたゲイン係数を出力する。

図９は、ゲイン制御部２１２における微分信号の振幅値を制御する処理の一例を示している。
図９には、
（ａ）入力信号
（ｂ）微分信号
（ｃ）奥行き情報
（ｄ）補正後の微分信号
これらの例を示している。

図９（ａ）は、入力画像信号の一例である。
図９（ｂ）は、図９（ａ）の入力画像信号を微分処理した画像である。
図９（ｃ）は、図９（ａ）の入力画像信号に対応した奥行き情報であり、画像を３分割した各領域に奥行きの値を与えた簡易なものである。

ここで、図９（ｃ）の奥行き情報を示す画像信号には、上部から順に図８において定義した奥行き情報：Ｄ３、Ｄ２、Ｄ１（Ｄ１＜Ｄ２＜Ｄ３）の値が与えられているものとしている。

このとき、図８において説明した奥行きとゲイン値の関係の通り、図９（ｂ）の微分信号の各画素に乗じるゲイン値は、画像の上部から順に、
Ｇ３、Ｇ２、Ｇ１（Ｇ１＜Ｇ２＜Ｇ３）
となる。

図９（ｄ）補正後の微分信号は、図９（ｃ）の奥行き情報に基づいたゲイン値を、図９（ｂ）の微分信号の各画素に乗じた処理結果の一例である。
図９（ｄ）補正後の微分信号においては、画面上部ほど（遠い領域ほど）、大きなゲイン値が乗じられ、画面下部ほど（近い領域ほど）小さなゲイン値が乗じられる。
この結果、画面上部ほど（遠い領域ほど）微分信号の振幅値が大きくなり、画面下部ほど（近い領域ほど）微分信号の振幅は小さくなる。

２Ｄ３Ｄ変換部は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。この結果、距離に応じた異なる視差を持つ画像を生成して出力する。

次に、非線形変換部２１３の実行する処理について説明する。非線形変換部２１３は、ゲイン制御部２１２から出力される距離に応じてゲイン制御のなされた補正微分信号（Ｈ'）を非線形的に変換した視差強調信号（Ｅ'）を生成して画像合成部２１４に出力する。

図１０は、非線形変換部２１３において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部２１２から出力される距離に応じてゲイン制御（補正）のなされた微分信号であり（輝度）補正微分信号である。縦軸が、非線形変換部２１３における非線形変換処理後の出力を示している。非線形変換部２１３は、入力された補正微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘ^γ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部２１３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。

画像合成部２１４は、非線形変換部２１３から出力される視差強調信号と、左画像２Ｄ３Ｄ変換部２０４に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、新たな視点画像を生成する処理を行う。

なお、図５に点線で示すように、非線形変換部２１３の変換処理を省略し、微分器２１１の生成した微分信号に対してゲイン制御部２１２が距離に応じたゲイン制御を行った補正微分信号（Ｈ'）を画像合成部２１４に直接入力する構成としてもよい。この場合は、画像合成部２１４は、奥行き（被写体距離）に応じてゲイン制御の施された補正微分信号（Ｈ'）を適用して新たな視点の画像を生成する処理を行う。

次に画像合成部２１４の処理について説明する。
画像合成部２１４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。

図１１と図１２は、画像合成部２１４において実行する画像合成処理の概念を示している。
図１１は、距離が大の画像領域（奥行きが大きい画像領域）
図１２は、距離が小の画像領域（奥行きが小さい画像領域）
これらの各画像領域について、上から順に、
（ａ）入力信号（Ｓ）
（ｂ）微分信号（Ｈ）
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）
（ｄ）右シフト画像信号
（ｅ）左シフト画像信号
これらの各信号を示している。

図９の（ｃ）奥行き情報に対応付けて説明すると、例えば、図１１は図９（ｃ）の画像上部の距離が大（＝Ｄ３）の画像領域（奥行きが大きい画像領域）に対応する処理例である。一方、図１２は図９（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

まず、図１１に示す距離が大の画像領域（奥行きが大きい画像領域）における処理例について説明する。
（ａ）入力信号（Ｓ）は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号（Ｈ）は、（ａ）入力信号の微分結果である。この微分信号は、図５に示す左画像２Ｄ３Ｄ変換部２０４の微分器２１１において生成される信号である。
微分器２１１の生成する微分信号（Ｈ）は、図１１に示すとおり、（ａ）入力信号（Ｓ）の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の微分信号（Ｈ'）は、図５に示す左画像２Ｄ３Ｄ変換部２０４のゲイン制御部２１２において生成する信号であり、図１１（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。なお、図１１に示す例は、距離が大（例えば図８、図９（ｃ）のＤ３）の画像領域（奥行きが大きい画像領域）における処理例であり、図８、図９を参照して説明したようにより大きなゲイン（Ｇ３）による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。

図１１（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号（Ｈ））であり、図１１（ｃ）に示す実線が距離に応じた補正後の補正微分信号（Ｈ'）である。このように、補正微分信号（Ｈ'）は距離に応じたゲイン制御により、振幅がより大きく補正される。

（ｄ）右シフト画像信号、（ｅ）左シフト画像信号は、図４に示す左画像２Ｄ３Ｄ変換部２０４や、右画像２Ｄ３Ｄ変換部２０５に構成される図５に示す画像合成部２１４が生成する信号である。

例えば、図４に示す左画像２Ｄ３Ｄ変換部２０４は、入力左画像を図１１（ａ）に示す入力画像であるとした場合、さらに左シフトした（ｅ）左シフト画像信号を第１視点画像として生成する。
また、図４に示す右画像２Ｄ３Ｄ変換部２０５は、入力右画像を図１１（ａ）に示す入力画像であるとした場合、さらに右シフトした（ｄ）右シフト画像信号を第４視点画像として生成する。

具体的には、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部２１３において非線形変換した結果（非線形変換部２１３の出力）である視差強調信号（Ｅ'）とを合成することで、（ｄ）右シフト画像信号、または、（ｅ）左シフト画像信号を生成する。
図１１（ｄ）に示す通り、大きなゲイン（Ｇ３）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図１１（ｄ）では、左シフト量が大きい画像信号が生成される。

次に、図１２に示す距離が小の画像領域（奥行きが小さい画像領域）における処理例について説明する。図１２は図９（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

（ａ）入力信号と、（ｂ）微分信号は、図１１に示す（ａ）入力信号と、（ｂ）微分信号と同様の信号である。（ｂ）微分信号（Ｈ）は、（ａ）入力信号（Ｓ）の微分結果である。この微分信号は、図５に示す微分器２１１において生成される信号である。微分器２１１の生成する微分信号は、図１２に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）は、図５に示すゲイン制御部２１２において生成する信号であり、図１２（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。

図１２に示す例は、距離が小（例えば図８、図９（ｃ）のＤ１）の画像領域（奥行きが大きい画像領域）における処理例であり、図８、図９を参照して説明したように小さなゲイン（Ｇ１）により微分信号の振幅は小さな振幅に補正される。

図１２（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号）であり、図１２（ｃ）に示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。

（ｄ）右シフト画像信号、（ｅ）左シフト画像信号は、図５に示す画像合成部２１４において生成する信号である。画像合成部２１４は、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部２１３において非線形変換した結果（非線形変換部２１３の出力）である視差強調信号（Ｅ'）とを合成して（ｄ）右シフト画像信号、または（ｅ）左シフト画像信号を生成する。

例えば、図４に示す左画像２Ｄ３Ｄ変換部２０４は、入力左画像を図１１（ａ）に示す入力画像であるとした場合、さらに左シフトした（ｅ）左シフト画像信号を第１視点画像として生成する。
また、図４に示す右画像２Ｄ３Ｄ変換部２０５は、入力右画像を図１１（ａ）に示す入力画像であるとした場合、さらに右シフトした（ｄ）右シフト画像信号を第４視点画像として生成する。
図１２（ｄ）に示す通り、小さなゲイン（Ｇ１）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図１１（ｄ）では、左シフト量が小さい画像信号が生成される。

このように、画像処理装置は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、
距離＝大の場合は、振幅の大きい補正微分信号
距離＝小の場合は、振幅の小さい補正微分信号、
これらの補正微分信号（図１１、図１２の（ｃ））を生成し、これらの補正微分信号（またはその非線形変換結果である視差強調信号）と（ａ）入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当する（ｄ）右シフト画像信号、または（ｅ）左シフト画像信号を生成する。

このような（ｄ）右シフト画像信号と、（ｅ）左シフト画像信号の生成処理の生成処理について、数式を用いて説明する。
図１１、図１２の（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図１１、図１２の（ｂ）に示す微分信号の信号レベルを（Ｈ）とする。
また、ゲイン制御部２１２において行われる微分信号の補正結果としての補正微分信号の信号レベルを（Ｈ'）てとする。
なお、補正微分信号（Ｈ'）の生成の際、（ｂ）微分信号（Ｈ）に乗じるゲイン値（Ｇ）は、奥行き情報（Ｄ）をもとに予め設定された関数などから決定される。

図１１に示す距離が大の場合のゲイン値をＧ３、
図１２に示す距離が小の場合のゲイン値をＧ１、
とする。
図１１、図１２に示す例は、Ｇ３＞１＞Ｇ１の関係を想定している。

図１１、図１２の（ｃ）補正後の微分信号の信号レベルを（Ｈ'）で表現すると、（Ｈ'）は上記ゲイン値Ｇ３、Ｇ１を用いて補正された信号として、以下の式によって示すことができる。
図１１に示す距離が大の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ３×Ｈ
図１２に示す距離が小の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ１×Ｈ
これらの式によって算出された信号が、図１１、図１２の（ｃ）補正後の微分信号の信号レベル（Ｈ'）となる。

図１１（ｃ）に示す距離が大の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が大きくなっている。
一方、図１２（ｃ）に示す距離が小の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が小さくなっている。

これは、図１１（ｃ）、図１２（ｃ）に示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。
すなわち、奥行き検出部２０３の出力する奥行き情報が大（カメラからの距離が遠い）画素については、（ｂ）微分信号に対して大きなゲイン値を乗じて補正されて図１１（ｃ）に示す補正後微分信号が生成される。
一方、奥行き検出部２０３の出力する奥行き情報が小（カメラからの距離が近い）画素については、（ｂ）微分信号に対して小さなゲイン値を乗じて補正されて図１２（ｃ）に示す補正後微分信号が生成される。

図１１（ｃ）、図１２（ｃ）に示す補正後の微分信号は、非線形変換部２１３において、例えば先に図１０を参照して説明した設定で非線形変換処理が施され、視差強調信号（Ｅ'）が生成される。

画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｃ）補正後の微分信号（Ｈ'）を非線形変換した視差強調信号（Ｅ'）を入力して、例えば以下の式により右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
これにより得られる信号が、図１１（ｄ）、図１２（ｄ）に実線で示す右シフト画像信号、および、図１１（ｅ）、図１２（ｅ）に示す左シフト画像信号である。

一方、図１１（ｄ），（ｅ）と図１２（ｄ），（ｅ）に点線で示す信号は、（ｃ）補正後の微分信号ではなく、補正前の微分信号、すなわち（ｂ）微分信号（Ｈ）を適用して非線形変換した視差強調信号（Ｅ）を利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
である。

図１１、図１２の（ｄ）右シフト画像信号、および、（ｅ）左シフト画像信号に示す実線と点線を比較すると、
図１１に示す距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部（信号の変化部）が急峻になっており、（ａ）入力信号に比較して信号のシフトが大きくなっている。
一方、図１２に示す距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部が滑らかになっており、（ａ）入力信号に比較して信号のシフトが小さくなっている。

つまり、距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の差分が拡大され、距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の差分が縮小される。

このような（ｄ）右シフト画像信号、（ｅ）左シフト画像信号を表示することで、距離が大の場合は、（ｄ）右シフト画像信号と（ｅ）左シフト画像信号の網膜視差が大きくなり、より遠くに感じられ、距離が小の場合は、（ｄ）右シフト画像信号と（ｅ）左シフト画像信号の網膜視差が小さくなり近くに感じられることになる。
本実施例では、表示画面よりも奥に視差を生成する方法を参考にして説明を行ったが、表示画面よりも前に視差を生成する場合には、画像合成部１３３は以下の式に従って右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ＋Ｅ'
Ｌｅｆｔ＝Ｓ−Ｅ'
このようにすることにより、右シフト画像信号と左シフト画像信号のシフトが逆方向に発生し、右シフト画像信号は入力画像より左にシフトし、左画像信号は入力画像より右にシフトする。この結果、生成された右シフト画像信号と左シフト画像信号は表示画面よりも前に知覚されるようになる。

［３．画像処理装置の第２実施例について］
図１３に本開示の画像処理装置の第２実施例の構成図を示す。
第２実施例は、第１実施例と同様、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う装置である。
ただし、第２実施例は、第１実施例と異なり、入力画像を第１視点画像と第４視点画像として出力し、２Ｄ３Ｄ変換部において生成する画像を第２視点画像と第３視点画像としている点が異なる。なお、第１〜第４視点画像は図３に示す第１〜第４視点画像に対応し、順次、左側の視点から右側の視点の撮影画像に対応する。

入力画像は、３Ｄ画像表示に適用する左眼用画像（左画像）と、右眼用画像（右画像）の組み合わせである。本実施例では、図３に示す例における視点１，１０３において撮影された第１視点画像１１３と、視点４において撮影された第４視点画像１１４が入力画像となる。

図１３に示す画像処理装置２５０は、
入力左画像をそのまま第１視点画像として出力する。
入力左画像（第１視点画像）に基づく２Ｄ３Ｄ変換処理により、左画像より右側の視点からの撮影画像である第２視点画像を生成する。
さらに、
入力右画像（第４視点画像）に基づく２Ｄ３Ｄ変換処理により、右画像より左側の視点からの撮影画像である第３視点画像を生成する。
入力右画像をそのまま第４視点画像として出力する。

図１３に示す画像処理装置２５０の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部２５１は、左画像（第１視点画像）を入力する。入力された左画像（第１視点画像）は、奥行き検出部２５３、および左画像２Ｄ３Ｄ変換部２５４に入力される。
同様に、右画像入力部２５２は、右画像（第４視点画像）を入力する。入力された右画像（第４視点画像）は、奥行き検出部２５３、および右画像２Ｄ３Ｄ変換部２５５に入力される。

奥行き検出部２５３は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。
これらの処理は、図４を参照して説明した実施例１における処理と同様である。
奥行検出部２５３は、左画像に対応する左画像奥行情報（例えば距離画像）を生成して左画像２Ｄ３Ｄ変換部２５４に提供する。さらに、右画像に対応する右画像奥行情報（例えば距離画像）を生成して右画像２Ｄ３Ｄ変換部２５５に提供する。

左画像２Ｄ３Ｄ変換部２５４は、左画像入力部２５１から入力する左画像（第１視点画像）と、奥行き検出部２５３で生成された左画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力左画像（第２視点画像）より右側の視点からの撮影画像に相当する第２視点画像を生成する。

同様に、右画像２Ｄ３Ｄ変換部２５５は、右画像入力部２５２から入力する右画像（第４視点画像）と、奥行き検出部２５３で生成された右画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力右画像（第４視点画像）より左側の視点からの撮影画像に相当する第３視点画像を生成する。

左画像入力部２５１の入力した左画像、すなわち第１視点画像は第１視点画像出力部２５６を介して出力する。
左画像２Ｄ３Ｄ変換部２５４の生成した第２視点画像は第２視点画像出力部２５７を介して出力する。
右画像２Ｄ３Ｄ変換部２５５の生成した第３視点画像は第３視点画像出力部２５８を介して出力する。
右画像入力部２５２の入力した右画像、すなわち第４視点画像は第４視点画像出力部２５９を介して出力する。
なお、画像の出力先は、例えば３Ｄ画像表示の表示処理を実行する装置、あるいは３Ｄ画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。

これらの４つの異なる視点画像は、先に説明した実施例１と同様、例えば表示装置において３Ｄ画像表示を実行する際、ユーザの観察位置に応じて適宜２つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

この図１３に示す画像処理装置２５０においても、左画像２Ｄ３Ｄ変換部２５４と、右画像２Ｄ３Ｄ変換部２５５は、画像入力部から入力する画像と、奥行き検出部２５３で生成された画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力右画像と異なる視点からの撮影画像に相当する画像を生成する。

この処理は、例えば奥行情報を用いて位相変化量（シフト量）を決定し画像をシフトする処理等によって新たな視点の画像を生成する処理として実行される。利用する距離画像等の奥行き情報の空間的な解像度は必ずしも高くなくても構わず、奥行き検出部２５３から出力する左画像奥行情報、および右画像奥行情報は入力画像の画素数よりも少なくすることが可能であり、奥行き検出部の回路規模を小さくすることが可能である。

図１３に示す画像処理装置２５０においても、左画像２Ｄ３Ｄ変換部２５４と、右画像２Ｄ３Ｄ変換部２５５において実行する距離情報に応じた新たな視点の画像生成処理例について図１４を参照して説明する。

図１４は、図１３に示す実施例における入力左右画像、および生成される新たな視点画像間の奥行き情報を示している。図１４の右下の（ａ）に示すグラフは、左画像入力部２５１を介して入力される左画像（第１視点画像に相当）と、右画像入力部２５２を介して入力する右画像（第４視点画像に相当）の間で検出された奥行き情報のヒストグラムを表わしている。
すなわち、奥行き検出部２５３が検出した奥行き情報である。

ここで、奥行き情報は、２つの画像の対応する位置の間の距離ｄとして示している。すなわちブロックマッチング等の処理によって検出された左画像と右画像の対応画素の画像上における画素間距離である。
図１４（ａ）に示すヒストグラムは、横軸が被写体までの距離に応じて変化する距離情報ｄ、縦軸が各距離を持つ画素面積を示している。

距離ｄ＝０の場合は、左画像と右画像の対応画素が各画像の同一位置に出力された状態であり、いわゆる視差のない画像状態となる。このような画素位置の画像は、表示画面の画面位置に観察できる。
一方、距離ｄが０より小さい（左画像よりも右画像の方が左側に存在）場合には画面手前に被写体像が観察される。
また、ｄが０より大きい（左画像よりも右画像の方が右側に存在）場合には画面奥に被写体像が観察される。

左画像２Ｄ３Ｄ変換部２５４と、右画像２Ｄ３Ｄ変換部２５５では、奥行き検出部２５３の生成情報から得られる図１４（ａ）に示す奥行き情報のヒストグラムから、まず、距離ｄの最小値ｄｍｉｎと最大値ｄｍａｘを求める。

なお、これらの最小値ｄｍｉｎと最大値ｄｍａｘの値はノイズの影響を考慮し、ヒストグラムの実際の最大値、最小値から数パーセント内側の値として設定することも出来る。図１４（ａ）では実際の測定値より、数％内側に最小値ｄｍｉｎと最大値ｄｍａｘのラインを示している。

このようにして求められた最小値ｄｍｉｎは、入力画像において最も手前に位置する被写体の奥行きに対応する値であり、最大値ｄｍａｘは、入力画像において最も奥に位置する被写体の奥行きに対応する値である。

図１３に示す実施例において、左画像２Ｄ３Ｄ変換部２５４は、入力左画像（第１視点画像）から２Ｄ３Ｄ変換処理によって、入力左画像（第１視点画像）より右側の視点から観察される第２視点画像を生成する。

このとき、新たに生成する第２視点画像は、入力左右画像の間の奥行きを３等分し、入力左画像に近い視点から見た画像として生成される。一方、視点３の画像は、入力左右画像の奥行きを３等分し、入力右画像に近い視点から見た画像として生成する。

このため、図１４（ａ）に示す左右画像から得られた奥行き情報を用いて、奥行きを１／３に圧縮した情報（奥行き最小値をｄｍｉｎ／３、奥行き最大値をｄｍａｘ／３とする）、すなわち、図１４（ｂ）に示すヒストグラムを設定する。
この図１４（ｂ）に示す奥行きヒストグラムが、入力左画像（第１視点画像）と新たに生成する第２視点画像間の奥行きヒストグラムとして得られるよう第２視点画像を生成する。

このような設定として、入力画像である視点１、視点４の間を３等分する視点２および視点３の画像を、左画像２Ｄ３Ｄ変換部２５４と右画像２Ｄ３Ｄ変換部２５５において生成する。

このように、各２Ｄ３Ｄ画像変換部では、右眼用の入力画像信号と、左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う。

左画像２Ｄ３Ｄ変換部２５４と右画像２Ｄ３Ｄ変換部２５５における２Ｄ３Ｄ変換処理は、例えば先に図６〜図１２を参照して説明したと同様の処理、すなわち、被写体距離に応じて入力画像のシフト量を制御したシフト処理によって実行可能である。

図１３の構成を持つ実施例においては、図１４（ｂ）に示すように、入力画像に基づいて得られる奥行き情報（図１４（ａ）のｄｍｉｎ〜ｄｍａｘ）を１／３に圧縮した奥行き情報をベースとした処理を行うことになる。

図１５は、左画像２Ｄ３Ｄ変換部２５４の一実施例の構成を示すブロック図である。なお、左画像２Ｄ３Ｄ変換部２５４と右画像２Ｄ３Ｄ変換部２５５は、新たに生成する画像に応じてシフト方向が変化するのみであるので左画像２Ｄ３Ｄ変換部２５４を代表例として説明する。

本実施例の左画像２Ｄ３Ｄ変換部２５４は、先に図６を参照して説明した第１実施例における左画像２Ｄ３Ｄ変換部２０４の構成に奥行き情報調整部２６１を追加した構成となる。その他の構成は、先に図６を参照して説明した第１実施例における左画像２Ｄ３Ｄ変換部２０４の構成と同様である。

奥行き情報調整部２６１は、入力画像に基づいて奥行き検出部５３の生成情報に基づいて得られる奥行き情報（図１４（ａ）のｄｍｉｎ〜ｄｍａｘ）を１／３に圧縮した奥行き情報を生成する。この圧縮奥行き情報をゲイン制御部２１２に入力する。その後の処理は、先に説明した第１実施例における２Ｄ３Ｄ変換処理と同様の処理となる。

図１４（ｂ）は、第１視点画像（入力左画像）と新たに生成される第２視点画像（入力左画像から２Ｄ３Ｄ変換により生成）の間の奥行き情報のヒストグラムを表わしている。

なお、第１視点画像（入力左画像）と新たに生成される第２視点画像間の奥行きは、入力左右画像の間の奥行きの１／３に相当することが好ましいが、２Ｄ３Ｄ変換処理では、必ずしも入力される奥行き情報と同等の視差を生成できるとは限らない。２Ｄ３Ｄ変換処理によって生成される視差量は、ゲイン量の調整や変換フィルタの特性により決定されるため、奥行き情報に基づく制御により最大の視差が入力画像間の視差を超えないように制御する。

左画像２Ｄ３Ｄ変換部２５４は、この制御により、２Ｄ３Ｄ変換処理によって生成する第２視点画像を、入力左画像（第１視点画像）に対して、入力右画像（第４視点画像）との間のシフト量の１／３と同等以下のシフト量で、より右側の視点からの画像として生成する。

右画像２Ｄ３Ｄ変換部２５５も、新たに生成する第３視点の画像について、同様に入力右画像（第４視点画像）に対して、入力左画像（第１視点画像）との間のシフト量の１／３と同等以下のシフト量で、より左側の視点からの画像として生成する。

［４．画像処理装置の第３実施例について］
図１６に本開示の画像処理装置の第３実施例の構成図を示す。
第３実施例は、第１実施例と同様、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う装置である。
入力画像は第２視点画像と第３視点画像として出力し、２Ｄ３Ｄ変換部において第１視点画像と、第４視点画像を生成して出力する。この構成は図４を参照して説明した第１実施例と同様である。

第１実施例との違いは、図４に示す奥行検出部２５３を持たず、左画像奥行推定部３０３と右画像奥行推定部３０４を有する点である。

図１６に示す画像処理装置３００の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部３０１は、左画像（第２視点画像）を入力する。入力された左画像（第２視点画像）は、左画像奥行き推定部３０３、および左画像２Ｄ３Ｄ変換部３０５に入力される。
同様に、右画像入力部３０２は、右画像（第３視点画像）を入力する。入力された右画像（第３視点画像）は、右画像奥行き推定部３０４、および右画像２Ｄ３Ｄ変換部３０６に入力される。

左画像奥行き推定部３０３は、入力される左画像の画像特徴量（輝度分布、エッジ分布など）を計算し、その特徴量から入力画像の各位置（画素単位あるいはブロック単位）における奥行きを推定し、位置対応の奥行推定情報を生成して左画像２Ｄ３Ｄ変換部３０５に提供する。
右画像奥行き推定部３０４は、入力される右画像の画像特徴量（輝度分布、エッジ分布など）を計算し、その特徴量から入力画像の各位置（画素単位あるいはブロック単位）における奥行きを推定し、位置対応の奥行推定情報を生成して右画像２Ｄ３Ｄ変換部３０６に提供する。

なお、画像の画像特徴量（輝度分布、エッジ分布など）から画像の各位置（画素単位あるいはブロック単位）における奥行きを推定する処理としては、既存の様々な奥行き推定処理が適用可能である。具体的には、例えば、
［"Make3D: Learning 3-D Scene Structure from a Single Still Image",
Ashutosh Saxena, Min Sun, Andrew Y. Ng, In IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2008.］
［"Automatic Photo Pop-up",D. Hoiem, A.A. Efros, and M. Hebert, ACM SIGGRAPH 2005.］
上記文献に記載の処理を適用することができる。

左画像２Ｄ３Ｄ変換部３０５は、左画像入力部３０１から入力する左画像（第２視点画像）と、左画像奥行き推定部３０３で生成された左画像奥行き推定情報を入力して、これらの情報を利用して、入力左画像（第２視点画像）よりさらに左側の視点からの撮影画像に相当する第１視点画像を生成する。

同様に、右画像２Ｄ３Ｄ変換部３０６は、右画像入力部３０２から入力する右画像（第３視点画像）と、右画像奥行き推定部３０４で生成された右画像奥行き推定情報を入力して、これらの情報を利用して、入力右画像（第３視点画像）よりさらに右側の視点からの撮影画像に相当する第４視点画像を生成する。

これらの２Ｄ３Ｄ変換部における新たな視点画像の生成処理は、先に第１実施例および実施例２において図５〜図１２、図１４〜図１５を参照して説明した処理と同様の処理として実行することができる。

左画像２Ｄ３Ｄ変換部３０５の生成した第１視点画像は第１視点画像出力部３０７を介して出力する。
左画像入力部３０１の入力した左画像、すなわち第２視点画像は第２視点画像出力部３０８を介して出力する。
右画像入力部３０２の入力した右画像、すなわち第３視点画像は第３視点画像出力部３０９を介して出力する。
右画像２Ｄ３Ｄ変換部３０６の生成した第４視点画像は第４視点画像出力部３１０を介して出力する。

出力先は、表示装置や記憶装置あるいはネットワークを介した通信データとして出力される。
これらの４つの異なる視点画像は、先に説明した実施例と同様、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

［５．画像処理装置の第４実施例について］
図１７に本開示の画像処理装置の第４実施例の構成図を示す。
第４実施例は、第１実施例と同様、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う装置である。
入力画像は第２視点画像と第３視点画像として出力し、２Ｄ３Ｄ変換部において第１視点画像と、第４視点画像を生成して出力する。この構成は図４を参照して説明した第１実施例と同様である。
第４実施例の構成は、図４に示す奥行検出部２５３を持たず、さらに、図１６を参照して説明した実施例３で利用した奥行推定部も持たない。

図１７に示す画像処理装置３５０の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部３５１は、左画像（第２視点画像）を入力する。入力された左画像（第２視点画像）は、左画像２Ｄ３Ｄ変換部３５２に入力される。
同様に、右画像入力部３５５は、右画像（第３視点画像）を入力する。入力された右画像（第３視点画像）は、右画像２Ｄ３Ｄ変換部３５６に入力される。

左画像２Ｄ３Ｄ変換部３５２は、左画像入力部３５１から入力する左画像（第２視点画像）の画像特徴量などから奥行きを推定せずに、入力左画像（第２視点画像）より、さらに左側の視点に相当する視差を与えた画像（第１視点画像）を生成する。
右画像２Ｄ３Ｄ変換部３５６は、右画像入力部３５５から入力する右画像（第３視点画像）の画像特徴量などから奥行きを推定せずに、入力右画像（第３視点画像）より、さらに右側の視点に相当する視差を与えた画像（第４視点画像）を生成する。

これらの２Ｄ３Ｄ変換部における新たな視点画像の生成処理は、先に第１実施例および実施例２において図５〜図１２、図１４〜図１５を参照して説明した処理と同様の処理として実行することができる。

左画像２Ｄ３Ｄ変換部３５２の生成した第１視点画像は第１視点画像出力部３５３を介して出力する。
左画像入力部３５１の入力した左画像、すなわち第２視点画像は第２視点画像出力部３５４を介して出力する。
右画像入力部３５５の入力した右画像、すなわち第３視点画像は第３視点画像出力部３５７を介して出力する。
右画像２Ｄ３Ｄ変換部３５６の生成した第４視点画像は第４視点画像出力部３５８を介して出力する。

出力先は、表示装置や記憶装置あるいはネットワークを介した通信データとして出力される。
これらの４つの異なる視点画像は、先に説明した実施例と同様、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、クロストークの発生を抑制した３Ｄ画像の提示が可能となる。
本実施例では、奥行きを検出、または推定する回路を削減することが可能である。

［６．画像処理装置の第５実施例について］
図１８に本開示の画像処理装置の第５実施例の構成図を示す。
第５実施例は、第１実施例と同様、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う装置である。
第５実施例では、先に説明した第１〜第４実施例とは異なり、入力画像事態を出力画像として用いず、入力画像に基づいて、新たな全ての出力画像である第１〜４視点画像を生成する。

本例は、例えば、図３の構成において、視点１，１０３と左カメラ１０１の中間位置からの撮影画像を左画像として入力し、右カメラ１０２と、視点４，１０４の中間位置からの撮影画像を右画像として入力する。これらの入力画像に基づいて、図３に示す第１〜第４視点画像を新たな視点画像として生成する。このような処理を行う構成に相当する。

図１８に示す画像処理装置４００の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部４０１は、左画像を入力する。入力された左画像は、奥行き検出部４０３、および左画像２Ｄ３Ｄ変換部４０５に入力される。
同様に、右画像入力部４０２は、右画像を入力する。入力された右画像は、奥行き検出部４０３、および右画像２Ｄ３Ｄ変換部４０５に入力される。

奥行き検出部４０３は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。

左画像２Ｄ３Ｄ変換部４０４は、左画像入力部４０１から入力する左画像と、奥行き検出部４０３で生成された左画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力左画像よりさらに左側の視点からの画像（第１視点画像）と、入力左画像の右側の視点からの撮影画像に相当する画像（第２視点画像）の２つの画像を生成する。

同様に、右画像２Ｄ３Ｄ変換部４０５は、右画像入力部４０２から入力する右画像と、奥行き検出部４０３で生成された右画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力右画像の左側の視点からの画像（第３視点画像）と、入力右画像よりさらに右側の視点からの撮影画像に相当する画像（第４視点画像）の２つの画像を生成する。

これらの２Ｄ３Ｄ変換部における新たな視点画像の生成処理は、先に第１実施例および実施例２において図５〜図１２、図１４〜図１５を参照して説明した処理と同様の処理として実行することができる。

左画像２Ｄ３Ｄ変換部４０４の生成した第１視点画像は第１視点画像出力部４０６を介して出力する。
左画像２Ｄ３Ｄ変換部４０４の生成した第２視点画像は第２視点画像出力部４０７を介して出力する。
右画像２Ｄ３Ｄ変換部４０５の生成した第３視点画像は第３視点画像出力部４０８を介して出力する。
右画像２Ｄ３Ｄ変換部４０５の生成した第４視点画像は第４視点画像出力部４０９を介して出力する。

なお、画像の出力先は、例えば３Ｄ画像表示の表示処理を実行する装置、あるいは３Ｄ画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。

これらの４つの異なる視点画像は、先に説明した実施例１と同様、例えば表示装置において３Ｄ画像表示を実行する際、ユーザの観察位置に応じて適宜２つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

［７．画像処理装置の第６実施例について］
図１９に本開示の画像処理装置の第６実施例の構成図を示す。
第６実施例は、第１実施例と同様、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う装置である。

第６実施例は、図１６を参照して説明した第３実施例と同様の奥行推定部を有する。
また、図１８を参照して説明した第５実施例と同様、入力画像自体を出力画像として用いず、入力画像に基づいて全ての出力画像である新たな第１〜４視点画像を生成する。
例えば、図３の構成において、視点１，１０３と左カメラ１０１の中間位置からの撮影画像を左画像として入力し、右カメラ１０２と、視点４，１０４の中間位置からの撮影画像を右画像として入力する。これらの入力画像に基づいて、新たな第１〜第４視点画像を生成する。このような処理を行う構成に相当する。

図１９に示す画像処理装置４５０の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部４５１は、左画像を入力する。入力された左画像は、左画像奥行き推定部４５３、および左画像２Ｄ３Ｄ変換部４５５に入力される。
同様に、右画像入力部４５２は、右画像を入力する。入力された右画像は、右画像奥行き推定部４５４、および右画像２Ｄ３Ｄ変換部４５６に入力される。

左画像２Ｄ３Ｄ変換部４５５は、左画像入力部４５１から入力する左画像と、左画像奥行き推定部４５３で生成された左画像奥行き推定情報を入力して、これらの情報を利用して、入力左画像よりさらに左側の視点からの画像（第１視点画像）と、入力左画像の右側の視点からの撮影画像に相当する画像（第２視点画像）の２つの画像を生成する。

右画像２Ｄ３Ｄ変換部４５６は、右画像入力部４５２から入力する右画像と、右画像奥行き推定部４５４で生成された右画像奥行き推定情報を入力して、これらの情報を利用して、入力右画像より左側の視点からの画像（第３視点画像）と、入力右画像よりさらに右側の視点からの撮影画像に相当する画像（第４視点画像）の２つの画像を生成する。

これらの２Ｄ３Ｄ変換部における新たな視点画像の生成処理は、先に第１実施例および実施例２において図５〜図１２、図１４〜図１５を参照して説明した処理と同様の処理として実行することができる。

左画像２Ｄ３Ｄ変換部４５５の生成した第１視点画像は第１視点画像出力部４５７を介して出力する。
左画像２Ｄ３Ｄ変換部４５５の生成した第２視点画像は第２視点画像出力部４５８を介して出力する。
右画像２Ｄ３Ｄ変換部４５６の生成した第３視点画像は第３視点画像出力部４５９を介して出力する。
右画像２Ｄ３Ｄ変換部４５６の生成した第４視点画像は第４視点画像出力部４６０を介して出力する。

なお、画像の出力先は、例えば３Ｄ画像表示の表示処理を実行する装置、あるいは３Ｄ画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。

これらの４つの異なる視点画像は、先に説明した実施例１と同様、例えば表示装置において３Ｄ画像表示を実行する際、ユーザの観察位置に応じて適宜２つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

［８．画像処理装置の第７実施例について］
図２０に本開示の画像処理装置の第７実施例の構成図を示す。
第７実施例は、第１実施例と同様、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う装置である。

第７実施例は、図１７を参照して説明した第４実施例と同様、奥行検出部も奥行推定部も持たない構成である。
また、図１８を参照して説明した第５実施例と同様、入力画像自体を出力画像として用いず、入力画像に基づいて全ての出力画像である第１〜４視点画像を生成する。
例えば、図３の構成において、視点１，１０３と左カメラ１０１の中間位置からの撮影画像を左画像として入力し、右カメラ１０２と、視点４，１０４の中間位置からの撮影画像を右画像として入力する。これらの入力画像に基づいて、新たな第１〜第４視点画像を生成する。このような処理を行う構成に相当する。

図２０に示す画像処理装置５００の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部５０１は、左画像を入力する。入力された左画像は、左画像２Ｄ３Ｄ変換部５０２に入力される。
同様に、右画像入力部５０２は、右画像を入力する。入力された右画像は、右画像２Ｄ３Ｄ変換部５０６に入力される。

左画像２Ｄ３Ｄ変換部５０２は、左画像入力部５０１から入力する左画像の画像特徴量などから奥行きを推定せずに、入力左画像よりさらに左側の視点からの画像（第１視点画像）と、入力左画像の右側の視点からの撮影画像に相当する画像（第２視点画像）の２つの画像を生成する。

右画像２Ｄ３Ｄ変換部５０６は、右画像入力部５０２から入力する右画像の画像特徴量などから奥行きを推定せずに、入力右画像の左側の視点からの画像（第３視点画像）と、入力右画像よりさらに右側の視点からの撮影画像に相当する画像（第４視点画像）の２つの画像を生成する。

これらの２Ｄ３Ｄ変換部における新たな視点画像の生成処理は、先に第１実施例および実施例２において図５〜図１２、図１４〜図１５を参照して説明した処理と同様の処理として実行することができる。

左画像２Ｄ３Ｄ変換部５０２の生成した第１視点画像は第１視点画像出力部５０３を介して出力する。
左画像２Ｄ３Ｄ変換部５０２の生成した第２視点画像は第２視点画像出力部５０４を介して出力する。
右画像２Ｄ３Ｄ変換部５０６の生成した第３視点画像は第３視点画像出力部５０７を介して出力する。
右画像２Ｄ３Ｄ変換部５０６の生成した第４視点画像は第４視点画像出力部５０８を介して出力する。

なお、画像の出力先は、例えば３Ｄ画像表示の表示処理を実行する装置、あるいは３Ｄ画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。

これらの４つの異なる視点画像は、先に説明した実施例１と同様、例えば表示装置において３Ｄ画像表示を実行する際、ユーザの観察位置に応じて適宜２つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

［９．画像処理装置の第８実施例について］
図２１に本開示の画像処理装置の第８実施例の構成図を示す。
これまで説明した実施例では、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、第１〜第４の４視点の画像を出力する多視点画像生成を行う処理例について説明した。
図２１に示す第８実施例の画像処理装置５５０は、左右の視点の異なる２枚の画像（左画像、右画像）を入力とし、さらに多くの第１〜第６の６視点の画像を出力する多視点画像生成を行う。

なお、生成する第１〜第６の６視点の画像の各々は、最も左側の視点の画像を第１視点画像とし、第２、第３・・と順次、右側へ移動した視点の画像であり、最も右側の視点の画像が第６視点画像とする。

図２１に示す第８実施例の画像処理装置５５０は、
入力画像の左画像をそのまま第３視点画像として出力し、
入力左画像（第３視点画像）に基づいて、入力左画像の左側の視点の第２視点画像と、さらに左側の第１視点画像を生成して出力する。
また、入力画像の右画像をそのまま第４視点画像として出力し、
入力右画像（第４視点画像）に基づいて、入力右画像の右側の視点の第５視点画像と、さらに右側の第６視点画像を生成して出力する。

図２１に示す画像処理装置５５０の構成に従って、この画像処理装置において実行する処理について説明する。
左画像入力部５５１は、左画像を入力する。入力された左画像は、奥行き検出部５５３、および左画像第１−２Ｄ３Ｄ変換部５５４に入力される。
同様に、右画像入力部５５２は、右画像を入力する。入力された右画像は、奥行き検出部５５３、および右画像第１−２Ｄ３Ｄ変換部５５６に入力される。

奥行き検出部５５３は、左画像の各画素、または各ブロックが、右画像のどの画素またはブロックに対応するかを検出し、その位置の差を左画像の当該画素に相当する位置に保存した左画像奥行情報と、右画像の各画素、または各ブロックが、左画像のどの画素またはブロックに対応するかを検出し、その位置の差を右画像の当該画素に相当する位置に保存した右画像奥行情報を生成する。

左画像第１−２Ｄ３Ｄ変換部５５４は、左画像入力部５５１から入力する左画像（第３視点画像）と、奥行き検出部５５３で生成された左画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力左画像よりさらに左側の視点からの画像（第２視点画像）を生成する。生成した第２視点画像は、第２視点画像出力部５５９を介して出力されるとともに、左画像第２−２Ｄ３Ｄ変換部５５５に提供される。

左画像第２−２Ｄ３Ｄ変換部５５５は、左画像第１−２Ｄ３Ｄ変換部５５４から入力する第２視点画像と、奥行き検出部５５３で生成された左画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力した第２視点画像よりさらに左側の視点からの画像（第１視点画像）を生成する。生成した第１視点画像は、第１視点画像出力部５５８を介して出力される。

また、右画像第１−２Ｄ３Ｄ変換部５５６は、右画像入力部５５２から入力する右画像（第４視点画像）と、奥行き検出部５５３で生成された右画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力右画像よりさらに漕ぎ側の視点からの画像（第５視点画像）を生成する。生成した第５視点画像は、第５視点画像出力部５６２を介して出力されるとともに、右画像第２−２Ｄ３Ｄ変換部５５７に提供される。

右画像第２−２Ｄ３Ｄ変換部５５７は、右画像第１−２Ｄ３Ｄ変換部５５６から入力する第５視点画像と、奥行き検出部５５３で生成された右画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力した第５視点画像よりさらに右側の視点からの画像（第６視点画像）を生成する。生成した第６視点画像は、第６視点画像出力部５６３を介して出力される。

これらの２Ｄ３Ｄ変換部における新たな視点画像の生成処理は、先に第１実施例および実施例２において図５〜図１２、図１４〜図１５を参照して説明した処理と同様の処理として実行することができる。

左画像第２−２Ｄ３Ｄ変換部５５５の生成した第１視点画像は、第１視点画像出力部５５８を介して出力する。
左画像第１−２Ｄ３Ｄ変換部５５４の生成した第２視点画像は、第２視点画像出力部５５９を介して出力する。
左画像入力部５５１を介して入力した画像（第３視点画像）は、第３視点画像出力部５６０を介して出力する。
右画像入力部５５２を介して入力した画像（第４視点画像）は、第４視点画像出力部５６１を介して出力する。
右画像第１−２Ｄ３Ｄ変換部５５６の生成した第５視点画像は、第５視点画像出力部５６２を介して出力する。
右画像第２−２Ｄ３Ｄ変換部５５７の生成した第６視点画像は、第６視点画像出力部５６３を介して出力する。

なお、画像の出力先は、例えば３Ｄ画像表示の表示処理を実行する装置、あるいは３Ｄ画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。

これらの６つの異なる視点画像は、先に説明した実施例１と同様、例えば表示装置において３Ｄ画像表示を実行する際、ユーザの観察位置に応じて適宜２つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

本実施例においては、第１〜第７の実施例で説明した４つの視点画像より、さらに多くの異なる多視点画像の生成が可能である。図２１に示すように２Ｄ３Ｄ変換処理部を直列的に接続することにより、生成する視点数を増やすことが出来る。なお、２Ｄ３Ｄ変換処理は、２段に限らずより多段に接続することも可能である。

［１０．画像処理装置の第９実施例について］
図２２に本開示の画像処理装置の第９実施例の構成図を示す。
図２２に示す第９実施例の画像処理装置６００は、視点の異なる４枚の画像（第１画像〜第４画像）を入力とし、第１〜第８の８視点の画像を出力する多視点画像生成を行う。

なお、生成する第１〜第８の８視点の画像の各々は、最も左側の視点の画像を第１視点画像とし、第２、第３・・と順次、右側へ移動した視点の画像であり、最も右側の視点の画像が第８視点画像とする。

図２２に示す第９実施例の画像処理装置６００は、
入力画像の第１画像は、そのまま第２視点画像として出力し、
入力第１画像（第２視点画像）に基づいて、入力第１画像（第２視点画像）の左側の視点の第１視点画像を生成して出力する。
また、入力画像の第２画像は、そのまま第４視点画像として出力し、
入力第２画像（第４視点画像）に基づいて、入力第２画像（第４視点画像）の左側の視点の第３視点画像を生成して出力する。

さらに、入力画像の第３画像は、そのまま第５視点画像として出力し、
入力第３画像（第５視点画像）に基づいて、入力第３画像（第５視点画像）の右側の視点の第６視点画像を生成して出力する。
また、入力画像の第４画像は、そのまま第７視点画像として出力し、
入力第４画像（第７視点画像）に基づいて、入力第４画像（第７視点画像）の右側の視点の第８視点画像を生成して出力する。

図２２に示す画像処理装置６００の構成に従って、この画像処理装置において実行する処理について説明する。
第１画像入力部６０１は、第１画像を入力する。入力された第１画像は、第１奥行き検出部６１１、および第１−２Ｄ３Ｄ変換部６２１に入力される。
第２画像入力部６０２は、第２画像を入力する。入力された第２画像は、第１奥行き検出部６１１、および第２奥行き検出部６１２、さらに第２−２Ｄ３Ｄ変換部６２２に入力される。

第３画像入力部６０３は、第３画像を入力する。入力された第３画像は、第２奥行き検出部６１２、および第３奥行き検出部６１３、さらに第３−２Ｄ３Ｄ変換部６２３に入力される。
第４画像入力部６０４は、第４画像を入力する。入力された第４画像は、第３奥行き検出部６１３、および第４奥行き検出部６１４、さらに第４−２Ｄ３Ｄ変換部６２４に入力される。

第１奥行き検出部６１１は、第１画像の各画素、または各ブロックが、第２画像のどの画素またはブロックに対応するかを検出し、その位置の差を第１画像の当該画素に相当する位置に保存した第１画像奥行情報を生成する。

第２奥行き検出部６１２は、第２画像の各画素、または各ブロックが、第３画像のどの画素またはブロックに対応するかを検出し、その位置の差を第２画像の当該画素に相当する位置に保存した第２画像奥行情報を生成する。
さらに、第３画像の各画素、または各ブロックが、第２画像のどの画素またはブロックに対応するかを検出し、その位置の差を第３画像の当該画素に相当する位置に保存した第３画像奥行情報を生成する。

第３奥行き検出部６１３は、第４画像の各画素、または各ブロックが、第３画像のどの画素またはブロックに対応するかを検出し、その位置の差を第４画像の当該画素に相当する位置に保存した第４画像奥行情報を生成する。

第１−２Ｄ３Ｄ変換部６２１は、第１画像入力部６０１から入力する第１画像（第２視点画像）と、第１奥行き検出部６１１で生成された第１画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力第１画像（第２視点画像）よりさらに左側の視点からの画像（第１視点画像）を生成する。

第２−２Ｄ３Ｄ変換部６２２は、第２画像入力部６０２から入力する第２画像（第４視点画像）と、第２奥行き検出部６１２で生成された第２画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力第２画像（第４視点画像）よりさらに左側の視点からの画像（第３視点画像）を生成する。

第３−２Ｄ３Ｄ変換部６２３は、第３画像入力部６０３から入力する第３画像（第５視点画像）と、第２奥行き検出部６１２で生成された第３画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力第３画像（第５視点画像）よりさらに右側の視点からの画像（第６視点画像）を生成する。

第４−２Ｄ３Ｄ変換部６２４は、第４画像入力部６０４から入力する第４画像（第７視点画像）と、第３奥行き検出部６１３で生成された第４画像奥行情報（例えば距離画像）を入力して、これらの情報を利用して、入力第４画像（第７視点画像）よりさらに右側の視点からの画像（第８視点画像）を生成する。

これらの２Ｄ３Ｄ変換部における新たな視点画像の生成処理は、先に第１実施例および実施例２において図５〜図１２、図１４〜図１５を参照して説明した処理と同様の処理として実行することができる。

第１−２Ｄ３Ｄ変換部６２１の生成した第１視点画像は、第１視点画像出力部６３１を介して出力する。
第１画像入力部６０１を介して入力した画像（第２視点画像）は、第２視点画像出力部６３２を介して出力する。
第２−２Ｄ３Ｄ変換部６２２の生成した第２視点画像は、第２視点画像出力部６３３を介して出力する。
第２画像入力部６０２を介して入力した画像（第４視点画像）は、第４視点画像出力部６３４を介して出力する。
第３画像入力部６０３を介して入力した画像（第５視点画像）は、第５視点画像出力部６３５を介して出力する。
第３−２Ｄ３Ｄ変換部６２３の生成した第６視点画像は、第６視点画像出力部６３６を介して出力する。
第４画像入力部６０４を介して入力した画像（第７視点画像）は、第７視点画像出力部６３７を介して出力する。
第４−２Ｄ３Ｄ変換部６２４の生成した第８視点画像は、第８視点画像出力部６３８を介して出力する。

なお、画像の出力先は、例えば３Ｄ画像表示の表示処理を実行する装置、あるいは３Ｄ画像データを記録する記憶装置等である。あるいはネットワークを介して接続された装置に対する通信データとして出力してもよい。

これらの８つの異なる視点画像は、先に説明した実施例１と同様、例えば表示装置において３Ｄ画像表示を実行する際、ユーザの観察位置に応じて適宜２つの画像を選択して左眼用画像と右眼用画像として出力する処理に適用される。すなわち、裸眼対応の３Ｄ表示装置において、ユーザ位置に応じた画像の組み合わせを選択出力することで、逆視やクロストークの発生を抑制した３Ｄ画像の提示が可能となる。

本実施例の構成では３以上の視点の異なる３枚以上の画像を入力とし、４以上の視点画像を生成する構成が実現される。

［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）３次元画像表示に適用する右眼用の画像信号を入力する右画像入力部と、
３次元画像表示に適用する左眼用の画像信号を入力する左画像入力部と、
前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換部と、
前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換部と、
前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力部を有する画像処理装置。

（２）前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離情報を持つ画像奥行情報を生成する奥行き検出部を有し、前記左画像変換部、および右画像変換部は、前記画像奥行情報を補助情報として前記画像信号を左方向、または右方向に位相変化を施した変換画像を生成する前記（１）に記載の画像処理装置。

（３）前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離推定情報を生成する奥行き推定部を有し、前記左画像変換部、および右画像変換部は、前記奥行き推定情報を補助情報として画像信号を左方向、または右方向に位相変化を施した変換画像を生成する（１）または（２）に記載の画像処理装置。

（４）前記左画像変換部、および右画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して、輝度微分信号あるいは輝度微分信号の非線形変換信号を加算または減算することで前記変換画像を生成する（１）〜（３）いずれかに記載の画像処理装置。
（５）前記左画像変換部、または右画像変換部は多段接続構成を有し、前段の画像変換部が生成した変換画像を後段の画像変換部に入力し、入力画像信号に対する位相変化を施す処理を各画像変換部において繰り返し実行し、各画像変換部において、順次新たな変換画像を生成する（１）〜（４）いずれかに記載の画像処理装置。

（６）前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する（１）〜（５）いずれかに記載の画像処理装置。
（７）前記左画像変換部、および右画像変換部は、前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う（１）〜（６）いずれかに記載の画像処理装置。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例構成によれば、簡易な信号処理により新たな視点からの画像を生成する画像処理装置が実現される。具体的には、例えば、画像表示に適用する右眼用の画像信号と左眼用の画像信号を入力し、右画像変換部が右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する。同様に、左画像変換部左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する。これら右画像変換部の生成画像、および左画像変換部の生成画像を複数の新たな視点画像として出力する。変換画像は、例えば入力画像の輝度微分信号、あるいは輝度微分信号の非線形変換信号を入力画像信号に対して加算／減算する処理によって生成する。これらの処理により、高精度の被写体距離情報を利用することなく様々な視点からの画像の生成が可能となる。

１１ 左カメラ
１２ 右カメラ
２１ 左画像
２２ 右画像
３１ 視点１カメラ
３２ 視点２カメラ
３３ 視点３カメラ
３４ 視点４カメラ
４１ 視点１画像
４２ 視点２画像
４３ 視点３画像
４４ 視点４画像
１０１ 左カメラ
１０２ 右カメラ
１０３ 視点１
１０４ 視点２
１１１ 左画像（第２視点画像）
１１２ 右画像（第３視点画像）
１１３ 第１視点画像
１１４ 第４視点画像
２００ 画像処理装置
２０１ 左画像入力部
２０２ 右画像入力部
２０３ 奥行き検出部
２０４ 左画像２Ｄ３Ｄ変換部
２０５ 右画像２Ｄ３Ｄ変換部
２０６ 第１視点画像出力部
２０７ 第２視点画像出力部
２０８ 第３視点画像出力部
２０９ 第４視点画像出力部
２１１ 微分器
２１２ ゲイン制御器
２１３ 非線形変換部
２１４ 画像合成部
２２１ ケイン係数算出部
２２２ 乗算処理部
２５０ 画像処理装置
２５１ 左画像入力部
２５２ 右画像入力部
２５３ 奥行き検出部
２５４ 左画像２Ｄ３Ｄ変換部
２５５ 右画像２Ｄ３Ｄ変換部
２５６ 第１視点画像出力部
２５７ 第２視点画像出力部
２５８ 第３視点画像出力部
２５９ 第４視点画像出力部
２６１ 奥行き情報調整部
３００ 画像処理装置
３０１ 左画像入力部
３０２ 右画像入力部
３０３ 左画像奥行き推定部
３０４ 右画像奥行き推定部
３０５ 左画像２Ｄ３Ｄ変換部
３０６ 右画像２Ｄ３Ｄ変換部
３０７ 第１視点画像出力部
３０８ 第２視点画像出力部
３０９ 第３視点画像出力部
３１０ 第４視点画像出力部
３５０ 画像処理装置
３５１ 左画像入力部
３５２ 左画像２Ｄ３Ｄ変換部
３５３ 第１視点画像出力部
３５４ 第２視点画像出力部
３５５ 右画像入力部
３５６ 右画像２Ｄ３Ｄ変換部
３５７ 第３視点画像出力部
３５８ 第４視点画像出力部
４００ 画像処理装置
４０１ 左画像入力部
４０２ 右画像入力部
４０３ 奥行き検出部
４０４ 左画像２Ｄ３Ｄ変換部
４０５ 右画像２Ｄ３Ｄ変換部
４０６ 第１視点画像出力部
４０７ 第２視点画像出力部
４０８ 第３視点画像出力部
４０９ 第４視点画像出力部
４５０ 画像処理装置
４５１ 左画像入力部
４５２ 右画像入力部
４５３ 左画像奥行き推定部
４５４ 右画像奥行き推定部
４５５ 左画像２Ｄ３Ｄ変換部
４５６ 右画像２Ｄ３Ｄ変換部
４５７ 第１視点画像出力部
４５８ 第２視点画像出力部
４５９ 第３視点画像出力部
４６０ 第４視点画像出力部
５００ 画像処理装置
５０１ 左画像入力部
５０２ 左画像２Ｄ３Ｄ変換部
５０３ 第１視点画像出力部
５０４ 第２視点画像出力部
５０５ 右画像入力部
５０６ 右画像２Ｄ３Ｄ変換部
５０７ 第３視点画像出力部
５０８ 第４視点画像出力部
５５０ 画像処理装置
５５１ 左画像入力部
５５２ 右画像入力部
５５３ 奥行き検出部
５５４ 左画像第１―２Ｄ３Ｄ変換部
５５６ 左画像第２―２Ｄ３Ｄ変換部
５５７ 右画像第１―２Ｄ３Ｄ変換部
５５５ 右画像第２―２Ｄ３Ｄ変換部
５５８ 第１視点画像出力部
５５９ 第２視点画像出力部
５６０ 第３視点画像出力部
５６１ 第４視点画像出力部
５６２ 第５視点画像出力部
５６３ 第６視点画像出力部
６００ 画像処理装置
６０１ 第１画像入力部
６０２ 第２画像入力部
６０３ 第３画像入力部
６０４ 第４画像入力部
６１１ 第１奥行き検出部
６１２ 第２奥行き検出部
６１３ 第３奥行き検出部
６２１ 第１−２Ｄ３Ｄ変換部
６２２ 第２−２Ｄ３Ｄ変換部
６２３ 第３−２Ｄ３Ｄ変換部
６２４ 第４−２Ｄ３Ｄ変換部
６３１ 第１視点画像出力部
６３２ 第２視点画像出力部
６３３ 第３視点画像出力部
６３４ 第４視点画像出力部
６３５ 第５視点画像出力部
６３６ 第６視点画像出力部
６３７ 第７視点画像出力部
６３８ 第８視点画像出力部

Claims (9)

1. ３次元画像表示に適用する右眼用の画像信号を入力する右画像入力部と、
   ３次元画像表示に適用する左眼用の画像信号を入力する左画像入力部と、
   前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換部と、
   前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換部と、
   前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力部を有する画像処理装置。
2. 前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離情報を持つ画像奥行情報を生成する奥行き検出部を有し、
   前記左画像変換部、および右画像変換部は、前記画像奥行情報を補助情報として前記画像信号を左方向、または右方向に位相変化を施した変換画像を生成する請求項１に記載の画像処理装置。
3. 前記右眼用の入力画像信号と、前記左眼用の入力画像信号からそれぞれの画像信号に対応した被写体距離推定情報を生成する奥行き推定部を有し、
   前記左画像変換部、および右画像変換部は、前記奥行き推定情報を補助情報として画像信号を左方向、または右方向に位相変化を施した変換画像を生成する請求項１に記載の画像処理装置。
4. 前記左画像変換部、および右画像変換部は、
   入力画像信号の輝度微分信号を抽出し、該輝度微分信号を特徴量として設定し、入力画像信号に対して、輝度微分信号あるいは輝度微分信号の非線形変換信号を加算または減算することで前記変換画像を生成する請求項１に記載の画像処理装置。
5. 前記左画像変換部、または右画像変換部は多段接続構成を有し、
   前段の画像変換部が生成した変換画像を後段の画像変換部に入力し、入力画像信号に対する位相変化を施す処理を各画像変換部において繰り返し実行し、各画像変換部において、順次新たな変換画像を生成する請求項１に記載の画像処理装置。
6. 前記左画像変換部、および右画像変換部は、
   前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、
   該画像間距離差に従って、新たな視点画像と他画像から得られる最大距離および最少距離の被写体間の画像間距離差を制御した新たな視点画像を生成する請求項１に記載の画像処理装置。
7. 前記左画像変換部、および右画像変換部は、
   前記右眼用の入力画像信号と、前記左眼用の入力画像信号に基づいて算出または推定される奥行き情報から最大距離と最少距離の被写体間の画像間距離差を算出し、
   最終的に出力する視点画像数に応じて各視点画像間の画像間距離差をほぼ均等に配分した新たな視点画像の生成を行う請求項１に記載の画像処理装置。
8. 画像処理装置において実行する画像処理方法であり、
   右画像入力部が、３次元画像表示に適用する右眼用の画像信号を入力する右画像入力ステップと、
   左画像入力部が、３次元画像表示に適用する左眼用の画像信号を入力する左画像入力ステップと、
   右画像変換部が、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成する右画像変換ステップと、
   左画像変換部が、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成する左画像変換ステップと、
   画像出力部が、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力する画像出力ステップを実行する画像処理方法。
9. 画像処理装置において画像処理を実行させるプログラムであり、
   右画像入力部に、３次元画像表示に適用する右眼用の画像信号を入力させる右画像入力ステップと、
   左画像入力部に、３次元画像表示に適用する左眼用の画像信号を入力させる左画像入力ステップと、
   右画像変換部に、前記右眼用の入力画像信号を画像の特徴に応じて右方向、または左方向に位相変化を施した変換画像を生成させる右画像変換ステップと、
   左画像変換部に、前記左眼用の入力画像信号を画像の特徴に応じて左方向、または右方向に位相変化を施した変換画像を生成させる左画像変換ステップと、
   画像出力部に、前記右画像変換部の生成画像、および前記左画像変換部の生成画像を複数の新たな視点画像として出力させる画像出力ステップを実行させるプログラム。