JP2013026808A

JP2013026808A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2013026808A
Application number: JP2011159485A
Authority: JP
Inventors: Yuji Tsuchida; 祐司土田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-07-21
Filing date: 2011-07-21
Publication date: 2013-02-04
Also published as: EP2549761A2; US8988424B2; CN102905152B; CN102905152A; US20130021333A1

Abstract

【課題】多視点画像を生成できるようにする。
【解決手段】２次元画像信号からなる入力画像信号の各画素に対して注目画素の左右の画素を含む３画素にフィルタ処理を施して強調信号を生成し、入力画像の各画素に対して強調信号を加算、または減算して得られる出力信号により、複数の視点における３次元立体視を実現できるように、視点毎の出力信号の差分、すなわち、視点間信号差分が、同一になるようにすることで、クロストークの少ない多視点による３次元立体視を実現することができる。本技術は、３次元画像処理装置に適用することができる。
【選択図】図４

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、簡易な方法で、２次元画像からなる入力画像から、多視点による裸眼３次元立体視を実現できる多視点画像の生成を実現できるようにした画像処理装置および方法、並びにプログラムに関する。

従来より、一枚の画像より立体視可能な２枚のステレオ画像を生成する技術が提案されている（特許文献１参照）。

特許文献１により提案されている技術によれば、簡易な微分フィルタ等を使用して入力画像より取り出した特徴量信号に対して非線形変換を行うことで強調信号を生成し、この強調信号を入力信号に加算、および、減算することで、立体視可能な右眼用画像と左眼用画像を生成することができる。

特開２０１０−６３０８３号公報

しかしながら、上記の方法による生成される画像は、右眼用画像と左眼用画像の２種類のみであるため、例えば、レンチキュラーレンズ方式や視差バリア方式などの裸眼立体視画像表示装置に代表される、多視点表示装置の入力信号として必要となる、多視点画像を生成することはできなかった。

本技術はこのような状況に鑑みてなされたものであり、特に、簡易な手法で２次元画像からなる入力画像から多視点の裸眼３次元立体視画像を適切に生成できるようにするものである。

本技術の第１の側面の画像処理装置は、２次元画像信号からなる入力画像信号より、視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように複数の視点用画像を生成する。

本技術の第２の側面の画像処理装置は、２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する。

前記複数の強調信号を前記入力画像信号より減算することにより、前記複数の強調信号毎に第２の視点用画像を生成する複数の第２の画像生成部をさらに含ませるようにすることができ、前記複数の抽出部には、前記入力画像信号に対して加算、または減算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出させるようにすることができる。

前記入力画像信号が、連続的に所定の方向に隣接する画素単位で順次供給される場合、前記第１の画像生成部には、前記強調信号を現画素の前記入力画像信号に加算することにより、前記第１の視点用画像を生成させるようにすることができる。

本技術の第２の側面の画像処理方法は、２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する。

本技術の第２の側面のプログラムは、２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する画像処理装置を制御するコンピュータに、前記複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、前記複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、前記複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出するプログラム。

本技術の第１の側面の画像処理装置においては、２次元画像信号からなる入力画像信号より、視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するような複数の視点用画像が生成される。

本技術の第２の側面の画像処理装置においては、２次元画像信号からなる入力画像信号の空間的な特徴量信号が複数に抽出され、前記複数の特徴量信号のそれぞれに対して強調処理が施されて複数の強調信号が生成され、前記複数の強調信号が前記入力画像信号に加算されることにより、前記複数の強調信号毎に第１の視点用画像が生成され、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像が構成され、３次元立体視が実現されるように、前記２次元画像信号からなる入力画像信号の空間的な特徴量が複数に抽出される。

本技術の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本技術によれば、２次元の入力画像より裸眼による多視点の３次元立体視画像を簡易な手法で生成することが可能となる。

本技術である画像処理装置を適用した画像符号化装置の第１の実施の形態の構成例を示すブロック図である。従来のステレオ画像生成処理を説明する図である。本技術の画像処理装置を適用した多視点画像生成部の第１の実施の形態の構成例を示す図である。図３の多視点画像生成部による多視点画像生成処理を説明する図である。非線形変換処理を説明する図である。図３の多視点画像生成部による多視点画像生成処理を説明するフローチャートである。図３の多視点画像生成部により生成された多視点画像により生じるクロストークを説明する図である。本技術の画像処理装置を適用した多視点画像生成部の第２の実施の形態の構成例を示す図である。図８の多視点画像生成部による多視点画像生成処理を説明する図である。図８の多視点画像生成部による多視点画像生成処理を説明するフローチャートである。図３の多視点画像生成部により生成された多視点画像により生じるクロストークを説明する図である。汎用のパーソナルコンピュータの構成例を説明する図である。

以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行なう。
１．第１の実施の形態
２．第２の実施の形態（１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならない場合の構成例）

＜１．第１の実施の形態＞
［従来の裸眼による３次元立体視画像］
本技術を適用した裸眼による３次元立体視画像を生成する多視点画像生成部の説明にあたり、上述した特許文献１により開示されている３次元立体視画像の生成原理について説明する。

図１は、２次元画像からなる入力画像から裸眼による３次元立体視画像を生成する従来のステレオ画像生成部１の構成を示している。

ステレオ画像生成部１は、フィルタ１１、非線形変換部１２、加算器１３、および減算器１４より構成されている。フィルタ１１は、２次元画像からなる入力画像を、微分フィルタ処理するなどして特徴量信号として抽出する。非線形変換部１２は、特徴量信号を非線形変換することにより強調信号として出力する。加算器１３は、入力画像に対して強調信号を加算して左眼用画像信号として出力する。減算器１４は、入力画像に対して強調信号を減算して右眼用画像信号として出力する。

この右眼用画像信号および左眼用画像信号に基づいて得られる右眼用画像および左眼用画像が立体視可能となるには、右眼用画像および左眼用画像に立体視に適した信号差分があることが必要条件と考えられる。以下、右眼用画像と左眼用画像の信号差分を左右視点間信号差分と称するものとする。

フィルタ１１が、例えば、注目画素に対して、左右に隣接する画素を含む３画素に対して、[−1,0,1]の係数をそれぞれ乗じた線形和を用いて処理するような場合、特徴量信号を[−1,0,1]で表現するものとする。また、非線形変換部１２により入力信号を１，２，３，４，・・・としたときの出力信号が1u，2u，3u，4u，・・・で表現されるものとする。尚、非線形変換部１２における入力信号と出力信号との関係は詳細を後述する。このような場合、入力画像の各画素に対応する強調信号は、図２で示されるように、左眼用画像に対して[−u,0,u]であり、左眼用画像に対して[u,0,−u]のように表現される。したがって、図２で示されるように、左眼用出力信号は、[−u,1,u]として、右眼用出力信号は、[u,1,−u]として表現される。結果として、左眼用出力信号から右眼用出力信号を減算することにより、左右視点間信号差分が、[−2u,0,2u]として表現される。

すなわち、このように表現される左右視点間信号差分が、[−2u,0,2u]が適切に設定されると、２次元画像から裸眼による３次元立体視が可能となる左眼用出力信号および右眼用出力信号を生成することが可能となる。

しかしながら、上述したように、特許文献１に記載の方法では、生成される画像が、左眼用出力信号および右眼用出力信号からなる２種類の画像のみであるため、例えば、レンチキュラーレンズ方式や視差バリア方式などの裸眼立体画像表示装置に代表される、多視点表示装置の入力信号として必要となる、多視点画像を生成することはできない。

［本技術を適用した画像処理装置からなる多視点画像生成部の構成例］
そこで、レンチキュラーレンズ方式や視差バリア方式などの裸眼立体視画像表示装置に代表される、多視点表示装置で利用できる多視点画像の生成を可能とした多視点画像生成部の構成例について、図３を参照して説明する。

図３の多視点画像生成部３１は、第１フィルタ５１乃至第４フィルタ５４、非線形変換部６１乃至６４、加算器７１乃至７４、および減算器７５乃至７８を備えている。第１フィルタ５１乃至第４フィルタ５４の４種類のフィルタは、それぞれ異なるフィルタ係数を備えた、例えば、ＦＩＲフィルタであり、入力画像である２次元画像にフィルタ処理を施して、特徴量信号を求め、それぞれ非線形変換部６１乃至６４に供給する。

非線形変換部６１乃至６４は、供給されてくる特徴量信号に対して、同一の非線形特性の非線形処理を施して、強調信号を生成する。非線形変換部６１は、生成した強調信号を加算器７１、および減算器７８に供給する。非線形変換部６２は、生成した強調信号を加算器７２、および減算器７７に供給する。非線形変換部６３は、生成した強調信号を加算器７３、および減算器７６に供給する。非線形変換部６４は、生成した強調信号を加算器７４、および減算器７５に供給する。

加算器７１乃至７４は、入力画像に対して、それぞれに供給されてくる強調信号を加算して、それぞれ、第１視点用出力信号乃至第４視点用出力信号として出力する。減算器７５乃至７８は、入力画像に対して、それぞれに供給されてくる強調信号を減算して、それぞれ、第６視点用出力信号乃至第９視点用出力信号として出力する。尚、入力画像は、第５視点用出力信号として、そのまま出力される。

すなわち、多視点画像生成部３１は、１の２次元画像からなる入力画像より、９種類の視点の異なる第１視点用出力信号乃至第９視点用出力信号を生成して出力する。

［図３の多視点画像生成部における第１フィルタ乃至第４フィルタのフィルタ係数］
次に、図４を参照して、第１フィルタ５１乃至第４フィルタ５４のフィルタ係数について説明する。尚、各視点は、図４の丸印内に付された番号に対応する位置に対応するものとし、それぞれ視点１乃至視点９と称するものとする。また、各視点毎に裸眼３次元立体視可能な画像として設定される左眼用画像信号および右眼用画像信号は、隣接する視点間距離Ｒを１とする場合、各視点の入力画像に対応する位置に設定される画像に隣接する視点間距離が２となる２枚の視点用出力信号とするものとする。

すなわち、視点５における入力画像に対応する出力信号は、視点５の位置に設定される第５視点用出力信号である。そして、視点５における左眼用画像信号および右眼用画像信号は、それぞれ第４視点用出力信号および第６視点用出力信号となる。同様に、視点４における入力画像に対応する出力信号は、視点４の位置に設定される第４視点用出力信号である。そして、視点４における左眼用画像信号および右眼用画像信号は、それぞれ第３視点用出力信号および第５視点用出力信号となる。また、視点３における入力画像に対応する出力信号は、視点３の位置に設定される第３視点用出力信号である。そして、視点３における左眼用画像信号および右眼用画像信号は、それぞれ第２視点用出力信号および第４視点用出力信号となる。さらに、視点２における入力画像に対応する出力信号は、視点２の位置に設定される第２視点用出力信号である。そして、視点２における左眼用画像信号および右眼用画像信号は、それぞれ第１視点用出力信号および第３視点用出力信号となる。

また、視点６における入力画像に対応する出力信号は、視点６の位置に設定される第６視点用出力信号である。そして、視点６における左眼用画像信号および右眼用画像信号は、それぞれ第５視点用出力信号および第７視点用出力信号となる。また、視点７における入力画像に対応する出力信号は、視点７の位置に設定される第７視点用出力信号である。そして、視点７における左眼用画像信号および右眼用画像信号は、それぞれ第６視点用出力信号および第８視点用出力信号となる。さらに、視点８における入力画像に対応する出力信号は、視点８の位置に設定される第８視点用出力信号である。そして、視点８における左眼用画像信号および右眼用画像信号は、それぞれ第７視点用出力信号および第９視点用出力信号となる。

また、視点aの出力信号をＣ_a、視点aの出力信号と視点b出力信号の差分をＤ_abと表記するものとする。

すなわち、各視点における左眼用画像信号および右眼用画像信号は、いずれも、裸眼３次元立体視が実現されることが前提であるので、各視点における左眼用画像信号および右眼用画像信号の視点間信号差分は同一である。したがって、第１フィルタ５１乃至第４フィルタ５４におけるフィルタ係数は、視点間信号差分が同一になるように設定されている。

そこで、この視点間信号差分が同一になるという拘束条件に基づいて第１フィルタ５１乃至第４フィルタ５４のフィルタ係数を考える。

例えば、視点４，６の特徴量信号を生成する第１フィルタ５１が、フィルタ係数として[−1,0,1]のタップ係数を持つ、３タップのＦＩＲフィルタを用いているものとし、非線形変換により入力が、１，２，３，４・・・の場合、u，2u，3u，4u，・・・であるようなとき、単位入力１に対する、視点４乃至６における出力信号Ｃ_4乃至Ｃ_6は、以下の式（１）乃至式（３）のように表わされる。

Ｃ_4＝[−u,1,u]
・・・（１）
Ｃ_5＝[0,1,0]
・・・（２）
Ｃ_6＝[u,1,−u]
・・・（３）

したがって、視点１乃至３および７乃至９の出力信号Ｃ_1乃至Ｃ_3および出力信号Ｃ_7乃至Ｃ_9を生成するフィルタ係数は以下の手順により求められることになる。ここで、uは、非線形変換において生じる値であり、詳細は、後述する。

すなわち、視点４の出力信号と視点６の出力信号の差分Ｄ_46は、視点４の出力信号Ｃ_4と視点６の出力信号Ｃ_6との差分であるので、以下の式（４）で示されるように表わされる。

Ｄ_46＝Ｃ_4−Ｃ_6＝[−u,1,u]−[u,1,−u]＝[−2u,0,2u]
・・・（４）
視点３の出力信号Ｃ_3と視点５の出力信号Ｃ_5の差分Ｄ_35は、拘束条件に基づいて、差分Ｄ_46と等しくなるので、以下の式（５）の関係が成立する。

Ｄ_35＝Ｃ_3−Ｃ_5＝Ｄ_46
・・・（５）

この式（５）を以下の式（６）のように変形することで、視点３の出力信号Ｃ_3が求められる。

Ｃ_3＝Ｄ_46＋Ｃ_5＝[−2u,0,2u] +[0,1,0]＝[−2u,1,2u]
・・・（６）

さらに、視点２の出力信号Ｃ_2と視点４の出力信号Ｃ_4の差分Ｄ_24は、拘束条件により、差分D_46と等しくなるので、以下の式（７）の関係が成立する。

Ｄ_24＝Ｃ_2−Ｃ_4＝D_46
・・・（７）

この式（７）を以下の式（８）のように変形することで、視点２の出力信号Ｃ_2が求められる。

Ｃ_2＝D_46＋Ｃ_4＝[−2u,0,2u]+[−u,1,u]＝[−3u,1,3u]
・・・（８）

また、視点１の出力信号Ｃ_1と視点３の出力信号Ｃ_3の差分Ｄ_13は、拘束条件により、差分D_46と等しくなるので、以下の式（９）の関係が成立する。

Ｄ_13＝Ｃ_1−Ｃ_3＝D_46
・・・（９）

この式（９）を以下の式（１０）のように変形することで、視点１の出力信号Ｃ_1が求められる。

Ｃ_1＝D_46＋Ｃ_3＝[−2u,0,2u]+[−2u,1,2u]＝[−4u,1,4u]
・・・（１０）

さらに、視点５の出力信号Ｃ_5と視点７の出力信号Ｃ_7の差分Ｄ_57は、拘束条件により、差分D_46と等しくなるので、以下の式（１１）が成立する。

Ｄ_57＝Ｃ_5−C_7＝D_46
・・・（１１）

この式（１１）を以下の式（１２）のように変形することで、視点７の出力信号Ｃ_7が求められる。

C_7＝Ｃ_5−D_46＝[0,1,0]−[−2u,0,2u]＝[2u,1,−2u]
・・・（１２）

また、視点６の出力信号Ｃ_6と視点８の出力信号Ｃ_8の差分Ｄ_68は、拘束条件により差分D_46と等しくなるので、以下の式（１３）が成立する。

Ｄ_68＝Ｃ_6−Ｃ_8＝D_46
・・・（１３）

この式（１３）を以下の式（１４）のように変形することで、視点８の出力信号Ｃ_8が求められる。

Ｃ_8＝Ｃ_6−D_46＝[u,1,−u]−[−2u,0,2u]＝[3u,1,−3u]
・・・（１４）

さらに、視点７の出力信号C_7と視点９の出力信号C_9の差分Ｄ_79は、拘束条件により、差分D_46と等しくなるので、以下の式（１５）が成立する。

Ｄ_79＝C_7−Ｃ_9＝D_46
・・・（１５）

この式（１５）を以下の式（１６）のように変形することで、視点９の出力信号Ｃ_9が求められる。

Ｃ_9＝C_7−D_46＝[2u,1,−2u]−[−2u,0,2u]＝[4u,1,−4u]
・・・（１６）

上記の各視点の出力信号Ｃ_1乃至Ｃ_9は、非線形変換部６１乃至６４により、同一の非線形変換された後に入力信号が加算された値であるため、フィルタ係数は、出力信号Ｃ_1乃至Ｃ_9から入力信号を減算後、逆非線形変換を行うことにより求められる。

また、立体視効果のある強調信号の振幅は主に低いレベルであるため、この領域においては非線形変換、および、非線形逆変換は線形変換に近似できる。すなわち、例えば、非線形変換部６１乃至６４が非線形変換に用いる関数y=f(x)が、図５で示されるような曲線で定義される関数であるとすれば、例えば、図中の一点鎖線の矢印で示される強調信号の振幅が大きい範囲内における、出力y＝f(x)＝Auであるような場合、入力は非線形であるので、x＝Aとはならない。しかしながら、図中の実線の矢印の範囲内などの、振幅が低レベルであり、原点近傍であれば、図中の点線で示されるような線形関数と近似できるので、出力y＝uまたは2uであれば、対応する入力は、ほぼ１また２と考えることができる。

すなわち、非線形変換部６１乃至６４への入力をx、非線形変換部６１乃至６４からの出力をyとし、非線形変換部６１乃至６４により非線形変換に用いられる関数をy=f(x)とし、非線形逆変換に用いられる関数をx=f'(y)と定義すると、非線形変換に係る式は、入力xを１，２，３，４とするとき、以下の式（１７）乃至式（２０）により表される。

u=f(1)
・・・（１７）
2u=f(2)
・・・（１８）
3u=f(3)
・・・（１９）
4u=f(4)
・・・（２０）

したがって、非線形変換に係る式は、以下の式（２１）乃至（２４）により表される。

1=f'(u)
・・・（２１）
2=f'(2u)
・・・（２２）
3=f'(3u)
・・・（２３）
4=f'(4u)
・・・（２４）

このため、第１フィルタ５１乃至第４フィルタ５４のフィルタ係数は、以下の式（２５）乃至式（２８）のように求められることになる。

第１フィルタ５１のフィルタ係数＝[−4,0,4]
・・・（２５）
第２フィルタ５２のフィルタ係数＝[−3,0,3]
・・・（２６）
第３フィルタ５３のフィルタ係数＝[−2,0,2]
・・・（２７）
第４フィルタ５４のフィルタ係数＝[−1,0,1]
・・・（２８）

この結果、フィルタ係数は、第１視点用出力信号乃至第９視点用出力信号に対して、実質的に、第５視点用出力を中心として、奇対称の関係となることがわかる。上記のように、視点間信号差分が常に一定となるようフィルタ係数を設定することにより、いずれの視点においても、常に最適な裸眼３次元立体視を可能とする多視点画像を生成することが可能となる。尚、フィルタ係数については、隣接視点間距離により設定される拘束条件が満たされる限り、その他のフィルタ係数であってもよいことはいうまでもない。

［図３の多視点が画像生成部による多視点画像生成処理］
次に、図６のフローチャートを参照して、図３の多視点画像生成部３１による多視点画像生成処理について説明する。

ステップＳ１において、多視点画像生成部３１は、画素位置を管理するための図示せぬカウンタｘ，ｙを０に初期化する。

ステップＳ２において、多視点画像生成部３１は、注目画素の画素位置を（ｘ，ｙ）に設定する。

ステップＳ３において、多視点画像生成部３１は、視点位置を管理するための図示せぬカウンタｎを０に初期化する。

ステップＳ４において、多視点画像生成部３１は、カウンタｎが０であるか否かを判定し、例えば、最初の処理の場合、カウンタｎが０であるので、処理は、ステップＳ５に進む。

ステップＳ５において、多視点画像生成部３１は、入力画像の注目画素の画像信号を、第５視点用出力信号としてそのまま出力し、処理は、ステップＳ１３に進む。

ステップＳ１３おいて、多視点画像生成部３１は、図示せぬカウンタｎを１インクリメントし、処理は、ステップＳ４に戻る。

そして、ステップＳ４において、例えば、カウンタｎ＝０ではない場合、処理は、ステップＳ６に進む。

ステップＳ６において、多視点画像生成部３１は、第１フィルタ５１乃至第４フィルタ５４のうち、カウンタｎに対応する第ｎフィルタを制御して、入力画像の注目画素の信号から上述した、フィルタ係数によるフィルタ処理により特徴量信号を生成する。多視点画像生成部３１は、第ｎフィルタにより生成された特徴量信号を、非線形変換部６１乃至６４のうち、対応する非線形変換部（６０＋ｎ）に供給する。

ステップＳ７において、多視点画像生成部３１は、非線形変換部（６０＋ｎ）を制御して、特徴量信号に非線形変換処理を施すことで強調信号を生成し、加算器（７０＋ｎ）、および減算器（７９−ｎ）に供給する。

ステップＳ８において、多視点画像生成部３１は、加算器（７０＋ｎ）を制御して、入力画像に対して、強調信号を加算して、第ｎ視点用出力信号を生成する。すなわち、この処理により、カウンタｎの値に応じて、順次第１視点用出力信号乃至第４視点用出力信号が生成される。

ステップＳ９において、加算器（７０＋ｎ）は、生成した第ｎ視点用出力信号を出力する。

ステップＳ１０において、多視点画像生成部３１は、減算器（７９−ｎ）を制御して、入力画像に対して、強調信号を減算して、第（１０−ｎ）視点用出力信号を生成する。すなわち、この処理により、カウンタｎの値に応じて、順次第９視点用出力信号乃至第６視点用出力信号が生成される。

ステップＳ１１において、減算器（７９−ｎ）は、生成した第（１０−ｎ）視点用出力信号を出力する。

ステップＳ１２において、多視点画像生成部３１は、カウンタｎ＝４になったか、すなわち、全ての視点用出力信号が生成されたか否かを判定し、全ての視点用出力信号が生成されていない場合、処理は、ステップＳ１３に進む。すなわち、全ての視点用出力信号が生成されるまで、ステップＳ４，Ｓ６乃至Ｓ１３の処理が繰り返される。そして、ステップＳ１２において、カウンタｎ＝４であるとみなされ、全ての視点用出力信号が生成されたと判定されると、処理は、ステップＳ１４に進む。

ステップＳ１２において、多視点画像生成部３１は、カウンタxがxmaxであるか否か、すなわち、画像の水平方向の端部であるか否かを判定し、カウンタxがxmaxでなく、すなわち、画像の水平方向の端部ではない場合、処理は、ステップＳ１５に進む。

ステップＳ１５において、多視点画像生成部３１は、カウンタｘを１インクリメントして、処理は、ステップＳ２に戻る。

また、ステップＳ１４において、カウンタｘがxmaxである場合、ステップＳ１６において、多視点画像生成部３１は、カウンタxを０に初期化し、処理は、ステップＳ１７に進む。

ステップＳ１７において、多視点画像生成部３１は、カウンタｙがymaxであるか、すなわち、垂直方向の端部であるか否かを判定し、例えば、カウンタｙがymaxでなく、垂直方向の端部ではない場合、ステップＳ１８において、カウンタｙを１インクリメントして、処理は、ステップＳ２に戻る。

そして、ステップＳ１７において、カウンタｙがymaxであり、画像全体の処理が完了したとみなされた場合、処理は、終了する。

以上の処理により、第１視点用画像乃至第９視点用画像からなる多視点画像が生成される。尚、図３の多視点画像生成部３１においては、９種類の視点に対応する多視点画像を生成する例について説明してきたが、第１フィルタ５１乃至第４フィルタ５４、非線形変換部６１乃至６４、加算器７１乃至７４、および減算器７５乃至７８のそれぞれに対応するフィルタ、非線形変換部、加算器、および減算器を増減することにより、異なる種類数に対応する多視点画像を生成する構成としてもよい。また、第１視点用画像乃至第９視点用画像は、それぞれ隣接する視点間の視点間信号差分が所定値となり、その所定値の２倍、すなわち、例えば、上述した[−2u,0,2u]となる２枚の視点用画像であれば、いずれの２枚の画像であっても、それぞれ左眼用出力信号、および右眼用出力信号を構成する。この結果、複数の視点においても、裸眼３次元立体視を実現することが可能となる。

［図３の多視点画像生成部により生成された多視点画像のクロストークによる影響］
一般的に多視点表示装置では完全に１つの視点画像のみを視聴者に提示することが構造上難しく、特定の視点の両側の視点画像（以下ではこれを「隣接視点画像」と称する）の画像が一定の割合で同時に見えてしまうことが避けられない。この現象は、音声信号の漏話に例えてクロストークと称される。

ここで、図７を参照して、図３の多視点画像生成部３１により生成された多視点画像の隣接視点からのクロストークがある場合の視点間信号差分について説明する。

図７で示されるように、本来、左眼用画像として視聴者に提示されるべき画像である第４視点用出力信号に加えて、通常、隣接視点画像である第３視点用出力信号、および第５視点用出力信号が一定の割合で左眼に対して提示される状態となる。

また、本来の右眼用画像として視聴者に提示されるべき画像である第６視点用出力信号に加えて、隣接視点画像である第５視点用出力信号および第７視点用出力信号が一定の割合で右眼に対して提示されている状態を示している。

本来提示すべき画像に対する、隣接視点画像の割合をpとすると、図７において、このように視点５において、左眼用の視点ａの画像として左眼に提示される出力信号Ｃ_a’と、右眼用の視点ｂの画像として右眼に提示される出力信号Ｃ_b’との差分である、視点間信号差分Ｄ_abは以下の式（２９）で示されるように求められる。

Ｄ_ab＝Ｃ_a’−Ｃ_b’
・・・（２９）

ここで、視点aと視点bの出力信号、Ｃ_a’とＣ_b’は、以下の式（３０），式（３１）のように置き換えられる。

Ｃ_a’＝p×Ｃ_a−1＋（1−2×p）×Ｃ_a＋p×Ｃ_a+1
・・・（３０）
Ｃ_b’＝p×Ｃ_b−1＋（1−2×p）×Ｃ_b＋p×Ｃ_b+1
・・・（３１）

また、視点間距離Rは２であるので、視点ａ，ｂの関係は、以下の式（３２）で示されるようなものとなる。

b＝a＋R＝a＋2
・・・（３２）

この関係を利用すると、式（３１）は、以下の式（３３）に変形することができる。

Ｃ_b’＝p×Ｃ_a+1＋（1−2×p）×Ｃ_a+2＋p×Ｃ_a+3
・・・（３３）

従って、クロストークの影響を加味した視点間信号差分Ｄ_abは以下の式（３４）で表されることになる。

Ｄ_ab＝｛p×Ｃ_a−1＋（1−2×p）×Ｃ_a＋p×Ｃ_a+1｝
−｛p×Ｃ_a+1＋（1−2×p）×Ｃ_a+2＋p×Ｃ_a+3｝
＝p×（Ｃ_a−1−Ｃ_a+1）＋（Ｃ_a−Ｃ_a+2）
−2×p×（Ｃ_a−Ｃ_a+2）＋p×（Ｃ_a+1−Ｃ_a+3）
＝(p＋1−2×p＋p)×[−2u,0,2u]
（∵Ｃ_a−1−Ｃ_a+1＝Ｃ_a−Ｃ_a+2＝Ｃ_a+1−Ｃ_a+3＝[−2u,0,2u]）
＝[−2u,0,2u]
・・・（３４）

式（３４）で示されるように、視点間信号差分Ｄ_abは、クロストークの割合pに依存しない値となる。すなわち、図３の多視点画像生成部３１により生成された多視点画像は、隣接視点間で生じるクロストークの量や位置に関わらず、常に一定の視点間信号差分が維持できるので、常に最適な３次元立体視を実現することが可能となる。

＜２．第２の実施の形態＞
［直前の注目画素における強調信号を利用する多視点画像生成部の構成例］
以上においては、１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならる場合の構成例について説明してきたが、１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならない場合でも係数値の構成を工夫することにより実現できる。

図８は、１つのフィルタ係数列自身が中央の係数値を基準として奇対称とならない場合の多視点画像生成部３１の構成例を示している。尚、図８の多視点画像生成部３１において、図３の多視点画像生成部３１の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、図８の多視点画像生成部３１における、図３の多視点画像生成部３１と異なる構成は、第１フィルタ５１乃至第４フィルタ５４、および減算部７５乃至７８に代えて、第１フィルタ８１乃至第４フィルタ８８と、加算部９１乃至９４とを設けた点である。

第１フィルタ８１乃至第４フィルタ８８は、基本的に、第１フィルタ５１乃至第４フィルタ５４と同様の機能であるが、フィルタ係数が異なる。

加算部９１乃至９４は、それぞれ加算部７１乃至７４と同一の機能を備えている。

［図８の多視点画像生成部における第１フィルタ乃至第４フィルタのフィルタ係数］
図９で示されるように、例えば、視点４，６の特徴量信号を生成する第１フィルタ８１が、フィルタ係数として[−1,1,0]のタップ係数を持つ、３タップのＦＩＲフィルタを用いているものとし、非線形変換により入力が、１，２，３，４・・・の場合、u，2u，3u，4u，・・・であるようなとき、単位入力１に対する、視点４乃至６における出力信号Ｃ_4乃至Ｃ_6は、以下の式（３５）乃至式（３７）のように表わされる。

Ｃ_4＝[−u,1+u,0]
・・・（３５）
Ｃ_5＝[0,1,0]
・・・（３６）
Ｃ_6＝[0,1+u,−u]
・・・（３７）

したがって、視点１乃至３および７乃至９の出力信号Ｃ_1乃至Ｃ_3および出力信号Ｃ_7乃至Ｃ_9を生成するフィルタ係数は以下の手順により求められることになる。

すなわち、視点４の出力信号と視点６の出力信号の差分Ｄ_46は、視点４の出力信号Ｃ_4と視点６の出力信号Ｃ_6との差分であるので、以下の式（３８）で示されるように表わされる。

D_46＝Ｃ_4−Ｃ_6＝[−u,1+u,0]−[0,1+u,−u]＝[−u,0,u]
・・・（３８）

視点３の出力信号Ｃ_3と視点５の出力信号Ｃ_5の差分Ｄ_35は、拘束条件に基づいて、差分Ｄ_46と等しくなるので、以下の式（３９）の関係が成立する。

Ｄ_35＝Ｃ_3−Ｃ_5＝D_46
・・・（３９）

この式（３９）を以下の式（４０）のように変形することで、視点３の出力信号Ｃ_3が求められる。

Ｃ_3＝D_46＋Ｃ_5＝[−u,0,u]+[0,1,0]＝[−u,1,u]
・・・（４０）

さらに、視点２の出力信号Ｃ_2と視点４の出力信号Ｃ_4の差分Ｄ_24は、拘束条件により、差分D_46と等しくなるので、以下の式（４１）の関係が成立する。

Ｄ_24＝Ｃ_2−Ｃ_4＝D_46
・・・（４１）

この式（４１）を以下の式（４２）のように変形することで、視点２の出力信号Ｃ_2が求められる。

Ｃ_2＝D_46＋Ｃ_4＝[−u,0,u]+[−u,1+u,0]＝[−2u,1+u,u]
・・・（４２）

また、視点１の出力信号Ｃ_1と視点３の出力信号Ｃ_3の差分Ｄ_13は、拘束条件により、差分D_46と等しくなるので、以下の式（４３）の関係が成立する。

Ｄ_13＝Ｃ_1−Ｃ_3＝D_46
・・・（４３）

この式（４３）を以下の式（４４）のように変形することで、視点１の出力信号Ｃ_1が求められる。

Ｃ_1＝D_46＋Ｃ_3＝[−u,0,u]+[−u,1,u]＝[−2u,1,2u]
・・・（４４）

さらに、視点５の出力信号Ｃ_5と視点７の出力信号Ｃ_7の差分Ｄ_57は、拘束条件により、差分D_46と等しくなるので、以下の式（４５）が成立する。

Ｄ_57＝Ｃ_5−C_7＝D_46
・・・（４５）

この式（４５）を以下の式（４６）のように変形することで、視点７の出力信号Ｃ_7が求められる。

C_7＝Ｃ_5−D_46＝[0,1,0]−[−u,0,u]＝[u,1,−u]
・・・（４６）

また、視点６の出力信号Ｃ_6と視点８の出力信号Ｃ_8の差分Ｄ_68は、拘束条件により差分D_46と等しくなるので、以下の式（４７）が成立する。

Ｄ_68＝Ｃ_6−Ｃ_8＝D_46
・・・（４７）

この式（４７）を以下の式（４８）のように変形することで、視点８の出力信号Ｃ_8が求められる。

Ｃ_8＝Ｃ_6−D_46＝[0,1+u,−u]−[−u,0,u]＝[u,1+u,−2u]
・・・（４８）

さらに、視点７の出力信号C_7と視点９の出力信号C_9の差分Ｄ_79は、拘束条件により、差分D_46と等しくなるので、以下の式（４９）が成立する。

Ｄ_79＝C_7−Ｃ_9＝D_46
・・・（４９）

この式（４９）を以下の式（５０）のように変形することで、視点９の出力信号Ｃ_9が求められる。

Ｃ_9＝C_7−D_46＝[u,1,−u]−[−u,0,u]＝[2u,1,−2u]
・・・（５０）

非線形変換部６１乃至６４に係る非線形変換については、上述した式（１７）乃至式（２４）の関係と同様である。

このため、第１フィルタ８１乃至第４フィルタ８４のフィルタ係数は、以下の式（５１）乃至式（５４）のように求められることになる。

第１フィルタ８１のフィルタ係数＝[−2,0,2]
・・・（５１）
第２フィルタ８２のフィルタ係数＝[−2,1,1]
・・・（５２）
第３フィルタ８３のフィルタ係数＝[−1,0,1]
・・・（５３）
第４フィルタ８４のフィルタ係数＝[−1,1,0]
・・・（５４）

また、同様の手法により、第５フィルタ８５乃至第８フィルタ８８のフィルタ係数についても、上述した第１フィルタ８１乃至第４フィルタ８４のフィルタ係数と同様の手法により求めることができ、以下の式（５５）乃至（５８）のように求められる。

第５フィルタ８５のフィルタ係数＝[0,1,−1]
・・・（５５）
第６フィルタ８６のフィルタ係数＝[1,0,−1]
・・・（５６）
第７フィルタ８７のフィルタ係数＝[1,1,−2]
・・・（５７）
第８フィルタ８８のフィルタ係数＝[2,0,−2]
・・・（５８）

上記のように、視点間信号差分が常に一定となるようフィルタ係数を設定することにより、いずれの視点においても、常に最適な裸眼３次元立体視を可能とする多視点画像を生成することが可能となる。この結果、複数の視点においても、裸眼３次元立体視を実現することが可能となる。尚、フィルタ係数については、隣接視点間距離により設定される拘束条件が満たされる限り、その他のフィルタ係数であってもよいことはいうまでもない。

［図８の多視点が画像生成部による多視点画像生成処理］
次に、図１０のフローチャートを参照して、図８の多視点画像生成部３１による多視点画像生成処理について説明する。尚、図１０のフローチャートのステップＳ４０乃至４２の処理を除く、ステップＳ３１乃至Ｓ４９の処理については、図６のフローチャートを参照して説明したステップＳ１０の処理を除く、ステップＳ１乃至Ｓ１８の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ４０において、多視点画像生成部３１は、第１フィルタ８１乃至第８フィルタ８８のうち、カウンタｎに対応する第（９−ｎ）フィルタを制御して、入力画像の注目画素の信号から上述した、フィルタ係数によるフィルタ処理により特徴量信号を生成する。多視点画像生成部３１は、第（９−ｎ）フィルタにより生成された特徴量信号を、非線形変換部６１乃至６８のうち、対応する非線形変換部（６９−ｎ）に供給する。

ステップＳ４１において、多視点画像生成部３１は、非線形変換部（６９−ｎ）を制御して、特徴量信号に非線形変換処理を施すことで強調信号を生成し、加算器（９５−ｎ）に供給する。

ステップＳ４２において、多視点画像生成部３１は、加算器（９５−ｎ）を制御して、入力画像に対して、強調信号を加算して、第（１０−ｎ）視点用出力信号を生成する。すなわち、この処理により、カウンタｎの値に応じて、順次第９視点用出力信号乃至第６視点用出力信号が生成される。

以上の処理により、多視点画像が生成される。尚、図８の多視点画像生成部３１においては、９種類の視点に対応する多視点画像を生成する例について説明してきたが、第１フィルタ８１乃至第４フィルタ８８、非線形変換部６１乃至６８、加算器７１乃至７４、および加算器９１乃至９４のそれぞれに対応するフィルタ、非線形変換部、および加算器、を増減することにより、異なる種類数に対応する多視点画像を生成する構成としてもよい。また、第１視点用画像乃至第９視点用画像は、それぞれ隣接する視点間の視点間信号差分が所定値となり、その所定値の２倍、すなわち、例えば、上述した[−u,0,u]となる２枚の視点用画像であれば、いずれの２枚の画像であっても、それぞれ左眼用出力信号、および右眼用出力信号を構成する。この結果、複数の視点においても、裸眼３次元立体視を実現することが可能となる。尚、水平方向に隣接する画素単位で順次処理する場合、水平方向の先頭位置、または最後尾位置に存在する画素が注目画素となるとき、直前、または直後の注目画素は、隣接する画素ではなくなるので、水平方向の先頭位置、または最後尾位置の画素が注目画素となったときには、直前、または直後の注目画素も、現注目画素であるものとして扱うようにしてもよい。

［図８の多視点画像生成部により生成された多視点画像のクロストークによる影響］
ここで、図１１を参照して、図８の多視点画像生成部３１により生成された多視点画像の隣接視点からのクロストークがある場合の視点間信号差分について説明する。隣接視点間のクロストークについては、上述した式（３４）より求められることになる。この式（３４）に、図８の多視点画像生成部３１の第１フィルタ８１乃至第４フィルタ８４のフィルタ係数を代入することにより、図８の多視点画像生成部３１により求められた隣接視点間のクロストークを加味した視点間信号差分Ｄ_abは、以下の式（５９）として求められる。

Ｄ_ab＝｛p×Ｃ_a−1＋（1−2×p）×Ｃ_a＋p×Ｃ_a+1｝
−｛p×Ｃ_a+1＋（1−2×p）×Ｃ_a+2＋p×Ｃ_a+3｝
＝p×（Ｃ_a−1−Ｃ_a+1）＋（Ｃ_a−Ｃ_a+2）
−2×p×（Ｃ_a−Ｃ_a+2）＋p×（Ｃ_a+1−Ｃ_a+3）
＝(p＋1−2×p＋p)×[−u,0,u]
（∵Ｃ_a−1−Ｃ_a+1＝Ｃ_a−Ｃ_a+2＝Ｃ_a+1−Ｃ_a+3＝[−u,0,u]）
＝[−u,0,u]
・・・（５９）

式（５９）で示されるように、視点間信号差分Ｄ_abは、クロストークの割合pに依存しない値となる。すなわち、図８の多視点画像生成部３１により生成された多視点画像は、隣接視点間で生じるクロストークの量や位置に関わらず、常に一定の視点間信号差分が維持できるので、常に最適な３次元立体視を実現することが可能となる。

以上の如く、本技術においては、簡易な処理により立体視に適したな多視点画像を生成することが可能になると共に、多視点画像を表示するにあたり生じるクロストークの量に依存せず、常に最適な３次元立体視を実現することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

尚、本技術は以下のような構成を取ることができる。
（１）２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置。
（２）前記複数の強調信号を前記入力画像信号より減算することにより、前記複数の強調信号毎に第２の視点用画像を生成する複数の第２の画像生成部をさらに含み、
前記複数の抽出部は、前記入力画像信号に対して加算、または減算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
請求項２に記載の画像処理装置。
（３）前記入力画像信号が、連続的に所定の方向に隣接する画素単位で順次供給される場合、
前記第１の画像生成部は、前記強調信号を現画素の前記入力画像信号に加算することにより、前記第１の視点用画像を生成し、
前記第２の画像生成部は、前記強調信号を前記現画素より直前に処理された画素の前記入力画像信号より減算することにより、前記第２の視点用画像を生成する
（１）または（２）に記載の画像処理装置。
（４）２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理方法。
（５）２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置を制御するコンピュータに、
前記複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
プログラム。

３１多視点画像生成部，５１第１フィルタ，５２第２フィルタ，５３第３フィルタ，５４第４フィルタ，６１乃至６４非線形変換部，７１乃至７４加算器，７５乃至７８減算器，８１第１フィルタ，８２第２フィルタ，８３第３フィルタ，８４第４フィルタ，８５第５フィルタ，８６第６フィルタ，８７第７フィルタ，８８第８フィルタ，９１乃至９４加算器

Claims

２次元画像信号からなる入力画像信号より、視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように複数の視点用画像を生成する
画像処理装置。
２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置。
前記複数の強調信号を前記入力画像信号より減算することにより、前記複数の強調信号毎に第２の視点用画像を生成する複数の第２の画像生成部をさらに含み、
前記複数の抽出部は、前記入力画像信号に対して加算、または減算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
請求項２に記載の画像処理装置。
前記入力画像信号が、連続的に所定の方向に隣接する画素単位で順次供給される場合、
前記第１の画像生成部は、前記強調信号を現画素の前記入力画像信号に加算することにより、前記第１の視点用画像を生成する
請求項２に記載の画像処理装置。
２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップととを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理方法。
２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出部と、
前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理部と、
前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成部とを含み、
前記複数の抽出部は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
画像処理装置を制御するコンピュータに、
前記複数の抽出部における、前記２次元画像信号からなる入力画像信号の空間的な特徴量信号を複数に抽出する複数の抽出ステップと、
前記複数の強調処理部における、前記複数の特徴量信号のそれぞれに対して強調処理を施して複数の強調信号を生成する複数の強調処理ステップと、
前記複数の第１の画像生成部における、前記複数の強調信号を前記入力画像信号に加算することにより、前記複数の強調信号毎に第１の視点用画像を生成する複数の第１の画像生成ステップとを含み、
前記複数の抽出ステップの処理は、前記入力画像信号に対して加算される強調信号の加算値の大きさ順に求められる各視点用画像間の視点間信号差分が所定値となり、かつ、前記視点間信号差分が、前記所定値の２倍となる２枚の視点用画像が、いずれも左眼用画像、および右眼用画像を構成し、３次元立体視を実現するように、前記複数の抽出部は、前記２次元画像信号からなる入力画像信号の空間的な特徴量を複数に抽出する
プログラム。