JP2011077764A

JP2011077764A - 多次元画像処理装置、多次元画像撮影システム、多次元画像印刷物および多次元画像処理方法

Info

Publication number: JP2011077764A
Application number: JP2009226271A
Authority: JP
Inventors: Hiroshi Tanabe; 泰士田辺; Sukekazu Kameyama; 祐和亀山
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-09-30
Filing date: 2009-09-30
Publication date: 2011-04-14

Abstract

【課題】コンパクトな設計のＩＰ画像取得装置で複雑な立体形状を有する被写体を撮影した場合であっても高精度なＩＰ画像を得ることができる多次元画像処理装置および方法を提供することにある。
【解決手段】インテグラルフォトグラフィ画像取得手段で取得された多次元画像から予め定められた特徴的な被写体が含まれる特徴領域を検出し、予め定められた特徴的な被写体に対する多次元画像よりも高精度な複数種類のモデルの画像情報を格納したモデルデータベースから特徴領域に対応するモデルの画像情報を抽出して特徴領域に対する合成画像情報を生成し、多次元画像における特徴領域を合成画像情報により補完する。
【選択図】図１

Description

本発明は、インテグラルフォトグラフィ画像取得装置により取得された多次元画像の画像処理を行い、多次元画像の画質を向上させる多次元画像処理装置および方法に関するものである。
また、本発明は、このような多次元画像処理装置を用いて多次元画像を出力する多次元画像撮影システム、並びに、出力された多次元画像印刷物にも関している。

近年、立体画像への関心が高まるにつれ、被写体の３次元情報、距離情報、焦点深度情報など、様々な情報を得られるインテグラルフォトグラフィ（ＩＰ）が注目されている。
ＩＰは、例えば特許文献１に開示されているように、人の左右の目に対する被写体の視差を、マイクロレンズアレイを利用して発生させることで立体画像を得ることができる。マイクロレンズアレイとは、多数のマイクロレンズを格子状に配列したものであり、各マイクロレンズに対応してそれぞれフォトセンサの複数の画素が配置されている。ＩＰでは、被写体からの光が様々な角度で各マイクロレンズを介して複数の画素のそれぞれに入射するため、各画素では対応する各方向からの被写体を記録することができる。

このように、ＩＰは、実際に被写体から出射される光の状態と同等のものを記録することで立体画像に関する様々な情報を取得し記録することができるが、特にＩＰ画像取得装置は光学設計の精密性が要求されるため、コスト低減の目的で、よりコンパクトな設計が求められ、例えば、各マイクロレンズに対応するフォトセンサの画素数を削減する等の手段が採られていた。

特開２００２−１９９４１７号公報

しかしながら、各マイクロレンズに対応するフォトセンサの画素数を削減すると、十分な奥行き情報を取得することができなくなり、特に複雑な立体形状を有する被写体を撮影した場合、奥行き情報が不足して平面的な画像となるおそれがある。

本発明は、このような従来の問題点を解消するためになされたもので、コンパクトな設計のＩＰ画像取得装置で複雑な立体形状を有する被写体を撮影した場合であっても高精度なＩＰ画像を得ることができる多次元画像処理装置および方法を提供することを目的とする。
また、本発明は、このような多次元画像処理装置を用いて多次元画像を出力する多次元画像撮影システム、並びに、出力された多次元画像印刷物を提供することも目的としている。

上記目的を達成するために、本発明に係る多次元画像処理装置は、インテグラルフォトグラフィ画像取得手段により取得された多次元画像に対して画像処理を行う多次元画像処理装置であって、前記インテグラルフォトグラフィ画像取得手段で取得された多次元画像から予め定められた特徴的な被写体が含まれる特徴領域を検出する特徴領域検出手段と、前記予め定められた特徴的な被写体に対する前記多次元画像よりも高精度な複数種類のモデルの画像情報を格納するモデルデータベースと、前記特徴領域検出手段により検出された前記特徴領域に対応するモデルの画像情報を前記モデルデータベースから抽出して前記特徴領域に対する合成画像情報を生成する合成画像生成手段と、前記多次元画像における前記特徴領域を前記合成画像生成手段で生成された合成画像情報により補完する補完手段とを有することを特徴とする多次元画像処理装置を提供するものである。

ここで、前記多次元画像は、位置情報および方向情報を含み、前記モデルデータベースは、前記多次元画像の方向情報よりも高精度のモデルの方向情報を格納し、前記合成画像生成手段は、方向情報からなる合成画像情報を生成することができる。
また、前記多次元画像は、位置情報および方向情報を含み、前記モデルデータベースは、前記多次元画像の位置情報よりも高精度のモデルの位置情報を格納し、前記合成画像生成手段は、位置情報からなる合成画像情報を生成することもできる。
また、前記多次元画像は、位置情報および方向情報に加えてさらに色情報を含み、前記モデルデータベースは、前記多次元画像の色情報よりも高精度のモデルの色情報を格納し、前記合成画像生成手段は、色情報からなる合成画像情報を生成してもよい。

また、前記多次元画像は、位置情報および方向情報に加えてさらに階調レンジ情報を含み、前記モデルデータベースは、前記多次元画像の階調レンジ情報よりも高精度のモデルの階調レンジ情報を格納し、前記合成画像生成手段は、階調レンジ情報からなる合成画像情報を生成することもできる。
また、前記多次元画像は、位置情報および方向情報に加えてさらに焦点深度情報を含み、前記モデルデータベースは、前記多次元画像の焦点深度情報よりも高精度のモデルの焦点深度情報を格納し、前記合成画像生成手段は、焦点深度情報からなる合成画像情報を生成してもよい。
また、前記特徴領域検出手段は、前記多次元画像から複数の特徴領域を検出し、前記合成画像生成手段は、前記特徴領域検出手段で検出された前記複数の特徴領域に対応するモデルの画像情報を順次前記モデルデータベースから抽出して前記複数の特徴領域に対する複数の合成画像情報を生成し、前記補完手段は、前記多次元画像における前記複数の特徴領域を前記合成画像生成手段で生成された前記複数の合成画像情報によりそれぞれ補完するように構成することもできる。

また、本発明に係る多次元画像撮影システムは、上記のいずれかに記載の多次元画像処理装置と、多次元画像を取得して前記多次元画像処理装置に出力するインテグラルフォトグラフィ画像取得手段と、前記多次元画像処理装置により画像処理された前記多次元画像を出力する出力部とを有するものである。

ここで、前記インテグラルフォトグラフィ画像取得手段は、それぞれレンズとフォトセンサを有すると共に格子状に配列された複数のカメラを備えていることが好ましい。
また、前記インテグラルフォトグラフィ画像取得手段として、マイクロレンズアレイを有するカメラを用いることもできる。この場合、前記カメラは、前記マイクロレンズアレイの前方に配置されたメインレンズをさらに備えていてもよい。
また、前記インテグラルフォトグラフィ画像取得手段は、レンズとフォトセンサを有するカメラを備え、前記カメラの位置を移動させて連続的に撮影するようにしてもよい。
また、前記出力部として、プリンタを使用することができる。

また、本発明に係る多次元画像印刷物は、上記の多次元画像撮影システムの前記出力部として用いられたプリンタにより出力されたものである。

また、本発明に係る多次元画像処理方法は、インテグラルフォトグラフィ画像取得手段により取得された多次元画像に対して画像処理を行う多次元画像処理方法であって、前記インテグラルフォトグラフィ画像取得手段で取得された多次元画像から予め定められた特徴的な被写体が含まれる特徴領域を検出し、前記予め定められた特徴的な被写体に対する前記多次元画像よりも高精度な複数種類のモデルの画像情報を格納するモデルデータベースから検出された前記特徴領域に対応するモデルの画像情報を抽出して前記特徴領域に対する合成画像情報を生成し、前記多次元画像における前記特徴領域を前記合成画像情報により補完する方法である。

本発明によれば、コンパクトな設計のＩＰ画像取得装置で複雑な立体形状を有する被写体を撮影した場合であっても高精度なＩＰ画像を得ることができる。

本発明の実施形態１に係るＩＰ画像撮影システムの構成を表すブロック図である。実施形態１で用いられたＩＰ画像取得装置を示す側面図である。マイクロレンズアレイを示す正面図である。特徴領域方向合成画像生成部のブロック構成を示す図である。パラメータ格納部が格納しているパラメータを示す図である。実施形態２に係るＩＰ画像撮影システムの構成を表すブロック図である。実施形態３に係るＩＰ画像撮影システムの構成を表すブロック図である。実施形態４に係るＩＰ画像撮影システムの構成を表すブロック図である。実施形態５に係るＩＰ画像撮影システムの構成を表すブロック図である。実施形態６で用いられたＩＰ画像取得装置を示す側面図である。実施形態６の変形例で用いられたＩＰ画像取得装置を示す側面図である。実施形態６の他の変形例で用いられたＩＰ画像取得装置を示す側面図である。

以下に、添付の図面に示す好適な実施形態に基づいて、この発明を詳細に説明する。

実施形態１
図１に、本発明の実施形態１に係るＩＰ画像撮影システムの構成を示す。ＩＰ画像撮影システムは、ＩＰ画像取得装置１と、ＩＰ画像処理装置２と、ＩＰ画像出力装置３とを有して構成される。

ＩＰ画像取得装置１は、マイクロレンズアレイを利用したカメラからなり、カメラから見た被写体各部の２次元的な位置に関する位置情報と被写体各部の奥行きに関する方向情報とを有するＩＰ画像を取得することができる。

ＩＰ画像処理装置２は、ＩＰ画像取得装置１と接続されており、ＩＰ画像取得装置１から入力された位置情報から特徴的な画像領域（特徴領域）を検出する特徴領域検出部４を有する。特徴領域とは、撮影画像における人物、車両など、予め定められた特徴的な被写体が含まれる、特定の形状および色等を有する領域である。特徴領域の検索は、形状や色などの各特徴領域に特徴的なパターンに基づいて行い、例えば、検出する特徴領域が人物の場合であれば、顔あるいは目の形状パターンなどを利用して検索を行う。

特徴領域検出部４は、特徴領域方向合成画像生成部５と接続されている。特徴領域方向合成画像生成部５には方向モデルデータベース６が接続されている。
方向モデルデータベース６には、予め定められた特徴的な被写体に対する複数種類の方向情報モデルが格納されている。これらの方向情報モデルは、ＩＰ画像取得装置１により取得されるＩＰ画像の方向情報よりも高精度な情報を含んでいる。
特徴領域方向画像生成部５は、特徴領域検出部４から受信した特徴領域に基づいて方向モデルデータベース６に格納された多種類の方向モデルを検索し、特徴領域に最も相関性の高い方向モデルを抽出する。

特徴領域方向合成画像生成部５は、出力用ＩＰ画像生成部７と接続されている。出力用ＩＰ画像生成部７には、ＩＰ画像取得装置１により取得されたＩＰ画像の位置情報および方向情報が入力されると共に特徴領域方向合成画像生成部５で抽出された方向モデルが入力されており、特徴領域検出部４で検出された特徴領域を、特徴領域方向合成画像生成部５から入力した方向モデルで補完することにより出力用のＩＰ画像情報を生成する。ここで、方向モデルデータベース６に格納されている多種類の方向モデルは、それぞれＩＰ画像取得装置１により得られる方向情報よりも高精度な方向情報を有するものとする。

出力用ＩＰ画像生成部７は、ＩＰ画像出力装置３と接続されている。ＩＰ画像出力装置３は、出力用ＩＰ画像生成部７により補完されたＩＰ画像情報を用いてＩＰ画像を表示、印刷等の形式で出力するものであり、例えば、液晶ディスプレイやプリンタ等で構成される。

図２にＩＰ画像取得装置１の構成を示す。ＩＰ画像取得装置１は、メインレンズ１１と、マイクロレンズアレイ１２と、フォトセンサ１３とを有して構成される。メインレンズ１１は、被写体Ｓに対向して配置され、被写体Ｓからの光を集光する。マイクロレンズアレイ１２は、メインレンズ１１に対して被写体Ｓからの光の進行方向の下流側に位置し、図３に示すように、例えば（ｓ×ｔ）個のマイクロレンズＭが格子状に配置されたものである。フォトセンサ１３は、被写体Ｓに対してマイクロレンズアレイ１２の背部に位置し、多数の画素を有している。これにより、メインレンズ１１を透過した被写体Ｓからの光は、各マイクロレンズＭにより、フォトセンサ１３の各画素に集光される。図３に示すように、フォトセンサ１３は各マイクロレンズＭに対応して（ｕ×ｖ）個の画素を有するものとする。

このようなＩＰ画像取得装置１により、マイクロレンズＭの個数（ｓ×ｔ）に応じた位置情報（ｓ，ｔ）および各マイクロレンズＭに対応する画素数（ｕ×ｖ）に応じた方向情報（ｕ，ｖ）を有するＩＰ画像を得ることができる。

次に、図１に示したＩＰ画像撮影システムの動作を説明する。

まず、ＩＰ画像取得装置１により被写体Ｓが撮影され、図２に示すように、被写体Ｓからの光がメインレンズ１１を介してマイクロレンズアレイ１２の各マイクロレンズＭに入射する。各マイクロレンズＭには、様々な角度で被写体Ｓからの光が入射しており、それぞれの光がこのマイクロレンズＭに対応するフォトセンサ１３の（ｕ×ｖ）個の画素のいずれかに入射する。このようにしてフォトセンサ１３の各画素が対応する方向から被写体Ｓを記録することで、位置情報（ｓ，ｔ）および方向情報（ｕ，ｖ）を有するＩＰ画像がＩＰ画像取得装置１によって取得される。

ＩＰ画像取得装置１で取得されたＩＰ画像に含まれる位置情報（ｓ，ｔ）は、ＩＰ画像処理装置２の特徴領域検出部４に入力され、特徴領域検出部４により位置情報（ｓ，ｔ）において特定の形状および色等を有する領域が特徴領域として検出される。特徴領域検出部４は、検出する特徴領域の特徴的なパターン（人物を検出する場合における顔の形状パターンなど）に予め定められた一致度以上に一致する領域の検索を行う。特徴領域検出部４において位置情報（ｓ，ｔ）に含まれる特徴領域が検出されると、位置情報（ｓ，ｔ）に含まれる特徴領域の画素位置の情報および特徴領域の特徴的なパターンの情報などが特徴領域方向合成画像生成部５に出力される。

特徴領域方向合成画像生成部５は、特徴領域検出部４から受信した特徴領域の情報に基づいて方向モデルデータベース６の検索を行う。方向モデルデータベース６には予め取得された多種類の方向モデルが格納されており、特徴領域方向合成画像生成部５は、特徴領域のパターンに最も相関性の高い方向モデルを検索し抽出する。特徴領域方向合成画像生成部５により抽出された方向モデルと位置情報（ｓ，ｔ）に含まれる特徴領域の画素位置の情報は、出力用ＩＰ画像生成部７に出力される。

出力用ＩＰ画像生成部７は、位置情報（ｓ，ｔ）に含まれる特徴領域の画素位置の情報に基づいて、ＩＰ画像取得装置１により取得されたＩＰ画像情報の特徴領域における方向情報（ｕ，ｖ）を特徴領域方向合成画像生成部５により抽出された方向モデルで入れ替えることでＩＰ画像情報を補完して出力用のＩＰ画像情報を生成する。

ここで、各方向モデルは、ＩＰ画像取得装置１により得られる方向情報（ｕ，ｖ）よりも高精度な方向情報（ｕ’，ｖ’）、すなわち、ＩＰ画像取得装置１における各マイクロレンズＭに対応する画素数（ｕ×ｖ）よりも多数（ｕ’×ｖ’）の画素による画像情報となっているため、ＩＰ画像取得装置１で撮影された被写体が複雑な立体形状を有するものであっても高精度なＩＰ画像情報を得ることができる。

出力用ＩＰ画像生成部７により生成された出力用ＩＰ画像情報はＩＰ画像出力装置３に出力され、ＩＰ画像がディスプレイに表示またはプリンタにより印刷物として印刷される。

本実施形態のＩＰ画像撮影システムによれば、ＩＰ画像取得装置１で取得されたＩＰ画像を高精度な方向情報を有するモデルを用いて補完することで、より精細な方向情報（奥行き情報）を有する高精度なＩＰ画像を得ることができる。
これにより、一般写真用途に用いてＩＰ画像表示を行う場合、通常では人物の顔の皮膚の陰翳を再現できる十分な立体感が得られないが、本実施形態の手法を適用すればその場にその人物が存在するかのような皮膚の質感を再現した立体表現を得ることができる。

なお、特徴領域検出部４は、ＩＰ画像取得装置１により取得されたＩＰ画像に複数種類の特徴領域が含まれる場合、各特徴領域に特徴的なパターンに基づいてこれら複数種類の特徴領域を順次検出してもよい。

また、特徴領域検出部４が検出する特徴領域は、その領域全体における一部分であってもよい。例えば、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の血管等のように、生体の内部に存在する特定の組織を含む。ＩＰ画像撮影システムが内視鏡システムである場合など、生体内部の画像を処理する場合には、生体の内部に存在する特定の組織として、生体内部の腫瘍組織を例示することもできる。特徴領域検出部４は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してもよい。

また、特徴領域検出部４は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習等による学習結果に基づいて特徴領域を検出してもよい。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部４は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してもよい。

また、特徴領域検出部４は、特願２００８−０７８６４１号に記載された方法で特徴領域を検出してもよい。例えば、特徴領域検出部４は、検出対象の位置画像（ｓ，ｔ）を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより生成した、一枚以上の間引位置画像（ｓ，ｔ）に基づいて抽出過程を繰り返すことで特徴領域を検出してもよい。これにより、複数の各抽出過程において順次に特徴領域の存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。

また、特徴領域検出部４は、特願２００８−０７８６３６号に記載された方法で特徴領域を検出してもよい。例えば、特徴領域検出部４は、特徴領域の輪郭および内部などの様々な特徴を表わすパターンを組み合わせてもよい。これにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。

なお、特徴領域方向合成画像生成部５および出力用ＩＰ画像生成部７は、特願２００８−０９９７４８号に記載された方法でＩＰ画像情報を生成してもよい。例えば、特徴領域方向合成画像生成部５がＩＰ画像における被写体Ｓの部位毎に方向モデルを抽出し、出力用ＩＰ画像生成部７が部位毎に選択された方向モデルと被写体Ｓとの差分情報に基づいて方向モデルを変更することによって、ＩＰ画像情報を生成してもよい。この時、方向モデルに対して変更することが許容される変更量の許容範囲内で方向モデルを変更することにより、ＩＰ画像情報の生成を行う。

また、特徴領域方向合成画像生成部５において、被写体Ｓとの相関性が許容範囲内にない方向モデルが複数抽出された場合、出力用ＩＰ画像生成部７は複数の方向モデルを用いてＩＰ画像情報を補完してもよい。例えば、抽出された複数の方向モデルを平均化した方向情報を用いてＩＰ画像情報を補完することができる。

また、特徴領域方向合成画像生成部５は特願２００８−０９９７４８号に記載された方法でＩＰ画像情報を補完してもよい。図４に、特徴領域方向合成画像生成部５において方向モデルを補完する方向モデル補完部７０のブロック構成の一例を示す。方向モデル補完部７０は、パラメータ格納部７１、属性特定部７２、パラメータ選択部７３、および画像生成部７４を含む。

パラメータ格納部７１は、方向モデルデータベース６に格納される方向モデルについての複数の属性にそれぞれ対応づけて、それぞれの属性の方向モデルをそれぞれ補完する複数の補完処理パラメータを格納している。属性特定部７２は、特徴領域検出部４から受信した特徴領域内の被写体の属性を特定する。パラメータ選択部７３は、属性特定部７２により特定された属性により適合する属性に対応づけてパラメータ格納部７１が格納している複数の補完処理パラメータをより優先して選択する。画像生成部７４は、パラメータ選択部７３により選択された複数の補完処理パラメータをともに用いて、特徴領域の情報に基づいて方向モデルデータベース６を検索し抽出された方向モデルを補完することができる。

ここで、属性としては、被写体の向きなど、被写体の状態を例示することができる。すなわち、パラメータ格納部７１は、方向モデルデータベース６に格納されている方向モデルの状態を示す複数の属性にそれぞれ対応づけて、複数の補完処理パラメータを格納している。属性特定部７２は、特徴領域検出部４で検出された特徴領域に含まれる被写体の状態を特定する。

被写体の状態としては、特徴領域に含まれる被写体の向きを例示することができる。すなわち、パラメータ格納部７１は、方向モデルデータベース６に格納される方向モデルの向きを示す複数の属性にそれぞれ対応づけて、複数の補完処理パラメータを格納している。属性特定部７２は、特徴領域に含まれる被写体の向きを特定する。被写体の向きとは、被写体の一例としての人物の顔の向きであってもよい。すなわち、パラメータ格納部７１は、方向モデルデータベース６に格納される方向モデルとしての被写体の向きを示す複数の属性にそれぞれ対応づけて、複数の補完処理パラメータを格納している。属性特定部７２は、特徴領域に含まれる人物の顔の向きを特定する。

その他、属性とは、被写体の種別であってもよい。すなわち、パラメータ格納部７１は、方向モデルデータベース６に格納される方向モデルとしての被写体の種別を示す複数の属性にそれぞれ対応づけて、複数の補完処理パラメータを格納している。属性特定部７２は、特徴領域に含まれる被写体の種別を特定する。

ここで、被写体の種別とは、被写体としての人物の性別であってもよい。すなわち、パラメータ格納部７１は、方向モデルデータベース６に格納される人物の性別を示す複数の属性にそれぞれ対応づけて、複数の補完処理パラメータを格納している。属性特定部７２は、特徴領域に含まれる人物の性別を特定する。他にも、被写体の種別とは、人物の年齢であってもよい。すなわち、パラメータ格納部７１は、方向モデルデータベース６に格納される人物の年齢を示す複数の属性にそれぞれ対応づけて、複数の補完処理パラメータを格納している。そして、属性特定部７２は、特徴領域に含まれる人物の年齢を特定する。その他、被写体の種別として、表情などを例示することができる。

被写体の向き、被写体の種別の他、被写体の属性としては、人物の表情、人物のしぐさ、人物の姿勢、人物の人種、人物が着用している着用物、照明状態などを例示することができる。着用物としては、めがね、サングラス、マスク、帽子など、人物が頭部に着用しているものを例示することができる。パラメータ格納部７１は、これら各種の属性の少なくともいずれかを含む複数の属性にそれぞれ対応づけて、複数の補完処理パラメータを格納してもよい。この場合、属性特定部７２は、特徴領域に含まれる人物の対応する属性を特定する。

図５は、パラメータ格納部７１が格納しているパラメータの一例をテーブル形式で示したものである。パラメータ格納部７１は、人物の顔用の補完処理パラメータである特定パラメータＡ０、Ａ１・・・を、顔の向きに対応づけて格納している。特定パラメータＡ０、Ａ１は、対応する顔の向きの画像を訓練画像とした事前学習により、予め算出されている。

ここで、注目画素の周辺画素の画素値を加重加算することによる補完処理を例に挙げて、事前学習による特定パラメータＡの算出処理を説明する。ここでは、注目画素の画素値ｙが、ｎ個の周辺画素の画素値ｘ_ｉ（ただし、ｉ＝１〜ｎ）の加重加算により算出されると仮定する。すなわち、ｙ＝Σ（ｗ_ｉｘ_ｉ）と仮定する。ここで、Σは、ｉにわたる加算を示している。ｗ_ｉは、周辺画素の画素値ｘ_ｉに対する加重係数であり、加重係数ｗ_ｉが事前学習により算出されるべき特定パラメータＡとなる。

特定の向きの顔が撮像されたｍ個の顔画像を訓練画像として用いるものとする。ｋ番目（ただし、ｋ＝１〜ｍ）の訓練画像の注目画素の画素値をｙ_ｋとすると、ｙ_ｋ＝Σｗ_ｉｘ_ｋｉで表されることになる。この場合、加重係数ｗ_ｉは、最小二乗法などの演算処理によって算出することができる。例えば、ｋ番目の成分ｅ_ｋがｅ_ｋ＝ｙ_ｋ−Σ（ｗ_ｉｘ_ｋｉ）で表されるベクトルの２乗を実質的に最小化するｗ_ｉを、最小二乗法などの演算処理より算出することができる。上記の特定パラメータの算出処理を、複数の顔向きの顔画像について行うことで、各顔向きに対応する特定パラメータＡを算出することができる。

実施形態２
図６に実施形態２に係るＩＰ画像撮影システムの構成を示す。このＩＰ画像撮影システムでは、図１に示した実施形態１のシステムにおけるＩＰ画像処理装置２に代えてＩＰ画像処理装置２１が用いられている。ＩＰ画像処理装置２１は、実施形態１のＩＰ画像処理装置２において、特徴領域方向合成画像生成部５の代わりに特徴領域位置合成画像生成部５１を特徴領域検出部４に接続すると共に方向モデルデータベース６の代わりに位置モデルデータベース６１を特徴領域位置合成画像生成部５１に接続したものである。すなわち、特徴領域検出部４と位置モデルデータベース６１の双方に特徴領域位置合成画像生成部５１が接続され、特徴領域位置合成画像生成部５１に出力用ＩＰ画像生成部７が接続されている。
位置モデルデータベース６１には、予め定められた特徴的な被写体に対する複数種類の位置モデルが格納されており、これらの位置モデルは、ＩＰ画像取得装置１により得られる位置情報（ｓ，ｔ）よりも高精度な位置情報（ｓ’，ｔ’）、すなわち、ＩＰ画像取得装置１におけるマイクロレンズＭの個数（ｓ×ｔ）よりも多数（ｓ’×ｔ’）のマイクロレンズによる画像情報となっている。

実施形態１と同様にして特徴領域検出部４により特徴領域が検出されると、特徴領域位置合成画像生成部５１は、特徴領域検出部４から受信した特徴領域の情報に基づいて位置モデルデータベース６１から特徴領域のパターンに最も相関性の高い位置モデルを検索し抽出する。出力用ＩＰ画像生成部７は、ＩＰ画像取得装置１により取得されたＩＰ画像情報の特徴領域における位置情報（ｓ，ｔ）を特徴領域位置合成画像生成部５１により抽出された位置モデルで入れ替えることでＩＰ画像情報を補完して出力用のＩＰ画像情報を生成する。そして、出力用ＩＰ画像情報を用いてＩＰ画像出力装置３からＩＰ画像が出力される。
この実施形態２によれば、ＩＰ画像取得装置１で取得されたＩＰ画像を高精度な位置情報を有するモデルを用いて補完することで、特徴領域の解像度を向上させた画像等、より精細な位置情報を有する高精度なＩＰ画像を得ることができる。
また、解像度の小さな監視カメラを用いて、例えば凶器の有無を探知しようとする場合において、実施形態２によれば、犯人の所持するナイフなど金属製の凶器が視野内に存在すれば、位置情報によらず方向情報を用い、その変化率の大きい特徴を用いてナイフの位置を特定し、その位置に位置モデルをフィッティングしナイフ形状の合成位置情報を生成することができる。さらに、ナイフの存在位置を特定することで、ナイフを持った犯人の位置を容易に特定することもできる。また、逆に反射特性を用いて鏡面反射成分を特定する際にこれがノイズとなる場合、位置情報から不必要な照明情報成分として取り除くこともできる。これは他の実施形態でも同様である。

実施形態３
図７に実施形態３に係るＩＰ画像撮影システムの構成を示す。このＩＰ画像撮影システムでは、図１に示した実施形態１のシステムにおけるＩＰ画像処理装置２に代えてＩＰ画像処理装置２２が用いられている。ＩＰ画像処理装置２２は、実施形態１のＩＰ画像処理装置２において、特徴領域方向合成画像生成部５の代わりに特徴領域色合成画像生成部５２を特徴領域検出部４に接続すると共に方向モデルデータベース６の代わりに色モデルデータベース６２を特徴領域色合成画像生成部５２に接続したものである。すなわち、特徴領域検出部４と色モデルデータベース６２の双方に特徴領域色合成画像生成部５２が接続され、特徴領域色合成画像生成部５２に出力用ＩＰ画像生成部７が接続されている。
この実施形態３においては、ＩＰ画像取得装置１で取得されたＩＰ画像が位置情報および方向情報に加えてさらに色情報としてマルチスペクトル情報を含んでいるものとする。
色モデルデータベース６２には、予め定められた特徴的な被写体に対する複数種類の色モデル（マルチスペクトル情報に基づくモデル）が格納されており、これらの色モデルは、ＩＰ画像取得装置１により得られるＩＰ画像の色情報よりも高精度な色情報から構成されている。

実施形態１と同様にして特徴領域検出部４により特徴領域が検出されると、特徴領域色合成画像生成部５２は、特徴領域検出部４から受信した特徴領域の情報に基づいて色モデルデータベース６２から特徴領域に最も相関性の高い色モデルを検索し抽出する。出力用ＩＰ画像生成部７は、ＩＰ画像取得装置１により取得されたＩＰ画像の特徴領域における色情報を特徴領域色合成画像生成部５２により抽出された色モデルで入れ替えることでＩＰ画像情報を補完して出力用のＩＰ画像情報を生成する。そして、出力用ＩＰ画像情報を用いてＩＰ画像出力装置３からＩＰ画像が出力される。
この実施形態３によれば、ＩＰ画像取得装置１で取得されたＩＰ画像を高精度な色情報からなるモデルを用いて補完することで、例えば、特徴領域をより自然な色彩で表した画像等、より精細な色情報を有する高精度なＩＰ画像を得ることができる。
例えば、内視鏡を用いる場合、通常ではＲＧＢのカラーの３種類の撮像素子を用いるために、特定の組織の血中ヘモグロビンの吸収量など、短波長域の分光情報を算出することは難しい。これに対して、実施形態３によれば、足りないスペクトル情報について、位置・方向情報を用いて組織を認識し、その組織の分光吸収スペクトルモデルを当てはめることにより、血中ヘモグロビンの波長域の吸収量を合成して、見積もることができる。

実施形態４
図８に実施形態４に係るＩＰ画像撮影システムの構成を示す。このＩＰ画像撮影システムでは、図１に示した実施形態１のシステムにおけるＩＰ画像処理装置２に代えてＩＰ画像処理装置２３が用いられている。ＩＰ画像処理装置２３は、実施形態１のＩＰ画像処理装置２において、特徴領域方向合成画像生成部５の代わりに特徴領域階調レンジ合成画像生成部５３を特徴領域検出部４に接続すると共に方向モデルデータベース６の代わりに階調レンジモデルデータベース６３を特徴領域階調レンジ合成画像生成部５３に接続したものである。すなわち、特徴領域検出部４と階調レンジモデルデータベース６３の双方に特徴領域階調レンジ合成画像生成部５３が接続され、特徴領域階調レンジ合成画像生成部５３に出力用ＩＰ画像生成部７が接続されている。
この実施形態４においては、ＩＰ画像取得装置１で取得されたＩＰ画像が位置情報および方向情報に加えてさらに階調レンジ情報を含んでいるものとする。
階調レンジモデルデータベース６３には、予め定められた特徴的な被写体に対する複数種類の階調レンジモデルが格納されており、これらの階調レンジモデルは、ＩＰ画像取得装置１により得られるＩＰ画像の階調レンジ情報よりも高精度な階調レンジ情報から構成されている。

実施形態１と同様にして特徴領域検出部４により特徴領域が検出されると、特徴領域階調レンジ合成画像生成部５３は、特徴領域検出部４から受信した特徴領域の情報に基づいて階調レンジモデルデータベース６３から特徴領域に最も相関性の高い階調レンジモデルを検索し抽出する。出力用ＩＰ画像生成部７は、ＩＰ画像取得装置１により取得されたＩＰ画像の特徴領域における階調レンジ情報を特徴領域階調レンジ合成画像生成部５３により抽出された階調レンジモデルで入れ替えることでＩＰ画像情報を補完して出力用のＩＰ画像情報を生成する。そして、出力用ＩＰ画像情報を用いてＩＰ画像出力装置３からＩＰ画像が出力される。
この実施形態４によれば、ＩＰ画像取得装置１で取得されたＩＰ画像を高精度な階調レンジ情報からなるモデルを用いて補完することで、より精細な階調レンジ情報を有する高精度なＩＰ画像を得ることができる。したがって、例えば、被写体に応じて複数のＮＤ（減光）フィルタを使い分けてＩＰ画像取得装置１によりＩＰ画像を取得した場合でも、全体にわたって適切な階調で表された画像が得られる。
例えば、一般写真において、黒いタキシードの服装を撮影する場合は高ダイナミックレンジの輝度情報が必要であるが、撮像装置のダイナミックレンジが不足し十分な輝度情報が取得できず、結果としてディスプレイやプリントなどの出力手段上で十分な階調再現ができない場合が多い。これに対して、実施形態４によれば、例えば濃度の異なる複数種類のＮＤフィルタを各個眼に用いて、異なるダイナミックレンジの輝度情報を取得した場合において、それでも足りない輝度情報について、位置・方向情報を用いてタキシードを認識し、タキシード用の階調モデルを当てはめて再現することで、出力手段上で豊かな階調情報を有する階調再現が可能になる。

実施形態５
図９に実施形態５に係るＩＰ画像撮影システムの構成を示す。このＩＰ画像撮影システムでは、図１に示した実施形態１のシステムにおけるＩＰ画像処理装置２に代えてＩＰ画像処理装置２４が用いられている。ＩＰ画像処理装置２４は、実施形態１のＩＰ画像処理装置２において、特徴領域方向合成画像生成部５の代わりに特徴領域焦点深度合成画像生成部５４を特徴領域検出部４に接続すると共に方向モデルデータベース６の代わりに焦点深度モデルデータベース６４を特徴領域焦点深度合成画像生成部５４に接続したものである。すなわち、特徴領域検出部４と焦点深度モデルデータベース６４の双方に特徴領域焦点深度合成画像生成部５４が接続され、特徴領域焦点深度合成画像生成部５４に出力用ＩＰ画像生成部７が接続されている。
この実施形態５においては、ＩＰ画像取得装置１で取得されたＩＰ画像が位置情報および方向情報に加えてさらに焦点深度情報を含んでいるものとする。
焦点深度モデルデータベース６４には、予め定められた特徴的な被写体に対する複数種類の焦点深度モデルが格納されており、これらの焦点深度モデルは、ＩＰ画像取得装置１により得られるＩＰ画像の焦点深度情報よりも高精度な焦点深度情報から構成されている。

実施形態１と同様にして特徴領域検出部４により特徴領域が検出されると、特徴領域焦点深度合成画像生成部５４は、特徴領域検出部４から受信した特徴領域の情報に基づいて焦点深度モデルデータベース６４から特徴領域に最も相関性の高い焦点深度モデルを検索し抽出する。出力用ＩＰ画像生成部７は、ＩＰ画像取得装置１により取得されたＩＰ画像の特徴領域における焦点深度情報を特徴領域焦点深度合成画像生成部５４により抽出された焦点深度モデルで入れ替えることでＩＰ画像情報を補完して出力用のＩＰ画像情報を生成する。そして、出力用ＩＰ画像情報を用いてＩＰ画像出力装置３からＩＰ画像が出力される。
この実施形態５によれば、ＩＰ画像取得装置１で取得されたＩＰ画像を高精度な焦点深度情報からなるモデルを用いて補完することで、例えば、特徴領域をよりシャープに、あるいは、よりソフトに表す等、より精細な焦点深度情報を有する高精度なＩＰ画像を得ることができる。
例えば、顕微鏡で腫瘍細胞の撮影を行う場合について、通常では腫瘍細胞は空間的に広がるために焦点深度が不足し鮮明な画像を得ることができない。これに対して、実施形態５によれば、例えば焦点深度の異なる複数種類のマイクロレンズを各個眼に用いて、異なる焦点深度の情報を得る場合において、それでも足りない焦点深度情報について、特定の腫瘍細胞の位置・空間的な特徴を用いた奥行き情報に関する焦点深度モデルを当てはめて焦点深度情報を合成することにより、焦点深度の深い、ボケの少ない鮮明な画像を得ることができる。

実施形態６
上述した実施形態１で用いられたＩＰ画像取得装置１は、メインレンズ１１とマイクロレンズアレイ１２とフォトセンサ１３とを有していたが、これに限るものではなく、例えば、図１０に示されるように、メインレンズ１１を省略して、マイクロレンズアレイ１２とフォトセンサ１３のみから構成することもできる。この場合、マイクロレンズアレイ１２の各マイクロレンズＭによって被写体Ｓの像がフォトセンサ１３上に形成される。このような構成としても、位置情報と方向情報とを有するＩＰ画像を取得することができる。

また、図１１に示されるように、それぞれレンズ１４とフォトセンサ１５とを有する複数のカメラ１６を支持体１７上に格子状に配列したカメラアレイをＩＰ画像取得装置１として使用することもできる。例えば、各カメラ１６のフォトセンサ１５が数万〜数十万の画素を有し、これらの画素により被写体Ｓの位置情報を得ると共に、配列された複数のカメラ１６により被写体Ｓの方向情報を得ることで、位置情報と方向情報とを有するＩＰ画像を取得することができる。

さらに、図１２に示されるように、レンズ１４とフォトセンサ１５とを有する１台のカメラ１６を移動可能に構成したものをＩＰ画像取得装置１として使用することもできる。カメラ１６の位置を移動させて、このカメラ１６により被写体Ｓを連続的に撮影することによっても、図１１に示したカメラアレイと同様に位置情報と方向情報とを有するＩＰ画像を取得することができる。

なお、実施形態１〜５のＩＰ画像処理装置は、方向モデル、位置モデル、色モデル、階調レンジモデル、焦点深度モデルをそれぞれ独立して用いることで特徴領域の合成画像を生成しているが、これらのモデルの２つ以上を組み合わせて用いることで合成画像を生成してもよい。これにより、方向情報、位置情報、色情報、階調レンジ情報、焦点深度情報のうち複数の情報を高精度としたＩＰ画像を得ることができる。

また、実施形態１〜６において、ＩＰ画像取得装置１の代わりに、単眼／多眼のレンズ特性を動的に切り替え可能なＩＰ画像取得装置を用いることもできる。これにより、単眼カメラの単一方向情報しか得られないが高解像という特性と、多眼カメラの低解像であるが多方向情報が得られるという２状態の情報を組み合わせて検出することが可能となり、複数カメラで実現する場合と比べ、ＩＰで行った方が、より小型で実現できる。

また、実施形態１〜５で示すＩＰ画像の補完において、隠蔽領域が広い方向のモデル（特に隠蔽領域）は使わず、隠蔽領域の少ない方向のモデルを用いて補完することで、方向に寄らず一律に補完する場合に比べ、高精度のＩＰ画像を生成することができる。

１ＩＰ画像取得装置、２，２１，２２，２３，２４ＩＰ画像処理装置、３ＩＰ画像出力装置、４特徴領域検出部、５特徴領域方向合成画像生成部、６方向モデルデータベース、７出力用ＩＰ画像生成部、１１メインレンズ、１２マイクロレンズアレイ、１３，１５フォトセンサ、１４レンズ、１６カメラ、１７支持体、５１特徴領域位置合成画像生成部、５２特徴領域色合成画像生成部、５３特徴領域階調レンジ合成画像生成部、５４特徴領域焦点深度合成画像生成部、６１位置モデルデータベース、６２色モデルデータベース、６３階調レンジモデルデータベース、６４焦点深度モデルデータベース、７０方向モデル補完部、７１パラメータ格納部、７２属性特定部、７３パラメータ選択部、７４画像生成部、Ｓ被写体、Ｍマイクロレンズ

Claims

インテグラルフォトグラフィ画像取得手段により取得された多次元画像に対して画像処理を行う多次元画像処理装置であって、
前記インテグラルフォトグラフィ画像取得手段で取得された多次元画像から予め定められた特徴的な被写体が含まれる特徴領域を検出する特徴領域検出手段と、
前記予め定められた特徴的な被写体に対する前記多次元画像よりも高精度な複数種類のモデルの画像情報を格納するモデルデータベースと、
前記特徴領域検出手段により検出された前記特徴領域に対応するモデルの画像情報を前記モデルデータベースから抽出して前記特徴領域に対する合成画像情報を生成する合成画像生成手段と、
前記多次元画像における前記特徴領域の情報を前記合成画像生成手段で生成された合成画像情報により補完する補完手段と
を有することを特徴とする多次元画像処理装置。
前記多次元画像は、位置情報および方向情報を含み、
前記モデルデータベースは、前記多次元画像の方向情報よりも高精度のモデルの方向情報を格納し、
前記合成画像生成手段は、方向情報からなる合成画像情報を生成する請求項１に記載の多次元画像処理装置。
前記多次元画像は、位置情報および方向情報を含み、
前記モデルデータベースは、前記多次元画像の位置情報よりも高精度のモデルの位置情報を格納し、
前記合成画像生成手段は、位置情報からなる合成画像情報を生成する請求項１に記載の多次元画像処理装置。
前記多次元画像は、位置情報および方向情報に加えてさらに色情報を含み、
前記モデルデータベースは、前記多次元画像の色情報よりも高精度のモデルの色情報を格納し、
前記合成画像生成手段は、色情報からなる合成画像情報を生成する請求項１に記載の多次元画像処理装置。
前記多次元画像は、位置情報および方向情報に加えてさらに階調レンジ情報を含み、
前記モデルデータベースは、前記多次元画像の階調レンジ情報よりも高精度のモデルの階調レンジ情報を格納し、
前記合成画像生成手段は、階調レンジ情報からなる合成画像情報を生成する請求項１に記載の多次元画像処理装置。
前記多次元画像は、位置情報および方向情報に加えてさらに焦点深度情報を含み、
前記モデルデータベースは、前記多次元画像の焦点深度情報よりも高精度のモデルの焦点深度情報を格納し、
前記合成画像生成手段は、焦点深度情報からなる合成画像情報を生成する請求項１に記載の多次元画像処理装置。
前記特徴領域検出手段は、前記多次元画像から複数の特徴領域を検出し、
前記合成画像生成手段は、前記特徴領域検出手段で検出された前記複数の特徴領域に対応するモデルの画像情報を順次前記モデルデータベースから抽出して前記複数の特徴領域に対する複数の合成画像情報を生成し、
前記補完手段は、前記多次元画像における前記複数の特徴領域の情報を前記合成画像生成手段で生成された前記複数の合成画像情報によりそれぞれ補完する請求項１に記載の多次元画像処理装置。
請求項１〜７のいずれか一項に記載の多次元画像処理装置と、
多次元画像を取得して前記多次元画像処理装置に出力するインテグラルフォトグラフィ画像取得手段と、
前記多次元画像処理装置により画像処理された前記多次元画像を出力する出力部と
を有することを特徴とする多次元画像撮影システム。
前記インテグラルフォトグラフィ画像取得手段は、それぞれレンズとフォトセンサを有すると共に格子状に配列された複数のカメラを備えている請求項８に記載の多次元画像撮影システム。
前記インテグラルフォトグラフィ画像取得手段は、マイクロレンズアレイを有するカメラである請求項８に記載の多次元画像撮影システム。
前記カメラは、前記マイクロレンズアレイの前方に配置されたメインレンズをさらに備えた請求項１０に記載の多次元画像撮影システム。
前記インテグラルフォトグラフィ画像取得手段は、レンズとフォトセンサを有するカメラを備え、前記カメラの位置を移動させて連続的に撮影する請求項８に記載の多次元画像撮影システム。
前記出力部は、プリンタからなる請求項８〜１２のいずれか一項に記載の多次元画像撮影システム。
請求項１３に記載の多次元画像撮影システムの前記出力部により出力されたことを特徴とする多次元画像印刷物。
インテグラルフォトグラフィ画像取得手段により取得された多次元画像に対して画像処理を行う多次元画像処理方法であって、
前記インテグラルフォトグラフィ画像取得手段で取得された多次元画像から予め定められた特徴的な被写体が含まれる特徴領域を検出し、
前記予め定められた特徴的な被写体に対する前記多次元画像よりも高精度な複数種類のモデルの画像情報を格納するモデルデータベースから検出された前記特徴領域に対応するモデルの画像情報を抽出して前記特徴領域に対する合成画像情報を生成し、
前記多次元画像における前記特徴領域の情報を前記合成画像情報により補完する
ことを特徴とする多次元画像処理方法。