JP4235539B2

JP4235539B2 - 画像構成装置及び画像構成方法

Info

Publication number: JP4235539B2
Application number: JP2003401726A
Authority: JP
Inventors: 純谷田; 功一仁田
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2003-12-01
Filing date: 2003-12-01
Publication date: 2009-03-11
Anticipated expiration: 2023-12-01
Also published as: EP1699233A4; US20070160310A1; WO2005055592A1; EP1699233A1; JP2005167484A; US7657122B2

Description

本発明は，複数のマイクロレンズを利用した複眼式カメラを用いて取得した複数の低解像な物体縮小像から，高解像な単一の物体像を構成する画像構成装置及び画像構成方法に関するものである。

様々な画像情報を，効率的且つ高品質に取得する画像入力装置としては，デジタルカメラ，ビデオカメラ等，被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置（以下，単眼式カメラという）が広く用いられている。しかし，近年，画像入力装置の更なる小型，薄型化を図るために，昆虫等に見られる複眼構造を模倣した複眼式カメラ（複眼画像入力装置）が開発されている。
複眼式カメラは，複数のマイクロレンズを配列したマイクロレンズアレイと平面状に形成された受光素子とを具備しており，マイクロレンズアレイによって受光素子上に結像される複数の低解像な物体縮小像を得るものである。ここで，マイクロレンズアレイの一次元方向（一列）のアレイ数をＮとすると，複眼式カメラでは，単眼式カメラとほぼ同一の観察領域を単眼式カメラの１／Ｎ倍の焦点距離（１／Ｎの厚み）で同等の受光素子数を用いて観察することができる。このため，複眼式カメラは，同一観察領域を観察できる単眼式カメラに比べ，飛躍的に薄型化，小型化することができ，単眼式カメラと同等の明るい像を得ることができる。
図８は，単眼式カメラの光学系（（ａ）単眼光学系）と複眼式カメラの光学系（（ｂ）複眼光学系）とを模式的に表した図である。
図８の（ａ），（ｂ）を比較してわかるように，複眼式カメラでは，前記マイクロレンズ８０それぞれの焦点距離（図中，ｆ／Ｎで表す）が微小であるため，複眼式カメラは，同等の明るさの画像が得られる単眼式カメラに比べて極めて小型・薄型の装置構成とすることが可能である。
しかし，複眼式カメラは，薄型かつ小型で明るい像を得られる長所を有する反面，物体縮小像それぞれは解像度が低いという欠点を有している。そこで，これら複数の物体縮小像について画像処理を行うことにより，解像度の高い単一の物体像を構成することが必要となる。
ここで，複数の物体縮小像から１つの高精細な画像を得る手法としては，例えば，非特許文献１に，相加平均法や擬似逆行列法等による画像再構成法が示されている。前者の相加平均法は，物体縮小像の重心位置を基準として重ね合わせることにより，単一の物体像を再構成する手法である。また，後者の擬似逆行列法は，先ず，被写体である物体と物体縮小像とをベクトルで表現し，光学系の点像分布関数を行列で記述する。続いて，該点像分布関数の逆行列を数学的に演算することにより，単一の物体像を再構成する手法である。
また，特許文献１には，複数の物体縮小像間の相関演算によりそれらのシフト量を算定し，そのシフト量に基づいて複数の縮小像の各画素を同一領域上に再配置して高精細な画像を得る画素再配置法が示されている。
一方，単眼式カメラにより得た画像に基づくデジタル超解像技術の１つとして，非特許文献２には，観察位置が異なるが重なりをもつ複数の低解像画像から一枚の高解像を生成させる反復アルゴリズムである反復逆投影法（Iterative back projection Method）が示されている。
特開平２００３―１４１５２９号公報 J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N. Kondo, D. Miyazaki, and Y. Ichioka, "Thin Observation module by bound optics (TOMBO): concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001) M. Irani and S. Peleg, "Improving resolution by image registration, CVGIP: Graphical Models and Image Processing, 53, pp. 231-239 (1991).

しかしながら，複眼式カメラは，同一物体を異なる視点から複数の微小光学系で撮像するものであり，複数の物体縮小像には視差が含まれる。
このため，前述の相加平均法は，受光素子上に形成された複数の低解像な物体縮小像を単に重ねる手法であるため，物体縮小像間の視差が物体情報の位置ゆらぎとなり，再構成される物体像の解像度は向上せず，高い解像度を得ることはできないという問題点があった。
また，前述の擬似逆行列法では，理論上，前記点像分布関数を正確に記述することによって再構成される物体像の解像度を高くすることが可能となる。しかし，実際には物体とマイクロレンズアレイとの距離，或いはマイクロレンズアレイと受光素子との距離を正確に取得することや，マイクロレンズアレイ及び受光素子のアライメント誤差による影響を正確に取得することは困難である。このため，前記点像分布関数を正確に記述することができない。さらに，逆行列を求める演算においても，前記点像分布関数の逆行列は厳密に求めることができないため，近似的な逆行例である擬似逆行列を用いざるを得ない。このため，擬似逆行列法を用いた再構成により得られる物体像の解像度の低下を回避できないという問題点があった。
また，特許文献１に示される画素再配置法によれば，前記相加平均法や前記擬似逆行列法に比べてより解像度の高い画像を得ることができるが，それでも，単眼式カメラで撮像される画像に比べると，複眼式カメラ自体の空間分解能の制限に起因する画質の劣化がみられるという問題点があった。
複眼式カメラにおいて，各物体縮小像における１画素当りの観察領域は，光学系の倍率の関係により，同じ観察領域を観察する単眼式カメラにおける１画素当たりの観察領域のＮ倍（N：マイクロレンズアレイの１列のアレイ数）に広がってしまい，これは，１画素当たりの空間分解能が低い（粗い）ことを示している。さらに，前記画素再配置法は，基本的に複数の物体縮小像上の画素情報を再構成面（同一の領域）に１対１対応で逆投影するものである。これは，受光素子の開口広がりを近似的に無視したことに相当し，このため，前記画素再配置法により得られる単一画像（再構成画像）は，眼画像入力装置で撮像される画像に比べると画質の劣化が見られる。例えば，前記画素再配置法による再構成画像を周波数面で解析すると，高周波数成分の情報が大きく損なわれたものとなる。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，マイクロレンズアレイによって受光素子上に結像する複数の低解像な物体縮小像からより高解像の単一の物体像を構成でき，さらに，物体とマイクロレンズアレイとの距離が不定である場合や，マイクロレンズアレイ及び受光素子のアライメント誤差がある場合にも高解像な単一の物体像を構成することができる画像構成装置及び画像構成方法を提供することにある。

上記目的を達成するために本発明は，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データを記憶する縮小像記憶手段から，前記複数の物体縮小像の画像データを読み出し該画像データに基づいて単一の物体像を構成しその画像データを出力する物体像構成手段を具備する画像構成装置において，前記物体像構成手段が，前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と，与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と，前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより，前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と，前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え，その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ，前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と，を実行してなることを特徴とする画像構成装置として構成されるものである。
これは，複眼式カメラ（複眼画像入力装置）での撮影によって得られる複数の物体縮小像を用いて単一の物体像を構成する処理に，前記反復逆投影法（Iterative back projection Method）を適用したものである。
これにより，後述するように，前記画素再配置法によって得られる高解像画像よりもより高解像の物体画像が得られることが検証された。

ここで，前記物体像構成手段が，さらに前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求めるシフト量算出工程を実行するものであれば，そのシフト量を用いて以下の２つの応用が可能となる。
その１つは，前記縮小像推定工程で用いる前記幾何的投影過程を表す変換式を求めることである。
前記幾何的投影過程を表す変換式は，前記複眼式カメラの特性や物体と複眼式カメラとの距離に基づいて設定することができる。しかし，カメラと物体との距離は状況に応じて変わり得るため，正確な距離を都度設定することは実用的でない。また，カメラの特性についても，マイクロレンズアレイと受光素子間のアライメント誤差（マイクロレンズアレイと受光素子の位置関係のずれ）を有する場合がある。
そこで，前記物体像構成手段が，前記シフト量算出工程を実行するものである場合において，前記物体像構成手段が，さらに前記シフト量算出工程で得られた前記シフト量に基づいて前記縮小像推定工程で用いる前記幾何的投影過程を表す変換式を求める投影過程導出工程と，を実行するものが考えられる。
前記物体縮小像各々を撮像するマイクロレンズ相互間の相対位置や焦点距離等は既知であるので，前記物体縮小像間の相対位置のずれを表す前記シフト量が求まれば，撮影対象となる物体とマイクロレンズとの距離を求めることができる。従って，このようにして求めた距離とカメラの既知の特性とに基づいて，前記幾何的投影過程を表す変換式を求めることができる。
しかも，マイクロレンズアレイと受光素子間のアライメント誤差がある場合，物体縮小像の相関演算から求めた前記シフト量に基づいて物体とマイクロレンズとの距離を求めると（即ち，複眼式カメラで撮影した実画像に基づいて物体までの距離を求めると），その距離には，各物体縮小像ごとに求まる物体までの距離を平均化等する過程により前記アラインメント誤差分が反映されており，その距離（シフト量に基づいて求めた距離）に基づいて求めた前記幾何的投影過程を表す変換式は，前記アライメント誤差が補償されたものとなる。
これにより，カメラ（マイクロレンズアレイ）と物体との間の距離を都度設定する必要がなく，その距離が不明（不定）であっても，また，マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができる。
また，同様に，前記物体像構成手段が，前記シフト量算出工程を実行するものである場合において，前記物体像構成手段が実行する前記初期物体像生成工程が，前記シフト量算出工程で得られた前記シフト量に基づいて前記複数の物体縮小像を同一領域上に配置して単一の物体像の画像データを生成し，該画像データに対して欠失画素の補間処理を施すことにより前記単一の物体像の初期画像データを生成するものが考えられる。
これにより，前記初期画像データについて，ハードウェアにおけるアライメント誤差が補償され，アライメント誤差の補償とディジタル超解像処理（前記反復逆投影法の処理）とを融合した物体像構成を円滑に実行することができる。

また，本発明は，前記画像構成装置が実行する処理に相当する画像構成方法として捉えたものであってもよい。
即ち，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データに基づいて単一の物体像を構成する画像構成方法において，
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と，与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と，前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより，前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と，前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え，その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ，前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と，を有してなることを特徴とする画像構成方法である。

本発明によれば，複眼式カメラにより得られた複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成し，これを初期値として単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する処理と，前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することによって前記単一の物体像の画像データを更新する処理とを前記誤差分が既定条件を満たすまで繰り返し実行することにより，前記画素再配置法によって得られる高解像画像よりもより高解像の物体画像を得ることができる。
また，さらに前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求め，該シフト量に基づいて前記幾何的投影過程を表す変換式を求めることにより，カメラ（マイクロレンズアレイ）と物体との間の距離が不明（不定）であっても，また，マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができる。

以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本発明の実施の形態に係る画像構成装置Ｘの概略構成を表すブロック図，図２は画像構成装置Ｘによる第１の画像処理例の処理手順を表すフローチャート，図３は画像構成装置Ｘによる第２の画像処理例の処理手順を表すフローチャート，図４は第１の画像処理例により構成した物体画像の一例を表す図，図５は第２の画像処理例により構成した物体画像の一例を表す図，図６は物体縮小像間の相関関数を示す図，図７は複数の物体縮小像を同一領域上に配置する様子を模式的に表した図，図８は単眼式カメラの光学系と複眼式カメラの光学系とを模式的に表した図である。

まず，図１のブロック図を用いて，本発明の実施の形態に係る画像構成装置Ｘの構成について説明する。
画像構成装置Ｘは，パーソナルコンピュータ等の一般的な計算機であり，各種演算処理を実行するＣＰＵ１と，該ＣＰＵ１が画像処理プログラムを実行する際にプログラムを展開する主メモリであるＲＡＭ２と，当該画像構成装置Ｘのオペレーティングシステムの一部をなす基本プログラムが記憶されるＲＯＭ３と，画像処理プログラムや各種データが記憶されるハードディスク等の記憶手段である記憶部４とを具備している。さらに，図示していないが，画像構成装置Ｘは，一般的な計算機が備える他の構成要素も具備している。
画像構成装置Ｘは，図８（ｂ）に示した構成を備える複眼式カメラ１０とＡ／Ｄ変換部２０を介して接続され，前記複眼式カメラ１０により物体を撮影して得た複数の物体縮小像の信号を前記Ａ／Ｄ変換部２０によりデジタル信号に変換された画像データを入力し，その画像データを前記記憶部４（前記縮小像記憶手段の一例）に記憶させる。
さらに，画像構成装置Ｘは，前記記憶部４から前記複数の物体縮小像の画像データを読み出し，読み出した画像データ（物体縮小像）に基づいて単一の物体像を構成しその画像データを前記データ記憶部４に出力（格納）するとともに，不図示のＣＲＴディスプレイ等の表示手段，或いはプリンタ等の画像形成手段等にグラフィック画像として出力する。
図８に示すように，前記複眼式カメラ１０は，複数のマイクロレンズ８０が配列されたマイクロレンズアレイ８２を通じて受光素子８１上に複数の物体縮小像を結像し，各物体縮小像の信号（アナログ信号）を出力するものである。

（第１の画像処理例）
次に，図２のフローチャートを用いて，画像処理装置Ｘにより実行される第１の画像処理例の手順について説明する。本画像処理は，前記複数の物体縮小像の画像データに基づいて単一の物体像を構成しその画像データを出力する処理であり，画像処理装置Ｘの前記ＣＰＵ１（前記物体像構成手段の一例）が，予め設定された画像処理プログラムに従って実行するものである。以下，Ｓ１０，Ｓ２０，…は，処理手順（ステップ）の番号を表す。本画像処理の実行前に，前記複眼式カメラ１０により被撮影物（以下，単に物体という）を撮影して得た複数の物体縮小像の画像データが，前記記憶部４（前記縮小像記憶手段の一例）に記憶されているものとする。
ここでは，前記マイクロレンズアレイ８２と受光素子８１との間のアライメント誤差がなく，さらに，物体とマイクロレンズアレイ８２との距離が既知である（何らかの方法で測定した結果が設定される場合を含む）ものとする。また，各マイクロレンズ８０の配置間隔，焦点距離等はもちろん既知である。これらの既知の情報から，周知の光学理論に基づき，物体までの距離から物体縮小光学系の倍率を算出し，さらに物体縮小像の１画素と物体の領域との関係を明らかにすることにより，物体の実像から前記物体縮小像各々への幾何的投影過程を表す変換式Ｔ_kとその逆変換式Ｔ_k ^-1を求めることができる。
この第１の画像処理例では，そのようにして求めたＴ_k，Ｔ_k ^-1が予め与えられているものとする。ここで，添字ｋは，前記物体縮小像各々の識別番号（ｋ＝１〜Ｋ）を表す。Ｔ_kは，例えば，関数や行列式等により表すことができ，その逆変換関数や逆行列若しくは疑似逆行列をＴ_k ^-1とすることが考えられる。

＜ステップＳ１０＞
まず，前記記憶部４から前記複数の物体縮小像の画像データｇ_kを読み出し，読み出した画像データｇ_kに基づいて，単一の物体像の初期画像データｆ⁽⁰⁾（初期高解像画像）を生成する（前記初期物体像生成工程の一例）。
ここでは，前記複数の物体縮小像の画像データｇ_kを前記逆変換式Ｔ_k ^-1に基づく次の式（１）に適用することにより，前記初期画像データｆ⁽⁰⁾を求める。
この（１）式において，＊はコンボリュ―ション（畳み込み積分）演算子を表し，ｈは各マイクロレンズ８０と受光素子８１（アレイを構成する各素子）とを含む各物体縮小光学系における既知のボケ過程を表す（以下，同様）。例えば，ｈには，被写体である物体と物体縮小像とをベクトルで表現し，光学系の点像分布関数を行列として設定することが考えられる。点像分布関数が未知の場合，ガウス分布関数を設定してもよい。
＜ステップＳ２０＞
次に，与えられた単一の物体像の画像データｆ⁽ⁿ⁾（ｎ＝０，１，２，…）から前記物体縮小像各々の推定画像の画像データｇ_k ⁽ⁿ⁾を，物体の実像から前記物体縮小像各々への幾何的な投影過程を表す前記変換式Ｔ_kに基づく次の式（２）により（幾何的投影過程に基づいて）推定する（前記縮小像推定工程の一例）。
ここで，ｎは後述する繰り返し処理（反復処理）の回数を表し，Ｓ１０で求めた前記初期画像データｆ⁽⁰⁾を，前記単一の物体像の画像データｆ⁽ⁿ⁾の初期値（ｎ＝０）として与える。
＜ステップＳ３０＞
次に，Ｓ２０で推定された前記物体縮小像各々の推定画像ｇ_k ⁽ⁿ⁾と前記物体縮小像ｇ_k各々との誤差分（差）の評価指標である誤差指標ｅ⁽ⁿ⁾を求める。
具体的には，例えば，次の（３）式により求める。
＜ステップＳ４０＞
次に，Ｓ３０で求めた前記誤差指標ｅ⁽ⁿ⁾が既定条件を満たすか否か（即ち，誤差分が既定条件を満たすか否か）を判別する。
ここでは，前記誤差指標ｅ⁽ⁿ⁾が既定のしきい値以下となったか否かを既定条件とする。この他にも，例えば，前回の前記誤差指標ｅ⁽ⁿ⁾からの改善幅（低下幅）が既定のしきい値以下となったことを既定条件とする等，他の既定条件とすることも考えられる。

＜ステップＳ５０＞
Ｓ４０において，前記誤差指標ｅ⁽ⁿ⁾が前記既定条件を満たさない（即ち，誤差分が既定条件を満たさない）と判別した場合は，推定画像と物体縮小像との誤差分（ｇ_k−ｇ_k ⁽ⁿ⁾）を，前記逆変換式Ｔ_k ^-1に基づいて前記幾何的投影過程の逆過程で投影する（逆投影する）ことにより，前記単一の物体像の画像データｆ⁽ⁿ⁾を更新する（前記基準物体像更新工程の一例）。
ここで，更新後の前記単一の物体像の画像データをｆ⁽ⁿ⁺¹⁾とすると，例えば，次の（４）式により画像データの更新を行う。
この（４）式において，ｐは逆投影カーネルと呼ばれるパラメータを表す。
ここで，Ｓ２０の実行（即ち，式（２）の実行）及びＳ５０の実行（即ち，式（４）の実行）を繰り返すことにより，前記誤差分ｅ⁽ⁿ⁾を収束させるためには，ｐを次の（５）式を満たすよう設定すればよいことが知られている。
ここで，δはデルタ関数を表す。当該Ｓ５０の処理では，（５）式を満たすようｐを設定する。
この画像データｆ⁽ⁿ⁾の更新処理（Ｓ５０）が実行された後は，Ｓ２０へ戻って，更新後の画像データｆ⁽ⁿ⁺¹⁾について前述した処理を繰り返す。
これにより，Ｓ２０（縮小像推定工程）においてＳ１０で求められた前記初期画像データｆ⁽⁰⁾を前記単一の物体像の画像データｆ⁽ⁿ⁾の初期値として与え，その後前記誤差分ｅ⁽ⁿ⁾が前記既定条件を満たすまで，Ｓ２０〜Ｓ５０の処理（縮小像推定工程及び物体像更新工程）を繰り返し実行することになる。

＜ステップＳ６０＞
そして，Ｓ４０において，前記誤差分ｅ⁽ⁿ⁾が前記既定条件を満たすと判別した場合は，そのときの前記単一の物体像の画像データｆ⁽ⁿ⁾を最終的な物体像の画像データとして前記データ記憶部４に出力（格納）するとともに，不図示のＣＲＴディスプレイ等の表示手段にグラフィック画像として出力した後，当該画像処理を終了させる。
ここで，Ｓ３０，Ｓ４０，Ｓ６０の処理が，前記反復制御工程の処理の一例である。
当該画像処理により得られた画像の一例を図４に示す。
図４（ａ）は，前記物体縮小像であり，図４（ｂ）は，図４（ａ）の物体縮小像に基づいて前記画素再配置法により得られた物体像，図４（ｃ）は，図４（ａ）の物体縮小像に基づいて当該画像処理により得られた物体像である。
マイクロレンズアレイ８２のアレイ数は５×５であり，各物体縮小像は８０×８０画素で形成されている。
前記画素再配置法及び当該画像処理のいずれにより構成した物体画像（ｂ），（ｃ）も，その画素数は，元の複数の物体縮小像の総画素数（４００×４００画素）に等しい。
図４（ｂ），（ｃ）の比較より，当該画像処理により画像の高解像化が実現されていることが確認できる。特に，画像の高周波成分であるエッジ部位における鮮鋭化の効果が大きいといえる。

（第２の画像処理例）
前記第１の画像処理例では，前記マイクロレンズアレイ８２と受光素子８１との間のアライメント誤差がなく，さらに，物体とマイクロレンズアレイ８２との距離が既知である場合についてのものであった。
しかし，実際のシステムにおいて，受光素子とマイクロレンズ間のアライメント誤差が生じることは，現状の位置合わせ技術では不可避な場合が多い。
また，複眼式カメラ１０と物体との距離を固定化することは自由度の制限が大きく，距離が変わる都度その距離を計測及び設定することも実用的でない。前記反復逆投影法では，これらの誤差量に対する考慮がなされていない。
以下，図３のフローチャートを用いて，前記マイクロレンズアレイ８２と受光素子８１との間のアライメント誤差や，物体とマイクロレンズアレイ８２との距離の変化を補償できる第２の画像処理例について説明する。
本画像処理は，前記第１の画像処理例（図２）における初期画像データの生成処理（Ｓ１０）の変わりに，後述するＳ１〜Ｓ４の処理に置き換えた以外は，前記第１の画像処理例と同じ処理である。本画像処理も，画像処理装置Ｘの前記ＣＰＵ１（前記物体像構成手段の一例）が，予め設定された画像処理プログラムに従って実行するものである。以下，Ｓ１，Ｓ２，…は，処理手順（ステップ）の番号を表す。本画像処理の実行前に，前記複眼式カメラ１０により被撮影物（以下，単に物体という）を撮影して得た複数の物体縮小像の画像データが，前記記憶部４（前記縮小像記憶手段の一例）に記憶されているものとする。

＜ステップＳ１＞
まず，前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求める（前記シフト量算出工程の一例）。
前記物体縮小像間の相対位置のずれは，各光学系（マイクロレンズ）間の視差によって生じるものである。
以下，本処理の詳細について説明する。
先ず，簡単のため，前記物体縮小像の相対的なシフト量を平行移動のみであると仮定して考える。
一般に，２つの２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）の正規化相互相関関数Ｒｃ（ｘ，ｙ）は次の（６）式で定義される。
ここで，前記物体縮小像は各々同一形状であるため，前記２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）を同一と考えると，前記相関信号波形Ｒｃ（ｘ，ｙ）は，図６（ａ）の破線で示すように，相関ピーク（図６ではｘ＿ｐｅａｋ）を中心として左右対象となる。この場合，Ｒｃ（ｘ，ｙ）とｘ＿ｐｅａｋの間に，次の（７）式の関係が成り立つ。ここで，簡単のために，（７）式は一次元で表している。
従って，前記複眼式カメラ１０における前記物体縮小像に対して（６）式及び（７）式を適用することによって前記物体縮小像間の相関ピークを算出すれば，該物体縮小像間の相対位置を算定できる。
ここで，前記物体縮小像は，前記受光素子８１によってサンプリングされた離散した点によって構成されるため，正規化相互相関関数は離散的となり，次の（８）式で定義される離散的な相関関数Ｒｄ（ｘ_i，ｙ_j）が適用される（図６（ａ）には矢印で示す）。なお，サンプリングされたシフト位置を｛ｘ_i：ｉ＝０，１，２，…，Ｎ，ｙ_j：ｊ＝０，１，２，…，Ｍ｝とした。

さらに，前記相関関数Ｒｄ（ｘ_i，ｙ_j）の相関ピークを示すシフト量を求めるために，次の（９）式に従って線形補間し，図６（ａ）に実線で示す相関関数Ｒｃ’（ｘ，ｙ）を得る。ここで，［ｘ］はｘの整数部分を示す。
ここで，図６（ａ）に示すように，（９）式によって得られた相関関数Ｒｃ’（ｘ，ｙ）は，離散的な相関関数を線形補間したものであるため，該相関関数Ｒｃ’（ｘ，ｙ）から直接的に正確なｘ＿ｐｅａｋを識別することができない。
そこで，前記物体縮小像が同一であるために，前記相関信号波形Ｒｃ’（ｘ，ｙ）がｘ＿ｐｅａｋを中心として左右対象となることを利用する。即ち，前述の（７）式に対して前記Ｒｃ’（ｘ，ｙ）を適用することにより，図６（ｂ）に示すように，Ｒｃ’（ｘ，ｙ）を所定の範囲で積分して得られる領域を２等分するシフト量に基づいてｘ＿ｐｅａｋを算出する。
これにより，上前記各物体縮小像間の相対位置を算定することが可能となる。
同様の手順を全ての物体縮小像について繰り返すことによって，ある基準とする物体縮小像に対する，他の全ての物体縮小像の相対位置（位置のずれ）を算定する。
この位置ずれ量から，アライメント誤差を含めた物体縮小像と再構成画像上の対応関係，即ち，単一の物体像を構成するために必要な各画素のシフト量（移動量）を求めることができる。
ここで，図６（ｂ）に示すように，前記ｘ＿ｐｅａｋを算出する際に，所定の閾値Ｔを設けて，該閾値を上回るデータについてのみ積分を施してもよい。前記閾値Ｔを設けることにより，前記物体縮小像間の相関ピーク近傍のデータを用いて相対位置（即ち，シフト量）を算定可能となり，より正確な相対位置（位置ずれ）を算出することができる。
また，前記シフト量とマイクロレンズアレイのレンズ間隔，焦点距離などのハードウェアの既知のパラメータから，物体〜装置間の距離を導出することも可能である。

＜ステップＳ２＞
次に，Ｓ１（シフト量算出工程）で得られた前記シフト量に基づいて，前記Ｓ２０（前記縮小像推定工程の一例）で用いる前記幾何的投影過程を表す変換式Ｔ_kとその逆変換式Ｔ_k ^-1を求める（前記投影過程導出工程の一例）。
前記物体縮小像各々を撮像するマイクロレンズ相互間の相対位置や焦点距離等は既知であるので，前記物体縮小像間の相対位置のずれを表す前記シフト量が求まれば，撮影対象となる物体とマイクロレンズ８０との距離及び光学系の倍率を求めることができる。この倍率と１画素分の受光素子の面積から，周知の光学系の理論式により前記幾何的投影過程を表す変換式Ｔ_kを求めることができる。さらに，この変換式Ｔ_kから，その逆変換式Ｔ_k ^-1（逆行列や疑似逆行列等）を求めることができる。
ここで，物体までの距離は，各画素の前記シフト量から算出される物体距離（物体までの距離）を物体縮小像ごとに求め，それらを平均化することにより，マイクロレンズアレイ８２と受光素子８１間が理想的にアライメントされている（アライメント誤差が補償された）状態での物体距離を精度よく導出できる。
従って，マイクロレンズアレイ８２と受光素子８１間のアライメント誤差がある場合，前述したように，物体縮小像の相関演算から求めた前記シフト量に基づいて求めた物体までの距離には，前記アラインメント誤差分が反映されており，その距離に基づいて求めた前記幾何的投影過程を表す変換式は，前記アライメント誤差が補償されたものとなる。ここで，受光素子８１の各画素の形状が既知であれば，任意の受光素子の画素開口率を扱うことができる。
これにより，複眼式カメラ１０（マイクロレンズアレイ）と物体との間の距離を都度設定する必要がなく，その距離が不明（不定）であっても，また，マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても，それらを反映した前記幾何的投影過程を表す変換式を導出することができる。

＜ステップＳ３＞
次に，Ｓ１（シフト量算出工程）で得られた前記シフト量に基づいて前記複数の物体縮小像を同一領域上に配置することにより，相対位置のずれが修正された単一の物体像の初期画像データを生成する。
図７は，前記複数の物体縮小像を同一領域上に配置する様子を模式的に表したものである。図７に示すＱ０，Ｑ１，Ｑ２は，それぞれ前記受光素子８１上に結像された３×３の画素を持つ前記縮小像を表し，Ｍ１は単一の立体対象の画像が構成される領域である。Ｍ１の領域は，例えば，前記ＲＡＭ２の一部の領域に確保され，その画素数は前記受光素子全体の画素数と同数とする。
本処理では，まずＳ１において基準とした前記物体縮小像（図７ではＱ０で表す）の画素を領域Ｍ１のスケールに合わせて，矢印で示すように配置する。
続いて，他の前記物体縮小像（図７ではＱ１，Ｑ２で表す）の画素を，Ｓ１で算出した前記シフト量に基づいて領域Ｍ１に配置する。
これにより，前記領域Ｍ１上に，前記縮小像相互間の相対位置のずれが修正（補正）されて配置された高解像度の単一の物体画像が構成されることになる。

＜ステップＳ４＞
次に，Ｓ３で得られた物体画像の画像データについて，欠失した画素の補間処理を行う。ここで，ステップＳ３とステップＳ４とが，前記初期物体像生成工程の一例である。
Ｓ３で得られた単一の物体像の画像データに欠失画素がなければ，これをそのまま前記初期画像データすることができる。しかし，Ｓ３で得られた単一の物体像は，各物体縮小像の画素を拡大された同一領域内に配置しただけの画像であるため，物体と前記マイクロレンズアレイ８２との物体距離によっては，或いは前記アラインメント誤差がある場合には，欠失画素を含むことになる。こにょうな欠失画素を含む画像を前記初期画像データとして用いると，後述する反復逆投影処理によって画素欠失部がより強調されてしまい，前記初期画像データとしては適切でない。
また，前記アラインメント誤差がある場合に，従来の反復逆投影法のようにその誤差を考慮せずに定めた逆変換式Ｔ_k ^-1を適用して前記初期画像データを生成すると，物体縮小像と推定する再構成画像との対応関係に差異が生じる。この差異は，実際の物体情報と再構成画像とに誤差があることを表す。初期画像の精度（誤差の大きさ）は，反復処理が終了するまでの速度や，最終的に得られる高解像画像の画質に影響する。従って，前記アラインメント誤差を考慮せずに定めた逆変換式Ｔ_k ^-1を適用して前記初期画像データを生成することは適切でない。
そのため，ここでは，欠失画素がある場合，その周辺の画素値を用いて補間する。この際，欠失画素では水平，或いは垂直方向に対して線形的に画素値が変化すると仮定すると，欠失画素がＮ_del個連続している場合，そのｉ番目の欠失画素に対して補間する画素値Ｐ_del（ｉ）は，例えば，次の（１０）式を適用して算出可能である。ここで，Ｐ１，Ｐ２は欠失画素に隣接する画素の画素値である。
対象とする欠失画素に対して，水平及び垂直方向に（１０）式を適用し，得られた値の平均値を該欠失画素に対する画素値とする。
これにより，欠失画素がなくより実際の物体像に近い画像が得られる。

以下，Ｓ４で得られた欠失画素補間後の物体画像の画像データを前記初期画像データとし，さらに，Ｓ２で得られた前記幾何的投影過程を表す変換式Ｔ_kとその逆変換式Ｔ_k ^-1を用いて，前述したＳ２０〜Ｓ６０の処理を実行する。
以上の処理により，複眼式カメラ１０（マイクロレンズアレイ）と物体との間の距離を都度設定する必要がなく，その距離が不明（不定）であっても，また，マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができる。
当該画像処理により得られた画像の一例を図５に示す。
図５（ａ）は，複眼式カメラ１０により得られた複数の物体縮小像に基づいて前記画素再配置法により得られた物体像，図５（ｂ）は，同じく物体縮小像に基づいて当該画像処理により得られた物体像である。
図５の例の撮像条件は以下の通りである。
各マイクロレンズの焦点距離は１．３mm，同レンズ径は０．５mm，被撮影物体はマイクロレンズから５２０mmの距離に配置して撮影した。その取得画像は５×５（N＝５）個の物体縮小像で構成され，各物体縮小像は１６０×１６０画素を有しており，受光部としてベイヤ配列（２×２画素でＲ，Ｇ，Ｂチャネル１セットの情報を取り扱う）に基づくＲＧＢフィルタによるカラーＣＣＤを用いた。従って，Ｒ，Ｇ，Ｂ各チャネルの情報は，各物体縮小光学系当り８０×８０画素となる。
図５（ａ），（ｂ）の各物体画像は，４００×４００画素で構成されている。図５（ａ），（ｂ）を比較すると，高解像化にムラがあるものの，目や帽子のひさし部位が鮮明に表現されていることがわかる。
この結果から，本画像処理例２により，カメラ（マイクロレンズアレイ）と物体との間の距離が不明（不定）であっても，また，マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができることがわかる。

本発明は，複眼式カメラにより得た複数の低解像画像から高解像の画像を得る画像構成装置及び画像構成方法に利用することが可能である。

本発明の実施の形態に係る画像構成装置Ｘの概略構成を表すブロック図。画像構成装置Ｘによる第１の画像処理例の処理手順を表すフローチャート。画像構成装置Ｘによる第２の画像処理例の処理手順を表すフローチャート。第１の画像処理例により構成した物体画像の一例を表す図。第２の画像処理例により構成した物体画像の一例を表す図。物体縮小像間の相関関数を示す図。複数の物体縮小像を同一領域上に配置する様子を模式的に表した図。単眼式カメラの光学系と複眼式カメラの光学系とを模式的に表した図。

符号の説明

１…ＣＰＵ
２…ＲＡＭ
３…ＲＯＭ
４…記憶部
１０…複眼式カメラ
２０…Ａ／Ｄ変換部
８０…マイクロレンズ
８１…受光素子
８２…マイクロレンズアレイ
Ｓ１，Ｓ２，，，…処理手順（ステップ）

Claims

複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データを記憶する縮小像記憶手段から，前記複数の物体縮小像の画像データを読み出し該画像データに基づいて単一の物体像を構成しその画像データを出力する物体像構成手段を具備する画像構成装置において，
前記物体像構成手段が，
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と，
与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と，
前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより，前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と，
前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え，その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ，前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と，
を実行してなることを特徴とする画像構成装置。
前記物体像構成手段が，さらに前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求めるシフト量算出工程を実行するものである請求項１に記載の画像構成装置。
前記物体像構成手段が，さらに前記シフト量算出工程で得られた前記シフト量に基づいて前記縮小像推定工程で用いる前記幾何的投影過程を表す変換式を求める投影過程導出工程を実行するものである請求項２に記載の画像構成装置。
前記物体像構成手段が実行する前記初期物体像生成工程が，
前記シフト量算出工程で得られた前記シフト量に基づいて前記複数の物体縮小像を同一領域上に配置して単一の物体像の画像データを生成し，該画像データに対して欠失画素の補間処理を施すことにより前記単一の物体像の初期画像データを生成するものである請求項２又は３に記載の画像構成装置。
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データに基づいて単一の物体像を構成する画像構成方法において，
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と，
与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と，
前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより，前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と，
前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え，その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ，前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と，
を有してなることを特徴とする画像構成方法。