JP2014016965A - 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置 - Google Patents

Abstract

【課題】リフォーカス画像の生成の際の画素数の減少に伴う画質の劣化を抑制可能とする。
【解決手段】実施形態の画像処理装置は、生成部が、撮像部により、撮像部から被写体上の点の位置までの距離に応じて被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する。決定部が、複数の画像内の画素のリフォーカス画像における位置と画素の画素値との組を含むサンプリング情報を決定し、処理部が、リフォーカス画像のサンプリング情報に示される第１位置を含む所定領域に対して、第１位置に対応する画素の合焦の度合いに応じた強さで高解像化処理を施す。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置に関する。

マイクロレンズアレイを備えたライトフィールドカメラや、カメラアレイなどにより、隣接する画像に同一の被写体が位置をずらされて写っている複数の画像を同時に撮像する技術が知られている。このように、隣接する画像に同一の被写体が位置をずらされて撮像された複数の画像をずらして重ね合わせることで、画像内に指定した任意の距離に焦点を合わせた画像を再構成することが可能である。この焦点を変更して再構成した画像をリフォーカス画像と呼ぶ。

特表２００８−５１５１１０号公報

T. E. Bishop, S. Zanetti, P. Favaro, "Light Field Superresolution", International Conference on Computational Photography, 2009.

リフォーカス画像は、上述したように、マイクロレンズアレイに含まれる各マイクロレンズによる画像をずらして重ね合わせて生成する。そのため、リフォーカス画像の画素数が撮像素子の画素数に対して減少してしまい、解像度が低下し画質が劣化してしまうという問題点があった。

本発明が解決しようとする課題は、リフォーカス画像の生成の際の画素数の減少に伴う画質の劣化を抑制可能な画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置を提供することにある。

実施形態の画像処理装置は、生成部が、撮像部により、撮像部から被写体上の点の位置までの距離に応じて被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する。決定部が、複数の画像内の画素のリフォーカス画像における位置と画素の画素値との組を含むサンプリング情報を決定し、処理部が、リフォーカス画像のサンプリング情報に示される第１位置を含む所定領域に対して、第１位置に対応する画素の合焦の度合いに応じた強さで高解像化処理を施す。

第１の実施形態に係る画像処理装置の一例の構成を示すブロック図。 第１の実施形態に適用可能な取得部の一例の構成を概略的に示す図。 第１の実施形態に係る取得部で撮像され取得される画像の例を模式的に示す模式図。 第１の実施形態に係る画像処理装置の一例の動作を示すフローチャート。 第１の実施形態に係るリフォーカス画像生成処理をより詳細に説明するための図。 第１の実施形態に係るフォーカス度を説明するための図。 第１の実施形態に係るフォーカス度を説明するための図。 第１の実施形態によるフォーカス度の設定方法をより詳細に説明するための図。 第１の実施形態に係るサンプリング情報決定処理をより詳細に説明するための図。 第２の実施形態による撮像装置の一例の構成を示すブロック図。 第３の実施形態によるセンサ装置の一例の構成を示すブロック図。 第４の実施形態に適用可能な画像処理システムの一例の構成を示すブロック図。 他の実施形態による、画像処理装置を適用可能なコンピュータ装置の一例の構成を示すブロック図。

（第１の実施形態）
以下、第１の実施形態に係る画像処理装置について説明する。図１は、第１の実施形態に係る画像処理装置１００の一例の構成を示す。画像処理装置１００は、取得部１０１で取得された画像に対して第１の実施形態による処理を施す。画像処理装置１００は、サンプリング情報を決定する決定部１０２と、リフォーカス画像を生成する生成部１０３と、フォーカス度を設定する設定部１０４と、高解像度化処理を行う処理部１０５とを有する。これら決定部１０２、生成部１０３、設定部１０４および処理部１０５は、協働するハードウェアによって構成してもよいし、一部または全部をＣＰＵ(Central Processing Unit)上で動作するプログラムにより構成してもよい。

取得部１０１は、取得部１０１から被写体上の位置までの距離に応じて被写体上の点の位置が異なる位置に撮像された複数の単位画像を取得する。

図２は、第１の実施形態に適用可能な取得部１０１の一例の構成を概略的に示す。図２の例では、取得部１０１は、被写体１２０からの光を結像させるメインレンズ１１０と、マイクロレンズが複数配列されたマイクロレンズアレイ１１１と、光センサ１１２とを含む撮像光学系を備える。図２の例では、メインレンズ１１０の結像面がメインレンズ１１０およびマイクロレンズアレイ１１１の間（像面Ｚ）に位置するように、メインレンズ１１０が設定されている。

図示は省略するが、取得部１０１は、さらに、センサを駆動するセンサ駆動部を備える。センサ駆動部は、外部からの制御信号に従い駆動制御される。

光センサ１１２は、マイクロレンズアレイ１１１の各マイクロレンズにより受光面に結像された光を電気信号に変換して出力する。光センサ１１２としては、例えばＣＣＤ(Charge Coupled Device)イメージセンサや、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。これらのイメージセンサでは、それぞれ画素に対応する受光素子が受光平面上にマトリクス状に並べられて構成され、受光素子それぞれの光電変換によって、光が各画素の電気信号に変換されて出力される。

取得部１０１は、メインレンズ１１０上のある位置から、マイクロレンズアレイ１１１上のある位置に入射した光を、光センサ１１２で受光し、画素毎の画素信号を含む画像信号を出力する。この取得部１０１のような構成の撮像装置は、ライトフィールドカメラやＰｌｅｎｏｐｔｉｃカメラという名称で知られている。

なお、上述では、取得部１０１において、メインレンズ１１０の結像面がメインレンズ１１０とマイクロレンズアレイ１１１との間にあるように説明したが、これはこの例に限定されない。例えば、メインレンズ１１０の結像面をマイクロレンズアレイ１１１上に設定してもよいし、光センサ１１２の後方側に位置するように設定してもよい。メインレンズ１１０による結像面を光センサ１１２の後方側に位置させる場合、光センサ１１２に結像するマイクロレンズ像１３１は、虚像となる。

図３は、メインレンズ１１０による結像面を光センサ１１２の後方側に位置させた取得部１０１で撮像され取得される画像の例を模式的に示す。マイクロレンズアレイ１１１の各マイクロレンズにより光センサ１１２の受光面に結像された像１３１、１３１、…がマイクロレンズの配列に対応して配置された画像１３０が取得部１０１で取得される。図３によれば、同一の被写体（例えば数字の「３」）が、マイクロレンズの配列に応じて、各像１３１において所定量ずつずれて撮像されていることが分かる。

以下、各像１３１、１３１、…がマイクロレンズアレイ１１１における各マイクロレンズの配列に従って配置された画像１３０を、以下、複眼画像１３０と呼ぶ。なお、各像１３１、１３１、…は、複眼画像１３０を構成する単位となる単位画像である。

各マイクロレンズによる各像１３１は、光センサ１１２上に重なり無く結像されることが望ましい。また、図２に例示される光学系で撮像した複眼画像１３０中の各像１３１は実像であるため、各像１３１を個々に抜き出して上下左右反転したものをマイクロレンズ像１３１とし、これを単位画像として以下の説明を行う。すなわち、１つのマイクロレンズにより結像された像の画像がマイクロレンズ像１３１であり、マイクロレンズ像１３１が複数並んだ画像が複眼画像１３０である。

なお、図３では、マイクロレンズアレイ１１１においてマイクロレンズが六方格子点上に配置された場合の複眼画像１３０の例が示されているが、マイクロレンズの配列は、この例に限定されず、他の配列でもよい。例えば、マイクロレンズは、正方格子点上に配置されていてもよい。

ここで、図２の構成によれば、被写体１２０からの光は、被写体１２０の全体または被写体１２０における小領域が各マイクロレンズの位置に応じて少しずつずれて、各マイクロレンズ像１３１として撮像されることになる（図３参照）。すなわち、取得部１０１は、２以上のマイクロレンズにより共通に結像される被写体１２０上の注目点の位置が、この２以上のマイクロレンズそれぞれの注目点までの距離に応じてずれて撮像された２以上のマイクロレンズ像１３１を取得する。換言すれば、取得部１０１は、注目点が複数のマイクロレンズそれぞれからの距離に応じて異なる位置に撮像された複数のマイクロレンズ像１３１を取得する。

また、上述では、取得部１０１がマイクロレンズが多数配列されたマイクロレンズアレイ１１１を用いるものとして説明したが、これはこの例に限定されない。例えば、取得部１０１は、多数のカメラが配列されたカメラアレイを用いてもよい。カメラアレイを用いる構成は、図２の構成に対してメインレンズ１１０が省略された構成と考えることができる。カメラアレイを用いた場合、各カメラの撮像画像が単位画像となり、カメラアレイ全体の出力画像が複眼画像となる。

図１の説明に戻り、生成部１０３は、取得部１０１で取得された複眼画像１３０から、取得部１０１（メインレンズ１１０）からの距離が指定した距離である被写体に合焦させたリフォーカス画像１４０を生成する。決定部１０２は、取得部１０１で取得された複眼画像１３０の各画素の、リフォーカス画像１４０における位置を実数精度で求める。すなわち、ここで求められる位置は、画素のマトリクス上に乗らない場合がある。それと共に、決定部１０２は、当該位置と、当該位置に対応する複眼画像１３０の画素の画素値との組を含むサンプリング情報１４５を決定する。

処理部１０５は、生成部１０３から出力されたリフォーカス画像１４０と決定部１０２から出力されたサンプリング情報１４５とを用いて、リフォーカス画像１４０の、サンプリング情報１４５に示される所定位置を含む所定領域に対して、所定位置に対応する画素の合焦度合いに応じた強さで高解像度化処理を施す。処理部１０５でリフォーカス画像１４０が高解像度化された高解像度画像１４６が、出力画像として画像処理装置１００から出力される。

処理部１０５による高解像度化処理は、より具体的には以下のように行う。設定部１０４が、取得部１０１で取得された複眼画像１３０から、リフォーカス画像１４０の画素毎に、合焦の度合いを示すフォーカス度φを設定する。この場合、フォーカス度φは、より焦点が合っている（合焦の度合いが高い）場合に、より大きな値を示すように設定する。設定部１０４は、生成部１０３と同様にして複眼画像１３０からリフォーカス画像を生成してフォーカス度φを設定してもよいし、生成部１０３の処理結果または処理途中経過の算出値を利用してフォーカス度φを設定してもよい。処理部１０５は、設定部１０４から出力されるフォーカス度φに基づき、フォーカス度φが大きい程、より強く高解像度化処理を施す。

図４は、第１の実施形態に係る画像処理装置１００の一例の動作を示すフローチャートである。先ず、ステップＳ２０１で、取得部１０１により複眼画像１３０が取得される。取得された複眼画像１３０は、決定部１０２と、生成部１０３と、設定部１０４とにそれぞれ供給される。次のステップＳ２０２で、生成部１０３は、ステップＳ２０１で取得部１０１から供給された複眼画像１３０から、合焦位置を変更したリフォーカス画像１４０を生成する。次のステップＳ２０３で、設定部１０４は、ステップＳ２０１で取得部１０１から供給された複眼画像１３０から、リフォーカス画像１４０の各画素について、フォーカス度φを設定する。

次のステップＳ２０４で、決定部１０２は、ステップＳ２０１で取得部１０１から供給された複眼画像１３０に基づき、サンプリング情報１４５を決定する。そして、ステップＳ２０５で、処理部１０５は、ステップＳ２０２〜ステップＳ２０４で生成、決定されたリフォーカス画像１４０、フォーカス度φおよびサンプリング情報１４５を用いて、リフォーカス画像１４０に対する高解像度化処理を行う。

ステップＳ２０２のリフォーカス画像生成処理について説明する。生成部１０３は、ステップＳ２０２で、取得部１０１から供給された複眼画像１３０から、取得部１０１（メインレンズ１１０）から被写体１２０に向けた所定の距離に合焦したリフォーカス画像１４０を生成する。所定の距離は、予め決められた距離を用いてもよいし、図示されない入力部に対する入力などにより、ユーザが指定してもよい。

生成部１０３は、合焦させる距離に対応した拡大倍率により単位画像を拡大して重ね合わせることで、リフォーカス画像１４０を生成する。図３を用いて説明したように、複眼画像１３０は、被写体が複数のマイクロレンズによって縮小されて撮像されるため、個々のマイクロレンズ像１３１を所定の拡大倍率で拡大して重ね合わせることで、リフォーカス画像１４０を生成できる。

図５を用いて、リフォーカス画像生成処理について、より詳細に説明する。ここでは、簡単のために３つのマイクロレンズ像１３１₁、１３１₂および１３１₃が一列に並んでいる場合について説明する。各マイクロレンズ像１３１₁、１３１₂および１３１₃をそれぞれ所定の拡大倍率で拡大して、画像１４１₁、１４１₂および１４１₃を生成する。この画像１４１₁、１４１₂および１４１₃を、合焦距離に応じたずらし量でずらして重ね合わせる。これにより、各画像１４１₁、１４１₂および１４１₃に含まれる、同一の被写体の同一点が重なることになる。生成部１０３は、例えば、各画像１４１₁、１４１₂および１４１₃を重ねあわせて位置が一致する画素値の平均値を計算し、この平均値を画素値とした画素によりリフォーカス画像１４０を生成する。

このように、各マイクロレンズ像１３１₁、１３１₂および１３１₃を拡大した各画像１４１₁、１４１₂および１４１₃を重ね合わせることで、リフォーカス画像１４０が生成される。マイクロレンズ像１３１₁、１３１₂および１３１₃の拡大倍率を変えることで、合焦距離を撮影時の合焦距離に対して変更したリフォーカス画像１４０を生成できる。

マイクロレンズ像１３１の拡大には、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法などが利用できる。なお、カメラアレイにより撮像した複数の画像を用いる場合は、各画像を所定の倍率で拡大し、所望の合焦距離に応じたずらし量で各画像をずらして重ね合わせることで、リフォーカス画像１４０を生成できる。

図２を用いて、焦点を合わせる距離と、単位画像であるマイクロレンズ像１３１の拡大倍率との関係について説明する。像面Ｚは、リフォーカス処理により生成する画像の像面を示す。距離Ａは、合焦させたい被写体１２０とメインレンズ１１０との間の距離を示す。距離Ｂは、メインレンズ１１０と像面Ｚとの間の距離を示す。また、距離Ｃは像面Ｚとマイクロレンズアレイ１１１との間の距離、距離Ｄは、マイクロレンズアレイ１１１と光センサ１１２との間の距離を示す。なお、像面Ｚには、メインレンズ１１０からの距離が距離Ａである被写体１２０の像が結像するものとする。

像面Ｚの像を生成するためには、マイクロレンズ像１３１をＣ／Ｄ倍で拡大して、出力する画像サイズに応じた分だけずらして重ね合わせればよい。このとき、レンズの性質から、距離Ａと距離Ｂとは１対１の対応関係にあり、距離Ｂ＋距離Ｃを固定の距離Ｋとすれば、距離Ａと距離Ｃとは、１対１の対応関係となる。これにより、距離Ａから逆算して距離Ｃの値を決定することで、マイクロレンズ像１３１の拡大倍率を定めることができる。

図４のフローチャートにおけるステップＳ２０３のフォーカス度設定処理について説明する。ステップＳ２０３では、設定部１０４は、入力された複眼画像１３０に基づき、リフォーカス画像１４０において合焦度合いに応じた値のフォーカス度φが画素毎に設定され、出力される。より具体的には、設定部１０４は、合焦度合いが高い程、大きな値のフォーカス度φを設定する。

一例として、図６に例示されるようなリフォーカス画像１４０を考える。このリフォーカス画像１４０Ａは、取得部１０１（メインレンズ１１０）からの距離が異なる３の被写体の画像１５０、１５１および１５２が含まれている。取得部１０１に対して、画像１５０の被写体が最も近く、画像１５２の被写体が最も遠い。また、リフォーカス画像１４０Ａにおいて、これら画像１５０、１５１および１５２以外の領域は、背景となっていて、画像１５２よりもさらに取得部１０１からの距離が遠いものとする。このリフォーカス画像１４０Ａにおいては、画像１５１に対して合焦されている（合焦の度合いが高い）。以下、画像１５０、画像１５２、背景の順に合焦が外れていく（合焦の度合いが低くなる）。

図７は、リフォーカス画像１４０Ａに対してフォーカス度φを設定した例を示す。図７の例では、フォーカス度φが大きくなる程、密度の高いハッチングを付して示している。フォーカス度φは、画像１５０、１５１、１５２および背景のうち、合焦している画像１５１で最も大きな値とされ、以下、合焦の度合いが低くなるに連れ、フォーカス度φが小さな値となっていく。

図８を用いて、フォーカス度φの設定方法について、より詳細に説明する。図８は、３つのマイクロレンズ像１３１₄、１３１₅および１３１₆を所定の拡大率で拡大して重ね合わせたときの様子を表している。合焦している領域では、マイクロレンズ像１３１を重ね合わせたときに、重ね合わせた領域の画素値のばらつきが小さくなる。そのため、例えば、画素値の分散を用いてフォーカス度φを算出できる。

位置ベクトルｘにおけるマイクロレンズ像１３１₄の画素値を値ｍ₁(ｘ)、マイクロレンズ像１３１₅の画素値を値ｍ₂(ｘ)、マイクロレンズ像１３１₆の画素値を値ｍ₃(ｘ)でそれぞれ表す。また、位置ベクトルｘにおける画素値の平均を値ｍ＿(ｘ)で表す。なお、値ｍ＿(ｘ)における記号「＿」は、実際の数式においては「ｍ」の上線として記述される。

位置１６０₁の位置ベクトルをベクトルｘ₁とすると、画素位置１６０₁における画素値の分散ρ(ｘ₁)は、下記の式（１）で算出できる。

画素位置１６０₂、１６０₃および１６０₄の位置ベクトルをそれぞれ、ベクトルｘ₂、ｘ₃およびｘ₄とする。式（１）と同様にして、それぞれの画素位置１６０₂、１６０₃および１６０₄における画素値の分散ρ(ｘ₂)、ρ(ｘ₃)およびρ(ｘ₄)は、以下の式（２）〜式（４）でそれぞれ計算できる。

同様にして全ての画素位置に関して画素値の分散ρを計算できる。位置ベクトルｘにおけるフォーカス度φ(ｘ)は、例えば、ガウス分布を用いて以下の式（５）に基づいて計算できる。なお、式（５）において、値σ₁は、設計者が適宜に設定する定数である。

式（５）によれば、分散ρが０でフォーカス度φが最大値を取り、分散ρが大きくなるに連れ、ガウス分布曲線に従いフォーカス度φが小さい値となっていく。すなわち、フォーカス度φは、より合焦した状態でより大きな値となり、合焦から外れるに従って値が小さくなっていく。

フォーカス度φの設定方法は、ガウス分布曲線に従う方法に限られない。例えば、分散ρおよびフォーカス度φとの関係を反比例の関係としてもよいし、ガウス分布曲線とは異なる曲線に従いフォーカス度φを設定してもよい。

また、距離画像を用いてフォーカス度φを設定することもできる。距離画像は、カメラ（例えばメインレンズ１１０）から被写体までの距離を数値で示したものである。距離画像は、複眼画像１３０の複数の単位画像からステレオマッチング法により、画素毎に算出することが可能である。これに限らず、ステレオカメラやレンジファインダなどの測距センサによって得られた距離画像を用いてもよい。この場合のフォーカス度φは、例えば、下記の式（６）に基づいて計算できる。

式（６）において、値ｄ(ｘ)は、位置ベクトルｘにおける距離画像の値、値ｄ＾（「＾」は、実際には「ｄ」の直上に記述）は、合焦させた距離を示す値、値σ₂は、設計者が適宜に設定する定数である。式（６）によれば、合焦した距離と距離画像に示される距離とが近い程、フォーカス度φの値が大きくなる。

また、ユーザがリフォーカス画像１４０を目視により確認し、合焦している領域を指定することもできる。例えば、画像処理装置１００に対して、出力画像を表示する表示部と、ユーザ入力を受け付ける入力部とをさらに設け、表示部に対してリフォーカス画像１４０を表示させ、入力部に対する入力に従い合焦領域を指定する。この場合、例えば、ユーザが合焦しているとして指定した領域のフォーカス度φを最大値（例えば１）、その他の領域のフォーカス度φを０に設定することが考えられる。

入力部の構成として、例えば、タッチパネル、マウス、ペンタブレットなどのポインティングデバイスを用いることで、ユーザは、矩形領域や不定形な領域を容易に指定することが可能となり、好ましい。

なお、カメラアレイにより撮像した複眼画像１３０を用いる場合は、当該複眼画像１３０における各単位画像を、生成部１０３でのずらし量だけずらして重ね合わせたときの画素値のばらつきを計算することで、フォーカス度φを計算できる。

図４のフローチャートにおけるステップＳ２０４のサンプリング情報決定処理について説明する。決定部１０２は、入力された複眼画像１３０の画素が対応するリフォーカス画像１４０における位置と、当該画素の画素値との組を含むサンプリング情報１４５を決定する。

図９を用いて、サンプリング情報決定処理について、より詳細に説明する。図９（ａ）は、複眼画像１３０の例を示す。ここでは、簡単のため、複眼画像１３０における３のマイクロレンズ像１３１₇、１３１₈および１３１₉を例にとって説明する。

図９（ａ）において、マイクロレンズ像１３１₇に含まれる画素１３２₁、１３２₁、…を「◎（二重丸）」で示し、マイクロレンズ像１３１₈に含まれる画素１３２₂、１３２₂、…を「●（黒丸）」で示す。また、マイクロレンズ像１３１₉に含まれる画素１３２₃、１３２₃、…を「◆（黒菱形）」で示す。

各マイクロレンズ像１３１₇、１３１₈および１３１₉の画素１３２₁、１３２₁、…、画素１３２₂、１３２₂、…、ならびに、画素１３２₃、１３２₃、…が、リフォーカス画像１４０のどの位置に対応するかを決定する。各マイクロレンズ像１３１₇、１３１₈および１３１₉を、それぞれの中心位置を固定して、リフォーカス画像１４０を生成した際のマイクロレンズ像の拡大倍率と同じ倍率で拡大する。

図９（ｂ）は、拡大後の各マイクロレンズ像１３１₇、１３１₈および１３１₉の画素の例を示す。拡大後の複眼画像１３３において、例えばマイクロレンズ像１３１₇について、各画素１３２₁、１３２₁、…の位置は、拡大前の複眼画像１３０における各位置に対して、マイクロレンズ像１３１₇の中央を中心として、拡大倍率に従いそれぞれの方向に拡大された位置とされている。これは、他のマイクロレンズ像１３１₈および１３１₉についても同様である。

このとき、拡大後の複眼画像１３３における各画素１３２₁、１３２₁、…、画素１３２₂、１３２₂、…、ならびに、画素１３２₃、１３２₃の位置は、実数精度で決定される。換言すれば、拡大後の複眼画像１３３における各画素１３２₁、１３２₁、…、画素１３２₂、１３２₂、…、ならびに、画素１３２₃、１３２₃の位置は、画素のマトリクスに乗らない場合がある。以下、この拡大後の各画素各画素１３２₁、１３２₁、…、画素１３２₂、１３２₂、…、ならびに、画素１３２₃、１３２₃を、適宜、サンプリング点と呼ぶ。

決定部１０２は、こうして求めた拡大後の各画素の位置と、当該画素の画素値とを対応付けて、サンプリング情報１４５を決定する。この場合、決定部１０２は、複眼画像１３０上の全画素分のサンプリング情報１４５を決定することになる。

なお、ここでは、複眼画像１３０上の全ての画素についてサンプリング情報１４５を決定しているが、これはこの例に限定されない。例えば、設定部１０４で画素毎に算出されたフォーカス度φ(ｘ)が閾値以上の画素について、選択的にサンプリング情報１４５を決定してもよい。こうすることで、後述する処理部１０５における計算量を抑制することができる。

なお、カメラアレイにより撮像した複数の画像を用いる場合は、リフォーカス画像１４０を生成したときの各画像の拡大倍率と同じ倍率とずらし量で、拡大してずらすことで各画像の画素およびその画素値をサンプリング情報１４５として決定する。

図４のフローチャートにおけるステップＳ２０５の高解像度化処理について説明する。処理部１０５は、入力されたサンプリング情報１４５と、リフォーカス画像１４０と、フォーカス度φとに基づき、リフォーカス画像１４０において合焦している領域をより強く高解像度化した高解像度画像１４６を生成し、出力画像として画像処理装置１００から出力する。

処理部１０５における高解像度化処理について、より詳細に説明する。処理部１０５は、例えば、下記の式（７）で定義されるエネルギ関数Ｅ(ｈ)を最小化することで、高解像度画像１４６を得る。

ここで、ベクトルｈは、高解像度画像１４６の画素値を並べたベクトルを表す。ベクトルｂ_iは、ｉ番目のサンプリング点の点拡がり関数（ＰＳＦ：Point Spread Function）の値を並べたベクトルを表し、上付き添字「Ｔ」は、ベクトルの転置を表す。値ｓ_iは、ｉ番目のサンプリング点の画素値を表す。また、値Ｎは、サンプリング点の数を表す。

点拡がり関数は、光学系の点光源に対する応答を表す関数であって、例えば取得部１０１における撮像光学系による像の劣化を簡易的にシミュレートすることができる。点拡がり関数としては、例えば下記の式（８）で定義されるガウス関数を適用することができる。ベクトルｂ_iは、式（８）の関数の値ｂ(x，ｙ)を並べることで構成できる。

なお、式（８）において、値σ₃は、下記の式（９）に基づいて設定される。式（９）において、値μは、リフォーカス画像１４０を生成する際のマイクロレンズ像１３１に対する拡大倍率を表し、値ｋは、設計者が適宜に設定する定数である。

上述では、点拡がり関数として、ガウス関数を用いたが、これはこの例に限定されない。例えば、実際に用いる撮像光学系の光学シミュレーションにより算出した点拡がり関数を用いてもよい。

式（７）に示したエネルギ関数Ｅ(ｈ)を最小化するには、最急降下法、共役勾配法、ＰＯＣＳ(Projections Onto Convec Sets)法などが利用できる。ＰＯＣＳ法を利用する場合、下記の式（１０）で定義される繰り返し計算により画像を更新する。

式（１０）において、値ｔは、繰り返し回数を表す。ベクトルｇは、一般的な用法としては、各画素の更新量の値を並べたベクトルを用い、関数diag(・)は、ベクトルの成分を対角成分に持つ正方行列を表す。値αは、設計者が適宜設定する定数を表す。この式（１０）に基づいて、全てのサンプリング点についての更新を所定の回数もしくは画像が変化しなくなるまで（ベクトルｈが収束するまで）繰り返す。

この第１の実施形態では、ベクトルｈの初期値であるベクトルｈ₀としてリフォーカス画像１４０を用い、ベクトルｇとして、フォーカス度φの値を並べたベクトルを用いる。こうすることで、リフォーカス画像１４０において合焦の度合いが高い画素の更新量をより大きくし、合焦の度合いが低い画素の更新量をより小さくできる。その結果、合焦の度合いが高い領域に対してより強い高解像度化処理が施された高解像度画像１４６を生成することができる。

また、式（７）に示すエネルギ関数Ｅ(ｈ)を最急降下法で最小化する場合、下記の式（１１）で定義される繰り返し計算により画像を更新する。なお、式（１１）において、値εは、設計者が適宜に設定する定数である。

なお、カメラアレイにより撮像した複眼画像１３０についても、上述の式（７）〜式（１０）または式（１１）を用いて同様に処理することで高解像度画像１４６を生成することができる。

（第１の実施形態の変形例）
エネルギ関数Ｅ(ｈ)は、式（７）に示されるものに限定されない。例えば、次式（１２）に示すように、式（７）に対して正則化項を加えたエネルギ関数Ｅ’(ｈ)を用いてもよい。なお、式（１２）において、行列Ｒは微分を表す行列、値λは設計者が適宜に設定する定数である。

式（１２）に示すエネルギ関数Ｅ’(ｈ)を最急降下法で最小化する場合、下記の式（１３）で定義される繰り返し計算により画像を更新する。

このように、第１の実施形態に係る画像処理装置１００によれば、フォーカス度φに基づいて、リフォーカス画像１４０の合焦の度合いが高い領域をより強く高解像度化することができる。これにより、１回の撮像で得られた複眼画像１３０から所定の距離に合焦させたリフォーカス画像１４０を、より高解像度化して出力することができる。

従来から、超解像技術を用いて高解像度な画像を生成する手法が存在していた（非特許文献１）。この非特許文献１による手法では、複眼画像の画素を並び替えることで、被写体を複数の視点から見た視点画像を生成する。そして、その中の１枚の視点画像を対象画像とし、対象画像以外の視点画像のサンプリング点を対象画像に追加して、超解像処理をする。

しかしながら、この非特許文献１の手法では、対象画像のフォーカス距離は撮像時に決定しているため、最終的な出力画像のフォーカス距離が変更できなかった。第１の実施形態によれば、先ずリフォーカス画像１４０を生成し、この生成したリフォーカス画像１４０に対して高解像度化処理を施す。そして、高解像度化処理の際に、フォーカス度φを加味するようにしているため、この問題は解決している。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、第１の実施形態による画像処理装置１００を、光学系を有すると共に出力画像の記憶および表示が可能な撮像装置に適用した例である。

図１０は、第２の実施形態による撮像装置２００の一例の構成を示す。なお、図１０において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。撮像装置２００は、図１０に例示されるように、撮像部１７０と、画像処理装置１００と、操作部２１０と、メモリ２１１と、表示部２１２とを有する。

なお、この撮像装置２００の全体の動作は、図示されないＣＰＵにより、プログラムに従い制御される。また、撮像部１７０は、上述した取得部１０１に対応するもので、図２に例示した光学系とセンサ１１２とを有する。

メモリ２１１は、例えば不揮発性の半導体メモリであって、画像処理装置１００から出力された出力画像を記憶する。また、表示部２１２は、例えばＬＣＤ(Liquid Crystal Display)などの表示デバイスと、表示デバイスを駆動する駆動回路とを含み、画像処理装置１００から出力された出力画像を表示させる。

操作部２１０は、ユーザ入力を受け付ける。例えば、操作部２１０に対するユーザ入力により、画像処理装置１００に対して、リフォーカス画像１４０において合焦させたい距離を指定することができる。操作部２１０は、また、ユーザによる合焦領域の指定を受け付けることができる。操作部２１０は、さらに、撮像部１７０に対する撮像タイミングや出力画像のメモリ２１１への記憶タイミング、撮像時の合焦制御のユーザ入力などを受け付けることができる。

このような構成において、撮像装置２００は、操作部２１０に対するユーザ入力に従い撮像時の合焦距離を指定する。また、撮像装置２００は、操作部２１０に対するユーザ入力に従い、撮像部１７０から出力される複眼画像１３０を画像処理装置１００に取り込むタイミングを指定する。

さらに、撮像装置２００は、操作部２１０に対するユーザ入力により指定された合焦距離に従いリフォーカス画像１４０を生成すると共にフォーカス度φを求め、リフォーカス画像１４０に対してフォーカス度φに応じた処理部１０５による高解像度化処理を施した出力画像を表示部２１２に表示させる。例えば、ユーザは、この表示部２１２の表示を参照して、合焦距離を操作部２１０から再入力することができる。また、ユーザは、この表示部２１２の表示を参照して合焦領域を指定し、強く高解像度化を施したい領域を指示することができる。例えば、ユーザは、気に入った出力画像が得られると、操作部２１０を操作して、当該出力画像をメモリ２１１に記憶する。

このように、第２の実施形態に係る撮像装置２００によれば、撮像部１７０で撮像された複眼画像１３０から生成したリフォーカス画像１４０のフォーカス度φを求める。そして、合焦しておりフォーカス度φが大きい領域に対して強く高解像度化処理を施すようにしている。そのため、ユーザは、撮像装置２００で撮像された複眼画像１３０から、より高解像度なリフォーカス画像を生成し、出力画像として得ることができる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、第１の実施形態による画像処理装置１００を、光学系を有すると共に、出力画像の外部に対する送信と、外部からの操作信号の受信を行うようにしたセンサ装置に適用した例である。

図１１は、第３の実施形態によるセンサ装置３００の一例の構成を示す。なお、図１１において、上述した図１および図１０と共通する部分には同一の符号を付し、詳細な説明を省略する。センサ装置３００は、図１１に例示されるように、撮像部１７０および画像処理装置１００を有する。

外部から有線または無線通信により送信された操作信号がセンサ装置３００に受信され、画像処理装置１００に入力される。また、画像処理装置１００から出力された出力画像が、有線または無線通信によりセンサ装置３００から出力される。

このような構成において、センサ装置３００は、例えば、外部から送信された操作信号により指定された合焦領域に従い、処理部１０５により当該合焦領域に対してより強く高解像度化処理を施した出力画像を生成する。この出力画像は、センサ装置３００から外部に送信される。外部において、受信した出力画像を表示させ、この表示に応じて、合焦位置や合焦領域を指定する操作信号をセンサ装置３００に対してさらに送信することができる。

センサ装置３００は、例えば監視カメラへの応用が考えられる。この場合、遠隔地からセンサ装置３００からの出力画像による表示を監視し、表示画像に不審な画像が含まれる場合に、この不審な画像部分に対する合焦距離や合焦領域を指定し、センサ装置３００に対して操作信号を送信する。センサ装置３００では、この操作信号に応じてリフォーカス画像１４０を再生成し、指定された合焦領域に対してより強い高解像度化処理を施して、出力画像を送信する。合焦距離が再設定され、高解像度化された出力画像により、不審な画像部分の詳細を確認することができる。

（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態は、第１の実施形態による画像処理装置１００をネットワーク・クラウド上に構成した画像処理システムの例である。図１２は、第４の実施形態に適用可能な画像処理システムの一例の構成を示す。なお、図１２において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１２において、画像処理システムは、画像処理装置１００がネットワーク・クラウド５００上に構成される。ネットワーク・クラウド５００は、互いにネットワークで接続される複数のコンピュータを含み、外部からは、その内部が隠蔽されたブラックボックスとして入出力のみが示されるネットワーク・グループである。ネットワーク・クラウド５００は、例えば通信プロトコルとしてＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)を用いるものとする。

取得部１０１で取得された複眼画像１３０は、通信部５１０を介してネットワーク・クラウド５００に向けて送信され、画像処理装置１００に入力される。通信部５１０を介して送信された複眼画像１３０を、ネットワーク・クラウド５００上のサーバ装置などに蓄積的に格納しておいてもよい。画像処理装置１００は、通信部５１０を介して送信された複眼画像１３０に基づきリフォーカス画像１４０を生成すると共にフォーカス度φを求め、フォーカス度φに応じてリフォーカス画像１４０に対して高解像度化処理を施して出力画像を生成する。

生成された出力画像は、画像処理装置１００から出力され、ネットワーク・クラウド５００から、例えばＰＣ（パーソナルコンピュータ）である端末装置５１１に受信される。端末装置５１１は、受信した出力画像をディスプレイに表示させることができると共に、ユーザ入力に応じて合焦距離や合焦領域を指定する操作信号をネットワーク・クラウド５００に向けて送信することができる。画像処理装置１００は、この操作信号に応じて、指定された合焦距離でリフォーカス画像１４０を再生成し、指定された合焦領域に対してより強い高解像度化処理を施して、出力画像を生成する。この出力画像は、ネットワーク・クラウド５００から端末装置５１１に向けて再び送信される。

この第４の実施形態の構成によれば、ユーザは、画像処理装置１００を有していなくても、画像処理装置１００により生成され、高解像度化処理により高解像度化された出力画像を得ることができる。

（他の実施形態）
上述した実施形態による画像処理装置１００は、汎用的なコンピュータ装置を基本ハードウェアとして用いて実現することも可能である。図１３は、他の実施形態による、画像処理装置１００を適用可能なコンピュータ装置４００の一例の構成を示す。

図１３に例示されるコンピュータ装置４００において、バス４０１に対してＣＰＵ(Central Processing Unit)４０２、ＲＯＭ(Read Only Memory)４０３、ＲＡＭ(Random Access Memory)４０４および表示制御部４０５が接続される。また、バス４０１に対して、ストレージ４０７、ドライブ装置４０８、入力部４０９、通信Ｉ／Ｆ４１０およびカメラＩ／Ｆ４２０が接続される。ストレージ４０７は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクである。これに限らず、ストレージ４０７をフラッシュメモリなど不揮発性の半導体メモリとしても良い。

ＣＰＵ４０２は、ＲＯＭ４０３およびストレージ４０７に記憶されるプログラムに従い、ＲＡＭ４０４をワークメモリとして用いて、このコンピュータ装置４００の全体を制御する。表示制御部４０５は、ＣＰＵ４０２により生成された表示制御信号を、表示部４０６が表示可能な信号に変換して出力する。

ストレージ４０７は、上述のＣＰＵ４０２が実行するためのプログラムや各種データが格納される。ドライブ装置４０８は、脱着可能な記録媒体（図示しない）が装填可能とされ、当該記録媒体に対するデータの読み書きを行うことができる。ドライブ装置４０８が対応可能な記録媒体としては、ＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)といったディスク記録媒体や、不揮発性の半導体メモリが考えられる。

入力部４０９は、外部からのデータの入力を行う。例えば、入力部４０９は、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394)といった所定のインターフェイスを有し、このインターフェイスにより外部の機器からのデータ入力を行う。入力画像の画像データは、この入力部４０９から入力することができる。

また、入力部４０９に対して、キーボードやマウスといった、ユーザ入力を受け付ける入力デバイスが接続される。ユーザは、例えば表示部４０６に対する表示に応じてこれら入力デバイスを操作することで、コンピュータ装置４００に対して指示を出すことができる。なお、ユーザ入力を受け付ける入力デバイスを、表示部４０６と一体的に構成してもよい。このとき、入力デバイスは、押圧した位置に応じた制御信号を出力すると共に、表示部４０６の画像を透過するタッチパネルとして構成すると、好ましい。

通信Ｉ／Ｆ４１０は、所定のプロトコルを用いて外部の通信ネットワークと通信を行う。

カメラＩ／Ｆ４２０は、取得部１０１とコンピュータ装置４００との間のインターフェイスである。取得部１０１で取得された複眼画像１３０は、カメラＩ／Ｆ４２０を介してコンピュータ装置４００に取り込まれ、例えばＲＡＭ４０４やストレージ４０７に格納される。また、カメラＩ／Ｆ４２０は、ＣＰＵ４０２の命令に従った制御信号を取得部１０１に供給することができる。

上述した決定部１０２、生成部１０３、設定部１０４および処理部１０５は、ＣＰＵ４０２上で動作する画像処理プログラムによって実現される。実施形態に係る画像処理を実行するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、画像処理プログラムを、ＲＯＭ４０３に予め記憶させて提供してもよい。

さらに、実施形態に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

実施形態に係る画像処理を実行するための画像処理プログラムは、例えば、上述した各部（決定部１０２、生成部１０３、設定部１０４および処理部１０５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ４０２が例えばストレージ４０７から当該画像処理プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ４０４）上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００ 画像処理装置
１０１ 取得部
１０２ 決定部
１０３ 生成部
１０４ 設定部
１０５ 処理部
１１０ メインレンズ
１１１ マイクロレンズアレイ
１１２ 光センサ
１３０ 複眼画像
１３１ マイクロレンズ像
１４０ リフォーカス画像
１４５ サンプリング情報
１４６ 高解像度画像
２００ 撮像装置
３００ センサ装置
４００ コンピュータ装置

Claims (13)

1. 撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
   前記複数の画像内の画素の前記リフォーカス画像における位置と該画素の画素値との組を含むサンプリング情報を決定する決定部と、
   前記リフォーカス画像の前記サンプリング情報に示される第１位置を含む所定領域に対して、該第１位置に対応する画素の合焦の度合いに応じた強さで高解像化処理を施す処理部と
   を有する
   ことを特徴とする画像処理装置。
2. 前記合焦の度合いが高いほど大きな値を示すフォーカス度を前記リフォーカス画像の画素毎に設定する設定部をさらに有し、
   前記処理部は、
   前記所定領域に対して、前記第１位置に対応する画素の前記フォーカス度が大きいほど強く高解像度化処理を施す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理部は、
   前記第１位置における前記フォーカス度が大きいほど、前記サンプリング情報において前記第１位置と組になる第１画素値と、該第１画素値を撮像光学系の特性に基づきシミュレートした第２画素値との差分が小さくなるように該第２画素値を生成し、該第２の画素値を用いて前記リフォーカス画像を更新することで、前記高解像度化処理を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記生成部は、
   前記複数の単位画像を前記所定の距離に応じて決まる拡大率に従い拡大して各単位画像を重ね合わせることで、前記リフォーカス画像を生成し、
   前記処理部は、
   前記シミュレートを点拡がり関数を用いて行い、該点拡がり関数による拡がり度合いを前記拡大率に応じて決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記決定部は、
   前記所定の距離に応じて決まる拡大率に従い前記複数の単位画像を拡大した際に重ね合わされた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記フォーカス度を決定する
   ことを特徴とする請求項２乃至請求項４の何れか１項に記載の画像処理装置。
6. 前記算出部は、
   前記所定の距離に応じて決まるずらし量に従い前記複数の単位画像をずらして重ね合わせた際に、重ね合わせた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記フォーカス度を算出する
   ことを特徴とする請求項２乃至請求項４の何れか１項に記載の画像処理装置。
7. 前記撮像部から前記被写体までの距離を取得する距離取得部をさらに有し、
   前記算出部は、
   前記距離取得部に取得された前記距離と前記所定の距離との差分に応じた大きさの前記フォーカス度を算出する
   ことを特徴とする請求項２乃至請求項４の何れか１項に記載の画像処理装置。
8. 前記算出部は、
   前記リフォーカス画像に対してユーザ指定された領域に応じて前記フォーカス度を算出する
   ことを特徴とする請求項２乃至請求項４の何れか１項に記載の画像処理装置。
9. 前記決定部は、
   前記フォーカス度が閾値以上の領域に対して前記サンプリング情報を決定する
   ことを特徴とする請求項２乃至請求項８の何れか１項に記載の画像処理装置。
10. 撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成ステップと、
    前記複数の画像内の画素の前記リフォーカス画像における位置と該画素の画素値との組を含むサンプリング情報を決定する決定ステップと、
    前記リフォーカス画像の前記サンプリング情報に示される第１位置を含む所定領域に対して、該第１位置に対応する画素の合焦の度合いに応じた強さで高解像化処理を施す処理ステップと
    を有する
    ことを特徴とする画像処理方法。
11. 撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成ステップと、
    前記複数の画像内の画素の前記リフォーカス画像における位置と該画素の画素値との組を含むサンプリング情報を決定する決定ステップと、
    前記リフォーカス画像の前記サンプリング情報に示される第１位置を含む所定領域に対して、該第１位置に対応する画素の合焦の度合いに応じた強さで高解像化処理を施す処理ステップと
    をコンピュータに実行させるためのプログラム。
12. 撮像部と、
    前記撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
    前記複数の画像内の画素の前記リフォーカス画像における位置と該画素の画素値との組を含むサンプリング情報を決定する決定部と、
    前記リフォーカス画像の前記サンプリング情報に示される第１位置を含む所定領域に対して、該第１位置に対応する画素の合焦の度合いに応じた強さで高解像化処理を施す処理部と、
    外部から送信された少なくとも前記所定の距離を示す情報を受信する受信部と、
    前記処理部で高解像度化処理を施されたリフォーカス画像を外部に送信する送信部と
    を有する
    ことを特徴とする撮像装置。
13. 撮像部と、
    前記撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
    前記複数の画像内の画素の前記リフォーカス画像における位置と該画素の画素値との組を含むサンプリング情報を決定する決定部と、
    前記リフォーカス画像の前記サンプリング情報に示される第１位置を含む所定領域に対して、該第１位置に対応する画素の合焦の度合いに応じた強さで高解像化処理を施す処理部と、
    少なくとも前記所定の距離を示す情報のユーザ入力を受け付ける入力部と、
    前記処理部で高解像度化処理を施されたリフォーカス画像を表示する表示部と
    を有する
    ことを特徴とする撮像装置。