JP2007312314A - 画像シフト検出方法および装置および画像入力装置 - Google Patents

Abstract

【課題】複眼像から単一の物体像を再構成する場合の各個眼像のずれや、デジタルカメラにおける手振れ補正のため、１度の露光期間内に読み出された複数の画像間のずれを、迅速かつ高精度に検出する。
【解決手段】同一物体に対する複数の略同一な画像間における微小なズレを検出する画像シフト検出方法であって、基準とする画像から高コントラスト領域８ａを特定する第１の工程と、基準とする画像からのシフト量を検出すべき被シフト検出像から、第１の工程で高コントラスト領域として特定した領域と同じ領域を特定する第２の工程と、第１および第２の工程で特定した２つの領域を用いて画像シフトを検出する第３の工程とを有する。
【選択図】図５

Description

この発明は、画像シフト検出方法および装置および画像入力装置に関する。この発明は、画像読取装置、虹彩認証や顔認証などの画像認識装置、デジタルカメラ、監視カメラ、車載カメラ、さらには上記カメラや装置を具備した電子機器に適用できる。

マイクロレンズアレイを用いて同一物体を撮影して得られる所謂複眼像から、単一の物体像を再構成することが知られている。複眼像から単一の物体像を再構成する際に、複眼像を構成する個眼像（個々のマイクロレンズにより結像した物体像）の「微小なずれ量」を検出する必要があり、このような個眼像相互の微小なずれを検出する方法として、相関関数を利用する方法が特許文献１に開示されているが、相関関数の演算に画像全体を利用するため計算コストが高くなる虞がある。特に、フーリエ変換を利用して相関関数を計算する場合は計算コストが非常に高い。

また、デジタルカメラにおける手振れ補正のため、１度の露光期間内に画像の読出しを複数回実行し、読み出された複数画像間の「画素値の差」を最小にする画像データのずれ量を手振れ補正量として物体像の補正を行う方法が特許文献２に開示されている。

特許文献２記載のずれ量検出の場合も、ずれ量検出の演算に画像全体を用いるので計算コストが高い。

上記特許文献１や２の技術において、計算コストを抑えるために「ずれ量検出のため、画像の一部領域を演算に用いた」としても、コントラストの低い画像領域を用いると検出精度は低くなってしまう。特に「撮像素子の暗電流などに起因するノイズ成分よりも低いコントラストの画像領域」を演算に用いた場合には検出精度は著しく低くなってしまう。

特許第３６９９９２１号公報 特開２０００−３４１５７７

この発明は上述した所に鑑み、複眼像から単一の物体像を再構成する場合の各個眼像のずれや、デジタルカメラにおける手振れ補正のため、１度の露光期間内に読み出された複数の画像間のずれを、迅速かつ高精度に検出することを課題とする。

この発明の画像シフト検出方法は「同一物体に対する複数の略同一な画像間における微小なズレを検出する方法」であって、以下の第１〜第３の工程を有する（請求項１）。

「第１の工程」は、基準とする画像から高コントラスト領域を特定する工程である。

「第２の工程」は、基準とする画像からのシフト量を検出すべき被シフト検出像から、第１の工程で高コントラスト領域として特定した領域と同じ領域を特定する工程である。

「第３の工程」は、第１および第２の工程で特定した２つの領域を用いて画像シフトを検出する工程である。

上記「同一物体に対する複数の略同一な画像」は、例えば、上述の「マイクロレンズアレイにより同一物体の像を結像させた複眼像における各個眼像」や上述のデジタルカメラの手振れ補正における「１度の露光期間内に読み出された複数の画像」である。複眼像を構成する個々の個眼像は同一物体の像であり「相互に略同一」であるが、各マイクロレンズと物体の位置関係がマイクロレンズごとに異なるので、個眼像相互に「微小なずれ」がある。また、「１度の露光期間内に読み出された複数の画像」は短い露光時間内の同一物体の像であるので、相互に完全に同一であることはないが、相互に略同一である。

「基準とする画像」は、複眼像を構成する複数の個眼像のうちから任意に特定された１個の個眼像（「基準個眼像」という。）、あるいは「１度の露光期間内に読み出された複数の画像のうちから任意に特定された１画像」である。

「画像シフト」は、上記基準個眼像に対する各個眼像のずれ量である「シフト量」、あるいは上記「１度の露光期間内に読み出された複数の画像のうちから任意に特定された１画像」に対する各画像のずれ量である「シフト量」をいう。

「被シフト検出像」は基準とする画像に対するシフト量を検出されるべき画像である。

このように、請求項１の画像シフト検出方法においては、複数の略同一な画像間における微小なずれを検出するのに「画像の高コントラスト領域」を特定し、画像全体ではなくその画像領域について画像シフトを検出するので、演算量が少なく、迅速かつ高精度な画像シフト検出を実現できる。

請求項１記載の画像シフト検出方法の「第１の工程において特定される高コントラスト領域」は、少なくとも画像に存在するノイズ成分よりも高いコントラスト領域とすることが好ましい（請求項２）。このように「少なくとも画像に存在するノイズ成分よりも高いコントラスト領域（領域内の画像のコントラストがノイズ成分よりも大きい領域）」を画像シフトの検出に用いることにより「撮像素子の暗電流などに起因するノイズ成分」の影響を有効に軽減もしくは除去してシフト量を検出でき、画像シフト検出精度を高めることができる。

請求項１または２記載の画像シフト検出方法における第１の工程の「高コントラスト領域の特定」は、画像マスクを走査して画素値（画素ごとの受光信号をデジタル信号化した値）の分布を求めることにより行うことができる（請求項３）。このように「画像マスクを走査して画素値の分布を求めて高コントラスト領域を特定する」ことにより高コントラスト領域を容易かつ確実に特定できる。

請求項１または２または３記載の画像シフト検出方法においては、第１の工程において特定する高コントラスト領域を「コントラスト変化が斜めである領域」とすることができる（請求項４）。「コントラスト変化が斜め」であるとは、撮像された画像の画素配列において「画素の縦配列・横配列のいずれにも平行でない方向」におけるコントラスト変化を言う。

第１の工程で「縦配列に平行な方向にコントラスト変化がある領域」、即ち「横縞の領域」を特定してしまうと、縦方向のシフトは検出できるが、横方向のシフトを検出することはできない。横配列に平行な方向のコントラスト変化がある領域を特定した場合も同様である。「コントラスト変化が斜め」である領域を特定することで、このような事態を回避することができる。

この請求項４記載の画像シフト検出方法において「コントラスト変化が斜めである領域を高コントラスト領域として特定する」のに、線検出フィルタを用いることができる（請求項５）。

請求項１〜５の任意の１に記載の画像シフト検出方法において、第３の工程において検出するべき画像シフトを「第１と第２の工程で特定した２つの領域の何れか一方の画像領域をずらして画素値の差の２乗和を計算し、２乗和が最小となるずらし量」とすることができる（請求項６）。この場合、第３の工程は「第１と第２の工程で特定した２つの領域の何れか一方の画像領域を補間する工程」を含むことができ（請求項７）、更にこの場合、補間する画像領域を「基準とする画像から特定した画像領域（高コントラスト領域）」とすることができる（請求項８）。

請求項７の画像シフト検出方法では、基準となる画像もしくは被シフト検出像から特定した画像領域の何れか一方を補間するので「２乗和を順次計算する際のずらし量の最小単位を１画素以下」にでき、サブピクセル精度での画像シフトを検出でき、請求項８記載の画像シフト検出方法では「画像シフト検出における補間演算を、基準とする画像に対して行う」ので、画像シフト検出に要する演算時間を短縮できる。

この発明の画像シフト検出装置は「同一物体に対する複数の略同一な画像間における微小なズレを検出する装置」であって、以下の第１〜第３の手段を有する（請求項９）。
「第１の手段」は、基準とする画像から高コントラスト領域を特定する手段である。
「第２の手段」は、基準とする画像からのシフト量を検出すべき被シフト検出像から、第１の手段で特定した領域と同じ領域を特定する手段である。

「第３の手段」は、第１および第２の手段で特定した２の領域を用いて画像シフトを検出する手段である。

請求項９記載の画像シフト検出装置の「第１の手段」は、少なくとも画像に存在するノイズ成分よりも高いコントラスト領域を高コントラスト領域として特定するものであることが好ましい（請求項１０）。

請求項９または１０記載の画像シフト検出装置の「第１の手段」は、画像マスクを走査し画素値の分布を求めることにより、高コントラスト領域を特定するものであることができる（請求項１１）。

請求項９〜１１の任意の１に記載の画像シフト検出装置の「第１の手段」は、コントラスト変化が斜めである領域を、高コントラスト領域として特定するものであることができる（請求項１２）。この場合、第１の手段が「線検出フィルタにより、コントラスト変化が斜めである領域を、高コントラスト領域として特定する」ものであることができる（請求項１３）。

請求項９〜１３の任意の１に記載の画像シフト検出装置における「第３の手段」は、第１および第２の手段で特定した２つの領域の何れか一方の画像領域をずらして画素値の差の２乗和を計算し、該２乗和が最小となるずらし量を画像シフトとする手段であることができる（請求項１４）。この場合、第３の手段は「第１および第２の手段で特定した２つの領域の何れか一方の画像領域を補間する手段」を含むことができる（請求項１５）。

請求項１５記載の画像シフト検出装置において、第３の手段が補間する画像領域は「基準とする画像から特定した画像領域」とすることが好ましい（請求項１６）。

このように、請求項９〜１６記載の画像シフト検出装置により、請求項１〜８に記載の画像シフト検出方法を実施することができる。

請求項１７記載の画像入力装置は、画像入力を行う装置であって、レンズアレイと、撮像手段と、演算手段とを有する。

「レンズアレイ」は、略平面状に並べられた２個以上のレンズにより構成され、同一物体からの光を像面上に結像させる。
「撮像手段」は、レンズアレイによる複眼像を撮像する手段であり、フォトダイオード等の受光素子が２次元アレイ状に配列され、レンズアレイによる像を「画素ごとに電気信号化する」ものであり、例えば、ＣＣＤやＣＭＯＳ等のイメージセンサが用いられる。

「演算手段」は、撮像手段が撮像した複眼像から、画像シフトを検出して、単一像を再構成するための演算を行うものであり、マイクロコンピュータやＤＳＰ（デジタル・シグナル・プロセッサ）等を用いることができる。この演算手段は「複眼像における画像シフトを検出する演算」として前記請求項１〜８の任意の１に記載の画像シフト検出方法を実施する。

このように、請求項１７記載の画像入力装置は、請求項１〜８の任意の１に記載の画像シフト検出方法により画像シフトの検出を行うので、迅速かつ高精度に画像シフトを検出でき、高解像度な画像入力装置を実現できる。

請求項１７記載の画像入力装置は「レンズアレイを構成する各レンズ間での光線のクロストークを防止するための遮光手段」を有することが好ましい（請求項１８）。

レンズアレイを用いた光学系では、隣接レンズ間での光線のクロストークにより物体縮小像同士が重なってゴーストを生じ易い。ゴーストは画像シフトの検出精度に影響したり再構成される単一像にも影響が残存したりして画像品質を劣化させる原因となる。請求項１８記載の画像入力装置のように、レンズアレイを構成する各レンズ間での光線のクロストークを防止するための遮光手段を設けることにより、画像入力装置で得られる単一像の画像品質を高めることができる。

請求項１９記載の画像入力装置は、レンズ、撮像手段および手振れ補正手段を有する。

「レンズ」は、物体からの光を像面上で結像させる。
「撮像手段」は、このレンズによる像を撮像するため手段であり、例えば、前述のＣＣＤやＣＭＯＳ等のイメージセンサが用いられる。

「手振れ補正手段」は、撮像時の手振れを補正する手段であり、１回の露光時間の間に複数回画像を読み出し、読み出した複数の略同一な画像間の画像シフトを検出する演算として、請求項１〜８の任意の１に記載の画像シフト検出方法を実施する。

１回の露光時間内に「画像入力装置と被写体との相対的な位置関係」が変化すると、撮像された画像が流れてしまい不明瞭なものとなる。近年デジタルカメラの小型軽量化が進むなかで手振れ補正機能の重要性が高まっており、特許文献２に記載のような手振れ補正が知られているが、請求項１９記載の画像入力装置のように、請求項１〜８の任意の１に記載の画像シフト検出方法により画像シフトを検出することにより、迅速かつ高精度な画像シフト検出が可能であり、良好な手振れ補正機能を実現できる。

上記の如く、この発明によれば「同一物体に対する複数の略同一な画像間における微小なズレを検出」するのに、画像の一部の領域を用いて演算するので計算コストが低コストで高速に演算でき、また、演算に用いる画像領域が高いコントラストを有するので、演算精度がよい。

以下、具体的な実施の形態を説明する。
図１において、符号１は「略平面上に並べられた複数のレンズにより構成されたレンズアレイ」、符号２は「レンズアレイの略結像位置に受光面を合致させて設置した撮像素子」、符号３は「レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光部材」、符号４は「複眼像から単一像を再構成する演算器」、５は「被写体」である。

レンズアレイ１は図の如く、代表的に示すレンズ１ａやレンズ１ｂ等の「光学的に等価なレンズ」が平面的にアレイ配列してなっている。
撮像素子２は「撮像手段」を構成し、レンズアレイ２の各レンズ１ａ等により結像した被写体５の像を「画素ごとの電気信号」に変換する。

遮光部材３は「遮光手段」である。
演算器４は「演算手段」である。
被写体５は「撮像される物体」である。

レンズアレイ１は、透明樹脂を用いてガラス型や金型による樹脂成形で作製することができる。ガラス型や金型はリフロー法や面積階調マスクによるエッチング法、機械加工法などにより作製できる。樹脂製レンズによるレンズアレイに代えて「ガラス製の結像レンズによるレンズアレイ」を用いてもよい。
撮像素子２は具体的には前述のＣＣＤやＣＭＯＳ等の２次元のイメージセンサである。

遮光部材３は、隣接するレンズ間で「レンズを通過した光線が像面上で交じり合い、フレアやゴーストが発生する」のを防止するために設けられ、レンズ間を仕切るように格子状に形成されており、透明の樹脂にブラックカーボンなどの不透明な材料を混合し、レンズアレイと同様「ガラス型や金型から樹脂整形で作製」される。この場合のガラス型や金型は、エッチング法や機械加工法などにより作製できる。樹脂による遮光壁アレイに代えて「ステンレスなどの金属材料による格子構造の表面を黒塗りしたもの」を用いることもできる。レンズアレイ１、遮光部材３を共に樹脂材料で構成する場合は「レンズアレイ１と遮光部材３を一体で成形加工」して生産効率を上げることができるが、レンズアレイ１と遮光部材３を別々に加工して、各加工後に組合せる製造工程としてもよい。

演算手段である演算器４は、専用の演算回路を用いて構成してもよいし、制御全般を行うコンピュータ等の機能の一部として構成してもよい。

被写体５の一部分５ａはレンズ１ａにより結像され、撮像素子２の素子領域２ａにより撮像される。レンズ１ａに隣接するレンズ１ｂにより、被写体５の一部分５ｂが結像され、撮像領域２ａに隣接する撮像領域２ｂにより撮像される。
レンズアレイ１のうちの１つのレンズにより結像され、撮像領域２ａ、２ｂ等により撮像された個々の像が「個眼像」である。遮光部材３は、レンズ１ａとレンズ１ｂを通過する光線の「撮像素子位置におけるクロストーク」を抑制する（請求項１８）。

このように、撮像素子１により撮像された画像は「各レンズ１ａ、１ｂ、・・により結像され、各レンズに対応する撮像領域２ａ、２ｂ、・・で撮像された個眼像が並んだ複眼像」となる。
複眼像の１例として「シミュレーションで作製した例」を図２に示す。図３は、図２の複眼像を構成する「個眼像の１つ」を拡大して示している。
個眼像相互を仕切る「黒い格子状の部分７」は、遮光部材３による影の部分である。複眼像を構成する個眼像は一見同じ画像に見えるが、レンズアレイの各レンズで撮像する被写体部分が相互に「わずかに異なる」ため、個眼像間には「微小なずれ」である画像シフトが存在する。

個々の個眼像を構成する画素数が少ないため、図３に示すように「個眼像単体での解像度」は低いが、個眼像間に存在する微小な画像シフトを利用することにより、高解像度な画像を単一画像として得ることができる。即ち「画像シフトを持つ複眼像から単一像を再構成する」ことにより、個眼像に対して解像力を向上させた再構成像を得ることができる（請求項１７）。

演算手段である演算器４は「撮像素子により得られた複眼像から高解像度な単一像を再構成する処理」を以下の手順で行う。
まず「基準とする画像」を特定する。即ち、画像シフトの基準となる「基準個眼像」を特定する。前述の如く、基準個眼像は任意に特定してよい。説明中の例では、図２に示す複眼像の右下端に位置する個眼像７ａを基準個眼像としている。

基準個眼像７ａに対する相対的な位置ずれを「他の個眼像の画像シフト」として求める。基準個眼像に対する画像シフトを検出すべき被シフト検出像を「被シフト検出個眼像」と呼ぶ。

次に「被シフト検出個眼像の画像シフトを検出するのに用いる画像領域」を基準個眼像７ａにおいて特定する。個眼像の全画素ではなく「一部の画像領域を画像シフト検出の演算に用いる」ことにより演算時間の短縮が可能となる。このように基準個眼像において特定される画像領域が「高コントラスト領域」である。

画像シフト検出には「基準個眼像から特定した画像領域」と「基準個眼像からのシフト量を検出すべき被シフト検出個眼像」の画素値（各画素における受光値を電気信号化したデジタルデータ）の差を利用するのでコントラストの高い領域を用いる。

「画像領域のコントラストとコントラスト変化の方向」を基準として高コントラスト領域を特定する。

実際の光学系で結像され撮像素子で撮影された画像には「撮像素子の暗電流などに起因するノイズ」が存在するので「少なくともノイズ成分よりも高いコントラストを持つ画像領域」をシフト検出に利用することが望ましい。このような画像領域を基準個眼像において特定するには、例えば「シフト検出に利用する画像領域と同じサイズの画像マスク」で基準個眼像を走査し、その画像マスクに含まれる個眼像領域の画素値の分布を求め、その標準偏差とノイズ成分とを比較する方法が考えられる（請求項２、３）。この場合「ノイズ成分の大きさ」は予め知っておく必要がある。

コントラスト変化の方向は「斜めの画像シフト」を検出するために重要である。
例えば「縦方向にコントラスト変化がある画像領域」、即ち、横縞パターンの画像領域をシフト検出に利用した場合「個眼像間に斜め方向の画像シフトが存在」しても縦方向成分の画像シフトしか検出できない。レンズアレイで撮影した複眼像を構成する個眼像間には「斜め方向の画像シフト」も存在するので、斜め方向にコントラストが大きく変化する画像領域を高コントラスト領域として特定することが好ましい。

「斜め方向にコントラスト変化する画像領域」を特定するためには、例えば、前述した画像マスクで特定した画像領域に対してさらに「線検出フィルタ」を適用する方法が考えられる。具体的には「３×３の斜め線検出フィルタ」を画像領域に適用し、その結果の画素値の総和に対して閾値を設け、閾値以上なら画素シフト検出に利用し、閾値以下ならば別の画像領域に移るというようにすればよい（請求項４、５）。
以上が「画像シフト検出に利用する高コントラスト領域」を自動的に基準個眼像において特定する手順の一例である。もちろん個眼像を目視で観察し、手動で画像領域を特定してもよい。

次に、被シフト検出個眼像を特定する。特定の順序は任意である。
次いで、前述の方法で基準個眼像に対して特定した「画像シフト検出に利用する画像領域（高コントラスト領域）と同じ画像領域」を、被シフト検出個眼像において特定する。

ここに「同じ画像領域」とは、同じ画像パターンの領域ではなく「同じ位置にある画素領域」を意味する。前述の如く、個眼像は、被写体５の一部分を「１つのレンズが結像し、これを該レンズに対応する撮像領域が信号化したもの」であり、個々の個眼像は、互いに「個数の等しい画素値」で構成されている。

そこで、例えば、基準個眼像領域に特定した画像領域が、基準個眼像の「中央の１０×１０画素」の画素領域であるとすれば、被シフト検出個眼像においても、これと同じ位置にある「中央の１０×１０画素」の領域を特定するのである。
説明中の例では、サブピクセル精度での画像シフト検出を可能にするために「基準個眼像に対して特定した高コントラスト領域」を補間する。「補間ピッチ」は、必要とするシフト検出精度にもとづき決定することができる。

例えば「０．１画素単位での画像シフト検出」が必要であるとすれば「もとの画像領域の画素値の間に９個の画素値を補間」する。例えば、基準個眼像に対して特定された高コントラスト領域が１０×１０画素であるとすれば、縦方向における隣接画素の間に９つの画素値を補間し、横方向における隣接画素の間に９つの画素値を補間し、もって９１×９１画素の画素値の配列を得る。

補間方法としては、線形補間、双三次補間やスプライン補間などを利用できる。基準個眼像と被シフト検出個眼像の「どちらから特定した画像領域」を補間しても、サブピクセル精度での画像シフト検出は可能であるが、基準個眼像を補間すれば、補間演算が一度で済むので画像シフト検出の演算時間を短縮できる（請求項７、８）。

続いて、上記「基準個眼像に対して特定した高コントラスト領域を補間した画像データと、被シフト検出個眼像から特定した画像領域をずらして、順次画素値の差の２乗和を計算する」ことにより画像シフトを検出する（請求項６）。

２乗和の計算式を次式に示す。

Ｅ_m(ｐ_ｘ,ｐ_ｙ)＝ΣΣ{I_m(ｘ,ｙ)-I_B(ｋ(ｘ-１)＋１-ｐ_ｘ,ｋ(ｙ-１)＋１-ｐ_ｙ)}^２ （１）
（１）式において、「Ｉ_Ｂ」は「基準個眼像から特定した高コントラスト領域を補間した画像データ（画素値の集合）」、「Ｉ_ｍ」は「被シフト検出個眼像から特定した画像領域の画像データ（画素値の集合）」を表す。「ｍ」は複眼像を構成する個眼像のそれぞれに付与した固有の番号であり、被シフト検出個眼像を表す整数の添え字で「１からレンズアレイを構成するレンズの数だけの値」をとる。従って、それぞれの被シフト検出個眼像に対して２乗和の演算結果：Ｅ_ｍが求まる。

ｐ_ｘ，ｐ_ｙは基準個眼像に対する被シフト検出個眼像のシフトを算出するためのパラメータである。（１）式の右辺における「Ｉ_Ｂ(k(ｘ-1)+1-ｐ_ｘ、k(ｙ-1)+1-ｐ_ｙ)」のｋは基準個眼像に対して特定した領域の補間ピッチにより定まる値である。例えば、０.１画素刻みで補間した場合には１０、０．５画素刻みで補間した場合には２となる。即ち、補間ピッチの逆数である。

個々の被シフト検出個眼像の「特定された画像領域」を構成する全画素について、当該被シフト検出個眼像と基準個眼像における高コントラスト領域の「画素値の差」をとり、その２乗和：Ｅ_ｍを求める。パラメータ：ｐ_ｘ、ｐ_ｙを１画素分ずつ徐々に変化させ、変化させるごとに（１）式により２乗和：Ｅ_ｍを計算し「Ｅ_ｍが最小となるときのｐ_ｘ、ｐ_ｙの値：Ｐ_ｘ、Ｐ_ｙ」を用いてｘ、ｙ方向における「当該被シフト検出個眼像の基準個眼像に対する画像シフト」を算出する。

各パラメータに具体的な値を入れて例示する。
基準個眼像における高コントラスト領域として個眼像全体のうち１０×１０画素を特定し、これを前述の如く隣接画素間に９画素を補間して９１×９１画素を計算領域とし、被シフト検出個眼像における同じ画像領域として１０×１０画素の領域を特定したものとする。

このとき、０．１画素刻みで基準個眼像を補間したので、補間した画像領域での１画素のシフトは「もとの画像における０．１画素のサブピクセル」に相当し、またｋの値は１０である。

「あるシフト：ｐ_ｘ，ｐ_ｙに対する２乗和：Ｅ_ｍを計算する」場合、（１）式のΣΣはｘおよびｙに関する和なのでＩ_ｍの（１０×１０）画素は全て計算に用いるが、Ｉ_Ｂは「とびとびの画素」しか計算に用いない。すなわち、
Ｅ_ｍ(ｐ_ｘ，ｐ_ｙ)＝{Ｉ_ｍ(１，１)−Ｉ_Ｂ(１−ｐ_ｘ，１−ｐ_ｙ)}^２
＋{Ｉ_ｍ(１，２)−Ｉ_Ｂ(１−ｐ_ｘ，１１−ｐ_ｙ)}^２
＋・・・（中略）・・・
＋{Ｉ_ｍ(１０，１０)−Ｉ_Ｂ(９１−ｐ_ｘ，９１−ｐ_ｙ)}^２
でシフト：ｐ_ｘ，ｐ_ｙに対する２乗和：Ｅ（ｐ_ｘ，ｐ_ｙ）が求まる。

ｐ_ｘ，ｐ_ｙをそれぞれ独立に１ずつ変化させ、その度に２乗和：Ｅ_ｍの計算を行い、計算された全ての２乗和：Ｅ_ｍのうちで最小を与えるときのｐ_ｘ，ｐ_ｙより「基準個眼像に対する被シフト検出個眼像のシフト」を特定する。

上の具体例で、最小のＥ_ｍを与えるｐ_ｘ，ｐ_ｙがそれぞれｐ_ｘ＝３，ｐ_ｙ＝２ならば、横方向（ｘ方向）のシフトは「３×０．１＝０．３画素」、縦方向（ｙ方向）のシフトは「２×０．１＝０．２画素」となる。
（１）式の計算を実行する際に画像をずらすために「演算に必要な画像の領域」が不足する。この問題を回避するために、計算に用いる領域をＩ_Ｂ全体ではなく「その周縁部数画素を除いた領域」とすることや、被シフト検出個眼像から特定する領域を「基準個眼像から特定した領域よりも数画素大きくとる」ことが考えられる。

（１）式による計算の１例として、基準個眼像自身の画像シフトを求める場合を考えてみると、この場合、特定した画像領域同士は同一であるから、パラメータ：ｐ_ｘ、ｐ_ｙがｐ_ｘ＝ｐ_ｙ＝０のとき個眼像同士は全く重なり合って（１）式による２乗和：Ｅ_ｍは０となる。パラメータ：ｐ_ｘ、ｐ_ｙの絶対値が大きくなるほど、基準個眼像同士の重なる領域が減少し、Ｅ_ｍの値は増大する。

図４は、ｘ軸にｐ_ｘ、ｙ軸にｐ_ｙ、ｚ軸にＥを採ったときの「ｐ_ｘ、ｐ_ｙの変化に伴うＥ_ｍの変化」の１例を説明図として示す。画像シフトは、被写体距離や光学系などの撮影条件から「およそどの範囲に収まるか」が分るので、それに応じてｐ_ｘ，ｐ_ｙを変化させる範囲を限定することで演算時間の更なる短縮が可能となる。

次に、検出した各個眼像の画像シフトにもとづき、複眼像から単一像への画像再構成を行う。再構成の方法は、例えば特許文献１により公知の「画素再配置法」を利用することができる。

図５に、画像シフトの検出精度と再構成像との関係を示す。
図５（ａ）は図２に示した基準個眼像７ａを拡大して示し、図中の符号８ｂで示す部分が「高コントラスト領域」として特定された画像領域であり、符号８ａで示す部分は「比較のために選ばれた画像領域」である。

図５（ｂ）、（ｃ）はそれぞれ、図５（ａ）の画像領域８ａ、８ｂを画像シフト検出に利用した場合の画像シフト検出誤差のヒストグラム、（ｄ）、（ｅ）は、それぞれ、（ａ）の画像領域８ａ、８ｂを利用して検出した画像シフトに基づき「図２の複眼像から再構成した単一像」を示している。

図５（ｂ）、（ｃ）のヒストグラムにおいて、横軸は「真の画像シフトに対する検出シフトの誤差」、縦軸は頻度（個眼像の数）である。真の画像シフトは「複眼像をシミュレーションで作製するときの画像シフトの設計値」である。画像領域８ａを用いた画像シフト検出の場合には「真の画素シフトに対する検出シフト誤差の大きい個眼像」が多く含まれ（図５（ｂ））、このような検出シフト誤差の大きい個眼像を多く含む複眼像から単一画像を再構成した場合には、図５（ｄ）に示すように、単一像に「ギザギザ状のノイズ」が生じ、画質も劣化することが確認できる。これは画像シフトの検出に用いた画像領域８ａが、領域全体として「略似通った画素値」で構成され、画像領域内でのコントラストが低く、斜め方向におけるコントラストも低いことによる。

これに対し、高コントラスト領域として画像領域８ｂを特定すると、図５（ａ）に示すように、画像領域８ｂは「コントラストが高く、かつ斜め方向にコントラスト変化がある画像領域」であるので、この画像領域８ｂを用いて画像シフトを検出すると、図５（ｃ）に示すように、殆どの個眼像の画素シフトは「誤差の小さい領域」に集中しており、シフト検出精度が高いので、図５（ｅ）に示すように「高解像度かつ鮮鋭な単一像」を再構成することができる。

図６に上述の処理のフローを示す。図６におけるフローを実行可能なプログラムが請求項９ないし１６の画像シフト検出装置の１実施形態である。

図６に示すように、ステップ：９ａで「複眼像を取得」し、ステップ９ｂで「基準個眼像を選択」する。ステップ：９ｃで「基準個眼像から画像シフト検出に用いる高コントラスト領域を特定」し、続くステップ：９ｄで「被シフト検出個眼像を選択」し、ステップ：９ｅで「基準個眼像と同じ画像領域（基準個眼像に特定された高コントラスト領域と同じ画素領域）」を特定する。

ステップ：９ｆで「基準個眼像の高コントラスト領域を補間」したのち、ステップ：９ｇで「画素値の差の２乗和を計算することにより画像シフトを検出」する。このステップ：９ｇは、被シフト検出個眼像ごとに繰り返して行われる。最後にステップ：９ｈで「画像シフトに基づき再生画像を構成」する。

以下に、請求項１９記載の画像入力装置の実施の１形態を説明する。
図７において、符号１３は被写体である「物体」、符号１０は「物体１３からの光を像面上で結像させるためのレンズ」、符号１１は「レンズ１０による像を撮像するための撮像素子」、符号１２は「手振れ補正手段」を構成する演算器を、それぞれ示している。
即ち、被写体である物体１３からの光はレンズ１３により像面上に結像し、像面に受光面を合致させた撮像素子１１により撮像される。

１回の露光時間内に、手振れなどが原因で画像入力装置が動いたり、物体１３が動いたりして「画像入力装置と物体との相対的な位置関係」が変化すると、撮像された画像は流れて明瞭でなくなってしまう。

そこで演算器１２は「１回の露光時間内に複数回画像を読み出し、それらの画像間に存在する微小なずれを検出し、これらの微小なずれに基づいて画像を合成する」ことにより手振れ補正を実現する。

図８にフローを示す。
ステップ１４ａにおいて「１回の露光時間内に複数回、画像を読み出す。」ことが行われる。読み出される複数の画像は、シャッタ半押しの状態で、所定の微小時間間隔で取得されている。

続いてステップ１４ｂで、これら読み出された複数画像の中の１つを「基準像として選択」する。基準像の選択は任意である。ステップ１４ｃにおいて「基準像において画像シフト検出に用いる高コントラスト領域を特定」する。

ステップ１４ｄではステップ１４ｂで選択された基準像に対する画像シフトを検出するべき「被シフト検出像」を任意の順序で選択し、ステップ１４ｅにおいて、被シフト検出像に「基準像の高コントラスト領域と同じ画素領域を特定」する。

ステップ１４ｆで「基準像の高コントラスト領域を補間」し、ステップ１５ｇで「画素値の２乗和を計算して画像シフトを検出」する。このように検出された画像シフトに基づき、ステップ１４ｈにおいて画像合成を行う。ステップ１４で行う「画像合成」は、高解像度化を目的とするものではなく、読み出された複数画像の相互の画像シフトにもとづき、基準像に対して他の画像を「画像シフトが０となるように重ね合わせる」ことにより手振れ補正を行う。

手振れ補正手段をなす演算器１２は「１回の露光時間の間に複数回画像を読み出し、読み出した略同一な複数の画像間の画像シフトを検出する演算」として請求項１〜８の任意の１に記載の画像シフト検出方法を実施する。

例えば、ステップ１４ｃにおいて「基準像において画像シフト検出に用いる高コントラスト領域を特定」に当たっては「少なくとも画像に存在するノイズ成分よりも高いコントラスト領域」を高コントラスト領域とするのが好ましく（請求項２）、高コントラスト領域を特定するには「画像マスクを走査し、画素値の分布を求めることにより、高コントラスト領域を特定」してもよい（請求項３）。

また「コントラスト変化が斜めである領域」を高コントラスト領域とするのが好ましく（請求項４）、このために「線検出フィルタにより、コントラスト変化が斜めである領域を高コントラスト領域として特定」することができる（請求項５）。

ステップ１４ｆにおいては「補間」が行われ（請求項７）るが、補間する画像領域は基準とする画像（基準像）から特定した画像領域であり（請求項８）、ステップ１４ｇにおける画素シフト検出演算は「ステップ１４ｃ、１４ｄで特定した２つの領域の何れか一方の画像領域」をずらして画素値の差の２乗和を計算し、該２乗和が最小となるずらし量を画像シフトとする（請求項６）。

画像入力装置の実施の１形態を説明するための図である。 複眼像の１例を示す図である。 個眼像の１例を示す図である。 画像シフトと画素値の差の２乗和の関係の１例を示す図である。 画像シフト検出に用いる画像領域と、画像シフト検出精度、再構成した単一像の例を示す図である。 画像入力装置における処理の流れを示すフロー図である。 画像入力装置の実施の別形態を説明するための図である。 図７の形態における画像入力の処理の流れを示すフロー図である。

符号の説明

１ レンズアレイ
２ 撮像素子
３ 遮光部材
４ 演算器
５ 被写体（物体）

Claims (19)

1. 同一物体に対する複数の略同一な画像間における微小なズレを検出する画像シフト検出方法において、
   基準とする画像から高コントラスト領域を特定する第１の工程と、
   上記基準とする画像からのシフト量を検出すべき被シフト検出像から、上記第１の工程で高コントラスト領域として特定した領域と同じ領域を特定する第２の工程と、
   上記第１および第２の工程で特定した２つの領域を用いて画像シフトを検出する第３の工程と、
   を具備することを特徴とする画像シフト検出方法。
2. 請求項１記載の画像シフト検出方法において、
   第１の工程において特定される高コントラスト領域を、少なくとも画像に存在するノイズ成分よりも高いコントラスト領域とすることを特徴とする画像シフト検出方法。
3. 請求項１または２記載の画像シフト検出方法において、
   第１の工程において、画像マスクを走査し、画素値の分布を求めることにより、高コントラスト領域を特定することを特徴とする画像シフト検出方法。
4. 請求項１または２または３記載の画像シフト検出方法において、
   第１の工程において、高コントラスト領域を、コントラスト変化が斜めである領域とすることを特徴とする画像シフト検出方法。
5. 請求項４記載の画像シフト検出方法において、
   第１の工程において、線検出フィルタにより、コントラスト変化が斜めである領域を高コントラスト領域として特定することを特徴とする画像シフト検出方法。
6. 請求項１〜５の任意の１に記載の画像シフト検出方法において、
   画像シフトを検出する第３の工程において、第１と第２の工程で特定した２つの領域の何れか一方の画像領域をずらして画素値の差の２乗和を計算し、該２乗和が最小となるずらし量を画像シフトとすることを特徴とする画像シフト検出方法。
7. 請求項６記載の画像シフト検出方法において、
   第３の工程が、第１と第２の工程で特定した２つの領域の何れか一方の画像領域を補間する工程を更に具備することを特徴とする画像シフト検出方法。
8. 請求項７記載の画像シフト検出方法において、
   第３の工程において補間する画像領域を、基準とする画像から特定した画像領域とすることを特徴とする画像シフト検出方法。
9. 同一物体に対する複数の略同一な画像間における微小なズレを検出する画像シフト検出装置において、
   基準とする画像から高コントラスト領域を特定する第１の手段と、
   上記基準とする画像からのシフト量を検出すべき被シフト検出像から、上記第１の手段で特定した領域と同じ領域を特定する第２の手段と、
   上記第１および第２の手段で特定した２つの領域を用いて画像シフトを検出する第３の手段と、
   を具備することを特徴とする画像シフト検出装置。
10. 請求項９記載の画像シフト検出装置において、
    第１の手段が、少なくとも画像に存在するノイズ成分よりも高いコントラスト領域を高コントラスト領域として特定することを特徴とする画像シフト検出装置。
11. 請求項９または１０記載の画像シフト検出装置において、
    第１の手段が、画像マスクを走査し画素値の分布を求めることにより、高コントラスト領域を特定することを特徴とする画像シフト検出装置。
12. 請求項９〜１１の任意の１に記載の画像シフト検出装置において、
    第１の手段が、コントラスト変化が斜めである領域を、高コントラスト領域として特定することを特徴とする画像シフト検出装置。
13. 請求項１２記載の画像シフト検出装置において、
    第１の手段が、線検出フィルタにより、コントラスト変化が斜めである領域を、高コントラスト領域として特定することを特徴とする画像シフト検出装置。
14. 請求項９〜１３の任意の１に記載の画像シフト検出装置において、
    第３の手段が、第１および第２の手段で特定した２つの領域の何れか一方の画像領域をずらして画素値の差の２乗和を計算し、該２乗和が最小となるずらし量を画像シフトとする手段であることを特徴とする画像シフト検出装置。
15. 請求項１４記載の画像シフト検出装置において、
    第３の手段が、第１および第２の手段で特定した２つの領域の何れか一方の画像領域を補間する手段を更に具備することを特徴とする画像シフト検出装置。
16. 請求項１５記載の画像シフト検出装置において、
    第３の手段が補間する画像領域を、基準とする画像から特定した画像領域とすることを特徴とする画像シフト検出装置。
17. 略平面状に並べられた２個以上のレンズにより構成され、同一物体からの光を像面上に結像させるレンズアレイと、
    このレンズアレイによる複眼像を撮像するための撮像手段と、
    この撮像手段が撮像した複眼像から、画像シフトを検出して、単一像を再構成するための演算手段と、
    を有する画像入力装置において、
    上記演算手段が、上記複眼像における画像シフトを検出する演算として、請求項１〜８の任意の１に記載の画像シフト検出方法を実施することを特徴とする画像入力装置。
18. 請求項１７記載の画像入力装置において、
    レンズアレイを構成する各レンズ間での光線のクロストークを防止するための遮光手段を有することを特徴とする画像入力装置。
19. 物体からの光を像面上で結像させるためのレンズと、
    このレンズによる像を撮像するための撮像手段と、
    撮像時の手振れを補正する手振れ補正手段と、
    を有する画像入力装置において、
    手振れ補正手段が、１回の露光時間の間に複数回画像を読み出し、読み出した略同一な複数の画像間の画像シフトを検出する演算として、請求項１〜８の任意の１に記載の画像シフト検出方法を実施することを特徴とする画像入力装置。

Images