JP2007116679A - ぶれ低減システム付き撮像装置 - Google Patents

Abstract

【課題】ぶれ低減機能を備えた撮像装置の提供。
【解決手段】選択されたシーンからの光を光学部品実装領域の中に集束させるレンズと、光学部品実装領域内に配置された主アレイ及び少なくとも１つのナビゲーションアレイを含む基板とを有する撮像装置。主アレイは、積分期間中に、選択されたシーンの一部に関する所望の画像を取得し、少なくも１つのナビゲーションアレイは、積分期間中に、選択されたシーンから共通の特徴を有する第１の画像及び第２の画像を含む一連の画像を取得する。相関判定器は、少なくとも１つのナビゲーションアレイに対する第１の画像及び第２の画像の共通の特徴の位置の差を判定し、位置の差に基づいて、第１の画像と第２の画像の間の時間間隔における２つの平面における撮像装置の平行移動を示す変位信号を生成する。
【選択図】図１

Description

背景
画像ぶれは、写真撮影における一般的問題であり、被写体の動きや、焦点誤差といった種々の原因によって発生する。しかしながら、画像ぶれの最も一般的問題の１つは、オペレータによるカメラの揺れである。人の筋肉は、約４〜１２ヘルツの周波数で振動する。人がカメラを持つとき、この手の震えにより、画像にぶれが生じる。人の震えにより発生するこのようなぶれは通常、露光時間が長い場合や、非常に長い焦点距離が可能なズームレンズや望遠レンズを使用したときに顕著に現れる。こうしたぶれを低減する試みとして、デジタルカメラやビデオカメラのような携帯撮影装置は一般に、ある種の画像安定化システムを備えている。

こうしたシステムは通常、撮像装置の動きを何らかの形で検出し、検出された動きの影響を中和し、すなわち補償し、画像を安定化させ、ぶれを低減している。例えば、スチルカメラの場合、その動きは通常、一対の圧電又はＭＥＭＳ（微小電気機械）ジャイロスコープを使用して検出される。あるいは、ビデオカメラによっては、シーンの各フレームを１つ前のフレームと比較することにより動きを検出する電子的方法を採用しているものもある。

カメラ付き携帯電話は、世界中で最も大きく、急速に成長している市場の１つである。カメラ付き携帯電話は、小型且つ軽量であるため、一般に、カメラのように握って操作することが難しい。そのため、カメラ付き携帯電話で撮影された画像は、手の震えにより発生するぶれの影響を特に受けやすい。不都合なことに、上記の方法は、ぶれを低減するときには有効であるが、カメラ付き携帯電話にとって理想的ではない。なぜなら、ジャイロスコープは比較的サイズが大きく、フレーム間の比較に、電話では通常利用できない大きな処理能力が必要となるからである。また、こうした方法は一般に、カメラ付き携帯電話や、低価格で大容量の撮像装置では利用できないほど法外なコストがかかる。

概要
一態様において、本発明は、レンズと、主アレイ、及び少なくとも１つのナビゲーションアレイを含む基板と、相関判定器と、補償装置とを含む撮像装置を提供する。レンズは、選択されたシーンからの光を光学部品実装領域の中に集束させるように構成される。主アレイは、積分期間中に、選択されたシーンの一部の所望の画像を取得するように構成される。前記少なくとも１つのナビゲーションアレイは、積分期間中に、前記選択されたシーンから共通の特徴を有する第１の画像及び第２の画像を含む一連の画像を取得するように構成される。前記主アレイ及び前記少なくとも１つのナビゲーションアレイは、前記光学部品実装領域内に配置される。相関判定器は、前記少なくとも１つのナビゲーションアレイから前記一連の画像を受け取り、前記少なくとも１つのナビゲーションアレイに対する前記第１の画像と前記第２の画像の共通の特徴の位置の差を判定し、前記位置の差に基づいて決まる前記第１の画像と前記第２の画像の間の時間間隔における、２つの平面における撮像装置の平行移動を示す変位信号を生成するように構成される。補償装置は、前記変位信号に基づいて、前記選択されたシーンと、前記主アレイや前記少なくとも１つのナビゲーションアレイとの間を実質的に一定の関係に光学的及び機械的に維持するように構成される。

本発明の実施形態は、添付の図面を参照するとより分かりやすいであろう。図面の要素は、必ずしも同じ比率で拡大縮小されてはいない。同じ参照符号は、対応する同様の部品を意味する。

詳細な説明
下記の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。図面は、本発明を実施することが可能な特定の実施形態を例として示している。これに関し、「上」、「下」、「前」、「後ろ」、「前にある」、「後ろに続く」といった方向を示す用語は、説明中の図面（複数の場合もあり）の向きを基準として使用される。本発明の実施形態の構成要素は、種々の向きに配置することが可能であるため、方向を示す用語は、例示を目的としたものであり、そこに制限の意図はない。本発明の範囲から外れることなく、他の実施形態を使用したり、構造的、又は論理的変更を施すことも可能であるものと考えられる。したがって、下記の詳細な説明を制限の意味で解釈してはならない。本発明の範囲は、添付の特許請求の範囲により規定される。

図１は、本発明によるぶれ低減システム３２を備えたデジタルカメラ３０のようなデジタル撮像装置の一実施形態の概略を示すブロック図である。カメラ３０は、ハウジング３４、対物レンズ３６、及び半導体基板４０に形成された複数の光学素子からなる撮像素子アレイ３８を含む。ぶれ低減システム３２は、基板４０に形成されたナビゲーションアレイ４２、相関判定器４４、及び補償装置４６を含む。

一実施形態において、主アレイ３８及びナビゲーションアレイ４２はそれぞれ、ＣＭＯＳ（相補型金属酸化膜半導体）タイプの画素のアレイからなる。一実施形態において、主アレイ３８は、ナビゲーションアレイ４２に比べて高い空間分解能（すなわち、画素数）を有する。一実施形態において、主アレイ３８は、７２０×４８０の画素アレイからなる。一実施形態において、ナビゲーションアレイ４２は、３０×３０の画素アレイからなる。

対物レンズ３６は、選択されたシーン５０を表わす光４８を受け取り、その光を撮像面５４上の光学部品実装領域５２内に集束させるように構成される。また、半導体基板４０は撮像面５４に配置され、主アレイ３８及びナビゲーションアレイ４２は、光学部品実装領域５２（図４も参照）内に位置している。主アレイ３８は、積分期間中に、撮像素子アレイ３８の視野（ＦＯＶ）５６内にある選択されたシーン５０の一部の所望の画像を取得するように構成される。

露光期間中にカメラ３０にぶれ等の動きがあった場合、主アレイによって取得される所望の画像はぶれることがある。図２は、図１のカメラ３０の略等角図であり、起こり得るカメラ３０の動きを概略的に示している。撮影者がカメラを手で持つ場合、一般に、自然な無意識の手の動き、すなわち震えによって、カメラに動きが加わる。そのような手の動きは通常、４〜１２ヘルツの範囲の周波数を有する振動性の動きで、ｘ軸６２、ｙ軸６４、及びｚ軸６６の方向に発生する可能性がある。この動きにより、光学部品実装領域５２に対する選択されたシーン５０を表わす光４８の平行移動が発生し、その結果、主アレイ３８によって取得される所望の画像にぶれが発生する。

ｘ軸６２を中心とした回転は、受け取られる光４８をｙ軸６４方向に平行移動させ、ｙ軸６４を中心とした回転は、受け取られる光４８をｘ軸６２方向に平行移動させ、ｚ軸６６を中心とした回転は、受け取られる光４８をｘ軸６２方向とｙ軸６４方向の両方に平行移動させる。ｚ軸６６方向の平行移動は通常、画像の鮮明度にほとんど影響を与えない。なぜなら、そのような動きは一般に目立たない動きであり、多くの場合、写真は、そのような動きの影響を最小限に抑える倍率で撮影されるからである。

発生するぶれの大きさは、動きの速度、写真の露光時間、及びカメラの倍率設定などに応じて変わる。倍率設定は通常、カメラの対物レンズ３６の焦点距離から分かる。３５ミリ写真では、一般に、カメラを確実に手で保持していることが可能な最長露光時間（秒）は、レンズの焦点距離（ミリメートル）の逆数になるという、いわゆる親指ルールがある。例えば、５０ミリメートルレンズを使用する場合、１／５０秒以下の露光時間の間、カメラを手で保持していることができる。同様に、３００ミリメートルレンズを使用する場合、三脚の助けを借りずに鮮明な画像を撮影するためには、通常、１／３００秒以下の露光時間が必要とされる。

図１に戻ると、本撮像装置によれば、ナビゲーションアレイ４２は、主アレイ３８の積分期間中に、撮像素子アレイ３８のＦＯＶ５８内の選択されたシーン５０から、共通の特徴を有する第１の画像及び第２の画像を含む一連の画像を取得するように構成される。こうした共通の特徴は、特定シーン内にあるどのような物体、又は要素であってもよく、例えば、木、建物、椅子、窓等であってもよい。なお、ナビゲーションアレイ４２のＦＯＶ５８内のそれらの特徴は、主アレイ３８のＦＯＶ５６内にあってもよいし、なくてもよい。一実施形態において、ナビゲーションアレイ４２は、カメラ３０（図２を参照）のシャッター制御ボタン６８がユーザによって部分的に、又は完全に押し下げられたときに、前記一連の画像の取得を開始する。

一実施形態において、ナビゲーションアレイ４２は、主アレイ３８に比べて高い時間分解能（すなわち、一秒当たりの画像数）を有する。一実施形態において、主アレイ３８は、一秒当たり１５フレーム（ｆｐｓ）の時間分解能を有する。一実施形態において、ナビゲーションアレイ４２は、１００ｆｐｓの時間分解能を有する。一実施形態において、ナビゲーションアレイ４２は、１０００ｆｐｓの時間分解能を有する。一実施形態において、ナビゲーションアレイ４２のＣＭＯＳ画素のサイズは、主アレイ３８のＣＭＯＳ画素よりも大きい。一実施形態において、ナビゲーションアレイ４２は、白黒画像を取得するように構成され、カラーセンサに比べて多くの光エネルギーを収集することができる。したがって、ナビゲーションアレイ４２は高い時間分解能を有する。

相関判定器４４は、ナビゲーションアレイ４２から一連の画像を受信し、ナビゲーションアレイ４２に対する第１の画像及び第２の画像の共通の特徴の位置の差（すなわち、それらの画像間の相関）を判定する。位置の差に基づき、相関判定器４４は、第１の画像と第２の画像の間の時間間隔における、２つの平面における撮像装置３０の平行移動を示す変位信号６０を生成する。一実施形態において、変位信号６０は、ｘ軸６２方向の平行移動を示す第１の変位成分（Δｘ）と、ｙ軸６４方向の平行移動を示す第２の変位成分（Δｙ）とを含む。

一実施形態において、相関判定器４４は、前記一連の画像の隣り合う各画像対における共通の特徴の位置の差を判定し、一連の画像の各画像対の画像間の時間間隔における、前記２つの平面における撮像装置の平行移動を示す変位信号を生成する。一連の取得画像に基づく適当な相関判定プロセスの一例については、後で図８〜図１２を参照して説明する。一実施形態において、相関判定器４４は、主アレイ３８及びナビゲーションアレイ４２と共に、半導体基板４０に設けられる。

補償装置４６は、変位信号６０を受信し、変位信号６０に基づいて、選択されたシーン５０と光学部品実装領域５２との間を実質的に固定関係に光学的及び機械的に維持するように構成される。本明細書で使用され、また、図３Ａ、図３Ｂ、及び図５を参照して後で詳細を説明するように、選択されたシーン５０を表わす光４８と、光学部品実装領域５２との間を固定関係に光学的及び機械的に維持することは、可動レンズ素子によって、又は撮像面５４における半導体基板４０の移動によって、撮像装置３０の平行移動の影響を中和することからなる。

少なくとも１つのナビゲーションアレイ４２、及び相関判定器４４を、主アレイ３８と同じ基板上に配置し、撮像装置のレンズ系を共有することにより、本発明によるぶれ低減システム４６は、従来のジャイロスコープを利用したぶれ低減システムの代わりとなる小型でコスト効率に優れた代替手段になる。また、ナビゲーションアレイ４２が低分解能のアレイであるため、動きの検出に必要となる画像処理要件も、それほど厳しくない。したがって、本発明によるぶれ低減システムは、カメラ付き携帯電話や、低価格で大容量の撮像装置での使用にも非常に適している。手の震えの影響を低減することにより、本発明によるぶれ低減システムを採用したカメラ付き携帯電話は、画像品質が改善され、光の少ない環境における性能を改善するために、露光時間を長くすることができる。

図３Ａ及び図３Ｂは、本発明によるカメラ３０の一実施形態を示す概略図である。図中、補償装置４６は、コントローラ８０及び可撓性ステージ８４を含む。可撓性ステージ８２は、複数の可撓性要素、又は支持ビーム８４によって支持され、可撓性ステージ８２はｘ軸６２方向及びｙ軸６４方向に動かすことができる。可撓性ステージ８２のような可撓性ステージは当業者にとって周知のもので、場合によっては、ｘｙ可撓性ステージ、又は超精密位置決めステージと呼ばれることもある。補償装置４６は更に、第１のボイスコイルモータ（ＶＣＭ）８６及び第２のＶＣＭを含む（図３Ａを参照）。第１のＶＣＭ８６はｘ軸６２方向に可撓性ステージ８２を動かし、第２のＶＣＭ８８はｙ軸６４方向に可撓性ステージ８２を動かすように構成される。ぶれ低減システム３２のナビゲーションアレイ４２、相関判定器４４、及び補償装置４６は合わせて、カメラ３０における画像ぶれを低減する閉ループ系を形成する。

一実施形態では、シャッター制御ボタン６８（図２を参照）がユーザによって部分的に、又は完全に押し下げられると、ナビゲーションアレイ４２は、選択されたシーン５０のうちのＦＯＶ５８（図１を参照）内にある一連の特徴の取得を開始し、主アレイ３８の積分期間全体を通じて一連の画像の取得を継続する。相関判定器４４は、それら一連の画像を受信し、少なくとも主アレイ３８の積分期間中におけるカメラ３０の動きを判定する。

ｘ軸６２方向及びｙ軸６４方向におけるカメラ３０の動き、ｘ軸６２及びｙ軸６４を中心としたカメラ３０の動き、及びｚ軸６６を中心としたカメラ３０の動き（図２を参照）は、選択されたシーン５０をナビゲーションアレイ４２上で平行移動させ、その結果、一連の画像のうちのある画像と次の画像との間では、選択されたシーン５０の特徴の位置が、異なる画素位置にくる。例えば、（ユーザに対して）カメラ３０を下へ動かし、更に左へ動かすと、ＦＯＶ５６及びＦＯＶ５８内にある選択されたシーン５０及びその特徴は、主アレイ３８及びナビゲーションアレイ４２に対して上へ平行移動され、更に右へ平行移動される。

したがって、一実施形態において、相関判定器４４は、一連の画像のうちの隣り合って対を成す画像間を比較し、すなわちそれらの画像間の相関を判定し、両方の画像に共通な選択されたシーン５０内の特徴の画素位置の差に基づいて、対を成す画像間の時間間隔におけるカメラ３０の動きを判定する。一実施形態において、ナビゲーションアレイ４２は、一連の画像が、選択されたシーン５０の少なくとも１つの特徴を確実に共有する程度の時間分解能を有する。

この比較に基づき、相関判定器４４は、変位信号６０をコントローラ８０に供給する。変位信号６０は、ｘ軸６２方向及びｙ軸６４方向におけるカメラ３０の増分移動量をそれぞれ示す第１の変位成分６０ａ（Δｘ）及び第２の変位成分６０ｂ（Δｙ）を含む。これに応答し、コントローラ６０は補償信号９０及び９２を生成する。これらの補償信号により、ＶＣＭ８６及び８８は、可撓性ステージ８２を相関判定器４４によって検出されたカメラ３０の動きをオフセットするために必要な距離だけｘ軸６２方向及びｙ軸６４方向にそれぞれ動かす。

このように可撓性ステージ８２を動かしてカメラ３０の動きの影響を中和することにより、ぶれ低減システム３２は、少なくとも主アレイ３８の積分期間全体を通して、選択されたシーン５０と主アレイ３８との間を実質的に固定関係に維持し、それによって、取得画像のぶれを低減する。また、ナビゲーションアレイ４２を主アレイ３８と共に可撓性ステージ８２上で動かすことにより、ぶれ低減システム３２は、主アレイ３８及びフィードバックアレイ４２に対する選択されたシーン５０の位置の直接フィードバックを行なうことができ、それによって、制御能力及びぶれ低減能力を向上させることができる。

図４は、本発明の一実施形態による半導体基板５４の平面図を概略的に示すブロック図である。図示のように、主アレイ３８は、概ね円形の光学部品実装領域５２内の中心に配置され、ナビゲーションアレイ４２は主アレイ３８の隣りに、且つ、光学部品実装領域５２の中に配置される。一実施形態において、第２のナビゲーションアレイ１００は、ナビゲーションアレイ４２と同じｘ軸６２のような軸に沿って配置され、主アレイ３８の反対側に配置される。後で詳しく説明するように、第２のナビゲーションアレイ１００は、主アレイ３８の積分期間中に、第２の一連の画像を相関判定器４４に供給する。

第２のナビゲーションアレイを使用する利点は２つある。第１に、ナビゲーションアレイ１００は、ぶれ低減システム３２の有効視野を拡大するため、その結果、追跡の際に高コントラストの特徴が現れる可能性が増大する。第２に、後で詳しく説明するように、ナビゲーションアレイ１００をナビゲーションアレイ４２と併用することで、ぶれ低減システム３２は、ｚ軸６６を中心としたカメラ３０の回転運動（図２を参照）を検出し、補償することが可能になる。一実施形態では、ぶれ低減システム３２の視野を更に拡大するために光学部品実装領域５２内に、更に別のナビゲーションアレイ１０２及び１０４を設ける場合がある。一実施形態において、相関判定器４４は、半導体基板４０に配置される。

図５は、第２のナビゲーションアレイ１００を備え、カメラ３０の平行移動と回転運動の両方を検出し、補償するように構成されたぶれ低減システム３２の一実施形態を示す略ブロック図である。図示の実施形態では、可撓性ステージ８２は、ｘ軸６２方向、及びｙ軸６４方向に動き、ｚ軸６６を中心として回転するように構成される。この場合も、そのような可撓性ステージは、当業者にとって周知のものであり、場合によっては、ｘ−ｙ−θ可撓性ステージ、又は超精密位置決めステージと呼ばれることがある。補償装置４６は、図３Ａや図３Ｂに示した実施形態に比べて、更に２つの別のＶＣＭ１０６及び１０８を有する。ＶＣＭ８６及び１０８は、ｘ軸６２方向に可撓性ステージ８２を動かすように構成され、ＶＣＭ８８及び１０８は、ｙ軸６４方向に可撓性ステージ８２を動かすように構成され、ＶＣＭ８６、８８、１０６、及び１０８は合わせて、ｚ軸６６を中心として可撓性ステージ８２を回転させるように構成される。

一実施形態では、シャッター制御ボタン６８（図２を参照）がオペレータによって部分的に、又は完全に押し下げられると、ナビゲーションアレイ４２及び１００はそれぞれ、一連の画像を相関判定器４４に渡し始め、主アレイ３８の積分期間全体を通じてそれを継続する。上記のように、ナビゲーションアレイ４２及び１００によって取得される一連の画像は、選択されたシーン５０（図３Ａを参照）内の異なる視野から得られるものであるため、ぶれ低減システム３２の有効視野は拡大する。一実施形態において、ナビゲーションアレイ４２とナビゲーションアレイ１００は時間分解能が実質的に等しく、各アレイによって取得される一連の画像は互いにほぼ同期する。

相関判定器４４は、図３Ａ及び図３Ｂに関して上で説明したものと同様の仕方で、ナビゲーションアレイ４２から受信した一連の画像を、ナビゲーションアレイ１００から受信した一連の画像と比較し、ナビゲーションアレイ４２及びナビゲーションアレイ１００における、ｘ軸６２方向及びｙ軸６４方向における選択されたシーン５０の平行移動をそれぞれ判定する。カメラ３０の動きが実質的にｘ軸６２方向、及び／又はｙ軸６４方向における平行移動である場合、ナビゲーションアレイ４２に対するｘ軸６２方向及びｙ軸６４方向における選択されたシーン５０の動きは、ナビゲーションアレイ１００に対するｘ軸６２方向及びｙ軸６４方向における選択されたシーン５０の動きにほぼ等しくなる。換言すれば、ナビゲーションアレイ４２に対する選択されたシーン５０の増分移動量（Δｘ）は、ナビゲーションアレイ４２に対する選択されたシーン５０の増分移動量（Δｘ）に実質的に等しく、ナビゲーションアレイ４２に対する選択されたシーン５０の増分移動量（Δｙ）は、ナビゲーションアレイ４２に対する選択されたシーン５０の増分移動量（Δｙ）に実質的に等しくなる。

ただし、一連の画像の隣り合う画像対の画像間の時間間隔においてカメラ３０の回転運動が発生した場合、ｘ軸６２方向及びｙ軸６４方向における選択されたシーン５０の増分移動量（Δｘ及びΔｙ）は、ナビゲーションアレイ４２の場合とナビゲーションアレイ１００の場合とで差ができる。例えば、平行移動が発生しない状況においてｚ軸６６を中心としたカメラ３０の時計回りの回転１１４が発生した場合、ナビゲーションアレイ４２に対する選択されたシーン５０の増分移動量Δｘ及びΔｙは、ナビゲーションアレイ１００に対する選択されたシーン５０の増分移動量Δｘ及びΔｙと実質的に同じ大きさになるが、その方向（すなわち、符号）は反対になる。

相関判定器４４は、これらの比較に基づき、変位信号６０をコントローラ８０に供給する。変位信号６０は、ｘ軸６２方向及びｙ軸６４方向におけるカメラ３０の増分移動量Δｘ及びΔｙをそれぞれ示す第１の変位成分６０ａ及び第２の変位成分６０ｂ、並びに、ｚ軸６６を中心としたカメラ３０の回転角（θ）を示す第３の変位成分６０ｃを含む。これに応答し、コントローラ６０は、補償信号９０及び１１０をＶＣＭ８６、１０６に供給し、補償信号９２及び１１２をＶＣＭ８８及び１０８に供給して、相関判定器４４によって判定されたカメラ３０の動きを補償するのに必要なだけ、可撓性ステージ８２をｘ軸６２方向及びｙ軸６４方向に動かし、ｚ軸６６を中心として回転させる。なお、カメラ３０の回転運動が全く検出されない場合、ＶＣＭ８６はＶＣＭ１０６と同じ駆動力を生成し、ＶＣＭ８８はＶＣＭ１０８と同じ駆動力を生成する。回転運動の影響を中和しなければならない場合、それらのＶＣＭは異なる駆動力を生成する。

図示のように、可撓性ステージ８２、並びに、ＶＣＭ８６、８８、１０６及び１０８は、既知の超精密位置決めシステムを単純化したものである。そのような超精密位置決めシステムは変更される場合もあるが、コントローラ８０に簡単な変更を加えることにより、所与の微小位置決めシステムでの使用に適するように、必要に応じて変位信号６０を補償信号（例えば、補償信号９０、９２、１１０、及び１１２）に変換することが可能である。

図６は、本発明によるカメラ３０の一実施形態の概略を示すブロック図である。この実施形態では、補償装置４６は、コントローラ８０と、一対の補正レンズ１２０及び１２２とを含む。一実施形態において、補正レンズ１２０は図示のように可動凹レンズからなり、補正レンズ１２２は、固定的に取り付けられた凸レンズ素子からなる。補償装置４６は、凹レンズ１２０をｘ軸６２方向に動かすように構成された第１のＶＣＭ１２４と、凹レンズ１２２をｙ軸６４方向に動かすように構成された第２のＶＣＭ（図示せず）とを含む。図６の実施形態では、半導体基板４０はハウジング３４に固定的に取り付けられる。

相関判定器４４は、図３Ａ及び図３Ｂに関して上で説明した仕方と同様にして、ナビゲーションアレイ４２から受信した一連の画像を比較し、ｘ軸６２方向及びｙ軸６４方向におけるカメラ３０の増分移動量をそれぞれ示す第１の変位成分６０ａ（Δｘ）及び第２の変位成分６０ｂ（Δｙ）を含む変位信号６０を生成する。これに応答し、コントローラ６０は、補償信号１２６及び１２８を生成する。これらの信号により、第１のＶＣＭ及び第２のＶＣＭは、相関判定器４４によって検出されたカメラ３０の移動をオフセットするために必要な距離だけ、凹レンズ１２０をｘ軸６２方向及びｙ軸６４方向にそれぞれ動かす。主アレイ３８及びナビゲーションアレイ４２は静止したままである。
カメラ２３０の動きの影響を中和するように凹レンズ素子２９０の動きを制御することにより、凹レンズ２９０と固定取り付けされた凸レンズ素子２９２は互いに協働し、カメラの対物レンズ２３６を介して受け取った光を撮像面２３４に対して平行移動させ、一連の画像は、撮像面２３４に対して実質的に静止したまま維持される。

図７は、ナビゲーションアレイ４２が半導体基板４０に形成された主アレイ３８のサブセットからなる場合（すなわち、ナビゲーションアレイ４２が主アレイ３８に組み込まれる場合）の、ぶれ低減システム３２の一実施形態の一部を概略的に示すブロック図である。主アレイ３８は、行列に構成された複数の画素１３０を含む。一実施形態では、図示のように、主アレイ３８の複数の画素１３２（「影付き」画素）が、ナビゲーションアレイ４２を形成するために選択される。一実施形態では、図示のように、画素１３２は格子状パターンを形成するように選択され、画素１３２は主アレイ３８全体にわたって均一に分布している。一実施形態において、ナビゲーションアレイ４２の画素１３２は、白の画素と黒の画素からなり（すなわち、カラーフィルタを備えていない）、主アレイ３８の画素１３０は、カラー画像を生成する（すなわち、カラーフィルタを備える）。

画素の各行は、行選択ライン１３６を介して行選択回路１３４に接続され、画素の各列は、出力ライン１４０を介して列選択読み出し回路１３８に接続される。コントローラは、行選択回路１３４及び列選択読み出し回路１３８を介して適当な行信号ライン１３６及び出力ライン１４０を選択して駆動することにより、主画素１３０及びナビゲーション画素１３２に蓄積された電荷の読み出しを制御する。典型的な撮像素子アレイでは、画素の読み出しは通常、行単位に行われ、選択された行の全ての画素が対応する行選択ラインによって同時に駆動され、列選択読み出し回路１３８により列ライン１４０を順番に駆動することによって、選択された行の画素の蓄積電荷が読み出される。

しかしながら、本発明によれば、ナビゲーションアレイ４２を形成する画素１３２は、主アレイ３８を形成する画素１３０に比べて高い時間分解能で、コントローラ１４２によって読み出される。一実施形態において、例えば、コントローラ１４２は、主アレイ３８を形成する画素１３０の積分期間中に、１０ナビゲーションアレイ４２を形成する画素１３２を１０回読み出すように構成される。画素１３２をこのような仕方で読み出すことにより、主アレイ３８に組み込まれたナビゲーションアレイ４２は、主アレイ３８の積分期間中に、一連の低解像度画像を取得し、出力する。コントローラ１４２は、信号経路１４４を介してその一連の低解像度画像を相関判定器４４に渡し、次いで相関判定器４４は、図３Ａ及び図３Ｂに関して上で説明したもの同様にして、一連の画像に基づいて変位信号６０を生成する。

一実施形態において、画素１３２は、主アレイ３８の中心にして対称を成す一対のナビゲーションアレイが形成されるように配置され、コントローラ１４２によって読み出され、各ナビゲーションアレイは、一連の低解像度画像を生成する。このような実施形態では、相関判定器６０は、図５に関して上で説明したものと同様の仕方で、カメラの平行移動と回転運動の両方を示す変位信号６０を生成するように構成される。

積分期間の終了時に、コントローラは、主アレイ３８の画素１３０の蓄積電荷を読み出し、信号経路１４６を介して所望の画像を表わす画素データを生成する。ただし、主アレイ３８の積分期間中におけるナビゲーションアレイ４２を形成する画素１３２の複数回の読み出しがそれぞれ「破壊的」読み出しであるため、ナビゲーションアレイ４０の画素１３２に対応する、１４６における所望の画像の画素位置は、不正確なデータを有し、所望の画像中に「穴」を形成する。

そのため、一実施形態において、コントローラ１４２は、主アレイ３８の積分期間中に各画素１３２が読み出されるたびに、その画素のデータをメモリ１４８に蓄積する（すなわち、合計する）。主アレイ３８の積分期間の終了時に、コントローラ１４２は、１４６において、ナビゲーションアレイ４２の各画素１３２の「合計」値を、所望の画像の対応する画素位置に挿入する。一実施形態において、コントローラ１４６は、ナビゲーションアレイ４２の各画素の近傍にある主アレイ３８の画素１３０に蓄積された値の平均を求め、１４６において、その「平均」値を、所望の画像の対応する画素位置に挿入するように構成される。ナビゲーションアレイ４２を形成する画素１３２の破壊的読み出しによって生じる、主アレイ３８によって取得される所望の画像中の「欠損」画素データは、どのような数の他の方法を使用して補填してもよい。

図８は、二次元画像を取得し、それらの相関を求め、相関処理によって検出されたカメラ３０のような撮像装置の動きの影響を中和するための補償信号を生成するように構成された、本発明によるナビゲーションアレイ４２及び相関判定器４４の一実施形態を示すブロック図である。図示の実施形態において、ナビゲーションアレイ４２は３２行×６８列の光学素子アレイ４０８、及び６８列の転送増幅器アレイ４０８からなり、相関判定器４４は、６４個のＤＣ除去回路のアレイ４０２、計算アレイ４０４、及び制御論理回路４１０からなる。

転送増幅器４００は、ナビゲーションアレイ４０８からＤＣ除去回路４０２へ行単位で信号を転送する。計算アレイ４０４は、ＤＣ除去回路４０２からデータを受信し、そのデータに基づいて計算を実施し、置換信号４０６（例えば、図３Ａ及び図３Ｂの第１の変位成分６０ａ及び６０ｂ）を補償システム（例えば、図１の補償装置４６）に供給する。補償システムは、補償信号４０６に基づいて撮像装置の動きの影響を光学的及び機械的に中和する。

従来の積分型光センサは、セル単位の較正を行わないので、積分回路の処理技術の制限から、感度に幾らか変動が発生する。図８に示すように、相関判定器４４は、第１の画像（すなわち基準画像）と、ナビゲーションアレイ４０８に対して異なる位置において次に撮影された第２の画像との間の相関を計算する。光や光学素子の感度に何らかの変化があると、相関信号は劣化する。したがって、図８の空間的ＤＣ除去回路４０２は、相関信号の完全性を維持すると同時に、システムのコストも比較的小さく維持するように構成される。通常ならば相関信号を劣化させる光や光学素子の感度の低空間周波数変化は、ナビゲーション画像から除去される。

ＤＣ除去回路４０２の動作は、計算アレイ４０４の動作を完全に理解する上で重要ではないので、詳しく説明しない。しかしながら、列転送増幅器４００の基本動作を理解することは有用である。

図９を参照すると、この図は、６４列の光学素子のうちの５列４１２、４１４、４１６、４１８及び４２０を示している。各列について、３２行のうちの６行４２２、４２４、４２６、４２８、４３０及び４３２が描かれている。各列が、個別の転送増幅器４３４、４３６、４３７、４３８及び４３９に関連している。ある列の光学素子は、読み出しスイッチ４４０を閉じることにより、転送増幅器に接続される。図９の回路の動作において、２つの光学素子が同じ転送増幅器に同時に接続されることはない。

各転送増幅器４３４〜４３９は積分器として動作し、固定電圧源に接続された入力４４２を有する。第２の入力４４４は、転送コンデンサ４４８によって転送増幅器の出力４４６に容量性結合される。

図９の回路の動作において、第１の行４２２の光学素子の読出しスイッチを閉じると、各転送コンデンサ４４８は、第１の行の光学素子で受け取られた光エネルギーに対応する電荷を受け取る。受け取った電荷は、出力ライン４４６を介して次の処理回路に転送される。１行の読み出しは、２００ｎｓ〜３００ｎｓであるものと推定される。第１の行が読み出された後、第１の行の読み出しスイッチを開き、転送増幅器をリセットする。次に、第２の行４２４の読出しスイッチを閉じ、第２の行の光学素子から信号を転送する。この処理を、各行の光学素子が読み出されるまで繰り返す。

図９の転送増幅器４３４〜４３９の動作によって、光学素子からの信号は、行単位で次の回路へと転送される。図８のＤＣ除去回路４０２は、列転送増幅器による決定に従って、光学素子信号の並列処理を続ける。ＤＣ除去回路は、ナビゲーションセンサ４０８で受け取った光エネルギーを表わす６４個の信号を出力する。図８の実施形態において、１フレームの信号は計算アレイ内の複数の画素値から構成される。これらの画素値は、ＤＣ除去回路から６４個の信号を３２回転送することによって得られる。

図１０は、カメラ３０（図１を参照）のような撮像装置の動きを検出するための相関判定器４４のような本発明による相関判定器で使用されるプロセスの一実施形態を示している。本発明は、ナビゲーションアレイの視野内にある選択されたシーン又は環境の特徴を示す光学素子信号の処理を例として説明されるが、この方法が何らかの１つの用途に限定されることはない。

このプロセスは、環境の後続のフレームに対する環境の特徴の基準フレームの相関を判定するために実施される。この相関判定は実質的に、基準フレームと後続のフレームとの間で共通な画像上の特徴部分を比較し、基準フレームの取得と後続フレームの取得の間における時間間隔における撮像装置の動きに関連する情報を生成するためのものである。

まず、４５０において、複数の信号からなる基準フレーム（すなわち、基準画像）を取得する。この基準フレームは開始位置とみなされる。後の時点において画像形成される領域に対するナビゲーションアレイの位置の判定は、後の時点においてナビゲーションアレイから複数の信号からなるサンプルフレームを取得４５２し、次いで、基準フレームと後の時点で取得されたサンプルフレームに関する相関値を計算４５４することによって行われる。

最初の基準フレーム４５０の取得は、撮像プロセスの最初に実施される。例えば、一実施形態では、前述のように、この取得は、図２のシャッター制御ボタン６８のような撮像装置のシャッター制御ボタンが押下されたことをトリガとして行われる場合がある。

動きの検出は計算によって実施されるが、この実施形態の概念は、図１１の概念図を参照して説明される。図中、７×７画素の基準フレーム４５６は、Ｔ型の特徴４５８の画像を有するものとして描かれている。後の時点（ｄｔ）において、ジャイロスコープ画像センサ４０８は、第２のフレーム、すなわちサンプルフレーム４６０を取得する。サンプルフレーム４６０は、フレーム４５６に対してずれているが、実質的に同じ特徴を有している。期間ｄｔは、カメラ３０のような撮像装置の平行移動の速度において、Ｔ字型の特徴４５８の相対変位が、ナビゲーションセンサの１画素未満になるように設定することが望ましい。

複数の信号からなる基準フレーム４５６の取得と、複数の信号からなるサンプルフレーム４６０の取得の間の期間において撮像装置に動きがあった場合、Ｔ字型の特徴はシフトされる。好ましい実施形態は、ｄｔが、１画素分の移動が可能な時間よりも短い実施形態であり、図１１の概念図は、特徴４５８が１画素分上向きにシフトされ、１画素分右にシフトされたことを示している。１画素分のシフトは、説明の単純化のために仮定したものに過ぎない。

図１１の格子４６２は、サンプルフレーム４６０の７×７アレイ内の特定の画素の画素値の次のシフトを示している。次のシフトは、８個の近傍画素への個別のオフセットである。すなわち、ステップ「０」はシフトがなく、ステップ「１」は左上への斜めシフトを含み、ステップ「２」は上シフトを含む等である。これらのシフトは、サンプルフレーム４６０の全画素に対して同時に実施される。このようにして、画素シフトされた９枚のフレームを基準フレーム４５６と結合すると、位置フレームのアレイ４６４が生成される。「位置０」として指定された位置フレームは、シフトがないので、その結果は、単にフレーム４５６とフレーム４６０を結合したものになる。「位置７」は、影付き画素の数が最小数であるため、最も高い相関を有するフレームとなる。この相関判定の結果から、サンプルフレーム４６０内のＴ型の特徴４５８の位置は、前回取得された基準フレーム４５６内の同じ特徴の位置に対して斜め右上であるものと判定される。これは、期間ｄｔの間に、撮像装置が左下へ移動したことを意味する。

他の相関判定方法を使用してもよいが、適当な方法は、「差の二乗の合計」による相関判定である。図１３の実施形態の場合、要素４６２における９個のオフセットから、９個の相関係数（Ｃ_ｋ＝Ｃ_０、Ｃ_１、・・・、Ｃ_８）が形成される。相関判定は、基準フレーム４５６の方をオフセットし、サンプルフレームの方をシフトさせないようにしても良好に機能するため、サンプルフレーム４６０のシフトに関しては、他の選択肢もある。

相関判定は、基準フレーム４５６とサンプルフレーム４６０に共通な特徴４５８の位置を見付け、それらの特徴の変位を判定するために使用される。上記のように、図３Ａ及び図３Ｂのように、例えば、主アレイ３８の位置及びナビゲーションアレイ４２の位置は、基準フレームに対する後続のサンプルフレームの相関を判定することによって検出された動きの影響を中和するように調節される。このプロセスでは個々の相関誤差は小さいが、一連のサンプルフレーム４６０を基準フレーム４５６と比較する際に徐々にそれらの相関誤差は累積される可能性がある。非常に長い時間にわたってそうした誤差が累積されることを許容した場合、累積誤差が原因で、検出される動きの影響の中和は不十分となり、その結果、画像の安定度は低下することになる。これは、図４に示した開ループ安定化システム２７５の場合に特に当てはまる。

上記に照らして、一実施形態では、最初の基準フレーム４５６を取得してから、カメラ３０によって写真が撮影されることなく非常に長い時間が経過した場合、新たな基準フレーム４５６を取得する。また、一実施形態において、カメラ３０のユーザが、サンプルフレーム４６０と基準フレーム４５６の間に共通の特徴が無くなるようにカメラの位置を大きくずらした場合、新たな基準フレーム４５６を取得する。

したがって、図１０を再度参照すると、４５４における相関値の計算が終わるたびに、４６６において、次の相関判定処理の前に基準フレームを置き換えるか否かの判定を行う。基準フレームを置き換えないという判定がなされた場合、ステップ４６８において、基準フレームの信号、すなわち画素値を平行移動させるか否かの判定を行う。基準フレーム４５６を置き換えないという判定がなされた場合、プロセスは４５２へ戻り、次のサンプルフレームを取得し、プロセスは継続される。基準フレームを置き換えるという判定がなされた場合、図１０の４７２に示すように、図１１におけるサンプルフレーム４６０が、新たな基準フレームとして使用される。次に、４５２において次のサンプルフレームを取得し、プロセスは継続される。

基準フレームとサンプルフレームの間における共通の特徴の位置の変化を判定することにより、ナビゲーションアレイ４０８と撮影中の環境との間の相対移動が検出される。相関判定器４４のような相関判定器は、相関判定によって検出された相対移動に基づき、補償測定値を調節するための補償信号４０６を生成し、補償信号４０６によって検出された動きの影響を中和し、撮影中の選択されたシーンと、主アレイとの間を実質的に固定関係に維持し、それによって画像のぶれを低減する。

図１２は、図８の計算アレイ４０４内の１つセルを示す概略図である。ただし、当業者には分かるように、図１０及び図１１を参照して説明したプロセスは、他の回路を使用して実施してもよい。

画像データＷＤＡＴＡ（ｉ）は、ＷＲ（ｊ）信号の制御によって電荷補償されたトランジスタスイッチ４７０を使用して、計算セル４６６のライン４６８に搭載された特定の光学素子から読み出された光エネルギーを表している。ＷＲ（ｉ）信号をデアサートすると、この新たなデータはコンデンサ４７２に保持され、増幅器４７４によってバッファリングされる。計算セルは、二次元セルアレイ内の１つのデータセルである。図１１を簡単に参照すると、このセルは、複数の画素値の記憶や、フレーム４５６及び４６０のような７×７アレイにおける単一のセルの画素値のシフトに使用される場合がある。図１２のＣＤＡＴＡノード４７６は、複数の信号からなる１フレームの全ての画素を同時信号処理することが可能な計算アレイ内の１つのＣＤＡＴＡノードである。最初に、ＣＤＡＴＡノードのアレイは合わせて、比較画像、すなわち「基準フレーム」を形成する。以下で説明するように、次に、それらのＣＤＡＴＡノードはサンプルフレームを形成する。制御入力ＣＤＯＵＴ４７８は、最近傍出力ノードＮＮ（０）４８０に対し、信号ＣＤＡＴＡ、すなわち比較データを選択するか、又はＲＥＦＯＵＴを選択する。

最近傍入力ＮＮ（０）〜ＮＮ（８）４８０、４８２、４８４、４８６、４８８、５００、５０２、５０４及び５０６は、ライン５０８上のスイッチ制御信号Ｓ（０）〜Ｓ（８）によって個別に選択される。最近傍入力ＮＮ（０）〜ＮＮ（８）４８０〜５０６は、図１の画素マップ４６２に従って最近傍セルから出力される出力である。したがって、図中、ノード４８０は、最近傍セルに接続するために扇形に分配される出力としても、セル４６６の入力としても描かれている。これらのスイッチ制御信号は、計算アレイの外部にある、図示されていない４−９エンコーダによって生成される。エンコーダに対する４ビット入力は最近傍アドレスと呼ばれ、００００（０）から１０００（８）までの二進値をとる。

最近傍入力（ＮＮＩＮＰＵＴ）ノード５１０は、ＲＥＦＬＤ５１２にパルスを入力することによってサンプリングされ、それによってＮＮＩＮＰＵＴは、ノードＲＥＦＨ５１４に記憶される。同様に、ＲＥＦＤＡＴＡ５１６は、ＲＥＦＳＦＴ５２０にパルスを入力することによってサンプリングされ、ＲＥＦＳＨ５１８に記憶される。

テストを行う場合、ＲＯＷＴＳＴＢ５２２をアサートし、ＮＮ（０）信号をＴＥＳＴ出力５２４に伝搬させる。ある行における各セルからのＴＥＳＴ信号は、計算アレイの各列における共通の垂直バスに接続され、アレイの底部で多重化され、チップ外へ出てゆく。アレイの左縁に沿って配置される標準行デコーダは、テストの際に、特定の行を選択することができる。ただし、テスト機能は、本発明にとって必須ではない。

セルアレイにおける各計算セル４６６は、図１０のステップ４５４に示した相関値の判定を行う回路５２６を有する。第１の入力５２８は、ＲＥＦＤＡＴＡノード５１６から基準データを受信する。第２の入力５３０は、ライン５０８上の適当なスイッチ制御信号によって選択された最近傍入力ＮＮＩＮＰＵＴを受け取る。相関セルの出力５３２は電流である。計算アレイにおける全ての相関出力は、トラッキング回路５３４の単一のチップ外合計抵抗器においてまとめて合計される。合計抵抗器の両端に発生する電圧は、図１２では相関値と呼ばれる。

図１２の実施形態において、回路５２６は、差の二乗計算を行う。セル４６６は、アレイ全体について共通なアレイ制御入力Ｓ（０）〜Ｓ（８）、ＲＥＦＬＤ、ＲＥＦＳＦＴ、及びＣＤＯＵＴの基本アーキテクチャを変更することなく、積ベースの相関を生成するように修正してもよい。図１の４６２に示した単一セルに関する最近傍マップと、アレイ全体に関する最近傍マップとの関係を理解することは重要である。画像の位置０は画像の現在位置と呼ばれる。位置０から位置１への画像の移動を指す場合、アレイの全てのセルにおける画像信号が、まとめて左下にある近傍セルへ移動されるという表現が使用される。つまり、この移動は、計算アレイ内の単一セルに関連するだけでなく、アレイ内のあらゆるセルに関連する。

計算アレイの機能は、画像取得、基準画像の読み込み、及び相関計算に関して説明することができる。画像取得とは、各計算セル４６６のＷＤＡＴＡライン４６８を介した新たな画像信号の読み込みを言う。この実施形態では、４０μｓごとに複数の信号、すなわち、画素値からなる新たなフレームが、列転送増幅器、及びＤＣ除去増幅器を介して光素子アレイから取得される。

新たな画像を読み込むプロセスは「フレーム転送」と呼ばれる。フレーム転送の完了には、約１０μｓを要する。フレーム転送制御回路は、フレーム転送の際に、図示されていない信号ＦＴＢをアサートする。以下で説明する計算アレイの動作は、ＦＴＢ信号を監視し、その動作をＦＢＴ信号に同期させることにより、フレーム転送プロセスと連携して実施される。新たな比較画像の正当性は、ＦＴＢ信号の立下りエッジによって知らせることができる。以下で説明する動作は、ＦＴＢがアサートされていない場合にのみ適当である。

画像相関の計算の前には常に、複数の画素値からなる基準フレームの読み込みが必要である。基準フレームを読み込むためには、計算アレイ内のＣＤＡＴＡノード４７６における全ての信号をＲＥＦＨノード５１４に転送しなければならない。これは、ＣＤＯＵＴ４７８、及びＳ（０）を高に設定し、ＲＥＦＬＤ信号のパルスをライン５１２に入力することによって達成される。

基準フレームが読み込まれると、計算アレイは、相関値を計算する準備ができる。複数の画素値からなる基準フレームと後続のサンプルフレームとの間の相関は、最近傍アドレスを所望の値に設定し、変位トラッキング回路５３４の合計抵抗器の両端に発生する電圧を記録することによって計算される。受光器アレイが、基準フレームを取得した位置から１画素分の距離だけ移動した場合、最近傍位置のうちの１つにおいて強い相関が検出される。なぜなら、最少レベルの出力電流が現れるからである。図１１において、この相関は、アレイ４６４内の位置７において検出される。１画素未満の動きは、二次元相関空間において複数の電流出力検出値を補完することによって判定することができる。なお、基準フレームとその基準フレーム自体の間の相関は、ＣＤＯＵＴ４７８を低に設定し、ＲＥＦＳＦＴ５２０にパルスを入力することによって計算することができる。その結果、最近傍入力は、サンプルフレームに由来するものではなく、基準フレームに由来するものになる。

なお、上で説明した図８〜図１２は、本発明によるナビゲーションアレイ４２、及び相関判定器４４の一実施形態に過ぎない。他の回路構成やプロセスをぶれ低減システム３２に採用し、画像を取得し、相関を求め、動きを検出してもよい。また、本明細書では、主にスチルカメラを例として説明しているが、本発明の教示は、ビデオカメラや、動画を生成する他の撮像装置にも容易に適合する。例えば、ビデオカメラに使用する場合、ナビゲーションアレイ、及び相関判定器は、ビデオカメラが、選択されたシーンを回転撮影する際に基準フレームを更新するように構成してもよく、また、ビデオカメラの回転撮影によって生じる意図的な動きや、シーンに対する物体の動きを、人の筋肉の震えによって生じるような意図的でない動きから区別するためのフィルタを含むように構成してもよい。

本明細書では特定の幾つかの実施形態を図示説明しているが、当業者には明らかなように、本発明の範囲から外れることなく、それらの特定の実施形態に代えて、種々の代替実施形態、及び／又は等価実施形態を使用することも可能である。本願は、本明細書に記載した特定の実施形態の変形や変更を全て発明の範囲に含めることを意図している。したがって、本発明は特許請求の範囲、及びその均等によってのみ制限される。

本発明によるぶれ低減システムを採用するカメラの一実施形態を示すブロック図である。 図１のカメラの略等角図である。 本発明によるぶれ低減システムを採用するカメラの略ブロック図である。 図３Ａのカメラの詳細を示す略ブロック図である。 本発明によるカメラに使用される半導体基板の一実施形態の平面図を示す略ブロック図である。 本発明によるぶれ低減システムの一実施形態を示す略ブロック図である。 本発明によるぶれ低減システムの一実施形態を示す略ブロック図である。 ナビゲーションアレイを主アレイの中に組み込んだぶれ低減システムの一実施形態の一部を示す略ブロック図である。 本発明によるナビゲーションアレイ及び相関判定器の一実施形態を示すブロック図である。 図８のナビゲーションアレイ及び相関判定器の一部を示す略ブロック図である。 画像相関による動きを検出するための本発明によるぶれ低減システムで使用されるプロセスの一実施形態を示す図である。 図１０のプロセスの一部を示す概略図である。 図８の計算アレイ内の１つのセルの一実施形態を示す概略図である。

Claims (21)

1. 光学部品実装領域内の選択されたシーンからの光を集束させるように構成されたレンズと、
   積分期間中に前記選択されたシーンの一部に関する所望の画像を取得するように構成された主アレイと、前記積分期間中に、前記選択されたシーンからの共通の特徴を有する第１の画像及び第２の画像を含む一連の画像を取得するように構成された少なくとも１つのナビゲーションアレイとを含み、前記撮像アレイ及び前記少なくとも１つのナビゲーションアレイが、前記光学部品実装領域内に配置されるように構成された基板と、
   前記少なくとも１つのナビゲーションアレイから前記一連の画像を受信し、前記少なくとも１つのナビゲーションアレイに対する前記第１の画像及び前記第２の画像の共通の特徴の位置の差を判定し、前記位置の差に基づいて、前記第１の画像と第２の画像の間の時間間隔における２つの平面における撮像装置の平行移動を示す変位信号を生成するように構成された相関判定器と、
   前記変位信号に基づいて、前記選択されたシーンと、前記主アレイ及び前記ナビゲーションアレイとの間を実質的に固定関係を光学的及び機械的に維持するように構成された補償装置と
   からなる撮像装置。
2. 前記主アレイ及び前記少なくとも１つのナビゲーションアレイは、各アレイが読み出し回路に関連する個別のアレイからなる、請求項１に記載の撮像装置。
3. 前記少なくとも１つのナビゲーションアレイの画素は、前記主アレイの画素に比べて１０倍〜１００倍の速度で読み出される、請求項１に記載の撮像装置。
4. 前記少なくとも１つのナビゲーションアレイは、前記主アレイよりも低い空間的分解能を有する、請求項１に記載の撮像装置。
5. 前記少なくとも１つのナビゲーションアレイは、白黒のアレイからなる、請求項１に記載の撮像装置。
6. 前記少なくとも１つのナビゲーションアレイは、前記積分期間中に第１の一連の画像を取得するように構成された第１のナビゲーションアレイと、第２の一連の画像を取得するように構成された第２のナビゲーションアレイとを含み、前記第１の一連の画像及び前記第２の一連の画像は、前記選択されたシーンからの共通の特徴を有する第１の画像及び第２の画像をそれぞれ含む、請求項１に記載の撮像装置。
7. 前記相関判定器は、前記第１のナビゲーションアレイに対する前記第１の一連の画像及び前記第２の一連の画像の共通の特徴の位置の差、及び、前記第２のナビゲーションアレイに対する前記第１の一連の画像及び第２の一連の画像の共通の特徴の位置の差に基づき、前記２つの平面における前記撮像装置の平行移動及び回転運動を示す変位信号を生成するように構成される、請求項６に記載の撮像装置。
8. 前記少なくとも１つのナビゲーションアレイは、前記主アレイのサブセットからなり、各サブセットは同じ読み出し回路を共有する、請求項１に記載の撮像装置。
9. 前記主アレイの積分期間中に、前記少なくとも１つのナビゲーションアレイの各画素の蓄積電荷が読み出され、合計され、所望の画像の対応する画素の画素値を形成する、請求項８に記載の撮像装置。
10. 前記主アレイ内の画素だけが、カラーフィルタを有する、請求項８に記載の撮像装置。
11. 前記少なくとも１つのナビゲーションアレイは、基板上の前記光学部品実装領域内に配置された複数のナビゲーションアレイからなる、請求項１に記載の撮像装置。
12. 前記補償装置は可動の可撓性ステージを含み、その上に前記基板が配置される、請求項１に記載の撮像装置。
13. 前記補償装置は、前記レンズと前記光学部品実装領域との間に配置された可動のレンズからなる、請求項１に記載の撮像装置。
14. 撮像装置を動作させる方法であって、
    光学部品実装領域内の選択されたシーンから光を受光するステップと、
    主アレイと少なくとも１つのナビゲーションアレイを同じ基板上に設け、前記撮像アレイ及び前記少なくとも１つのナビゲーションアレイが、前記光学部品実装領域内に配置されるようにするステップと、
    前記主アレイを使用して、積分期間中に前記選択されたシーンの一部に関する所望の画像を取得するステップと、
    前記少なくとも１つのナビゲーションアレイを使用して、前記積分期間中に、前記選択されたシーンからの第１の画像及び第２の画像を含む一連の画像を取得するステップと、
    前記少なくとも１つのナビゲーションアレイに対する前記第１の画像及び第２の画像の共通の特徴の位置の差を判定するステップと、
    前記位置の差に基づき、前記第１の画像と前記第２の画像の間の時間間隔における２つの平面における撮像装置の平行移動を示す変位信号を生成するステップと、
    前記変位信号に基づき、前記選択されたシーンと、前記主アレイ及び前記少なくとも１つのナビゲーションアレイとの間を光学的及び機械的に実質的に固定関係に維持するステップと
    からなる方法。
15. 前記主アレイ及び前記少なくとも１つのナビゲーションアレイを設けるステップは、前記主アレイ及び前記少なくとも１つのナビゲーションアレイを個別のアレイとして前記基板上に設けることからなる、請求項１４に記載の方法。
16. 前記少なくとも１つのナビゲーションアレイを設けるステップは、前記少なくとも１つのナビゲーションアレイを前記主アレイのサブセットとして設けることからなる、請求項１４に記載の方法。
17. 前記少なくとも１つのナビゲーションアレイを設けるステップは、各アレイが前記積分期間中に前記選択されたシーンからの共通の特徴を有する第１の画像及び第２の画像を含む一連の画像を取得する第１のナビゲーションアレイ及び第２のナビゲーションを設けることからなる、請求項１４に記載の方法。
18. 前記位置の差を判定するステップは、前記第１のナビゲーションアレイに対する前記第１の一連の画像のうちの第１の画像と第２の画像の共通の特徴の位置の差、及び、前記第２のナビゲーションアレイに対する前記第２の一連の画像のうちの第１の画像と第２の画像の共通の特徴の位置の差を判定することからなる、請求項１４に記載の方法。
19. 前記位置の差に基づいて変位信号を生成するステップは、２つの平面における前記撮像装置の平行移動及び回転運動を示す変位信号を生成することからなる、請求項１８に記載の方法。
20. 選択されたシーンから光を受光する手段と、
    露光期間中に前記選択されたシーンの一部に関する所望の画像を取得するための基板上の手段と、
    前記露光期間中に前記選択されたシーンからの共通の特徴を有する第１の画像及び第２の画像を含む一連の画像を取得するための前記基板上の手段と、
    前記第１の画像と前記第２の画像の共通の特徴の位置の差を判定する手段と、
    前記位置の差に基づき、前記選択されたシーンと前記基板との間を実質的に固定関係に維持する手段と
    からなる撮像装置。
21. 前記位置の差に基づき、前記第１の画像と前記第２の画像の間の時間間隔における２つの平面における前記撮像装置の平行移動を示す変位信号を生成し、該変位信号に基づき、前記選択されたシーンと前記基板との間を実質的に工程関係に維持する手段を含む、請求項２０に記載の撮像装置。

Images