JP2013059123A - 画像取込装置および方法 - Google Patents

Abstract

【課題】静止画像および動画（ムービー）の双方を獲得するための画像取込装置および方法に関する。
【解決手段】
画像取込装置（２）は、複数の画素（６）を有する活性領域を持つセンサー（４）と、各画素の露光を制御するためのシャッターアレイ（８）とを備えている。画素は、複数の画素セットにグループ分けされ、時間的に隔てられた低解像度の画像を複数個獲得するように配置される。これらの低解像度の画像は、ムービーとして順次見ることもできるし、組み合わせて高解像度の静止画像を形成することもできる。
【選択図】図１

Description

本発明は、画像取込装置および画像取込方法に関し、これ以外を排他するわけではないが、とりわけ、静止画像および動画（ムービー）の双方を獲得するための装置および方法に関する。

電子カメラは、一般に、スチルカメラとビデオカメラという２つの大きな分類に分けられる。しかしながら、これらの２種類のカメラはある程度重複する。例えば、ムービーおよび静止画像の双方を獲得することができる「ビデオ」カメラもある。

一方で、スチルカメラの中には、「ムービー」機能を有するものがあり、この機能では、カメラは一連の画像を獲得することができる。続いて、これらの画像は、ムービーとして示されることができる。本発明は、主に（これ以外を排他するのではないが）後者の種類のカメラに関する。

電子カメラは、一般に、感光検出器または感光画像素子（画素）のアレイを有する画像取込装置またはセンサーを有する。動画ないしムービーは、センサーにより検出された一連の画像を記録することにより獲得されることができる。

一連の画像が獲得可能である速度（フレームレート）は、部分的には、センサーのサイズ（すなわち、アレイ中の画素数）に依存し、センサーからデータが読まれうる（デジタル化されうる）速度により制限される。高速で撮像センサーから情報を読むことにより、雑音（読み取り雑音）が発生し、この雑音により画像の信号品質が低下する。したがって、センサーが多数の画素数を有する際には、フレームレートは、一般的にやや遅くなるであろう。画素がより少なく、小さなセンサーでは、より高いフレームレートを提供しうるが、画像の解像度はこれに応じて低くなる。

本発明の目的は、上述の欠点を少なくともいくらか軽減した画像取込装置および画像取込方法を提供することである。

本発明の一態様によれば、活性領域（ａｃｔｉｖｅ ａｒｅａ）を持つセンサーを備えた画像取込装置が提供され、活性領域が複数の画素を有し、各画素が使用中にその画素の露出を表すデータを提供し、また、活性領域はこれらの画素からのデータを記憶するためのデータ記憶装置を有し、前記画素が複数の画素サブセットを有し、前記画像取込装置が、時間的に隔てられた低解像度の（ｌｏ−ｒｅｓ）画像を複数獲得するように構成および配置され、各低解像度の画像は、異なる画素サブセットからのデータを含む。

本発明では、時間的に隔てられた低解像度の画像のセットが、各高解像度（ｈｉ−ｒｅｓ）の画像内に組み込まれる。その後、組み込まれた低解像度の画像は、順次、ムービーとしてみることができる。あるいは、これらの画像中のデータは組み合わされ、単一の高解像度の画像を形成することができる。したがって、ムービーおよび静止画像は、同時に獲得できる。この装置では、これと等価のセンサーデバイスを用いて現在達成されうるよりも高いフレームレートでムービーを獲得することができ、低解像度の画像での空間解像度は、高解像度の画像の空間解像度よりも低いが、多くの用途にはそれでも十分である。解像度対フレームレートのバランスを、容易に調節することができる。さらに、空間解像度を失うことなく、装置のデータ記憶要求を顕著に高めることなく、静止画像を獲得することができる。

より有利には、画像取込装置は、前記複数の低解像度の画像内のデータを組み合わせることにより、高解像度の画像を獲得するように構成および配置されている。

より有利には、少なくとも１つの画素サブセットが、センサーの実質的に全活性領域の画素を含む。これにより、このような１つの画素サブセットから形成された各低解像度の画像は、フルフレーム画像となる。あるいはこれに加えて、少なくとも１つの画素サブセットが、センサーの全活性領域より小さい領域の画素を含むことができる。これにより、異なる場面の部分が、異なる空間解像度および時間解像度で撮像される。これは、特定の防犯カメラまたはロボット工学においては有用である。

画像取込装置は、複数のシャッター部材を有するシャッターアレイを備えることができ、各シャッター部材は個々の画素の露出を制御するためのものである。あるいは、各シャッター部材は、２つ以上の画素の露出を制御してもよく、事実上１つの画素よりも大きい。あるいは、各シャッター部材は、事実上１つの個々の画素よりも小さくてもよく、各画素の露出は複数のシャッター部材により制御される。

シャッターアレイは、不透過率または反射率が変動するシャッター部材を複数個有することができる。シャッターアレイは、センサーの活性領域上またはセンサーの前に（好ましくは、合焦装置が、シャッターアレイとセンサーとの間にあって）取り付けられることができる。

あるいは、シャッターアレイは、配向性が変動するシャッター部材を複数個有することができる。シャッター部材はミラーを有することができ、ミラーは、光をセンサーに向ける方向に、または、センサーから離れた方向に反射するよう配向できる。

この画像取込装置は、好ましくは、シャッターアレイの作動を制御するための制御装置を有する。これは、例えば、画素サブセット（センサー上の画素のフルセットがこのサブセットに分けられる）の数、画素サブセットの露出時間およびこれらの露出の相対的なタイミング、ならびに、装置の動作モード（例えば、ムービー／静止画モードまたは静止画のみモード）を制御することができる。制御装置は、所定のランダムまたは擬似ランダムの順序でシャッター部材を活性化するように構成および配置することができ、これは後に、一連の高速画像を復号化するために再構成されうる。制御装置は、スイッチ部材が全て同時に活性化される代替的な動作モードを提供するように配置されてもよい。

別の好適な実施形態によれば、各画素が、電荷が画素から転送されうる電荷貯蔵デバイスに関連付けられ、画像取込装置は、前記複数の時間的に隔てられた低解像度の画像を獲得できるように電荷の転送を制御するための制御装置を有する。このシステムでは、シャッターアレイは必要ではなく、装置の構成が単純になる。

本発明の別の態様によれば、上記請求項のいずれか１項に記載の画像取込装置と、センサー上の活性領域上に光の焦点を合わせるレンズとを有するカメラが提供される。

このカメラは、獲得画像を表示するための表示装置を有することができ、この表示装置は、単一の高解像度の画像または一連の低解像度の画像を表示するように構成および配置されている。

より有利には、このカメラは、画素サブセットの露出を制御するための制御装置を有する。

本発明の別の態様によれば、複数の画素を有する活性領域を持つセンサーを備えた画像取込装置を用いて画像を獲得する方法が提供され、この方法は、センサーを露出させる工程と、各画素の露出を表すデータを記憶する工程と、時間的に隔てられた低解像度の画像を複数個獲得する工程を含み、前記画素が、複数の画素サブセットを有し、各低解像度の画像は、前記画素サブセットのうちの異なる１つの画素サブセットからのデータを含む。

より有利には、この方法は、画素サブセットを、順次好ましくは所定のランダムまたは擬似ランダムの順序で、露出させる工程を含む。あるいは、最小限のモーションブラーを含む高解像度の静止画像を獲得するために、画素サブセットを同時に露出させてもよい。

より有利には、この方法は各画素上の電荷を電荷貯蔵デバイスに転送する工程と、その後貯蔵された電荷をデジタル化する工程とを含む

この方法は、複数の低解像度の画像からのデータを組み合わせることにより、高解像度の画像を作成する工程と、好ましくは前記高解像度の画像を表示する工程とを含むことができる。

この方法は、前記時間的に隔てられた一連の低解像度の画像を表示する工程も含んでもよい。

ここで、本発明の実施形態を、添付の図面を参照した例示により説明する。

本発明の第１実施形態による画像取込装置を概略図示した直交正面図である。 この画像取込装置の小さい部分を拡大して示した正面図である。 図２の画像取込装置中の各シャッター部材用のシャッター露出時間を示したチャートである。 画像取込装置により一連の画像が獲得されうる方法を示した図である。 画像取込装置の正面図であり、一連の動作の一例を示した図である。 本発明の第２実施形態による画像取込装置の光学系を概略図示した側面図である。 本発明の第３実施形態による画像取込装置の光学系を概略図示した側面図である。 本発明の第４実施形態による画像取込装置の光学系を図示した側面図である。 本発明の第５実施形態による画像取込装置の小さい部分を示した正面図である。 本発明の第６実施形態による画像取込装置の小さい部分を拡大して示した正面図である。 本発明の画像取込装置を有するカメラの主要な部品を図示した概略図である。

本発明の第１実施形態による画像取込装置を、図１〜図４に示す。画像取込装置２は、センサー４を有し、このセンサー４は、長方形アレイの感光画像素子（画素）６を有する活性領域を備えている。センサー４は、例えばＣＣＤもしくはＣＭＯＳデバイスまたはこれの等価物でありうる。この例では、センサー４は、１つのメガピクセルＣＣＤであり、幅１０００画素、高さ１０００画素の長方形のアレイを有する。センサーは、もちろんこれより大きくても小さくてもよいし、別の縦横比を有してもよく、また画素は異なるパターンで配置されてもよい。

センサー４の直前に取り付けられているのは、電子シャッター装置８であり、これは、画素サイズのシャッター部材１０のアレイを有する。シャッター部材１０は、センサー４の画素６に合わせられ、これと一列に並んでおり、その結果、各シャッター部材が、下にある画素の光への露出を制御している。したがって、この例では、シャッター装置８は、１０００×１０００のアレイに配置された１００万個のシャッター部材１０を有する。各シャッター部材１０は、これ以外の１つまたは複数のシャッター部材には依存せずまたはこれに同期して活性化され、下にある１つまたは複数の画素６を露出させる。

この例ではシャッター装置８は、強誘電性液晶デバイスからなり、これは、電圧をかけることにより透明または不透明にすることができる液晶セルのアレイを有する。これにより、シャッター部材１０は非常に迅速に作動することができる。この機構には可動部品がないので、頑健性があり信頼性がある。あるいは、電子的に制御可能でかつ必要な画素レベルのシャッター機能を有するこれ以外の任意のシャッター機構を用いてもよい。

より一般的に述べると、シャッター装置８はＡ個のシャッター部材を有し、これらが、Ｎ個のサブセットに分けられるが、これらをサブセット１、サブセット２…サブセットＮと称する。各サブセットは、Ａ／Ｎ個のシャッター部材を有する。この例では、シャッター装置は、１００万個（Ａ）のシャッター部材を有し、シャッター部材１０の４個のサブセット（Ｎ）を有し、各サブセットは２５０，０００個のシャッター部材を有する。シャッター部材１０の下にある画素６は、これに対応する画素サブセットを形成する。

異なるサブセットのシャッター部材１０をシャッター群１２に配置し、各シャッター群は、各サブセットからの１つのシャッター部材を有する。この例では、図２に示したように、各シャッター群１２は、４つのシャッター部材１０を有し、これらは四角形状に配置され、サブセット１のシャッター部材１０Ａは左上角に、サブセット２のシャッター部材１０Ｂは右上角に、サブセット３のシャッター部材１０Ｃは左下角に、サブセット４のシャッター部材１０Ｄは右下角に配置されている。したがって、シャッター装置８は、２５０，０００個のこのようなシャッター群を有している。画素も、同様に画素サブセットと画素群とに配置されており、各群が、各サブセットの１つの画素を有している。複数の画素群で、センサー４の活性表面の実質的に全体を覆っており、したがって、各画素サブセットは、センサーの実質的に全活性領域の画素を含んでいる。

各サブセット中のシャッター部材は、電子的に連結されており、このサブセット中の全シャッター部材は、制御電子系により決められて、同時に開閉する。この例では、４つのシャッターサブセットが、図３に示すように、順次開くように配置されている。

したがって、シャッターサブセット１が０．２５秒間開き、続いて、サブセット２が次の０．２５秒間開き、サブセット３が別の０．２５秒間開き、最後にサブセット４が第４の０．２５秒間開く。これゆえに、全サブセットの全積分時間Ｔｉは１．０秒であり、各画素の個々の露出時間は、Ｔｉ／Ｎ（この場合、０．２５秒）である。

各露出時間の間、開いているシャッター部材の下にある画素は、露出時間の間、光に露出される。しかし、画素は、すべて同時に露出されるのではない。むしろ、対応するシャッター部材が開いたり、閉じたりするのにしたがって、画素は順次露出する、したがって、サブセット１のシャッター部材の下にある画素は、最初の０．２５秒間露出し、続いて、サブセット２・３・４中のシャッター部材の下にある画素が露出する。

露出中、各画素は、光子がその表面に当たる際に生成される電荷を積分する。設定された積分時間Ｔｉ後、全ての画素上の電荷は、デジタル化され、結果として得られるデジタル画像データが、センサー４からメモリデバイスに転送される。

記憶された画像データは、動画（ムービー）または静止画像として表示されうる。ムービーとして画像データを表示するために、各画素サブセットにより獲得された画像データから、別の画像を作成する。したがって、図４に示すように、画像１は、画素サブセット１中の全ての画素により獲得された画像データから作られ、第１の０．２５秒の期間中にセンサー上に入射した光を表す。画像２は、画素サブセット２中の全ての画素により獲得された画像データから作られ、第２の０．２５秒の期間中にセンサー上に入射した光を表し、画像３および画像４についても同様である。その後４つの画像は、順次、４フレームの動画像列として表示される。表示された低解像度の画像中における各画素の位置は、シフトされていてもよいが、これは、画素がわずかに異なるがわかっている位置からデータを収集することを考慮に入れるためである。ムービーの各フレームは、２５０，０００画素の画像サイズを有し、これは、全センサーの解像度の４分の１である。フル画素セットを用いて生成した高解像度（ｈｉ−ｒｅｓ）の画像と区別するために、これらの画像を低解像度（ｌｏ−ｒｅｓ）の画像と称する。

拡張された動画像列が必要である場合、このプロセスを１回以上繰り返すことができ、これにより、Ｔｉ秒毎に１つのデータセットの速度で、複数のデータセットが獲得され、その後、獲得された低解像度の画像が順次表示されうる。

静止画像を表示するためには、センサー上の全画素のデータを用いて、フルフレームである高解像度の画像を作成する。この例では、これは、１メガピクセル画像である。これは、４つ全ての低解像度の画像からのデータを組み合わせて、１つの高解像度の画像を作成することにより達成される。

各サブセット中の画素の位置は、図２に示すような規則的なパターンに従う必要はない。乱数発生器をユーザが提供したシード値と共に用いて、露出群内での各画素の位置をシャッフルした数値スキームを実装することにより、シャッター群内で外見上ランダムな位置を選択することができる。これを図５に図示したが、ここでは、画素群サイズが４つである仮想の６×６の画素アレイについて図示している。数値スキームは、シャッフルした一連の整数を生成し、上述と同様、画素群はその画素群中の各画素を、全積分時間の部分区間の間露出させるが、タイミングは、シャッフルされた順序により与えられる。

図２中のシャッフルされていない整数の順序である（（１，２，３，４），（１，２，３，４）（１，２，３，４）．．．．）では、第１シャッター群の左上に位置づけられている画素６Ａは、０〜０．２５秒の間開き、第１シャッター群の右上に位置づけられている画素６Ｂは、０．２５〜０．５秒の間開くなどが示される。値が規則的なパターンで繰り返されるので、各画素群の露出時間は同じである。

これとは対照的に、図５で示されたシャッフルされた順序（（３，２，１，４），（４，１，２，３）（２，３，１，４）．．．．）では、第１シャッター群の最も左上の画素６Ａは，０．５〜０．７５秒の間開き、第１シャッター群の右上の画素６Ｂは，０．２５〜０．５秒の間開き、第１シャッター群の左下の画素６Ｃは，０〜０．２５秒の間開き、第１シャッター群の右下の画素６Ｄは，０．７５〜１．０秒の間開くことが示される。第２露出群は異なる開き時間の順序を有する。第２シャッター群の左上の画素は，０．７５〜１．０秒の間開き、右上の画素は，０〜０．２５秒の間開くなどである。さらに、この順序は、順に撮られるフレームについて繰り返されることはなく、０〜１秒の間の露出のパターンは、１〜２秒の間の露出パターンとは異なり、その後の各フレームについても、シャッフルされた順序の長さに依存する。

このランダムのシャッタースキームには、２つの利点がある。まず第１に、画素間の平均的な距離が同じであっても、低解像度画像中の各画素の位置が、ランダムに割り当てられる。画像を再構成する目的での画素のランダム分布に対する規則的なアンダーサンプリングアレイの利点は米国特許第４５７４３１１号（発明の名称「ランダムセンサーデバイスアレイ（ＲａｎｄｏｍＡｒｒａｙ Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅｓ）」、発明者、レスニコフ（Ｒｅｓｎｉｋｏｆｆ）、ポッジオ（Ｐｏｇｇｉｏ）およびシムズ（Ｓｉｍｓ））に十分説明されている。第２に、一連の低解像度画像は、正しいタイミングを与えるシャッフルされた整数の順序がわかっている場合のみ、回復可能である。キーが与えられる乱数発生アルゴリズムを内蔵するアルゴリズムによってシャッフルされる順序が生成される場合、その後、一連の像を見る人がこのキーを与える場合のみ、この一連の像が回復可能である。これにより、一連の像は暗号化され、権限のない人が見ることはできないように保護される。

図２および図５に示すような長方形形状に加えて、シャッター群は、不規則な多角形形状を有しうる。シャッター群は、これゆえに対象の領域を正確に覆うことができ、不必要な画素を取り除く。生命科学分野での１つの可能な使用例は、ユーザが、顕微鏡の視野中で、少数のセルの活動をモニターしたい場合である。ユーザは、対象とするセルの周りで多角形状を描き、アルゴリズムは、この形状内の画素を異なる時点で露出される群に分けることができる。

センサーにより撮像された被写体が露出時間中に動いた場合、画像は「モーションブラー」をいくらか含みうる。モーションブラーの量は、全ての画素が同時に露出される従来のスチルカメラセンサーの場合よりも、一般に大きいであろうが、これは、全積分時間が、個々の画素の露出時間よりも長いためである。しかしながら、ほぼ動かない被写体または全く動かない被写体については、画像の品質は、従来のセンサーの場合と実質的に等しい。

あるいは、様々な異なる画像獲得モード、例えば、「ムービー／静止画モード」（上述のようにシャッター部材が順次活性化されるモード）、または、「静止画のみモード」（全てのシャッター部材が同時に動作するモード）から選択することもできる。ムービー／静止画モードでは、獲得されたｌｏｓ−ｒｅｓ画像は、ムービーとして順次見ることもできるし、または共に合わせて（場合によっては、モーションブラーを少し含んだ）高解像度の画像として見ることもできる。静止画のみモードでは、モーションブラーは、従来のセンサーの場合のモーションブラーと同程度であるが、時間的に隔てられたｌｏｓ−ｒｅｓ画像のセットは獲得されないので、画像を順次ムービーとして見ることはできない。

あるいは、設定された画素数を用いて、ぼやけていない高解像度画像を得る一方で、この残りを用いて、上述したように一連の低解像度画像を得ることができる。高解像度のぼやけの少ない画像を得るための画素の数は、所望の写真の品質を確保するためにユーザが選択できる。例えば、画素の５０％を、高解像度のぼやけていない画像を作成するためにあて、ここで、このサブ群の画素は、全アレイに渡って分布している。これらの画素は、ぼやけていない画像を得るためにユーザが設定した最適な露出時間に等しい短い時間の間、同時に露出される。残りの画素は、上述と同様Ｎ−１個の群に分けられ、一連のムービーを生成するために、順次露出される。高解像度群中への画素の分布は規則的（例えば、毎秒１画素）にすることができる。または、画素はランダムにまたは擬似ランダムに分布させることができる。その結果、規定された画素のサブ領域に渡って画素の平均的な密度は一定であるが、この領域内の各画素は、周知のランダム分布を用いて選択される。高解像度画像中に欠如した画素は、利用可能な様々な信号処理技術のいずれかを用いて補償できる。画像を再構成する目的での画素のランダム分布に対する規則的なアンダーサンプリングアレイの利点は米国特許第４５７４３１１号（発明の名称「ランダムセンサーデバイスアレイ（ＲａｎｄｏｍＡｒｒａｙ Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅｓ）」、発明者、レスニコフ（Ｒｅｓｎｉｋｏｆｆ）、ポッジオ（Ｐｏｇｇｉｏ）およびシムズ（Ｓｉｍｓ））に十分説明されている。

画素と同数のシャッター群を有することに加えて、異なるサイズのシャッター群を用いて、場面の一部を撮像することにより、複数の解像度の画像を構築することも可能である。例えば、検出器の上半分は、サイズ４のシャッター群を用いて撮像し（この結果、フルフレームを取得する間に、４つの低解像度の画像が収集される）、検出器の下部分を、サイズ９のシャッター群を用いて撮像することもできる（この結果、フルフレームを取得する間に、９つの低解像度の画像が収集される）。

原理的には、ユーザの要求に基づいて、任意の異なる数のフレーム群を用いることができる。可能な用途として、ある場面中の複数の動く被写体をモニターし、被写体ベースで最適の設定（フレームレートに対する解像度）を採用することも可能である。撮像された場面中での変化に対処するために、シャッター群のサイズと形状とは、フレーム毎ベースで動的に変更可能である。

ある特定の状況では、各シャッター部材が２つ以上の画素の露出を制御するようにシャッター部材のサイズが選択可能である。各シャッター部材の有効サイズは、個々の画素よりも大きい。これにより、シャッター部材の数が画素の数よりも少ないシャッター装置を使用できる。あるいは、各シャッター部材が、個々の画素よりも事実上小さくてもよく、各画素の露出が、複数のシャッター部材により制御される。これは、ある特定の状況では、焦点を合わせるのに役立つが、これは、異なるシャッターを用いてレンズ中の軸上歪曲に対処することができるからである。各フレームについて、異なるシャッターセットを開くことにより、センサーの空間解像度を高めることも可能である。

本発明を、２３４０×３５００画素の規模の８．２メガピクセルセンサーを備えたデジタル一眼レフカメラに実装した実施例について、以下で説明する。これと等価の従来のカメラは現在入手することが可能であり、これは、毎秒５フレームの速度で、フルフレーム画像を獲得することができる。もし、本発明をこのカメラに実装すると、例えば、各フルフレーム画像内に、１０個の０．８２メガピクセルの低解像度の画像が獲得できるであろう。その後、これらの低解像度の画像は、順次ムービーモードで毎秒５０フレームの速度で、７３８×１１０８画素のフレームサイズで見ることができる。あるいは、各低解像度の画像セットを再度組み合わせて、高解像度の８．２メガピクセルの静止画像を作成することもできる。

もちろん、より低い解像度の画像を各フルフレーム画像中に組み込んで、より高いフレームレートを得ることができることも明らかであろう。あるいは、より低いフレームレートが適切である場合は、より高い解像度のムービーを獲得することもできる。

上述のプロセスでは、組み込まれた低解像度の画像を作成するために用いられる連続する露出間の間隔は、各露出時間の長さと等しい。したがって、次の露出は、前の露出の終了時から開始し、全積分時間Ｔｉは、Ｎｔと等しい。ここで、Ｎは、画素サブセットの数であり、ｔは個々の画素の露出時間である。あるいは、露出間の間隔および露出時間を調節し、露出時間を重複させ、または間隔をあけてもよい。これにより、ユーザは、モーションブラーまたは微光の状況を補償することができる。例えば、図３に示したような０．２５秒という露出時間を用いる代わりに、露出時間を０．１５秒に縮めてもよい。個々の画素サブセットの露出タイミングは以下のようになりうる。すなわち、画素サブセット１は、０〜０．１５秒まで、画素サブセット２は、０．２５〜０．４秒まで、画素サブセット３は、０．５〜０．６５秒まで、画素サブセット４は、０．７５〜０．９秒までという具合である。その結果、全積分時間は、Ｎｔよりも短くなる。

別の例として、露出時間を０．４秒に延ばしてもよい。この場合、個々の露出タイミングは以下のようになる。すなわち、画素サブセット１は、０〜０．４秒まで、画素サブセット２は、０．２５〜０．６５秒まで、画素サブセット３は、０．５〜０．９秒まで、画素サブセット４は、０．７５〜１．１５秒までという具合である。その結果、画素サブセットの露出は重複する（サブセット１はサブセット２と重複し、サブセット２はサブセット３と重複し、サブセット３はサブセット４と重複し、サブセット４はサブセット１と重複する。）。したがって、露出間隔は、被写体が変化するまたは移動する速度により最適化することができる。

別の変形例として、画素サブセットが、全積分時間のほんの小さな区間の間だけ順次、露出するかわりに、画素サブセットが、光が遮断される短い一時的な期間以外は、完全な積分時間Ｔｉの期間の間は全て露出することもできる。この遮断期間は、各画素サブセットに順に適用され、遮断された期間の間の画素値を見積もることができる。なぜならば、これは、ＮセットのＮ元一次方程式であるからである。この一時的な遮断期間を、例えば、Ｔｉ／Ｎとする。ここで、Ｔｉは全積分時間であり、Ｎは画素サブセットの数である。各個々の画素の露出時間は、Ｔｉ−Ｔｉ／Ｎであり、これは、Ｎの数が大きければ、完全な積分時間Ｔｉに近似する。各画素からの強度は隣接する画素から干渉を受けるので、低解像度画像は誤り（ｅｒｒｏｒｓ）を含みうる一方で、このプロセスでは、微光の状況で、フル解像度フレームの画像輝度が、従来のセンサーにより撮られたフレームの輝度に近似するという利点がある。

センサーデバイスの様々な実践的な実装形態を、図１、図６、図７および図８に示す。図１では、ランダムにアクセス可能であるＬＣＤの画素レベルでのシャッターアレイ８が、センサーアレイ４の表面上に直接形成されている。このセンサーアレイは、例えば、ＣＣＤ，ＣＭＯＳまたはＥＭＣＣＤデバイスである。シャッターアレイ８は、例えば、強誘電性シャッター装置であり、これは透過性が迅速に変わるため、下にある画素の入射光への露出を迅速に変えることができる。

あるいは、シリコン上の液晶（ＬＣＯＳ）デバイスを用いて、図６に示すように、画素に光を反射させることも可能である。被写体１４からの光は、対物レンズ１６により焦点が合わせられ、偏光ビームフィルター（またはスプリッター）１８によりＬＣＯＳデバイス２０上に反射され、このＬＣＯＳデバイス２０が、偏光された光を、ユーザが選択可能なパターンで反射させる。この光は、ビームスプリッター１８を通過し、コレクタレンズ２２を通って、ＣＣＤ検出器を有するセンサー４上に焦点が合わせられる。

あるいは、反射性の画素レベルシャッターが用いられる場合（ＬＣＯＳまたはＤＭＤ）、遮断された画素からの光は、第１ＣＣＤ検出器と一致するよう配置されている第２ＣＣＤ検出器上に焦点が合わせられることができる。これにより、ＣＣＤ積分期間中の光のほとんどが、獲得可能となる。

一致する画素の強度値は合計され、明るい高解像度画像を生成することができる。

図７に示すシステムでは、シャッターアレイ８は、ＣＣＤセンサーデバイス４から距離をおいて配置されている。２セットのレンズが設けられ、第１セット２４はシャッターアレイ８の前に位置づけられ、シャッターアレイ上に被写体１４の画像の焦点を合わせるために配置されている。第２レンズセット２６は、シャッターアレイとＣＣＤセンサー４との間に位置づけられ、ＣＣＤセンサー４上に、シャッターアレイ面中に形成された画像の焦点を合わせる。シャッターアレイ８は、例えば、強誘電性ＬＣＤシャッターアレイであるので、必要に応じて、センサーアレイからの光を遮断させるために、または光をセンサーアレイに透過させるために役立つ。

図８に示したシステムでは、高速デジタルミラーデバイス（ＤＭＤ）２８が、一対の対物レンズ３０の焦点面に配置され、この一対の対物レンズ３０が、ＤＭＤ２８の表面上に被写体１４の画像の焦点を合わせる。ＤＭＤ２８は、ランダムにアクセス可能なマイクロミラー３２を有し、これらのマイクロミラー３２は、駆動電圧をかけることにより前後に傾斜可能である。毎秒１６，０００の完全なミラーパターンアレイが可能な１０２４×７６８の双安定マイクロミラーの０．７”アレイのＤＭＤアレイは、容易に入手可能であり、この用途に適している。

マイクロミラー３２は、入射光をＣＣＤセンサーアレイ３４に反射させる第１角度にトグルスイッチで切り替え、または、光をライトトラップ３６に反射させる第２角度にトグルスイッチで切り替えることができる。第２レンズセット３８が、ＤＭＤ２８とセンサー３４との間に設けられ、ＤＭＤの表面上に形成された画像をセンサー３４上に再度合焦させる。ＤＭＤ２８は、このように、個々の画素への入射光の露出を制御するために操作される。

上述の例は、全て動的マスキングを用いており、ここでは、例えばＬＣＤシャッター装置またはＤＭＤアレイにより、光は、画素から物理的に遮断されている。これに代えて、静的なチップ上のマスキングを用いて本発明を実装することも可能で、この場合、画素からセンサーチップのマスクされた電荷保持部上に電荷を順次伝送することにより、物理的なマスクの効果を模倣する。この方法を利用したセンサーの実施例を、図９中に概略的に示す。

図９中のセンサー４０は、活性画素４２の列に分けられ、この活性画素は、マスクされた画素４４の列により分離されている。マスクされた画素４４は、不透明のマスクにより入射光から遮蔽されているので、画像取得のプロセスには直接貢献しない。その代わりに、これらは、電荷貯蔵デバイスとして役立ち、各マスクされた画素４４は、隣接する活性画素４２に連結されている。作動時には、電荷は、列ベースで、マスクされていない活性画素の列から、マスクされた不活性の画素の列へとシフトされる。センサーは、例えば、図９に示すように、４つの画素サブセットで配置され、これらの４つの画素サブセットは、この場合、画素サブセット１、画素サブセット２、画素サブセット３、画素サブセット４と番号が付けられている。画素サブセットは、露出群４６中に配置され、各露出群は、各画素サブセットからの画素部材の列を１つ有する。

１つの画素サブセット内の画素は、露出時間の間、光に露出されており、電荷は、その後、デジタル化されるために、マスクされた画素の隣接する列に転送される。このプロセスは、各画素サブセットについて順に繰り返されるので、各高解像度のフルフレーム画像内に、時間に依存する４つの低解像度の画像が形成される。これらの組み込まれた低解像度の画像は、順次ムービーとしてみることができ、または共に組み合わされて、単一の高解像度の静止画像を形成する。

電荷がマスクされた画素上に転送されると、マスクされていない画素は、次の画像を獲得するために、再度光に露出できる。

フレーム転送アーキテクチャを用いた静的なチップ上のマスキングプロセスの例を以下に挙げる。

ここで、Ｍ個の列を有するフレーム転送ＣＣＤを考慮するが、この場合、チップのある部分が光に露出し、単一の高解像度の画像が、Ｔｉ秒毎に取得される。隣接するＮ個の列からなる複数の露出群が割り当てられ、各群の個目の列がマスクされた領域へと同時に転送を行う。

ＣＣＤ上の全てのｎ個目の列から、蓄積された電荷が、（ｎ×Ｔｉ）／Ｎにおいて迅速にマスクされた領域に転送され、その結果、全ての列の電荷がＴｉ秒内に転送される。これが繰り返され、画素の各列が、全部でＴ秒の間に、交互に光を積分させることができる。

任意のサブ期間における列ｎの任意の画素上の電荷は、先行する列中の隣接する画素と差し引くことにより、演算されることができる。

上述のスキームの例として、幅１０００画素の撮像領域が、４列のそれぞれ２５０画素の露出群にわけられ、フレーム積分時間が１秒であるとする。各露出群の第１列は、ｔ＝０．２５秒においてマスクされた領域にシフトされ、第２列はｔ＝０．５秒においてシフトされ、第３列はｔ＝０．７５秒においてシフトされ、第４列はｔ＝１秒においてシフトされる。電荷がいずれかの列からシフトされると、その画素は光を積分しつづけ、そして、１秒後にマスクされた領域にシフトされる。（したがって、列１はｔ＝１．２５秒、２．２５秒などで電荷がシフトされ、列２はｔ＝１．５秒、２．５秒などでシフトされる。）

あるいは、電荷を画素からマスク下に移動させ、その後積分する画素に戻すことにより、光の一時的な遮断を用いたプロセスを実装することも可能である。別の可能性として、ＣＭＯＳ検出器を用いて、単一の高解像度の画像取得内に、異なる時点で画素から電荷を貯蔵することも可能である。

本発明の別の可能な実装例を、図１０に示す。この実施形態では、センサーデバイス５０は、６４０×６４０個の画素アレイ有し、ここで画素５２と対応するシャッター部材（不図示）とは、１００個の画素群５４中に配置され、各画素群は、８×８個のアレイに配置された６４個の画素を有する。使用時には、各群５４内のこの６４個の画素５２が順次露出され、例えば、図１０中の画素５２上に記した番号１〜６４に示す順序で露出される。この実施形態では、各画素群５４内の画素は同じ順序で露出され、この順序は連続して露出される画素が互いに確実に空間的に隔てられているように設計されていることが留意されている。この例では、露出されるべき第１画素が列１行１にあり、第２画素が列５行１にあり、第３画素が列１行５にあるなどとなっている。

異なる組み合わせの画素の出力信号を処理することにより、センサーデバイスにより獲得される画像のフレームレートと解像度との双方を調整することができるが、これは、時間分解能に対して空間解像度をトレードオフすることにより行われる。例えば、センサーデバイスにより獲得された各フルフレーム画像を、６４０×６４０画素の高解像度の静止画像として表示することも可能であるし、一連の６４個の８０×８０画素の低解像度の画像として表示することも可能である。あるいは、画素１〜４を１つのサブセットにまとめ（これらは、互いに、短時間内で露出されているので）、画素５〜８も同様にまとめることもでき、その結果、元の６４画素群内に１６の画素サブセットを生じさせることができる。同様の操作を、全ての画素群において行うことができ、これにより、１６個のフレームの１６０×１６０画素の一連の画像となる。

さらに、時間的に隣接する画素をまとめることにより、時間分解能と空間分解能とをさらに組み合わせることが可能となる。例えば、図１０に示したシステムにおいては、画素１〜１６（点付きの背景）はまとめられ第１サブセットを形成し、画素１７〜３２（縞付きの背景）はまとめられ第２サブセットを形成し、画素３３〜４８（斜線付き背景）はまとめられ第３サブセットを形成し、画素４９〜６４（白い背景）はまとめられ第４サブセットを形成する。これらのまとめられたサブセットによる低解像度の画像は、４つのフレーム、すなわち３２０×３２０画素の一連の画像を提供するために生成される。より一般化して述べると、Ａ個のシャッター部材のシャッター装置内に、四角形状のＮ画素のセンサーがある場合には、４ｍ×Ｄ２＝Ａの場合、４ｍのシャッター部材の一連の画像を作成することができる。ここで、Ｄは一連の画像中の各画像の規模（幅および高さ）に等しい正の整数であり、ｍは正の整数である。これにより、元のシャッター群が十分なシャッター部材を有するという前提の元で、ユーザは、画像が獲得された後で、一連の低解像度の画像の最適の空間解像度および時間解像度を決めることができる。もちろん、まとめられたサブセット中のシャッター部材は必ずしも正確に同時に露出されないので、新たにまとめられた一連の画像内の画像には、いくらかの歪曲がありうる。例えば、図１０に示されたシステムにおける４つのフレームの３２０×３２０画素の一連の画像は、例えば、図２〜４において得られる４つの部材の一連の画像よりもはっきりしていないであろう。

上述のスキームのさらなる変形例では、画素群サイズが十分大きく、順次露出される画素が離れている可能性が極めて高い場合には、ランダムに位置づけられた画素を用いることができる。原理的には、画素群サイズは、１つの群の画素のこの数と同じ程度大きくすることができ、これにより、最適な一連の画像を得るために、ユーザは時間的に隣接する画素をまとめることができる。

本発明には様々なアプリケーションが考えられる。以下に、その中のいくつかについて説明する。

消費者用カメラについて

本発明は、主には静止画像を獲得することを意図しているが比較的高解像度および比較的高フレームレートでムービーを獲得する可能性があるカメラ内に実装することができる。例えば、上述したように、一連の８．２メガピクセルの画像を、毎秒５フレームの速度で撮ることができるカメラは、毎秒５０フレームのフレームレートで０．８メガピクセルの画像の一連ムービーを提供することができる。

消費者に対する利点は、元の高解像度の写真を保存することができ、データ記憶要件（メモリ中の画像サイズ）は、従来のデジタルカメラと同じにすることができるという点である。アプリケーションには、映像取得および防犯カメラの運用があり、詳細な場面用の高解像度画像と低解像度一連の画像との同時獲得が可能になる。

カメラの基本的な要素を、図１１に概略的に図示する。このカメラ６０は、ＣＣＤセンサー６４上に画像の焦点を合わせるレンズ６２を有する。ＬＣＤシャッターアレイ６６が、このセンサー６４の前に取り付けられ、各画素の入射光に対する露出を制御している。ＬＣＤシャッターアレイ６６の動作は中央演算ユニット（ＣＰＵ）６８により制御され、この中央演算ユニット（ＣＰＵ）６８は、センサー６４からのデータを読むために、センサー６４とも接続されている。このデータは、例えばフラッシュメモリカードであるメモリデバイス７０に記憶される。カメラは、シャッターリリース部７２と、ＣＰＵ６８に連結された制御スイッチ７４とを有し、この制御スイッチ７４は、例えば、カメラの操作モードを設定するために用いられうる。これらのモードは、例えば、「ムービー／静止画」モード（カメラが、各高解像度の内に，時間的に隔てられたｌｏｓ−ｒｅｓ画像セットを獲得し、これをムービーまたは高解像度の静止画像として見ることができるモード）、または、「静止画のみ」モード（最低限のモーションブラーで静止画像を形成するために画素が全て同時に露出されるモード）を含む。このカメラは、これ以外の従来の特徴も含むことができ、これらは、例えば、ファインダーと、設定をチェックするためまたは獲得画像を見るための表示ユニットと、絞り開口、焦点距離およびレンズ６２の焦点合わせを制御するためのレンズ制御部と、フラッシュユニットと、データ出力ポートとなどである。

科学撮像について

時間的に解像度の高い検出器に対する大きな要望により、特殊で高価なカメラシステムができたが、このカメラシステムは、非常に低い空間解像度（例えば、８０×８０の画素を有し１ＫＨｚで動作しうるマルコーニ（Ｍａｒｃｏｎｉ）ＣＣＤ３９）、または、低いダイナミックレンジ（例えば、場面間のダイナミックレンジの劇的な低減を犠牲にして、フレームレートが高い場合に生じる高いフレーム読み取り雑音を補償するためのゲイン上昇機構を有する強化ＣＣＤおよびＥＭＣＣＤ）を有する。これ以外の利点については、後述する。

現在、高時間解像度と高空間解像度とを真に同時に可能とした撮像様式は存在しない。この技術は、多くの生物学上の問題に容易に適用可能になる。例えば、心筋運動を高空間解像度でモニターすることができ、高時間解像度で心臓の電気的活動をモニターすることができるであろう。

科学グレード（ｓｃｉｅｎｔｉｆｉｃ ｇｒａｄｅ）の高解像度メガピクセルのＣＣＤは、（ビット深度および内部のカメラ回路によるが）単一のフレームを０．１〜１秒で積分することができる。従来の方法では、最も科学グレードの高解像度ＣＣＤおよびＥＭＣＣＤシステム中の読み取り速度を、「チップ上のビニング（ｏｎｃｈｉｐ ｂｉｎｎｉｎｇ）」と称する技術を用いて上げることができるが、この際、隣接する画素がチップ上に「グループ分け」され、より高速に読み出すことができる。高速化は、しばしば、Ｎ×Ｎのビニングスキームで、Ｎ程度で行われる。このＮという因子は、ここで提案された技術により達成されうる因子よりも小さい。さらに、ビニングされた画像は、高空間解像度データを含んでいない。

この新しい技術により、（長方形ではない）任意の形状の露出群を規定することが可能となり、これにより、研究者は、撮像される場面のまさにその特徴に応じて、速度と解像度とを最適化することができる。

フレームレートは、低い空間解像度が容認できる場合に、非常に高くすることができる。提案された技術により、高いダイナミックレンジでかつ１ミリ秒未満のフレーム時間で場面を撮像することができる。これは、低雑音でダイナミックレンジの高い科学分野の検出器を用いて現在達成が可能な速度よりも著しく速い。

信号対雑音比（Ｓ／Ｎ）の改善。さらなる重要な利点は、この提案した技術により、チップ上のビニングを用いて等価なフレームレートにおいて可能である全フレーム読み出しレートよりも、全フレーム読み出しレートを遅くすることができるという点である。これにより、Ｓ／Ｎ比が顕著に改善するという結果になるが、これはより高い速度では、読み取り雑音が、信号品質において支配的であるからである。

新規なアンダーサンプリングプロトコルが使用可能となることにより、この技術を用いて、空間解像度および時間解像度をさらに改善することができると予想される。可能な一例は、時間解像度を改善するために（ロンブ・ピリオドグラム（ＬｏｍｂＰｅｒｉｏｄｏｇｒａｍ）を介して）画素レベルで不規則なアンダーサンプリング時間を用いることである。これは、現在入手可能な撮像技術では、可能ではない。

防犯／機械視覚について

変化する３Ｄ場面をモニターするために用いられるカメラは、監視アプリケーションおよびロボット工学／機械視覚の分野で一般的であるが、このカメラは、いくつかの課題に直面する。１つの問題は、被写体がカメラに対して相対的に動くと、センサーを横断するこの画像の移動の大きさは、カメラから被写体までの距離に反比例する。これにより、カメラに近い被写体では、モーションブラーがより顕著になり、必要な詳細が曖昧になる。例えば、路上または建物のロビー中を歩いている人のグループの監視は、人がカメラの近くにいると、その人らの顔の画像がぼやける。画像全体のシャッター時間を短くすると、遠い被写体から集められた総光量が少なくなるので、カメラから遠い被写体の画像品質が劣化する可能性があるであろう。

本発明は、１つのフレーム内のシャッター群の数を変えて（これにより、時間解像度および空間解像度ならびに全露出時間を変えて）、その場面内のいくつかの被写体の撮像を最適化することにより、この問題に対処することができる。より有用には、カメラにより近い被写体は、これに比例してより大きくなり、空間解像度の要求度が低くなり、時間解像度を大きくすることが可能になる。シャッター群のサイズは、場面の先験的な知識を用いて選択可能である。（たとえば、高速道路で走る車を、交通の流れの方向に直面して高い位置にあるカメラでモニターする場合、車は画像の上の方向に向かい比例して小さくなり、車ごとの平均画素数を維持するために、シャッター群サイズを段階的に変化させることができる。）あるいは、シャッター群のサイズは、アルゴリズム的方法を用いて動的に選択することができる（例えば、ベルトホールド（Ｂｅｒｔｈｏｌｄ）およびシャンク（Ｓｈｕｎｃｋ）著、「オプティカルフローの決定（ＤｅｔｅｒｍｉｎｉｎｇＯｐｔｉｃａｌ Ｆｌｏｗ）」、技術レポート（ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ）、ＭＩＴ，１９８０年に説明されているような、静止画像中のモーションブラーからオプティカルフローを得ることによりこれを行う）。または、このシャッター群のサイズは、測距装置（例えば、レーザー測距離器またはそれに類似したもの）を用いて動的に選択することができる。

これに加えて、特に対象となる領域は、画像の大部分の中で用いられているシャッター群のパターンには依存しない、これとは異なる解像度で撮像可能である。例えば、交通をモニターしているカメラは、適切に選択した画素の四角形状の露出時間を制御することにより、車のナンバープレートの部分について、高い空間解像度画像を得て、車の動きについては低い空間解像度でモニターすることができる。

車の速度検出とナンバープレート検出とは、このようなシステム中にレーダー装置を用いることなく、（十分大きなシャッター群を用いて）低い空間解像度で車の動きを連続的にモニターするカメラを用いて達成することができる。コンピュータアルゴリズムは、車の速度を演算し、シャッター群を動的に変えて、場面全体を撮像するか、または、必要に応じて高い解像度でナンバープレートのみを撮像するであろう。

Claims (1)

1. 活性領域を持つセンサーを備えた画像取込装置であって、前記活性領域が複数の画素を有し、各画素が使用中にその画素の露出を表すデータを提供し、また、前記活性領域は前記画素からのデータを記憶するためのデータ記憶装置を有し、前記画素が複数の画素サブセットを有し、前記画像取込装置が、時間的に隔てられた低解像度の画像を複数獲得するように構成および配置され、前記各低解像度の画像は、異なる画素サブセットからのデータを含む画像取込装置。

Images