JP2013536625A - 画像センサーおよび検知方法 - Google Patents

Abstract

【課題】
【解決手段】
画像センサーは、アレイ内に配設されている複数の画素と、アレイ内の個々の画素を選択するための選択手段と、シャッター信号を画素に伝送するためのシャッター手段とを具備する。画素は、選択されていてかつシャッター信号を受信した場合に限り、入射光を検知するように構成配置されている。それにより、アレイ内の画素を個別にトリガーして、それぞれの時点で光線をキャプチャできる。
【選択図】 図５

Description

本発明は画像センサーおよび画像取込装置に関する。本発明はまた、画像をキャプチャする方法にも関する。本発明は特に、静止画および動画（ムービー）の両方をキャプチャするための装置および方法に関するが、それに限定されない。

電子カメラは概して２つの広範なカテゴリ（静止カメラおよびビデオカメラ）に分類されるが、２つのタイプのカメラの間には、ある程度のオーバーラップが存在する。例えば、一部の「ビデオ」カメラは、ムービーと静止画の両方をキャプチャ（取込み）できる。

他方、一部の静止カメラは「ムービー」又は「ビデオ」機能を装備しているため、そのカメラを使えば画像シーケンスをキャプチャできる。これらの画像は、後にムービーとして表示できる。本発明は、主に後者のタイプのカメラに関する（ただし、それに限定されない）。

電子カメラは一般に、光電感度性ディテクタ又はピクチャエレメント（画素）のアレイを有する画像取込装置又はセンサーを具備する。動画（即ち、ムービー）は、センサーで検出された画像シーケンスを記録することによってキャプチャできる。

画像シーケンスのキャプチャ可能速度（フレームレート）はセンサーのサイズ（即ち、アレイ内の画素数）に一部依存し、センサーからデータが読み取られる（デジタル化される）速度によって制限される。撮像センサーから情報を高速に読み取ると、ノイズ（読み出しノイズ）を生じ、画像の信号品質が低下する。したがって、センサーに多数の画素が存在する場合、フレームレートは一般にかなり低速である。画素数を低減してセンサーを小型化すればフレームレートを高速化し得るが、それに応じて画像解像度が低下する。

本発明者らの以前の特許出願である国際公開第２００８／１３８５４３号パンフレットには、複数の画素を含むアクティブ領域を備えたセンサーと、個別にアクティブ化して個々の画素の露光を制御できる複数のシャッター要素を含むシャッターアレイとを具備する、画像取込装置が記載されている。画素はいくつかの画素サブセット内に配設され、これらのサブセットのそれぞれは順次露光でき、それにより、フルセット未満の画素を含むローレゾ画像のシーケンスがキャプチャされるか、又はすべてもしくは実質的にすべての画素を含むハイレゾ画像が同時にキャプチャされるようになっている。一方、シャッターアレイを別個に提供すると、装置のサイズおよび複雑度が増す。

国際公開第２００８／１３８５４３号パンフレット

本発明の一目的は、前述の欠点のうちの少なくともいくつかを軽減する画像センサーおよび画像キャプチャ方法を提供することにある。

本発明の一態様によれば、アレイ内に配置された複数の画素と、アレイ内の個々の画素を選択するための選択手段と、シャッター信号を画素に伝送するためのシャッター制御手段とを具備する画像センサーが提供されている。該画素の各々は、選択されていてかつシャッター信号を受信した場合に限り、入射光を検知するように構成配置され、それにより、該アレイ内の画素を個別にトリガーして（動作させて）、それぞれの時点で光線をキャプチャできるようになっている。

画素を個別にトリガーする（動作させる）ことによって、全画素を用いた単一のハイレゾ画像をキャプチャする（取り込む）ことも、又は全画素未満の画素を用いたローレゾ画像を１つ又はそれ以上キャプチャすることも可能になる。画素を電子的にトリガーさせる（動作させる）ことによって、個々のシャッターアレイの必要性を回避でき、結果として、装置のサイズおよび複雑度を著しく減らせる。

好都合にも、画素が行および列のアレイ内に配設されていて、行選択信号および列選択信号を受信するように接続されており、それにより、その画素が位置する行および列に沿って行選択信号および列選択信号を伝送することによって個々の画素が選択できる。このアレンジによって、個々の制御ラインを必要とせずに各画素を個別に選択できる。その結果、回路の過度の複雑性が回避されている。行および列は直交していてもよいし、直交していなくてもよい。

好ましくは、選択手段は複数の行選択ラインおよび複数の列選択ラインを含み、各行選択ラインは特定の行内のすべての画素に接続されていて、各列選択ラインは特定の列内のすべての画素に接続されている。このようにして、制御結線を２セットだけ使用して、すべての画素を個別に選択することが可能になっている。選択手段は、好ましくはグリッド状の行選択結線および列選択結線を含む。

好都合にも、行選択信号および列選択信号のうちの少なくとも１つは、シフトレジスタで生成される。好ましくは、行選択信号および列選択信号の両方が、シフトレジスタで生成される。シフトレジスタとは、一連のデジタル量を格納でき、そのシーケンスを後方および前方へシフトできる電子装置である。これにより、画素を所定の順序でトリガーできる。シフトレジスタに保持されているデジタル量をごく簡単に修正して、画素がトリガーされる順序を変更できる。これにより、任意の時点で露光される画素の数、および画素が露光される順序を調整できる。

各画素は好都合にも、画素をトリガーするための制御手段を備え、この制御手段はシャッター信号、行選択信号および列選択信号を実質的に同時に受信した場合にのみ画素をトリガーするように構成配置されている。

一実施形態においては、シャッター信号、行選択信号および列選択信号を受信するための入力を有する論理ＡＮＤゲートが、制御手段に具備されている。

別の実施形態において、制御手段は複数の直列接続されたスイッチ装置を具備し、各スイッチ装置はシャッター信号、行選択信号および列選択信号のうちの少なくとも１つを受信するように作動可能に接続されている。このアレンジは、トランジスタを少数しか必要とせずに済み、しかもセンサー装置表面の占有面積を削減できるので、何らかの状況でＡＮＤゲートを使用する場合に好ましい。スイッチ装置は、例えば、ＭＯＳＦＥＴトランジスタなどのトランジスタパススイッチであり得る。

画像センサーは好ましくはＣＭＯＳ ＡＰＳ装置を具備し、この装置において各画素は画素に照射する光量を表す電荷を格納する装置を備える。これにより、すべての画素が露光されるまで入射光を表す電荷を各画素に格納でき、その後、すべての画素からのデータのキャプチャが可能になる。この結果、装置の作動速度が上昇する。

別の態様によれば、本発明は画像取込装置を含み、この画像取込装置は、先行する発明の記述のいずれか一項に記載の画像センサーと、画素からのデータを格納するためのデータ記憶装置と、を具備する画像取込装置であって、該画素を複数の画素サブセット（複数の画素からなる部分）に分割し、時分割された複数のローレゾ画像をキャプチャするように該画像取込装置を構成配置し、該ローレゾ画像のそれぞれが別の画素サブセットからのデータを含む。

好都合なことに、画像取込装置は、複数のローレゾ画像内のデータを結合することによってハイレゾ画像をキャプチャするように構成配置されている。

画像取込装置は、画素アレイの操作を制御するための制御装置を具備し得る。この制御装置は画素を事前定義済みのランダム又は擬似ランダムシーケンスでトリガーするように構成配置される。

別の態様によれば、本発明は先行する発明の記述のいずれか一項に記載の画像取込装置を具備するカメラを含む。カメラは好ましくは、光線の焦点をセンサーのアクティブ領域に合わせるためのレンズを具備する。カメラはまた、キャプチャされた画像を表示するための表示装置を具備し、単一のハイレゾ画像、又はローレゾ画像のシーケンスのいずれかを表示するように構成配置できる。好都合にも、カメラは画素サブセットの露光を制御するための制御装置を具備する。

本発明の別態様によれば、複数の画素がアレイ内に配設されている画像センサーを使用して画像をキャプチャする方法が提供されている。本方法はアレイ内の個々の画素を選択する工程と、シャッター信号を画素に伝送する工程とを含み、それにより、該画素は、選択されていてかつシャッター信号を受信した場合に限り、入射光が検知されるようにトリガーされるようになっている。

好都合にも、アレイ内の画素を個別にトリガーすることによって、それぞれの時点で光線がキャプチャされるようになっている。

好ましくは、画素が行および列のアレイ内に配設されていて、その画素が位置する行および列に沿って行選択信号および列選択信号を伝送することによって個々の画素が選択されるようになっている。

好ましくは、行選択信号および列選択信号のうちの少なくとも１つがシフトレジスタで生成される。

好ましくは、シャッター信号、行選択信号および列選択信号を実質的に同時に受信した場合にのみ入射光が検知されるように、各画素がトリガーされる。

好都合にも、本方法は、時分割された複数のローレゾ画像をキャプチャする工程を含み、ローレゾ画像のそれぞれは、複数の画素サブセットのうちの別の画素からのデータを含む。

画素サブセットは好ましくは、順次露光される。

好都合にも、複数のローレゾ画像からのデータを結合することによって、ハイレゾ画像が生成される。

本発明は、時分割された一連の低解像度（「ローレゾ」）画像を各高解像度（「ハイレゾ」）画像内に埋め込むことを可能にしている。その後、埋め込みローレゾ画像をムービーとしてシーケンスで表示することも、それらの画像内のデータを結合して単一のハイレゾ画像を形成し得る。このようにして、ムービーおよび静止画を同時にキャプチャできる。本発明では、既存のセンサー装置で現在達成できるフレームレートよりもはるかに高いフレームレートでムービーをキャプチャできる。ローレゾ画像の空間解像度は、ハイレゾ画像の空間解像度に比べて低いが、それでも多くの用途には十分である。解像度対フレームレートのバランスは、簡単に調整できる。更に、静止画は、空間解像度の損失も装置のデータ記憶要件の顕著な増大も伴わずにキャプチャできる。

ここで、添付図面を参照して、例を挙げながら本発明の特定の実施形態について説明する。

本発明の第１の実施形態に従う画像センサーの小部分を概略的に示す、正面概略図である。 図１の画像取込装置における各シャッター要素のシャッター露光時間を例示したチャートである。 画像センサーで画像シーケンスのキャプチャを可能にする仕組みを示した図である。 グローバルシャッター制御を備える従来の先行技術の画素の回路図である。 個々の画素レベルでのシャッター制御を備えた、本発明の第１の実施形態に従う画素の回路図である。 本発明の実施形態に従う画素の制御回路を示した図である。 制御回路の動作を概略的に示した図である。 個々の画素レベルでのシャッター制御を備えた、本発明の第２の実施形態に従う画素の回路図である。 個々の画素レベルでのシャッター制御を備えた、本発明の第３の実施形態に従う画素の回路図である。 本発明に係る画像センサーを具備したカメラの主要コンポーネントを示す概略図である。

本発明の第１の実施形態に従う画像取込装置の一部は、図１〜３に示すとおりである。画像取込装置２は、光電感度性ピクチャエレメント（画素）６の矩形アレイを含むアクティブ領域を有するセンサー４を備える。センサー４は、例えば、ＣＭＯＳ ＡＰＳ装置（相補金属酸化物半導体、アクティブな画素センサー装置）、又は等価物であり得る。

簡潔にするために、図１に示すセンサー４はきわめて小型で、６×６画素の正方形アレイ内に３６画素のみが配設してある。ほとんどのリアルセンサーにおいて画素アレイは、このセンサー４に比べてはるかに大型で、数百万画素で構成できる。画素アレイはまた別のアスペクト比を有することが可能であり、画素をそれぞれ異なるパターンで配置できる。

より一般的には、センサー４は、サブセットＳ_１、サブセットＳ_２．．．サブセットＳ_Ｎと呼ばれるＮ個の画素サブセットに分割されるＡ画素を含む。それぞれのサブセットはＡ／Ｎ画素を含む。図１に示す単純な例では、センサーは３６個の画素（Ａ）および４つの画素サブセット（Ｎ）を含み、各サブセットは９つの画素を含んでいる。

それぞれのサブセットＳ_１〜Ｓ_Ｎの画素６はいくつかの画素グループ８にグループ化され、画素グループ８はそれぞれ各サブセットからの画素を１つ含んでいる。図１に示す例では、画素グループ８はそれぞれ４つの画素６を含み、左上隅にサブセットＳ_１からの画素、右上隅にサブセットＳ_２からの画素、左下隅にサブセットＳ_３からの画素、および右下隅にサブセットＳ_４からの画素を含んだ正方形に配設されている。したがって、この例でセンサー４は、４つの画素サブセットＳ_１〜Ｓ_４および９つの画素グループ８を含む。画素グループ８は実質的にセンサー４のアクティブな表面全体をカバーし、結果的に各画素サブセットＳ_１〜Ｓ_Ｎは実質的にセンサー４のアクティブ領域全体からの画素を含む。

各サブセットＳ_１〜Ｓ_Ｎ内の画素６は電子的に連結されていて、それにより、いずれか１つのサブセット内のすべての画素をトリガー（動作させて）して、実質的に同時に入射光をキャプチャできるようになっている。以下に詳述するように、画素の露光は制御電子装置で制御される。この例では、４つの画素サブセットＳ_１〜Ｓ_４は、図２に示すように光線が順次キャプチャされるように配設されている。このようにして、画素サブセットＳ_１内の画素が第１の期間０．２５秒、続いてサブセットＳ_２内の画素が次の期間０．２５秒、その後にサブセットＳ_３の画素があと０．２５秒、そして最後にサブセットＳ_４の画素が第４の期間０．２５秒、光線をキャプチャする。したがって、４つのすべての画素サブセットＳ_１〜Ｓ_４の合計積分時間Ｔ_ｉは１．０秒、各画素の個々の露光時間はＴ_ｉ／Ｎ（この例では０．２５秒）になる。

露光中に、各画素は光量子がその表面に衝突したときに生成された電荷を積分する。設定された積分時間Ｔ_ｉの後、すべての画素上の電荷がデジタル化され、結果として生成されたデジタル画像データがセンサー４からメモリー装置に転送される。

格納された画像データは、連続した画像シーケンスを含む動画（ムービー）として、又は単一静止画として表示できる。画像データをムービーとして表示するには、各画素サブセットでキャプチャされた画像データから別個の画像を作成する。このようにして、図３に示すように、第１の画像Ｉ_１は画素サブセットＳ_１内のすべての画素でキャプチャされた画像データから作成され、第１期の０．２５秒の間のセンサー上の光入射を表す。画像Ｉ_２は画素サブセットＳ_２内のすべての画素でキャプチャされた画像データから作成され、第２期の０．２５秒の間のセンサー上の光入射を表す。画像Ｉ_３およびＩ_４についても同様のことが当てはまる。４つの画像Ｉ_１〜Ｉ_４は、４つのフレームビデオシーケンスとして順次表示される。

ムービー生成時には、様々な画素サブセットの画素が若干異なる既知の場所からデータを収集するという事実を考慮して、表示された低解像度画像における各画素の見かけの位置が若干シフトされる可能性がある。この例では、ムービーの各フレームはセンサー全体の解像度の１／４に相当する９画素の画像サイズを有する。本明細書中では、フルセット未満の画素を使用して生成される画像を、実質的にフルセットの画素を使用して生成される高解像度（「ハイレゾ」）画像と区別するために、低解像度（「ローレゾ」）画像と呼ぶ。より詳細には、ローレゾ画像は通常、フルセットの画素のフラクション１／Ｎを使用して生成される。ここで、Ｎは画素サブセットの数を表す整数である。

拡張ビデオシーケンスが必要な場合、この画像キャプチャプロセスを１回以上繰り返して複数のデータセットを毎Ｔ_ｉ秒１データセットの速度でキャプチャし、キャプチャされたローレゾ画像を引き続き順次表示できる。

静止画を表示するには、センサー上のすべての画素からのデータを使用して、フルフレームの高解像度画像を作成する。この例では、この画像は３６画素になる。ローレゾ画像のデータを４つともすべて結合して１つのハイレゾ画像を作成することによって、高解像度画像を生成できる。

従来の先行技術の画素１２の回路図は、図４に示すとおりである。カメラ用の典型的なＣＭＯＳ ＡＰＳ画像センサーは一般に、そのような画素のアレイを含む。画素１２はフォトセンサー装置１４と、トランジスタ転送スイッチ１８と、読み出し回路２２と、トランジスタリセットスイッチ２４と、を含む。

フォトセンサー装置１４は、光電検出器（例えば、フォトダイオード又はフォトトランジスタ）を具備する。フォトセンサー装置１４は、フォトセンサー結線１６にて電圧Ｖ_ｐで表される出力信号を供給する。この出力信号はトランジスタ転送スイッチ１８の第１の端子に接続する。転送スイッチ１８の第２の端子は、読み出し電圧Ｖ_ｓ用の読み出し結線２０を提供し、読み出し回路２２に接続している。転送スイッチ１８のゲート端子は、シャッターノード２８からのシャッター信号を受信するように接続されている。この例で、転送スイッチ１８はｎチャネルＭＯＳＦＥＴ（金属酸化膜半導体電界効果トランジスタ）であり、シャッターノード２８からのオン信号を受信したときにのみ導電する。

リセットスイッチ２４は別のＭＯＳＦＥＴトランジスタを具備する。この例で、リセットスイッチ２４のソース端子は固定電源電圧Ｖ_ｄｄに接続されている。リセットスイッチ２４のゲート端子は、リセットノード３０からのリセット信号を受信するように接続されている。ドレイン端子はフォトセンサー結線１６を介してフォトセンサー装置１４に接続されている。

読み出し回路２２は、ソースフォロアートランジスタ３２を備える従来の選択可能ソースフォロアー読み出し回路と、行選択信号３６を受信するように接続されている選択トランジスタ３４と、選択トランジスタ３４のソース結線に接続されている出力信号Ｖ_ｏｕｔの出力ノード３８とを具備する。読み出し回路２２は、転送スイッチ１８の読み出し結線２０における電圧を検知するように設計されている。選択トランジスタ３４のゲートは、列の画素内のどの画素を出力ノード３８に接続するかを選択する行選択ノード３６から、選択信号を受信するように接続されている。

使用時には、リセットノード３０を介してトランジスタリセットスイッチ２４のゲートにリセット信号を適用し、このようにして、リセットスイッチ２４を導電する。リセットスイッチ２４は、回路コンポーネント固有の静電容量による電荷を格納する、フォトセンサー１４に高電圧Ｖ_ｄｄを印加する。画素がリセットされた後は、リセット信号がオフになる。

画素上に照射される光の強度を検知するために、シャッターノード２８経由で、オン信号が転送スイッチ１８のゲートに適用される。これにより、格納された電荷が光電検出器１４を介して放電される。電荷の放電速度は光電検出器１４を通る光電流Ｉ_ｐに依存し、この光電流Ｉ_ｐは光電検出器上の入射光の強度に依存する。このようにして、フォトセンサー結線１６における電圧Ｖ_ｐが、フォトセンサー１４上に照射する光の強度に依存する速度で降下する。

結果として、フォトセンサー１４はフォトセンサー結線１６にて、検出された光の時間積分に比例する出力信号Ｖ_ｐを供給する。この出力信号Ｖ_ｐは、転送スイッチ１８および読み出し結線２０経由で読み出し回路２２の入力に適用される。

所定の露光時間の終わりにシャッター信号がオフになり、その結果、読み出し回路２２からフォトセンサー１４が切断される。切断の時点で、読み出し回路によって出力信号Ｖ_ｐが格納される。このようにして、キャプチャ時点で、オフシャッター信号の時間調整によって判別された読み出し回路２２が、フォトセンサーから絶縁される。読み出し回路２２は、キャプチャ時点でフォトセンサー信号Ｖ_ｐをサンプリングし、出力ノード３８に読み出し信号を供給する。よって、露光時間はオンシャッター信号の持続時間を基準に算定される。

従来、オンシャッター信号はアレイ内のすべての画素に同時に配信される。したがって、すべての画素が同時に入射光を検知するように作動する。その後、画素からの出力信号が電子プロセッサーに供給され（図示せず）、電子プロセッサーで信号がデジタル化、結合されてハイレゾ画像ファイルが形成される。

本発明の第１の実施形態に従って修正された画素回路は、図５に示すとおりである。この画素回路１２はほとんどの点で図４に示す従来の画素と類似しており、フォトセンサー装置１４と、ＭＯＳＦＥＴトランジスタ転送スイッチ１８と、読み出し回路２２と、トランジスタリセットスイッチ２４とを具備する。光電検出器１４（例えば、フォトダイオード又はフォトトランジスタであり得る）は、フォトセンサー結線１６にて出力信号を提供し得る。この出力信号は、トランジスタ転送スイッチ１８の第１の端子に接続する。転送スイッチ１８の第２の端子は、読み出し電圧Ｖ_ｓ用の読み出し結線２０を供給し、読み出し回路２２に接続する。

リセットスイッチ２４は別のＭＯＳＦＥＴトランジスタを具備する。リセットスイッチ２４のソース端子は固定電源電圧Ｖ_ｄｄに接続されていて、リセットスイッチ２４のゲート端子はリセット信号を受信するようにリセットノード３０を介して接続されている。ドレイン端子はフォトセンサー結線１６を介してフォトセンサー装置１４に接続している。

読み出し回路２２は、ソースフォロアートランジスタ３２を備える従来の選択可能ソースフォロアー読み出し回路と、行選択ノード３６を介して行選択信号を受信するように接続されている選択トランジスタ３４と、選択トランジスタ３４のソース結線に接続されている出力信号Ｖ_ｏｕｔの出力ノード３８とを具備する。読み出し回路２２は、出力からいっさい電流を引き込まずに転送スイッチ１８の読み出し結線２０における電圧Ｖ_ｓを検知するように設計されている。選択トランジスタ３４のゲートは、列の画素内のどの画素を出力ノード３８に接続するかを選択する行選択ノード３６を介して、選択信号を受信するように接続されている。

転送スイッチ１８のゲート端子は、論理ＡＮＤゲート４２の出力結線４０からの制御信号を受信するように接続されている。ＡＮＤゲート４２は、シャッターノード４４、列選択ノード４６および行選択ノード４８に接続されている３つの入力を有し、それらのノードを介してそれぞれシャッター信号、列選択信号および行選択信号を受信する。ＡＮＤゲート４２は、３つの入力信号がすべてオンの場合に限り、出力結線４０にオン制御信号を供給する。１つ又はそれ以上の入力信号がオフの場合、ＡＮＤゲート４２の出力結線４０に提供された制御信号がオフになる。

前述のように、転送スイッチ１８はスイッチのゲート端子にてオン信号を受信したときにのみ導電する。したがって、ＡＮＤゲート４２の操作により、ＡＮＤゲート４２の３つの入力がすべてオンの場合に限り導電する。即ち、シャッター信号、列選択信号および行選択信号がすべてオンの場合に限り、転送スイッチ１８が導電する。したがって、列選択ノード４６、行選択ノード４８およびシャッターノード４４にオン／オフ信号を適用することによって画素の操作を制御できる。これにより、画素アレイ内の各画素が個別にアクティブ化され、上に記載したように、時間依存のローレゾ画像ファイルシーケンスのキャプチャが可能になる。

その後、これらのローレゾ画像をムービーとして別個シーケンスで表示できる。又は、これらのローレゾ画像を結合して単一のハイレゾ静止画を形成することもできる。

画素アレイ内の個々の画素の操作を制御するための制御回路の例は、図６に概略的に図示される。この例では、行選択信号および列選択信号は、グリッド状の制御結線ライン５４に接続している列選択シフトレジスタ５０および行選択シフトレジスタ５２で生成される。各行結線ライン５６は単一行の画素内のすべての画素の行選択ノード４８に接続されていて、各列結線ライン５８は単一列の画素内のすべての画素の列選択ノードに接続されている。したがって、画素アレイ内のすべての画素は、単一行の結線ライン５６および単一列の結線ライン５８経由で、シフトレジスタ５０、５２に接続されている。

それぞれのシフトレジスタ５０、５２によって一連のオン／オフ信号が格納される。これらのオン／オフ信号は、結線ラインのグリッド５４経由で、画素アレイ内の画素に適用される。シャッターノード４４はいずれも、同時にシャッター信号を受信するように共通のシャッター結線（図示せず）に接続されている。

使用時に、画素はシャッターノード４４、列選択ノード４６および行選択ノード４８で受信された信号によって制御される。論理ＡＮＤゲート４２の操作により、３つの信号がすべてオンの場合に限り、各画素が光を検知する。したがって、列選択および行選択ノード４６、４８に配信された列選択および行選択信号を制御することによって、個々の画素の操作を制御できる。

単純な２×２の４つの画素サブグループに関する典型的な制御シーケンスの例は、図７に図示したとおりである。この例では、列選択シフトレジスタ５０および行選択シフトレジスタ５２はそれぞれ、一連の交流制御信号を１，０，１，０，１，０，．．．，の形式で格納する。ここで、「１」はオン、「０」はオフである。第１のステップでは、行ｌおよび列ｌ信号がオンになり、行２および列２信号がオフになる。したがって、サブセットＳ_１内の画素はオンになり、サブセットＳ_２、Ｓ_３およびＳ_４内の画素はオフになる。第２のステップでは、列選択シフトレジスタ５０が１ステップだけ前進し、それにより、この時点で交流制御信号のシーケンスが０，１，０，１，０，１，．．．になる。一方、行選択シフトレジスタ５２は前進しない。結果として、この時点でサブセットＳ_２内の画素がオンになり、サブセットＳ_１、Ｓ_３およびＳ_４内の画素がオフになる。

第３のステップでは、列選択シフトレジスタ５０および行選択シフトレジスタ５２の両方が１ステップだけ前進し、それにより、この時点でサブセットＳ_３内の画素がオンになり、第４のステップにおいては列選択シフトレジスタ５０のみが１ステップだけ前進し、それにより、この時点でサブセットＳ_４内の画素がオンになる。次のステップにおいては、列選択シフトレジスタ５０および行選択シフトレジスタ５２の両方が１ステップだけ前進し、センサーがステップ１として例示された状況に戻る。

別の例では、４×４の１６画素サブグループの制御シーケンスにおいて、各シフトレジスタは制御シーケンスを１，０，０，０，１，０，０，０，等の形式で格納することができる。この制御シーケンスがアレイ内の画素に適用されると、各グループ内の１画素のみがアクティブ化される。行選択制御レジスタが３回前進すると、同じ列内の他の３つの画素が順にアクティブ化される。その後、行選択レジスタおよび列選択レジスタの両方が１ステップだけ前進して、次の列内の第１の画素がアクティブ化され、以後も同様に画素サブグループ内の他の画素がそれぞれアクティブ化できるというようになっている。

もちろん、それ以外にも多くの制御シーケンスが可能である。上に記載したように、画素を規則的なパターンでアクティブ（動作）することは必須ではない。事実上、状況によっては、画素を擬似ランダムシーケンスでアクティブ化（動作している状態に）するのが有利であり得る。このアクティブ化は、シフトレジスタに格納されている制御シーケンスを変化させることによって、又は異なるパターンで（例えば、単一又は複数のステップで前方又は後方のいずれか一方に）レジスタを前進させることによって遂行できる。

本発明の第２の実施形態に従って修正された画素回路の一部は、図８に示すとおりである。この画素回路は、図５に示す画素回路とほぼ同じであるが、ＡＮＤゲート４２が制御回路６０で置換されている（詳細は後述）。この画素回路が、図５に示す従来の回路に比べて優れている点の１つは、トランジスタの所要数が少なくて済み、しかも小型化されていることである（ＡＮＤゲートはコンポーネントが比較的大きい）。このため、より多くの画素をセンサー／ユニット領域上に供給できる。

図８に示す修正された画素回路は、フォトセンサー装置と、ＭＯＳＦＥＴトランジスタ転送スイッチ１８と、読み出し回路と、トランジスタリセットスイッチとを具備する。ただし、明確にするため、図８には転送スイッチ１８のみが示してある。他の回路コンポーネントは正確には図５に示すとおりである。

転送スイッチ１８のゲート端子４０は、制御回路６０から制御信号を受信するように接続されている。制御回路６０は直列接続された２つのＭＯＳＦＥＴ制御トランジスタ６２、６４を具備する。これらのトランジスタのゲート端末はそれぞれ列選択ノード４６および行選択ノード４８に接続されていて、使用時に列選択信号および行選択信号を受信できるようになっている。シャッターノード４４は、２つの制御トランジスタ６２、６４経由で、転送スイッチ１８のゲート端子４０に接続されている。したがって、列選択信号および行選択信号の両方がオンの場合に限り、シャッターオン信号を転送トランジスタ１８のゲートに配信できる。転送スイッチ１８のゲート端子４０がレジスタ６８経由でアース接続６６に結合されているため、制御回路６０からオン信号がまったく受信されないときは、確実に転送スイッチ１８がオフのままになる。

作動時に、制御回路６０は３つの入力信号がすべてオンの場合に限り、出力結線４０にオン制御信号を供給する。したがって、シャッター信号、列選択信号および行選択信号がすべてオンの場合に限り、転送スイッチ１８が導電する。オン／オフ信号を列選択ノード４６および行選択ノード４８に適用し、シャッター信号をシャッターノード４４に適用することによって、画素の操作を制御できる。この結果、画素アレイ内の各画素を個別にアクティブ化でき、上に記載したように、時間依存のローレゾ画像ファイルのシーケンスをキャプチャすることが可能になる。その後、これらのローレゾ画像を別個にシーケンスで表示できる。又は、これらのローレゾ画像を結合して、単一のハイレゾ画像を形成できる。

本発明の第３の実施形態に従って修正された別の画素回路の一部は、図９に示すとおりである。この画素回路は、図８に示す画素回路とほぼ同じであるが、制御回路６０はレジスタ６８の代わりに、転送トランジスタ１８のゲート端子４０とアース接続６６との間に並列に接続されている２つの付加的なＭＯＳＦＥＴトランジスタ７０、７２を具備する。これらの付加的なトランジスタのゲート端子はそれぞれ、使用時に反転した列選択および行選択信号を受信するノード７４、７６に接続されている。これらの付加的なトランジスタ７０、７２の目的は、列選択および行選択信号の一方又は両方がオフの場合に、転送トランジスタ１８をオフ状態に保持することにある。

各サブセット内の画素の位置は、図１に示す規則的なパターンに従う必要はない。画素グループ内の見かけ上ランダムな位置は、数値スキームを実装することによって選択できる。この数値スキームは、乱数発生器およびユーザ指定のシード値を使用して、画素グループ内の各画素の位置をシャッフルする。ランダム化されたスキームには２つの利点がある。第１に、画素間の平均距離は同じ場合でも、低解像度画像内の各画素の位置がランダムに割り当てられていることである。ランダムに分散された画素と画像再構成用にアンダーサンプリングされた規則的なアレイの利点については、米国特許第４５７４３１１号「Ｒａｎｄｏｍ Ａｒｒａｙ Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅｓ，Ｒｅｓｎｉｋｏｆｆ，Ｐｏｇｇｉｏ，ａｎｄ Ｓｉｍｓ」に比較対照して詳しく説明されている。第２に、正確な時間調整をもたらす整数のシャッフルシーケンスが公知である場合にのみ、低解像度画像シーケンスを回復できることである。キー指定の乱数生成アルゴリズムを組み込むアルゴリズムによってシャッフルシーケンスが生成される場合、画像シーケンスを表示する人がキーを指定した場合に限り、画像シーケンスを回復できる。このため、画像シーケンスの暗号化によって、無断で表示されることのないように保護できる。

図１に示す矩形ジオメトリの代替として、画素グループは不規則な多角形形状を有してもよい。したがって、画素グループは不必要な画素を除外しながら関心領域を厳密に網羅できる。ユーザが顕微鏡的視野で少数のセルのアクティビティをモニターすることを望み得るライフサイエンスにおいて、使用例が考えられる。ユーザは関心があるセルの周囲に多角形形状を描画でき、これらの形状内の画素は、アルゴリズムを介して異なる時点で露光されるグループに分割できる。

センサーで撮像された主体が露光時間中に動いた場合、画像が何らかの「モーションブラー」を含み得る。そのモーションブラー量は一般に、すべての画素が同時に露光される従来の静止カメラセンサーを使用した場合のモーションブラー量を超える。その理由は、合計積分時間が個々の画素の露光時間を超えるためであるが、主体に動きがほとんど又はまったくない場合、画像品質は従来のセンサーと実質的に同等である。

別の態様として、様々な画像キャプチャモード（例えば、上に記載したように画素要素が順次作動する「ムービー／静止画」モード、又はすべての画素要素が同時に作動する「静止画専用」モード）を選択し得る。ムービー／静止画モードでは、キャプチャされたローレゾ画像をムービーとして順次表示できる。又はキャプチャされたローレゾ画像同士をまとめてハイレゾ静止画として表示することもできる（その際、一部のモーションブラーを用いることも可能）。静止画専用モードにおいてモーションブラーは、従来のセンサーによるモーションブラーと同等であるが、一連の時分割ローレゾ画像がキャプチャされないため、画像をムービーとして順次表示できない場合がある。

別の態様として、設定された数の画素数を使用してブラーフリーのハイレゾ画像を得る一方、前述したように残りの画素数を使用して一連のローレゾ画像を得ることもできる。ユーザは所望のピクチャ品質を保証できるように、ハイレゾの低ブラー画像の画素数を選択できる。例えば、５０％の画素を充当して、このサブグループの画素がアレイ全体にわたって分散された高解像度のブラーフリー画像を作成できる。これらの画素は同時に、ユーザ設定のブラーフリー画像に最適な露光時間と同等な短時間だけ露光される。残りの画素は、従来通りＮ−ｌグループに分割され、順次露光されてムービーシーケンスを生成する。高解像度グループ内の画素の分散は、規則的（例えば、１つおきの画素）であり得るか、又は画素はランダムに分散もしくは擬似ランダムに分散することもできる（結果として、画素の定義済みのサブ領域全体の平均密度は一定であるが、その領域内の個々の画素は既知のランダムな分布を使用して選択される）。高解像度画像内で欠落している画素は、利用可能な多様な信号処理技術のいずれかを使用して補正できる。ランダムに分散した画素と画像再構成用にアンダーサンプリングされた規則的なアレイの利点は、米国特許第４５７４３１１号明細書「Ｒａｎｄｏｍ Ａｒｒａｙ Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅｓ，Ｒｅｓｎｉｋｏｆｆ，Ｐｏｇｇｉｏ，ａｎｄ Ｓｉｍｓ」に比較対照して詳しく記載されている。

ここで、８．２メガ画素（寸法２３４０×３５００画素）センサーを具備するデジタルＳＬＲカメラにおいて本発明が実装されている実際的な例を記載する。これと同等の従来型カメラが現在出回っており、フルフレーム画像を５フレーム／秒の速度でキャプチャできる。本発明がこのカメラに実装された場合、例えば、各フルフレーム画像内の１０個の０．８２メガ画素ローレゾ画像をキャプチャできる。これらのローレゾ画像は、ムービーモードで速度５０フレーム／秒、フレームサイズ７３８×１１０８画素にて順次表示できる。別の態様として、一連の各ローレゾ画像を再結合して、高解像度８．２メガ画素静止画を作成できる。

各フルフレーム画像内に低解像度画像を更に多く埋め込むことによってフレームレートを更に向上できることは、もちろん明らかである。別の態様として、低フレームレートが適当な場合、解像度が更に高いムービーをキャプチャできる。

上記のプロセスにおいて埋め込みローレゾ画像の作成に使用される連続露光間隔は、個々の露光持続時間に等しい。したがって、直前の露光が終わると次の露光が開始し、合計積分時間Ｔ_ｉはＮｔに等しい。ここで、Ｎは画素サブセットの数であり、ｔは個々の画素の露光時間である。別の態様として、露光時間間隔および露光時間はオーバーラップ又は離間するように調整できる。これにより、ユーザはモーションブラー又は微光条件を補正することができる。例えば、図２に示すように露光時間０．２５秒を使用する代わりに、露光時間を０．１５秒に減らすことができる。個々の画素サブセットの露光時間調整は、画素サブセット１の場合は０〜０．１５秒、画素サブセット２の場合は０．２５〜０．４秒、画素サブセット３の場合は０．５〜０．６５秒、画素サブセット４の場合は０．７５〜０．９秒になり得る。合計積分時間はＮｔ未満になる。

別の例として、露光時間を０．４秒に増分することもできる。その場合、個々の露光時間調整は、画素サブセット１の場合は０〜０．４秒、画素サブセット２の場合は０．２５〜０．６５秒、画素サブセット３の場合は０．５〜０．９秒、画素サブセット４の場合は０．７５〜１．１５秒になる。この場合、画素サブセット露光がオーバーラップする（１は２とオーバーラップし、２は３とオーバーラップし、３は４とオーバーラップし、４は１とオーバーラップする）。したがって、露光間隔は、主体が変化又は移動する速度に応じて最適化できる。

本発明の応用例として、多種様々なものが考えられる。それらのいくつかについて、以下に説明する。

消費者向けカメラ
本発明は、静止画のキャプチャを主な用途とするカメラ内に実装でき、それにより、ムービーを比較的高い解像度およびフレームレートでキャプチャすることを可能にする。例えば、上述したように、８．２メガ画素の画像シーケンスを５フレーム／秒の速度で撮影できるカメラは、０．８メガ画素の画像のムービーシーケンスを５０フレーム／秒のフレーム速度で供給できる。

消費者にとっての利点はオリジナルの高解像度写真が保存され、データ記憶要件（メモリー内の画像サイズ）が従来のデジタルカメラと変わりがないことである。応用例としては、ビデオ捕捉およびセキュリティカメラ操作を挙げることができ、シーンの詳細にも対応する高解像度画像、および低解像度画像シーケンスの同時キャプチャが可能になっている。

カメラの基本要素は、図１０に概略的に示すとおりである。このカメラ８０は、画像をＣＭＯＳセンサー８４にフォーカスするレンズ８２を具備する。センサー８４を形成する個々の画素を入射光に露光する工程は、センサーからのデータの読み出しも行う中央プロセッサーユニット（ＣＰＵ）８８によって制御される。このデータは、メモリー装置９０（例えば、フラッシュメモリーカード）に格納される。カメラは、シャッターリリース９２と、ＣＰＵ８８に連結されている制御スイッチ９４とを具備し、例えば、カメラの操作モードの設定に使用できる。操作モードは、例えば、カメラが各ハイレゾフレーム内の一連の時分割ローレゾ画像（ムービー又は高解像度静止画として表示可能）をキャプチャする「ムービー／静止画」モードを含むか、又はすべての画素を同時に露光することによってモーションブラーが最小限に抑えられた静止画が形成される「静止画専用」モードを含み得る。カメラはまた、他の従来技術（例えば、ビューファインダ、設定のチェック又はキャプチャされた画像の表示を行うディスプレイユニット、レンズ８２の絞り、焦点距離およびピント合わせを制御するレンズコントロール、フラッシュユニット、データ出力ポートなど）も具備し得る。

セキュリティ／マシンビジョン
変化しつつある３Ｄシーンのモニターに使用されるカメラは、モニター用途およびロボット工学／マシンビジョンに一般的に用いられているが、いくつかの課題を解決しなければならない。１つの問題は、物体がカメラを基準とした相対位置に移動した場合、センサー全体にわたる画像の動きの大きさは、カメラから物体の距離に反比例することである。この結果、カメラに近い物体に対してモーションブラーが顕著になり、必要な詳細が覆い隠される。例えば、街路上又は建物のロビー内の歩行者グループを監視した場合、カメラに近接した歩行者の顔の画像にブラーが生じる。画像全体に対するシャッター時間を減らした場合、遠隔の物体から収集される光の総量は比較的少量であるため、カメラから遠く離れた物体の画像品質が劣化する可能性がある。

本発明は、１つのフレーム内の画素グループの数（更には、一時的解像度、空間解像度、および合計露光時間）を変化させ、シーン内のいくつかの物体の撮像を最適化することによって、この問題に対処できる。好都合にも、物体はカメラに近接するほど、比例的にサイズが増大し、空間解像度要件が軽減されるため、時間分解能の増加が可能になる。画素グループのサイズは、シーンの演繹的知識を使用して選択できる（例えば、交通流の方向に面した高架カメラによって高速道路上での走行を監視されている車両は、画像の上部に向かって比例的に縮小するため、画素グループサイズのグラデーションを使用して自動車あたりの平均画素数を維持できる。別の態様として、画素グループのサイズは、アルゴリズム的方法（例えば、Ｂｅｒｔｈｏｌｄ ａｎｄ Ｓｈｕｎｃｋ，“Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ”，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，ＭＩＴ，１９８０に記載されているように、静止画内のモーションブラーから光学フローを得ることによって）、又は距離測定機器（例えば、レーザー測距器、又はそれに類するもの）を使用して動的に選択できる。

加えて、特定の関心領域は、大多数の画像に用いられる画素グループのパターンに依存せずに、種々の解像度で撮像できる。例えば、トラフィックをモニターしているカメラは、適切に選択された画素矩形の露光時間を制御して車両のライセンスプレートの高空間解像度画像を得る一方、低空間解像度で車両の動きをモニターすることもできる。

カメラを使用して（十分大きい画素グループを使用して）車両モーションを低空間解像度で絶えずモニターすることによって、そのようなシステム内にレーダー装置を使用せずに、車両速度およびライセンスプレートの検出を行うことができる。コンピュータアルゴリズムは、車両速度を計算し、必要に応じて高空間解像度で画素グループを動的に画像（シーン全体又はライセンスプレートのみのいずれか一方）に変更する。

Claims (21)

1. アレイ内に配設されている複数の画素と、
   前記アレイ内の個々の画素を選択するために選択信号を提供する選択手段と、
   シャッター信号を前記画素に伝送するためのシャッター制御手段とを具備する画像センサーであって、
   前記画素のそれぞれは、フォトセンサー装置と、前記フォトセンサー装置と前記読み出し回路との間に接続された転送スイッチと、前記画素をトリガーする制御手段とを含み、
   前記制御手段は、シャッター信号と少なくとも1つの選択信号を受信するように接続されており、前記制御手段は、前記転送スイッチに、スイッチ動作を制御するように接続されており、
   前記画素はシャッター信号と選択信号の両方を受信した場合に限り、入射光を検知するように構成され、それにより、前記アレイ内の画素を個別にトリガーして、それぞれの時点で光線を取り込めるようになっている、画像センサー。
2. 前記画素が行および列のアレイ内に配設されていて、行選択信号および列選択信号を受信するように接続されており、それにより、その画素が位置する行および列に沿って行選択信号および列選択信号を伝送することによって個々の画素を選択できるようになっている、請求項１に記載の画像センサー。
3. 前記選択手段が複数の行選択ラインと複数の列選択ラインとを含み、各行選択ラインが特定の行内の前記すべての画素に接続されていて、各列選択ラインが特定の列内の前記すべての画素に接続されている、請求項２に記載の画像センサー。
4. 前記選択手段がグリッド状の行選択ラインおよび列選択ラインを含む、請求項３に記載の画像センサー。
5. 前記行選択信号および前記列選択信号のうちの少なくとも１つがシフトレジスタで生成される、請求項２から４のいずれか一項に記載の画像センサー。
6. シャッター信号、行選択信号および列選択信号を実質的に同時に受信した場合にのみ前記画素をトリガーするように前記制御手段が構成されている、請求項２から５のいずれか一項に記載の画像センサー。
7. シャッター信号、行選択信号および列選択信号を受信するための入力を有する論理ＡＮＤゲートが前記制御手段に具備されている、請求項６に記載の画像センサー。
8. 前記制御手段が直列接続された複数のスイッチ装置を具備し、各スイッチ装置がシャッター信号、行選択信号および列選択信号のうちの少なくとも１つを受信するように作動可能に接続されている、請求項６に記載の画像センサー。
9. 前記画像センサーがＣＭＯＳ ＡＰＳ装置を具備する、請求項１から８のいずれかに記載の画像センサー。
10. 請求項１から９のいずれか一項に記載の画像センサーと、
    前記画素からのデータを格納するためのデータ記憶装置と、を具備する画像取込装置であって、
    前記画素を複数の画素サブセットに分割し、時分割された複数のローレゾ画像を取り込めるように、前記画像取込装置が構成され、
    前記ローレゾ画像のそれぞれが別の画素サブセットからのデータを含む、画像取込装置。
11. 複数のローレゾ画像内のデータを結合することによってハイレゾ画像を取り込むように前記画像取込装置が構成されている、請求項１０に記載の画像取込装置。
12. 前記画素アレイの操作を制御するための制御装置を具備し、前記制御装置が事前に定義済みのランダムシーケンス、又は擬似ランダムシーケンスにて前記画素をトリガーするように構成されている、請求項１０又は１１に記載の画像取込装置。
13. 請求項１０から１２のいずれかに記載の画像取込装置を具備するカメラ。
14. 画像センサーを使用して画像を取り込む方法であって、
    前記方法は前記アレイ内の個々の画素を選択する工程と、
    シャッター信号を前記画素に伝送する工程とを含み、
    それにより、前記画素は、選択されていて、かつシャッター信号を受信した場合に限り、入射光が検知されるようにトリガーされる、請求項１から９のいずれかに記載の方法。
15. 前記アレイ内の前記画素を個別にトリガーして、それぞれの時点で光線が取り込まれるようになっている、請求項１４に記載の方法。
16. 前記画素が行および列のアレイ内に配設されていて、その画素が位置する行および列に沿って行選択信号および列選択信号を伝送することによって個々の画素が選択される、請求項１４又は１６に記載の方法。
17. 前記行選択信号および前記列選択信号のうちの少なくとも１つがシフトレジスタで生成される、請求項１６に記載の方法。
18. シャッター信号、行選択信号および列選択信号を実質的に同時に受信した場合にのみ入射光を検知するように各画素がトリガーされる、請求項１６又は１７に記載の方法。
19. 時分割された複数のローレゾ画像を取り込む工程を含み、ローレゾ画像のそれぞれが複数の画素サブセットのうちの別の画素からの前記データを含む、請求項１４から１８のいずれか一項に記載の方法。
20. 前記画素サブセットを順次露光する工程を含む、請求項１９に記載の方法。
21. 複数のローレゾ画像からの前記データを結合することによってハイレゾ画像を作成する工程を含む、請求項１９又は２０に記載の方法。

Images