JP2009518913A - カメラユニットならびにカメラユニットの画像センサを制御する方法 - Google Patents

Abstract

本発明は、画像センサ（10）と、機械式シャッタ（16）と、ホストモジュール（12）と、それらの間の通信部、具体的には、前記画像センサと前記ホストユニットの間のデータ及び制御通信部（D1、C1）を備えるカメラユニットに関する。前記画像センサ（10）には、光電式の画素マトリクス（101）と、それを制御するタイミングユニットと、電子シャッタ（ERS）と、前記画素を同時にリセットする「グローバルリセット」回路と、が存在する。前記データ及び制御通信部は、シリアルバスに基づくデータ通信部（D1）と、シリアルバスに基づく制御通信部（C1）と、これらとは別のグローバルリセット信号通信部（G1、G2）とを備える。また、本発明は、カメラユニットにおける画像センサを制御する方法にも関する。
【選択図】図２

Description

本発明は、カメラユニットや、カメラユニットの画像センサを制御するための方法に関する。

カメラユニットにおいて、電気式シャッタまたは機械式シャッタを使用することができる。機械式シャッタを使用する場合、画像センサのグローバルリセットと機械式シャッタとの間の同期化が正確であることが必要とされる。このグローバルリセットは、画像の露光が始まると全画素（電荷値）を同時にリセットする。画像露光は、機械式シャッタを閉鎖すると終了する。一般的に、カメラセンサに接続されるタイミングユニットは、全撮影機能を制御する。

機械式シャッタは、デジタルスチルカメラおよびいくつかの携帯用コンピュータにおいて使用されている。画像センサとホストシステムとの間の従来の接続はパラレルバスであり、HSYNC、VSYNC信号をパラレルバスに接続するように同期撮影を使用する。さらに、グローバルリセットコマンドは、従来、2つの外部信号によって実行されている。

米国出願第2005/0057680号（Agan）は、画像センサにおける撮影時間を制御する方法およびデバイスを開示している。タイミングユニットが制御する列復号器および行制御器は、CMOSセルに接続される。開始状態と終了状態での画素の電荷差は、ADC変換器に転送され、そこからデジタル形式で画像圧縮器に転送される。この場合、画像センサは、共通バス（図7）に接続されており、そこに、その他の全コンピュータ構成要素、つまりCPU、RAM、ハードディスク、I/Oデバイス、およびCD-ROMドライブも接続されている。画像センサの通信部に何十本もの信号リードが含まれるような本手段は、明らかに、デバイスの小型化の妨げとなる。

画像センサの内部構造および制御回路は、製造業者のデータシートに記載されている。キャノンのDIGICIIは、多数の画像処理機能を含むCMOSセンサホストモジュールを提示している。非常に多くのリードを使用して画像センサを接続している。Micron MT9012という名称で知られる310万画素CMOS画像センサは、画素マトリクスだけでなく、撮影を制御するタイミングユニット、ADC変換ユニット、変換レジスタを含んでいる。その回路には、データ、制御コマンド、およびタイミングデータを送受信するI/O回路が設けられる。ADC回路のパラレルI/Oにより、信号リードの数は非常に多い。

機械式シャッタシステムと画像センサとの間の同期化にはいくつかのI/Oピンが必要であり、また、コマンド信号と実際の画像露光との間に大幅な遅延が存在する。通常、ホストモジュールと画像センサとの間に非常に多くのI/Oピンが必要とされる。
US2005/0057680

本発明は、上記の問題を排除し、また、これまでよりも簡素化された画像センサとホストモジュールとの通信部を形成することによって、画像センサモジュールのさらなる小型化を可能にすることを目的とする。さらに、本発明は、カメラのユーザがシャッタを押すと直ちに応答することができる方法（シャッタ遅延の最小化）を開示する。

また、ある種の制御方法は、画像センサを、機械式シャッタの直接制御を含むものからのみ選択しなければならなかったが、本発明を使用すると、そのような非柔軟性が解決される。

本発明の特徴は添付の請求項に記載される。本発明の一実施形態において、ホストモジュールは、画像センサが使用するタイミングを検出し、また、独立的に作動して機械式シャッタ及び／又はフラッシュを制御するという点において、これまでよりもインテリジェントである。

本発明が達成する利点は：
・ 画像センサの信号数が少ないため、画像センサモジュールを小型化できる可能性がある。
・ ユーザが撮影ボタンを押してから画像が実際に撮影されるまでの時間の遅延を短縮化できる可能性がある。
・ 画像センサを選択する際に柔軟性がある。

本発明に従う方法において、ホストモジュールは、撮影シーケンスの主なコマンドに関与する。ホストモジュールは、外部グローバルリセット（GRST）信号を生成することによって撮影を開始する。撮影シーケンス全体はこの信号に同期化される。ホストモジュールは、GRSTから撮影開始までの遅延ならびにGRSTから画像読み取りまでの遅延を把握する。このようにして、ホストモジュールはフラッシュを始動させ、また正確な時点で機械式シャッタを閉鎖することができる。また、本発明は、対応する別の方法を開示する。本方法において、ホストモジュールは、I2C（またはその他の）信号をセンサに伝送することによってシーケンスを開始し、センサは、撮影手続全体が同期化される信号で応答する（この場合、当然ながらシャッタ遅延は最適に短縮されないが、本発明のその他の利点が達成される）。

ホストモジュールは、例えば、カメラプロセッサまたは移動局のベースバンドユニットである。

一実施形態において、GRST信号が生成されると、画像センサは、進行中の電子ローリングシャッタフレームを即座に停止し、グローバルリセットモードに入る。このようにして、ユーザがボタンを押してから撮影が実際に開始するまでの遅延が可能な限り短縮される。また、I2Cコマンドは通常正確にタイミングが計れないため、I2Cシリアルバスを使用する場合に上記の方法は有用である。

例を用いて、また添付の図面を参照することによって、本発明について以下に検討する。

図1および2において、画像センサの内部構造は、少なくとも大部分は図6に基づく。画像センサ10には、画素マトリクス101だけでなく、まず、列復号器102と、サンプル／ホールド読み取り回路103とが設けられており、そこから、アナログ電荷状態値がADC変換器104を介してデジタル出力ユニットに通じる。タイミングユニット106は、上記ブロックの動作を制御する。

図1（モードA）によると、画像センサ10は、データバスD1、制御バスC1、グローバルリセット信号リードG1、およびストロボ信号リードSによって、ホストモジュール11に接続される。さらに、この通信部は、1つ以上の電圧源およびグラウンドリードを含む。データバスD1および制御バスC1が物理的に直列（シリアル）のバスであるため、画像センサを制御するのに必要なコネクタリードの数は比較的少ない。従って、画像センサモジュールのサイズは小さくなる。撮影手続は、GRST信号を使用して開始される。少なくとも1つの画像センサの時間遅延は、ホストモジュールに保存され、それに従ってホストモジュールは、画像センサから制御信号を受信せずに独立的に撮影手続を制御する。制御バスは、2方向である必要はなく、本発明においては1方向制御バスで十分である。プロセッサによりコマンドのタイミングが確保されないため、一般に、規格に基づく制御バスをタイミングに使用することはできない。これにより、個別のタイミング信号通信部が必要になる。

ストロボ信号は、本発明において汎用および任意である。この信号を使用して、機械式シャッタまたはフラッシュを必要に応じて制御することができる。可能な構成は以下の通りである。
A） ストロボ1を機械式シャッタに、ストロボ2をフラッシュに。
B） ストロボ1をプレフラッシュに、ストロボ2実際のフラッシュに。
C） ストロボ1を機械式シャッタに用い、ストロボ2は使わない。この場合、フラッシュの制御は、全てホストモジュールで行なわれる。
D） ストロボ1をフラッシュに用い、ストロボ2は使わない。この場合、機械式シャッタの制御は、全てホストモジュールで行なわれる。

ストロボ信号の動作は、画像センサ10のタイミングユニット106においてタイミングが計られる。図1および2の実施形態において、画像センサは、ホストモジュール12に接続される。フラッシュは、ホストモジュールに制御される（図示せず）。同様に、ホストは機械式シャッタも制御することが可能であり、この場合、ストロボ信号のリードは全体的に除去される。

図2（モードB）の変形例において、「グローバルリセット」機能を示す信号リードG2は、反対方向に進み、若干異なる撮影手続を開始する。この違いは、図7および8を使用して後に明白になる。

本実施形態（図2）において、ストロボ信号は全く使用されず、機械式シャッタおよび可能なフラッシュは、模擬タイミングを使用してホストモジュールによって独立的に制御されるようにする。従って、コネクタピンおよび信号リードの数は最小限に抑えられる。

図3は、モードBにおける撮影のタイミングに関する原理を示す。図の上側は、電子シャッタ（ERS）の動作を示し、この動作によって、列毎の電荷状態を読み込んでゼロに設定する。通常は、ファインダ画像は周期的に生成され、それによって、ビニングモードまたはその他のセンサで発生する画像の尺度を使用して、例えばVGA解像度が300万画素マトリクスから得られる。ファインダ画像において、異なる列の露光時間は、若干異なる時間に発生する。各高さにおける2つの斜線の間の水平距離は、マトリクスにおける異なる列の異なる露光時間を示す。

この場合、グローバルリセット信号（GRST、パルスの立ち上がり）は、ホストモジュールから直接提供され、送信される画像（フレーム）と同時に生じたようにする。全ての撮影タイミングは、この時点に基づく。従って、リセットは、全て時定数T1中に行なわれる（つまり、図においてT1=tRDY）。露光時間を計算する際、全画素はtRDYの終了時に正確にゼロに設定されていると想定される。この後、ホストモジュールが機械式シャッタ閉鎖のコマンドを出すまで、画像の実際の露光がもたらされる。画像の読み取りは、ERS機能読み取り手順を使用して、時間T2（つまり、図におけるtROUT）の後に開始する。列を全て読み込んでから、ホストモジュールは機械式シャッタを開放する。機械式シャッタの閉鎖時間は、図において灰色部分として示される。

グローバルリセット動作（Bモード）の主要規定は、以下のとおりである。
・ グローバルリセットは、1つの外部信号だけを使用して実行される。
・ この外部信号は、画像センサへの入力であり、また、グローバルリセット機能を開始する。ホストモジュールは、シャッタおよびフラッシュのタイミングをこの信号に同期化する。
・ グローバルリセット機能に関連するタイミングは、制御バス（I2C）の臨界コマンド含まれるべきではない。

Aモードの動作はこれと若干異なる。ホストモジュールは、コマンドバスを介して手順を開始するが、画像センサ自体が、画像フレームの伝送間のグローバルリセット信号のタイミングを計る。この場合においても、全ての動作は、グローバルリセット信号によりタイミングが計られるが、画像センサは、個別の「グローバルリセット準備」（Global reset ready；GRSTRDY）信号を使用してタイミング情報をホストに送信する。次に、ホストは、撮影手続に関する少なくともいくつかの動作のタイミングを独立的に計る。このような動作は、例えば、機械式シャッタおよびフラッシュの制御である。

［動作の詳細（Bモード）］
〔グローバルリセットシーケンスの開始〕

画像センサのグローバルリセット入力ピン（GRST）を立ち上げることによって、グローバルリセットシーケンスが開始する。これにより、電子ローリングシャッタ機能（ERS）を使用する進行中のフレームが終了する。グローバルリセット機能は、グローバルリセット入力ピンの信号に同期化される。

〔ホストモジュールへの画像露光に関する指示〕

GRSTのアサーションから全列の露光開始までの遅延（T1）は、GRSTがアサートされた時点に関わらず同じである。この遅延T1は、プログラム可能なパラメータまたは画像センサの製造業者が規定するパラメータであることが可能であるが、ホストモジュールは、この遅延T1を把握しなければならない。ユーザがボタンを押してから実際の画像の撮影までの時間を最小限に抑えるため、通常、この遅延は可能な限り短縮されなければならない。

任意であるが、画像センサは、別のピン信号（GRSTRDY）で撮影の開始を示してもよい。この信号の立ち上がりエッジは、時間T3の後の撮影の開始を示す。立ち下がりエッジは、マトリクスにおける全列に露光開始していることを示す。この遅延T3は、製造業者が規定するパラメータまたはプログラム可能なパラメータである。

任意のGRSTRDY信号が実行されても、機械式シャッタは、GRST信号に同期化可能でなければならない。つまり、画像センサは、GRSTRDY信号無しで動作可能でなければならない。すなわち、ホストモジュールは、画像センサのタイミングをシミュレートする手段を含み、それを使用して、ホストモジュールは、選択されたデバイスを独立的に制御することができる。

〔画像読み取り開始〕

ホストモジュールは、読み取り開始前に機械式シャッタを閉鎖する。画像の読み取り開始はGRST信号に同期化される。これには2つの代替案がある。
・ GRST信号のアサーションから読み取り開始までの遅延は、プログラム可能なパラメータT2である。
・ GRST信号がカウントダウンされてから、画像読み取りを開始する。

〔グローバルリセット動作後のローリング電子シャッタモードの開始〕

画像センサは、リセットシーケンス後、ローリングシャッタ動作（ERS）を自動的に開始する。グローバルリセット動作後初めてのローリング画像フレームには誤差が生じる場合がある。

Aモードについては、図7に関連してより詳しく説明される。

図4のカメラモジュールの全体配列は、図1および2の配列に対応する。この場合、ホストモジュール12は、実際のシャッタを制御する機械式シャッタ16のドライバ14を制御する。

図5の変形例において、ストロボ信号Sは、シャッタ16のドライバ14に直接接続され、ホストモジュール12と画像センサ10との間の信号リードが少なくなるようにする。

モードAにおける図1のカメラモジュールの動作は、図7のタイミング図に従って行なわれる。図の上側は、電子シャッタ（ERS）の動作を示し、この動作によって、列毎に電荷状態を読み込んでゼロに設定する。通常は、ファインダ画像は周期的に生成され、これは、ビニングモードを使用して、例えば、300万画素マトリクスからVGA解像度がもたらされる。ファインダ画像において、列によって若干異なる時間に露光される。

高解像度の鮮明な画像を撮影したい場合、画像センサはそのモードにコマンドされ、画素は、グローバルリセット信号を使用して同時にリセットされる。その時、露光も同時に開始する。電子ローリングシャッタ（ERS）は、異なる時間に画素列を読み取るが、均一な露光を実行するために機械式シャッタが必要とされ、これによって、効果的な露光が同時に完了する。

図7の2番目の列は、画像フレームの伝送を示す（モードA）。所望の高解像度画像は、断続的なフレーム画像の間に出現する。3番目の列は、ホストモジュール12から画像センサ10への、制御バスC1によって提供された画像要求を示す（この場合、I2C型であり、フィリップス社が開発しているバスの種類http://www.semiconductors.philips.com/acrobat_down load/literature/9398/39340011.pdfである）。タイミングユニットは、露光開始の時定数などを含む撮影パラメータを計算する。ホストモジュール12に提供される準備信号（GRSTRDY）は動作開始時間である。パルスtRDYは、グローバルリセット信号で、その立ち下がりエッジおよびその立ち上がりエッジから計算された時定数tS1S、tS1E、tS2S、およびtS2Eを導く。

グローバルリセットは、tRDY信号の立ち下がりエッジで全体的に実行される。第2の時間規定tRDOUTは、ERSが読み取り開始し、画素列をリセットする前の最大露光時間を表す。従って、機械式シャッタはこの領域で動作しなければならないが、より具体的には、これは、既知の方法（図示せず）で個別に計算される必要露光に依存する。

図8の変形例（Bモード）は、図2に関連し、図3に対応する。この場合、グローバルリセット信号（パルスの立ち上がりエッジ）は、ホストモジュールから直接提供され、伝送される画像（フレーム）と同時に生じたようにする。この場合、リセットは、全て時定数（tRDY）中に行なわれる。パケット、つまり進行中の画像フレームは、切断されて送信されることが必要である。

機械式シャッタのドライバがプログラム可能である変形例を、上記の実施形態に加えることが可能である。この場合、ホストは、撮影前にドライバに対してタイミングをプログラミングし、グローバルリセットまたはグローバルリセット準備信号を使用して動作を直接制御する。

ホストが、I2Cではなくグローバルリセット信号で開始する場合における第3の変形例において、センサは、ファインダから静止画像へ自動的にモードを変更することができる。さらに、静止画像およびファインダ画像は、異なるパラメータ（露光時間および増幅など）を有し、これらのパラメータは、事前にセンサにプログラミングされる。

一実施形態において、シリアルバスは、SMIA規格（http://www.smia-forum.org）に基づいている。この場合、パケットの伝送はすぐに破壊されず、32で分割可能な多くのビットが伝送される。このような動作により、規格から逸れることなく、迅速かつ高速な撮影が可能になる。

シリアルバスのみが、伝送プロトコルに関して付加的に必要性を設定することが一般的に述べられる。例えば、CCP2（http://www.smia-forum.org）の場合、伝送されるビットの数は、32で分割可能でなければならない。本発明で開示された方法は、シリアルバスプロトコルの必要性から逸れていない。本発明は、CCP2以外のシリアルバス、例えばMIPIのCSI-2にも有効である。

画像センサとホストモジュールとの通信部に関するブロック図である（モードA）。 画像センサとホストモジュールとの通信部に関する第2のブロック図である（モードB）。 撮影のタイミングに関する原理を示す。 機械式シャッタを備える1つのカメラユニットのブロック図を示す。 第2のカメラユニットのブロック図を示す。 カメラユニットの内部構造を示す。 図1のブロック図に関するタイミング図を示す。 図2のブロック図に関するタイミング図を示す。

Claims (11)

1. 画像センサ（10）と、機械式シャッタ（16）と、ホストモジュール（12）と、それらの間の通信部、具体的には、前記画像センサと前記ホストユニットとの間のデータ及び制御通信部（D1、C1）を備えるカメラユニットであって、
   前記画像センサ（10）には、光電式の画素マトリクス（101）と、それを制御するタイミングユニットと、電子シャッタ（ERS）と、前記画素を同時にリセットする「グローバルリセット」回路と、画像データの送信及び撮影コマンドの受信のためのI/O手段とが設けられており、
   前記ホストモジュールには、画像データの受信及び撮影コマンドの送信のためのI/O手段が設けられており、
   前記データ及び制御通信部は、
   ・ シリアルバスに基づくデータ通信部（D1）と、
   ・ シリアルバスに基づく制御通信部（C1）と、
   ・ これらとは別のグローバルリセット信号通信部（G1、G2）と、
   を有することを特徴とする、カメラユニット。
2. 前記画像センサ（10）は、ファインダ画像を周期的に生成及び伝送するように構成され、前記画像センサ（10）の前記タイミングユニット（106）は、前記ホストモジュール（12）が供給する選択された制御コマンドによって、撮影手続を開始し、タイミングを計られたグローバルリセット信号（G1）を周期的に生成し、また、撮影の開始を示すべくそれを前記ホストモジュール（12）に送信し、前記ホストモジュールは、このタイミング信号に基づいて、少なくとも1つの撮影手続動作を独立的に制御する手段を含むことを特徴とする、請求項1に記載のカメラユニット。
3. 前記画像センサ（10）は、ファインダ画像を周期的に生成及び伝送するように構成され、前記ホストモジュール（12）は、グローバルリセット信号（G2）を前記画像センサ（10）に伝送するように構成され、それにより前記撮影手続を開始するように構成され、前記ホストモジュールは、このタイミング信号に基づいて、少なくとも1つの撮影手続の動作を独立的に制御する手段含むことを特徴とする、請求項1に記載のカメラユニット。
4. 前記グローバルリセット信号が、伝送されるパケットと同時に生じた場合、前記画像センサ（10）は、伝送中のパケットから壊れたフレーム（broken frame）を生成するように構成される、請求項3に記載のカメラユニット。
5. 前記ホストモジュール（12）を介して前記機械式シャッタ（16）を制御するために、前記画像センサ（10）とホストモジュール（12）との間には、ストロボ信号通信部（S）が存在することを特徴とする、請求項1から4のいずれかに記載のカメラユニット。
6. 前記機械式シャッタ（16）は、そのドライバ（14）と共に、前記ストロボ信号通信部（S）によって前記画像センサ（19）に直接接続される、請求項1から4のいずれかに記載のカメラユニット。
7. 画素を含むマトリクス（101）に基づく画像センサ（10）と、ホストモジュール（12）と、機械式シャッタ（16）とを備えるカメラユニットにおける前記画像センサ（10）を制御する方法であって、前記画像センサと前記ホストユニットとの間にはデータバス（D1）および制御バス（C1）が設けられており、待機状態において、電子ローリングシャッタ（ERS）を備える前記画像センサ（10）は、低解像度でファインダ画像を周期的に生成し、それらを前記データバス（D1） を介して前記ホストモジュール（12）に伝送し、撮影状態に移行する際、間欠的な動作は中断され、選択された画像パラメータが、前記制御バス（C1） を介してカメラモジュール（10）に伝送され、画素の露光を開始するために「グローバルリセット」信号が用いられ、その露光は前記機械式シャッタ（16）によって終了し、その後、画像が読み込まれ、前記データバス（D1）を介して前記ホストモジュールに伝送され、その後、前記断続的なファインダ生成及び伝送が最終的に再開される方法であって、前記撮影状態に移行するために、前記ホストモジュール（12）は、前記画像センサ（10）に、グローバルリセット（GRST）信号直接伝送するか、前記制御バス（C1）を介して対応するコマンドを伝送し、それによって、前記ホストモジュールにおいて前記グローバルリセット信号に関連する少なくとも1つの画像センサの時間遅延が短縮されるように、撮影手続全体が開始され、それに従い、前記ホストモジュールは、前記画像センサから制御信号を受信せずに、前記撮影手続を独立に制御する、方法。
8. 前記ホストモジュールは、前記機械式シャッタを制御することを特徴とする、請求項7に記載の方法。
9. 前記ホストモジュールは、前記フラッシュを制御することを特徴とする、請求項7または8に記載の方法。
10. 前記機械式シャッタのドライバはプログラム可能に構成され、前記ホストモジュールは撮影前に前記ドライバのタイミングをプログラミングし、前記グローバルリセット信号によって直接撮影における動作を制御することを特徴とする、請求項8に記載の方法。
11. 画像センサ（10）と、機械式シャッタ（16）と、ホストモジュール（12）と、それらの間の通信部とを備えるカメラユニットであって、前記画像センサは、撮影手続を制御するタイミングユニットを含み、前記撮影手続のタイミングは、選択された信号に適応し、前記ホストモジュールは、前記機械式シャッタ及び／又は前記フラッシュのタイミングを制御するために、前記撮影手続をシミュレートする手段を含むことを特徴とする、カメラユニット。

Images