JP2011004191A - 撮像装置 - Google Patents

Abstract

【課題】低周波数のクロックで、センサの高速駆動を安定的に実現する。
【解決手段】撮像装置は、行列状に配列された複数の画素を有し、複数の画素の信号を複数の経路で読み出すことが可能な一つまたは複数の撮像素子１０２〜１０５と、撮像素子の複数の画素の信号を複数の経路を介して並行に読み出すように撮像素子を駆動する駆動部１０９と、複数の経路にそれぞれ設けられ、撮像素子の画面内の一部分の画素から読み出された信号を記憶するとともに、記憶した信号を出力する第１の記憶部１０６〜１０８と、第１の記憶部よりも大きい記憶領域を有し、第１の記憶部から出力された信号を記憶する第２の記憶部１１８と、駆動部による撮像素子の駆動に連動して、第１の記憶部からの信号の出力、第２の記憶部への第１の記憶部から出力された信号の記憶、及び第２の記憶部からの信号の出力を制御する制御部１１６とを備える。
【選択図】図１

Description

本発明は撮像素子から映像データを高速かつ安定して読み出す技術に関するものである。

近年デジタルカメラ、デジタルビデオカメラの高解像度化に伴い、撮像素子から多画素の信号を高速に読み出すことが必須となってきている。特に動画は１フィールド周期が決まっており、高速読み出しは重要な要素である。そのひとつのアプローチとして、撮像素子を複数にする、あるいは撮像素子の読み出しチャネルを複数にして、同時に読み出すシステムが知られている。この複数の経路で読み出す映像データは１つの画面として処理するために、フレーム保持用のメモリへ一旦保存されるが、それが１つであればシリアルに転送を行うことになる。

特許文献１では、そのメモリ転送のタイミング調整用のＦＩＦＯを配置し、回路構成を簡易にし、且つ各経路遅延調整をメカで行う必要性を無くしている。

特開平６−３３８９９８号公報

しかしながら、さらなる高速化、チャネル数増大を実現する場合、転送の帯域を確保しなければならないという問題が発生する。この問題は、駆動する周波数を上げれば改善されるが、消費電力の観点でのデメリットを引き起こす。限られた周波数で、最大限の転送帯域を引き出すためには、撮像素子の駆動を起点として、撮像システム全体の転送の制御を実施することが必須となってくる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、低周波数のクロックで、センサの高速駆動を安定的に実現することである。

本発明に係わる撮像装置は、行列状に配列された複数の画素を有し、該複数の画素の信号を複数の経路で読み出すことが可能な一つまたは複数の撮像素子と、前記撮像素子の複数の画素の信号を前記複数の経路を介して並行に読み出すように前記撮像素子を駆動する駆動手段と、前記複数の経路にそれぞれ設けられ、前記撮像素子の画面内の一部分の画素から読み出された信号を記憶するとともに、該記憶した信号を出力する第１の記憶手段と、前記第１の記憶手段よりも大きい記憶領域を有し、前記第１の記憶手段から出力された信号を記憶する第２の記憶手段と、前記駆動手段による前記撮像素子の駆動に連動して、前記第１の記憶手段からの信号の出力、前記第２の記憶手段への前記第１の記憶手段から出力された信号の記憶、及び前記第２の記憶手段からの信号の出力を制御する制御手段と、を備えることを特徴とする。

本発明によれば、低周波数のクロックで、撮像素子の高速駆動を安定的に実現することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示す図。 第１の実施形態のメモリ転送シーケンスのタイミングチャートを示す図。 第１及び第２の実施形態の撮像装置の動作を示すフローチャート。 本発明の第２の実施形態に係わる撮像装置の構成を示す図。 第２の実施形態のメモリ転送シーケンスのタイミングチャートを示す図。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示す図である。入射光がレンズ１０１により結像され、後述する撮像素子の前方に配置された分光装置１０２で分光処理が行われ、入射光がＲ（赤）成分、Ｇ（緑）成分、Ｂ（青）成分に分光される。Ｒ，Ｇ，Ｂ成分に分光された入射光は、それぞれ複数の画素が行列状に配列された撮像素子であるＣＭＯＳ＿Ｇ（１０３），ＣＭＯＳ＿Ｒ（１０４），ＣＭＯＳ＿Ｂ（１０５）へ入射される。各ＣＭＯＳセンサ（１０３，１０４，１０５）では、光電変換が行われ、高速化のために２チャネル（２経路）に分割して、偶数ライン、奇数ライン（画面内の一部分の領域の画素の信号）を並行に読み出す。本実施形態では２ライン同時読み出しであるが、さらに複数チャネル分割でもよい。チャネルごとにＡＦＥ（アナログフロントエンド）１０６〜１０８が配置されており、Ａ／Ｄ変換を行い、デジタルの映像データを生成する。各ラインの映像データを１次保持（１次記憶）するＦＩＦＯ（FAST IN FAST OUT）１１１〜１１３（第１の記憶部）が各チャネルごとに配置されている。各ＦＩＦＯ１１１〜１１３は、映像データの同期コード検出部１１０の検出結果に応じて、ライト制御部１１４、リード制御部１１５により、それぞれ転送位相（出力位相）の制御が行われる。ＣＭＯＳセンサの駆動部であるＴＧ（タイミングジェネレータ）１０９は、撮影する画像の画素数（撮影モード）に応じて、駆動のタイミングを制御する。調停部１１７はＦＩＦＯ１１１〜１１３の転送と、信号処理部１１９からの転送のリクエストを調停し、ＦＩＦＯよりも記憶領域が大きいＤＲＡＭ１１８（第２の記憶部）に保持されているフレームもしくはフィールド画像のアクセスを行う。なお、分光装置１０２の構造上、分光装置１０２の内部での反射数が、ＣＭＯＳ＿Ｇ（１０３）に入射される光は２回、ＣＭＯＳ＿Ｒ（１０４）に入射される光は０回、ＣＭＯＳ＿Ｂ（１０５）に入射される光は１回となる。そのため、ＣＭＯＳ＿Ｂ（１０５）の映像データは左右が反転されている。なお、上記の撮像装置の各構成要素は、制御部であるＣＰＵ１１６により制御される。

図２はメモリ転送シーケンスのタイミングチャートを示す図である。２０１はフィールド周期の駆動を示している。１フィールドは１６.６７ｍｓの周期（１秒間に６０フィールド）で駆動が行われている。その１フィールド周期内で垂直方向ライン数が読み出される。２０２は、垂直方向１ライン分の駆動周期内の、センサ読み出しとＦＩＦＯライトタイミングについて示している。まず先頭で同期コード検出期間がある（〜時刻Ｔ１）。その後、有効画素の偶数ラインの１ライン分と奇数ラインの１ライン分の各センサからの読み出しと、それと同時にＦＩＦＯへの書き込みが行われ、それは時刻Ｔ４まで継続される。ＲのセンサＣＭＯＳ＿Ｒ（１０４）とＧのセンサＣＭＯＳ＿Ｇ（１０３）については、映像データの左から右へスキャンされデータが入力される。ＢのセンサＣＭＯＳ＿Ｂ（１０５）については、映像データが左右反転されているので、映像データは右から左にスキャンされて入力される。２０３は、垂直方向１ライン分の駆動周期内の、ＦＩＦＯの読み出しとそれと同時に行われるＤＲＡＭへのライトタイミング（書き込みタイミング）について示している。Ｒ，Ｇについては、時刻Ｔ３から（所定の時間が経過した後）まずは偶数ラインをそれぞれ３つのバーストに分割し、３回の回数に分けて相互に転送を行う。Ｒ，Ｇは偶数ラインの転送が時刻Ｔ４より早く完了してはならない。早く完了すればＦＩＦＯのライト（書き込み）完了前にリード（読み出し）が完了することになり、追い越しが生じてしまう。従って、Ｒ，Ｇはそれぞれバースト長を分割し、交互に転送を繰り返すことにより片方のみが早く完了しないように調整をする。Ｂは時刻Ｔ４以降から転送を開始し、かつ時刻Ｔ５までに２Ｎ，２Ｎ＋１の２ラインの転送を完了しなくてはならない。ＦＩＦＯのライトが映像を右から左へスキャンしたものであり、リード→ＤＲＡＭライトが映像を左から右にスキャンしたものであるので、Ｔ４→Ｔ５の期間をオーバーするとＦＩＦＯの追い越しが発生してしまう。Ｂが転送を完了した後に、Ｒ，Ｇは奇数ラインの転送をそれぞれ３つのバーストに分割し、相互に転送を行う。それぞれが時刻Ｔ５までに転送を開始しなければＦＩＦＯの追い越しが起こってしまう。従って、バースト長を分割して交互に転送を繰り返すことによって片方が遅れることがないように調整をする。Ｔ２→Ｔ３は他の信号処理に関連する転送の割り込みが可能である。

図３は、本実施形態の撮像装置の動作を示すフローチャートである。まず、ステップＳ３０１で撮像装置の電源がＯＮされ、ステップＳ３０２の初期設定の後に、ステップＳ３０３で撮影モードが決定される。撮影モードとは、撮像素子の全画素数を用いて撮影を行うか、全画素数よりも少ない画素数で撮影を行うかを決めるものである。撮影モードに従って撮影画素数が決定されると、ステップＳ３０４でＲ，Ｇ，Ｂ各チャネルの１ライン周期内での転送タイミング位相、バーストの単位のパラメータが決定される。そして、ステップＳ３０５で撮影時に映像データの転送が繰り返される。ステップＳ３０６で撮影モードの変更が検出されるたびに撮影モードに連動して、撮影画素数、シャッタ速度（フィールド周期）に応じてパラメータの更新が行われる。

（第２の実施形態）
図４は、本発明の第２の実施形態に係わる撮像装置の構成を示す図である。入射光がレンズ１０１により結像され、撮像素子であるＣＭＯＳセンサ４０３へ入射される。ＣＭＯＳセンサ４０３では、光電変換を行い、高速化のために６チャネルに分割して、６Ｎ，６Ｎ＋１，６Ｎ＋２，６Ｎ＋３，６Ｎ＋４，６Ｎ＋５ラインを並行に読み出す。本実施形態では６ライン同時読み出しであるが、さらに複数チャネル分割でもよい。チャネルごとにＡＦＥ（アナログフロントエンド）４０６〜４０８が配置されており、Ａ／Ｄ変換を行い、デジタルの映像データを生成する。各ラインの映像データを１次保持するＦＩＦＯ（FAST IN FAST OUT）４１１〜４１３が各チャネルごとに配置されている。各ＦＩＦＯ４１１〜４１３は、映像データの同期コード検出部４１０の検出結果に応じて、ライト制御部４１４、リード制御部４１５により、それぞれ転送位相の制御が行われる。ＣＭＯＳセンサの駆動部であるＴＧ（タイミングジェネレータ）４０９は、撮影する画像の画素数（撮影モード）に応じて、駆動のタイミングを制御する。調停部４１７はＦＩＦＯ４１１〜４１３の転送と、信号処理部４１９からの転送のリクエストを調停し、ＤＲＡＭ４１８に保持されているフレームもしくはフィールド画像のアクセスを行う。なお、上記の撮像装置の各構成要素は、制御部であるＣＰＵ４１６により制御される。

図５はメモリ転送シーケンスのタイミングチャートを示す図である。５０１はフィールド周期の駆動を示している。１フィールドは１６.６７ｍｓの周期（１秒間に６０フィールド）で駆動が行われている。その１フィールド周期内で垂直方向ライン数が読み出される。５０２は、垂直方向１ライン分の駆動周期内の、センサ読み出しとＦＩＦＯライトタイミングについて示している。まず先頭で同期コード検出期間がある（〜時刻Ｔ１）。その後、有効画素の偶数ラインの３ライン分と奇数ラインの３ライン分のセンサからの読み出しと、それと同時にＦＩＦＯへの書き込みが行われ、それは時刻Ｔ４まで継続される。６Ｎ〜６Ｎ＋５ラインすべての映像データが左から右へスキャンされデータが入力される。５０３は垂直方向１ライン分の駆動周期内の、ＦＩＦＯの読み出しとそれと同時に行われるＤＲＡＭへのライトタイミングについて示している。ＣＨ０，ＣＨ２，ＣＨ４は時刻Ｔ３から１ラインをそれぞれ３つのバーストに分割し、相互に転送を行う。完了後にＣＨ１，ＣＨ３，ＣＨ５が１ラインをそれぞれ３つのバーストに分割し、相互に転送を行う。全ＣＨの転送が時刻Ｔ４より早く完了してはならない。早く完了すればＦＩＦＯのライト（書き込み）完了前にリード（読み出し）が完了することになり、追い越しが生じてしまう。また全ＣＨそれぞれが時刻Ｔ５までに転送を開始しなければＦＩＦＯの追い越しが起こってしまう。従って、バースト長を分割して交互に転送を繰り返すことによって片方が遅れることがないように調整をする。Ｔ２→Ｔ３は他の信号処理に関連する転送の割り込みが可能である。

本実施形態の撮像装置の動作のフローチャートは、外見上は図３に示した第１の実施形態のフローチャートと同じであるので、図３を参照して説明する。

まず、ステップＳ３０１で撮像装置の電源がＯＮされ、ステップＳ３０２の初期設定の後に、ステップＳ３０３で撮影モードが決定される。撮影モードとは、撮像素子の全画素数を用いて撮影を行うか、全画素数よりも少ない画素数で撮影を行うかを決めるものである。撮影モードに従って撮影画素数が決定されると、ステップＳ３０４でＣＨ０〜ＣＨ５の各チャネルの１ライン周期内での転送タイミング位相、バーストの単位のパラメータが決定される。そして、ステップＳ３０５で撮影時に映像データの転送が繰り返される。ステップＳ３０６で撮影モードの変更が検出されるたびに、撮影画素数、シャッタ速度（フィールド周期）に応じてパラメータの更新が行われる。

Claims (5)

1. 行列状に配列された複数の画素を有し、該複数の画素の信号を複数の経路で読み出すことが可能な一つまたは複数の撮像素子と、
   前記撮像素子の複数の画素の信号を前記複数の経路を介して並行に読み出すように前記撮像素子を駆動する駆動手段と、
   前記複数の経路にそれぞれ設けられ、前記撮像素子の画面内の一部分の画素から読み出された信号を記憶するとともに、該記憶した信号を出力する第１の記憶手段と、
   前記第１の記憶手段よりも大きい記憶領域を有し、前記第１の記憶手段から出力された信号を記憶する第２の記憶手段と、
   前記駆動手段による前記撮像素子の駆動に連動して、前記第１の記憶手段からの信号の出力、前記第２の記憶手段への前記第１の記憶手段から出力された信号の記憶、及び前記第２の記憶手段からの信号の出力を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記複数の撮像素子の前方に配置され、該複数の撮像素子に入射する光を、赤、緑、青の各色の成分に分光する分光手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記駆動手段は、前記撮像素子の撮影に用いられる画素数に応じて前記撮像素子の駆動を変更し、前記制御手段は、前記駆動手段による前記撮像素子の駆動の変更に応じて、前記第１の記憶手段からの信号の出力、前記第２の記憶手段への前記第１の記憶手段から出力された信号の記憶、及び前記第２の記憶手段からの信号の出力を制御することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記駆動手段が前記撮像素子の画素の信号の読み出しを開始してから所定の時間が経過した後に、前記第１の記憶手段からの信号の出力を開始させることを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記第１の記憶手段からの信号の出力を、複数の回数に分割して行わせることを特徴とする請求項１に記載の撮像装置。

Images