JP2008263262A - 撮像装置 - Google Patents

Abstract

【課題】画像における被写体の歪みを低減することができる撮像装置を提供する。
【解決手段】撮像素子５は、マトリクス状に配列された画素を有し、行または列毎に電荷の蓄積および撮像信号の読出しが制御される。蓄積制御部３は、撮像素子５の電荷の蓄積を制御する。読出し制御部４は、撮像素子５からの撮像信号の読出しを制御し、撮像素子５から撮像信号を読み出す単位期間を一定の期間に保つ。同期信号発生部２は、フレームにおける撮像素子５の動作タイミングの基準となる同期信号を発生する。同期信号周期制御部１は同期信号の周期を撮像中に変更可能に制御する。
【選択図】図１

Description

本発明は、フレームにおける撮像素子の動作タイミングの基準となる同期信号の周期（フレームレート）を撮像中に変更することが可能な撮像装置に関する。

低消費電力で高速撮像用途の撮像素子として、行または列単位で電荷の蓄積および撮像信号の読出しを制御することが容易な、所謂CMOSセンサに代表されるX-Yアドレス型撮像素子が優位である。今後、低消費電力性と高速性の観点からX-Yアドレス型撮像素子の活用に益々拍車がかかると予想できる。一方で、X-Yアドレス型撮像素子は、本来、行あるいは列単位のローリング読出しを特徴としており、通常、撮像信号の読出しタイミングが電荷の蓄積開始・終了のタイミングとほぼ一致する行または列を単位として順次蓄積（ローリングシャッタ）動作を行うため、蓄積時間の行あるいは列単位のタイムラグがフレーム内での動画歪となることが大きなデメリットとなっている（詳細は後述する）。昨今では、一括蓄積（グローバルシャッタ）を可能にするX-Yアドレス型撮像素子も開発されているが、画素上に配置するトランジスタ数が増えるなどの構造上の問題から感度・飽和・ノイズ性能が低下したり、ブルーミングが発生しやすくなるなど様々なデメリットがあり、実用化には多くの課題がある。

特許文献１には、同期信号の周期を変化させることにより、フレームレートを自由に変更することが可能な撮像装置が記載されている。

特許文献２には、連続して得た複数のフィールド信号を演算処理して１フレームのフレーム信号を生成することで、ノイズを低減しダイナミックレンジを拡大する撮像装置が記載されている。
特開平７−２９８１１２号公報 特開平７−５０７８６号公報

X-Yアドレス型の撮像素子を用いて蓄積および読出し期間をフレームレートと共に変動させると、以下の問題が発生する。以下、行単位のローリング動作を行う撮像素子を例として説明する。

（第１の問題）
通常のフレームレートで撮像を行う場合に、図１３に示すように、被写体の像１３００が１フレーム期間内に撮像素子の撮像面を水平方向に移動したとする。図１４（ａ）はこのとき撮像された１フレームの画像を示している。また、図１４（ｂ）は撮像素子の動作タイミングを示している。同期信号１４００の周期で決まる１フレーム期間において、撮像素子が有する画素群の１行目から最終行目までの撮像信号が読み出される。点１４１０が１行目の読出し開始タイミングを示しており、点１４２０が最終行目の読出し開始タイミングを示している。

図１５（ａ）は、撮像素子が有する画素群を行単位で示している。また、図１５（ｂ）は、撮像素子の動作タイミングを図１４（ｂ）よりも詳細に示している。同期信号１５００の周期で決まる１ライン期間において、各行の撮像信号が読み出される。例えば、１行目に関して、前フレームの蓄積終了のタイミングで１行目の全画素の信号が一斉に読み出され、図示しないコンデンサ等の信号保持手段に記憶された後、１ライン期間に各画素の信号が順次読み出される。また、次フレームの蓄積は、現フレームの信号が読み出されるのとほぼ同時のタイミングで開始される。

上記のように１行目と最終行目で読出しタイミングが異なることから、図１４（ａ）に示すように被写体１４３０が水平方向に歪む動画歪みが発生する。列単位のローリング動作を行う撮像素子では、図１４（ａ）とは歪みの方向が水平・垂直で逆転する。

これに対して、低フレームレートで撮像を行う場合に、図１６に示すように、被写体の像１６００が通常フレームレートでの撮像時と同様に１フレーム期間内に撮像素子の撮像面を水平方向に移動したとする。図１７（ａ）はこのとき撮像された１フレームの画像を示している。また、図１７（ｂ）は撮像素子の動作タイミングを示している。図１７（ｂ）に示すように、低フレームレートの撮像では、通常フレームレートの撮像よりも１フレーム期間が長くなるため、１フレーム期間内の被写体の移動距離がより大きくなる。また、撮像素子の１行目と最終行目の読出しタイミングの時間差がより大きくなる。このため、図１７（ａ）に示すように、被写体１７００の水平方向の歪み量がより大きくなる。

上記のようにローリング動作を行う撮像素子では被写体の動画歪みが発生し、特に低フレームレート撮像時において動画歪がより顕著となるが、特許文献１にはその対策手法は何ら開示されていない。

（第２の問題）
被写体の動きに応じて徐々にフレームレートおよび蓄積時間を変化させる撮影条件を設定する場合がある。このような撮影条件を設定することにより、表示のフレームレートより速いフレームレートで撮影した映像をスロー再生表示し、表示のフレームレートより遅いフレームレートで撮影した映像をハイスピード再生表示することができるため、映画などの特殊効果撮影としてしばしば活用されている。このように徐々にフレームレートを変化させる場合、フレームレートの変動に応じて蓄積時間も変動させることで、動きによるボケ具合をフレームレートに応じて徐々に変化させ、より自然なスロー映像およびハイスピード映像を得ることができる。

ローリング動作を行う撮像素子においては、蓄積終了タイミングと読出し開始タイミングがほぼ一致するため、以下で説明する動作制約が発生する。一般に、撮像素子の動作は行あるいは列単位で電気的パルスにより制御される。ローリング動作を行うX-Yアドレス型の撮像素子においては、単一の主パルスをシフトレジスタにより行あるいは列単位で遅延させて供給する簡易な構成が採られており、１フレーム内で複数の行あるいは列で異なる制御を同時に行うことはできない。つまり、現フレームの電荷蓄積・読出し制御を行っている同じ時間帯で、次フレームの電荷蓄積・読出し制御を行うことはできない。

以下、フレームレートを一定とし電荷の蓄積期間の長さ（蓄積時間）を変化させる場合を例として説明する。図１８では、同期信号１８００の周期で決まるフレームレートは一定であるが、電荷のリセットによる蓄積開始タイミングの制御によって蓄積時間が制御されている。図１８において、期間Ａ，Ｂ，Ｃでは、現フレームの電荷蓄積制御を行っている最中に次フレームの電荷蓄積制御が行われる。例えば期間Ａでは、現フレームの最終行目の蓄積動作が開始される前に次フレームの１行目の蓄積動作が開始される。この動作を行うには例えば複数の制御回路を配備して複雑な制御を行う必要がある。したがって、時間的に連続するフレーム間で蓄積時間を大幅かつ頻繁に変化させたい場合、つまりフレームレートと共に蓄積期間を大幅に変化させ特殊効果動画映像を得たい場合等に対応できない。

（第３の問題）
昨今のデジタルスチルカメラや監視カメラでは、連続する２フレーム以上のフレーム期間で得られた撮像信号を合成処理して１フレーム分のフレーム信号を得るものがある。しかし、被写体の動きが激しいと、複数フレームで捉えられた被写体の位置が撮像素子上で異なる結果、合成処理後のフレーム信号における被写体のブレが顕著となる。特に、フレームレートがランダムに変動する場合に、特許文献２のように複数フレームの撮像信号を常に一定の演算方法で合成すると、ブレ量もランダムに変動し、動画再生時に再生画像が極めて不自然になってしまう。

また、蓄積時間に応じて撮像素子のノイズが変化するため、蓄積時間をランダムに変化させて得た複数フレーム分の撮像信号を常に一定の演算方法で合成すると、ノイズもランダムに変動し、動画再生時に再生画像が極めて不自然になってしまう。

（第４の問題）
所望の映像効果を得るためにフレームレートおよび蓄積時間を変化させた際、場合によっては各フレーム期間の狭間に、電荷の蓄積も読出しも行わない空きの期間が発生する。連続映像を表現するための動画撮影では、このような空きの期間が存在すると、被写体の動きが間欠的になり、映像は不自然なものとなる。

（本発明の目的）
本発明は、上記の第１の問題に鑑みて、画像における被写体の歪みを低減することができる撮像装置を提供することを第１の目的とする。また、本発明は、上記の第２の問題に鑑みて、電荷の蓄積動作や撮像信号の読出し動作の制御を行うことができない期間が発生することを防止することができる撮像装置を提供することを第２の目的とする。また、本発明は、上記の第３および第４の問題に鑑みて、高品質な再生画像を得ることができる撮像装置を提供することを第３の目的とする。

本発明は、上記の課題を解決するためになされたもので、マトリクス状に配列された画素を有し、行または列毎に電荷の蓄積および撮像信号の読出しが制御される撮像素子と、前記撮像素子の前記電荷の蓄積を制御する蓄積制御手段と、前記撮像素子からの前記撮像信号の読出しを制御する読出し制御手段と、フレームにおける前記撮像素子の動作タイミングの基準となる同期信号を発生する同期信号発生手段と、前記同期信号の周期を撮像中に変更可能に制御する同期信号周期制御手段とを有し、前記読出し制御手段は、前記撮像素子から前記撮像信号を読み出す単位期間を一定の期間に保つことを特徴とする撮像装置である。

また、本発明の撮像装置において、前記蓄積制御手段は、前記撮像素子が前記電荷を蓄積する単位期間を一定の期間に保つことを特徴とする。

また、本発明の撮像装置において、前記蓄積制御手段は、現フレームの前記電荷の蓄積動作を開始させる制御が終了してから、次フレームの前記電荷の蓄積動作を開始させる制御を実行することを特徴とする。

また、本発明の撮像装置において、前記読出し制御手段は、現フレームの前記撮像信号の読出し動作を開始させる制御が終了してから、次フレームの前記撮像信号の読出し動作を開始させる制御を実行することを特徴とする。

また、本発明の撮像装置は、連続した少なくとも２フレームの撮像信号を合成して１フレームのフレーム信号を生成する合成フレーム信号生成手段をさらに備え、前記合成フレーム信号生成手段は、前記撮像素子が前記電荷を蓄積する単位期間の長さおよび前記同期信号の周期に基づいた重み付け量で各フレームの前記撮像信号を合成することを特徴とする。

また、本発明の撮像装置は、連続した少なくとも２フレームの撮像信号を合成して１フレームのフレーム信号を生成する合成フレーム信号生成手段をさらに備え、空きの期間の長さを制御し、前記同期信号の周期に基づいたｐ（ｐは１以上の整数）フレーム分のフレーム期間でｐ＋１フレーム分以上の前記撮像信号を読み出すことを特徴とする。

本発明によれば、撮像素子から撮像信号を読み出す単位期間を一定の期間に保つことによって、同期信号の周期が変化しても、画像における被写体の歪みが一定となるので、被写体の歪みを低減することができる。

また、現フレームの電荷の蓄積動作を開始させる制御が終了してから、次フレームの電荷の蓄積動作を開始させる制御を実行することによって、電荷の蓄積動作の制御を行うことができない期間が発生することを防止することができる。さらに、現フレームの撮像信号の読出し動作を開始させる制御が終了してから、次フレームの撮像信号の読出し動作を開始させる制御を実行することによって、電荷の蓄積動作の制御を行うことができない期間が発生することを防止することができる。

また、撮像素子が電荷を蓄積する単位期間の長さおよび同期信号の周期に基づいた重み付け量で各フレームの撮像信号を合成することによって、被写体のブレやノイズの影響が低減されるので、高品質な再生画像を得ることができる。さらに、空の期間の長さを制御し、ｐフレーム分のフレーム期間でｐ＋１フレーム分以上の撮像信号を読み出すことによって、増加したフレーム分の撮像信号を活用して、高品質な再生画像を得ることができる。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
まず、本発明の第１の実施形態を説明する。図１は、本実施形態による撮像装置の構成を示している。図１において、同期信号周期制御部１は、フレームにおける撮像素子５の動作タイミングの基準となる同期信号の周期を制御する。同期信号周期制御部１は、同期信号の周期を撮像中に変更することが可能である。同期信号発生部２は、同期信号周期制御部１によって設定された周期の同期信号を発生し、読出し制御部４および蓄積制御部３へ供給する。

蓄積制御部３は、同期信号に従って、撮像素子５の電荷の蓄積を制御するパルスを発生し、撮像素子５へ供給する。読出し制御部４は、同期信号に従って、撮像素子５からの撮像信号の読出しを制御するパルスを発生し撮像素子５へ供給する。撮像素子５は、マトリクス状に配列された画素を有し、行または列毎に電荷の蓄積および撮像信号の読出しが制御されるX-Yアドレス型撮像素子である。以下、撮像素子５が行単位のローリング動作を行うものとして説明するが、撮像素子５が列単位のローリング動作を行う場合も同様である。

次に、本実施形態による撮像素子５の動作を説明する。図２に示すように、被写体の像２００が１フレーム期間内に撮像素子５の撮像面を水平方向に移動したとする。撮像素子５は、同期信号の周期で決まる１フレーム期間よりも短い読出し期間で撮像信号の高速読出しを行う。図３（ａ）はこのとき撮像された１フレームの画像を示している。また、図３（ｂ）は撮像素子５の動作タイミングを示している。同期信号３００の周期で決まる１フレーム期間において、撮像素子５が有する画素群の１行目から最終行目までの撮像信号が読み出される。点３１０が１行目の読出し開始タイミングを示しており、点３２０が最終行目の読出しタイミングを示している。

撮像素子５は、撮像面上で図２のように動く被写体の像２００に基づいた撮像信号を読み出す際に、撮像信号を読み出す単位期間である読出し期間の長さを１フレーム期間よりも短く設定して読出し動作を行う。また、撮像素子５は、仮に同期信号の周期がランダムに変化したとしても、読出し期間の長さを常時一定に保って読出し動作を行う。図３では、同期信号の周期が一定（すなわちフレームレートが一定）であるが、同期信号の周期が変化する場合でも、読出し制御部４によって、読出し期間の長さが常に一定に保たれる。

図４（ａ）は、撮像素子５が有する画素群を行単位で示している。また、図４（ｂ）は、撮像素子５の動作タイミングを図３（ｂ）よりも詳細に示している。同期信号４００の周期で決まる１ライン期間において、各行の撮像信号が読み出される。例えば、１行目に関して、前フレームの蓄積終了のタイミングで１行目の全画素の信号が一斉に読み出され、図示しないコンデンサ等の信号保持手段に記憶された後、１ライン期間に各画素の信号が順次読み出される。また、次フレームの蓄積は、現フレームの信号が読み出されるのとほぼ同時のタイミングで開始される。

１行目の読出しが開始されてから、最終行目の読出しが終了するまでの期間が１フレーム読出し期間であり、本実施形態ではこの長さが常に一定に保たれる。また、各行において、前フレームの読出しが行われてから、次フレームの読出しが行われるまでが次フレームの１フレーム蓄積期間となる。例えば、最終行目においては、点４１０が示すタイミングまでに前フレームの読出しが最終行目の全画素で一斉に行われ、点４２０が示すタイミングまでに次フレームの読出しが最終行目の全画素で一斉に行われることになり、これらのタイミング間の長さが１フレーム蓄積期間となる。

本実施形態では、１行目の読出しタイミングと最終行目の読出しタイミングが異なるが、特に低フレームレート撮像時においても読出しを高速にすることでこれらの差をできるだけ小さくし、同期信号の周期が変化しても読出し期間の長さを一定に保つことで、画像における被写体の歪みが一定となり、被写体の動画歪みが安定する。したがって、本実施形態によれば、画像における被写体の歪みを低減し、違和感のない映像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態による撮像装置の構成は図１と同一である。図５は撮像素子５の動作タイミングを示している。本実施形態では、同期信号５００の周期が変化し、フレームレートが徐々に遅くなっている。本実施形態でも、読出し期間の長さは一定に保たれる。また、同期信号の周期が変化する場合でも、蓄積制御部３によって、撮像素子５が電荷を蓄積する単位期間である蓄積期間の長さ５１０（蓄積時間）が常に一定に保たれる。

本実施形態によれば、同期信号の周期が変化しても、動画歪が一定で、かつ、信号レベルが一定の撮像信号を得ることができる。すなわち、動画歪および信号レベルがフレーム毎に変化することがない自然な映像を得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。本実施形態による撮像装置の構成は図１と同一である。図６は撮像素子５の動作タイミングを示している。本実施形態では、電荷の蓄積動作や撮像信号の読出し動作の制御を行うことができない期間が発生することを防止するため、同期信号周期制御部１によって設定された１周期の期間内において、蓄積開始のタイミングと読出し開始のタイミングをずらす制御が行われる。

すなわち、蓄積制御部３は、現フレームの電荷の蓄積動作を開始させる制御が終了するまで次フレームの電荷の蓄積動作を開始させる制御が開始されないという条件（条件Ａとする）を満たすように、各行の次フレームの蓄積開始タイミングをずらす。言い換えると、蓄積制御部３は、現フレームの蓄積動作を開始させる制御が終了してから、次フレームの蓄積動作を開始させる制御を実行する。これによって、現フレームの最終行目の蓄積動作が開始されるタイミング（矢印６００が示すタイミング）が、次フレームの１行目の蓄積動作が開始されるタイミング（矢印６１０が示すタイミング）よりも常に前になる。

また、読出し制御部４は、現フレームの撮像信号の読出し動作を開始させる制御が終了するまで次フレームの撮像信号の読出し動作を開始させる制御が開始されないという条件（条件Ｂ）を満たすように、各行の次フレームの読出し開始タイミングをずらす。言い換えると、読出し制御部４は、現フレームの撮像信号の読出し動作を開始させる制御が終了してから、次フレームの撮像信号の読出し動作を開始させる制御を実行する。これによって、現フレームの最終行目の読出し動作が開始されるタイミング（点６２０が示すタイミング）が、次フレームの１行目の読出し動作が開始されるタイミング（点６３０が示すタイミング）よりも常に前になる。

蓄積制御部３および読出し制御部４は撮像素子５に電気的パルスを供給し、そのパルスで撮像素子５内のトランジスタをＯＮ／OFFさせることによって蓄積および読出しの制御を行う。電気的パルスは、蓄積制御部３および読出し制御部４が有するカウンタ回路で生成される。一般に、カウンタ回路は、同期信号の極性変化点を動作起点にして基準となる所定のパルスあるいはクロックをカウントし、予め設定された所定のカウント値に到達したときに極性を変化させることで電気的パルスを生成する。例えば、読出し制御に関して、図３〜図６では、同期信号の立上りがカウンタの動作起点となり、読出し動作が開始される。

本実施形態では、例えば前フレームの設定条件に応じて次フレームの動作起点を変更してカウンタを動作させる制御が行われる。例えば、図６において、読出し制御部４におけるカウンタの動作起点は、同期信号の極性変化点だけではなく、上記の条件Ｂを満たす位置にもセットされる。図６において、点６４０ａ〜６４０ｅが示す読出し開始タイミングは、同期信号６５０の極性変化タイミングとは異なっている。

上記に代えて、同期信号の極性変化点が所望のタイミングになるように同期信号発生部２が同期信号を発生し、従来どおり、同期信号の極性変化点をカウンタの動作起点として蓄積制御部３や読出し制御部４が動作するようにしてもよい。図７は、読出し制御部４におけるカウンタの動作起点を常に同期信号の極性変化位置と同じ位置に設定する例を示している。この場合にも上記の条件Ａと条件Ｂは満たされている。

図８は、蓄積制御および読出し制御に係るカウンタの動作起点に応じて同期信号の極性変化点を制御する動作を行う撮像装置の構成を示している。蓄積制御部３は、設定されたフレームレートおよび蓄積時間に応じて各フレームの蓄積開始タイミングを決定し、同期信号発生部２に必要な情報を通知する。同様に、読出し制御部４は、設定されたフレームレートおよび蓄積時間に応じて各フレームの読出し開始タイミングを決定し、同期信号発生部２に必要な情報を通知する。なお、蓄積開始タイミングと読出し開始タイミングは蓄積時間によって関連付けられるので、蓄積時間が予め決まっている場合、蓄積制御部３と読出し制御部４のうちの一方のみが同期信号発生部２に必要な情報を通知するようにしてもよい。

フレームレートの設定と蓄積時間の設定そのものは、所定の映像効果を狙った撮影者の意思で決定されるが、この意思に応じて、撮像素子５で最も適切な蓄積・読出しができるよう（カウンタ制御の考え方を変えることなく動作するよう）、蓄積制御部３および読出し制御部４が蓄積開始タイミングおよび読出し開始タイミングを決定する。同期信号発生部２は、蓄積制御部３および読出し制御部４の少なくとも一方からの情報を受けて同期信号を再生成し、蓄積制御部３および読出し制御部４へ供給する。蓄積制御部３および読出し制御部４は、同期信号に従って、撮像素子５へ供給するパルスを内部で自動的に生成し直す。

図９は、図８に示した撮像装置による蓄積動作および読出し動作の制御の手順を示している。以下、図９に従って撮像装置の動作を説明する。図９に示す動作はフレーム毎に実行される。まず、現フレームの動作中に、同期信号発生部２は、蓄積動作および読出し動作のタイミングの基準となる同期信号の次フレームにおけるデフォルト設定を行う（ステップＳ１００）。

同期信号発生部２には、蓄積制御部３から通知された次フレームの蓄積動作に関する情報（蓄積開始タイミングと蓄積時間、あるいは蓄積開始タイミングと蓄積終了タイミング）および読出し制御部４から通知された次フレームの読出し動作に関する情報（読出し開始タイミングと読出し期間、あるいは読出し開始タイミングと読出し終了タイミング）が入力される。同期信号発生部２は、これらの情報に基づいて、現在の同期信号の設定条件（極性変化点の条件）で、現フレームの蓄積制御中に次フレームの蓄積制御が開始されないという条件と、現フレームの読出し制御中に次フレームの読出し制御が開始されないという条件とが共に満たされるか否かを判断する（ステップＳ１１０）。

２つの条件が共に満たされる場合、同期信号発生部２は、設定した条件に対応したタイミングで次フレームの同期信号を発生する（ステップＳ１２０）。また、２つの条件のうち少なくとも一方が満たされない場合、同期信号発生部２は同期信号の設定条件を変更し（ステップＳ１３０）、ステップＳ１１０の判定を再度実行する。上記では、蓄積制御に関する判定と読出し制御に関する判定の両方が行われているが、一方のみが行われるようにしてもよい。

上述したように、本実施形態によれば、現フレームの電荷の蓄積動作を開始させる制御が終了してから、次フレームの電荷の蓄積動作を開始させる制御を実行することによって、電荷の蓄積動作の制御を行うことができない期間が発生することを防止することができる。また、現フレームの撮像信号の読出し動作を開始させる制御が終了してから、次フレームの撮像信号の読出し動作を開始させる制御を実行することによって、電荷の蓄積動作の制御を行うことができない期間が発生することを防止することができる。

（第４の実施形態）
次に、本発明の第４の実施形態を説明する。図１０は、本実施形態による撮像装置の構成を示している。本実施形態では、撮像素子５から出力された撮像信号が合成フレーム信号生成部６に入力される。合成フレーム信号生成部６は、連続した少なくとも２フレームの撮像信号を合成して１フレームのフレーム信号を生成する。

合成後のフレーム信号をＦｃ、合成に用いられるｎフレーム分の撮像信号をＦｓ（ｎ）（ｎは２以上の整数）とすると、合成フレーム信号生成部６は、以下の（１）式に従って信号を合成する。（１）式において、ｉ（ｋ）はｋフレーム目の蓄積時間に応じた係数であり、ｆ（ｋ）はｋフレーム目のフレームレートに応じた係数である。また、Ｆｃ，Ｆｓ（ｋ）の値は具体的には画素毎の信号レベルに相当する。

蓄積時間が長いほど、被写体の動きによるブレが発生するが、ｉ（ｋ）の値を蓄積時間に反比例する値とすることによって、合成後のフレーム信号においてブレの影響を緩和することができる。

また、受光する光量に比例して、撮像素子５が発生する光ショットノイズが変化するため、蓄積時間を変化させると受光量が変化し、ノイズ量が変化する。複数フレーム分の撮像信号を合成する際に、従来のように一定の演算方法で合成すると、画像におけるノイズの見え方が蓄積時間に応じてばらつくため不自然な映像となるが、上記のように蓄積時間の変化に応じてｉ（ｋ）の値を調整することによってノイズの見え方をより自然にすることができる。

また、フレームレートが遅くなるほど、被写体の動画歪みがより大きくなるが、ｆ（ｋ）の値をフレームレートに反比例する値とすることによって、合成後のフレーム信号において動画歪みの影響を緩和することができる。

本実施形態では、以下で説明するように、実際に信号として読み出される電荷の蓄積および撮像信号の読出しを行わない空きの期間の制御も行われる。図１２は、フレームレートと共に蓄積時間を変化させる最も一般的な撮像素子の動作タイミングを示している。図１２に示すように、同期信号の周期が徐々に長くなるのに対応して蓄積時間も長くなっている。

ここで、ｐフレーム目の１フレーム期間をＴｐｆ［ｓ］、蓄積時間をＴｐｉ［ｓ］、フレーム読出し期間をＴｐｒ［ｓ］とする（ｐ：整数）。図１２において、電荷がリセットされてから撮像信号の読出しが開始されるまでの蓄積期間を除いた期間が蓄積動作に関する空きの期間となり、フレーム読出し期間を除いた期間が読出し動作に関する空きの期間となる。本実施形態では、この空きの期間を適宜集約して有効な撮影期間に充てることで空きの期間をなくす制御が行われる。

蓄積制御部３および読出し制御部４（あるいは蓄積制御部３および読出し制御部４のうちの一方のみでもよい）は、予め設定された蓄積動作および読出し動作に関する情報に基づいて、各フレームに空きの期間があるか否かを判断する。空きの期間があるか否かの判断は、Ｔｐｆ＞ＴｐｒかつＴ（ｐ−１）ｆ＞Ｔｐｉという条件が満たされるか否かにより行われる。なお、ｐフレーム目の蓄積期間は（ｐ−１）フレーム目に存在するため、Ｔ（ｐ−１）ｆとＴｐｉの比較により、空きの期間が存在するか否かの判断が行われる。蓄積制御部３および読出し制御部４は、空きの期間があると判断した場合、さらに以下の（２）式を計算する。

（２）式において、ｎ，ｍ，ｌは整数であり、特にｎは、合成フレーム信号生成部６が１フレーム分のフレーム信号を生成するために用いる撮像信号の数（フレーム数）を表す。Ｔ（ｐ＋ｋ）ｆ，Ｔ（ｐ＋ｋ）ｉ，Ｔ（ｐ＋ｋ）ｒはそれぞれ（ｐ＋ｋ）フレーム目の１フレーム期間、蓄積時間、１フレーム読出し期間を表す。したがって、（２）式において２つの不等号に挟まれた式は、ｐフレーム目を含めたｎフレーム分の空きの期間の総和を示す。

整数ｌはｌ＜ｋを満たす特定の整数である。したがって、（２）式が成り立つ場合、（ｐ＋ｌ）フレーム目の撮像信号を取得するのに必要な期間が空きの期間に対してｍ回設定できることを意味する。例えば、（２）式を満たす整数ｍがｍ＝３でそのときのｎがｎ＝２であれば、設定された２フレーム期間に（ｐ＋ｌ）フレーム目の撮影条件で３フレーム分の撮像信号を取得できる。言い換えると、２フレーム分の撮像信号を取得する予定だった期間内に、所定の撮影条件で生成した撮像信号を３フレーム分取得できる。

蓄積制御部３および読出し制御部４は、（２）式に基づいて、所定フレーム分の撮影期間に何フレーム分の撮像信号を取得できるのかを計算し、計算結果に基づいて蓄積動作および読出し動作を制御する。蓄積開始タイミングや読出し開始タイミング等の情報は蓄積制御部３および読出し制御部４から合成フレーム信号生成部６へ出力され、合成フレーム信号生成部６は、その情報に基づいて各撮像信号の取得タイミングを決定する。また、同期信号発生部２は、蓄積制御部３および読出し制御部４から取得した情報に基づいて同期信号を発生し、蓄積制御部３および読出し制御部４へ供給する。

図１１は、本実施形態による撮像素子５の動作タイミングを示している。６フレーム期間で８フレーム分の撮像信号が生成されており、図１２と比較して、２フレーム分多く撮像信号が生成されている。

このように空きの期間を活用してより多くの撮像信号を取得し、これらの撮像信号を利用して合成フレーム信号生成処理を行うことで、以下のような効果が得られる。
（１）被写体の動的情報を失わない（動きが間欠的にならない）よう処理を施すことができる。
（２）ランダムノイズ抑圧処理を施すことができる。ｎフレーム分（ｎは２以上の整数）の撮像信号を合成すると、信号レベルがｎ倍になり、ランダムノイズが√ｎ倍になるので、より多くの撮像信号を合成することによってランダムノイズの抑圧効果が向上する。
（３）ダイナミックレンジ拡大処理を施すことができる。

上述したように、本実施形態によれば、蓄積時間およびフレームレートに基づいた重み付け量で各フレームの撮像信号を合成することによって、被写体のブレやノイズの影響が低減されるので、高品質な再生画像を得ることができる。また、空の期間の長さを制御し、より多くの撮像信号を読み出すことによって、増加したフレーム分の撮像信号を活用して、高品質な再生画像を得ることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態による撮像装置の構成を示すブロック図である。 本発明の第１の実施形態において、撮像面上を移動する被写体の像を示す模式図である。 本発明の第１の実施形態において、撮像素子の動作タイミングを示すタイミングチャートである。 本発明の第１の実施形態において、撮像素子の動作タイミングを示すタイミングチャートである。 本発明の第２の実施形態において、撮像素子の動作タイミングを示すタイミングチャートである。 本発明の第３の実施形態において、撮像素子の動作タイミングを示すタイミングチャートである。 本発明の第３の実施形態において、撮像素子の動作タイミングを示すタイミングチャートである。 本発明の第３の実施形態による撮像装置の構成を示すブロック図である。 本発明の第３の実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の第４の実施形態による撮像装置の構成を示すブロック図である。 本発明の第４の実施形態において、撮像素子の動作タイミングを示すタイミングチャートである。 フレームレートと共に蓄積時間を変化させる場合の撮像素子の動作タイミングを示すタイミングチャートである。 撮像面上を移動する被写体の像を示す模式図である。 従来の撮像素子の動作タイミングを示すタイミングチャートである。 従来の撮像素子の動作タイミングを示すタイミングチャートである。 撮像面上を移動する被写体の像を示す模式図である。 従来の撮像素子の動作タイミングを示すタイミングチャートである。 従来の撮像素子の動作タイミングを示すタイミングチャートである。

符号の説明

１・・・同期信号周期制御部、２・・・同期信号発生部、３・・・蓄積制御部、４・・・読出し制御部、５・・・撮像素子、６・・・合成フレーム信号生成部

Claims (6)

1. マトリクス状に配列された画素を有し、行または列毎に電荷の蓄積および撮像信号の読出しが制御される撮像素子と、
   前記撮像素子の前記電荷の蓄積を制御する蓄積制御手段と、
   前記撮像素子からの前記撮像信号の読出しを制御する読出し制御手段と、
   フレームにおける前記撮像素子の動作タイミングの基準となる同期信号を発生する同期信号発生手段と、
   前記同期信号の周期を撮像中に変更可能に制御する同期信号周期制御手段とを有し、
   前記読出し制御手段は、前記撮像素子から前記撮像信号を読み出す単位期間を一定の期間に保つ
   ことを特徴とする撮像装置。
2. 前記蓄積制御手段は、前記撮像素子が前記電荷を蓄積する単位期間を一定の期間に保つことを特徴とする請求項1に記載の撮像装置。
3. 前記蓄積制御手段は、現フレームの前記電荷の蓄積動作を開始させる制御が終了してから、次フレームの前記電荷の蓄積動作を開始させる制御を実行することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記読出し制御手段は、現フレームの前記撮像信号の読出し動作を開始させる制御が終了してから、次フレームの前記撮像信号の読出し動作を開始させる制御を実行することを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
5. 連続した少なくとも２フレームの撮像信号を合成して１フレームのフレーム信号を生成する合成フレーム信号生成手段をさらに備え、前記合成フレーム信号生成手段は、前記撮像素子が前記電荷を蓄積する単位期間の長さおよび前記同期信号の周期に基づいた重み付け量で各フレームの前記撮像信号を合成することを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
6. 連続した少なくとも２フレームの撮像信号を合成して１フレームのフレーム信号を生成する合成フレーム信号生成手段をさらに備え、空きの期間の長さを制御し、前記同期信号の周期に基づいたｐ（ｐは１以上の整数）フレーム分のフレーム期間でｐ＋１フレーム分以上の前記撮像信号を読み出すことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。

Images