JP2016119652A - 撮像装置及び撮像素子の駆動方法 - Google Patents

Abstract

【課題】光源の点滅による影響を抑制しながら、ダイナミックレンジの広い画像の取得する。【解決手段】制御部１０３は、光電変換部１０７で生成された電荷を第１の転送部１０９によって電荷保持部１１０に転送し保持する保持動作と、電荷保持部に保持されている電荷を第２の転送部１１１によって出力部１１２に転送する転送動作と、を撮像素子１０２に繰り返し行わせる。さらに、保持動作として、第１の露光時間において光電変換部１０７で生成された電荷を第１の転送部１０９によって電荷保持部１１０に転送し保持する動作を１フレームの期間に複数回行う第１の保持動作と、第１の露光時間よりも長い第２の露光時間において光電変換部１０７で生成された電荷を第１の転送部１０９によって電荷保持部１１０に転送し保持する動作を１フレームの期間に１回以上行う第２の保持動作と、を含む複数の保持動作のうち１つ以上を、撮像素子１０２に行わせる。【選択図】図１

Description

本発明は、撮像装置及び撮像素子の駆動方法に関する。

一般に、車載用や監視用の撮像装置は、広いダイナミックレンジ性能が求められる。またデジタルスチルカメラやデジタルビデオカメラにおいても、広いダイナミックレンジ性能が求められるようになってきた。これに対して、短い露光時間の画像と長い露光時間の画像とを合成してダイナミックレンジの広い画像を生成する方法が知られている。

一方、ＬＥＤ光源や蛍光灯などの光源には、商用電源に同期して点滅しているものも多い。このため短い露光時間で撮像すると、人の目には点灯しているように見える光源が、静止画において、点灯していないように撮像される場合がある。また動画において、激しく点滅しているように撮像される場合がある。

特許文献１には、照明のエネルギー変動周期を検出する変動検出手段により、光源の変動周期を検出することが記載されている。この変動周期に合わせ全体の露光期間を決定し、この露光期間を一定の割合で有効露光期間と無効露光期間とに交互に分割する。撮像手段により蓄積された電荷のうち、有効露光期間中に蓄積された電荷のみを電気信号に変換することによって、光源の変動周期に合わせた短い露光時間の画像を取得する撮像装置が示されている。

特開２００７−６０４９号公報

ダイナミックレンジの拡大と光源の点滅による影響の抑制との両方を実現するために、特許文献１の撮像装置で、短い露光時間での撮像と長い露光時間での撮像とをフレームごとに交互に行うことが考えられる。しかし、本発明者は、このような装置では画像を正しく取得することが困難であることを見出した。特許文献１の撮像装置で短い露光時間の撮像を行う際、光電変換部から電荷排出及び電荷転送を複数回行う必要があるため、フローティングディフュージョンなどのメモリが必要となる。ｎフレーム目の有効露光期間に光電変換部で生成された電荷は、同じｎフレーム目の間にメモリに断続的に転送され、次いでｎ＋１フレーム目に掛けてメモリから順次、後段の記憶部へ転送される。特許文献１の撮像装置は、短い露光時間の撮像のために、１フレームを一定の割合で有効露光期間と無効露光期間とに交互に分割している。このため、ｎ＋１フレーム目で短い露光時間の撮像を行った場合、メモリにおいてｎフレーム目の電荷とｎ＋１フレーム目の電荷とが重畳してしまう可能性がある。この結果、連続するフレームで異なる露光時間の撮像をすることが難しい。フレームレートを確保しつつ、複数の異なる露光時間の画像を合成し、ダイナミックレンジの広い１つの画像を取得するため、連続するフレームで異なる露光時間で撮像し画像を出力することが望まれる。本発明は、撮像装置において、光源の点滅による影響を抑制しながら、ダイナミックレンジの広い画像の取得する技術を提供することを目的とする。

上記課題に鑑みて、本発明の実施形態に係る撮像装置は、撮像素子と、撮像素子を制御する制御部と、を備え、撮像素子は、複数の画素を有し、複数の画素の各画素は、光電変換部と、電荷保持部と、出力部と、光電変換部で生成された電荷を電荷保持部に転送する第１の転送部と、電荷保持部に保持された電荷を出力部に転送する第２の転送部と、を含み、制御部は、光電変換部で生成された電荷を第１の転送部によって電荷保持部に転送し保持する保持動作と、電荷保持部に保持されている電荷を第２の転送部によって出力部に転送する転送動作と、を撮像素子に繰り返し行わせ、制御部は、保持動作として、第１の露光時間において光電変換部で生成された電荷を第１の転送部によって電荷保持部に転送し保持する第１のサンプリング動作を、１フレームの期間に複数回行う第１の保持動作と、第１の露光時間よりも長い第２の露光時間において光電変換部で生成された電荷を第１の転送部によって電荷保持部に転送し保持する第２のサンプリング動作を、１フレームの期間に１回以上行う第２の保持動作と、を含む複数の保持動作のうち１つ以上を、撮像素子に行わせることを特徴とする。

上記手段により、撮像装置において、光源の点滅による影響を抑制しながら、ダイナミックレンジの広い画像の取得する技術が提供される。

本発明の第１の実施形態に係る撮像装置のブロック図。 図１の撮像装置の動作を説明するタイミング図。 図１の撮像装置の画素部分の等価回路図。 図１の撮像装置の画像処理部の構成を示す図。 図１の撮像装置の画像の合成方法について説明する図。 本発明の第２の実施形態に係る撮像装置の動作を説明するタイミング図。 本発明の第３の実施形態に係る撮像装置の動作を説明するタイミング図。 本発明の第４の実施形態に係る撮像装置のブロック図。 図８の撮像装置の画素部分の等価回路図。 図８の撮像装置の動作を説明するタイミング図。

以下、本発明に係る撮像装置の具体的な実施形態を、添付図面を参照して説明する。なお、以下の説明及び図面において、複数の図面に渡って共通の構成については共通の符号を付している。そのため、複数の図面を相互に参照して共通する構成を説明し、共通の符号を付した構成については適宜説明を省略する。

第１の実施形態
図１から図５を参照して、本発明の一部の実施形態による撮像装置の構造及び撮像装置に含まれる撮像素子の駆動方法を説明する。図１は、本発明の第１の実施形態における撮像装置１０１の構成例を模式的に示すブロック図である。本実施形態において撮像装置１０１は、例えばダイナミックレンジを拡大した画像を表示する表示部と、ダイナミックレンジを拡大した画像を記録する内蔵された記録媒体部とを有する、車載用や監視用などの動画記録用カメラである。撮像装置１０１は、撮像素子１０２、制御部１０３、画像処理部１０４、画像表示部１０５及び画像記録部１０６を備える。

撮像素子１０２には、複数の画素が２次元にアレイ状に配される。図１には４つの画素１２０を示すが、撮像素子１０２にはこれらの画素１２０が複数、２次元にアレイ状に配される。撮像素子１０２の画素１２０は、光電変換部１０７、リセット部１０８、第１の転送部１０９、電荷保持部１１０、第２の転送部１１１及び出力部１１２を有する。光電変換部１０７は、入射した光を電荷などの電気信号に変換する機能を有し、例えばフォトダイオードである。リセット部１０８は、光電変換部１０７の電荷による電位をリセットする。光電変換部１０７で生成された電荷は、第１の転送部１０９によって電荷保持部１１０に転送される。電荷は一時、電荷保持部１１０で保持される。電荷保持部１１０で保持された電荷は、第２の転送部１１１によって、撮像素子１０２の後段回路である出力部１１２に転送される。出力部１１２は、撮像素子１０２から画像処理部１０４へ画像を出力する。撮像素子１０２が入射光に応じた電荷を生成し、当該電荷を電荷保持部１１０に保持する一連の動作をサンプリング動作と呼ぶ。本実施形態のサンプリング動作は、光電変換部１０７の電荷による電位をリセットするリセット動作と、光電変換部１０７に電荷が蓄積されるのを待機する露光動作と、光電変換部１０７に蓄積された電荷を電荷保持部１１０へ転送し保持する動作とで構成される。露光動作に要する時間を露光時間と呼ぶ。

次いで制御部１０３について説明する。制御部１０３は、撮像素子１０２を駆動するためのパルス信号を生成する。制御部１０３は、サンプリング動作切替部１１３、第１のパルス生成部１１４及び第２のパルス生成部１１５を有する。サンプリング動作切替部１１３は、撮像素子１０２を駆動するためのパルス信号を供給するためのタイミングのうち、上述のサンプリング動作に関わるタイミングを、画像のフレームごとに順次、切り替える機能を有する。第１のパルス生成部１１４及び第２のパルス生成部１１５は、サンプリング動作用のパルス信号を生成する。それぞれのパルス生成部で生成されたパルス信号は、サンプリング動作切替部１１３によって、連続する複数のフレームにおいて、フレームごとに順次、切り替えられ、制御部１０３から撮像素子１０２に送られる。

第１のパルス生成部１１４は、第１の保持動作と、第１の転送動作とを含む第１の電荷転送動作を撮像素子１０２で行わせるパルス信号を生成する。第１の保持動作とは、露光時間が短い第１の露光時間でのサンプリング動作を１フレームの期間に複数回行う動作のことである。露光時間が短いサンプリング動作を短時間サンプリング動作と呼ぶ。短時間サンプリング動作は第１のサンプリング動作とも呼ばれる。第１の転送動作とは、第１の保持動作によって電荷保持部１１０に保持されている信号電荷を出力部１１２へ転送する動作のことである。第１の電荷転送動作によって、複数回の短時間サンプリング動作によって生成された信号電荷が電荷保持部１１０で重畳され、その後に出力部１１２へ転送される。すなわち、撮像素子１０２は、短い露光時間で多重露光した画像を出力する。

第２のパルス生成部１１５は、第２の保持動作と、第２の転送動作とを含む第２の電荷転送動作を撮像素子１０２で行わせるパルス信号を生成する。第２の保持動作とは、露光時間が長い第２の露光時間でのサンプリング動作を１フレームの期間に１回以上行う動作のことである。露光時間が長いサンプリング動作を長時間サンプリング動作と呼ぶ。長時間サンプリング動作は第２のサンプリング動作とも呼ばれる。長時間サンプリング動作の露光時間は短時間サンプリング動作の露光時間よりも長い。本実施形態において、第２の保持動作では、１フレームの期間に１回のみ長時間サンプリング動作が行われる。第２の転送動作とは、第２の保持動作によって電荷保持部１１０に保持されている信号電荷を出力部１１２へ転送する動作のことである。第２の電荷転送動作によって、１回の長時間サンプリング動作によって生成された信号電荷が電荷保持部１１０で保持され、その後に出力部１１２へ転送される。すなわち、撮像素子１０２は、長い露光時間で単一露光した画像を出力する。

本実施形態において、第１の転送動作を行わせるパルス信号と第２の転送動作を行わせるパルス信号とは互いに等しくてもよい。そこで、制御部１０３は、このパルス信号を第１のパルス生成部１１４及び第２のパルス生成部１１５の代わりに生成する他のパルス生成部を有してもよい。この場合に、サンプリング動作切替部１１３はこの他のパルス生成部が生成したパルス信号を撮像素子１０２へ供給する。

サンプリング動作切替部１１３によって、撮像素子１０２へ送られるパルス信号は、上述した電荷転送動作を撮像素子１０２において繰り返し行わせる。また第１の電荷転送動作と第２の電荷転送動作とを、フレームごとに周期的に切り替えて行わせる。このため、撮像素子１０２から短い露光時間で多重露光した画像と長い露光時間で単一露光した画像とが、フレームごとに順次、周期的に出力され、画像処理部１０４に送られる。

画像処理部１０４は、撮像素子１０２で撮像された画像の処理を行う。画像処理部１０４は、撮像素子１０２からの信号を受け、露光時間の異なる少なくとも２つの画像を合成し、ダイナミックレンジを拡大した画像を生成する機能を有する。また画像処理部１０４は、ベイヤー配列などの撮像素子の画素配列信号を一般的なＲＧＢ信号やＹＣｂＣｒ信号のような映像信号に変換する処理を行う機能を有する。また画像処理部１０４は、画像表示部１０５への表示信号を生成するインターフェース（ＩＦ）機能、画像記録部１０６への記録信号を生成するＩＦ機能などを有する。画像表示部１０５は、例えば液晶素子やＥＬ素子などで構成され、画像処理部１０４で処理された画像を表示する。画像記録部１０６は、例えばハードディスクや不揮発性メモリなどで構成され、画像処理部１０４で処理された画像を記録する。

図２は、本実施形態の撮像装置１０１の動作を説明するタイミング図である。期間Ｔ２１０（ｎ）、期間Ｔ２１０（ｎ＋１）、期間Ｔ２１０（ｎ＋２）、期間Ｔ２１０（ｎ＋３）、期間Ｔ２１０（ｎ＋４）はそれぞれｎ、ｎ＋１、ｎ＋２、ｎ＋３、ｎ＋４フレーム目のフレームの期間を示している。各フレームは、１つの画像を撮像素子１０２から画像処理部１０４へ出力する。

波形２０１は、例えば５０Ｈｚや６０Ｈｚの商用の交流電源を全波整流した波形を模式的に示したものである。期間Ｔ２１１は、商用電源の交流の周期を示しており、例えば１／５０秒や１／６０秒である。

波形２０２は、波形２０１の電源を用いた例えば交通信号機などのＬＥＤ光源の点灯状態を示す。“Ｈ”レベルが点灯状態、“Ｌ”レベルが消灯状態を表す。ここで全波整流した電源の波形２０１がしきい値レベルＴＨ以上のとき、波形２０２は点灯状態になり、波形２０１がしきい値レベルＴＨ未満のとき、波形２０２は消灯状態になる。波形２０３は、波形２０２と点滅の位相の異なる場合の点灯状態を模式的に示したものである。期間Ｔ２１２は、光源の点滅周期を示しており、期間Ｔ２１１の１／２の周期となる。期間Ｔ２１３Ａ及び期間Ｔ２１３Ｂは、光源の点灯している期間、期間Ｔ２１４Ａ及び期間Ｔ２１４Ｂは、光源の消灯している期間をそれぞれ示す。

信号波形２０４は、サンプリング動作切替部１１３からリセット部１０８に出力される光電変換部１０７の電位をリセットするためのパルス信号の波形を示す。“Ｈ”レベルをリセット、“Ｌ”レベルを非リセットとしている。本実施形態において、撮像素子１０２にアレイ状に配された全画素１２０の光電変換部１０７は、一括して同時にリセットされる。このため全ての画素１２０のリセット部１０８に、同じタイミングで信号波形２０４の“Ｈ”レベルのリセット信号が入力される。

信号波形２０５は、サンプリング動作切替部１１３から第１の転送部１０９に出力されるパルス信号の波形を示す。信号波形２０５が“Ｈ”レベルのとき、第１の転送部１０９がＯＮ動作し、光電変換部１０７で生成された電荷が電荷保持部１１０に転送される。また信号波形２０５が“Ｌ”レベルのとき、第１の転送部１０９はＯＦＦになり、光電変換部１０７から電荷保持部１１０へ電荷は転送されない。本実施形態において、光電変換部１０７で生成された電荷は、アレイ状に配列された全画素１２０で同時に電荷保持部１１０に転送される。このため全ての画素１２０の第１の転送部１０９に、同じタイミングで信号波形２０５の“Ｈ”レベルの転送信号が入力される。撮像装置１０１は、信号波形２０４に示す光電変換部１０７へのリセット信号と、信号波形２０５に示す第１の転送部１０９への転送信号とを用いることによって、アレイ状に配列された画素１２０すべての露光を同時に行うグローバル電子シャッタを実現する。

期間Ｔ２１５及び期間Ｔ２１６はそれぞれ、上述した短時間サンプリング動作の期間を示す。また期間Ｔ２１７は、１つのフレームにおいて複数回行われる短時間サンプリング動作の最初のサンプリング動作の開始から、最後のサンプリング動作の終了までの期間を示している。本実施形態において、期間Ｔ２１７の間に、期間Ｔ２１５と期間Ｔ２１６との２回のサンプリング動作を行う。これら２回の期間Ｔ２１５及び期間Ｔ２１６で生成された電荷が、サンプリングされ電荷保持部１１０に転送され加算される。この結果、電荷保持部１１０において短い露光時間で多重露光した画像が形成される。

期間Ｔ２１８は、上述した長時間サンプリング動作の期間を示す。期間Ｔ２１８の間、長時間サンプリング動作を行い、この期間に生成された電荷がサンプリングされる。この結果、電荷保持部１１０において長い露光時間で単一露光した画像が形成される。

ここで短時間サンプリング動作及び長時間サンプリング動作のサンプリング動作の開始は、リセット部１０８から光電変換部１０７への信号波形２０４に示すリセット信号が“Ｌ”レベルから“Ｈ”レベルになった時とする。またサンプリング動作の終了は、サンプリング動作切替部１１３から第１の転送部１０９への信号波形２０５に示す転送信号が“Ｈ”レベルから“Ｌ”レベルになった時とする。

信号波形２０６、信号波形２０７及び信号波形２０８は、電荷保持部１１０に一時保持した電荷を出力部１１２に転送する第１及び第２の転送動作のため、サンプリング動作切替部１１３から第２の転送部１１１に出力されるパルス信号の波形を示す。信号波形２０６から信号波形２０８が“Ｈ”レベルのとき、第２の転送部１１１がＯＮ動作し、電荷保持部１１０に一時保持された電荷が出力部１１２に転送される。また信号波形２０６から信号波形２０８が“Ｌ”レベルのとき、第２の転送部１１１はＯＦＦになり、電荷保持部１１０から出力部１１２に電荷は転送されない。ここで信号波形２０６は、撮像素子１０２の１行目の各画素１２０の電荷保持部１１０に保持された電荷を出力部１１２に転送するための信号の波形である。同様に信号波形２０７は、撮像素子１０２の２行目の各画素１２０の電荷保持部１１０に保持された電荷を出力部１１２に転送するための信号の波形を示す。また信号波形２０８は、撮像素子の最終行の各画素１２０の電荷保持部１１０に保持された電荷を出力部１１２に転送するための信号の波形を示す。期間Ｔ２１９は、信号波形２０６から信号波形２０８によって１フレーム分の画像を垂直方向に行ごとに順次、電荷保持部１１０から出力部１１２に出力する転送期間である。

このように、撮像素子１０２にアレイ状に配された画素１２０の光電変換部１０７で生成された電荷は、グローバル電子シャッタ機能によって、電荷保持部１１０に一括で一時、保存される。その後、順次、電荷保持部１１０から出力部１１２に出力されることで、１画面分のフレーム画像が出力される。

期間Ｔ２１０（ｎ）で示されるｎフレーム目の期間Ｔ２１７においてサンプリングされた電荷は、ｎ＋１フレーム目の期間Ｔ２１０（ｎ＋１）のうち、期間Ｔ２１９の間に行ごとに出力部１１２に転送され、撮像素子１０２から画像処理部１０４へ出力される。次にｎ＋１フレーム目の期間Ｔ２１８においてサンプリングされた電荷は、ｎ＋２フレーム目の期間Ｔ２１０（ｎ＋２）のうち、期間Ｔ２１９の間に行ごとに出力部１１２に転送され、更に撮像素子１０２から画像処理部１０４へ出力される。サンプリング動作切替部１１３がフレームごとに順次、撮像素子１０２へのサンプリングの信号を切り替えることによって、撮像素子１０２は、画像処理部１０４に短露光時間の画像と長露光時間の画像とをフレームごとに出力する。具体的に、撮像素子１０２は、奇数番目のフレームで短露光時間の画像を出力し、偶数番目のフレームで長露光時間の画像を出力する。画像処理部１０４は、この露光時間の異なる画像を用いて、ダイナミックレンジを拡大のための画像合成を行う。

ここで期間Ｔ２１５と期間Ｔ２１６とで行われる複数回の短時間サンプリング動作の間隔、つまり１回の短時間サンプリングを開始してから次の回の短時間サンプリング動作を開始するまでの間隔は、１フレームの期間の１／２以下とする。例えば、撮像する光源の点滅する周期の１／２以下の間隔としてもよい。期間Ｔ２１７において光源の点滅を、光源の点滅の２倍以上の周波数で複数回、サンプリングし加算する。複数回の短時間サンプリング動作のいずれかが消灯時に行われた場合でも、同じフレームの別の短時間サンプリング動作が点灯時に行われる可能性が高くなる。これによって短い露光時間であっても、点灯状態の不検出を防止できる可能性が高くなる。

例えば、短時間サンプリング動作を行うフレームにおいて、期間Ｔ２１５のサンプリング動作がなく、期間Ｔ２１６のサンプリング動作のみの単一露光の場合、波形２０２の点灯している期間Ｔ２１３Ａと期間Ｔ２１６とが重なっているため点灯状態を検出できる。一方、波形２０２と点滅の位相の異なる波形２０３の場合、消灯する期間Ｔ２１４Ｂと期間Ｔ２１６のサンプリング動作とが重なるため点灯状態を検出できず、光源の点灯を認識できない可能性がある。例えば、明るい昼間に信号機の赤信号が点灯している場合、短い露光時間での撮像では信号が点灯していないと誤検出してしまう可能性がある。しかし光源の点滅の位相が波形２０３の場合でも、期間Ｔ２１５と期間Ｔ２１６とで短時間サンプリング動作を行い、光電変換部１０７で生成した電荷を電荷保持部１１０において加算することによって、こうした誤検出を防止することが可能となる。

本実施形態において、１フレームの期間での短時間サンプリング動作の回数を２回とし、光源の点滅する周期の１／２の間隔でサンプリングする場合を示しているが、例えば、更に多くの回数のサンプリングを行ってもよい。短時間サンプリング動作の回数を多くすることによって、点滅する光源の検出精度が向上し、また検出した画像の変動を抑制することができる。

また、期間Ｔ２１７は、少なくとも１フレームの期間のうち１／２以上とする。例えば、期間Ｔ２１７は、光源の点滅する周期の１／２以上としてもよい。また例えば、期間Ｔ２１７は、光源の点滅する周期のうち、光源の点灯している期間と等しくしてもよい。本実施形態において、期間Ｔ２１７は、光源の点滅する周期の１／２とした。これは、例えば交通信号機など商用電源を利用し全波整流を行い点灯制御する光源において、多くの光源の点灯している期間は、消灯している期間よりも長い。このため、少なくとも光源の点滅する周期の１／２以上の期間において複数回のサンプリングを行うことによって、１回は点灯している期間をサンプリングできるためである。ただし、点灯割合を制御して調光している照明などの光源において、例えば輝度を落とした場合、光源が点滅する周期のうち点灯する割合が１／２よりも小さくなる可能性がある。この場合の撮像装置の駆動方法については、第２の実施形態において説明する。

第１及び第２の転送動作を行う期間Ｔ２１９は、本実施形態において、短時間サンプリング動作を行うフレーム及び長時間サンプリング動作を行うフレームともに、等しい時間としている。ここで期間Ｔ２１９は、１フレームの期間の１／２よりも短い。また期間Ｔ２１９は、光源の点滅周期である期間Ｔ２１２の１／２よりも短い。光電変換部１０７で生成された電荷を電荷保持部１１０に転送する期間と、電荷保持部１１０から出力部１１２に順次電荷を転送する期間Ｔ２１９とが重なった場合、電荷保持部１１０の電荷の量が画像出力の垂直走査中に変化する。期間Ｔ２１９は、これを防止するように設定される。この期間Ｔ２１９の設定は、短時間サンプリング動作を行うフレームにおいて留意すべきことである。本実施形態では、長時間サンプリング動作を行うフレームにおいても短時間サンプリング動作を行うフレームと同様に、光源の点滅周期である期間Ｔ２１２の１／２よりも短い時間で、電荷保持部１１０から出力部へ転送するように設定する。すべてのフレームで電荷保持部１１０から出力部１１２へ電荷を転送するタイミングを合わせることで、撮像素子１０２の後段の画像処理部１０４の画像入力回路構成を簡素化することが可能となる。これによって安価な撮像装置が実現できる。

図３に本実施形態における撮像装置１０１の撮像素子１０２の画素部分の等価回路の構成例を示す。図３には４つの画素３００を示すが、撮像素子１０２にはこれらの画素３００が多数、２次元にアレイ状に配される。画素３００は、図１の画素１２０に相当する。画素３００は、光電変換部１０７に相当する光電変換部３０１、電荷保持部１１０に相当する電荷保持部３０２、第１の転送部１０９に相当する第１の転送スイッチ３０４、第２の転送部１１１に相当する第２の転送スイッチ３０５を含む。更に画素３００は、出力部１１２に相当する増幅部３１０、リセットトランジスタ３０９、選択トランジスタ３０７及び入力ノード３０３を含む。

光電変換部３０１は、入射光によって生成される電荷を蓄積する。光電変換部３０１として、例えばフォトダイオードが用いられる。第１の転送スイッチ３０４は、光電変換部３０１で生成された電荷を、電荷保持部３０２に転送する。電荷保持部３０２は、入射光によって光電変換部３０１で生成された電荷を一時、保持する。第２の転送スイッチ３０５は、電荷保持部３０２に一時、保持された電荷を増幅部３１０の入力ノード３０３に転送する。選択トランジスタ３０７は、出力線３０８に信号を出力する画素３００を選択する。選択された画素３００の増幅部３１０は、入射光によって生成した電荷に基づく信号を出力線３０８に出力する。リセットトランジスタ３０９は、制御線３２５の信号によって増幅部３１０の入力ノード３０３の電圧をリセット線３２６の電位にリセットする。増幅部３１０は、例えばソースフォロア回路を構成する。また第１の転送スイッチ３０４及び第２の転送スイッチ３０５として、例えばＭＯＳトランジスタが用いられる。

第１の転送スイッチ３０４の動作は、制御線３２１を通じて供給される制御信号によって制御される。図２の信号波形２０５で示される駆動パルスが、制御線３２１から第１の転送スイッチ３０４に与えられる。第２の転送スイッチ３０５の動作は、制御線３２２を通じて供給される制御信号によって制御される。本実施形態において、行列状に画素３００が配されるが、１つの行に含まれる画素３００に共通の制御線が接続される。図２に示す信号波形２０６から信号波形２０８の駆動パルスが、制御線３２２からそれぞれの行に応じて与えられる。

また画素３００は、図１に示すリセット部１０８に相当する排出スイッチ３１８を有する。排出スイッチ３１８は、光電変換部３０１の電荷をオーバーフロードレインなどの電源ノード３２４に排出し、光電変換部３０１の電荷による電位をリセットする。排出スイッチ３１８の動作は、制御線３２３を通じて供給される制御信号によって制御される。図２に示す信号波形２０４に示す駆動パルスが、制御線３２３から排出スイッチ３１８に与えられる。これらの構成により、電荷保持部３０２が電荷を一時、保持している間に生成された電荷を光電変換部３０１が蓄積することが可能となる。このため撮像装置１０１は、複数の画素３００で光電変換の期間の一致させる機能、いわゆるグローバル電子シャッタ機能を有する。また光電変換部３０１で蓄積する電荷は、排出スイッチ３１８によって複数の画素３００で、同時に一斉に排出される。上記動作は、全画素で同時に行われてもよい。少なくとも２次元にアレイ状に配された複数の画素で同時に行われるのがよい。以下の説明において、全画素で同時に動作をおこなう場合を例に説明する。

本実施形態において、排出スイッチ３１８を制御することによって露光の開始を制御する。具体的には、排出スイッチ３１８をＯＮからＯＦＦにすることによって、光電変換部３０１で電荷の蓄積が開始される。これによって、露光時間を自由に設定することが可能となる。このようにオーバーフロードレイン構造と、電荷保持部３０２とを有することによって、電荷保持部３０２に短時間露光した電荷を１フレームの間に複数回転送し、多重露光された短時間露光の画像を形成することが可能となる。

また本実施形態において、第１の転送部１０９及びリセット部１０８は、光電変換部１０７で生成された電荷を余すことなく電荷保持部１１０へ転送、もしくはリセットする機能があるとよい。また第２の転送部１１１は、電荷保持部１１０から出力部１１２へ電荷を余すことなく転送する機能があるとよい。これは図３に示す画素３００の回路を構成する各素子のポテンシャル分布を適宜設定し作製することにより実現できる。全ての電荷を余すことなく転送、リセットすることによって、熱が原因となる転送むら、リセットむらなどを抑制できる。これによって、熱雑音の影響が抑制され、複数回のサンプリングを行っても良好な画質が得られる。

次いで図４及び図５を用いて、撮像素子１０２で撮像された異なる露光時間の画像の合成方法について説明する。図４に本実施形態における撮像装置１０１の画像処理部１０４の構成例を示す。画像処理部１０４は、撮像素子１０２から各フレームの画像信号を受信し、露光時間の異なる２つ以上の画像を合成し、画像表示部１０５への表示信号と画像記録部１０６への記録信号とを出力する。前画像処理部４０１は、撮像素子１０２から入力された画像データに対して、例えば黒レベルの補正などの画像処理を行う。第１の画像一時記憶部４０２は、１フレームの間において複数回の短時間サンプリング動作によって得られた多重露光された短時間露光の画像データをフレームメモリなどで一時、保持する。第２の画像一時記憶部４０３は、１フレームの間において長時間サンプリング動作によって得られた単一の長時間露光の画像データをフレームメモリなどで一時、保持する。画像合成部４０４は、第１の画像一時記憶部４０２から入力された多重露光された短時間露光画像と、第２の画像一時記憶部４０３から入力された単一の長時間露光画像とを合成し、ダイナミックレンジを拡大した合成画像を作成する。後画像処理部４０５は、ベイヤー配列などの撮像素子の画素配列信号を一般的なＲＧＢ信号やＹＣｂＣｒ信号のような映像信号に変換する。また後画像処理部４０５は、例えばホワイトバランスやガンマ補正などの、合成された画像の画質補正を行ってもよい。画像表示ＩＦ部４０６は、画像表示部１０５へ画像の表示信号を送信し、制御信号を送受信するＩＦ部である。画像記録ＩＦ部４０７は、画像記録部１０６へ画像の記録信号を送信し、制御信号を送受信するＩＦ部である。

図５に本実施形態の撮像装置１０１の画像合成部４０４で行われるダイナミックレンジ拡大画像の作成方法について示す。ここでは、多重露光された短時間露光画像と長時間露光画像とを合成し、例えば出力レベルの階調数を４０９６階調から６５５３６階調相当に増加させ、ダイナミックレンジを７２ｄＢ相当から９６ｄＢ相当に拡大する場合を示す。

図５（ａ）は、画像合成を行う前、複数回の短時間サンプリング動作で得られた短時間露光画像及び１回の長時間サンプリング動作で得られた長時間露光画像の、照度と出力レベルとの関係を示す図である。特性５０１Ａは、主に被写体の暗部領域を撮像するために用いられる、長時間露光画像の撮像時の照度に対する出力レベルである。ここで、撮像素子の出力は１２ｂｉｔであり、出力される階調数は４０９６階調とする。特性５０２Ａは、主に被写体の明部領域を撮像するために用いる短時間露光画像の撮像時の照度に対する出力レベル特性である。長時間露光画像の特性と比較して、露光時間の短い短時間露光画像の特性の傾きは、緩やかになる。ここで説明を簡単にするために、例えば長時間露光の露光時間は、複数回行われる短時間露光の合計の露光時間の１６倍であるとする。

本実施形態において、長時間露光画像の撮像時の出力レベルは、照度が１０００ｌｘで４０９５階調に達するのに対して、短時間露光画像の撮像時の出力レベルは、照度が１６倍の１６０００ｌｘで４０９５階調に達するように設定されている。まず長時間露光で撮像された画像と、短時間露光で撮像された画像とを合成するために、短時間露光で撮像された画像データをデジタル的に４ｂｉｔ上位側にシフトした画像を作成する。これによって、短時間露光で撮像された画像データは、４ｂｉｔ上位側にシフトし、階調数６５５３６階調の１６ｂｉｔのデータとなる。次いで長時間露光画像と短時間露光画像との合成を行う。ある閾値の出力レベルの階調以下では長時間露光で撮像された画像データを、また閾値の出力レベルよりも大きい出力レベルの階調では短時間露光で撮像された画像データを用いることによって１６ｂｉｔの画像を生成する。例えば、閾値を４０９５階調とする。図５（ｂ）に、照度に対する合成後の画像の階調の出力レベルを示す。長時間露光した特性５０１Ａは、閾値である４０９５階調以下の出力レベルのデータを、そのまま用いた領域である。特性５０２Ｂは、短時間露光画像のデータの特性５０２Ａを４ｂｉｔ、上位側にシフトし、またシフトしたデータのうち、閾値である４０９５階調よりも大きい出力レベルの領域である。これによって合成後の画像は、暗部で１６ｂｉｔの階調精度を有しながら、暗部の撮影に対して飽和レベルが１６倍に大きくなったダイナミックレンジの拡大された画像となる。本実施形態において、長時間露光の露光時間は、複数回行われる短時間露光の露光時間の合計と比較して１６倍としたが、例えば更に露光時間の比を大きく設定することで、１００ｄＢ以上の高いダイナミックレンジを有する画像を得ることが可能となる。

上述した構成及び駆動方法を用いることによって、撮像装置１０１は、例えば暗いトンネル内を走る車の車載用カメラで明るいトンネル外の信号機の点灯状態を撮影する場合、短時間露光となる明るい信号機の点灯状態を誤検出する可能性が抑制される。また撮像装置１０１は、短時間露光の画像と長時間露光の画像とを合成することによって、トンネル内の暗部からトンネル外の明部まで、ダイナミックレンジの広い明瞭な画像を得られる。

このように、暗部と明部が共存する広いダイナミックレンジの必要な環境の撮像において、短い周期の点滅光源があった場合、光源の点灯及び消灯の状態の検出精度の向上した撮像装置が実現する。また光源の点滅に起因した露光量変動によるちらつきを抑制し、良好な画質の動画像を取得する撮像装置が実現する。また本実施形態の撮像装置１０１は、特許文献１に示されるような光源の点滅を検出する点灯検出部を必要としない。また光源の点滅の位相とセンサの露光動作とを一致させなくてもよい。このため回路構成が簡単になる。この結果、安価な撮像装置が実現される。

第２の実施形態
図６を参照して、本発明の第２の実施形態による撮像素子の駆動方法を説明する。図６は、本実施形態の撮像装置１０１の動作を説明するタイミング図である。本実施形態において、図２の第１の実施形態のタイミング図と比較して、制御部１０３から撮像素子１０２への信号波形２０４から信号波形２０８のうち、信号波形２０４及び信号波形２０５にかえて信号波形６０４及び信号波形６０５が用いられる点で異なる。その他の点は、第１の実施形態と同様であってよい。また本実施形態における撮像装置の構成は、第１の実施形態における撮像装置１０１と同じであってよい。このため同様の構成要素は重複する説明を省略する。

先述した第１の実施形態において、商用電源の２倍の周波数で点滅して表示されるＬＥＤ光源を用いた交通信号機など、光源の点灯時間の長い例を示した。一方で、点滅駆動により調光する照明のような光源や、そのような光源を用いた表示体などにおいて、輝度を落とした場合、光源が点滅する周期のうち点灯する割合が１／２よりも小さくなる可能性がある。このような光源を撮像した場合、ダイナミックレンジ拡大のための短い露光時間のサンプリング動作によって、光源や表示体などがフリッカ状にちらつく可能性がある。そこで、このフリッカ状のちらつきを抑制する本実施形態の撮像装置の駆動方法を説明する。

図６のタイミング図において、波形２０１は、交流電源を全波整流した波形を模式的に示す。波形２０２は、波形２０１の電源を用いた例えば点滅駆動により調光するＬＥＤ光源の点灯状態の波形を示す。波形６０３は、点滅駆動により調光する光源において、波形２０２よりも輝度を落とした場合の波形を示す。

制御部１０３から撮像素子１０２へ供給されるパルス信号の信号波形６０４は、図２の信号波形２０４と同様に、サンプリング動作切替部１１３からリセット部１０８に送られる光電変換部１０７の電位リセットするためのリセット信号の波形を示す。また制御部１０３から撮像素子１０２へ供給されるパルス信号の信号波形６０５は、図２の信号波形２０５と同様に、サンプリング動作切替部１１３から第１の転送部１０９に送られる転送信号の波形を示す。

期間Ｔ２１５Ｂは、短時間サンプリング動作のうち、フレーム内で最初のサンプリング動作の期間を示している。また期間Ｔ２１６Ｂは、短時間サンプリング動作のうち、フレーム内で最後のサンプリング動作の期間を示している。また期間Ｔ２１７Ｂは、１つのフレームにおいて複数回行われる短時間サンプリング動作の最初のサンプリング動作の開始から、最後のサンプリング動作の終了までの期間を示している。本実施形態において、同じフレームの画像形成をするために、期間Ｔ２１７Ｂの間に期間Ｔ２１５Ｂから期間Ｔ２１６Ｂまでの複数回の短時間サンプリング動作を行う。これら期間Ｔ２１５Ｂから期間Ｔ２１６Ｂまでの複数回のサンプリング動作の期間に生成された電荷をサンプリングし電荷保持部１１０に転送し加算することによって、短い露光時間で多重露光した画像を形成する。

期間Ｔ２１８は、長時間サンプリング動作の期間を示す。期間Ｔ２１８の間に生成された電荷をサンプリングし、電荷保持部１１０において長い露光時間で単一露光した画像を形成する。

撮像された画像を第２の転送部１１１によって出力部１１２に転送する信号波形２０６から信号波形２０８の動作は、上述した第１の実施形態と同様である。ｎフレーム目にサンプリングされた電荷は、ｎ＋１フレーム目に行ごとに出力部１１２に順次転送され、１画面分のフレーム画像を形成する。また出力部１１２から画像処理部１０４に転送されたフレームごとに露光時間の異なる画像を合成することによってダイナミックレンジを拡大した画像を生成し、画像表示部１０５に表示及び画像記録部１０６に記録する動作は、第１の実施形態と同様であってよい。

本実施形態において、期間Ｔ２１５Ｂから期間Ｔ２１６Ｂで行われる複数回の短時間サンプリング動作の間隔は、光源の点滅周期である期間Ｔ２１２の１／２以下とする。換言すると、短時間サンプリング動作の間隔は、１フレームの期間の１／４以下とする。本実施形態では、光源の周期である期間Ｔ２１２の間にｍ回のサンプリングを行うため、光源の点滅周期である期間Ｔ２１２の１／ｍ（ｍ≧２）の間隔でサンプリング行う。また、期間Ｔ２１７Ｂを、期間Ｔ２１１の１／２、すなわち光源の点滅周期である期間Ｔ２１２と等しくする。つまり期間Ｔ２１７Ｂを１フレームの期間の１／２とする。

波形６０３の期間Ｔ２１３Ｂのように光源の点灯時間が短い場合、サンプリングする間隔が光源の点灯時間である期間Ｔ２１３Ｂの１／２以下であれば点灯を検出できる。これによって、短時間露光画像における輝度の変動差を抑制し、光源の点滅動作によるフリッカ状のちらつきを抑制し、高画質でダイナミックレンジを拡大した動画像が取得できる。

本実施形態においても、光源の点滅する位相と短時間の露光の位相との関係を合わせる必要がないため、撮像装置は、光源の点滅を検出する点灯検出部を必要としない。また光源の点滅の位相と露光の位相とを一致させるための動作をしなくてもよいため、回路構成が簡単になる。この結果、安価な撮像装置が実現される。

ここで光源の点滅周期である期間Ｔ２１２と、撮像装置のフレームの期間との関係は、ある程度合わせる必要がある。しかし例えば、信号機や電光掲示板、ディスプレイなどの表示装置のように光源の点滅周期が商用電源の周期の１／２であるような場合を検討する。商用電源の周波数は地域で５０Ｈｚ又は６０Ｈｚに分かれている。このため、例えば近年多く用いられるＧＰＳ情報や地図情報などで地域の判定を行えば、光源の点滅周期を検出する必要はない。また本実施形態では光源の点灯周期と撮像装置のフレームの期間とを同期した図で示しているが、周期が大凡合っていれば大きな輝度変動にはならないため、厳密に周期を合わせなくてもよい。

また本実施形態を用いた場合、光源が波形２０２及び６０３のようなデジタル的な波形でなく、例えばアナログ的に輝度が周期的に変化する光源であっても、複数回のサンプリングを行うため、ゆらぎやむらの抑制された動画像が取得できる。輝度が大きく変化する光源であっても、複数回行うサンプリングの平均的な画像が得られるためである。さらに、周期的に変化しない光源であっても、良好な画質の動画像を取得する撮像装置を実現できる。

第３の実施形態
図７を参照して、本発明の第３の実施形態による撮像素子の駆動方法を説明する。図７は、本実施形態の撮像装置１０１の動作を説明するタイミング図である。本実施形態において、図２の第１の実施形態のタイミング図と比較して、制御部１０３から撮像素子１０２への信号波形２０４から信号波形２０８のうち、信号波形２０４及び信号波形２０５にかえて信号波形７０４及び信号波形７０５が用いられる点で異なる。その他の点は、第１の実施形態と同様であってよい。本実施形態における撮像装置の構成は、第１の実施形態における撮像装置１０１と同じであってよい。このため同様の構成要素は重複する説明を省略する。

先述した第１の実施形態において、短時間露光を行う多重露光画像と、長時間露光を行う単一露光画像との２つの露光条件の異なる画像をフレームごとに交互に出力し、これら画像を合成しダイナミックレンジを拡大した画像を出力する例を示した。一方で、本発明は多重露光した１つの短時間露光画像と単一露光した１つの長時間露光画像との組み合わせによる画像合成に限られるものではない。実際のダイナミックレンジ拡大において、露光時間の比を１００倍以上の大きな値とする場合がある。こうした場合、短時間露光画像と長時間露光画像とで、撮像した輝度範囲の差が大きくなるため、合成後の画像のリニアリティが劣化する場合がある。また合成するための閾値付近の輝度レベルで境界の輝度の誤差が大きく、例えば疑似輪郭など画質が低下する場合がある。このような画質の劣化を抑制するため、３種類以上の露光時間の異なる画像を取得し合成することによって、２つの条件で撮像し合成した画像よりも画質を改善することが考えられる。そこで、以下に本実施形態の撮像装置の駆動方法を説明する。

図７のタイミング図において、波形２０１は、交流電源を全波整流した波形を模式的に示す。波形２０２は、波形２０１の電源を用いた例えば交通信号機などのＬＥＤ光源の点灯状態を示す。

制御部１０３から撮像素子１０２へ供給されるパルス信号の信号波形７０４は、図２の信号波形２０４と同様に、サンプリング動作切替部１１３からリセット部１０８に送られる光電変換部１０７の電位リセットするためのリセット信号の波形を示す。また制御部１０３から撮像素子１０２へ供給されるパルス信号の信号波形７０５は、図２の信号波形２０５と同様に、サンプリング動作切替部１１３から第１の転送部１０９に送られる転送信号の波形を示す。

期間Ｔ２１５及び期間Ｔ２１６はそれぞれ、短時間サンプリング動作が行われる期間を示す。また期間Ｔ２１５Ｃ及び期間Ｔ２１６Ｃはそれぞれ、第３のサンプリング動作が行われる期間を示す。期間Ｔ２１５Ｃ及び期間Ｔ２１６Ｃの第３のサンプリング動作は、第３の露光時間を有する。第３の露光時間は、期間Ｔ２１５及び期間Ｔ２１６の短時間サンプリング動作の露光時間よりも長く設定される。また第３の露光時間は、期間Ｔ２１８の長時間サンプリング動作の露光時間よりも短く設定される。

期間Ｔ２１７及び期間Ｔ２１７Ｃは、１つのフレームにおいて複数回行われる短時間サンプリング動作及び第３のサンプリング動作の最初のサンプリング動作の開始から、最後のサンプリング動作の終了までの期間を示している。本実施形態において、期間Ｔ２１７の間に期間Ｔ２１５と期間Ｔ２１６との２回の短時間サンプリング動作を行う。また期間Ｔ２１７Ｃの間に期間Ｔ２１５Ｃと期間Ｔ２１６Ｃとの２回の第３のサンプリング動作を行う。これらのサンプリング動作の期間に生成された電荷をサンプリングし電荷保持部１１０に転送し加算することによって、短時間サンプリング動作による露光と第３のサンプリング動作による露光との、２種類の短時間露光の多重露光画像を形成する。期間Ｔ２１８は、長時間サンプリング動作の期間を示す。期間Ｔ２１８の間に生成された電荷をサンプリングし、電荷保持部１１０において長時間露光の単一露光画像を形成する。

ここで第１のパルス生成部１１４が、第３のサンプリング動作を複数回行う第３の保持動作を撮像素子１０２で行なわせるパルス信号を生成してもよい。更に第１のパルス生成部１１４が、第１の保持動作及び第３の保持動作を行わせるパルス信号の生成をフレームごとに順次、切り替えてもよい。また制御部１０３が、第３の保持動作を行わせるパルス信号を生成する第３のパルス生成部を更に有し、サンプリング動作切替部１１３によって撮像素子１０２に送信するパルス信号を、フレームごとに順次、切り替えてもよい。

期間Ｔ２１０（ｎ）で示されるｎフレーム目の期間Ｔ２１７において複数回の短時間サンプリング動作で保持された電荷は、ｎ＋１フレーム目の期間Ｔ２１０（ｎ＋１）のうち期間Ｔ２１９の間に１フレーム分の露光画像として出力される。同様に期間Ｔ２１０（ｎ＋１）で示されるｎ＋１フレーム目の期間Ｔ２１７Ｃにおいて複数回の第３のサンプリング動作で保持された電荷は、ｎ＋２フレーム目の期間Ｔ２１０（ｎ＋２）のうち期間Ｔ２１９の間に出力される。また期間Ｔ２１０（ｎ＋２）で示されるｎ＋２フレーム目の期間Ｔ２１８の間に１回の長時間サンプリング動作で保持された電荷は、ｎ＋３フレーム目の期間Ｔ２１０（ｎ＋３）のうち期間Ｔ２１９の間に１フレーム分の露光画像として出力される。撮像素子１０２は、短時間サンプリング動作で短時間露光された多重露光画像と、第３のサンプリング動作で露光された多重露光画像と、長時間サンプリング動作で長時間露光された単一露光画像とを、本実施形態において、３フレーム周期で出力する。

画像処理部１０４は、これら３種類の露光時間の異なる画像を用いてダイナミックレンジを拡大した１つの画像を合成する。例えば複数回の短時間サンプリング動作の露光時間の合計と、複数回の第３のサンプリング動作の露光時間の合計と、単一の長時間サンプリング動作の露光時間との比を１：１０：１００とする。短時間サンプリング動作によって得られた画像と長時間サンプリング動作によって得られた画像との２種類の画像の合成の場合、１００倍のレンジの異なる画像同士の合成となる。しかし、本実施形態において、第３のサンプリング動作を用いることによって、１０倍ごとのレンジの差に抑えることが可能となり、画質の低下を抑制することが可能になる。これによって、２種類の露光時間の画像を合成した場合と比較して、高画質なダイナミックレンジを拡大した画像が取得できる。また画質を同じ程度に抑えた場合、よりダイナミックレンジの拡大量が大きい撮像装置が実現される。

本実施形態のように、ダイナミックレンジ拡大機能を有した撮像装置を実現する場合でも、短い露光時間の画像の取得において、撮像するサンプリングの周期の種類が増えるため、点滅する光源を検出できない不具合が抑制できる。また、このような構成とすることで、光源の点滅と短時間の露光との位相の関係を合わせる必要性が少なくなるため、光源の点滅を検出する点灯検出部を必要としない。また光源の点滅する位相と撮像装置の露光の動作の位相とを一致させなくてもよいため、回路構成が簡単になる。この結果、安価な撮像装置が実現される。

第４の実施形態
図８から図１０を参照して、本発明の一部の実施形態による撮像装置の構造及び撮像素子の駆動方法を説明する。図８は、本発明の第４の実施形態における撮像装置８０１の構成例を模式的に示すブロック図である。図１に示す撮像装置１０１と比較して、撮像素子１０２に、電荷保持部１１０と第１の転送部１０９と第２の転送部１１１とを含むセットを２つ含む画素８２０が配されている。また、サンプリング動作切替部１１３が、撮像素子１０２を駆動するためのパルス信号を供給するサンプリング動作制御部８１３に変更されている。これ以外の撮像装置８０１の構成は、上述の撮像装置１０１の構成と同じであってよい。本明細書において、各セットに含まれる各構成の区別が必要な場合、各構成の参照符号にＳ、Ｌの添え字を行う（例えば、電荷保持部１１０Ｓ）。

図９に本実施形態における撮像装置８０１の撮像素子１０２の画素部分の等価回路の構成例を示す。画素８００は、図８の画素８２０に相当する。図３に示す画素３００と比較して、画素８００は、電荷保持部３０２と第１の転送スイッチ３０４と第２の転送スイッチ３０５とを含むセットを２つ含む。また、第１の転送スイッチ３０４Ｓ、３０４Ｌのそれぞれを制御するための制御線３２１Ｓ、３２１Ｌ、及び、第２の転送スイッチ３０５Ｓ、３０５Ｌのそれぞれを制御するための制御線３２２Ｓ、３２２Ｌを含む。これ以外の画素８００の構成は、上述の画素３００の構成と同じであってよい。このような構成を有することで、一方の電荷保持部で電荷が保持されている状態で、光電変換部３０１から他方の電荷保持部へ電荷を転送し保持する（第１工程）。そして、第１工程によって二つの電荷保持部で電荷が保持されている状態で、一方の電荷保持部から出力部へ電荷を転送する（第２工程）。このような動作を順次、行うことで、二つの電荷保持部に同時性の高い信号を保持することが可能となる。以下、詳細に関して説明を行う。

画素８００において、光電変換部３０１で生成された電荷は、第１の転送スイッチ３０４Ｓと第１の転送スイッチ３０４Ｌとのそれぞれ選択された時間に応じて、電荷保持部３０２Ｓと電荷保持部３０２Ｌとのそれぞれに保持される。上述の第１〜第３の実施形態では、制御部１０３が撮像素子１０２にフレームごとに異なる露光時間のサンプリング動作を行なわせ、フレームごとに露光時間の異なる画像を順次、生成させた。一方、本実施形態では、画素８００が複数の電荷保持部１１０を含むことによって、制御部１０３が撮像素子１０２にフレームごとに、異なる露光時間のサンプリング動作を並列に行わせ、異なる露光時間で得られた複数の信号を生成させる。

図１０は、本実施形態の撮像装置８０１の動作を説明するタイミング図である。期間Ｔ９１０（ｎ）、期間Ｔ９１０（ｎ＋１）、期間Ｔ９１０（ｎ＋２）、期間Ｔ９１０（ｎ＋３）は、それぞれｎ、ｎ＋１、ｎ＋２、ｎ＋３フレーム目のフレームの期間を示している。本実施形態において、各フレームは、それぞれの画素８２０が電荷保持部を２つ有することから、露光時間の異なる２つの信号を撮像素子１０２から画像処理部１０４へ出力する。画像処理部１０４は、フレームごとに出力される露光時間の異なる２つの信号を合成して画像を生成する。本実施形態において、各画素８２０は、電荷保持部１１０と第１の転送部１０９と第２の転送部１１１とを含むセットを２つ備えるが、例えば３つ以上のセットを備え、フレームごとに露光時間の異なる３つ以上の画像を生成してもよい。

波形９０１は、例えば電光掲示板や各種照明機器、自動車などの表示に用いられるアナログ変調されたＬＥＤ光源などの点灯波形を示す。信号波形９０４は、サンプリング動作制御部８１３からリセット部１０８に出力される光電変換部１０７の電位をリセットするためのパルス信号の波形を示す。上述の実施形態と同様に、“Ｈ”レベルをリセット、“Ｌ”レベルを非リセットとしている。また、撮像素子１０２にアレイ状に配された全画素８２０の光電変換部１０７は、一括して同時にリセットされる。このため全ての画素８２０のリセット部１０８に、同じタイミングで信号波形９０４の“Ｈ”レベルのリセット信号が入力される。

信号波形９０５Ｓは、サンプリング動作制御部８１３から第１の転送部１０９Ｓへ出力されるパルス信号、信号波形９０５Ｌは、サンプリング動作制御部８１３から第１の転送部１０９Ｌへ出力されるパルス信号の波形をそれぞれ示す。本実施形態において、光電変換部１０７で生成された電荷は、アレイ状に配列された全画素８２０で同時に電荷保持部１１０Ｓ又は電荷保持部１１０Ｌに転送される。信号波形９０５Ｓが“Ｈ”レベルのとき、光電変換部１０７で生成された電荷は、電荷保持部１１０Ｓに転送される。このとき、全ての画素８２０の第１の転送部１０９Ｓに、同時に信号波形９０５Ｓの“Ｈ”レベルの転送信号が入力される。同様に、信号波形９０５Ｌが“Ｈ”レベルのとき、光電変換部１０７で生成された電荷が電荷保持部１１０Ｌに転送される。このとき、全ての画素８２０の第１の転送部１０９Ｌに、同時に信号波形９０５Ｌの“Ｈ”レベルの転送信号が入力される。これによって、２つの電荷保持部１１０Ｓ、１１０Ｌのそれぞれに、信号波形９０４及び信号波形９０５Ｓ、信号波形９０４及び信号波形９０５Ｌで規定されたそれぞれ異なる露光時間で、光電変換部１０７に生成された電荷がサンプリングされる。もしくは同じ露光時間であって、サンプリングの回数を異ならせた電荷をサンプリングさせてもよい。

ここで、期間Ｔ９１５Ｓ、Ｔ９１６Ｓ、Ｔ９１７Ｓは、信号波形９０４の駆動パルスでリセットされた後、光電変換部１０７に蓄積された電荷を、信号波形９０５Ｓの駆動パルスで電荷保持部１１０Ｓに転送する短時間サンプリング動作のそれぞれの期間を示す。同様に、期間Ｔ９１５Ｌ、Ｔ９１６Ｌ、Ｔ９１７Ｌは、信号波形９０４の駆動パルスでリセットされた後、光電変換部１０７に蓄積された電荷を、信号波形９０５Ｌの駆動パルスで電荷保持部１１０Ｌに転送する長時間サンプリング動作のそれぞれの期間を示す。短時間サンプリング動作を行う期間Ｔ９１５Ｓ、Ｔ９１６Ｓ、Ｔ９１７Ｓと、長時間サンプリング動作を行う期間Ｔ９１５Ｌ、Ｔ９１６Ｌ、Ｔ９１７Ｌとは、同時に行われることはなく、順次行われる。制御部１０３が、撮像素子１０２に短時間サンプリング動作と、長時間サンプリング動作とを順次、行わせることによって、同一のフレームの期間で複数の異なる露光時間の画像を並列に生成することが可能となる。もしくはサンプリングのタイミングが異なるが、同時性の高い画像を並列に生成することが可能となる。

信号波形９０６Ｓ、９０６Ｌは、電荷保持部１１０Ｓ、１１０Ｌに一時保持した電荷を、出力部１１２に順次に転送するために、サンプリング動作制御部８１３から第２の転送部１１１Ｓ、１１１Ｌに出力されるパルス信号の波形を示す。信号波形９０６Ｓ、９０６Ｌが“Ｈ”レベルのとき、対応する画素８２０内の第２の転送部１１１Ｓ、１１１ＬがＯＮ動作し、電荷保持部１１０Ｓ、１１０Ｌに一時保持された電荷が、順次、出力部１１２に転送される。信号波形９０６Ｓ−１、２、３のそれぞれは、電荷保持部１１０Ｓにそれぞれ期間Ｔ９１７Ｓ、９１５Ｓ、９１６Ｓの間に蓄積された電荷を転送する際のパルス信号の波形を示している。同様に、信号波形９０６Ｌ−１、２、３のそれぞれは、電荷保持部１１０Ｌにそれぞれ期間Ｔ９１７Ｌ、９１５Ｌ、９１６Ｌの間に蓄積された電荷を転送する際のパルス信号の波形を示している。また、期間Ｔ９１０は、信号波形９０６Ｓ−１、９０６Ｌ−１から信号波形９０６Ｓ−３、９０６Ｌ−３によって１行目から最終行目までの１フレーム分の画像を行ごとに順次、出力部１１２に出力する１画面分の転送期間である。期間Ｔ９１０は、１フレームの期間と言うことができる。

本実施形態において、１フレームの期間Ｔ９１０の間に、期間Ｔ９１５Ｓ、Ｔ９１６Ｓ、Ｔ９１７Ｓで示される短時間サンプリング動作を３回行い、短い露光時間で多重露光した画像を生成する。また、１フレームの期間Ｔ９１０の間に、期間Ｔ９１５Ｌ、Ｔ９１６Ｌ、Ｔ９１７Ｌで示される短時間サンプリング動作よりも長い長時間サンプリング動作を３回行い、長い露光時間で多重露光した画像を生成する。１フレーム期間における複数回の短時間サンプリング動作及び長時間サンプリング動作の期間の合計時間が、１フレーム期間の、それぞれのサンプリング動作で得られる画像の露光時間となる。

上述の第１〜第３の実施形態において、フレームごとに順次、異なる露光時間で画像を生成し、複数のフレームの画像を合成することによってダイナミックレンジを拡大した合成画像を取得した。一方、本実施形態では、電荷保持部１１０Ｓ及び電荷保持部１１０Ｌの２つの電荷保持部を設け、それぞれの転送部に適切なパルスを入力することによって、同一のフレームで、２つの異なる露光時間の画像を生成することが可能となる。露光時間の異なるサンプリング動作のそれぞれのサンプリング動作の回数を十分に多くした場合、各サンプリング動作の開始から終了までの時間は短くなる。このとき得られる情報の変化量は、異なる露光時間の隣接するサンプリング動作の間では小さくなるため、得られる２つの情報は露光の期間が異なるものの、露光開始から露光終了まで連続的に蓄積した情報と同等の情報となりうる。例えば１行目はおよそ期間Ｔ９２１での情報が得られ、２行目はおよそ期間Ｔ９２２での情報が得られ、さらに最終行は期間Ｔ９２３での情報が得られることになる。つまり、本実施形態によると、異なる露光時間の、ほぼ同時刻の画像情報が得られることになる。

このように、撮像素子１０２にアレイ状に配された画素８２０の光電変換部１０７で生成された電荷は、１画素につき２つの電荷保持部１１０に異なるサンプリング時間で、全画素同時に保持される。その後、各電荷保持部１１０から出力部１１２に行ごとに出力されることで、１画面分のフレーム期間において、異なる露光時間でサンプリングされた電荷が加算された多重露光画像が出力される。本実施形態において、電荷保持部１１０Ｓに保持された電荷から得られる画像は短い露光時間の多重露光画像となり、また、電荷保持部１１０Ｌに保持された電荷から得られた画像は長い露光時間の多重露光画像となる。

露光時間の異なる２つの多重露光画像は、時間の間隔をあけて複数回サンプリングして得られた画像のため、光源の点灯状態の変動するある一瞬の固定値でなく、１つのフレームの期間の情報となる。このため、光源を撮影したときに発生するフリッカ又はフリッカ状のちらつきを抑制することが可能となる。また、フリッカを完全に抑制できない場合であっても、画面内のフリッカの発生状況は、短露光時間の画像と長露光時間の画像で近くなるため、それぞれの多重露光画像を合成する際、フリッカの発生状況の差による画質の低下を抑制できる。また、それぞれの多重露光画像は、同一のフレームの期間を複数回サンプリングして得られているため、ほぼ同時刻の撮影を２種類の露光時間で撮影した画像となる。従って、読み出されたそれぞれの多重露光画像を合成することによって、ダイナミックレンジを拡大した画像を得ることができる。また、それぞれの多重露光画像には同時性があるため、上述した異なるフレームの画像を合成する場合と比較して、被写体やカメラの動きに対して発生する画像ずれの発生を抑制することができる。

本実施形態において、制御部１０３は、１フレームの期間に光電変換部１０７の情報を、短時間サンプリング動作及び長時間サンプリング動作をそれぞれ３回、各画素８２０に行わせている。このため、１フレームの期間のうち、１回の短時間又は長時間サンプリング動作を開始してから、次の短時間又は長時間サンプリング動作を開始するまでの時間は、１フレームの期間の１／３となっている。しかし、サンプリング動作の回数は、これに限られるものではない。フリッカの抑制効果は、サンプリング動作を２回以上、行うことによって得ることができるため、サンプリング動作は、例えばそれぞれ２回ずつでもよい。また、４回以上のサンプリング動作を行ってもよい。また例えば、１フレームの期間に行われる短時間サンプリングと長時間サンプリングとの回数が互いに異なっていてもよい。

１フレームの期間のサンプリング動作の回数を多くした場合、取得される情報は、各フレームの期間に連続的に蓄積した場合と同様の効果を有しうる。これによって、例えば点滅する光源の検出精度が向上し、また検出した光源の点滅による画像の変動を抑制し、フリッカを抑制することができる。また、動画を撮像した場合、顕著となるが、同一フレームでの撮像のため短い露光時間の画像と長い露光時間の画像とのぼけ量が同一となり、合成された画像の違和感が抑制される。例えば、夜間に走行中の車を撮影した場合、ボディがぼけているにも関わらず、ライトがぼけていない、ライトのボケが点線状になる、などの不具合が抑制される。

上述したように、サンプリング動作の回数を多くする、換言すると、信号波形９０５Ｓ、９０５Ｌのパルス間隔を短くすることによって、フリッカを抑制する効果が大きくなる。光源の点滅周波数をＮ（Ｈｚ）とした場合、サンプリングのサイクル（Ｈｚ）＞Ｎ（Ｈｚ）からフリッカ抑制の効果が表れる。また、サンプリングのサイクル（Ｈｚ）＞２Ｎの条件で十分な効果が表れる。例えば、５０Ｈｚの商用電源を用いる蛍光灯の照明下で、１００Ｈｚで撮像するとフリッカが現れやすい。この場合、サンプリングのサイクル（Ｈｚ）＞１００Ｈｚで効果が表れ、また、サンプリングのサイクル（Ｈｚ）＞２００Ｈｚとすることで、十分な効果が得られうる。５０Ｈｚの商用電源を用いた光源に対して、信号波形９０５Ｓ、９０５Ｌのパルス間隔を１０ｍｓ以下にすることによって、フリッカ抑制の効果が得られる。また、更にフリッカ抑制の効果を高めるために、信号波形９０５Ｓ、９０５Ｌのパルス間隔は、例えば５ｍｓよりも短くてもよい。

また、電荷の多重化する露光時間の合計時間は、フリッカの抑制効果を大きくするために、長くしてもよい。例えば、短時間サンプリング動作の露光時間の合計と長時間サンプリング動作の露光時間の合計とを合計した時間が、光源の点滅する周期の１／２以上であってもよい。

本実施形態においても、広いダイナミックレンジの必要な環境の撮像において、短い周期の点滅光源があった場合、光源の点灯及び消灯の状態の検出精度の向上した撮像装置が実現する。また光源の点滅に起因した露光量変動によるちらつきを抑制し、良好な画質の動画像を取得する撮像装置が実現する。また、本実施形態の構成では、露光時間の異なる複数の画像をフレームごとに取得し、得られた画像を合成することで広いダイナミックレンジを作成できる。フレームごとに露光量の異なる複数の画像を取得し合成する場合よりも、カメラの動きや被写体の動きに起因する時間的な画像ずれや、複数の画像間での光源によるフリッカの差を抑制できる。また、上述の各実施形態と同様に、光源の点滅を検出する点灯検出部を必要とせず、光源の点滅の位相とセンサの露光動作とを一致させなくてもよい。このため回路構成が簡単になり、安価な撮像装置が実現される。

以上、本発明に係る実施形態を４形態示したが、本発明はそれらの実施形態に限定されるものではない。上述した各実施形態は適宜変更、組み合わせが可能である。例えば、第１〜第３の実施形態において、２種類以上の短時間露光のサンプリング動作を３回以上行うフレームと、単一露光の長時間サンプリング動作を行うフレームとを、フレームごとに切り替えて撮像してもよい。また、フレームごとに保持動作を順次、切り替えるだけでなく、サンプリング動作切替部１１３が、例えば第１の保持動作を２度、次いで第２の保持動作を１度のように所定の周期で保持動作を繰り返すように切り替えて撮像してもよい。さらに、各実施形態の信号波形の“Ｈ”レベルもしくは“Ｌ”レベルの長さは適宜変更することが可能である。たとえば第２実施形態以降では、露光時間の長い信号を得る際の転送部の“Ｈ”レベルの長さが、露光時間の短い信号を得る際の“Ｈ”レベルよりも長くなっている。しかしこれは同じ長さにしてもよいし、大小関係を逆転させてもよい。また光電変換部から電荷保持部への転送および/または電荷保持部から出力部への転送は電荷が完全に転送されてもよい。このような電荷の転送を実現するために、平衡時の光電変換部のポテンシャルが電荷保持部のポテンシャルよりも高く、平衡時の電荷保持部のポテンシャルが出力部のポテンシャルよりも高いほうがよい。ここでいうポテンシャルは、信号電荷に対するポテンシャルである。従って、信号電荷として電子を扱う場合には電位が低い方がポテンシャルは高くなる。

１０１ 撮像装置、１０２ 撮像素子、１０３ 制御部、１０７ 光電変換部、１０９ 第１の転送部、１１０ 電荷保持部、１１１ 第２の転送部、１１２ 出力部、１２０ 画素

Claims (20)

1. 撮像素子と、前記撮像素子を制御する制御部と、を備える撮像装置であって、
   前記撮像素子は、複数の画素を有し、
   前記複数の画素の各画素は、光電変換部と、電荷保持部と、出力部と、前記光電変換部で生成された電荷を前記電荷保持部に転送する第１の転送部と、前記電荷保持部に保持された電荷を前記出力部に転送する第２の転送部と、を含み、
   前記制御部は、前記光電変換部で生成された電荷を前記第１の転送部によって前記電荷保持部に転送し保持する保持動作と、前記電荷保持部に保持されている電荷を前記第２の転送部によって前記出力部に転送する転送動作と、を前記撮像素子に繰り返し行わせ、
   前記制御部は、前記保持動作として、
   第１の露光時間において前記光電変換部で生成された電荷を前記第１の転送部によって前記電荷保持部に転送し保持する第１のサンプリング動作を、１フレームの期間に複数回行う第１の保持動作と、
   前記第１の露光時間よりも長い第２の露光時間において前記光電変換部で生成された電荷を前記第１の転送部によって前記電荷保持部に転送し保持する第２のサンプリング動作を、前記１フレームの期間に１回以上行う第２の保持動作と、
   を含む複数の保持動作のうち１つ以上を、前記撮像素子に行わせることを特徴とする撮像装置。
2. 前記第１のサンプリング動作、及び前記第２のサンプリング動作が、前記複数の画素で同時に行われることを特徴とする請求項１に記載の撮像装置。
3. 前記１フレームの期間のうち、前記転送動作を開始してから終了するまでの期間が、各フレームにおいて同じ期間であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記１フレームの期間のうち、１回の前記第１のサンプリング動作を開始してから次の回の前記第１のサンプリング動作を開始するまでの期間が、前記１フレームの期間の１／２以下であることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記１フレームの期間のうち、１回の前記第１のサンプリング動作を開始してから次の回の前記第１のサンプリング動作を開始するまでの期間が、前記１フレームの期間の１／４以下であることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
6. 前記１フレームの期間のうち、最初の前記第１のサンプリング動作を開始してから最後の前記第１のサンプリング動作を終了するまでの期間が、前記１フレームの期間の１／２以上であることを特徴とする請求項４又は５に記載の撮像装置。
7. 前記１フレームの期間のうち、最初の前記第１のサンプリング動作を開始してから最後の前記第１のサンプリング動作を終了するまでの期間が、前記１フレームの期間のうち最初の前記第２のサンプリング動作を開始してから最後の前記第２のサンプリング動作を終了するまでの期間よりも短いことを特徴とする請求項４乃至６の何れか１項に記載の撮像装置。
8. 前記１フレームの期間のうち、前記転送動作の期間が、前記１フレームの期間の１／２以下であることを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
9. 前記複数の保持動作は、前記第１の露光時間よりも長く、前記第２の露光時間よりも短い、第３の露光時間の間に前記光電変換部で生成された電荷を前記第１の転送部によって前記電荷保持部に転送し保持する第３のサンプリング動作を、前記１フレームの期間に複数回行う第３の保持動作を更に含むことを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。
10. 前記制御部は、前記複数の保持動作を前記撮像素子に順次、行わせることを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
11. 前記撮像装置は、画像合成部を更に備え、
    前記画像合成部は、露光時間の異なる少なくとも２つのフレームで得られた画像を合成し、出力することを特徴とする請求項１乃至１０の何れか１項に記載の撮像装置。
12. 前記複数の画素の各画素は、前記電荷保持部と、前記第１の転送部と、前記第２の転送部と、を含むセットを２つ含み、
    前記制御部は、
    同じフレームの期間に、
    前記セットの一方に前記第１の保持動作を、
    前記セットの他方に前記第２の保持動作を、
    それぞれ行わせることを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
13. 前記制御部は、前記第１のサンプリング動作と、前記第２のサンプリング動作とを、前記撮像素子に順次、行わせることを特徴とする請求項１２に記載の撮像装置。
14. 前記１フレームの期間のうち、前記第１の露光時間の合計と前記第２の露光時間の合計とを合計した時間が、前記１フレームの期間の１／２以上であることを特徴とする請求項１２又は１３に記載の撮像装置。
15. 前記複数の画素は、前記光電変換部の電位をリセットするリセット部を更に有し、
    前記リセット部による前記光電変換部の電荷のリセットが、前記第１のサンプリング動作、及び前記第２のサンプリング動作の前に、前記複数の画素で一斉に行わることを特徴とする請求項１乃至１４の何れか１項に記載の撮像装置。
16. 前記リセット部は、オーバーフロードレイン構造を有することを特徴とする請求項１５に記載の撮像装置。
17. 前記１フレームの期間が、商用電源の周期又は商用電源の周期の１／２と等しいことを特徴とする請求項１乃至１６の何れか１項に記載の撮像装置。
18. 複数の画素を有する撮像素子の駆動方法であって、
    前記複数の画素の各画素は、一つの光電変換部と、少なくとも二つの電荷保持部と、出力部と、前記光電変換部から一方の電荷保持部へ電荷を転送する転送部と、前記光電変換部から他方の電荷保持部へ電荷を転送する転送部と、前記一方の電荷保持部から前記出力部へ電荷を転送する転送部と、前記他方の電荷保持部から前記出力部へ電荷を転送する転送部と、を含み、
    前記一方の電荷保持部で電荷が保持されている状態で、前記他方の電荷保持部へ電荷を転送し保持する第１工程と、
    前記第１工程によって前記二つの電荷保持部で電荷が保持されている状態で、前記一方の電荷保持部から電荷を転送する第２工程と、
    を含むことを特徴とする駆動方法。
19. 前記一方の電荷保持部に、第１の露光時間において前記光電変換部で生成された電荷が保持され、
    前記他方の電荷保持部に、前記第１の露光時間よりも長い第２の露光時間において前記光電変換部で生成された電荷が保持されることを特徴とする請求項１８に記載の駆動方法。
20. 複数の画素を有する撮像素子の駆動方法であって、
    前記複数の画素の各画素は、光電変換部と、電荷保持部と、出力部と、前記光電変換部で生成された電荷を前記電荷保持部に転送する第１の転送部と、前記電荷保持部に保持された電荷を前記出力部に転送する第２の転送部と、を含み、
    前記光電変換部で生成された電荷を前記第１の転送部によって前記電荷保持部に転送し保持する保持工程と、前記電荷保持部に保持されている電荷を前記第２の転送部によって前記出力部に転送する電荷転送工程と、を繰り返し行い、
    前記保持工程として、
    第１の露光時間において前記光電変換部で生成された電荷を前記第１の転送部によって前記電荷保持部に転送し保持する第１のサンプリング動作を、１フレームの期間に複数回行う第１の保持工程と、
    前記第１の露光時間よりも長い第２の露光時間において前記光電変換部で生成された電荷を前記第１の転送部によって前記電荷保持部に転送し保持する第２のサンプリング動作を、前記１フレームの期間に１回以上行う第２の保持工程と、
    を含む複数の保持工程のうち１つ以上を、行うことを特徴とする駆動方法。

Images