JP2021078038A - 撮像装置及びコンピュータプログラム - Google Patents

Abstract

【課題】画質を劣化させずにフリッカ低減を可能にした撮像装置を提供すること。【解決手段】実施例の撮像装置は、光源の周期的な発光パターンを検出する検出部と、光電変換をして電荷を蓄積する複数の画素を行列状に配置するとともに前記複数の画素により１フレーム分の画素信号を形成する撮像素子と、前記撮像素子から前記１フレーム分の画素信号を所定のフレーム周期で読み出す読出し部と、前記１フレーム分の画素信号を形成するための前記複数の画素の電荷蓄積動作を同時に開始させてから所定の蓄積時間後に同時に終了させるように蓄積制御を行うとともに、前記検出部により検出された前記周期的な発光パターンに応じて前記蓄積時間を前記フレーム周期単位で変更することによって、前記光源の前記周期的発光パターンによるフレーム毎の画素信号の変動を抑制する蓄積制御部と、を有する。【選択図】図５

Description

本発明は、撮像装置及びコンピュータプログラムに関する。

西日本は電源周波数が６０Ｈｚなので１２０Ｈｚのフリッカ光源が、東日本では電源周波数が５０Ｈｚなので１００Ｈｚのフリッカ光源が存在する。このようなフリッカ光源下で動画を撮影すると、ローリングシャッタセンサーではフレーム内で輝度差が生じ、グローバルシャッタセンサーではフレーム間で輝度差が生じる。

従来この対策として、フリッカ光源周期とセンサーの蓄積時間を等しくする制御が行われてきた。例えば、１２０Ｈｚのフリッカ光源下では、蓄積時間を８．３３ｍｓの倍数にすることで、フリッカの影響を軽減することができる。
しかし近年、動画が高フレームレート化しており、フリッカ光源周期と同じだけ蓄積時間を確保することができなくなってきている。
そこで特許文献１では、ローリングシャッタセンサーにおいて、フレーム内の輝度が均一になるように、行毎に蓄積時間を変える制御が記載されている。

特開２００７−２１５０６２号公報

しかしながら、特許文献１に記載の撮像装置は行毎に蓄積時間を変えるため、フレーム内でローリングシャッタ歪み量が変わり、画質が劣化するという課題がある。
そこで、本発明の目的は、画質を劣化させずにフリッカ低減を可能にした撮像装置を提供することにある。

上記目的を達成するために、本発明に係る撮像装置は、
光源の周期的な発光パターンを検出する検出部と、
光電変換をして電荷を蓄積する複数の画素を行列状に配置するとともに前記複数の画素により１フレーム分の画素信号を形成する撮像素子と、
前記撮像素子から前記１フレーム分の画素信号を所定のフレーム周期で読み出す読出し部と、
前記１フレーム分の画素信号を形成するための前記複数の画素の電荷蓄積動作を同時に開始させてから所定の蓄積時間後に同時に終了させるように蓄積制御を行うとともに、前記検出部により検出された前記周期的な発光パターンに応じて前記蓄積時間を前記フレーム周期単位で変更することによって、前記光源の前記周期的発光パターンによるフレーム毎の画素信号の変動を抑制する蓄積制御部と、を有することを特徴とする。

本発明によれば、画質を劣化させずにフリッカ低減を可能にした撮像装置を実現することができる。

本発明の実施例による撮像装置の構成を示すブロック図である。 実施例１の撮像装置で使用される撮像素子の構成を示す図である。 実施例１の撮像装置で使用される撮像素子の構成を示す図である。 実施例１の撮像装置の動作を示すフローチャートである。 実施例１の撮像装置の動作を示すタイミングチャートである。 実施例１の画素からの信号読出しのタイミングチャートである。 実施例２の撮像装置で使用される撮像素子の構成を示す図である。 実施例２の撮像装置で使用される撮像素子の構成を示す図である。 実施例２の撮像装置の動作を示すフローチャートである。 実施例２の撮像装置の動作を示すタイミングチャートである。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
また、実施例においては、撮像装置としてデジタルカメラに適用した例について説明する。しかし、撮像装置はネットワークカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラなど撮像機能を有する電子機器等を含む。

図１は、本発明の実施例１の撮像装置の構成例を示すブロック図である。本実施例による撮像装置１００は、上述したように、例えばデジタルカメラであり、静止画像撮影機能及び動画像撮影機能を有している。撮像装置１００は、撮像装置１００を統括的に制御するコンピュータとしてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２、及び撮影レンズ（図示せず）を通過した光学像が結像する撮像素子１０１を有する。撮像素子１０１は、これに結像された光学像を電気信号（アナログ画素信号）に変換後、所定の量子化ビット数に応じてデジタル画像データに変換して出力する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５は、撮像素子１０１から出力される画像データ及び画像処理部１０７で処理された画像データを一時的に記憶するための画像メモリである。ＲＡＭ１０５は、ＣＰＵ１０２のワークメモリとしても用いられる。本実施例では、画像メモリ及びワークメモリとしてＲＡＭ１０５を用いるが、アクセス速度に問題ないものであれば、他のメモリを用いてもよい。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０６には、ＣＰＵ１０２を動作させるためのコンピュータプログラムが記憶されている。本例では、ＲＯＭ１０６としてフラッシュＲＯＭが用いられるが、アクセス速度に問題がないものであれば、他のメモリを用いてもよい。

画像処理部１０７は、本実施例に係る静止画像及び動画像の補正処理や、画像の圧縮処理等を行う。操作部１０３は、ユーザーが撮像装置１００に動画の撮影命令を行う動画撮影スイッチや静止画の撮影命令を行う静止画撮影スイッチを含み、撮像条件等を設定するためのスイッチも含む。表示部１０４は、ＣＰＵ１０２の制御下で、画像データに応じた静止画像又は動画像の表示を行うとともに、メニュー等の表示を行う。Ｉ／Ｆ（インターフェース部）１０８は、外部記録部１１１とのインターフェースである。バス１１０は、ＣＰＵ１０２等の撮像装置１００内の複数の機能部が相互接続されたバスである。

外部記録部１１１は、例えばメモリーカード形状をしていて、Ｉ／Ｆ１１２、記録媒体１１３及びコネクタ１１４を有する。記録媒体１１３は、例えば、不揮発性メモリ又はハードディスクであり、画像データ等が記録される。外部記録部１１１は、コネクタ１１４と、撮像装置１００に備えられたコネクタ１０９とを介してＩ／Ｆ１０８と接続される。コネクタ１０９はカメラ本体のスロット内部に設けられていても良く、スロット内に外部記録部１１１を挿入することによって前記コネクタ１１４と、コネクタ１０９とがダイレクトに接続される。なお、本実施例では、外部記録部１１１に記録媒体１１３を設け、外部記録部１１１はコネクタ１０９、１１４を介して撮像装置１００に対して着脱可能としている。しかし、撮像装置１００に不揮発性メモリ又はハードディスク等の記録媒体を内蔵するようにしてもよい。

図２は、実施例１の撮像素子１０１の回路構成の一例を示す図である。画素部２５０には、複数の画素２００が画素Ｒ１＿１〜Ｂｍ＿ｎ（ｍ、ｎは任意の整数）のように行列状に配置されている。そしてこれらの複数の画素により１フレーム（画面）分の画素信号を形成している。

各画素２００において、Ｒは赤色、Ｇは緑色、Ｂは青色のカラーフィルタが画素上に配置されることを意味する。また、Ｒ（Ｇ，Ｂ）ｉ＿ｊは、画素部２５０における第ｉ行第ｊ列の画素であることを示す。
ここで、画素２００の１画素毎の構成について図３を用いて説明する。光電変換部としてのＰＤ（フォトダイオード）２０１は、入射した光信号を光電変換し、露光量に応じた電荷を蓄積する。駆動信号ＧＳをハイレベルにすることで転送ゲート２０３がオン（導通状態）になり、ＰＤ２０１に蓄積されている電荷がＭＥＭ（電荷保持部）２０４に転送される。

さらに、駆動信号ＴＸをハイレベルにすることで転送ゲート２０５がオン（導通状態）になり、ＭＥＭ２０４に保持されている電荷がＦＤ部（フローティングディフュージョン部）２０６に転送される。ＦＤ部２０６は、増幅ＭＯＳトランジスタ２０７のゲートに接続されている。増幅ＭＯＳトランジスタ２０７は、ＭＥＭ２０４からＦＤ部２０６に転送されてきた電荷量に応じた電圧信号を出力する。
リセットスイッチ２０２は、ＰＤ２０１をリセットするためのスイッチである。駆動信号ＯＦＤをハイレベルにすることでリセットスイッチ２０２がオン（導通状態）し、ＰＤ２０１がリセットされる。

リセットスイッチ２０８は、ＭＥＭ２０４やＦＤ部２０６をリセットするためのスイッチである。駆動信号ＲＥＳをハイレベルにすることでリセットスイッチ２０８がオン（導通状態）し、ＦＤ部２０６がリセットされる。また、ＭＥＭ２０４をリセットする際に、駆動信号ＲＥＳ及び駆動信号ＴＸを同時にハイレベルにすることで、転送ゲート２０５及びリセットスイッチ２０８を両方オンし、ＦＤ部２０６経由でＭＥＭ２０４をリセットする。

画素選択スイッチ２０９は、駆動信号ＳＥＬをハイレベルとすることでオン（導通状態）になり、増幅ＭＯＳトランジスタ２０７と画素２００の出力端子ｖｏｕｔとを接続する。これにより、増幅ＭＯＳトランジスタ２０７で電圧に変換された画素信号が画素２００の出力端子ｖｏｕｔを介して図２の列出力線３００に読み出される。
図２に戻り、垂直走査回路４００は、タイミングジェネレータ（ＴＧ）４０３から出力される駆動信号ＯＦＤ、ＧＳ、ＲＥＳ、ＴＸ、ＳＥＬをもとに、行毎の駆動信号を生成し、各画素２００に供給する。例えば１行目の画素に対してはＲＥＳ＿１、ＴＸ＿１、ＳＥＬ＿１、ＯＦＤ、ＧＳが供給され、１行目からｍ行目までの行を１垂直走査期間かけて垂直走査する。

これらの駆動信号は、それぞれ各画素２００のＲＥＳ、ＴＸ、ＳＥＬ、ＯＦＤ、ＧＳに供給される。また、本実施例では、ＯＦＤとＧＳは全画素に対して同時に供給され、蓄積開始と蓄積終了タイミングは全画素同時になる。なお、ここで全画素とは１フレーム分の画素信号を形成するための複数の画素を指し、画面表示に使われない画素は含まない。
各画素の出力端子ｖｏｕｔは、列出力線（垂直出力線）３００に接続される。
複数のＡＤ変換器（ＡＤＣ）３０２は、画素部２５０から行単位で出力される光信号とノイズ信号の差分をアナログ−デジタル変換する。列出力線３００には、それぞれ電流源３０１が接続されている。電流源３０１と列出力線３００に接続された各画素２００内部の増幅ＭＯＳトランジスタ２０７によってソースフォロア回路が構成される。

メモリ４０４は、ＡＤ変換器３０２の出力データを、タイミングジェネレータ（ＴＧ）４０３から出力される書き込み信号ｍｅｍ＿ｗｒのタイミングで保持する。メモリ４０４に保持されたデータは、水平走査回路４０１の走査により１水平走査期間かけて出力部４０２へ順次転送される。出力部４０２は、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）等の伝送方式により、撮像素子１０１の外部へデータを出力する。

次に、実施例１の撮像装置の動作について図４、図５を用いて説明する。図４は、実施例１の撮像装置１００の撮影動作を説明するためのフローチャートである。また、図５は、実施例１の撮像装置１００の動画撮影動作を説明するためのタイミングチャートである。
なお、図５のおいては、例えばフリッカ光源周波数が１００Ｈｚ、動画フレームレートが１２０ｆｐｓのように、動画フレームレートよりもフリッカ光源周波数が低い場合の動画撮影中のタイミングを図示している。すなわち、本実施例では、フレーム周期は前記光源の発光パターンの周期より短くなっている。

また、本実施例では動画撮影して記録する例について説明するが、動画撮影して記録する場合に限らず、静止画撮影の待機中の動画表示（ライブビュー表示）状態にも適用される。
まず図４と図５の対応関係を説明する。図４は動画撮影開始から撮影終了までのフローを記しており、図５は動画撮影中のタイミングのみ図示している。なお、図４のフローチャートの動作は実施例１のＣＰＵ１０２がコンピュータプログラムを実行することによって実行される。

最初に図４のステップＳ１００において、ＣＰＵ１０２はフリッカ光源の有無を検知し、フリッカ光源がある場合は、フリッカ光源の周期と位相（ピークタイミング等）を検出する。なお、このステップＳ１００の動作は図５では示していない。また、図４では、ステップＳ１００でのフリッカ光源周期と位相（ピークタイミング等）の検出を毎フレーム行う場合を図示している。しかし、撮影開始時に一度だけ行ってもよいし、数フレーム毎に１回行ってもよい。

また、本実施例において、フリッカ光源周期とフリッカの位相（ピークタイミング等）の検出をするために不図示のフォトセンサーを有している。そして、このフォトセンサーからの信号を検出部としてのＣＰＵ１０２で取得し、その検出結果に応じてＣＰＵ１０２で光源の周期的な発光パターンを検出する。そしてその検出出力に応じて撮像素子１０１を制御し、撮像素子１０１内でセンサーの蓄積制御を行っている。しかし前記検出部は撮像素子１０１の内部に設けてもよい。なお、光源の周期的な発光パターンを検出する際に、本実施例では発光パターンの周期と位相を検出しており、位相を検出するためにピークタイミングを検出している。しかし、光源の発光パターンの内のピークタイミング以外の部分を検出することによって、位相を検出しても良い。

次にステップＳ１０１で動画蓄積設定を行う。即ち、図５のＯＦＤ、ＧＳをそれぞれ発行するタイミングを設定する。ここで、ＯＦＤをハイレベルからローレベルにする時点（例えばＴ０１ｂ）で、ＰＤにおける電荷の蓄積が開始される。そして、その後ＧＳをハイレベルからローレベルにする時点（例えばＴ０１ｃ）でＰＤにおける電荷の蓄積は終了する。つまり、例えばＴ０１ｂからＴ０１ｃの期間が電荷の蓄積期間（図５のＭＥＭ蓄積期間）となる。以上のように、ステップＳ１０１では、１フレーム分の画素信号を形成するための前記複数の画素の、電荷蓄積動作を同時に開始させてから所定の蓄積時間後に同時に終了させるためのタイミングの設定を行う。

次にステップＳ１０２において、動画読み出し設定を行う。ここで動画読み出し設定とは読み出し時のゲイン設定などである。
ステップＳ１０３では、ステップＳ１０１で設定されたタイミングで動画蓄積を行う。ここで動画蓄積とは、図５の時刻Ｔ０＃ｂ（＃＝１〜６）から開始し、時刻Ｔ０＃ｃ（＃＝１〜６）で終了する、画素２００における蓄積動作である。即ち、１フレーム分の画素信号を形成するための前記複数の画素の電荷蓄積動作を同時に開始させてから所定の蓄積時間後に同時に終了させるように蓄積制御を行う。

具体的には１フレーム分の画素信号を形成するための複数の画素の光電変換部の電荷を同時にリセットした後、前記リセットを停止することによって電荷蓄積動作を同時に開始させる。そして複数の画素の光電変換部の電荷を同時に電荷保持部に転送することによって電荷蓄積動作を同時に終了させる。
ステップＳ１０４では、動画画像信号読み出しを行う。各フレームの画像信号の読出しは、図５における時刻Ｔ０＃ａ（＃＝１〜６）から開始され、行単位で順次読み出されて、１垂直期間（１フレーム期間）かけて全行の読出しが行われる。

それによって１フレーム分の画素信号が読み出される。即ち、撮像素子から１フレーム（画面）分の画素信号を垂直同期信号の周期（フレーム周期）で読み出す。このときステップＳ１０４ではＣＰＵ１０２が読出し部として機能している。
そしてステップＳ１０５において、撮影が終了したかを動画撮影スイッチがオフされたかに基づいて判断し、動画撮影スイッチがオンされたままであればステップＳ１００に戻って動画撮影を継続する。ステップＳ１０５で動画撮影スイッチがオフされたことを判別したら、撮影動作を終了する。

次に、図４と図５を対応させながら、本実施例の動作を説明する。
ユーザーが図１に示した操作部１０３の動画撮影スイッチをオンすると、動画撮影が開始される。
ステップＳ１００において、ＣＰＵ１０２がフリッカ光源の有無を検知し、フリッカ光源がある場合は、フリッカ光源の周期と位相（ピークタイミング等）を検出する。

次に、図５の期間Ｔ０１において、ステップＳ１０１で、蓄積期間を決めるための動画蓄積設定を行う。即ち、ＯＦＤ発行タイミング（時刻Ｔ０２ｂ）とＧＳ発行タイミング（時刻Ｔ０２ｃ）の設定を行う。このとき、ステップＳ１００でフリッカ光源が検出されていた場合、各フレームにおいて、フリッカ光源下での露光量が等しくなるように、ＯＦＤとＧＳの発行タイミングを設定する。
具体的には、例えば、フリッカ光源波形の関数をＦＬＫ１（ｘ）としたとき、図５のフリッカ光源の波形（発光パターン）において、網掛けで示した部分が、下記の数１を満たすようにＯＦＤとＧＳの発行タイミングを設定する。

即ち、上記数１を満たすようにＴ０＃ｂ、Ｔ０＃ｃ（＃＝１〜６）を求め、Ｔ０＃ｂ（＃＝１〜６）でＯＦＤを発行し、Ｔ０＃ｃ（＃＝１〜６）でＧＳを発行する。なお、数１では各フレームの積分結果が等しい例を示したが、各フレーム間の露光ばらつきが無視し得る程度であれば、必ずしも等しくする必要はなく若干の誤差を有していても良い。

また、同じく期間Ｔ０１において、ステップＳ１０２で、時刻Ｔ０２ａから開始される読み出しのための動画読み出し設定（読出しゲイン設定）も行う。
次に、ステップＳ１０３において、時刻Ｔ０２ｂのＯＦＤ発行〜時刻Ｔ０２ｃのＧＳ発行までの間で蓄積を行う。
次に、ステップＳ１０４において、ステップＳ１０３で時刻Ｔ０２ｂ〜時刻Ｔ０２ｃまでの間に蓄積した電荷の読み出しを時刻Ｔ０３ａから開始する。

ここで時刻Ｔ０３ａからの読み出しの際の、画素の読出しタイミングの例を図６に示す。
図５に示した垂直同期信号間では周期的に水平同期信号が生成されており、各画素で生成された画素信号の読み出しは垂直同期信号と水平同期信号に同期して行われる。即ち、本実施例では垂直同期信号の周期（フレーム周期）で、撮像素子から１フレーム（画面）分の画素信号を読み出す。
図６は水平同期信号に同期した読出しタイミングを示しており、水平同期信号の時刻ｔａ０１のタイミングと、図５の垂直同期信号の時刻Ｔ０２ａは同じタイミングである。

なお、図５で示すように、時刻Ｔ０２ａ（時刻ｔａ０１）の直前に駆動信号ＧＳによって、転送ゲート２０３が一旦オン（導通状態）となっている。従って、ＰＤ２０１に蓄積されていた電荷はＭＥＭ（電荷保持部）２０４に転送されて保持されている。
図６に示す時刻ｔａ０２にて、垂直走査回路４００は、駆動信号ＳＥＬ＿１をハイレベルとして、１行目の画素２００の画素選択スイッチ２０９をオンする。これにより、増幅ＭＯＳトランジスタ２０７と電流源３０１によって構成されるソースフォロア回路が動作状態となる。

このとき、駆動信号ＲＥＳ＿１はハイレベルになっており、リセットスイッチ２０８がオン状態なのでＦＤ部２０６がリセットされている。
時刻ｔａ０３にて、垂直走査回路４００は、駆動信号ＲＥＳ＿１をローレベルにネゲートする。
これにより、各画素２００の出力端子ｖｏｕｔにはＦＤ部２０６のリセット終了後のノイズレベルの混合信号が出力され、列出力線３００には１行目の各画素のノイズレベルの混合信号が出力される。

次に、時刻ｔａ０４にて、ＴＧ４０３はＡＤ変換器３０２を駆動して、ＡＤ変換を開始する。それによって、各列出力線に出力されるノイズレベルの混合信号がＡＤ変換される。時刻ｔａ０５にて、ＡＤ変換が終了されると、各ＡＤ変換器３０２は、それぞれＡＤ変換されたノイズレベルを保持する。
時刻ｔａ０６にて、垂直走査回路４００は、駆動信号ＴＸ＿１をハイレベルにし、１行目の各画素２００の転送ゲート２０５をオンする。

それによって、各画素のＭＥＭ２０４に保持されていた信号電荷が増幅ＭＯＳトランジスタ２０７で構成されるソースフォロアのゲートに転送される。ソースフォロアは転送された信号電荷に見合う分だけリセットレベルから電位が変動して信号レベルが確定する。このとき、各画素２００の出力端子ｖｏｕｔには信号レベルが出力され、列出力線３００には１行目の画素の信号レベルの混合信号が出力される。
次に、時刻ｔａ０７にて、ＴＧ４０３はＡＤ変換器３０２を駆動して、ＡＤ変換を開始する。これによって各列出力線に出力される信号レベルの混合信号がＡＤ変換される。

時刻ｔａ０８にて、ＡＤ変換が終了されると、ＡＤ変換器３０２は、それぞれＡＤ変換された信号レベルを保持する。
時刻ｔａ０９にて、駆動信号ＴＸ＿１がローレベルにネゲートされた後、時刻ｔａ１０にて、書き込み信号ｍｅｍ＿ｗｒがハイレベルになる。書き込み信号ｍｅｍ＿ｗｒがハイレベルになると、ＡＤ変換器３０２に保持された信号レベルの混合信号からノイズレベルの混合信号を減算したデータが、メモリ４０４に格納される。

時刻ｔａ１１にて、書き込み信号ｍｅｍ＿ｗｒがローレベルにネゲートされるとメモリ４０４へのデータの格納が終了し、時刻ｔａ１２にて、駆動信号ＲＥＳ＿１がハイレベルになりＦＤ部２０６は再びリセットされる。一方、これと同時に、メモリ４０４からデータの転送（水平転送）が開始される。また、時刻ｔａ１３にて、駆動信号ＳＥＬ＿１がローレベルにネゲートされると１行目の画素信号の垂直転送が完了する。その後、時刻ｔａ１２から１水平走査期間が経過した時刻ｔａ１４のタイミングで、１行目のすべての画素の順次出力が終了する。
前述した時刻ｔａ０１〜時刻ｔａ１４の動作を、ｍ行目まで順次同様に繰り返す。

ここまで図４、図５、図６を使って、ある１フレームの蓄積から読み出しまでの流れを説明した。その際、前述したように、各フレームのフリッカ光源下での露光量が等しくなるように、ＯＦＤとＧＳの発行タイミングを制御する。以降、動画の蓄積設定と読み出し設定、動画の蓄積と読み出しをフレーム毎に繰り返す。

以上のように、実施例１によれば、１つの画素に１つの電荷保持部を保有する撮像素子を用いて、フリッカ光源の発光パターンとしての周期と位相（ピークタイミング等）に応じてＯＦＤとＧＳの発行タイミングを制御している。そして、各フレームの露光量が等しくなるようにフレーム毎の蓄積時間を調整している。これにより、動画フレームレートよりもフリッカ光源の周波数が低い場合でも、フリッカを低減した撮影が可能になる。即ち、周期的な発光パターンに応じて前記蓄積時間を前記フレーム周期単位で変更することによって、前記光源の前記周期的発光パターンによるフレーム毎の画素信号の変動を抑制するように蓄積時間制御をしている。そのためにＣＰＵ１０２は蓄積制御部として機能している。
また、行毎の蓄積時間が等しいため、ローリングシャッタ歪みを生じさせることなく動体を撮影することが可能である。

次に本発明の実施例２を、実施例１との違いを中心に説明する。
実施例１によれば、ローリングシャッタ歪みを生じさせることなく動体を撮影することが可能であるが、フリッカ光源に応じて各フレームの露光量を等しくするため、フレーム毎に蓄積時間が異なってしまう。そこで実施例２では、各フレームの蓄積開始から蓄積終了までの時間を等しくできるようにしている。

なお、本実施例における、撮像装置の全体の構成ブロックは図１のように構成されており、実施例１と同じである。
図７は、実施例２の撮像素子１０１の回路構成の一例を示す図である。図７において、（）付きで示した数字のブロックは、図２と同様の構成なので説明は省略する。
画素部２６０には、複数の画素２１０が画素Ｒ１＿１〜Ｂｍ＿ｎ（ｍ、ｎは任意の整数）のように行列状に配置されている。

画素２１０に示すＲは赤色、Ｇは緑色、Ｂは青色のカラーフィルタが画素上に配置されることを意味する。また、Ｒ（Ｇ，Ｂ）ｉ＿ｊは、画素部２６０における第ｉ行第ｊ列の画素であることを示す。
ここで、画素２１０の各画素の構成について図８を用いて説明する。ＰＤ（フォトダイオード）２１１は、入射した光信号を光電変換し、露光量に応じた電荷を蓄積する。
駆動信号ＧＳ１をハイレベルにすることで転送ゲート２１３がオン（導通状態）になり、ＰＤ２１１に蓄積されている電荷が第１の電荷保持部（ＭＥＭ１）２１５に転送される。

同様に、駆動信号ＧＳ２をハイレベルにすることで転送ゲート２１４がオン（導通状態）になり、ＰＤ２１１に蓄積されている電荷が第２の電荷保持部（ＭＥＭ２）２１６に転送される。
さらに、駆動信号ＴＸ１をハイレベルにすることで転送ゲート２１７がオン（導通状態）になり、第１の電荷保持部（ＭＥＭ１）２１５に保持されている電荷がＦＤ部（フローティングディフュージョン部）２１９に転送される。同様に、駆動信号ＴＸ２をハイレベルにすることで転送ゲート２１８がオン（導通状態）になり、第２の電荷保持部（ＭＥＭ２）２１６に保持されている電荷がＦＤ部２１９に転送される。

このように、１フレーム分の画素信号を形成するための複数の画素の光電変換部の電荷を同時に、第１の電荷保持部または第２の電荷保持部に転送することによって電荷蓄積動作を同時に終了させるようにしている。そして、フレーム周期毎に、前記光電変換部の電荷を同時に、前記第１の電荷保持部に転送するか、前記第２の電荷保持部に転送するかを切り替えるように制御している。
ＦＤ部２１９は、増幅ＭＯＳトランジスタ２２０のゲートに接続されている。増幅ＭＯＳトランジスタ２２０は、第１の電荷保持部（ＭＥＭ１）２１５、第２の電荷保持部（ＭＥＭ２）２１６からＦＤ部２１９に転送されてきた電荷量に応じた電圧信号を出力する。

リセットスイッチ２１２は、ＰＤ２１１をリセットするためのスイッチである。駆動信号ＯＦＤをハイレベルにすることでリセットスイッチ２１２がオン（導通状態）し、ＰＤ２１１がリセットされる。
リセットスイッチ２２１は、第１の電荷保持部（ＭＥＭ１）２１５や第２の電荷保持部（ＭＥＭ２）２１６やＦＤ部２１９をリセットするためのスイッチである。駆動信号ＲＥＳをハイレベルにすることでリセットスイッチ２２１がオン（導通状態）し、ＦＤ部２１９がリセットされる。

また、第１の電荷保持部（ＭＥＭ１）２１５をリセットする場合には、駆動信号ＲＥＳ及び駆動信号ＴＸ１を同時にハイレベルにすることで、転送ゲート２１７及びリセットスイッチ２２１を両方オンし、ＦＤ部２１９経由で第１の電荷保持部（ＭＥＭ１）２１５をリセットする。
同様に、第２の電荷保持部（ＭＥＭ２）２１６をリセットする場合には、駆動信号ＲＥＳ及び駆動信号ＴＸ２を同時にハイレベルにすることで、転送ゲート２１８及びリセットスイッチ２２１を両方オンし、ＦＤ部２１９経由で第２の電荷保持部（ＭＥＭ２）２１６をリセットする。

画素選択スイッチ２２２は、駆動信号ＳＥＬをハイレベルとすることでオン（導通状態）になり、増幅ＭＯＳトランジスタ２２０と画素２１０の出力端子ｖｏｕｔとを接続する。これにより、増幅ＭＯＳトランジスタ２２０で電圧に変換された画素信号が画素２１０の出力端子ｖｏｕｔを介して列出力線３００に出力される。
図７に戻り、垂直走査回路４１０は、タイミングジェネレータ（ＴＧ）４１３から出力される駆動信号ＯＦＤ、ＧＳ１、ＧＳ２、ＲＥＳ、ＴＸ１、ＴＸ２、ＳＥＬをもとに、行毎の駆動信号ＲＥＳ＿１、ＴＸ１＿１、ＴＸ２＿１、ＳＥＬ＿１、ＯＦＤ、ＧＳ１、ＧＳ２等を生成し、各画素２１０に供給する。

これらの駆動信号は、それぞれ各画素２１０のＲＥＳ、ＴＸ１、ＴＸ２、ＳＥＬ、ＯＦＤ，ＧＳ１、ＧＳ２に供給される。各画素の出力端子ｖｏｕｔは、列出力線（垂直出力線）３００に接続される。本実施例においても、ＯＦＤとＧＳ１とＧＳ２はそれぞれ全画素共通のタイミングで供給され、蓄積タイミングは全行同じになる。
ＡＤ変換器３０２は、画素部２６０から出力される光信号とノイズ信号の差分をアナログ−デジタル変換する。列出力線３００には、それぞれ電流源３０１が接続されている。電流源３０１と列出力線３００に接続された画素２１０の増幅ＭＯＳトランジスタ２２０によってソースフォロア回路が構成される。

メモリ４０４は、ＡＤ変換器３０２の出力データを、タイミングジェネレータ（ＴＧ）４１３から出力される書き込み信号ｍｅｍ＿ｗｒに同期して保持する。メモリ４０４に保持されたデータは、水平走査回路４０１の走査により出力部４０２へ１水平走査期間かけて順次転送される。
出力部４０２は、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）等の伝送方式により、撮像素子１０１の外部へデータを出力する。

次に、実施例２による撮像装置の動作について図９、図１０を用いて説明する。図９は、実施例２の撮像装置１００の撮影動作を説明するためのフローチャートであり、図１０は、実施例２の撮像装置１００の動画撮影動作を説明するためのタイミングチャートである。なお、図９のフローチャートの動作は実施例２のＣＰＵ１０２がコンピュータプログラムを実行することによって実行される。
なお、図９においては、例えばフリッカ光源周波数が１００Ｈｚ、動画フレームレートが１２０ｆｐｓのように、動画フレームレートよりもフリッカ光源周波数が低い場合の動画撮影中のタイミングを図示している。

また、本実施例でも、動画撮影して記録する例を説明するが、動画撮影して記録する場合に限らず、静止画撮影の待機中の動画表示（ライブビュー表示）状態にも適用される。
まず図９と図１０の対応関係を説明する。図９は動画撮影開始から撮影終了までのフローを記しており、図１０は動画撮影中のタイミングのみ図示している。
最初に図９のステップＳ２００において、ＣＰＵ１０２はフリッカ光源の有無を検知し、フリッカ光源がある場合は、フリッカ光源の周期と位相（ピークタイミング等）を検出する。なお、このステップＳ２００の動作は図１０では示していない。

また、図９では、ステップＳ２００でのフリッカ光源周期と位相（ピークタイミング等）の検出を毎フレーム行う場合を図示している。しかし、撮影開始時に一度だけ行ってもよいし、数フレーム毎に１回行ってもよい。
次に図９のステップＳ２０１で、現在のフレームが偶数フレームか奇数フレームかを判断する。図１０では期間Ｔ１１、Ｔ１３、Ｔ１５が奇数フレーム、期間Ｔ１２、Ｔ１４、Ｔ１６が偶数フレームに相当する。

図９のステップＳ２０２では、次の奇数フィールドのためのＭＥＭ１蓄積設定とＭＥＭ２読み出し設定とを行う。ここで、ＭＥＭ１蓄積設定とは、図１０の奇数フィールドにおけるＯＦＤ、ＧＳ１をそれぞれ発行するタイミングの設定を意味する。また、ＭＥＭ２読み出し設定とは、図１０における時刻Ｔ１＃ａ（＃＝１，３，５）から開始される、奇数フィールドにおける読み出す際のゲイン設定などである。なお、ＭＥＭ１蓄積は、ＯＦＤをハイレベルからローレベルにすることで開始され、ＧＳ１をハイレベルからローレベルにすることで終了する。

同様に、図９のステップＳ２０５では次の偶数フィールドのためのＭＥＭ２蓄積設定とＭＥＭ１読み出し設定とを行う。ここで、ＭＥＭ２蓄積設定とは図１０の偶数フィールドにおけるＯＦＤ、ＧＳ２をそれぞれ発行するタイミングの設定を意味する。また、ＭＥＭ１読み出し設定とは、図１０における時刻Ｔ１＃ａ（＃＝２，４，６）から開始される、偶数フィールドにおける読み出し時のゲイン設定などである。ＭＥＭ２蓄積は、ＯＦＤをハイレベルからローレベルにすることで開始し、ＧＳ２をハイレベルからローレベルにすることで終了する。

図９のステップＳ２０３では現在の偶数フィールドにおけるＭＥＭ１読み出しとＭＥＭ２蓄積とを行う。ここで、ＭＥＭ１読み出しとは、図１０の時刻Ｔ１＃ａ（＃＝２，４，６）から開始される、現在の偶数フィールドにおける読み出しを意味する。また、ＭＥＭ２蓄積とは、図１０の現在の偶数フィールドにおける時刻Ｔ１＃ｂ（＃＝２，４，６）から時刻Ｔ１＃ｃ（＃＝２，４，６）までと時刻Ｔ１＃ｄ（＃２，４，６）から時刻Ｔ１＃ｅ（＃＝２，４，６）まででそれぞれ規定される画素２１０における電荷蓄積を意味する。

同様に、図９のステップＳ２０６ではＭＥＭ２読み出しとＭＥＭ１蓄積とを行う。ここで、ＭＥＭ２読み出しとは、図１０の時刻Ｔ１＃ａ（＃＝１，３，５）から開始される、現在の奇数フィールドにおける読み出しを意味する。また、ＭＥＭ１蓄積とは、図１０の時刻Ｔ１＃ｂ（＃＝１，３，５）から時刻Ｔ１＃ｃ（＃＝１，３，５）までと時刻Ｔ１＃ｄ（＃１，３，５）から時刻Ｔ１＃ｅ（＃＝１，３，５）まででそれぞれ規定される画素２１０における電荷蓄積を意味する。
次に、図９と図１０を対応させながら、本実施例の動作を説明する。

ユーザーが図１に示した操作部１０３の動画撮影スイッチをオンすると、動画撮影が開始される。
ステップＳ２００において、ＣＰＵ１０２がフリッカ光源の有無を検知し、フリッカ光源がある場合は、フリッカ光源の周期と位相（ピークタイミング等）を検出する。
次にステップＳ２０１において、現在のフレームが偶数フレームか奇数フレームか判断し、偶数フレームのときはステップＳ２０２に進み、奇数フレームのときはステップＳ２０５に進む。

現在のフレームが例えばＴ１１期間（奇数フィールド）の場合には、ステップＳ２０５に進み、次の偶数フィールドにおける図１０のＯＦＤ、ＧＳ２をそれぞれ発行するタイミングの設定をする。即ち、図１０の時刻Ｔ１２ｂのＯＦＤ発行から時刻Ｔ１２ｃのＧＳ２発行までと、時刻Ｔ１２ｄのＯＦＤ発行から時刻Ｔ１２ｅのＧＳ２発行までとの合計で規定されるＭＥＭ２蓄積設定をする。

また、次の偶数フィールドにおける時刻Ｔ１２ａから開始される読み出しのためのゲイン設定であるＭＥＭ１読み出し設定を行う。
なお、ステップＳ２０５で、ＭＥＭ２蓄積設定をする際に、ステップＳ２００でフリッカ光源が検出されていた場合、各フレームにおいてフリッカ光源下での露光量が等しくなるようにＯＦＤとＧＳ２の発行タイミングを設定する。
具体的には、フリッカ光源波形の関数をＦＬＫ２（ｘ）としたとき、図１０のフリッカ光源の波形において、網掛けで示した部分が、下記の数２及び式１を満たすようにＯＦＤとＧＳ１とＧＳ２の発行タイミングを設定する。

Ｔ１１ｅ−Ｔ１１ｂ＝Ｔ１２ｅ−Ｔ１２ｂ＝Ｔ１３ｅ−Ｔ１３ｂ＝Ｔ１４ｅ−Ｔ１４ｂ
＝Ｔ１５ｅ−Ｔ１５ｂ＝Ｔ１６ｅ−Ｔ１６ｂ （１）
即ち、上記数２及び式１を満たすように、Ｔ１＃ｂ、Ｔ１＃ｃ、Ｔ１＃ｄ、Ｔ１＃ｅ（＃＝１〜６）を求め、Ｔ１＃ｂ、Ｔ１＃ｄ（＃＝１〜６）でＯＦＤを発行し、Ｔ１＃ｃ、Ｔ１＃ｅ（＃＝１，３，５）でＧＳ１を発行する。また、Ｔ１＃ｃ、Ｔ１＃ｅ（＃＝２，４，６）でＧＳ２を発行する。このように各フレームの蓄積開始（Ｔ１＃ｂ）から蓄積終了（Ｔ１＃ｅ）（ただし＃＝１〜６）までの時間を等しくすることで、各フレームの歪みを同程度にすることができ、また、フレーム毎のちらつき等を軽減できる。

なお、数２では各フレームの積分結果が等しい例を示したが、各フレーム間の露光ばらつき無視し得る程度であれば、必ずしも等しくする必要はなく、若干の誤差を有していても良い。
次に、ステップＳ２０６において、ＭＥＭ１蓄積を行う。即ち、時刻Ｔ１１ｂのＯＦＤ発行〜時刻Ｔ１１ｃのＧＳ１発行と、時刻Ｔ１１ｄのＯＦＤ発行〜時刻Ｔ１１ｅのＧＳ１発行までの間で蓄積を行う。また、ＭＥＭ２読み出し（Ｔ１１の前フレームで蓄積した電荷の読み出し）を時刻Ｔ１１ａから開始する。

時刻Ｔ１１ａからの読み出しの画素駆動は、図６のＴＸをＴＸ２と置き換えた駆動であり、詳細説明は省略する。
次にステップＳ２０４において撮影終了かを動画撮影スイッチがオフしたかを判別し、撮影終了（動画撮影スイッチがオフ）の場合は撮影を終了し、撮影終了しない場合（動画撮影スイッチがオンの場合）はステップＳ２００に戻る。
なお、本実施例では、撮影を終了しない場合にステップＳ２００に戻るので、ステップＳ２００でのフリッカ光源周期と位相（ピークタイミング等）の検出を毎フレーム行う。

しかし、フリッカ光源周期とピークタイミングの検出は撮影開始時に一度だけ行ってもよいし、数フレームに１回行ってもよい。
次に再びステップＳ２０１において、現在のフレームが偶数フレームか奇数フレームか判断する。前フレームが奇数フレームでステップＳ２０５に進んだため、ここでは偶数フレームとなりステップＳ２０２に進む。
即ち、例えば現在のフレームがＴ１２期間（偶数フィールド）の場合には、ステップＳ２０２に進み、次の奇数フィールドにおける図１０のＯＦＤ、ＧＳ１をそれぞれ発行するタイミングの設定をする。

即ち、図１０の時刻Ｔ１３ｂのＯＦＤ発行から時刻Ｔ１３ｃのＧＳ１発行までと、時刻Ｔ１３ｄのＯＦＤ発行から時刻Ｔ１３ｅのＧＳ１発行までとの合計で規定されるＭＥＭ１蓄積設定をする。また、時刻Ｔ１３ａから開始される読み出しのためのゲイン設定であるＭＥＭ２読み出し設定を行う。このとき、ステップＳ２００でフリッカ光源が検出されていた場合、各フレームにおいてフリッカ光源下での露光量が等しくなるように数２と式１に基づきＯＦＤとＧＳ１の発行タイミングを設定する。

次に、ステップＳ２０３において、ＭＥＭ２蓄積を行う。即ち、時刻Ｔ１２ｂのＯＦＤ発行〜時刻Ｔ１２ｃのＧＳ２発行と時刻Ｔ１２ｄのＯＦＤ発行〜時刻Ｔ１２ｅのＧＳ２発行までの間で蓄積を行うとともに、ＭＥＭ１読み出しを開始する。即ち、時刻Ｔ１１ｂのＯＦＤ発行〜時刻Ｔ１１ｃのＧＳ１発行と、時刻Ｔ１１ｄのＯＦＤ発行〜時刻Ｔ１１ｅのＧＳ１発行までの間で蓄積した電荷の読み出しを、時刻Ｔ１２ａから開始する。このように、第１の電荷保持部（ＭＥＭ１）に転送された電荷を読み出している期間に、光電変換部の電荷を第２の電荷保持部（ＭＥＭ２）に２回転送する。

時刻Ｔ１２ａからの読み出しの画素駆動は、図６のＴＸをＴＸ１と置き換えた駆動であり、詳細説明は省略する。
ここまで図６、図９、図１０を使って、偶数フレーム、奇数フレームそれぞれの蓄積から読み出しまでの流れを説明した。その際、前述したように、各フレームのフリッカ光源下での露光量が等しくなるように、数２と式１に基づきＯＦＤとＧＳ１とＧＳ２の発行タイミングを制御する。以降、動画の蓄積設定と読み出し設定、動画の蓄積と読み出しをフレーム毎に繰り返す。

なお、実施例２において、図１０ではＭＥＭ１、ＭＥＭ２用の動画蓄積をそれぞれ２回に分けて行う例を示したが、１回のみにしてもよいし、３回以上に分けてもよい。さらに、ＭＥＭ１とＭＥＭ２とで動画蓄積を分ける回数を変えてもよい。このように実施例２では、１フレーム分の画素信号を形成するための前記複数の画素の電荷蓄積動作を同時に開始させてから所定の蓄積時間後に同時に終了させる蓄積制御動作を１フレーム期間内に複数回行っている。一方、実施例２よりは自由度は低いものの、実施例１において、同様に蓄積制御動作を１フレーム期間内に複数回行うようにしても良い。

実施例２によれば、１つの画素に２つの電荷保持部を保有するセンサーを用いて、フリッカ光源の周期とピークタイミングに応じてＯＦＤとＧＳ１とＧＳ２の発行タイミングを制御することで、各フレームのフリッカ光源下での露光量を等しくできる。しかも各フレームの蓄積開始から蓄積終了までの時間を等しくできる。
それにより、動画フレームレートよりもフリッカ光源の周波数が低い場合でも、フリッカ（画素信号の変動）を抑制した撮影が可能になる。

また、行毎の蓄積時間が等しいため、ローリングシャッタ歪みを生じさせることなく動体を撮影することが可能である。加えて、各フレームの蓄積開始から蓄積終了までの時間を一定にすることで、動体撮影時のフレーム間の被写体ブレを抑制することが可能である。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置に供給するようにしてもよい。そしてその撮像装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００：撮像装置
１０１：撮像素子
１０２：ＣＰＵ

Claims (12)

1. 光源の周期的な発光パターンを検出する検出部と、
   光電変換をして電荷を蓄積する複数の画素を行列状に配置するとともに前記複数の画素により１フレーム分の画素信号を形成する撮像素子と、
   前記撮像素子から前記１フレーム分の画素信号を所定のフレーム周期で読み出す読出し部と、
   前記１フレーム分の画素信号を形成するための前記複数の画素の電荷蓄積動作を同時に開始させてから所定の蓄積時間後に同時に終了させるように蓄積制御を行うとともに、前記検出部により検出された前記周期的な発光パターンに応じて前記蓄積時間を前記フレーム周期単位で変更することによって、前記光源の前記周期的発光パターンによるフレーム毎の画素信号の変動を抑制する蓄積制御部と、を有することを特徴とする撮像装置。
2. 前記検出部は光源の前記発光パターンの周期と位相を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記所定のフレーム周期は前記光源の発光パターンの周期より短いことを特徴とする請求項１または２に記載の撮像装置。
4. 前記各画素はそれぞれ光電変換部と電荷保持部を有することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記電荷保持部は、第１の電荷保持部と第２の電荷保持部で構成されることを特徴とする請求項４に記載の撮像装置。
6. 前記蓄積制御部は、１フレーム分の画素信号を形成するための前記複数の画素の前記光電変換部の電荷を同時にリセットした後、前記リセットを停止することによって前記電荷蓄積動作を同時に開始させることを特徴とする請求項４または５に記載の撮像装置。
7. 前記蓄積制御部は、１フレーム分の画素信号を形成するための前記複数の画素の前記光電変換部の電荷を同時に前記電荷保持部に転送することによって前記電荷蓄積動作を同時に終了させることを特徴とする請求項４〜６のいずれか１項に記載の撮像装置。
8. 前記蓄積制御部は、１フレーム分の画素信号を形成するための前記複数の画素の前記光電変換部の電荷を同時に前記第１の電荷保持部と前記第２の電荷保持部の一方に転送することによって前記電荷蓄積動作を同時に終了させることを特徴とする請求項５に記載の撮像装置。
9. 前記蓄積制御部は、前記フレーム周期毎に、前記光電変換部の電荷を同時に前記第１の電荷保持部に転送するか、前記第２の電荷保持部に転送するかを切り替えることを特徴とする請求項８に記載の撮像装置。
10. 前記蓄積制御部は、前記第１の電荷保持部に転送された電荷を読み出している期間に、前記光電変換部の電荷を前記第２の電荷保持部に転送することを特徴とする請求項９に記載の撮像装置。
11. 前記蓄積制御部は、前記１フレーム分の画素信号を形成するための前記複数の画素の電荷蓄積動作を同時に開始させてから所定の蓄積時間後に同時に終了させる蓄積制御動作を１フレーム期間内に複数回行うことを特徴とする請求項１に記載の撮像装置。
12. 請求項１〜１１のうちいずれか１項に記載の前記撮像装置の各部の動作を実行させるためのコンピュータプログラム。
    

Images