JP2011176622A

JP2011176622A - 撮像装置

Info

Publication number: JP2011176622A
Application number: JP2010039165A
Authority: JP
Inventors: Masahito Takeishi; 雅人武石
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-02-24
Filing date: 2010-02-24
Publication date: 2011-09-08
Anticipated expiration: 2030-02-24
Also published as: JP5440245B2

Abstract

【課題】本発明は、演算処理が複雑にならずにフリッカを抑制する撮像装置を提供する。
【解決手段】撮像装置は、撮像素子、電子シャッタ制御部、指示部、撮影制御部、ゲイン補正部、フリッカ判定部及び設定部を備える。電子シャッタ制御部は、ライン毎に電荷蓄積時間を調整する。指示部は、検出画像を撮像素子に取得させる指示を出す。撮影制御部は、動画像の撮影を撮像素子に行わせると共に、指示を指示部から受け付けると、第１電子シャッタ速度と第２電子シャッタ速度とを用いることにより、撮像素子に検出画像を取得させる。ゲイン補正部は、第１検出画像の画像信号と第２検出画像の画像信号との信号レベルを合わせる。フリッカ判定部は、輝度との差分値に基づいて、フリッカの有無を判定する。設定部は、フリッカが有りの判定結果の場合には、差分値に基づいて、動画撮影時の電子シャッタ速度を第１シャッタ速度と第２シャッタ速度との何れか一方に設定する。
【選択図】図１

Description

本発明は、電子カメラなどの撮像装置に関する。

現在、一般的なＸＹアドレス走査型の撮像素子を備える撮像装置では、アドレス指定によりライン毎に電荷蓄積時間を制御するローリングシャッタ方式が採用されている。

このローリングシャッタ方式を用いて蛍光灯下で動画撮影が行われた場合、蛍光灯の光源の明滅周波数（例えば、５０Ｈｚ又は６０Ｈｚの商用電源周波数）による周期的な輝度変化の影響により、画像に横縞状のむら（以下、「フリッカ」という）が生じる場合がある。

そこで、光源の明滅周波数（５０Ｈｚ又は６０Ｈｚ）を算出し、その明滅周波数に基づいてフリッカを抑制する撮像装置が提案されている（例えば、特許文献１参照）。

特開２００３−１８９１２９号公報

しかし、特許文献１の撮像装置では、１フレームの画像を垂直走査方向（ライン読み出し方向）に分割して複数のフリッカ検波枠を設定し、時間的に変動する各フリッカ検波枠内の輝度値のデータからフリッカ成分を抽出した後、光源の明滅周波数を算出する。そのため、特許文献１の撮像装置では、演算処理が一般的に複雑になるという問題点を有している。

そこで、本発明は、上記事情に鑑み、演算処理が複雑にならずにフリッカを抑制する撮像装置を提供することを目的とする。

第１の発明に係る撮像装置は、撮像素子と、電子シャッタ制御部と、指示部と、撮影制御部と、ゲイン補正部と、フリッカ判定部と、設定部とを備える。撮像素子は、複数の画素が２次元的に配列された撮像領域を有するＸＹアドレス走査型の撮像素子である。電子シャッタ制御部は、撮像素子の電子シャッタ速度を制御して、ライン毎に電荷蓄積時間を調整する。指示部は、点滅する光源の周波数に応じて発生するフリッカの有無を検出する検出画像を撮像素子に取得させる指示を出す。撮影制御部は、動画撮影時に所定のフレームレートで動画像の撮影を撮像素子に行わせると共に、動画撮影時に指示を指示部から受け付けると、第１周波数に基づくフリッカを低減させる第１電子シャッタ速度と第２周波数に基づくフリッカを低減させる第２電子シャッタ速度とを用いることにより、撮像素子に検出画像を取得させる。ゲイン補正部は、第１電子シャッタ速度に基づく第１検出画像の画像信号と第２電子シャッタ速度に基づく第２検出画像の画像信号との信号レベルを合わせる。フリッカ判定部は、信号レベルが合わされた後に算出された、第１検出画像の輝度と第２検出画像の輝度との差分値に基づいて、フリッカの有無を判定する。設定部は、フリッカが有りの判定結果の場合には、差分値に基づいて、動画撮影時の電子シャッタ速度を第１電子シャッタ速度と第２電子シャッタ速度との何れか一方に設定する。

第２の発明は、第１の発明において、撮像素子から取得される画像信号に基づいて、被写体輝度を算出する被写体輝度算出部をさらに備える。撮影制御部は、被写体輝度に基づいて、第１電子シャッタ速度と第２電子シャッタ速度との何れか一方をｎ／１００秒（ｎは自然数）の何れか１つに選択すると共に、第１電子シャッタ速度と第２電子シャッタ速度との何れか他方をｍ／１２０秒（ｍは自然数）の何れか１つに選択する。

第３の発明は、第１又は第２の発明において、画像信号に基づいて撮影シーンを判定する撮影シーン判定部をさらに備える。指示部は、撮影シーンが変わった場合、指示を撮影制御部に出す。

第４の発明は、第３の発明において、撮影シーン判定部は、画像信号に基づいて、被写体を照明する光源の色温度を時系列に推定する。指示部は、撮影シーン判定部が商業用電源の光源の色温度に変化したと推定した場合、指示を撮影制御部に出す。

第５の発明は、第１から第４の何れか１の発明において、撮影制御部は、検出画像の取得時に撮像素子にライン単位の間引き読み出しと撮像素子に画素加算の読み出しの少なくとも一方を行わせることにより、検出画像を取得させる。

第６の発明は、第１から第５の何れか１の発明において、表示部と、表示制御部とを備える。表示部は、動画撮影による動画像を出力する。表示制御部は、検出画像の取得時にフリッカを有する検出画像の表示部への出力を停止する。

第７の発明は、第６の発明において、表示制御部は、フリッカを有する検出画像の前後のフレームを用いてフレーム補間を行い、フレーム補間を行った画像を表示部に出力させる。

第８の発明は、第６の発明において、表示制御部は、フリッカを有する検出画像の前後のフレームの何れか一方を表示部に出力させる。

本発明の撮像装置によれば、演算処理が複雑にならずにフリッカを抑制する撮像装置を提供することができる。

本発明の撮像装置の一実施形態である電子カメラ１の内部構成を説明するブロック図フリッカ低減可能な電子シャッタ速度の値の一例を示す図比較例として、従来行われているＣＭＯＳ撮像素子のフリッカ検出の一例について説明する図電子カメラ１におけるフリッカ検出の動作の一例を示すフローチャート本実施形態におけるフリッカ検出の原理を説明する図本実施形態におけるフリッカ検出の原理を説明する図本実施形態におけるフリッカ検出の原理を説明する表示モニタ１９に表示される出力画像の一例について説明する図本実施形態の変形例を説明する図本実施形態の変形例を説明する図

以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、本発明の撮像装置の一実施形態である電子カメラ１の内部構成を説明するブロック図である。この電子カメラ１は、静止画撮影機能のみならず、動画撮影機能も有する。図１に示す通り電子カメラ１は、撮影レンズ１１と、撮像素子１２と、タイミングジェネレータ（以下、「ＴＧ」という。）１３と、アナログフロントエンド部（以下、「ＡＦＥ」という。）１４と、画像処理部１５と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１６と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１７と、表示制御部１８と、表示モニタ１９と、記録インターフェース部（以下、「記録Ｉ／Ｆ部」という。）２０と、操作部２１と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２２と、バス２３とを備える。

このうち、ＡＦＥ１４、画像処理部１５、ＲＡＭ１６、ＲＯＭ１７、表示制御部１８、記録Ｉ／Ｆ部２０及びＣＰＵ２２は、バス２３を介して互いに接続されている。

撮影レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１１を１枚のレンズとして図示する。この撮影レンズ１１は、不図示のレンズ駆動装置によって制御される。

撮像素子１２は、一例として複数の画素を２次元的（Ｍ行Ｎ列）に配列し、ＸＹアドレス指定により任意のラインを読み出し可能なＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子である。また、撮像素子１２の撮像面には、被写体像をカラー検出するために、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３種類のカラーフィルタが、一例としてベイヤー配列で配置されている。また、撮像素子１２は、ＸＹアドレス指定により任意の画素同士の出力値を加算する画素加算回路１２ａを有する。なお、画素加算回路１２ａについては、第２変形例で後述する。

ＴＧ１３は、ＣＰＵ２２からの指示に従い撮像素子１２及びＡＦＥ１４の各々へ向けて駆動信号を送出し、それによって両者の駆動タイミングを制御する。さらに、ＴＧ１３は、ローリングシャッタ方式を採用し、撮像素子１２の電子シャッタ速度を制御して、ＸＹアドレス指定によりライン毎に電荷蓄積時間を調整する機能を有する。

ＡＦＥ１４は、撮像素子１２が生成する画像信号（ＲＧＢ信号）に対して信号処理を施すアナログフロントエンド回路である。また、ＡＦＥ１４は、画像信号のゲイン調整やＡ／Ｄ変換などを行う。

ここで、商用電源周波数５０Ｈｚでのフリッカ低減可能な電子シャッタ速度を第１電子シャッタ速度（例えば１／５０ｓ）と定義する。また、商用電源周波数６０Ｈｚでのフリッカ低減可能な電子シャッタ速度を第２電子シャッタ速度（例えば１／６０ｓ）と定義する。ＡＦＥ１４は、第１電子シャッタ速度に基づく第１検出画像の画像信号と第２電子シャッタ速度に基づく第２検出画像の画像信号との信号レベルを合わせる機能を有する。本実施形態では、電子シャッタ速度（電荷蓄積時間）が異なる第１検出画像の輝度と第２検出画像の輝度との差分をとるため、ＡＦＥ１４は、電荷蓄積時間の短い画像信号について電荷蓄積時間の差分（６／５倍）だけゲインアップして、同等の信号レベルにする。或いは、ＡＦＥ１４は、電荷蓄積時間の長い画像信号について電荷蓄積時間の差分（５／６倍）だけゲインダウンして、同等の信号レベルにする。このＡＦＥ１４が出力する画像信号は、ＲＡＭ１６に一時的に記録される。

画像処理部１５は、ＲＡＭ１６に記録されている画像信号を読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理、ＹＣ変換処理等）を施す。

ＲＯＭ１７は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。このＲＯＭ１７には、フリッカ低減可能な電子シャッタ速度の値が予め記録されている。

図２は、フリッカ低減可能な電子シャッタ速度の値の一例を示す図である。商用電源周波数５０Ｈｚの場合、第１電子シャッタ速度は、ｎ／１００ｓ（ｎは、例えば１から６までの自然数）の複数の第１電子シャッタ速度群からなる。また、商用電源周波数６０Ｈｚの場合、ｍ／１２０ｓ（ｍは、例えば１から６までの自然数）の複数の第２電子シャッタ速度群からなる。これらの第１電子シャッタ速度群からの第１電子シャッタ速度の選択や第２電子シャッタ速度群からの第２電子シャッタ速度の選択の処理については、後述する。

表示制御部１８は、画像処理部１５で画像処理が施された後の画像をビデオ信号に基づく画像に変換するビデオエンコーダの機能を有する。また、表示制御部１８は、検出画像の取得時に検出画像の表示モニタ１９への出力を停止する。或いは、表示制御部１８は、検出画像の取得時に検出画像の出力を停止すると共に、検出画像の前後のフレームを用いてフレーム補間を行い、フレーム補間を行った画像を表示モニタ１９に出力させる。或いは、表示制御部１８は、検出画像の取得時に検出画像の出力を停止すると共に、検出画像の前後のフレームの何れか一方を表示モニタ１９に出力させる。表示制御部１８の処理の詳細は後述する。

表示モニタ１９は、静止画像、動画像、電子カメラ１の操作メニュー等を表示する。表示モニタ１９には、液晶モニタ等を適宜選択して用いることができる。

記録Ｉ／Ｆ部２０には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部２０は、ＣＰＵ２２からの指示により、そのコネクタに接続された記録媒体３０にアクセスして静止画像や動画像の記録処理等を行う。この記録媒体３０は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。

操作部２１は、例えば、コマンド選択用のコマンドダイヤル、電源ボタン、レリーズ釦等を有している。そして、操作部２１は、電子カメラ１を操作するための指示入力を受け付ける。また、操作部２１は、コマンドダイヤルを介して、例えば、動画の撮影モードの選択入力を受け付ける。ここで、動画の撮影モードの指示入力を受け付けると、フリッカ検出用のプログラムがＣＰＵ２２の制御により開始する。

ＣＰＵ２２は、各種演算及び電子カメラ１の制御を行うプロセッサである。ＣＰＵ２２は、ＲＯＭ１７に予め格納されたシーケンスプログラムを実行することにより、電子カメラ１の各部の制御等を行う。

また、本実施形態のＣＰＵ２２は、指示部２２ａと、被写体輝度算出部２２ｂと、撮影制御部２２ｃと、算出部２２ｄと、フリッカ判定部２２ｅと、設定部２２ｆと、撮影シーン判定部２２ｇしても機能する。

指示部２２ａは、点滅する光源の周波数に応じて発生するフリッカの有無を検出する検出画像を撮像素子１２に取得させる指示を出す。ここで、点滅する光源は、例えば蛍光灯（商用電源周波数５０Ｈｚ又は６０Ｈｚ）である。

被写体輝度算出部２２ｂは、撮像素子１２から取得される画像信号に基づいて、被写体輝度を算出する。

撮影制御部２２ｃは、動画撮影時に例えばフレームレート（３０ｆｐｓ）で動画像の撮影を撮像素子１２に行わせると共に、動画撮影時に検出画像の取得の指示を指示部２２ａから受け付けると、第１電子シャッタ速度（例えば１／５０ｓ）と第２電子シャッタ速度（例えば１／６０ｓ）とを用いることにより、撮像素子１２に複数の検出画像を取得させる。

例えば、撮影制御部２２ｃは、第１電子シャッタ速度と第２電子シャッタ速度とを交互に切り換えることにより、第１電子シャッタ速度の検出画像と第２電子シャッタ速度の検出画像とを各々２枚ずつ撮像素子１２に取得させる。ここで、撮影制御部２２ｃは、被写体輝度に基づいて、図２に示す複数の第１電子シャッタ速度群のうちから最適な電荷蓄積時間となる第１電子シャッタ速度を選択する。また、撮影制御部２２ｃは、被写体輝度に基づいて、図２に示す複数の第２電子シャッタ速度群のうちから最適な電荷蓄積時間となる第２電子シャッタ速度を選択する。

なお、本実施形態では、動画撮影時のフレームレートを３０ｆｐｓとしているので、撮影制御部２２ｃは、第１電子シャッタ速度（例えば、１／５０ｓ、１／１００ｓ）で検出画像を撮像素子１２に取得させることができる。また、撮影制御部２２ｃは、第２電子シャッタ速度（１／６０ｓ、１／１２０ｓ）で検出画像を撮像素子１２に取得させることができる。

算出部２２ｄは、ＡＦＥ１４が画像信号のゲイン補正により信号レベルを合わせた後、第１検出画像の画像信号の輝度と第２検出画像の画像信号の輝度との差分値を算出する。ここでは、画像処理部１５が、ＲＧＢ信号をＹＣ変換処理して輝度信号（Ｙ）及び色差信号（Ｃ）に変換することにより、算出部２２ｄは、第１検出画像と第２検出画像について輝度信号に基づく輝度値の平均値を一画面領域毎に算出しても良い。或いは、算出部２２ｄは、第１検出画像と第２検出画像について、ライン毎に輝度信号に基づく輝度値の平均値を算出しても良い。

或いは、算出部２２ｄは、一画面領域毎に画像信号の明るさの平均値を算出しても良い。具体的には、算出部２２ｄは、Ａ／Ｄ変換された後のＲＧＢ信号に対して、Ｒ、Ｇ、Ｂ毎に信号値を一画面領域毎に加算した後、各々平均値を求める。

フリッカ判定部２２ｅは、第１検出画像の輝度と第２検出画像の輝度との差分値に基づいて、フリッカの有無を判定する（詳細は後述する）。

設定部２２ｆは、フリッカが有りの判定結果の場合には、差分値に基づいて、動画撮影時の電子シャッタ速度を第１電子シャッタ速度と第２電子シャッタ速度との何れか一方に設定する。すなわち、第１電子シャッタ速度の検出画像にフリッカが現れたと推定された場合、設定部２２ｆは、動画撮影時の電子シャッタ速度を第２電子シャッタ速度に設定する。或いは、第２電子シャッタ速度の検出画像にフリッカが現れたと推定された場合、設定部２２ｆは、動画撮影時の電子シャッタ速度を第１電子シャッタ速度に設定する。

撮影シーン判定部２２ｇは、画像信号に基づいて撮影シーンを判別する。指示部２２ａは、撮影シーンが変わった場合、検出画像取得の指示を撮影制御部２２ｃに出す。具体的には、一例として、撮影シーン判定部２２ｇは、画像信号に基づいて、被写体を照明する光源の色温度を時系列に推定する。指示部２２ａは、撮影シーン判定部２２ｇにより撮影シーンが商業用電源の光源の色温度に変化したと推定された場合、検出画像取得の指示を撮影制御部２２ｃに出す。これにより、太陽光の環境下から蛍光灯の環境下に撮影シーンが変わった場合、撮影制御部２２ｃは、検出画像を撮像素子１２に取得させることができる。

次に、電子カメラ１のフリッカ検出の動作について説明する。ここでは、説明の便宜上、比較例として従来のフリッカ検出の一例について説明する。

図３は、比較例として、従来行われているＣＭＯＳ撮像素子のフリッカ検出の一例について説明する図である。図３（ａ）は、蛍光灯の輝度変化の様子を模式的に示した図である。図３（ｂ）は、１フレームの画像の読み出し開始を示す垂直同期信号のタイミングチャートを示す図である。図３（ｃ）は、ローリングシャッタ制御を模式的に示す図である。図３（ｄ）は、蛍光灯下で明滅周波数に起因して発生するフリッカを誇張して示した図である。

なお、蛍光灯は、明滅周波数（商用電源周波数）の各サイクルに輝度変化を２回起こす。つまり、この輝度変化は、明滅周波数の２倍の周波数に相当する周期で繰り返される。そのため、５０Ｈｚの場合は、１／１００ｓ、６０Ｈｚの場合は、１／１２０ｓの周期になる。

ここで、５０Ｈｚの蛍光灯下で動画撮影をする場合を想定し、撮像素子１２のライン毎の電荷蓄積時間が、明滅周波数（５０Ｈｚ）の２ｎ倍（ｎは整数、ただし、０を除く）に対応する周期でない場合（すなわち、フリッカが検出されることを意味する）について説明する。この場合、図３（ｃ）に示すラインａの電荷蓄積時間に応じた蛍光灯の光量の積分量と、図３（ｃ）に示すラインｂの電荷蓄積時間に応じた蛍光灯の光量の積分量とは異なる。そのため、図３（ｄ）に示すように一画面内での明るさはライン単位で一定とならず、フリッカが発生してしまう。

従来、例えば特許文献１の撮像装置では、上述した通り、複数のフリッカ検波枠を設定し、時間的に変動する各フリッカ検波枠内の輝度値のデータからフリッカ成分を抽出した後、光源の明滅周波数を算出する。そのため、演算処理が一般的に複雑になる。

そこで、本実施形態では、複数のフリッカ検波枠等を用いて光源の明滅周波数を算出することなく、フリッカを抑制する手段を提供する。

図４は、電子カメラ１におけるフリッカ検出の動作の一例を示すフローチャートである。なお、フリッカ検出の動作は、動画撮影時に常に行われている必要がないため、図４のフローチャートは、例えば、コマンドダイヤル等で動画撮影モードが選択されると、ＣＰＵ２２の指示部２２ａが、動画撮影の開始時において、撮影制御部２２ｃに検出画像の取得の指示を出すことにより開始される。

また、図４のフローチャートは、例えば、撮影シーン判定部２２ｇにより撮影シーンが商業用電源の光源の色温度に変化したと推定された場合、指示部２２ａが撮影制御部２２ｃに検出画像の取得の指示を出すことにより開始される。

また、図４にフローチャートは、例えば、動画撮影時に所定時間経過する毎に指示部２２ａが撮影制御部２２ｃに検出画像の取得の指示を出すことにより開始される。

また、図４にフローチャートは、例えば、被写体輝度算出部２２ｂの算出結果において、露出が予め指定した許容範囲を超えて変動した場合に、指示部２２ａが撮影制御部２２ｃに検出画像の取得の指示を出すことにより開始される。

なお、本実施形態では、ＣＰＵ２２は、蛍光灯の明滅周波数が５０Ｈｚ又は６０Ｈｚであるかを判断できないため、ライン毎の電子シャッタ速度を例えば１／５０ｓとする。また、動画撮影のフレームレートは、３０ｆｐｓとする。

ステップＳ１０１：ＣＰＵ２２は、第１検出画像取得のため、ＴＧ１３を介してローリングシャッタ方式により、現在の電子シャッタ速度を第１電子シャッタ速度（１／５０ｓ）の電荷蓄積時間に設定する。ただし、本実施形態では、第１電子シャッタ速度で動画撮影を開始しているため、ＣＰＵ２２の電子シャッタ制御部２２ａは、第１電子シャッタ速度を保つこととなる。そして、ＣＰＵ２２の撮影制御部２２ｃは、第１電子シャッタ速度で撮像素子１２に第１検出画像を取得させる。この場合、撮像素子１２が出力する画像信号は、ＡＦＥ１４でＡ／Ｄ変換され、第１検出画像としてＲＡＭ１６に一時的に記録される。なお、ＣＰＵ２２は、１ライン単位で電荷蓄積時間を設定しても良く、連続する複数ラインで１つの電荷蓄積時間を設定しても良い。

ステップＳ１０２：ＣＰＵ２２は、第２検出画像取得のため、ＴＧ１３を介してローリングシャッタ方式により、現在の第１電子シャッタ速度を第２電子シャッタ速度（１／１２０ｓ）の電荷蓄積時間に設定する。そして、撮影制御部２２ｃは、第２電子シャッタ速度で撮像素子１２に第２検出画像を取得させる。この場合、撮像素子１２が出力する画像信号は、ＡＦＥ１４でＡ／Ｄ変換される。さらに、ＡＦＥ１４は、電荷蓄積時間の短い第２検出画像の画像信号について電荷蓄積時間の差分（６／５倍）だけゲインアップして、同等の信号レベルにする。

ステップＳ１０３：ＣＰＵ２２は、第１検出画像と第２検出画像を各々ｎ枚取得したか否かを判定する。各々ｎ枚取得した場合（ステップＳ１０３：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ１０４に移行する。一方、各々ｎ枚取得していない場合（ステップＳ１０３：Ｎｏ）、ＣＰＵ２２は、ステップＳ１０１の処理に戻る。ここで、簡単のため、この枚数ｎの値は、ディフォルトの設定でｎ＝１として説明を続ける。なお、第１検出画像と第２検出画像との取得枚数を増やすことは、その分、平均をとるので、後述する算出部の演算の精度を高めることを意味する。

ステップＳ１０４：ＣＰＵ２２の算出部２２ｄは、フリッカ検出のため、第１検出画像の画像信号の輝度と第２検出画像の画像信号の輝度との差分値を算出する。

図５〜図７は、本実施形態におけるフリッカ検出の原理を説明する図である。図５（ａ）は、蛍光灯（５０Ｈｚの商用電源周波数）下での、動画撮影中の第１及び第２検出画像の取得の一例を模式的に示す図である。図５（ｂ）は、蛍光灯（６０Ｈｚの商用電源周波数）下での、動画撮影中の第１及び第２検出画像の取得の一例を模式的に示す図である。

図６は、図５（ａ）の状態でのフリッカ検出の処理を模式的に示す図である。図６（ａ）は、図５（ａ）に示す検出画像２を表している。図５（ｂ）は、検出画像２のライン単位の信号レベル（輝度の変化）を模式的に表している。信号レベルのゼロは、黒レベルを表している。ただし、説明をわかりやすくするため、信号レベルを一定としている。
また、図６（ｃ）は、図５（ａ）に示す検出画像１を表している。図６（ｄ）は、検出画像１のライン単位の信号レベルを模式的に表している。

図６（ｅ）は、ライン毎の輝度の平均値の差分をとる様子を表している。ここで、算出部２２ｄは、検出画像２のライン毎の輝度の平均値から検出画像１のライン毎の輝度の平均値を減算する。図６（ｆ）は、算出結果を模式的に表している図である。フリッカを有する検出画像１とフリッカを有しない検出画像２とでは、検出画像２の方が明るいため、差分値が正の値をとることになる。この場合、第２電子シャッタ速度に基づく検出画像１が、第１電子シャッタ速度に基づく検出画像２よりも暗いことになる。つまり、第２電子シャッタ速度に切り換えたことにより、検出画像１にフリッカが発生したことがわかる。そのため、ＣＰＵ２２は、第１電子シャッタ速度に設定すれば良い。

図７は、図５（ｂ）の状態でのフリッカ検出の処理を模式的に示す図である。図７（ａ）は、図５（ｂ）に示す検出画像２を表している。図７（ｂ）は、検出画像２のライン単位の信号レベル（輝度の変化）を模式的に表している。

また、図７（ｃ）は、図５（ｂ）に示す検出画像１を表している。図７（ｄ）は、検出画像１のライン単位の信号レベルを模式的に表している。

図７（ｅ）は、図６（ｅ）と同様にしてライン毎の輝度の平均値の差分をとる様子を表している。ここで、算出部２２ｄは、検出画像２のライン毎の輝度の平均値から検出画像１のライン毎の輝度の平均値を減算する。図７（ｆ）は、算出結果を模式的に表している図である。

フリッカを有する検出画像２とフリッカを有しない検出画像１とでは、検出画像１の方が明るいため、差分値が負の値をとることになる。この場合、第１電子シャッタ速度に基づく検出画像２が、第２電子シャッタ速度に基づく検出画像１よりも暗いことになる。そのため、ＣＰＵ２２は、第２電子シャッタ速度に設定すれば良い。

ステップＳ１０５：ＣＰＵ２２のフリッカ判定部２２ｅは、第１検出画像の輝度と第２検出画像の輝度との差分値に基づいて、フリッカの有無を判定する。

フリッカが有りの判定結果の場合（ステップＳ１０５：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ１０６に移行する。フリッカが無しの判定結果の場合（ステップＳ１０５：Ｎｏ）、ＣＰＵ２２は、このフローチャートの処理を終了させる。

ステップＳ１０６：ＣＰＵ２２の設定部２２ｆは、フリッカが有りの判定結果の場合には、差分値に基づいて、動画撮影時の電子シャッタ速度を第１電子シャッタ速度と第２電子シャッタ速度との何れか一方に設定する。すなわち、第１電子シャッタ速度の検出画像にフリッカが現れたと推定された場合、設定部２２ｆは、動画撮影時の電子シャッタ速度を第２電子シャッタ速度に設定する。或いは、第２電子シャッタ速度の検出画像にフリッカが現れたと推定された場合、設定部２２ｆは、動画撮影時の電子シャッタ速度を第１電子シャッタ速度に設定する。

そして、ＣＰＵ２２は、このフローチャートの処理を終了させる。なお、フローチャートには示していないが、表示モニタ１９に表示される出力画像について説明する。

図８は、表示モニタ１９に表示される出力画像の一例について説明する図である。図８では、画像信号が読み出されてＲＡＭ１６上に一時的に記録される画像と表示モニタ１９に表示される出力画像とを比較して表している。ここで、表示制御部１８は、検出画像の取得時にフリッカを有する検出画像（以下「フリッカ画像」という）の表示モニタ１９への出力を停止する。すなわち、表示制御部１８は、ＲＡＭ１６上に一時的に記録される画像のうち、フリッカ画像５、７の表示モニタ１９への出力を停止する。なお、表示制御部１８は、画像４、６をフリッカ画像５、７の代わりに表示モニタ１９へ出力させる。これにより、表示モニタ１９には、フリッカ画像が出力されずに済む。

以上より、本発明の撮像装置によれば、複数のフリッカ検波枠等を用いて光源の明滅周波数を算出する必要がなく、フリッカを抑制することができる。また、本発明の撮像装置によれば、動画撮影中に、例えば、太陽の光源下の撮影環境から蛍光灯下の撮影環境に変わった場合であっても、フリッカを抑制することができる。

（第１変形例）
次に、本実施形態の第１変形例について説明する。本実施形態において、表示モニタ１９に表示される出力画像について図８を用いて説明した。本実施形態の第１変形例では、表示制御部１８は、フリッカ画像の前後のフレームを用いてフレーム補間を行い、フレーム補間を行った画像を表示部に出力させる。

図９は、本実施形態の変形例を説明する図である。図９において、表示制御部１８は、ＲＡＭ１６上に一時的に記録される画像のうち、フリッカ画像５、７の表示モニタ１９への出力を停止する。なお、表示制御部１８は、フリッカ画像５については、画像４と画像６とでフレーム補間を行うことにより、新たな画像５’を生成させて表示モニタ１９へ出力させる。また、表示制御部１８は、フリッカ画像７については、画像６と画像８とでフレーム補間を行うことにより、新たな画像７’を生成させて表示モニタ１９へ出力させる。この場合のフレーム補間としては、例えば、２枚の画像における画素値の平均をとる補間が行われる。これにより、表示制御部１８は、図８に示した処理に比べてさらに画像を滑らかに表示させることができる。なお、フレーム補間としては、例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）規格に用いられるフレーム補間を利用しても良い。

（第２変形例）
次に、本実施形態の第２変形例について説明する。本実施形態において、表示モニタ１９に表示される出力画像について図８を用いて説明した。本実施形態の第２変形例では、検出画像の取得時に動画撮影のフレームレートを３０ｆｐｓから６０ｆｐｓに倍速（高速駆動）にする。そして、撮影制御部２２ｃは、高速駆動のため、撮像素子にライン単位の間引き読み出しと撮像素子に画素加算の読み出しの少なくとも一方を行わせることにより、検出画像を取得させる。この際、撮影制御部２２ｃは、第１電子シャッタ速度（例えば１／１００ｓ）と第２電子シャッタ速度（例えば１／１２０ｓ）とを用いることにより、撮像素子１２に複数の検出画像を取得させる。ここで、画素加算の読み出しとしては、図１に示す画素加算回路１２ａは、例えば、撮像素子１２の撮像領域の異なる行同士で同列の同色画素の出力値を加算する。

図１０は、本実施形態の変形例を説明する図である。ここで、ＲＡＭ１６上に一時的に記録される画像のうち、画像５、６、７及び８が検出画像となる。ここで、画像６、画像７については、信号レベルを合わせるため、２.４倍のゲイン調整がなされている。この例では、画像６、画像８は、フリッカ画像であるので、表示制御部１８は、表示モニタ１９への出力を停止する。なお、表示制御部１８は、画像５、７を表示モニタ１９へ出力させる。ただし、他の出力画像と信号レベルを合わせるため、画像５、７は、２倍のゲイン調整がなされている。

これにより、表示制御部１８は、図８に示した処理に比べてさらに画像を滑らかに表示させることができる。
＜実施形態の補足事項＞
（１）本実施形態の撮像装置は、電子カメラに限られず、例えば、ビデオ撮影装置、ビデオ録画機能付き携帯電話を含む。
（２）本実施形態では、蛍光灯の光源の明滅周波数（例えば、５０Ｈｚ、６０Ｈｚの商用電源周波数）を例示して説明したが、蛍光灯の光源に限られず、５０Ｈｚ、６０Ｈｚ以外の明滅周波数で発光する蛍光灯や、それぞれ固有の明滅周波数を有する信号機、電車及び行き先表示板、クリスマス等の装飾に用いられるイルミネーションの光源等の光源を用いる場合を想定した構成としても良い。この場合、５０Hz、６０Hzを想定した本実施形態と同様に各光源の固有明滅周波数にてフリッカが生じにくいシャッター速度群を用意し切り替えれば良い。
（３）本実施形態では、電子カメラ１におけるフリッカ検出の動作のタイミングを例示したが、さらに、ＣＰＵ２２は、以下のタイミングでフリッカ検出の動作を開始するようにしても良い。例えば、カメラの設定を変更したとき、撮影の構図を変化させたとき、音声に変化があったとき、又はカメラの姿勢変化が検出されたとき等に指示部２２ａが撮影制御部２２ｃに検出画像の取得の指示を出すことにより図４に示すフローチャートが開始されるようにしても良い。
（４）本実施形態では、ＡＦＥ１４が、第１検出画像の画像信号と第２検出画像の画像信号との信号レベルを合わせるゲイン調整の機能を担ったが、画像処理部１５がＲＡＭ１６に一時的に記録された画像信号に対してゲイン調整を行うようにしても良い。

１・・・電子カメラ、１２・・・撮像素子、１３・・・ＴＧ、１４・・・ＡＦＥ、１８・・・表示制御部、１９・・・表示モニタ、２２ａ・・・指示部、２２ｂ・・・被写体輝度算出部、２２ｃ・・・撮影制御部、２２ｄ・・・算出部、２２ｅ・・・フリッカ判定部、２２ｇ・・・撮影シーン判定部

Claims

複数の画素が２次元的に配列された撮像領域を有するＸＹアドレス走査型の撮像素子と、
前記撮像素子の電子シャッタ速度を制御して、ライン毎に電荷蓄積時間を調整する電子シャッタ制御部と、
点滅する光源の周波数に応じて発生するフリッカの有無を検出する検出画像を前記撮像素子に取得させる指示を出す指示部と、
動画撮影時に所定のフレームレートで動画像の撮影を前記撮像素子に行わせると共に、前記動画撮影時に前記指示を前記指示部から受け付けると、第１周波数に基づくフリッカを低減させる第１電子シャッタ速度と第２周波数に基づくフリッカを低減させる第２電子シャッタ速度とを用いることにより、前記撮像素子に前記検出画像を取得させる撮影制御部と、
前記第１電子シャッタ速度に基づく第１検出画像の画像信号と前記第２電子シャッタ速度に基づく第２検出画像の画像信号との信号レベルを合わせるゲイン補正部と、
前記信号レベルが合わされた後に算出された、前記第１検出画像の輝度と前記第２検出画像の輝度との差分値に基づいて、前記フリッカの有無を判定するフリッカ判定部と、
前記フリッカが有りの判定結果の場合には、前記差分値に基づいて、前記動画撮影時の前記電子シャッタ速度を前記第１電子シャッタ速度と前記第２電子シャッタ速度との何れか一方に設定する設定部と
を備えることを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記撮像素子から取得される画像信号に基づいて、被写体輝度を算出する被写体輝度算出部をさらに備え、
前記撮影制御部は、前記被写体輝度に基づいて、前記第１電子シャッタ速度と前記第２電子シャッタ速度との何れか一方をｎ／１００秒（ｎは自然数）の何れか１つに選択すると共に、前記第１電子シャッタ速度と前記第２電子シャッタ速度との何れか他方をｍ／１２０秒（ｍは自然数）の何れか１つに選択することを特徴とする撮像装置。
請求項１又は請求項２に記載の撮像装置において、
前記画像信号に基づいて撮影シーンを判定する撮影シーン判定部をさらに備え、
前記指示部は、撮影シーンが変わった場合、前記指示を前記撮影制御部に出すことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記撮影シーン判定部は、前記画像信号に基づいて、被写体を照明する光源の色温度を時系列に推定し、
前記指示部は、前記撮影シーン判定部が商業用電源の光源の色温度に変化したと推定した場合、前記指示を前記撮影制御部に出すことを特徴とする撮像装置。
請求項１から請求項４の何れか１項に記載の撮像装置において、
前記撮影制御部は、前記検出画像の取得時に前記撮像素子にライン単位の間引き読み出しと前記撮像素子に画素加算の読み出しの少なくとも一方を行わせることにより、前記検出画像を取得させることを特徴とする撮像装置。
請求項１から請求項５の何れか１項に記載の撮像装置において、
動画撮影による動画像を出力する表示部と、
前記検出画像の取得時に前記フリッカを有する検出画像の前記表示部への出力を停止する表示制御部と
をさらに備えることを特徴とする撮像装置。
請求項６に記載の撮像装置において、
前記表示制御部は、前記フリッカを有する検出画像の前後のフレームを用いてフレーム補間を行い、前記フレーム補間を行った画像を前記表示部に出力させることを特徴とする撮像装置。
請求項６に記載の撮像装置において、
前記表示制御部は、前記フリッカを有する検出画像の前後のフレームの何れか一方を前記表示部に出力させることを特徴とする撮像装置。