JP2009253808A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】フリッカの生じていない部分にフリッカが生じることを防止できる画像処理装置、撮像素子、画像処理方法、およびプログラムを提供する。
【解決手段】画像信号処理部１５０は、固体撮像素子で撮像された画像信号からフリッカを検出するフリッカ検出部と、画像信号に対して補正処理を行う補正部と、を含み、フリッカ検出部は、１フィールド周期で画像メモリに記録した画像信号を一定周期で観測し、一定周期の観測において記録した一の画像信号をリファレンス画像として、リファレンス画像と現画像との差異を求めてフリッカを検出し、フリッカを検出したときリファレンス画像と現画像との差異のある部分でリファレンス画像と同じレベルになる補正ゲインを求め、補正部は、現画像とリファレンス画像と差異のある部分に補正値としての補正ゲインを乗算し、差異のない部分にはゲイン１を乗算する。
【選択図】図３

Description

本発明は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサに代表される固体撮像素子により撮像された画像を処理する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。

ＣＣＤを用いたカメラにおいて、たとえばＮＴＳＣ(National Television Standards Committee)のカメラで５０[Hz]電源周波数での蛍光灯がある被写体を撮像したときに、画面のちらつき(フリッカ)が発生する。
これは、ＮＴＳＣのフィールド周波数が５９．９４[Hz]で、蛍光灯の発光周期と異なることに起因する。
ＰＡＬ(Phase Alternating Line)のカメラで６０[Hz]電源周波数での蛍光灯がある被写体を撮像したときも同様である。

ＣＣＤカメラのフリッカを抑圧するために一般的に知られている方法として以下の３つが知られている。

第１の方法は、電子シャッタ速度を固定する方法である。この場合、ＮＴＳＣで電子シャッタを１/１００[s]、ＰＡＬで電子シャッタを1/１２０[s]の固定値とする(たとえば特許文献１参照)。

第２の方法は、電子シャッタを制御する方法である。この場合、ＮＴＳＣで２０[Hz]、ＰＡＬで１０[Hz]周期で電子シャッタを制御する。

第３の方法は、ＡＧＣ(Auto Gain Control)によりゲイン制御する方法である。この場合、ＮＴＳＣで２０[Hz]、ＰＡＬで１０[Hz]周期でゲインを自動的に制御する。

また、ＣＭＯＳセンサを用いたカメラのフリッカを抑圧するため技術が提案されている（たとえば特許文献２参照）。
特開昭６３-３０８４８４号公報 特開２００７-２８５７３号公報

しかしながら、上記した第１の方法の場合、電子シャッタ速度が固定であるため画面全体の明るさを制御できず、被写体が明るいときは飽和する。
これを解決するために、メカニカルなアイリスレンズを使用して露光制御する方法がある。しかし、この方法ではレンズ絞りを制御できるレンズとそれを制御するためのソフトウェアが必要となり、コストがアップする。

また、上記した第２および第３の方法の場合、同一画面上にフリッカの有無が混在していると、図１に示したように、補正によりフリッカがない方にフリッカが現れる。いわゆる過補正が発生する。

また、ＣＭＯＳセンサを用いたカメラでも同一画面上にフリッカの有無が混在していると、特許文献２に開示された補正技術であっても、図２に示すように、フリッカがないところにフリッカ(ＣＭＯＳセンサの場合は横縞)が現れる。

本発明は、フリッカの生じていない部分にフリッカが生じることを防止でき、画面の一部にフリッカがある場合であってもフリッカを抑圧することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。

本発明の第１の観点の画像処理装置は、画像メモリと、撮像された画像信号からフリッカを検出するフリッカ検出部と、画像信号に対して補正処理を行う補正部と、を含み、上記フリッカ検出部は、上記撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、当該一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出し、フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求め、上記補正部は、上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理を行う。

好適には、上記補正部は、上記現画像と上記リファレンス画像と差異のある部分に上記補正値としての補正ゲインを乗算し、差異のない部分にはゲイン１を乗算する。

好適には、上記フリッカ検出部は、先のリファレンスのフィールドから次のリファレンス画像を取り込むフィールドまで毎フィールド、上記画像メモリから読み出したリファレンス画像とその時点の画像とを比較し、当該リファレンス画像とそれ以外の画像で差異があり、その差異が毎回異なり、かつ次のリファレンス画像と当該リファレンス画像との差異が所定値より小さい場合に、フリッカが発生していると判断する。

好適には、上記フリッカ検出部は、画像データの一部に差異がある場合には、画面の一部にフリッカが発生していると判断する。

好適には、上記フリッカ検出部は、全ての画像データで差異がある場合には画面全体にフリッカが発生していると判断する。

好適には、上記フリッカ検出部は、リファレンス画像データも含めて、画像データの差異が連続して変化し続けている場合は、パン、チルト、またはズームを行って撮像されている場合か、あるいは被写体が動いていると判断する。

好適には、上記フリッカ検出部は、撮像された画像信号が横縞状に変化する場合、画像の垂直方向に関してリファレンス画像との差異が周期的に発生していれば、フリッカが発生していると判断する。

好適には、上記フリッカ検出部は、水平方向で途切れがある場合には、画面の一部にフリッカが発生していると判断する。

好適には、上記フリッカ検出部は、平方向に途切れがない場合には、画面全体でフリッカが発生していると判断する。

好適には、上記補正部は、上記フリッカ検出部で、画面全体でフリッカが発生していると判断した場合には画面全体に１つの補正ゲインを乗算する。

本発明の第２の観点の撮像装置は、固体撮像素子と、上記固体撮像素子に被写体像を結像する光学系と、上記固体撮像素子による画像信号に対して画像処理を施す画像処理装置と、を有し、上記画像処理装置は、画像メモリと、上記固体撮像素子で撮像された画像信号からフリッカを検出するフリッカ検出部と、フリッカの検出対象の画像信号に対して補正処理を行う補正部と、を含み、上記フリッカ検出部は、上記撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、当該一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出し、フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求め、上記補正部は、上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理を行う。

本発明の第３の観点の画像処理方法は、撮像素子で撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、上記一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出し、フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求め、上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理を行う。

本発明の第４の観点は、撮像素子で撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、上記一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出する処理と、フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求める処理と、上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理とを含む画像処理をコンピュータに実行させるプログラムである。

本発明によれば、フリッカ検出部において、１フィールド周期で画像メモリに記録した画像信号が一定周期で観測される。
フリッカ検出部において、この一定周期の観測において記録した一の画像信号がリファレンス画像として、リファレンス画像と現画像との差異が求められ、その結果に応じてフリッカが検出される。さらに、フリッカ検出部において、フリッカを検出したときリファレンス画像と現画像との差異のある部分でリファレンス画像と同じレベルになる補正値が求められる。
そして、補正部において、現画像とリファレンス画像と差異のある部分に補正値に応じた補正処理が行われる。

本発明によれば、フリッカの生じていない部分にフリッカが生じることを防止でき、画面の一部にフリッカがある場合であってもフリッカを抑圧することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図３は、本発明の実施形態に係る撮像装置の構成例を示す図である。

本撮像装置１００は、図３に示すように、光学系１１０、固体撮像素子１２０、アナログフロントエンド部（ＡＦＥ：Analog Front End）１３０、タイミングジェネレータ（ＴＧ：Timing Generator）１４０、フリッカ検出部および補正部を含む画像信号処理部１５０、および画像メモリ１６０を有している。

光学系１１０は、被写体を撮影した像を固体撮像素子１２０に供給する。

固体撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像画像情報を電気信号の画像信号として、アナログフロントエンド部１３０に出力する。
固体撮像素子１２０は、ＣＣＤやＣＭＯＳセンサにより形成される。図３においては、撮像素子１２０を一例としてＣＣＤとして記載している。

アナログフロントエンド部１３０は、固体撮像素子１２０による画像信号に対して、ＣＤＳ(相関２重サンプリング)回路にて、データをサンプルホールドし、ＡＧＣでゲイン調整を行った後、アナログ／デジタル（Ａ／Ｄ）変換器（Analog Digital converter）にてデジタル信号に変換し、画像信号処理部１５０に出力する。

タイミングジェネレータ１４０は、固体撮像素子１２０のＣＣＤの駆動タイミングやアナログフロントエンド部１３０の駆動タイミングを生成する。
たとえば、タイミングジェネレータ１４０は、ＡＥ（自動露光制御）の制御パルスとして、電子シャッタパルスを固体撮像素子１２０に供給する。

画像信号処理部１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理、画像データの画像メモリ１６０への書き込み、読み出しを行い、ＡＥ制御処理、フリッカの検出および抑圧処理等を行う。

図３の画像信号処理部１５０は、輝度信号処理回路（Y-Process）１５１、色信号処理回路（C-Process）１５２、検波回路（積分回路）としてのオプティカルディテクタ（ＯＰＤ）１５３、マイクロコンピュータ（Micro Computer：μ-COM）１５４、およびデジタル／アナログ（Ｄ／Ａ）変換器（Digital Analog converter）１５６，１５７を有する。
本実施形態においては、たとえば輝度信号処理回路１５１、オプティカルディテクタ（ＯＰＤ）１５３、マイクロコンピュータ１５４等によりフリッカ検出部および補正部の機能が実現される。

なお、図３の例では、輝度信号処理回路１５１、色信号処理回路１５２、検波回路（積分回路）としてのオプティカルディテクタ（ＯＰＤ）１５３、マイクロコンピュータ１５４、レジスタ部１５５、およびデジタル／アナログ（Ｄ／Ａ）変換器１５６，１５７が一つのＩＣとして集積化されている。
このＩＣには、アナログフロントエンド部（ＡＦＥ）１３０やタイミングジェネレータ（ＴＧ）１４０を含んでも良い。

画像信号処理部１５０は、輝度信号(Y)と色信号(C)に分けてそれぞれ、輝度信号処理回路１５１および色信号処理回路１５２にて処理を行う。
その後、Ｄ／Ａ変換器１５６，１５７にてアナログ信号に戻し、図示していない回路にてビデオ出力信号とする。
また、画像信号処理部１５０は、ＡＥの制御を、輝度信号処理回路１５１からオプティカルディテクタ１５３にて積分された輝度信号Ｙをもとにマイクロコンピュータ１５４に接続されたＲＯＭに書き込まれたソフトウェアで行う。

そして、本実施形態は、ＣＣＤ、ＣＭＯＳなどの固体撮像素子１２０を用いた撮像装置１００において、画像信号処理部１５０は、蛍光灯等の周期的に発光する光源で照明された被写体を撮像したときのフリッカを抑圧する機能を有する。
画像信号処理部１５０は、特に、画面全面にフリッカがある場合だけではなく、画面の一部にフリッカがある場合でもフリッカを抑圧する機能を有する。

画像信号処理部１５０は、フリッカの検出は、１フィールド周期で画像メモリに記録した画像データを一定周期で観測して行う。
画像信号処理部１５０は、たとえば、ＣＣＤを用いたＮＴＳＣのカメラ(撮像装置)の場合に３フィールドのうちの１フィールド分を、ＰＡＬでは５フィールドのうち１フィールド分(たとえば第１フィールド)を記録する。画像信号処理部１５０は、記録した画像をリファレンス画像ＲＩＭとして、現在の画面との差異を求める。リファレンス画像はＮＴＳＣとＰＡＬで上記フィールドごとに更新される。
画像信号処理部１５０は、ＣＭＯＳセンサを用いたカメラ(撮像装置)の場合には、ある1フィールド分の画像データを記録し、次のフィールドで差異を求める。リファレンス画像ＲＩＭは２フィールドごとに更新される。
画像信号処理部１５０は、フリッカを検出したときにリファレンス画像ＲＩＭと現画面（現画像ＣＩＭ）との差異のある部分でリファレンス画像と同じ輝度レベルになるゲインを求め、現画面のリファレンスとの差異のある部分にそのゲインを乗算する。画像信号処理部１５０は、差異のないところはゲイン１を乗算する。

画像信号処理部１５０において、フリッカの検出および抑圧処理（補正処理）は、マイクロコンピュータ１５４の制御の下、オプティカルディテクタ１５３の検出に基づいた輝度信号処理回路１５１が行う。

図４は、本実施形態に係る輝度信号処理回路の補正回路(補正部)の構成例を示す図である。

図４の補正回路１５１Ａは、切替回路１５１１，１５１２、およびゲイン処理部１５１３を有する。

切替回路１５１１は、端子ａが輝度信号Ｙの入力ラインに接続され、端子ｂがゲイン処理部１５１３の入力端子に接続され、端子ｃが切替回路１５１２の端子ｃに接続されている。
切替回路１５１１は、フリッカの検出信号ＤＴが、フリッカを検出したときに補正ゲインＣＧＮが求められ、現画面のリファレンスとの差異のある部分にそのゲインを乗算する必要があることを示す場合には次のように機能する。
すなわち、切替回路１５１１は、たとえば検出信号ＤＴがハイレベル「１」の場合には、端子ａと端子ｂを接続して、輝度信号Ｙをゲイン処理部１５１３に入力させる。
切替回路１５１１は、フリッカの検出信号ＤＴが、現画面のリファレンスとの差異のある部分にそのゲインを乗算する必要がないことを示す場合は次のように機能する。
すなわち、切替回路１５１１は、たとえば検出信号ＤＴがハイレベル「０」の場合には、端子ａと端子ｃを接続して、輝度信号Ｙを、ゲイン処理部１５１３をバイパスさせて切替回路１５１２に入力させる。

切替回路１５１２は、端子ａが輝度信号Ｙの出力ラインに接続され、端子ｂがゲイン処理部１５１３の出力端子に接続され、端子ｃが切替回路１５１１の端子ｃに接続されている。
切替回路１５１２は、フリッカの検出信号ＤＴが、フリッカを検出したときに補正ゲインＣＧＮが求められ、現画面のリファレンスとの差異のある部分にそのゲインを乗算する必要があることを示す場合には次のように機能する。
すなわち、切替回路１５１２は、たとえば検出信号ＤＴがハイレベル「１」の場合には、端子ａと端子ｂを接続して、ゲイン処理を受けた輝度信号Ｙを出力する。
切替回路１５１２は、フリッカの検出信号ＤＴが、現画面のリファレンスとの差異のある部分にそのゲインを乗算する必要がないことを示す場合には次のように機能する。
すなわち、切替回路１５１２は、たとえば検出信号ＤＴがハイレベル「０」の場合には、端子ａと端子ｃを接続して、ゲイン処理を受けていない、換言すればゲイン１が乗算された輝度信号Ｙを出力する。

ゲイン処理部１５１３は、フリッカを検出したときにリファレンス画像と現画面との差異のある部分でリファレンス画像と同じ輝度レベルになるように求められた補正ゲインＣＧＮを、切替回路１５１１により供給される輝度信号Ｙに乗算して、切替回路１５１２に出力する。

図５（Ａ）〜（Ｃ）は、本実施形態に係る輝度信号処理回路１５１におけるフリッカ抑圧手順を模式的に示す図である。

輝度信号処理回路１５１は、図５（Ａ）に示すように、現在のフリッカのある画像データ(輝度信号分)ＣＩＭからリファレンス画像データＲＩＭの差分を求める。
次に、輝度信号処理回路１５１は、図５（Ｂ）に示すように、差分からリファレンス画像ＲＩＭと等しい輝度レベルになる補正ゲインＣＧＮを算出する。
次に、輝度信号処理回路１５１は、図５（Ｃ）に示すように、補正ゲインＣＧＮを現在の画像データＣＩＭのうち差分がある画素データにのみ乗算する。

次に、上記構成によるフリッカ検出およびフリッカ抑圧動作についてさらに詳細に説明する。
なお、フリッカの検出については、画像メモリを使用しない第１の検出方法および画像メモリを使用する第２の検出方法ついて説明する。

＜フリッカの検出＞
前提として、ＮＴＳＣのカメラで発生するフリッカの場合、電源周波数が50[Hz]、フィールド周波数が59.94[Hz]であるため、フリッカの周期は約20[Hz]となる。すなわち、ＮＴＳＣの場合、図６に示すように、３フィールド周期で輝度レベルの変化パターンが１周する。
同様に、ＰＡＬの場合には電源周波数が６０[Hz]、フィールド周波数が５０[Hz]であるため、フリッカの周期は約１０[Hz]となる。すなわち、ＰＡＬの場合、図７に示すように、５フィールド周期で輝度レベルの変化パターンが１周する。

＜画像メモリを使用しない検出の場合＞
まず、画像信号処理部１５０において、あるフィールドの画像の輝度積分値（ＯＰＤ値）を求め、これをリファレンス値とし、レジスタ部１５５のレジスタ（Ｒ０）に保存する。
このレジスタ部１５５に保存したリファレンス値は、ＮＴＳＣの場合に３フィールド毎、ＰＡＬの場合に５フィールド毎に更新する。
画像信号処理部１５０は、ＮＴＳＣの場合には、さらに次の２フィールドの輝度積分値をそれぞれ得た後にレジスタ部１５５のレジスタ（Ｒ１，Ｒ２)に保存する。ＰＡＬの場合にはさらに４フィールドの輝度積分値をそれぞれ得た後にレジスタ部１５５のレジスタ(Ｒ１，Ｒ２，Ｒ３，Ｒ４)に保存する。

ここで、画像信号処理部１５０は、レジスタ部１５５の各レジスタに保存した輝度積分値とリファレンス値（Ｒ０）と比較する。
そして、画像信号処理部１５０は、各フィールドの輝度積分値、具体的には、ＮＴＳＣの場合、レジスタＲ１，Ｒ２に保存された輝度積分値Ｒ１ＮＶ，Ｒ２ＮＶ、ＰＡＬの場合、レジスタＲ１〜Ｒ４に保存された輝度積分値Ｒ１ＰＶ〜Ｒ４ＰＶが全て異なっている場合で、かつ次のリファレンス値（'Ｒ０）が前のリファレンス値（Ｒ０）の差が小さければ、フリッカが発生していると判断する。
画像信号処理部１５０は、リファレンス値も含めてレジスタの値が連続して変化し続けている場合は、カメラがパン、チルト、ズームを行っている場合か、あるいは被写体が動いていると判断する。
なお、被写体に変化がない場合にはリファレンスの値に変化もないが、実際は様々な変化が考えられる。たとえば、被写体として人物が撮像範囲に入ったり、カメラ自体がパン、チルトした場合などである。
このように変化点がある場合には、変化以前にフリッカを検出しているときにフリッカが継続しているとする。
そして、リファレンスの値を更新し、検出のための動作(前述)を行う。

＜画像メモリを使用する場合＞
まず、画像信号処理部１５０の輝度信号処理回路１５１は、あるフィールドの画像を画像メモリ１６０に保存する。これをリファレンス画像データ（ＲＤ０）とする。フリッカは輝度信号として現れるため、画像データとしては輝度信号Ｙがあればよい。
画像信号処理部１５０は、この画像メモリに保存したリファレンス画像データは、ＣＣＤを用いたカメラでＮＴＳＣの場合に３フィールド毎、ＰＡＬの場合に５フィールド毎に更新する。ＣＭＯＳセンサを用いたカメラでは２フィールド毎に更新する。

輝度信号処理回路１５１は、先のリファレンスのフィールドから次のリファレンス画像データ（ＲＤ１）を取り込むフィールドまで毎フィールド画像メモリ１６０から読み出したリファレンス画像データ（ＲＤ０）とその時点の画像データを比較する。
ここで、画像信号処理部１５０は、リファレンス画像データ（ＲＤ０）とそれ以外の画像データで差異があり、その差異が毎回異なり、かつ次のリファレンス画像データ（ＲＤ1）とＲＤ０との差異が小さい場合に次のように判断する。すなわち、画像信号処理部１５０は、たとえば予め設定した閾値とを比較して小さい場合にはフリッカが発生していると判断する。
画像信号処理部１５０は、このときに全ての画像データで差異がある場合には画面全体にフリッカが発生していると判断する。また、画像データの一部に差異がある場合には、画面の一部にフリッカが発生していると判断する。
画像信号処理部１５０は、リファレンス画像データも含めて、画像データの差異が連続して変化し続けている場合には具体的に次のように判断する。
画像信号処理部１５０は、具体的には画像データ(ＲＤ０)と画像データ（ＲＤ１）の差異が大きい場合は、カメラがパン、チルト、ズームを行っている場合かあるいは被写体が動いていると判断する。
なお、被写体に変化がない場合にはリファレンス画像データに変化もないが、実際は様々な変化が考えられる。たとえば、被写体として人物が撮像範囲に入ったり、カメラ自体がパン、チルトした場合などである。
このような変化がある場合で、変化以前にフリッカを検出しているときにフリッカが継続しているとする。
そして、リファレンス画像データを更新し、検出のための動作(前述)を行う。
画像信号処理部１５０は、変化があった場合で変化以前にフリッカを検出していない場合にはフリッカが起きていないと判断する。しかし、カメラがパン、チルトした先で蛍光灯が照明として使用されている可能性もあるので、画像信号処理部１５０は、検出動作のためのリファレンス画像記録は継続する。

ＣＭＯＳセンサを用いたカメラの場合には、図８に示すように、横縞上に輝度変化が生じるため、画像の垂直方向に関してリファレンス画像との差異が周期的に発生していれば、フリッカが発生していると判断する。
水平方向に途切れがない場合には、画面全体でフリッカが発生していると判断する。また、水平方向で途切れがある場合には、画面の一部にフリッカが発生していると判断する。

＜フリッカの抑圧＞
固体撮像素子１２０としてＣＣＤを用いたカメラの場合には、前述した図５（Ａ）〜（Ｃ）に示したように、フリッカを検出した後に次の手順でフリッカを抑圧する。

（１）リファレンス画像データ(輝度信号分)を画像メモリから読み出す。
（２）図５（Ａ）に示すように、リファレンス画像データと現在の画像データ(輝度信号分)との差分を求める。
（３）図５（Ｂ）に示すように、その差分から現在の画像データ(輝度信号分)のうち、差分のあるデータに乗算するゲインを算出する。
（４）図５（Ｃ）に示すように、現在の画像データ(輝度信号分)のうち差分のあるデータにゲインを乗算する。画面全体でフリッカが発生していると判断した場合には画面全体に1つのゲインを乗算する。
（５）これをＮＴＳＣであれば３フィールド周期、ＰＡＬであれば５フィールド周期で行う。

図９（Ａ）および図９(Ｂ)は、ＣＣＤカメラでＮＴＳＣの場合でのフリッカ抑圧前後の輝度レベルの差異を示している。図９(Ａ)はフリッカが発生している状態を示し、図９（Ｂ）はフリッカを抑圧している状態を示している。

図９（Ｂ）に示すように、画像全体ではなく、差分のある画像データにのみゲインを乗算する。図９では、ある1ラインのみ示しているが、そのうちの右側の画像データにのみゲインを乗算する。
このように、本実施形態の画像信号処理部１５０においては、フリッカがあり、輝度変化が生じている部分にのみゲインを乗算しているため、もともとフリッカが発生していなかった領域の輝度変化は生じず、良好にフリッカを抑圧することができる。

ＣＭＯＳセンサを用いたカメラの場合には、フリッカを検出した後に次の手順でフリッカを抑圧する。

（１）リファレンス画像上でフリッカのある部分の輝度平均値を求める。
（２）現在の画像データ上でフリッカのある部分と上記（１）で求めた輝度平均値との差分を求める。
（３）その差分を補正する(差分のあるデータに乗算する)ためのゲインを算出する。換言すれば差分のあるデータに乗算するためのゲインを算出する。
（４）現在の画像データのうち差分のあるデータにゲインを乗算する。
（５）これを５フィールド周期で行う。

以上説明したように、本実施形態によれば、固体撮像素子１２０と、固体撮像素子１２０に被写体像を結像する光学系１１０と、固体撮像素子１２０による画像信号に対して画像処理を施す画像信号処理部１５０と、画像メモリ１６０と、を有する。
そして、画像信号処理部１５０は、固体撮像素子で撮像された画像信号からフリッカを検出するフリッカ検出部と、画像信号に対して補正処理を行う補正部と、を含む。
フリッカ検出部は、撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測する。フリッカ検出部は、この一定周期の観測において記録した一の画像信号をリファレンス画像として、リファレンス画像と現画像との差異を求めてフリッカを検出する。フリッカ検出部は、フリッカを検出したときリファレンス画像と現画像との差異のある部分でリファレンス画像と同じレベルになる補正ゲインを求める。
そして、補正部は、現画像とリファレンス画像と差異のある部分に補正値としての補正ゲインを乗算し、差異のない部分にはゲイン１を乗算する、ことから、以下の効果を得ることができる。

蛍光灯撮像時に起きるフリッカを抑圧することで、カメラの画質向上を図ることができる。ここでいうカメラは、ＣＣＤ、ＣＭＯＳなどの固体撮像素子を用いたものであり、監視カメラ、ビデオカメラ、デジタルスチルカメラ、ＰＣカメラ、携帯電話のカメラ等を指す。

一般的なＡＧＣゲインでの制御を行った場合、ゲインが上がったときにはノイズを増幅するが、本実施形態においては、画面全体にＡＧＣゲインをかけることがないため、Ｓ／Ｎが改善する。

また、周期的な画像変化が起きにくくなるため、カメラ出力の後段で画像圧縮を行ってデータ転送等の用途があった場合に圧縮率を高めることができる。たとえば、ＤＶＲ（Digital Video Recorder)での長時間画像記録やネットワーク画像配信の用途に効果的である。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

ＡＧＣや電子シャッタでフリッカを制御するときの課題を説明するための図である。 ＣＭＯＳセンサの場合のフリッカの様子を示す図である。 本発明の実施形態に係る撮像装置の構成例を示す図である。 本実施形態に係る輝度信号処理回路の補正回路の構成例を示す図である。 本実施形態に係る輝度信号処理回路におけるフリッカ抑圧手順を模式的に示す図である。 ＮＴＳＣの場合、３フィールド周期で輝度レベルの変化パターンが１周する様子を示す図である。 ＰＡＬの場合、５フィールド周期で輝度レベルの変化パターンが１周する様子を示す図である。 本実施形態において、固体撮像素子がＣＭＯＳセンサの場合のフリッカ検出処理を模式的に示す図である。 ＣＣＤカメラでＮＴＳＣの場合でのフリッカ抑圧前後の輝度レベルの差異を示す図である。

符号の説明

１００・・・撮像装置、１１０・・・光学系、１２０・・・固体撮像素子、１３０・・・ナログフロントエンド部（ＡＦＥ）、１４０・・・タイミングジェネレータ（ＴＧ）、１５０・・・画像信号処理部、１５１・・・輝度信号処理回路（Y-Process）、１５２・・・色信号処理回路（C-Process）、１５３・・・検波回路（積分回路）としてのオプティカルディテクタ（ＯＰＤ）、１５４・・・マイクロコンピュータ（μ-COM）、１５５，１５６・・・デジタル／アナログ（Ｄ／Ａ）変換器、１６０・・・画像メモリ。

Claims (17)

1. 画像メモリと、
   撮像された画像信号からフリッカを検出するフリッカ検出部と、
   画像信号に対して補正処理を行う補正部と、を含み、
   上記フリッカ検出部は、
   上記撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、当該一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出し、フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求め、
   上記補正部は、
   上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理を行う
   画像処理装置。
2. 上記補正部は、
   上記現画像と上記リファレンス画像と差異のある部分に上記補正値としての補正ゲインを乗算し、差異のない部分にはゲイン１を乗算する
   請求項１記載の画像処理装置。
3. 上記フリッカ検出部は、
   先のリファレンスのフィールドから次のリファレンス画像を取り込むフィールドまで毎フィールド、上記画像メモリから読み出したリファレンス画像とその時点の画像とを比較し、当該リファレンス画像とそれ以外の画像で差異があり、その差異が毎回異なり、かつ次のリファレンス画像と当該リファレンス画像との差異が所定値より小さい場合に、フリッカが発生していると判断する
   請求項１記載の画像処理装置。
4. 上記フリッカ検出部は、
   画像データの一部に差異がある場合には、画面の一部にフリッカが発生していると判断する
   請求項３記載の画像処理装置。
5. 上記フリッカ検出部は、
   全ての画像で差異がある場合には画面全体にフリッカが発生していると判断する
   請求項３または４記載の画像処理装置。
6. 上記フリッカ検出部は、
   リファレンス画像も含めて、画像の差異が連続して変化し続けている場合は、パン、チルト、ズームを行って撮像されている場合か、あるいは被写体が動いていると判断する
   請求項３記載の画像処理装置。
7. 上記フリッカ検出部は、
   撮像された画像信号が横縞状に変化する場合、画像の垂直方向に関してリファレンス画像との差異が周期的に発生していれば、フリッカが発生していると判断する
   請求項３記載の画像処理装置。
8. 上記フリッカ検出部は、
   水平方向で途切れがある場合には、画面の一部にフリッカが発生していると判断する 請求項６記載の画像処理装置。
9. 上記フリッカ検出部は、
   平方向に途切れがない場合には、画面全体でフリッカが発生していると判断する
   請求項６または７記載の画像処理装置。
10. 上記補正部は、
    上記フリッカ検出部で、画面全体でフリッカが発生していると判断した場合には画面全体に１つの補正ゲインを乗算する
    請求項２記載の画像処理装置。
11. 固体撮像素子と、
    上記固体撮像素子に被写体像を結像する光学系と、
    上記固体撮像素子による画像信号に対して画像処理を施す画像処理装置と、を有し、
    上記画像処理装置は、
    画像メモリと、
    上記固体撮像素子で撮像された画像信号からフリッカを検出するフリッカ検出部と、
    画像信号に対して補正処理を行う補正部と、を含み、
    上記フリッカ検出部は、
    上記撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、当該一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出し、フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求め、
    上記補正部は、
    上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理を行う
    撮像装置。
12. 上記補正部は、
    上記現画像と上記リファレンス画像と差異のある部分に上記補正値としての補正ゲインを乗算し、差異のない部分にはゲイン１を乗算する
    請求項１０記載の撮像装置。
13. 上記フリッカ検出部は、
    先のリファレンスのフィールドから次のリファレンス画像を取り込むフィールドまで毎フィールド、上記画像メモリから読み出したリファレンス画像とその時点の画像とを比較し、当該リファレンス画像とそれ以外の画像で差異があり、その差異が毎回異なり、かつ次のリファレンス画像と当該リファレンス画像との差異が所定値とより小さい場合に、フリッカが発生していると判断する
    請求項１０記載の撮像装置。
14. 上記フリッカ検出部は、
    画像データの一部に差異がある場合には、画面の一部にフリッカが発生していると判断する
    請求項１２記載の撮像装置。
15. 上記フリッカ検出部は、
    全ての画像データで差異がある場合には画面全体にフリッカが発生していると判断する
    請求項１２または１３記載の撮像装置。
16. 撮像素子で撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、
    上記一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出し、
    フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求め、
    上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理を行う
    画像処理方法。
17. 撮像素子で撮像された画像信号を受けて、１フィールド周期で上記画像メモリに記録した画像信号を一定周期で観測し、
    上記一定周期の観測において記録した一の画像信号をリファレンス画像として、当該リファレンス画像と現画像との差異を求めてフリッカを検出する処理と、
    フリッカを検出したとき上記リファレンス画像と現画像との差異のある部分で上記リファレンス画像と同じレベルになる補正値を求める処理と、
    上記現画像と上記リファレンス画像と差異のある部分に上記補正値に応じた補正処理と
    を含む画像処理をコンピュータに実行させるプログラム。