JP2006345368A - 画像処理装置および撮像装置 - Google Patents

Abstract

【課題】 ＸＹアドレス走査型の固体撮像素子により撮像された画像のフリッカ成分を画面レートに関係なく高精度に検出する。
【解決手段】 内部基準信号生成部２１からのイネーブル信号ＤＥＴＥＣＴ＿ＥＮは、蛍光灯照明下で画像上に生じるフリッカの１周期分以上の長さを持つ検波期間を、検出・低減処理部２２に対して与える。検出・低減処理部２２は、イネーブル信号ＤＥＴＥＣＴ＿ＥＮに基づく検波期間ごとに画像信号を取り込み、取り込んだ画像信号を１水平同期期間以上の単位で積分する積分手段と、この積分手段による積分結果を用いた、イネーブル信号ＤＥＴＥＣＴ＿ＥＮに基づく検波期間単位の周波数解析結果を基にフリッカ成分を推定するフリッカ検出手段とを備える。
【選択図】 図２

Description

本発明は、画像信号を処理する画像処理装置、およびこの機能を備えた撮像装置に関し、特に、ＸＹアドレス走査型の固体撮像素子により撮像された画像信号に対する処理に適した画像処理装置および撮像装置に関する。

商用交流電源により点灯される蛍光灯などの点滅する光源の照明下で、ビデオカメラにより被写体を撮影すると、光源の輝度変化（光量変化）の周波数とカメラの垂直同期周波数との違いによって、撮像画像上に時間的な明暗の変化、いわゆる蛍光灯フリッカが生じる。特に、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどのＸＹアドレス走査型の撮像素子を用いた場合には、水平ラインごとの露光タイミングが異なるため、撮像画像上のフリッカは、垂直方向の周期的な輝度レベルあるいは色相の変動による縞模様として観察される。

このようなフリッカの成分を撮像画像信号から除去するための手法としては、主に、シャッタスピードとフリッカレベルとの関連性に基づいて補正する方式（シャッタ補正方式と呼ぶ）と、フリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用する方式（ゲイン補正方式と呼ぶ）とが知られている。これらのうち、ゲイン補正方式によるフリッカ低減方法としては、画像信号の信号レベルの変化を周波数解析してフリッカ周波数のスペクトルを検出し、このスペクトルの振幅値に基づいて画像信号の信号レベルを補正する方法があった（例えば、特許文献１参照）。

一方、デジタルビデオカメラなどに対する高機能化の要求に伴い、最近では、標準テレビ信号よりも高速な画面レートで被写体を撮像する機能を持ったカメラの開発が進んでいる。以下、このような高速撮像機能を持つカメラにおけるフリッカの低減手法について述べる。

図１４は、ＸＹアドレス走査型の撮像素子を持つカメラにより蛍光灯照明下で撮影した場合のフリッカレベルとシャッタスピードとの関係を示すグラフである。
図１４のグラフは例として、商用交流電源周波数が５０Ｈｚの地域における非インバータ方式の蛍光灯照明下で撮影した場合のフリッカレベルとシャッタスピードとの関係について、コンピュータシミュレーションを行った結果を示している。この図１４によれば、シャッタスピードとフリッカレベルには関連性があり、特にシャッタスピードがＮ／１００（Ｎは整数）の場合には、完全にフリッカを発生させなくすることができる。蛍光灯の電源周波数をｆ［Ｈｚ］としたとき、このフリッカレスとなるシャッタスピードＳ＿ｆｋｌｅｓｓ［１／ｓ］は、一般に次式（１）で表すことができる。
Ｓ＿ｆｋｌｅｓｓ＝Ｎ／（２×ｆ） ……（１）
上述したシャッタ補正方式は、このような性質に基づき、何らかの方法でフリッカが発生していることを検出した場合に、シャッタスピードを式（１）のＳ＿ｆｋｌｅｓｓに設定することでフリッカの発生を回避するものである。しかし、この手法はシャッタスピードに制限が生じるため、ＡＥ（Auto Exposure）制御の自由度が低下するという問題があるとともに、以下の理由で高速撮像には利用できない。

図１５は、通常撮像時および高速撮像時における垂直同期周波数とフリッカ波形との関係を示す図である。
図１５（Ａ）は、ＮＴＳＣ方式（National Television Standards Committee）の画面レートである６０ｆｐｓ（フィールド／秒）の垂直同期信号ＶＤとフリッカ波形との関係を示している。この場合、垂直同期期間は１／６０［ｓ］，フリッカ縞の１周期は１／１００［ｓ］となる。また、図１５（Ｂ）は、例として標準の２倍の画面レート（１２０ｆｐｓ）で高速撮像を行った場合の垂直同期信号とフリッカ波形との関係を示している。この場合、垂直同期期間は１／１２０［ｓ］，フリッカ縞の１周期は図１５（Ａ）と同様に１／１００［ｓ］となる。

ここで、１２０ｆｐｓで撮像するカメラで設定できるシャッタスピードは、１／１２０［ｓ］より高速側に制限される。また、画面レートがＮＴＳＣ方式のさらに３倍、４倍となっていくと、設定できるシャッタスピードはそれぞれ１／１８０［ｓ］以下、１／２４０［ｓ］以下となってしまう。従って、これらのカメラでは、シャッタ補正方式によりフリッカの発生を回避することは不可能である。

次に、このような高速撮像による撮像画像に、上記の特許文献１の手法を適用することについて考える。この手法の検波系は、主に、入力画像信号を適切な形に加工しながらフリッカ成分の１周期分をサンプリングし（ステップＳ１）、このサンプリングデータに離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を施すことによって、フリッカ１周期を基本波とするフリッカ成分の周波数スペクトルを計算し（ステップＳ２）、その低次項のみを利用してフリッカ波形を推定する（ステップＳ３）という３つのステップにより表される。

しかし、上記のうちステップＳ１のサンプリング処理が高速撮像に適していないために、この手法をそのまま高速撮像時に適用することはできなかった。ここで、垂直同期期間内のライン数をＭとすると、フリッカ縞の周期Ｔ＿ｆｋと画面レートＦＰＳとの関係は、一般に次式（２）で表すことができる。
Ｔ＿ｆｋ＝Ｍ×ＦＰＳ／（２×ｆ） ……（２）
しかし、ＦＰＳ＞２×ｆなる条件で高速撮像を行った場合には、式（２）よりフリッカ縞の周期とライン数との関係がＴ＿ｆｋ＞Ｍとなり、図１５（Ｂ）でも明らかであるように、１周期分のフリッカが１フィールド内に収まりきれなくなってしまう。このため、特許文献１の手法では、フリッカ成分を正しくサンプリングすることができない。
特開２００４−２２２２２８号公報（段落番号〔００７２〕〜〔０１１１〕、図４）

以上のように、特許文献１の手法は、高速撮像機能を持つカメラには適用することができなかった。また、この特許文献１の手法に限らず、ゲイン補正方式を用いた多くのフリッカ補正アルゴリズムは、フリッカ現象が画面の繰り返し性を持つことを利用している。例えば、５０Ｈｚ電源地域においてＮＴＳＣ方式で撮像した画像上のフリッカ成分では、３フィールド後には同じ波形が現れることから、この性質を利用して３枚分の画面のフリッカ波形の平均値から背景成分のみを抽出するといった処理を行っている。しかし、高速撮像時にはその繰り返し画面数が画面レートにより異なるため、この種のアルゴリズムを高速撮像時に適用できないことが問題となっていた。

本発明はこのような点に鑑みてなされたものであり、ＸＹアドレス走査型の固体撮像素子により撮像された画像のフリッカ成分を画面レートに関係なく高精度に検出できる画像処理装置を提供することを目的とする。

また、本発明の他の目的は、ＸＹアドレス走査型の固体撮像素子により撮像した画像のフリッカ成分を画面レートに関係なく高精度に検出できる撮像装置を提供することである。

本発明では上記課題を解決するために、画像信号を処理する画像処理装置において、蛍光灯照明下で画像上に生じるフリッカの１周期分以上の長さを持つ検波期間ごとに前記画像信号を取り込み、取り込んだ前記画像信号を１水平同期期間以上の単位で積分する積分手段と、前記積分手段による積分結果を用いた前記検波期間単位の周波数解析結果を基にフリッカ成分を推定するフリッカ検出手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、積分手段に対して、フリッカの１周期分以上の長さを持つ検波期間ごとに画像信号が取り込まれ、その画像信号が１水平同期期間以上の単位で積分される。そして、フリッカ検出手段により、積分手段による積分結果を用いて検波期間単位で周波数解析が行われ、その解析結果を基にフリッカ成分が推定される。これにより、画像信号の画面レートに関係なく、１周期分のフリッカ成分を含む連続的な画像信号が確実にフリッカの解析対象となり、フリッカの検出精度が向上する。

本発明の画像処理装置によれば、フリッカの１周期分以上の長さを持つ検波期間を基準として積分手段およびフリッカ検出手段を動作させることで、画像信号の画面レートに関係なく、１周期分のフリッカ成分を含む連続的な画像信号が確実にフリッカの解析対象となる。従って、積分手段やフリッカ検出手段の構成を周知のものから大きく変えることなく、画面レートの制限のない高精度なフリッカ検出を行うことが可能となる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
＜システム全体の構成＞
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。

図１に示す撮像装置は、光学ブロック１１、ドライバ１１ａ、ＣＭＯＳ型イメージセンサ（以下、ＣＭＯＳセンサと略称する）１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ処理回路１４、システムコントローラ１５、入力部１６、グラフィックＩ／Ｆ（インタフェース）１７、およびディスプレイ１７ａを具備する。

光学ブロック１１は、被写体からの光をＣＭＯＳセンサ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、システムコントローラ１５からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。

ＣＭＯＳセンサ１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などからなる複数の画素が２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路、画像信号の出力回路などが形成されたものである。このＣＭＯＳセンサ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、システムコントローラ１５の制御の下でタイミング信号を出力する。

このＣＭＯＳセンサ１２は、ＮＴＳＣ方式の仕様である６０ｆｐｓによる通常速度での撮像モード（通常撮像モードと呼ぶ）とともに、６０ｆｐｓより高いレートで高速に撮像する高速撮像モードを備えている。ＣＭＯＳセンサ１２は、例えば、１ライン分の画素信号を出力するときに、撮像素子上の隣接している同色の画素の信号を加算して同時に出力することによって、画素信号を読み出す際の同期周波数を高めることなく、画面の切り替えレートを高めている。またこれにより、画角を変えることなく画像サイズ（解像度）が低下する。

ＡＦＥ回路１３は、例えば１つのＩＣ（Integrated Circuit）として構成され、ＣＭＯＳセンサ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、ＣＭＯＳセンサ１２と同一基板上に形成されてもよい。

カメラ処理回路１４は、例えば１つのＩＣとして構成され、ＡＦＥ回路１３からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では特に、蛍光灯下の撮像時に画面に生じるフリッカの信号成分を画像信号から低減するフリッカ低減部２０を備えている。

システムコントローラ１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

入力部１６は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどにより構成され、ユーザによる入力操作に応じた制御信号をシステムコントローラ１５に出力する。

グラフィックＩ／Ｆ１７は、カメラ処理回路１４からシステムコントローラ１５を介して供給された画像信号から、ディスプレイ１７ａに表示させるための画像信号を生成して、この信号をディスプレイ１７ａに供給し、画像を表示させる。ディスプレイ１７ａは、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。

この撮像装置では、ＣＭＯＳセンサ１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ処理回路１４は、ＡＦＥ回路１３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換して出力する。

カメラ処理回路１４から出力された画像データは、システムコントローラ１５を介してグラフィックＩ／Ｆ１７に供給されて表示用の画像信号に変換され、これによりディスプレイ１７ａにカメラスルー画像が表示される。また、入力部１６からのユーザの入力操作などによりシステムコントローラ１５に対して画像の記録が指示されると、カメラ処理回路１４からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ処理回路１４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、処理された画像データがエンコーダに連続的に供給される。

＜カメラ処理回路におけるタイミング制御＞
図２は、カメラ処理回路１４の内部構成を示すブロック図である。
カメラ処理回路１４は、図２に示すように、この回路全体に対する基準信号を生成する基準信号生成部３０と、基準信号生成部３０から基準信号の供給を受けて動作する、各種カメラ信号処理のための複数の処理ブロック３１〜３３を備えている。そして、このような処理ブロックの一種として、フリッカ低減部２０が設けられている。

基準信号生成部３０は、源発振器からカメラ処理回路１４に供給される基準信号に同期して、処理ブロック３１〜３３をそれぞれ動作させるための基準信号ＳＩＧ＿ＲＥＦ＿１，ＳＩＧ＿ＲＥＦ＿２，ＳＩＧ＿ＲＥＦ＿３を生成して出力する。各基準信号ＳＩＧ＿ＲＥＦ＿１，ＳＩＧ＿ＲＥＦ＿２，ＳＩＧ＿ＲＥＦ＿３は、画像信号の流れなどに応じて各処理ブロック３１〜３３間で生じる遅延を考慮して出力される。また、処理ブロック３１〜３３には、供給された基準信号ＳＩＧ＿ＲＥＦ＿１，ＳＩＧ＿ＲＥＦ＿２，ＳＩＧ＿ＲＥＦ＿３を基にそれらの内部での動作タイミングを詳細に司る基準信号を生成するブロックがそれぞれ設けられている。

フリッカ低減部２０も同様に、基準信号生成部３０からの基準信号ＳＩＧ＿ＲＥＦ＿ＦＫを基にフリッカ低減部２０の内部での動作タイミングを司る基準信号を生成する内部基準信号生成部２１と、生成された基準信号を用いて動作する検出・低減処理部２２とを備えている。

基準信号生成部３０は、フリッカ低減部２０に対する基準信号ＳＩＧ＿ＲＥＦ＿ＦＫとして、垂直同期信号ＶＤ、水平同期信号ＨＤ、垂直方向に対する画像信号の有効期間を示す後述する２種類のイネーブル信号ＶＥＮ１およびＶＥＮ２、水平方向に対する画像信号の有効期間を示すイネーブル信号ＨＥＮなどを出力する。内部基準信号生成部２１は、これらの信号を基に、検出・低減処理部２２に対する各種基準信号やカウント値などを生成する。

例えば、内部基準信号生成部２１はカウンタ２１ａを備え、このカウンタ２１ａにより、１垂直期間中の有効期間におけるライン数を示すカウント値ＶＣＯＵＮＴを出力する。カウンタ２１ａは、システムコントローラ１５から画面レートに応じた撮像モードの設定を受け、その設定に応じてイネーブル信号ＶＥＮ１またはＶＥＮ２のいずれかを選択する。そして、選択したイネーブル信号がＨレベルの期間における水平同期信号ＨＤのカウント数をＶＣＯＵＮＴとして出力し、そのカウント値をイネーブル信号がＬレベルとなったときにリセットする。

検出・低減処理部２２内の各部においては、画像信号の垂直方向に対する動作タイミングはすべてカウント値ＶＣＯＵＮＴを基準に制御される。内部基準信号生成部２１は、例えば、カウント値ＶＣＯＵＮＴと所定の値とを比較することで、“ある期間のみＨレベルとなるイネーブル信号”、“ある期間で所定の間隔でＨレベルとなるパルス信号”などといった信号を自在に生成し、検出・低減処理部２２の動作タイミングを制御することができる。

本実施の形態では、内部基準信号生成部２１は、設定された撮像モードに応じて、フリッカ縞の１周期分に相当するカウント数（後述するＴ＿ｆｋ）を算出し、イネーブル信号ＶＥＮ１またはＶＥＮ２がＨレベルでかつカウント値ＶＣＯＵＮＴがそのカウント数（Ｔ＿ｆｋ）に達するまでの間にＨレベルとするイネーブル信号ＤＥＴＥＣＴ＿ＥＮを生成して、検出・低減処理部２２に供給する。イネーブル信号ＤＥＴＥＣＴ＿ＥＮは、検出・低減処理部２２での画像信号のサンプリング期間を示し、検出・低減処理部２２内の検波系ブロックは、このサンプリング期間を基準として動作する。なお、イネーブル信号ＤＥＴＥＣＴ＿ＥＮのＨ期間を決めるカウント数（Ｔ＿ｆｋ）は、システムコントローラ１５から設定されるようにしてもよい。

検出・低減処理部２２は、入力された画像信号からフリッカ成分を検出し、その成分を画像信号から除去する処理を実行する。この検出・低減処理部２２は、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがＨレベルのときに画像信号をサンプリングし、そのサンプリングデータからフリッカ波形を推定して、画像信号のゲインを調整し、フリッカ成分を低減させる。これらの一連の処理は、イネーブル信号ＤＥＴＥＣＴ＿ＥＮおよびカウント値ＶＣＯＵＮＴなど、内部基準信号生成部２１からの各種基準信号に基づいて実行される。なお、検出・低減処理部２２の詳細な構成および動作については、後の図６において説明する。

以下、各種基準信号に基づく検出・低減処理部２２での画像信号のサンプリング動作について、より詳しく説明する。なお、以下の説明では、周波数５０Ｈｚの商用交流電源による蛍光灯の照明下で、インタレース方式により撮像を行った場合の例を挙げる。また、図３〜図５では、検出・低減処理部２２において推定されるフリッカ、およびサンプリングされるフリッカによる画面上の明暗変化を、フリッカ波形として模式的に示している。

図３は、通常撮像モードでのサンプリング動作を説明するためのタイミングチャートである。
図３において、イネーブル信号ＶＥＮ１は、１フィールド内の垂直方向に対する画像信号の有効データ領域を示す信号であり、設定される画面レートに応じて可変される。また、カウント値ＶＣＯＵＮＴは、イネーブル信号ＶＥＮ１がＨレベルの期間において、１フィールド分のライン数Ｍまでカウントアップされる。

フリッカ縞の１周期は１／１００［ｓ］であるため、６０ｆｐｓの通常撮像モードでは、図３のようにフリッカ縞の１周期は有効データ領域の長さより短い。従って、検出・低減処理部２２は、１周期分のフリッカ成分を含む画像信号をフィールドごとにサンプリングすることができる。

イネーブル信号ＤＥＴＥＣＴ＿ＥＮは、有効データ領域の開始時にＨレベルとされ、カウント値ＶＣＯＵＮＴがフリッカ縞の１周期の終了タイミングに対応するライン数であるＴ＿ｆｋに達したときにＬレベルとなる。検出・低減処理部２２は、このイネーブル信号ＤＥＴＥＣＴ＿ＥＮがＨレベルの期間に画像信号をサンプリングする。具体的には、後述するように、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがＨレベルの期間で画像信号をラインごとに積分する。そして、その積分値を基にフリッカ１周期を基本波とするフリッカ成分の周波数スペクトルを計算し、１周期分のフリッカ波形を推定する。

次に、高速撮像モードの例として１２０ｆｐｓで撮像した場合のサンプリング動作について、図４および図５を用いて説明する。
図４は、高速撮像モードでのサンプリング動作を説明するための第１のタイミングチャートである。

この図４では、画面レートの高速化に伴って、イネーブル信号ＶＥＮ１で示される有効データ領域の長さも短くなっている。ここで、内部基準信号生成部２１のカウンタ２１ａにおいて、イネーブル信号としてＶＥＮ１を選択し、このイネーブル信号ＶＥＮ１がＨレベルとなる期間内に水平同期信号ＨＤをカウントした場合を考える。このときカウント値ＶＣＯＵＮＴは、通常撮像モードの場合と同様に、有効データ領域の期間ごとにライン数Ｍまでのカウントアップが繰り返される。

しかし、蛍光灯の電源周波数をｆ、画面レートをＦＰＳとしたとき、この図４の例のように、ＦＰＳ＞２×ｆなる関係が成立している場合には、フリッカ１周期分より１フィールドの有効データ領域の期間の方が短くなってしまう。このため、カウント値ＶＣＯＵＮＴは、フリッカ１周期に対応するＴ＿ｆｋまでカウントされる前にリセットされてしまうので、フリッカ１周期分のサンプリングタイミングを生成することができなくなる。すなわち、検出・低減処理部２２の検波系ブロックは、画像信号をフリッカ１周期分ごとに処理することができなくなる。

図５は、高速撮像モードでのサンプリング動作を説明するための第２のタイミングチャートである。
図４で説明した問題点を解決するため、本実施の形態では、画面レートに応じた有効データ領域を示すイネーブル信号ＶＥＮ１とともに、６０ｆｐｓの通常撮像モードでの有効データ領域を示すイネーブル信号ＶＥＮ２を、基準信号生成部３０からフリッカ低減部２０に供給させる。そして、内部基準信号生成部２１のカウンタ２１ａは、ＦＰＳ＞２×ｆが成立する高速撮像モードに設定された場合に、入力されるイネーブル信号としてＶＥＮ２を選択し、このイネーブル信号ＶＥＮ２がＨレベルの期間に水平同期信号ＨＤをカウントしてカウント値ＶＣＯＵＮＴを出力するようにする。

なお、イネーブル信号ＶＥＮ２は、常に通常撮像モードでの同期信号を基に生成される、通常撮像モードでの有効データ領域を正確に示す信号であってもよいが、図５の例のようにイネーブル信号ＶＥＮ１を基準に、例えば同期タイミングをカウントするなどして生成されたものなどであってもよい。すなわち、イネーブル信号ＶＥＮ２としては、あるフィールドでの有効データ領域の開始時を起点に、フリッカ１周期以上の期間だけＨレベルとなる信号が生成されればよい。また、内部基準信号生成部２１のカウンタ２１ａは、イネーブル信号を選択する構成とせず、常時イネーブル信号ＶＥＮ２を基にカウント値ＶＣＯＵＮＴを生成する構成としてもよい。

このようなイネーブル信号ＶＥＮ２を利用することにより、カウント値ＶＣＯＵＮＴの上限値はフリッカ１周期に対応するＴ＿ｆｋ以上となる。そして、カウント値ＶＣＯＵＮＴのカウントアップが開始されてから、そのカウント値がＴ＿ｆｋに達するまでの間、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがＨレベルとなる。従って、検出・低減処理部２２では、このようなイネーブル信号ＤＥＴＥＣＴ＿ＥＮを用いることで、常に１周期分以上のフリッカ成分を含む画像信号を各検波系ブロックで取り込み、処理することが可能となる。

ただし、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがＨレベルの期間には、画像データの無効期間（垂直ブランキング期間）が存在するため、この期間では画像信号のサンプリング値が不確定となる。このため、本実施の形態では、後述するように、サンプリング（積分）処理ブロックの最終段において、無効期間における画像信号をその前後の信号から補間し、１周期分のフリッカ成分が滑らかにつながるようにする。

＜フリッカ低減処理＞
図６は、検出・低減処理部２２の内部構成を示すブロック図である。
検出・低減処理部２２は、画像信号を検波し、その検波値を正規化して出力する正規化積分値算出部１１０と、正規化された検波値にＤＦＴ処理を施すＤＦＴ処理部１２０と、ＤＦＴによるスペクトル解析の結果からフリッカ成分を推定するフリッカ生成部１３０と、フリッカ成分の推定値を一時的に記憶するバッファリング部１４０と、推定されたフリッカ成分を画像信号から除去する演算部１５０とを具備する。また、正規化積分値算出部１１０は、積分処理部１１１、積分値保持部１１２、平均値演算部１１３、差分演算部１１４、および正規化処理部１１５を具備する。

積分処理部１１１は、入力された画像信号を、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがＨレベルとなる期間（以下、サンプリング期間と呼ぶ）に亘ってラインごとに積分する。積分値保持部１１２は、２つのサンプリング期間に算出された積分値を一時的に保持する。平均値演算部１１３は、直近の３つのサンプリング期間に算出された積分値を平均化する。差分演算部１１４は、直近の２つのサンプリング期間に算出された積分値の差分を算出する。正規化処理部１１５は、算出された差分値を正規化する。

ＤＦＴ処理部１２０は、正規化された差分値にＤＦＴを施して周波数解析し、フリッカ成分の振幅および初期位相を推定する。フリッカ生成部１３０は、周波数解析による推定値から、画像信号に含まれるフリッカ成分の割合を示す補正係数を算出する。演算部１５０は、算出された補正係数に基づいて、画像信号からフリッカ成分を除去するための演算を行う。

なお、上記各ブロックによる処理の少なくとも一部は、システムコントローラ１５でのソフトウェア処理により実行されてもよい。また、本実施の形態に係る撮像装置では、画像信号を構成する輝度信号、色差信号ごとに、この図６に示すブロックによる処理が実行される。あるいは、少なくとも輝度信号について実行し、必要に応じて色差信号、各色信号について実行するようにしてもよい。また、輝度信号については、輝度信号に合成する前の色信号の段階で実行してもよく、またこの色信号の段階における処理では、原色による色信号、補色による色信号のいずれの段階で実行してもよい。これらの色信号について実行する場合には、色信号ごとにこの図６に示すブロックによる処理が実行される。

以下、この図６を用いて、フリッカの検出および低減の処理について説明する。
一般にフリッカ成分は、被写体の信号強度に比例する。そこで、一般の被写体についての任意のサンプリング期間ｎおよび任意の画素（ｘ，ｙ）における入力画像信号（フリッカ低減前のＲＧＢ原色信号または輝度信号）をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、次式（３）で表される。
Ｉｎ’（ｘ，ｙ）＝［１＋Γｎ（ｙ）］×Ｉｎ（ｘ，ｙ） ……（３）
ここで、Ｉｎ（ｘ，ｙ）は信号成分であり、Γｎ（ｙ）×Ｉｎ（ｘ，ｙ）はフリッカ成分であり、Γｎ（ｙ）はフリッカ係数である。蛍光灯の発光周期（１／１００秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。

Γｎ（ｙ）を一般化するために、次式（４）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。

式（４）中のλ０はフリッカ波形の波長であり、１フィールド当たりの読み出しライン数をＭとすると、Ｌ（＝Ｍ×ＦＰＳ／１００）ラインに相当する。ω０は、λ０で正規化された規格化角周波数である。

γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍ，ｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期（１／１００秒）と露光タイミングによって決まる。ただし、例えば蛍光灯の電源周波数が５０Ｈｚ、画面レートが６０ｆｐｓあるいは１２０ｆｐｓの場合のように、フリッカ波形が隣接する３つのサンプリング期間ごとに周期的に繰り返される状態となるとき、Φｍ，ｎは３つのサンプリング期間ごとに同じ値になるので、直前のサンプリング期間との間のΦｍ，ｎの差は、次式（５）で表される。

図６に示した検出・低減処理部２２では、まず、フリッカ検出用に絵柄の影響を少なくするために、積分処理部１１１が、入力画像信号Ｉｎ’（ｘ，ｙ）を式（６）に示すように画面水平方向に１ライン単位で積分し、積分値Ｆｎ（ｙ）を算出する。なお、式（６）中のα_ｎ（ｙ）は、式（７）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に亘る積分値である。

積分処理部１１１は、イネーブル信号ＤＥＴＥＣＴ＿ＥＮがＨレベルとなるサンプリング期間中でライン単位の積分値を出力する。ただし、ＦＰＳ＞２×ｆとなる高速撮像モードでは、サンプリング期間内に垂直ブランキング期間が含まれるため、積分処理部１１１は、垂直ブランキング期間における出力値を補間する。例えばその前後の積分結果から補間して出力する。

図７は、第１の実施の形態に係る積分処理部１１１の内部構成を示すブロック図である。
この図７に示すように、積分処理部１１１は、イネーブル信号ＨＥＮに基づいて上述したライン単位の積分を実行するライン積分演算部２０１と、垂直ブランキング期間における積分値を補間するブランク補間部２０２とを備える。ブランク補間部２０２は、イネーブル信号ＶＥＮ１に基づいて画像信号の無効期間を検出する。そして、無効期間においては、その期間の前後にライン積分演算部２０１から出力された値を用いて、期間の前後の積分結果が滑らかにつながるように線形補間を行う。

このような補間処理は、本来のフリッカ波形をひずませる要因になる。しかし、このひずみは、後段のＤＦＴ処理部１２０による低次の出力スペクトルにはほとんど影響を与えず、高次側のスペクトルにのみ影響を与える。本実施の形態のフリッカ検出処理では、後述するように、ＤＦＴ演算において低次の項のみ利用すればよいことから、線形補間のように簡易な補間方法でも十分なフリッカ検出精度を得ることができる。

以下、図６に戻って説明する。
積分処理部１１１から出力された積分値Ｆｎ（ｙ）は、以後のサンプリング期間でのフリッカ検出用に、積分値保持部１１２に一時的に記憶される。積分値保持部１１２は、少なくとも２つのサンプリング期間における積分値を保持できる構成とされる。

ところで、被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値α_ｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分α_ｎ（ｙ）×Γｎ（ｙ）を抽出することは容易である。しかし、一般的な被写体では、α_ｎ（ｙ）にもｍ×ω０成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（６）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。

そこで、この検出・低減処理部２２では、積分値Ｆｎ（ｙ）からα_ｎ（ｙ）の影響を取り除くために、連続する３つのサンプリング期間における積分値を用いる。すなわち、この例では、積分値Ｆｎ（ｙ）の算出時に、積分値保持部１１２から、１つ前のサンプリング期間での同じライン（ここではカウント値ＶＣＯＵＮＴが同じ値となるときのラインを指す）の積分値Ｆｎ＿１（ｙ）、および２つ前のサンプリング期間での同じラインの積分値Ｆｎ＿２（ｙ）が読み出され、平均値演算部１１３で、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。

ここで、連続する３つのサンプリング期間における被写体をほぼ同一と見なすことができれば、α_ｎ（ｙ）は同じ値と見なすことができる。被写体の動きが３つのサンプリング期間を通じて十分小さければ、この仮定は実用上問題ない。さらに、連続する３つのサンプリング期間における積分値の平均値を演算することは、式（５）の関係から、フリッカ成分の位相が（−２π／３）×ｍずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。従って、平均値ＡＶＥ［Ｆｎ（ｙ）］は、次式（８）で表される。

ただし、以上の説明は、上記の式（９）の近似が成り立つものとして、連続する３つのサンプリング期間における積分値の平均値を算出する場合についてであるが、被写体の動きが大きい場合には、式（９）の近似が成り立たなくなる。しかしこのような場合には、平均値化の処理に係る連続するサンプリング期間の数を３の倍数に設定することにより、時間軸方向のローパスフィルタ作用により動きの影響を低減することができる。

図６の検出・低減処理部２２は、式（９）の近似が成り立つものとした場合である。この例では、さらに、差分演算部１１４が、積分処理部１１１からの当該サンプリング期間での積分値Ｆｎ（ｙ）と、積分値保持部１１２からの１つ前のサンプリング期間での積分値Ｆｎ＿１（ｙ）との差分を計算し、次式（１０）で表される差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出する。なお、式（１０）も、式（９）の近似が成り立つことを前提としている。

さらに、図６の検出・低減処理部２２では、正規化処理部１１５が、差分演算部１１４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を、平均値演算部１１３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算することによって正規化する。

正規化後の差分値ｇｎ（ｙ）は、上記の式（８），式（１０）および三角関数の和積公式によって式（１１）のように展開され、さらに式（５）の関係から式（１２）で表される。なお、式（１２）中の｜Ａｍ｜およびθｍは、それぞれ式（１３）および（１４）で表される。

なお、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）は、被写体の信号強度の影響が残るため、領域によってはフリッカによる輝度変化および色変化のレベルが異なってしまう。しかし、上記のように正規化することによって、全領域に亘ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。

ここで、式（１３）および（１４）で表される｜Ａｍ｜およびθｍは、それぞれ、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、次式（１５）および（１６）によって、上記の式（４）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍ，ｎを求めることができる。

そこで、図６の検出・低減処理部２２では、ＤＦＴ処理部１２０が、正規化処理部１１５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを離散フーリエ変換する。

ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は次式（１７）で表される。ただし、式（１７）中のＷは式（１８）で表される。このように、ＤＦＴ演算のデータ長をフリッカの１波長分（Ｌライン分）に設定することで、規格化角周波数ω０の整数倍の離散スペクトル群を直接求めることができ、その分、演算処理を簡略化することができる。なお、ＤＦＴ演算のデータ長は、イネーブル信号ＤＥＴＥＣＴ＿ＥＮに基づくサンプリング期間により与えられる。

また、ＤＦＴの定義によって、式（１３）および（１４）と式（１７）との関係は、それぞれ次式（１９）および（２０）で表される。

従って、式（１５）（１６）（１９）（２０）から、次式（２１）および（２２）によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍ，ｎを求めることができる。

ＤＦＴ処理部１２０は、まず、式（１７）で定義されるＤＦＴ演算によってスペクトルを抽出し、その後、式（２１）および（２２）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍ，ｎを推定する。

なお、デジタル信号処理におけるフーリエ変換としては、一般に、高速フーリエ変換（ＦＦＴ）が用いられる。しかし、ＦＦＴではデータ長が２のべき乗であることが必要であることから、本実施の形態では、ＤＦＴにより周波数解析を行い、その分、データ処理を簡略化する。実際の蛍光灯照明下では、次数ｍを数次までに限定してもフリッカ成分を十分に近似できるので、ＤＦＴ演算においてデータをすべて出力する必要はない。従って、ＦＦＴと比較して演算効率の点でデメリットはない。

フリッカ生成部１３０は、ＤＦＴ処理部１２０による振幅γｍおよび初期位相Φｍ，ｎの推定値を用いて、上記の式（４）の演算処理を実行し、フリッカ成分を正しく反映しているフリッカ係数Γｎ（ｙ）を算出する。なお、この式（４）の演算処理においても、実際の蛍光灯照明下では、総和次数を無限大でなく、あらかじめ定められた次数、例えば２次までに限定し、高次の処理を省略しても、実用上フリッカ成分を十分近似できる。

ここで、上記の式（３）は、次式（２３）のように変形することができる。この式（２３）に基づき、演算部１５０は、フリッカ生成部１３０からのフリッカ係数Γｎ（ｙ）に“１”を加算した後、この加算値により画像信号を除算することで、フリッカ成分を抑圧する。
Ｉｎ（ｘ，ｙ）＝Ｉｎ’（ｘ，ｙ）／［１＋Γｎ（ｙ）］ ……（２３）
ただし、上記の処理では、画像信号の積分や周波数解析などの検波系ブロックを、イネーブル信号ＤＥＴＥＣＴ＿ＥＮに基づくフリッカ波形の１周期を単位として動作させたことから、フリッカの推定結果に基づく補正系ブロック（演算部１５０）についても、フィールド単位でなくフリッカ波形の１周期を単位として動作させる方が、一連の動作の同期をとりやすくなる。

例えば、フリッカ生成部１３０からのフリッカ係数Γｎ（ｙ）を１フィールド分だけバッファに保持するようにした場合、フリッカ波形の１周期が１垂直同期期間内に収まるならば、１フィールド内のライン数に応じて、フリッカ係数Γｎ（ｙ）をバッファから順次演算部１５０に読み出すことで、検波系ブロックと補正系ブロックとの同期をとることができる。しかし、１垂直同期期間よりフリッカ波形の１周期の方が長い高速撮像モードで同じ手法をとると、フィールドごとにフリッカ波形の位相がずれて、正しく補正できなくなる。

そこで、本実施の形態では、演算部１５０の入力段に設けたバッファリング部１４０にフリッカ係数Γｎ（ｙ）を一旦蓄積するようにし、フリッカ波形の１周期を考慮した同期制御が可能となるように、バッファリングするデータの単位や書き込み・読み出しの同期制御などを適切化する。以下、図８および図９を用いて、バッファリング部１４０を用いた演算部１５０へのデータ出力制御の例について説明する。

図８は、バッファリング部の第１の構成例を示す図である。
図８に示すバッファリング部１４０ａは、フリッカ生成部１３０からのフリッカ係数Γｎ（ｙ）を、フリッカ波形の１周期単位で一時的に保持する。そして、フリッカ低減部２０の内部基準信号生成部２１からカウント値ＶＣＯＵＮＴの供給を受け、このカウント値ＶＣＯＵＮＴに応じたラインに対応するフリッカ係数Γｎ（ｙ）を、１周期単位のバッファ領域から演算部１５０に供給する。すなわち、画面単位のライン数ではなく、イネーブル信号ＶＥＮ２に基づくフリッカ波形の１周期を単位としたライン数で、フリッカ係数Γｎ（ｙ）の出力処理を制御することで、演算部１５０が適切な補正ゲインを画像信号に適用できるようになる。

また、以下の図９のような構成により、画面単位でフリッカ係数Γｎ（ｙ）の出力を制御してもよい。図９は、バッファリング部の第２の構成例を示す図である。
図９に示すバッファリング部１４０ｂは、フリッカ生成部１３０からのフリッカ係数Γｎ（ｙ）を、画面単位（この例ではフィールド単位）で一時的に保持する。例えば、１フィールドに対応するフリッカ係数Γｎ（ｙ）を収容可能なバッファ領域を複数用意しておく。

また、内部基準信号生成部２１からは、画面数を示すカウント値ＦｉｅｌｄＣｏｕｎｔ、および画面単位（ここではフィールド単位）のライン数を示すカウント値ＶＣＯＵＮＴ＿ＦＩＥＬＤとを、バッファリング部１４０ｂに供給させる。内部基準信号生成部２１において、カウント値ＦｉｅｌｄＣｏｕｎｔは、画面レートに応じたイネーブル信号ＶＥＮ１の立ち上がり時にカウントアップされ、通常撮像モードに対応するイネーブル信号ＶＥＮ２の立ち上がり時にリセットされる。また、カウント値ＶＣＯＵＮＴ＿ＦＩＥＬＤは、イネーブル信号ＶＥＮ１の立ち上がり時を起点として、この信号がＨレベルの期間に水平同期信号ＨＤをカウントする。

フリッカ生成部１３０からは、対応するフィールドごとに位相が調整されたフリッカ係数Γｎ（ｙ）が、バッファリング部１４０ｂの上記バッファ領域に順次供給される。例えば、１周期分のフリッカ係数Γｎ（ｙ）が複数フィールドに跨る場合に、跨った次のフィールドに対応するバッファ領域の先頭では、フリッカ係数Γｎ（ｙ）が垂直ブランキング期間の終了後の値となるようにフリッカ係数Γｎ（ｙ）の位相が調整される。

バッファリング部１４０ｂは、カウント値ＦｉｅｌｄＣｏｕｎｔに応じてフィールド単位のバッファ領域を順次選択し、カウント値ＶＣＯＵＮＴ＿ＦＩＥＬＤに応じたラインに対応するフリッカ係数Γｎ（ｙ）を、選択されたバッファ領域から演算部１５０に読み出す。これにより、フィールド単位での読み出しが行われながらも、演算部１５０において適切な補正ゲインが画像信号に適用されるようになる。

以上のフリッカ検出方法によれば、積分値Ｆｎ（ｙ）ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微少な黒の背景部分や低照度の部分などの領域でも、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出し、これを平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、フリッカ成分を高精度で検出することができる。

また、フリッカ係数Γｎ（ｙ）の算出にあたっては、次数を数次までに限定できるので、比較的簡易な処理でフリッカ検出を高精度化できる。なお、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値ｇｎ（ｙ）を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値ｇｎ（ｙ）に不連続な部分を生じても、その部分のフリッカ成分を精度よく推定できることになる。

そして、動作の基準信号としてイネーブル信号ＶＥＮ２を利用して、画像信号の積分単位やＤＦＴでの処理単位をフリッカ波形の１周期単位とすることにより、通常撮像モードだけでなく、フリッカ波形の１周期が垂直同期期間より長くなる高速撮像モードに対しても、上記の高精度なフリッカ検出アルゴリズムを適用できるようになる。例えば、このフリッカ検出アルゴリズムを実現する処理回路に対して、イネーブル信号ＤＥＴＥＣＴ＿ＥＮやカウント値ＶＣＯＵＮＴを生成する回路など、簡単な処理機能を追加することで、高速撮像モードに適用可能になる。従って、画面レートに関係なく、高精度なフリッカ検出を低コストで実現できる。

なお、上記の実施の形態では、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することで、有限の計算精度を効果的に確保することができた。しかし、例えば、要求される計算精度を満足できる場合には、積分値Ｆｎ（ｙ）を直接、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化してもよい。

また、平均値ＡＶＥ［Ｆｎ（ｙ）］の代わりに、積分値Ｆｎ（ｙ）で正規化してもよい。この場合、フリッカ波形の周期と画面レートとの関係で、フリッカ波形が複数画面ごとの繰り返し性を持たなくなる場合でも、フリッカを高精度に検出してその成分を低減させることができる。

さらに、上記の実施の形態では、入力画像信号Ｉｎ’（ｘ，ｙ）を１ライン分に亘って積分した場合を示したが、この積分は絵柄の影響を少なくしてフリッカ成分のサンプリング値を得るためであるので、１ライン以上の時間に亘って積分を行ってもよい。また、その際には、積分を行う期間内においてサンプリング対象とする画素を間引いてもよい。実際上は、画面内フリッカの１周期、すなわちＬラインで、数個以上ないし１０個以上のサンプリング値を得ることが望ましい。

＜他の実施の形態＞
次に、図１０〜図１３を用いて、本発明の第２および第３の実施の形態に係る撮像装置について説明する。これらの撮像装置の基本的な構成は、上記の第１の実施の形態の場合と同様である。ただし、検出・低減処理部２２の備える積分処理部１１１の構成のみが異なり、これにより、垂直ブランキング期間における積分値の出力方法が異なるものとなっている。

図１０は、第２の実施の形態に係る積分処理部１１１の内部構成を示すブロック図である。
第２の実施の形態に係る積分処理部１１１は、図７の同じ構成のライン積分演算部２０１と、ホールド処理部２０３とを備えている。ホールド処理部２０３は、イネーブル信号ＶＥＮ１がＬレベルとなる垂直ブランキング期間において、その直前にライン積分演算部２０１から出力された値をホールドして、次の有効期間が開始されるまで同じ値を出力し続ける。このような構成とすることで、図７の構成と比較して回路構成を単純化し、回路規模や製造コストを低減することができる。

図１１は、第２の実施の形態において推定されるフリッカ波形の例を示す図である。なお、ここでは例として、高速撮像モードでの画面レートを通常時の４倍とした場合を示している（後の図１３も同様）。

この図１１に示すフリッカ波形のように、本実施の形態の積分処理部１１１では、第１の実施の形態と比較してフリッカ波形の歪みの度合いが大きくなる。しかし、画面レートが高くなるほど、垂直ブランキング期間がフリッカ波形の周期と比較して十分短くなり、そのためにＤＦＴ処理部１２０からの低次の出力スペクトルにはほとんど影響が与えられず、高次側にのみ影響が出ること、および、上述したフリッカ検出アルゴリズムではＤＦＴ演算において低次の項のみ利用すればよいことから、本実施の形態の構成としても、実用上十分なフリッカ検出・補正精度を得ることができる。

図１２は、第３の実施の形態に係る積分処理部１１１の内部構成を示すブロック図である。
第３の実施の形態に係る積分処理部１１１は、図７の同じ構成のライン積分演算部２０１と、ＡＮＤ（論理積）ゲート２０４とを備えている。ＡＮＤゲート２０４の一方の入力端子にはライン積分演算部２０１からの積分値が入力され、他方の入力端子にはイネーブル信号ＶＥＮ１が入力される。これにより、イネーブル信号ＶＥＮ１がＬレベルとなる垂直ブランキング期間において、出力される積分値が“０”に固定される。このような構成とすることで、図１０に示した第２の実施の形態の場合より、さらに回路構成が単純化され、回路規模や製造コストを低減することができる。

図１３は、第３の実施の形態において推定されるフリッカ波形の例を示す図である。
この図１３に示すフリッカ波形のように、本実施の形態の積分処理部１１１では、第２の実施の形態と比較しても、さらにフリッカ波形の歪みの度合いが大きくなる。しかし、第２の実施の形態の場合と同様の理由により、実用上十分なフリッカ検出・補正精度を得ることができる。

なお、上記の実施の形態では、撮像素子としてＣＭＯＳイメージセンサを用いた場合について説明したが、ＣＭＯＳイメージセンサ以外のＭＯＳ型イメージセンサなど、他のＸＹアドレス走査型の撮像素子を用いた場合にも本発明を適用可能である。また、本発明は、ＸＹアドレス走査型の撮像素子を用いた様々な撮像装置、およびこのような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することもできる。

さらに、例えばＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理や、撮像された画像を補整するための処理などを行う画像処理装置に対しても、本発明を適用することができる。

また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（上記のフリッカ低減部２０などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。 カメラ処理回路の内部構成を示すブロック図である。 通常撮像モードでのサンプリング動作を説明するためのタイミングチャートである。 高速撮像モードでのサンプリング動作を説明するための第１のタイミングチャートである。 高速撮像モードでのサンプリング動作を説明するための第２のタイミングチャートである。 検出・低減処理部の内部構成を示すブロック図である。 第１の実施の形態に係る積分処理部の内部構成を示すブロック図である。 バッファリング部の第１の構成例を示す図である。 バッファリング部の第２の構成例を示す図である。 第２の実施の形態に係る積分処理部の内部構成を示すブロック図である。 第２の実施の形態において推定されるフリッカ波形の例を示す図である。 第３の実施の形態に係る積分処理部の内部構成を示すブロック図である。 第３の実施の形態において推定されるフリッカ波形の例を示す図である。 ＸＹアドレス走査型の撮像素子を持つカメラにより蛍光灯照明下で撮影した場合のフリッカレベルとシャッタスピードとの関係を示すグラフである。 通常撮像時および高速撮像時における垂直同期周波数とフリッカ波形との関係を示す図である。

符号の説明

１１……光学ブロック、１１ａ……ドライバ、１２……ＣＭＯＳ型イメージセンサ（ＣＭＯＳセンサ）、１２ａ……タイミングジェネレータ（ＴＧ）、１３……アナログフロントエンド（ＡＦＥ）回路、１４……カメラ処理回路、１５……システムコントローラ、１６……入力部、１７……グラフィックＩ／Ｆ、１７ａ……ディスプレイ、２０……フリッカ低減部、２１……内部基準信号生成部、２１ａ……カウンタ、２２……検出・低減処理部、３０……基準信号生成部、３１〜３３……処理ブロック

Claims (13)

1. 画像信号を処理する画像処理装置において、
   蛍光灯照明下で画像上に生じるフリッカの１周期分以上の長さを持つ検波期間ごとに前記画像信号を取り込み、取り込んだ前記画像信号を１水平同期期間以上の単位で積分する積分手段と、
   前記積分手段による積分結果を用いた前記検波期間単位の周波数解析結果を基にフリッカ成分を推定するフリッカ検出手段と、
   を有することを特徴とする画像処理装置。
2. 現在の前記画像信号の画面レートに関係なく、画面の切り替え周期がフリッカの１周期より長い画面レートでの垂直方向の画像信号有効期間を示すイネーブル信号を基に、前記検波期間のタイミングを与える基準信号を生成して、前記積分手段および前記フリッカ検出手段に対して供給する基準信号出力手段をさらに有することを特徴とする請求項１記載の画像処理装置。
3. 前記積分手段は、前記検波期間が複数フレームまたは複数フィールドに跨る場合、前記検波期間内の垂直ブランキング期間において、その前後の積分結果から補間した値を積分結果として出力することを特徴とする請求項１記載の画像処理装置。
4. 前記積分手段は、前記検波期間が複数フレームまたは複数フィールドに跨る場合、前記検波期間内の垂直ブランキング期間において、その直前の積分結果と同じ値を出力し続けることを特徴とする請求項１記載の画像処理装置。
5. 前記積分手段は、前記検波期間が複数フレームまたは複数フィールドに跨る場合、前記検波期間内の垂直ブランキング期間において、一定の値を積分結果として出力し続けることを特徴とする請求項１記載の画像処理装置。
6. 前記フリッカ検出手段により推定されたフリッカ成分を打ち消すように前記画像信号を補正する補正手段をさらに有することを特徴とする請求項１記載の画像処理装置。
7. 前記フリッカ検出手段によるフリッカ成分の推定結果を前記検波期間ごとに一時的に記憶し、前記検波期間ごとの記憶データを前記補正手段に順次供給するバッファ手段をさらに有することを特徴とする請求項６記載の画像処理装置。
8. 前記検波期間が複数フレームまたは複数フィールドに跨る場合に、前記フリッカ検出手段によるフリッカ成分の推定結果を、位相が適正化された状態でフレーム単位またはフィールド単位で一時的に保持し、前記補正手段への入力画像信号に対応するフレーム単位またはフィールド単位の記憶領域を選択して、当該記憶領域のデータを前記補正手段に順次供給するバッファ手段をさらに有することを特徴とする請求項６記載の画像処理装置。
9. 前記フリッカ検出手段は、前記積分手段からの積分値、または、隣接する前記検波期間における前記積分値の差分値を、正規化して出力し、正規化後の前記積分値または前記差分値のスペクトルを抽出して、前記スペクトルからフリッカ成分を推定することを特徴とする請求項１記載の画像処理装置。
10. 前記フリッカ検出手段は、前記差分値を、連続する複数の前記検波期間における前記積分値の平均値で除算することで正規化することを特徴とする請求項９記載の画像処理装置。
11. 前記フリッカ検出手段は、前記差分値を前記積分値で除算することで正規化することを特徴とする請求項９記載の画像処理装置。
12. ＸＹアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
    撮像により得られた画像信号を、蛍光灯照明下で画像上に生じるフリッカの１周期分以上の長さを持つ検波期間ごとに取り込み、取り込んだ前記画像信号を１水平同期期間以上の単位で積分する積分手段と、
    前記積分手段による積分結果を用いた前記検波期間単位の周波数解析結果を基にフリッカ成分を推定するフリッカ検出手段と、
    を有することを特徴とする撮像装置。
13. 蛍光灯照明下で画像上に生じるフリッカを検出するための画像処理方法において、
    積分手段が、フリッカの１周期分以上の長さを持つ検波期間ごとに画像信号を取り込み、取り込んだ前記画像信号を１水平同期期間以上の単位で積分するステップと、
    フリッカ検出手段が、前記積分手段による積分結果を用いた前記検波期間単位の周波数解析結果を基にフリッカ成分を推定するステップと、
    を含むことを特徴とする画像処理方法。

Images