JP2007028573A - 画像処理装置および撮像装置 - Google Patents

Abstract

【課題】ＸＹアドレス走査型の固体撮像素子で撮像された画像のフリッカ成分を高精度に検出できる、汎用性の高い画像処理装置を提供する。
【解決手段】画像信号を１水平同期期間単位で積分するライン積分器２１０と、フリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応する積分値を、ライン積分器２１０による積分値を基に補間して生成する間引き処理部２２０と、隣接するフィールドまたはフレームにおける間引き処理部２２０からの対応する積分値の差分値を正規化する正規化処理部１１５と、正規化後の積分値または差分値のスペクトルを抽出するＤＦＴ処理部１２０と、抽出されたスペクトルからフリッカ成分を推定するフリッカ生成部１３０とを有する。
【選択図】図３

Description

本発明は、画像信号を処理する画像処理装置、およびこの機能を備えた撮像装置に関し、特に、ＸＹアドレス走査型の固体撮像素子により撮像された画像信号に対する処理に適した画像処理装置および撮像装置に関する。

商用交流電源により点灯される蛍光灯などの点滅する光源の照明下で、ビデオカメラにより被写体を撮影すると、光源の輝度変化（光量変化）の周波数とカメラの垂直同期周波数との違いによって、撮像画像上に時間的な明暗の変化、いわゆる蛍光灯フリッカが生じる。特に、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどのＸＹアドレス走査型の撮像素子を用いた場合には、水平ラインごとの露光タイミングが異なるため、撮像画像上のフリッカは、垂直方向の周期的な輝度レベルあるいは色相の変動による縞模様として観察される。

このようなフリッカの成分を撮像画像信号から除去するための手法としては、主に、シャッタスピードとフリッカレベルとの関連性に基づいて補正する方式（シャッタ補正方式と呼ぶ）と、フリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用する方式（ゲイン補正方式と呼ぶ）とが知られている。これらのうち、ゲイン補正方式によるフリッカ低減方法としては、画像信号の信号レベルの変化を周波数解析してフリッカ周波数のスペクトルを検出し、このスペクトルの振幅値に基づいて画像信号の信号レベルを補正する方法があった（例えば、特許文献１参照）。

図２１は、従来のフリッカ検出手順を概略的に説明するための図である。
上記特許文献１に開示されたフリッカ検出手順は、図２１に示すように、入力画像信号を適切な形に加工しながらフリッカ波形１周期分をサンプリングし（ステップＳ１１）、このサンプリングデータに離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を施すことによって、フリッカ波形１周期を基本波とするフリッカ成分の周波数スペクトルを計算し（ステップＳ１２）、そのスペクトルの低次項のみを利用してフリッカ波形を推定する（ステップＳ１３）という３つのステップにより主に構成される。

ここで、フリッカ波形をサンプリングするステップＳ１１では、具体的には、画像信号を例えば水平方向のラインごとに順次積分することで、絵柄の影響を少なくしている。また、ステップＳ１２でＤＦＴを行うにあたり、複数フィールドに亘る積分値の平均値を求め、その平均値で積分値を正規化することで、画面領域内のフリッカによる輝度変化および色変化を同一に合わせている。このような処理により、被写体や画像信号レベルに関係なく、フリッカ波形を正確に検出できるようになっている。

ところで、近年では、ビデオカメラなどに搭載される撮像素子の画素数が急速に増加しており、水平方向のライン数は数百から数千に達している。このため、上記の１周期分のフリッカ波形のサンプリング時に各ラインの積分値をすべて利用すると、それらの積分値を一時的に保持するためのメモリやＤＦＴ演算回路などの回路規模が大きくなってしまう。

これに対して、蛍光灯によるフリッカ波形の周期は、例えばＮＴＳＣ方式（National Television Standards Committee）の場合には１垂直同期期間未満となり、フリッカは１画面上に数本の縞として現れる。このため、サンプリング定理から考えると、１周期分のフリッカ波形に対応するＬラインによるサンプリング点数は冗長であり、例えば１周期分のフリッカ波形を数十点程度（例えば６４点）サンプリングできれば十分な検出精度が得られる。従って、実際のフリッカ検出では、１周期分のフリッカ波形のサンプリングを垂直方向に間引きして行うようにして、回路規模の削減を図っている。

図２２は、サンプリングしたデータを間引く場合のフリッカ検出手順を概略的に説明するための図である。
この図２２では、まず図２１のステップＳ１１と同様に、入力画像信号からフリッカ波形の１周期分、すなわちＬライン分をサンプリングする（ステップＳ２１）。次に、Ｌ点分のサンプリングデータを、Ｌ≫Ｌ１を満たすＬ１点に間引いて出力する（ステップＳ２２）。間引き処理としては、例えば単純に所定間隔に１つずつ出力する、あるいは一定数のデータを基にＬＰＦ（Low Pass Filter）などの演算により１つのデータを出力するといった方法を採ることができる。その後は図２１の場合と同様で、Ｌ１点のサンプリングデータをＤＦＴ処理し（ステップＳ２３）、周波数解析の結果からフリッカ波形を推定する（ステップＳ２４）。このような処理により、ＤＦＴの実行のためにサンプリングデータを保持するメモリの容量などを削減できる。
特開２００４−２２２２２８号公報（段落番号〔００７２〕〜〔０１１１〕、図４）

ところで、上記のフリッカ検出手法では、サンプリング定理に基づき、フリッカ波形のサンプリング単位をちょうど１周期分とすることで、フリッカ波形の正確な検出を可能としていた。しかし、一定の割合でラインを間引いてサンプリングした場合に、Ｌ／Ｌ１の値が整数にならないときには、フリッカ波形の１周期分と同一の期間を正確にサンプリングすることができなくなる。このため、このような場合のサンプリング値から得られる周波数スペクトル列は、本来のフリッカ波形を１周期の正弦波でフーリエ級数展開したものとは異なるものとなり、検波誤差が生じてしまう。

このような検波誤差を防止するためには、使用する撮像素子のライン数に応じて最適な間引き単位となるように回路を設計する必要がある。しかし近年では、開発コストの削減などを目的として、多種の製品に対して共通に利用できる、あるいは将来の仕様変更にも簡単に対応できる回路が要求されており、フリッカ検出の回路に対しても同様な要求がある。すなわち、撮像素子の画素数が異なる製品に対しても、回路構成を大きく変更することなく、上記のような検波誤差が生じないようにできるフリッカ検出回路が求められていた。

本発明はこのような点に鑑みてなされたものであり、ＸＹアドレス走査型の固体撮像素子で撮像された画像のフリッカ成分を高精度に除去できる、汎用性の高い画像処理装置を提供することを目的とする。

また、本発明の他の目的は、ＸＹアドレス走査型の固体撮像素子で撮像した画像のフリッカ成分を高精度に除去できる撮像装置を提供することである。

本発明では上記課題を解決するために、画像信号を処理する画像処理装置において、前記画像信号を１水平同期期間以上の単位で積分する積分手段と、蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応する積分値を、前記積分手段による積分値を基に補間して生成する補間処理手段と、前記補間処理手段からの積分値、または隣接するフィールドもしくはフレームにおける前記補間処理手段からの対応する積分値の差分値を、正規化する正規化手段と、前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、積分手段により、画像信号が１水平同期期間以上の単位で積分され、補間処理手段により、あらかじめ規定された一定数のサンプリング位置に対応する積分値が、積分手段による積分値を基に補間して生成される。このサンプリング位置は、フリッカの１周期分または複数周期分の期間に対するサンプリング位置とされる。このため、補間処理手段からの積分値、または隣接するフィールドもしくはフレームにおける補間処理手段からの対応する積分値の差分値を正規化手段が正規化し、この正規化手段による正規化後の積分値または差分値のスペクトルを周波数解析手段が抽出し、抽出されたスペクトルからフリッカ推定手段がフリッカ成分を推定することにより、フリッカ成分が正確に検出される。

また、本発明では、画像信号を処理する画像処理装置において、前記画像信号を１水平同期期間以上の単位で積分する積分手段と、前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応するデータを、前記正規化手段による正規化後の積分値または差分値を基に補間して生成する補間処理手段と、前記補間処理手段からの出力データのスペクトルを抽出する周波数解析手段と、前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、積分手段により、画像信号が１水平同期期間以上の単位で積分され、正規化手段により、積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値が正規化される。そして、正規化後の積分値または差分値を基に、フリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応するデータが、補間処理手段による補間処理によって生成される。その後、補間処理手段からの出力データのスペクトルが周波数解析手段により抽出され、抽出されたスペクトルから、フリッカ推定手段によりフリッカ成分が推定される。

さらに、本発明では、画像信号を処理する画像処理装置において、前記画像信号を１水平同期期間以上の単位で積分する積分手段と、前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段と、前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成する補間処理手段と、前記補間処理手段により補間されたフリッカ成分の推定値を基に前記画像信号からフリッカ成分を除去する画像補正手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、積分手段により、画像信号が１水平同期期間以上の単位で積分され、正規化手段により、積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値が正規化される。そして、正規化後の積分値または差分値のスペクトルが周波数解析手段により抽出され、抽出されたスペクトルから、フリッカ推定手段によりフリッカ成分が推定される。ここで、補間処理手段は、画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成する。そして、画像補正手段は、補間処理手段により生成されたデータを基に画像信号からフリッカ成分を除去する。

また、本発明では、画像信号を処理する画像処理装置において、前記画像信号を１水平同期期間以上の単位で積分する積分手段と、前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段と、前記フリッカ推定手段によるフリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出する補正パラメータ算出手段と、前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記補正パラメータ算出手段により算出された前記補正パラメータの離散値を基に補間して生成する補間処理手段と、前記補間処理手段により補間された前記補正パラメータを用いて前記画像信号からフリッカ成分を除去する画像補正手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、積分手段により、画像信号が１水平同期期間以上の単位で積分され、正規化手段により、積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値が正規化される。そして、正規化後の積分値または差分値のスペクトルが周波数解析手段により抽出され、抽出されたスペクトルから、フリッカ推定手段によりフリッカ成分が推定されて、その推定値が画像補正処理に利用される。ここで、補正パラメータ算出手段は、フリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出する。補間処理手段は、画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、補正パラメータの離散値を基に補間して生成する。そして、画像補正手段は、補間された補正パラメータを用いて画像信号からフリッカ成分を除去する。

本発明の画像処理装置によれば、フリッカの１周期分または複数周期分に対する一定数のサンプリング位置に対応する積分値を、積分手段による積分値を基に補間して生成するので、画像信号の水平ライン数や画面レートなどに関係なく、フリッカの１周期分または複数周期分の期間にサンプリングされた一定数の積分値を確実に出力して、フリッカ成分の検出性能を安定的に向上させることができる。従って、フリッカ除去性能が向上した汎用性の高い画像処理装置を実現できる。

また、本発明の画像処理装置によれば、フリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応するデータを、正規化手段による正規化後の積分値または差分値を基に補間して生成するので、画像信号の水平ライン数や画面レートなどに関係なく、フリッカの１周期分または複数周期分の期間における一定数のサンプリングデータを周波数解析手段に確実に供給して、フリッカ成分の検出性能を安定的に向上させることができる。従って、フリッカ除去性能が向上した汎用性の高い画像処理装置を実現できる。

さらに、本発明の画像処理装置によれば、周波数解析処理によって抽出されたフリッカ成分の離散値を基に、画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータが補間されて生成され、生成されたデータを基に画像信号が補正される。これにより、画像信号の水平ライン数や画面レートなどに関係なく、補正処理の基にするフリッカ波形の推定値の位相と、画像補正手段に入力される補正対象の画像信号の位相とが一致するようになり、補正時の誤差を低減できる。従って、フリッカ除去性能が向上した汎用性の高い画像処理装置を実現できる。

また、本発明の画像処理装置によれば、周波数解析処理によって抽出されたフリッカ成分から生成した補正パラメータの離散値を基に、画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータが補間されて生成され、補間された補正パラメータが画像補正手段に適用される。これにより、画像信号の水平ライン数や画面レートなどに関係なく、フリッカ成分の推定値に基づく補正パラメータの位相と、画像補正手段に入力される補正対象の画像信号の位相とが一致するようになり、補正時の誤差を低減できる。従って、フリッカ除去性能が向上した汎用性の高い画像処理装置を実現できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第１の実施の形態〕
＜システム全体の構成＞
図１は、本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。

図１に示す撮像装置は、光学ブロック１１、ドライバ１１ａ、ＣＭＯＳ型イメージセンサ（以下、ＣＭＯＳセンサと略称する）１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ処理回路１４、システムコントローラ１５、入力部１６、グラフィックＩ／Ｆ（インタフェース）１７、およびディスプレイ１７ａを具備する。

光学ブロック１１は、被写体からの光をＣＭＯＳセンサ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、システムコントローラ１５からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。

ＣＭＯＳセンサ１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などからなる複数の画素が２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路、画像信号の出力回路などが形成されたものである。このＣＭＯＳセンサ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、システムコントローラ１５の制御の下でタイミング信号を出力する。

ＡＦＥ回路１３は、例えば１つのＩＣ（Integrated Circuit）として構成され、ＣＭＯＳセンサ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、ＣＭＯＳセンサ１２と同一基板上に形成されてもよい。

カメラ処理回路１４は、例えば１つのＩＣとして構成され、ＡＦＥ回路１３からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では特に、蛍光灯下の撮像時に画面に生じるフリッカの信号成分を画像信号から低減するフリッカ低減部２０を備えている。

システムコントローラ１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

入力部１６は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどにより構成され、ユーザによる入力操作に応じた制御信号をシステムコントローラ１５に出力する。

グラフィックＩ／Ｆ１７は、カメラ処理回路１４からシステムコントローラ１５を介して供給された画像信号から、ディスプレイ１７ａに表示させるための画像信号を生成して、この信号をディスプレイ１７ａに供給し、画像を表示させる。ディスプレイ１７ａは、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。

この撮像装置では、ＣＭＯＳセンサ１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ処理回路１４は、ＡＦＥ回路１３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換して出力する。

カメラ処理回路１４から出力された画像データは、システムコントローラ１５を介してグラフィックＩ／Ｆ１７に供給されて表示用の画像信号に変換され、これによりディスプレイ１７ａにカメラスルー画像が表示される。また、入力部１６からのユーザの入力操作などによりシステムコントローラ１５に対して画像の記録が指示されると、カメラ処理回路１４からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ処理回路１４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、カメラ処理回路１４で処理された画像データがエンコーダに連続的に供給される。

＜フリッカ低減処理の基本手順＞
図２は、フリッカについて説明するための図である。
フリッカは、蛍光灯などの点滅する光源下で撮影した場合に発生し、ＣＭＯＳセンサなどのＸＹアドレス走査型の撮像素子により撮像した場合には、図２（Ａ）のように、垂直方向の周期的な輝度レベルや色相の変動として観察される。なお、この図２（Ａ）は、被写体が一様である場合にフリッカが明暗の縞模様として現れた状態を示している。また、図２（Ｂ）では、このような明暗の繰り返しを波形（フリッカ波形）として表している。

例えば周波数５０Ｈｚの商用交流電源による蛍光灯では点滅周波数が１００Ｈｚであることから、フィールド周波数６０ＨｚによるＮＴＳＣ方式のビデオ信号では、垂直ブランキング期間を含めた１フィールド当たりの読み出しライン数をＭとすると、１周期分のフリッカ波形に対応するライン数Ｌは（Ｍ×６０／１００）ラインとなる。また、１フィールドでこのような周期的な変動は、１００／６０＝１．６６周期発生する。すなわち、このような周期的な変動は３フィールドごとに繰り返される。以下の説明では、このような条件下でフリッカが発生した場合を想定する。

図３は、第１の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。
フリッカ低減部２０は、画像信号を検波し、その検波値を正規化して出力する正規化積分値算出部１１０と、正規化された検波値にＤＦＴ処理を施すＤＦＴ処理部１２０と、ＤＦＴによるスペクトル解析の結果からフリッカ成分を推定するフリッカ生成部１３０と、推定されたフリッカ成分を画像信号から除去するための演算を実行する演算部１４０とを具備する。また、正規化積分値算出部１１０は、積分処理部１１１、積分値保持部１１２、平均値演算部１１３、差分演算部１１４、および正規化処理部１１５を具備する。

積分処理部１１１は、入力された画像信号を積分することで、１周期分のフリッカ波形をサンプリングするブロックである。この積分処理部１１１は、ライン積分器２１０および間引き処理部２２０を具備する。ライン積分器２１０は、入力された画像信号をラインごとに積分する。間引き処理部２２０は、後述するように、フリッカ波形の１周期分に対応するＬライン分の積分結果を、あらかじめ決められたサンプリング点数Ｌ１（Ｌ≫Ｌ１）に間引いて出力する。

積分値保持部１１２は、２フィールド分の積分値を一時的に保持する。平均値演算部１１３は、連続する３フィールドにおける積分値を平均化する。差分演算部１１４は、連続する２フィールドにおける積分値の差分を算出する。正規化処理部１１５は、算出された差分値を正規化する。

ＤＦＴ処理部１２０は、正規化された差分値にＤＦＴを施して周波数解析し、フリッカ成分の振幅および初期位相を推定する。フリッカ生成部１３０は、周波数解析による推定値から、画像信号に含まれるフリッカ成分の割合を示す補正係数を算出する。演算部１４０は、算出された補正係数に基づいて、画像信号からフリッカ成分を除去するための演算を行う。

なお、上記各ブロックによる処理の少なくとも一部は、システムコントローラ１５でのソフトウェア処理により実行されてもよい。また、本実施の形態に係る撮像装置では、画像信号を構成する輝度信号、色差信号ごとに、この図３に示すブロックによる処理が実行される。あるいは、少なくとも輝度信号について実行し、必要に応じて色差信号、各色信号について実行するようにしてもよい。また、輝度信号については、輝度信号に合成する前の色信号の段階で実行してもよく、またこの色信号の段階における処理では、原色による色信号、補色による色信号のいずれの段階で実行してもよい。これらの色信号について実行する場合には、色信号ごとにこの図３に示すブロックによる処理が実行される。

以下、この図３を用いて、フリッカの検出および低減の処理について説明する。
一般にフリッカ成分は、被写体の信号強度に比例する。そこで、一般の被写体についての任意のサンプリング期間ｎおよび任意の画素（ｘ，ｙ）における入力画像信号（フリッカ低減前のＲＧＢ原色信号または輝度信号）をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、次式（１）で表される。
Ｉｎ’（ｘ，ｙ）＝［１＋Γｎ（ｙ）］×Ｉｎ（ｘ，ｙ） ……（１）
ここで、Ｉｎ（ｘ，ｙ）は信号成分であり、Γｎ（ｙ）×Ｉｎ（ｘ，ｙ）はフリッカ成分であり、Γｎ（ｙ）はフリッカ係数である。蛍光灯の発光周期（１／１００秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。

Γｎ（ｙ）を一般化するために、次式（２）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。

式（２）中のλ０はフリッカ波形の波長であり、１フィールド当たりの読み出しライン数をＭとすると、Ｌ（＝Ｍ×ＦＰＳ／１００）ラインに相当する。ω０は、λ０で正規化された規格化角周波数である。

γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍ，ｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期（１／１００秒）と露光タイミングによって決まる。ただし、Φｍ，ｎは３フィールドごとに同じ値になるので、直前のフィールドとの間のΦｍ，ｎの差は、次式（３）で表される。

図３に示したフリッカ低減部２０では、まず、フリッカ検出用に絵柄の影響を少なくするために、積分処理部１１１が、入力画像信号Ｉｎ’（ｘ，ｙ）を式（４）に示すように画面水平方向に１ライン単位で積分し、積分値Ｆｎ（ｙ）を算出する。ただし、ここで出力される積分値Ｆｎ（ｙ）は、Ｌライン分の積分値を一定のＬ１ライン分に間引いて出力したものである。なお、式（４）中のα_ｎ（ｙ）は、式（５）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に亘る積分値である。

積分処理部１１１から出力された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持部１１２に一時的に記憶される。積分値保持部１１２は、少なくとも２フィールド分の積分値を保持できる構成とされる。

ところで、被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値α_ｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分α_ｎ（ｙ）×Γｎ（ｙ）を抽出することは容易である。しかし、一般的な被写体では、α_ｎ（ｙ）にもｍ×ω０成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。

そこで、このフリッカ低減部２０では、積分値Ｆｎ（ｙ）からα_ｎ（ｙ）の影響を取り除くために、連続する３フィールドにおける積分値を用いる。すなわち、この例では、積分値Ｆｎ（ｙ）の算出時に、積分値保持部１１２から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）、および２フィールド前の同じラインの積分値Ｆｎ＿２（ｙ）が読み出され、平均値演算部１１３で、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。

ここで、連続する３フィールドの期間中の被写体をほぼ同一と見なすことができれば、α_ｎ（ｙ）は同じ値と見なすことができる。被写体の動きが３フィールドの期間を通じて十分小さければ、この仮定は実用上問題ない。さらに、連続する３フィールドにおける積分値の平均値を演算することは、式（３）の関係から、フリッカ成分の位相が（−２π／３）×ｍずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。従って、平均値ＡＶＥ［Ｆｎ（ｙ）］は、次式（６）で表される。

ただし、以上の説明は、上記の式（７）の近似が成り立つものとして、連続する３フィールドにおける積分値の平均値を算出する場合についてであるが、被写体の動きが大きい場合には、式（７）の近似が成り立たなくなる。しかしこのような場合には、平均値化の処理に係る連続するフィールドの数を３の倍数に設定することにより、時間軸方向のローパスフィルタ作用により動きの影響を低減することができる。

図３のフリッカ低減部２０は、式（７）の近似が成り立つものとした場合の構成である。この例では、さらに、差分演算部１１４が、積分処理部１１１からの当該フィールドでの積分値Ｆｎ（ｙ）と、積分値保持部１１２からの１フィールド前での積分値Ｆｎ＿１（ｙ）との差分を計算し、次式（８）で表される差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出する。なお、式（８）も、式（７）の近似が成り立つことを前提としている。

さらに、図３のフリッカ低減部２０では、正規化処理部１１５が、差分演算部１１４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を、平均値演算部１１３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算することによって正規化する。

正規化後の差分値ｇｎ（ｙ）は、上記の式（６），式（８）および三角関数の和積公式によって式（９）のように展開され、さらに式（３）の関係から式（１０）で表される。なお、式（１０）中の｜Ａｍ｜およびθｍは、それぞれ式（１１）および（１２）で表される。

なお、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）は、被写体の信号強度の影響が残るため、領域によってはフリッカによる輝度変化および色変化のレベルが異なってしまう。しかし、上記のように正規化することによって、全領域に亘ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。

ここで、式（１１）および（１２）で表される｜Ａｍ｜およびθｍは、それぞれ、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、次式（１３）および（１４）によって、上記の式（２）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍ，ｎを求めることができる。

そこで、図３のフリッカ低減部２０では、ＤＦＴ処理部１２０が、正規化処理部１１５からの正規化後の差分値ｇｎ（ｙ）の、フリッカ波形の１周期分（Ｌ１ライン分）に相当するデータを離散フーリエ変換する。

ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は次式（１５）で表される。ただし、式（１５）中のＷは式（１６）で表される。このように、ＤＦＴ演算のデータ長をフリッカ波形の１周期分（Ｌ１ライン分）に設定することで、規格化角周波数ω０の整数倍の離散スペクトル群を直接求めることができ、その分、演算処理を簡略化することができる。

また、ＤＦＴの定義によって、式（１１）および（１２）と式（１５）との関係は、それぞれ次式（１７）および（１８）で表される。

従って、式（１３）（１４）（１７）（１８）から、次式（１９）および（２０）によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍ，ｎを求めることができる。

ＤＦＴ処理部１２０は、まず、式（１５）で定義されるＤＦＴ演算によってスペクトルを抽出し、その後、式（１９）および（２０）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍ，ｎを推定する。

なお、デジタル信号処理におけるフーリエ変換としては、一般に、高速フーリエ変換（ＦＦＴ）が用いられる。しかし、ＦＦＴではデータ長が２のべき乗であることが必要であることから、本実施の形態では、ＤＦＴにより周波数解析を行い、その分、データ処理を簡略化する。実際の蛍光灯照明下では、次数ｍを数次までに限定してもフリッカ成分を十分に近似できるので、ＤＦＴ演算においてデータをすべて出力する必要はない。従って、ＦＦＴと比較して演算効率の点でデメリットはない。

フリッカ生成部１３０は、ＤＦＴ処理部１２０による振幅γｍおよび初期位相Φｍ，ｎの推定値を用いて、上記の式（２）の演算処理を実行し、フリッカ成分を正しく反映しているフリッカ係数Γｎ（ｙ）を算出する。なお、この式（２）の演算処理においても、実際の蛍光灯照明下では、総和次数を無限大でなく、あらかじめ定められた次数、例えば２次までに限定し、高次の処理を省略しても、実用上フリッカ成分を十分近似できる。

ここで、上記の式（１）は、次式（２１）のように変形することができる。この式（２１）に基づき、演算部１４０は、フリッカ生成部１３０からのフリッカ係数Γｎ（ｙ）に“１”を加算した後、この加算値により画像信号を除算することで、フリッカ成分を抑圧する。
Ｉｎ（ｘ，ｙ）＝Ｉｎ’（ｘ，ｙ）／［１＋Γｎ（ｙ）］ ……（２１）
以上のフリッカ検出・低減処理によれば、積分値Ｆｎ（ｙ）ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微少な黒の背景部分や低照度の部分などの領域でも、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出し、これを平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、フリッカ成分を高精度で検出することができる。

また、フリッカ係数Γｎの算出にあたっては、次数を数次までに限定できるので、比較的簡易な処理でフリッカ検出を高精度化できる。なお、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値ｇｎ（ｙ）を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値ｇｎ（ｙ）に不連続な部分を生じても、その部分のフリッカ成分を精度よく推定できることになる。

なお、上記の処理では、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することで、有限の計算精度を効果的に確保することができた。しかし、例えば、要求される計算精度を満足できる場合には、積分値Ｆｎ（ｙ）を直接、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化してもよい。

また、平均値ＡＶＥ［Ｆｎ（ｙ）］の代わりに、積分値Ｆｎ（ｙ）で正規化してもよい。この場合、フリッカ波形の周期と画面レートとの関係で、フリッカ波形が複数画面ごとの繰り返し性を持たなくなる場合でも、フリッカを高精度に検出してその成分を低減させることができる。

＜間引き処理の問題点＞
次に、上記のフリッカ低減部２０におけるサンプリングデータ（すなわち、積分処理部１１１における積分値）の間引き処理について説明する。

図３に示したフリッカ低減部２０において、積分処理部１１１から出力される積分値Ｆｎ（ｙ）は、平均値の演算のために少なくとも２フィールド分が積分値保持部１１２に蓄積される。この積分値保持部１１２の記憶容量は、サンプリング点数が増加するほど大きくなる。また、ＤＦＴ処理部１２０では、演算に利用するデータ点数に応じて計算量や必要なパラメータ（回転因子など）が飛躍的に増加するため、このＤＦＴ処理をハードウェアあるいはソフトウェアのいずれで行う場合でも、サンプリング点数が増加するに従って回路規模や必要な演算能力が増大することは明白である。従って、システム規模の見地からすれば、積分処理部１１１によるサンプリング点数は少ない方が望ましい。

一方、フリッカ検出精度の見地からすれば、一般的にサンプリング点数が多いほど正確な信号処理が可能であり、上記のフリッカ検出手法でもこのことに変わりはない。しかし、現実的には、ラインごとのサンプリング間隔に対してフリッカ波形の周波数は十分小さいため、サンプリング定理から考えると、１周期分のフリッカ波形に対応するＬライン分のサンプリングデータは点数として冗長である。特に、最近の撮像装置に搭載された撮像素子のライン数Ｍは数百〜数千というオーダーであるため、フリッカ波形１周期に相当するライン数Ｌも同様のオーダーとなる。これに対して、例えば周波数５０Ｈｚの商用交流電源による蛍光灯照明下で、フィールド周波数６０ＨｚのＮＴＳＣ方式で撮像した場合、フリッカ波形は１画面に１．６６６本の縞となる。上記のフリッカ検出では、例えば１周期分のフリッカ波形を数十点程度（例えば６４点）サンプリングできれば十分な検出精度が得られる。

そこで、積分処理部１１１では、ライン積分器２１０からのＬライン分のサンプリングデータを、Ｌ≫Ｌ１となるＬ１点のサンプリングデータとして間引いて出力することで、後段の回路規模を削減している。ただし、当然ながらＬ１が大きいほど検出精度は向上するので、Ｌ１としては回路の設置面積や製造コストなどが許容される範囲内でできるだけ大きな値を選択することが望ましい。

次に、サンプリングデータを間引いた場合の問題点について説明する。ここでは、上記のフリッカ検出アルゴリズムの見地から、サンプリング点数と検出精度との関係を考える。

ＤＦＴ処理の一般的な性質として、任意の波形をＸ点でサンプリングしたデータ列に対してＤＦＴ処理を行った場合に現れる離散的なスペクトル列は、サンプリング波形を“Ｘ点で１周期となる正弦波（余弦波）を基本波（ｍ＝１）”としてフーリエ級数展開した場合の各次数の成分に相当することが知られている。

ここで、最も単純な例として、積分処理部１１１のライン積分器２１０で積分したＬライン分の積分値を後段にそのまま渡す場合を考えると、ＤＦＴ処理部１２０は、Ｌ点のサンプリングデータを１周期としてＤＦＴ処理を行い、フリッカ生成部１３０は低次の項のスペクトル（例えばｍ＝１，２のみ）を利用してフリッカ波形を推定する。すなわち、この例では、フリッカ波形１周期に相当するＬラインをＬ点でサンプリングしているため、ＤＦＴにより出力される各次数のスペクトルのそれぞれがそのまま“フリッカ波形をフリッカ波形１周期分の正弦波列でフーリエ級数展開した場合の各次数の成分に相当している”といえるので、適当な次数のスペクトル列のみを抽出してフーリエ級数展開の要領で書き下すだけで、容易にフリッカ波形を精度良く推定することができることになる。

このようなアルゴリズムにおいて、サンプリングデータを間引いた場合について考える。図４は、サンプリングデータの間引き処理の例について説明するための図である。
この図４では、例として、データ点数を１／２にする場合の間引き処理を示している。図４（Ａ）の手法は、ライン積分によるＬ点のサンプリングデータを単純に間引くことで、データ点数を削減するものであり、回路規模などを最も小さくできる。図４（Ｂ）の手法は、ＬＰＦを用いて複数点のサンプリングデータから新たなデータを演算により算出するものである。フリッカ波形の周波数はラインごとのサンプリング間隔より十分小さいので、例えばＬＰＦを単純平均を行うものとした場合でも、検出したいフリッカ波形を鈍らせることにはならず、むしろノイズ成分を抑制することにつながるため、検出精度向上の効果も得られる。

しかし、上記のフリッカ検出アルゴリズムは、１周期分のフリッカ波形に対応する期間で正確にサンプリングを行うことが前提となっていることから、以下で説明するように、条件によっては検出精度が低下してしまう場合がある。

図５は、サンプリング期間がフリッカ波形１周期と一致する場合の間引き処理の様子を模式的に示す図である。
この図５では、例として、１フィールドのライン数Ｍを１０００、積分処理部１１１から出力される１フィールド当たりのサンプリング点数Ｌ１を１００とすることが許容されたシステムにおける処理を示している。この場合、フリッカ波形１周期のライン数Ｌは、１０００×６０／１００＝６００となるが、このＬライン分のデータをシステムで許容されるＬ１点に間引くためには、間引き処理の種類に関係なく、間引きのデータ単位（以下、間引き単位と呼ぶ）Ｄは、Ｌ／Ｌ１＝６となる。すなわち、何らかの間引き処理によりデータ点数をＬからＬ１にする際の間引き単位Ｄを６にしておけば、システムが許容するＬ１点（＝１００点）のデータ（例えば割り当てられたメモリ領域内のデータ）をすべて活用して、フリッカ波形１周期分を正確にサンプリングすることができるため、上記のフリッカ検出アルゴリズムにより精度の高い検出を行うことができる。

これに対して、次に、システムが許容するサンプリング点数Ｌ１が１００のままで、１フィールドのライン数Ｍを９００とした場合について、図６〜図８を用いて説明する。
図６は、サンプリング期間がフリッカ波形１周期に満たない場合の間引き処理の様子を模式的に示す図である。また、図７は、サンプリング期間がフリッカ波形１周期を超過する場合の間引き処理の様子を模式的に示す図である。さらに、図８は、サンプリング期間がフリッカ波形１周期に一致するように利用するデータ点数を減らした場合の間引き処理の様子を模式的に示す図である。

ライン数Ｍが９００のとき、フリッカ波形１周期のライン数Ｌは、９００×６０／１００＝５４０となるが、このＬライン分のデータをシステムで許容されるＬ１点に間引くためには、間引き処理の種類に関係なく、間引き単位ＤをＬ／Ｌ１＝５．４としなくてはならない。

しかし、間引き単位Ｄは整数である必要がある。このため、図６に示すように、例えば真のＤの値に最も近い値として５を選択すると、システムで許容されたＬ１点のサンプリングデータをすべて出力したとしても、そのサンプリング期間は５００（＝５×１００）ライン分となり、フリッカ波形１周期分のサンプリングを行うことができない。また、図７に示すように、間引き単位Ｄとして６を選択した場合、システムで許容されたＬ１点をすべてサンプリングしようとするためには６００（＝６×１００）ライン分のサンプリングが行われてしまい、フリッカ波形１周期分を超えた期間のサンプリングデータを用いて以後の処理が実行されることになる。

さらに、間引き単位Ｄとして６を選択し、間引き後のサンプリング点数Ｌ１を９０とすると、図８に示すように、フリッカ波形１周期分の期間を正確にサンプリングすることができる。しかし、システムとして１００点のデータのサンプリングが許容され、例えばそれに対応するメモリ領域などが用意されているにもかかわらず、それらのうち９０点しか利用されないことになるので効率が悪い。当然ながら、このことを見込んで９０点のデータのみを処理するシステムを構築しておけばよいが、それでは搭載可能な撮像素子の画素数が限定されてしまい、汎用性がなくなってしまう。また、一般的には、フリッカ波形１周期の期間を正確にサンプリングできるように、間引き単位Ｄとサンプリング点数Ｌ１とをうまく組み合わせてＤを整数にすることは難しい。

図９は、サンプリング期間がフリッカ波形１周期と一致しない場合のＤＦＴ処理について説明するための図である。
前述したように、後段のＤＦＴ処理部１２０で得られるスペクトル列は、“サンプリング期間を１周期とする正弦波でフーリエ級数展開した場合の各次数の成分”に相当するため、上記のようにサンプリング期間がフリッカ波形１周期と一致しなかった場合には、得られるスペクトル列はもはや“フリッカ１周期”で展開したものとはいえない。

図９の上段のように、フリッカ波形の１周期分をサンプリングできた場合には、図中破線枠で示したいわゆるＤＦＴ窓が本来のフリッカ波形１周期と一致し、ＤＦＴ処理部１２０は、“上記破線枠内の波形が無限に繰り返される信号”という仮定下でのフーリエ変換を行う。すなわち、ＤＦＴ窓を１周期とする正弦波のスペクトル列で窓内の信号を周波数軸上に展開する。

一方、図９の中段や下段に示すように、サンプリング期間がフリッカ１周期からずれた場合には、ＤＦＴ窓の大きさが異なるものとなり、ＤＦＴ処理部１２０は、“それぞれの破線枠内の波形が無限に繰り返される信号”という仮定下でのフーリエ変換を行う。このため、このような処理で得られるスペクトル列は、本来のフリッカ波形を１周期の正弦波でフーリエ級数展開したものとは異なる。このように、上記のフリッカ検出アルゴリズムでは、サンプリング期間がフリッカ波形１周期分と一致していない場合には、そのズレ量に応じた検波誤差が発生し、検出精度が低下するという問題があった。

この問題を回避する方法としては、サンプリング点数Ｌ１を大幅に増やすことが考えられるが、その数が増えるほどシステム規模が増大してしまう。また、サンプリング点数Ｌ１と間引き単位Ｄとの組み合わせをうまく選択することで、上記問題をある程度回避することはできるが、システムが対応する複数のセンサバリエーション（すなわち１フィールドのライン数Ｍのバリエーション）のすべてに適切な解があるとは限らず、センサごとに性能にもバラツキが生じてしまうこともあり得る。

これに加えて、上記のフリッカ検出アルゴリズムは、ＤＦＴ処理に必要な回転因子の設定に関しても問題があった。ＤＦＴ処理は一般に回転因子と呼ばれる正弦波（余弦波）を必要とするが、この回転因子の位相は通常、各サンプリングデータの位相と一致している必要がある。なお、高次項の検出を行うためには、その次数に応じた回転因子も必要である。

仮に１つのシステムで複数のセンサバリエーションに対応する場合、センサごとに最も１周期に近くなるようなＬ１およびＤの組み合わせを選んだとしても、ＤＦＴ処理はそれぞれに適切な回転因子を必要とするため、これらを例えばＲＯＭテーブルに設定しておいて読み込む、あるいは通信により読み込むなどして、ＤＦＴ処理部１２０に設定する必要がある。このため、すべての検出次数分をセンサの対応数が増えるたびにすべて別々に用意しなくてはならず、システム規模や開発コストなどの観点から実用上大きな問題となっていた。

＜積分処理部の構成例１＞
図１０は、積分処理部の第１の構成例を示すブロック図である。
図１０に示す積分処理部１１１は、上述したように、ライン積分器２１０と間引き処理部２２０から構成され、間引き処理部２２０は、Ｖ方向間引き演算部２２１と、補間処理部２２２とを備えている。

ライン積分器２１０は、入力された画像信号をラインごとに積分し、全画面に亘る積分値、すなわち１フィールド当たりＭライン分の積分値を間引き処理部２２０に出力する。Ｖ方向間引き演算部２２１は、入力されたラインごとの積分値のデータ点数を、１フィールド当たりＭからＬ２になるように一定の間引き単位で間引き演算する。間引き演算の手法としては、後述するようなＬＰＦ間引きなどを適用できる。なお、演算ではなく、単純に入力データを一定数ごとに間引いて出力してもよい。この場合、ライン積分器２１０での積分タイミングを制御することで間引いてもよく、これにより回路構成を簡略化できる。補間処理部２２２は、間引いて出力されたＬ２点のサンプリングデータを基に、フリッカ波形１周期分の期間に正確に対応するＬ１点のサンプリングデータを補間して生成する。

図１１は、図１０の積分処理部の動作を説明するための図である。
図１１の上段は、Ｖ方向間引き演算部２２１が、ＬＰＦなどの演算によりＤ１ライン分の積分値を利用して１つのデータを出力する場合について示している。この例ではＤ１を４としている。このとき、間引きの結果出力されるデータ点数Ｌ２が、フリッカ波形１周期に対応するライン数Ｌ以上となるように設定する。すなわち、搭載する撮像素子のライン数によりＬ／Ｌ２が整数とならない場合には、Ｌ２をＬ以上としてＬ／Ｌ２（＝Ｄ１）が整数となるようにし、これによりフリッカ波形１周期分以上の期間を確実にサンプリングできるようにする。

なお、Ｖ方向間引き演算部２２１では、Ｌ２点の全点を並行に処理して出力する必要はない。このブロックをできるだけ時系列的に処理する（すなわち、入力されたサンプリングデータを順次処理する）構成とした場合には、間引き単位Ｄ１に応じて回路規模が変わることはあるものの、ラインごとのサンプリング点数により回路規模が大きくなることはない。このため、Ｌ２の値がＬより大きくなっても回路規模が大幅に増大することはない。

また、図１１の下段に示すように、補間処理部２２２は、間引きされたＬ２点のデータから、フリッカ波形１周期に正確に一致する期間でサンプリングされたＬ１点のデータを、補間演算により新たに生成して出力する。このサンプリング点数Ｌ１は、例えば積分値保持部１１２におけるメモリ容量など、システムとして許容される範囲内で、サンプリング定理を十分満たし、必要な検出精度を得られるような値とされ、搭載される撮像素子のライン数Ｍに関係なく一定値とされる。このため、撮像素子のライン数Ｍによっては、Ｌ／Ｌ１（＝Ｄ２）が整数とならない場合もあるが、その場合でもＬ２点のサンプリングデータから補間演算を行うことでＬ１点のデータを確実に生成できる。

従って、後段のＤＦＴ処理部１２０におけるＤＦＴ窓をフリッカ波形１周期分に正確に一致させることができるので、フリッカ波形を高精度に推定できるようになる。また、フリッカ波形の周期はサンプリング間隔と比較して十分長いので、補間演算としては線形補間程度の処理で十分な検出精度が得られる。

図１２は、Ｖ方向間引き演算部の内部構成例を示す図である。
Ｖ方向間引き演算部２２１における間引き処理としては、上述したように、入力データを間欠的に出力する“単純間引き”や、ＬＰＦを用いた間引きなどを適用できる。図１２ではＬＰＦを用いた場合の構成例を示しており、この図１２のように、間引き単位Ｄ１が２のｎ乗（ｎは０以上の整数）である場合には、Ｖ方向間引き演算部２２１は、加算器２２３およびｎビットシフト部２２４という簡単な構成とすることができる。加算器２２３は、Ｄ１点の積分値を加算して出力し、ｎビットシフト部２２４は、入力データをｎビット分だけ下位側にシフトする。

また、間引き単位Ｄ１は２のｎ乗でない場合でも、例えば、上記の加算器２２３で２のｎ乗分のデータの加算処理を常に行い、この加算器２２３への入力データを間引き単位Ｄ１の間隔で順次シフトしていくことで、一部のデータを捨てることになるものの回路構成を簡易化することができる。また、多様なライン数の撮像素子に対して容易に対応できるようになる。逆に、回路面積や製造コストの制約が緩い場合には、ｎビットシフト部２２４を除算器として完全な平均値を演算することで、検出精度を向上させることができる。

なお、上述したように、フリッカ波形の周期はラインごとのサンプリング間隔と比較して十分長いので、上記のような平均化を行うＬＰＦの構成でも検出対象のフリッカ波形を鈍らせることにはならず、むしろノイズ成分を抑制する効果が得られる。このため、上記構成とすることで、回路構成の単純化と検出精度の向上とを両立できる。

以上の図１０の積分処理部１１１を適用したフリッカ低減部２０によれば、搭載される撮像素子の画素数による制約を受けることなく、フリッカ波形１周期分の期間を常に正確にサンプリングして検出・低減処理を実行できるので、フリッカ検出精度を安定的に向上させ、センサバリエーションごとの検出性能バラツキを低減することができる。また、ＤＦＴ処理に必要な回転因子を常に同じ値に設定できるので、例えばパラメータ保持のためのメモリなどの回路規模を大きくすることなく、フリッカ検出精度を向上させることができる。さらに、システムが許容している点数分のサンプリングデータ（例えば積分値保持部１１２に記憶したすべてのサンプリングデータ）をすべて利用して以降の演算が行われるので、回路規模や製造コストが余計に増加することを防止できる。

そして、このような効果を、サンプリングデータの間引きにより回路規模を小さくした従来のフリッカ検出・低減の回路に対して、積分処理部の構成を小変更するだけで得ることができ、また画素数の異なる撮像素子に最適化する際の回路構成や制御手順の変更も少なく済む。従って、フリッカ検出性能が向上された汎用性の高い小規模の回路を実現できる。

＜積分処理部の構成例２＞
図１３は、積分処理部の第２の構成例を示すブロック図である。
図１３に示す積分処理部１１１は、間引き処理部２２０内の構成が図１０の場合と異なる。この間引き処理部２２０は、Ｖ方向ゲート２２５と、補間処理部２２６とを備えている。

Ｖ方向ゲート２２５は、ライン積分器２１０からの全画面に亘る積分値を受け取り、フリッカ波形１周期分をサンプリングするための最小期間、すなわちＬライン分の期間だけ積分値を後段に出力し、その他の期間には出力を停止する。補間処理部２２６は、入力されたＬライン分の積分値を用いて、補間演算によりフリッカ波形１周期分の期間に正確に対応するＬ１点のサンプリングデータを生成する。この補間処理部２２６は、ライン積分の結果から演算によりＬ１点のサンプリングデータを直接的に生成する構成とされ、これにより、第１の実施の形態のようにサンプリングデータを２段階で変換する場合と比較して、フリッカ波形の検出性能を高めることができる。

図１４は、図１３の積分処理部の動作を説明するための図である。
補間処理部２２６における補間処理としては、フリッカ波形の周期がサンプリング間隔と比較して十分長いことから、適当な補間関数を用いた一般的な処理で必要十分な検出精度を維持できる。フリッカ波形の周期が十分長いことから、原理的には線形補間程度の処理でも十分であるが、より多数のサンプリングデータを利用してＬ１点のデータを生成することで、前述したＬＰＦ効果を高めることができ、検出精度を高められる。

そのような例として、いわゆるキュービック（Cubic）補間を適用できる。この手法では、図１４に示すように、Ｌ１点の各データのサンプリング位置を挟んだ一定数（図１４では４ライン分）の積分値を基に、３次の補間関数を適用して各点のデータを生成する。これにより、新たに生成するデータの重心を元のデータ間隔（すなわちラインごとのデータ間隔）の間の位置に自由に設定できるので、搭載する撮像素子の画素数に関係なく、フリッカ検出精度を安定的に向上させることができる。すなわち、搭載する撮像素子のライン数Ｍにより間引き単位Ｄ２（＝Ｌ／Ｌ１）が整数とならない場合でも、そのライン数Ｍに合わせて補間関数をあらかじめメモリなどに用意しておくことで、フリッカ波形１周期分の期間で正確にサンプリングし、ＤＦＴ窓をその期間に一致させることができる。従って、図１０の場合と同様に、フリッカ検出性能が向上された汎用性の高い小規模の回路を実現できる。

なお、上記の第１の実施の形態では、積分処理部１１１において入力画像信号Ｉｎ’（ｘ，ｙ）を１ラインごとに積分した場合を示したが、その各積分期間は１ラインに限らない。ただし、積分期間を長くするほど、絵柄の影響を排除してフリッカ成分をより正確にサンプリングできるので、１ライン以上の時間に亘って積分を行ってもよい。例えば、ライン積分器２１０の積分期間を複数ラインとしてもよい。例として２ライン単位で積分した場合には、間引き処理部２２０に対しては１フィールド当たり（Ｍ／２）点のサンプリングデータが供給される。また、各積分期間では全画素のデータを積分対象として利用せず、例えば間欠的に利用する、あるいは特定の領域のみ利用するようにしてもよい。

また、上記の第１の実施の形態では、間引き処理部２２０によりフリッカ波形１周期分の期間でサンプリングしたデータを出力するようにしたが、このサンプリング期間は必ずしも１周期である必要はなく、複数周期分の期間であってもよい。

さらに、上記の第１の実施の形態において、間引き処理部２２０から出力されるフリッカ波形１周期当たりのデータ点数Ｌ１を２のべき乗とすることで、フリッカ成分を周波数成分に変換する手法としてＤＦＴの代わりにＦＦＴを利用できるようになる。ＦＦＴを利用した場合、ＤＦＴより演算量を低減できるので、フリッカ低減部２０の回路規模を抑制することができる。また、ＤＦＴ処理機能をソフトウェア処理で実現することも容易になる。

また、上記の第１の実施の形態では、画面レート（フレーム周波数またはフィールド周波数）が一定である場合を想定して説明した。しかし、例えば、撮像装置の付加機能としてより高速な画面レートで撮像できるようにするなど、画面レートを可変とした撮像装置などが考えられている。このように、撮像素子上のライン数だけでなく、画面レートが変化した場合には、積分処理部１１１によるサンプリング間隔の整数倍がフリッカ波形の１周期分と一致しないことが多くなるだけでなく、フリッカ波形の１周期分に相当するライン数が整数になることも極めて希になる。従って、上記のようにフリッカ波形の１周期分の期間に正確に対応するサンプリングデータを補間により求めることで、フリッカ検出の精度が高く、かつ、撮像素子の画素数や画面レートの変化に対してより広い汎用性を持った回路を実現できる。

〔第２の実施の形態〕
図１５は、本発明の第２の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。なお、この図１５では、図３に対応するブロックには同じ符号を付して示しており、それらの説明は省略する。

図１５に示す第２の実施の形態では、上述した第１の実施の形態のように、ライン積分器２１０による積分値を、フリッカ波形１周期（または複数周期）の期間に正確に対応するＬ１点のデータとして補間する代わりに、フレームまたはフィールドごとの積分値に基づく差分演算や正規化処理によって算出されたフリッカ成分（すなわち差分値ｇｎ（ｙ））を基に、フリッカ波形１周期（または複数周期）の期間に正確に対応するサンプリングデータを補間演算により生成し、ＤＦＴ処理部１２０に供給する。

図１５に示すフリッカ低減部２０ａにおいて、積分処理部１１１ａは、ライン積分器２１０および間引き処理部２３０を具備する。ライン積分器２１０は、第１の実施の形態と同様に、入力された画像信号をラインごとに積分する。間引き処理部２３０は、図１０に示したＶ方向間引き演算部２２１とほぼ同じ機能を備えるブロックであり、入力されたラインごとの積分値のデータ点数を、一定の間引き単位で間引いて出力する。なお、間引き処理部２３０における間引き演算の手法としては、上述したＬＰＦ間引きなどを適用できる。また、演算ではなく、単純に入力データを一定数ごとに間引いて出力してもよい。

この間引き処理部２３０は、フリッカ波形の１周期分以上の期間ごとに所定数（例えばＬ２点）のデータを出力する。すなわち、これらのデータによるサンプリング期間は、搭載される撮像素子の画素数により必ずしもフリッカ波形１周期の期間に対応しないため、この期間より少し長い期間でサンプリングを行い、後のフリッカ成分補間処理部１５０においてフリッカ波形１周期分ちょうどの期間に対応する補間データを得られるようにする。

なお、第１の実施の形態と同様に、ライン積分器２１０による積分期間は、例えば複数ラインなど、１ライン以上の期間であってもよい。また、各積分期間では全画素のデータを積分対象として利用せず、例えば間欠的に利用する、あるいは特定の領域のみ利用するようにしてもよい。さらに、間引き処理部２３０を設けずに、ライン積分器２１０による積分値をそのまま後段に出力してもよい。要するに、積分処理部１１１ａからは、画面上での所定領域を代表する積分値が、一定間隔で出力されればよい。

また、図１５において、フリッカ成分補間処理部１５０は、正規化積分値算出部１１０により抽出されたフリッカ成分、すなわち、正規化処理部１１５から出力された正規化後の差分値ｇｎ（ｙ）を基に、フリッカ波形の１周期分の期間を均等分割した所定個数のデータを補間演算により生成して、ＤＦＴ処理部１２０に供給する。このフリッカ成分補間処理部１５０は、正規化処理部１１５からの出力データのうち、補間後の各点を中心とした２つ以上のデータを選択し、これらのデータを基に補間演算を行う。補間演算の手法は、線形補間や、図１３で説明したキュービック補間などの補間関数を用いた手法などを適用できる。

このようなフリッカ成分補間処理部１５０により、フリッカ波形の１周期分の期間に正確に対応するＬ１点のデータがＤＦＴ処理部１２０に入力されるので、ＤＦＴ処理部１２０は、１周期分のフリッカ成分を高精度に推定できるようになる。従って、第１の実施の形態と同様に、フリッカ成分の検出・補正精度が高く、かつ、撮像素子の画素数や画面レートに対する汎用性の高い回路を実現できる。

なお、第１の実施の形態の場合と同様に、フリッカ成分補間処理部１５０から出力されるフリッカ波形１周期当たりのデータ点数を２のべき乗とすることで、フリッカ成分を周波数成分に変換する手法としてＤＦＴの代わりにＦＦＴを利用できるようになり、フリッカ低減部２０ａの回路規模を抑制することができ、また、ＤＦＴ処理機能をソフトウェア処理で実現することも容易になる。

〔第３の実施の形態〕
図１６は、本発明の第３の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。なお、この図１６では、図１５に対応するブロックには同じ符号を付して示しており、それらの説明は省略する。

図１６に示すフリッカ低減部２０ｂは、図１５のフリッカ低減部２０ａの構成に対して、フリッカ成分補間処理部１５０の代わりに、フリッカ生成部１３０と演算部１４０との間に推定成分補間処理部１６０を設けたものである。ここで、ＤＦＴ処理部１２０およびフリッカ生成部１３０の演算により推定されたフリッカ成分（フリッカ係数Γｎ（ｙ）に対応）は、実際には、例えばＤＦＴ処理部１２０に入力されるデータなどに同期した離散データとして、フリッカ生成部１３０から出力される。推定成分補間処理部１６０は、フリッカ生成部１３０から出力されたフリッカ成分の離散データ群を、演算部１４０において補正すべきデータ群の位相に合うように補間する。

図１７は、推定成分補間処理部による補間演算を説明するための図である。
図１６のフリッカ低減部２０ｂでは、サンプリング間隔をフリッカ波形の１周期に合わせるようにサンプリングデータを補間する機能（図３の間引き処理部２２０、あるいは図１５のフリッカ成分補間処理部１５０の機能）が設けられていない。このような場合には、上述したように、撮像素子の画素数や画面レートに違いにより、ライン積分器２１０によるサンプリング間隔の整数倍、あるいはその後の間引き処理部２３０のデータ出力間隔の整数倍が、フリッカ波形の１周期分の期間と一致することは、極めて少ない。従って、ＤＦＴ処理により推定された波形の離散データの位相と、演算部１４０に入力される補正対象のデータの位相とが一致しないため、補正誤差が生じることになる。

例えば、図１７の例では、フリッカ波形１周期分に満たない期間のサンプリングデータを基にＤＦＴ処理が行われたために、ＤＦＴ処理部１２０は、補正対象の画像データに含まれる実際のフリッカ波形（図中下段の波形に対応）より、周期の短い波形（図中上段の波形に対応）を推定してしまう。このため、推定の結果得られた離散データをそのまま用いて補正を行うと、補正誤差が生じてしまい、入力画像信号からフリッカ成分を精度よく除去できない。

そこで、本実施の形態では、推定成分補間処理部１６０において、フリッカ生成部１３０から出力される離散データを、演算部１４０での補正タイミングに同期するようにスケーリングして出力する。すなわち、フリッカ生成部１３０からの離散データを基にして、演算部１４０での補正タイミングにそれぞれ同期した任意点数のデータを、補間演算により生成して出力する。

図１７の例では、フリッカ生成部１３０からの離散データのうち、連続する４個を利用して補間演算を行い、１個のデータを生成している。フリッカ生成部１３０からのフリッカ波形は、補正対象の実際のフリッカ波形とは周期が異なっているので、フリッカ生成部１３０からのフリッカ波形の周期が実際のフリッカ波形の周期に合わせて変換され、変換後の離散データのうち、演算部１４０での補正タイミングに同期する各点を中心とした近傍の４点が選択されて、補間演算に適用される。実際には、推定されたフリッカ成分の特定数の離散データが、あらかじめ決められた任意の個数のデータに変換されて、変換後の各データが、演算部１４０における補正タイミングに同期して順次出力されることになる。

また、本実施の形態では、積分処理部１１１ａにおける積分処理の最小単位は１ラインであることから、推定成分補間処理部１６０では、１ライン分またはその整数倍に対応する画像データが演算部１４０に入力されるタイミングに同期するように、スケーリング後のデータ個数が決定される。例えば、推定成分補間処理部１６０で生成される、フリッカ波形１周期当たりのデータ個数を、ライン積分器２１０または間引き処理部２３０から出力される、フリッカ波形１周期当たりのデータ個数に一致させればよい。すなわち、スケーリング後の各データは、画像信号中の実際のフリッカ成分の１周期または複数周期を、１ラインまたはその整数倍により分割した期間のそれぞれに対応するように生成され、それらの期間にそれぞれ対応する画像信号の演算部１４０に対する入力タイミングに同期して、生成されたデータが順次出力される。

また、推定成分補間処理部１６０での補間手法としては、線形補間や、上述したキュービック補間などの補間関数を用いた手法などを適用できる。
以上の処理により、演算部１４０では、誤差を生じることなくフリッカ成分を高精度で低減できるようになり、画質の高い撮像画像を得ることが可能になる。

〔第４の実施の形態〕
図１８は、本発明の第４の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。なお、この図１８では、図１６に対応するブロックには同じ符号を付して示しており、それらの説明は省略する。

図１８に示すフリッカ低減部２０ｃにおいて、演算部１４０ｃは、補正ゲイン算出部１４１、ゲイン補間処理部１４２、および画像補正部１４３を備えている。補正ゲイン算出部１４１は、フリッカ生成部１３０からのフリッカ成分の離散データを基に、フリッカ成分を打ち消すための補正パラメータである補正ゲインを算出する。この補正ゲインは、例えば、上述した式（２１）における１／［１＋Γｎ（ｙ）］に対応する。ゲイン補間処理部１４２は、補正ゲイン算出部１４１で算出された補正ゲインの離散データを、画像補正部１４３での補正タイミングに同期するようにスケーリングして出力する。画像補正部１４３は、ゲイン補間処理部１４２によりスケーリングされた補正ゲインを、式（２１）に従って入力画像信号に対して乗算して、フリッカ成分を除去するための演算を行う。

このフリッカ低減部２０ｃでは、図１６の推定成分補間処理部１６０の代わりにゲイン補間処理部１４２を設け、推定されたフリッカ波形から得た補正ゲインを基に、補正時のタイミングに同期するようにスケーリングすることで、補正誤差の発生を防止している。スケーリング後に出力されるデータ個数や、スケーリングに利用する補間演算の手法などは、上記の推定成分補間処理部１６０と同様である。このような構成により、図１６の場合と同様に、フリッカ成分を高精度で低減できるようになり、画質の高い撮像画像を得ることが可能になる。

〔第５の実施の形態〕
図１９は、本発明の第５の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。なお、この図１９では、図１５および図１６に対応するブロックには同じ符号を付して示しており、それらの説明は省略する。

図１９に示すフリッカ低減部２０ｄは、上述した第１および第２の実施の形態のように、サンプリングしたデータを、フリッカ波形の１周期（または複数周期）に合わせて補間する機能と、ＤＦＴ処理により推定されたフリッカ波形の離散データを、演算部１４０における補正タイミングに同期するようにスケーリングする機能とを、ともに備えている。この例では、前者の機能として、図１５で説明したフリッカ成分補間処理部１５０が設けられ、後者の機能として、図１６で説明した推定成分補間処理部１６０が設けられている。これにより、ＤＦＴ処理によるフリッカ検出時の検出誤差の低減効果と、ＤＦＴ処理により推定されたフリッカ成分を補正に適用する際の補正誤差の低減効果の両方を得ることができる。なお、前者の機能として、図３で説明した積分処理部１１１を設けた場合でも、あるいは、後者の機能として、図１８で説明した演算部１４０ｃを設けた場合でも、同様の効果を得ることができる。

図２０は、図１９の推定成分補間処理部による補間演算を説明するための図である。
図１９のフリッカ低減部２０ｄでは、フリッカ成分補間処理部１５０の処理により、フリッカ波形の１周期（または複数周期）に正確に対応する期間において等間隔でサンプリングされたデータが、ＤＦＴ処理部１２０に入力される。このため、フリッカ生成部１３０から出力されるフリッカ波形（図２０の上段の波形）の周期は、画像信号に含まれる実際のフリッカ波形（図２０の下段の波形）の周期と一致している。しかし、推定されたフリッカ波形上の離散データの間隔は、積分処理部１１１ａでサンプリングされたデータの間隔とは異なるものとなるので、推定されたフリッカ波形を、演算部１４０での補正時にそのまま用いた場合には、補正誤差が生じてしまう。

そこで、推定されたフリッカ波形に対応する離散データ群を、推定成分補間処理部１６０での補間演算により、演算部１４０での補正タイミングに同期するデータ群に変換する。図２０では、例として、推定されたフリッカ波形内の４個の離散データを補間演算に適用して、１個のデータを生成している。これにより、演算部１４０での補正タイミングの同期が図られ、補正誤差の発生を防止することができる。なお、ＤＦＴ処理部１２０へのサンプリングデータが補間された場合であっても、推定成分補間処理部１６０では、推定されたフリッカ波形の周期を変換する必要がある場合もある。

以上のように、サンプリングしたデータをフリッカ波形の１周期（または複数周期）に合わせて補間する機能と、ＤＦＴ処理により推定されたフリッカ波形の離散データを補正タイミングに同期するようにスケーリングする機能とをともに設けたことにより、ＤＦＴ処理時のフリッカ検出誤差と、補正誤差とをともに低減できるので、フリッカ成分をより正確に除去できるようになり、撮像画像の品質をより一層向上させることができる。

なお、以上の各実施の形態では、ライン積分器２１０の出力データを間引いた場合について説明したが、間引きを行わない場合でも本発明を適用可能である。例えば、フリッカ低減部内の演算性能や、積分値を保持するメモリ回路の設置面積、これらの製造コストなどに余裕がある場合には、積分値のサンプリング単位は最短で１ライン単位とすることができる。上述したように、撮像素子上のライン数や画面レートによっては、フリッカ波形の１周期分に相当するライン数が整数にならない場合があり、このような場合に本発明を適用することで、フリッカ検出誤差や補正誤差を低減できる。

また、上記の各実施の形態では、撮像素子としてＣＭＯＳイメージセンサを用いた場合について説明したが、ＣＭＯＳイメージセンサ以外のＭＯＳ型イメージセンサなど、他のＸＹアドレス走査型の撮像素子を用いた場合にも本発明を適用可能である。また、本発明は、ＸＹアドレス走査型の撮像素子を用いた様々な撮像装置、およびこのような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することもできる。

さらに、例えばＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理や、撮像された画像を補整するための処理などを行う画像処理装置に対しても、本発明を適用することができる。

また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（上記のフリッカ低減部などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。 フリッカについて説明するための図である。 第１の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。 サンプリングデータの間引き処理の例について説明するための図である。 サンプリング期間がフリッカ波形１周期と一致する場合の間引き処理の様子を模式的に示す図である。 サンプリング期間がフリッカ波形１周期に満たない場合の間引き処理の様子を模式的に示す図である。 サンプリング期間がフリッカ波形１周期を超過する場合の間引き処理の様子を模式的に示す図である。 サンプリング期間がフリッカ波形１周期に一致するように利用するデータ点数を減らした場合の間引き処理の様子を模式的に示す図である。 サンプリング期間がフリッカ波形１周期と一致しない場合のＤＦＴ処理について説明するための図である。 積分処理部の第１の構成例を示すブロック図である。 図１０の積分処理部の動作を説明するための図である。 Ｖ方向間引き演算部の内部構成例を示す図である。 積分処理部の第２の構成例を示すブロック図である。 図１３の積分処理部の動作を説明するための図である。 本発明の第２の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。 本発明の第３の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。 推定成分補間処理部による補間演算を説明するための図である。 本発明の第４の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。 本発明の第５の実施の形態に係るフリッカ低減部の内部構成を示すブロック図である。 図１９の推定成分補間処理部による補間演算を説明するための図である。 従来のフリッカ検出手順を概略的に説明するための図である。 サンプリングしたデータを間引く場合のフリッカ検出手順を概略的に説明するための図である。

符号の説明

１１……光学ブロック、１１ａ……ドライバ、１２……ＣＭＯＳ型イメージセンサ（ＣＭＯＳセンサ）、１２ａ……タイミングジェネレータ（ＴＧ）、１３……アナログフロントエンド（ＡＦＥ）回路、１４……カメラ処理回路、１５……システムコントローラ、１６……入力部、１７……グラフィックＩ／Ｆ、１７ａ……ディスプレイ、２０……フリッカ低減部、１１０……正規化積分値算出部、１１１……積分処理部、１１２……積分値保持部、１１３……平均値演算部、１１４……差分演算部、１１５……正規化処理部、１２０……ＤＦＴ処理部、１３０……フリッカ生成部、１４０……演算部、２１０……ライン積分器、２２０……間引き処理部

Claims (32)

1. 画像信号を処理する画像処理装置において、
   前記画像信号を１水平同期期間以上の単位で積分する積分手段と、
   蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応する積分値を、前記積分手段による積分値を基に補間して生成する補間処理手段と、
   前記補間処理手段からの積分値、または隣接するフィールドもしくはフレームにおける前記補間処理手段からの対応する積分値の差分値を、正規化する正規化手段と、
   前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、
   前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段と、
   を有することを特徴とする画像処理装置。
2. フリッカの１周期分または複数周期分の期間における前記サンプリング位置の数は、当該期間に前記積分手段から出力される積分値の数より少なく規定されていることを特徴とする請求項１記載の画像処理装置。
3. 前記補間処理手段は、前記積分手段による積分値の出力数を所定の割合で減少させる出力制御手段を備え、前記出力制御手段からの積分値を基に補間演算を行って前記各サンプリング位置に対応する積分値を生成することを特徴とする請求項２記載の画像処理装置。
4. 前記出力制御手段は、前記積分手段による所定数ごとの積分値を平均化するローパスフィルタを備えたことを特徴とする請求項３記載の画像処理装置。
5. 前記出力制御手段は、フリッカの１周期分または複数周期分と同一の期間、またはそれより長い期間における前記積分手段からの積分値の出力数を減少させることを特徴とする請求項３記載の画像処理装置。
6. 前記補間処理手段は、前記サンプリング位置ごとに、前記積分手段による所定数の積分値を基に補間関数を利用して補間演算を行い、当該サンプリング位置に対応する積分値を生成することを特徴とする請求項１記載の画像処理装置。
7. 前記補間処理手段は、フリッカの１周期分または複数周期分の期間における前記積分手段による積分値から、前記所定数の積分値を選択して補間演算を行い、前記各サンプリング位置に対応する積分値を生成することを特徴とする請求項６記載の画像処理装置。
8. 前記正規化手段は、隣接するフィールドまたはフレームにおける前記補間処理手段からの対応する積分値の差分値を、連続する複数のフィールドまたはフレームにおける前記補間処理手段からの対応する積分値の平均値で除算することを特徴とする請求項１記載の画像処理装置。
9. 前記正規化手段は、隣接するフィールドまたはフレームにおける前記補間処理手段からの対応する積分値の差分値を、前記補間処理手段からの積分値で除算することを特徴とする請求項１記載の画像処理装置。
10. フリッカの１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成する推定値補間処理手段と、
    前記推定値補間処理手段により補間されたフリッカ成分の推定値を基に前記画像信号からフリッカ成分を除去する画像補正手段と、
    をさらに有することを特徴とする請求項１記載の画像処理装置。
11. 前記フリッカ推定手段によるフリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出する補正パラメータ算出手段と、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記補正パラメータ算出手段により算出された前記補正パラメータの離散値を基に補間して生成するパラメータ補間処理手段と、
    前記パラメータ補間処理手段により補間された前記補正パラメータを用いて前記画像信号からフリッカ成分を除去する画像補正手段と、
    をさらに有することを特徴とする請求項１記載の画像処理装置。
12. 画像信号を処理する画像処理装置において、
    前記画像信号を１水平同期期間以上の単位で積分する積分手段と、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、
    蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応するデータを、前記正規化手段による正規化後の積分値または差分値を基に補間して生成する補間処理手段と、
    前記補間処理手段からの出力データのスペクトルを抽出する周波数解析手段と、
    前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段と、
    を有することを特徴とする画像処理装置。
13. フリッカの１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成する推定値補間処理手段と、
    前記推定値補間処理手段により補間されたフリッカ成分の推定値を基に前記画像信号からフリッカ成分を除去する画像補正手段と、
    をさらに有することを特徴とする請求項１２記載の画像処理装置。
14. 前記フリッカ推定手段によるフリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出する補正パラメータ算出手段と、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記補正パラメータ算出手段により算出された前記補正パラメータの離散値を基に補間して生成するパラメータ補間処理手段と、
    前記パラメータ補間処理手段により補間された前記補正パラメータを用いて前記画像信号からフリッカ成分を除去する画像補正手段と、
    をさらに有することを特徴とする請求項１２記載の画像処理装置。
15. 画像信号を処理する画像処理装置において、
    前記画像信号を１水平同期期間以上の単位で積分する積分手段と、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、
    前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段と、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成する補間処理手段と、
    前記補間処理手段により補間されたフリッカ成分の推定値を基に前記画像信号からフリッカ成分を除去する画像補正手段と、
    を有することを特徴とする画像処理装置。
16. 前記補間処理手段は、前記フリッカ推定手段により推定されたフリッカ成分の所定数の離散値を基に線形補間を行うことで、前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に規定された各データを生成することを特徴とする請求項１５記載の画像処理装置。
17. 前記補間処理手段は、前記フリッカ推定手段により推定されたフリッカ成分の所定数の離散値を基に補間関数を利用して補間演算を行うことで、前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に規定された各データを生成することを特徴とする請求項１５記載の画像処理装置。
18. 画像信号を処理する画像処理装置において、
    前記画像信号を１水平同期期間以上の単位で積分する積分手段と、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、
    前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段と、
    前記フリッカ推定手段によるフリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出する補正パラメータ算出手段と、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記補正パラメータ算出手段により算出された前記補正パラメータの離散値を基に補間して生成する補間処理手段と、
    前記補間処理手段により補間された前記補正パラメータを用いて前記画像信号からフリッカ成分を除去する画像補正手段と、
    を有することを特徴とする画像処理装置。
19. 前記補間処理手段は、前記補正パラメータ算出手段からの前記補正パラメータの所定数の離散値を基に線形補間を行うことで、フリッカ成分の１周期分または複数周期分の期間に規定された各データを生成することを特徴とする請求項１８記載の画像処理装置。
20. 前記補間処理手段は、前記補正パラメータ算出手段からの前記補正パラメータの所定数の離散値を基に補間関数を利用して補間演算を行うことで、フリッカ成分の１周期分または複数周期分の期間に規定された各データを生成することを特徴とする請求項１８記載の画像処理装置。
21. ＸＹアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
    撮像により得られた画像信号を１水平同期期間以上の単位で積分する積分手段と、
    蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応する積分値を、前記積分手段による積分値を基に補間して生成する補間処理手段と、
    前記補間処理手段からの積分値、または隣接するフィールドもしくはフレームにおける前記補間処理手段からの対応する積分値の差分値を、正規化する正規化手段と、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、
    前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段と、
    を有することを特徴とする撮像装置。
22. ＸＹアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
    撮像により得られた画像信号を１水平同期期間以上の単位で積分する積分手段と、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、
    蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応するデータを、前記正規化手段による正規化後の積分値または差分値を基に補間して生成する補間処理手段と、
    前記補間処理手段からの出力データのスペクトルを抽出する周波数解析手段と、
    前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段と、
    を有することを特徴とする撮像装置。
23. ＸＹアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
    撮像により得られた画像信号を１水平同期期間以上の単位で積分する積分手段と、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、
    前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段と、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成する補間処理手段と、
    前記補間処理手段により補間されたフリッカ成分の推定値を基に前記画像信号からフリッカ成分を除去する画像補正手段と、
    を有することを特徴とする撮像装置。
24. ＸＹアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
    撮像により得られた画像信号を１水平同期期間以上の単位で積分する積分手段と、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段と、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段と、
    前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段と、
    前記フリッカ推定手段によるフリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出する補正パラメータ算出手段と、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記補正パラメータ算出手段により算出された前記補正パラメータの離散値を基に補間して生成する補間処理手段と、
    前記補間処理手段により補間された前記補正パラメータを用いて前記画像信号からフリッカ成分を除去する画像補正手段と、
    を有することを特徴とする撮像装置。
25. 蛍光灯照明下で画像上に生じるフリッカを検出するための画像処理方法において、
    積分手段が、画像信号を１水平同期期間以上の単位で積分するステップと、
    補間処理手段が、蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応する積分値を、前記積分手段による積分値を基に補間して生成するステップと、
    正規化手段が、前記補間処理手段からの積分値、または隣接するフィールドもしくはフレームにおける前記補間処理手段からの対応する積分値の差分値を、正規化するステップと、
    周波数解析手段が、前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出するステップと、
    フリッカ推定手段が、前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するステップと、
    を含むことを特徴とする画像処理方法。
26. 蛍光灯照明下で画像上に生じるフリッカを検出するための画像処理方法において、
    積分手段が、前記画像信号を１水平同期期間以上の単位で積分するステップと、
    正規化手段が、前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を正規化するステップと、
    補間処理手段が、蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応するデータを、前記正規化手段による正規化後の積分値または差分値を基に補間して生成するステップと、
    周波数解析手段が、前記補間処理手段からの出力データのスペクトルを抽出するステップと、
    フリッカ推定手段が、前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するステップと、
    を含むことを特徴とする画像処理方法。
27. 蛍光灯照明下で画像上に生じるフリッカを除去するための画像処理方法において、
    積分手段が、前記画像信号を１水平同期期間以上の単位で積分するステップと、
    正規化手段が、前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を正規化するステップと、
    周波数解析手段が、前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出するステップと、
    フリッカ推定手段が、前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するステップと、
    補間処理手段が、前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成するステップと、
    画像補正手段が、前記補間処理手段により補間されたフリッカ成分の推定値を基に前記画像信号からフリッカ成分を除去するステップと、
    を含むことを特徴とする画像処理方法。
28. 蛍光灯照明下で画像上に生じるフリッカを除去するための画像処理方法において、
    積分手段が、前記画像信号を１水平同期期間以上の単位で積分するステップと、
    正規化手段が、前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を正規化するステップと、
    周波数解析手段が、前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出するステップと、
    フリッカ推定手段が、前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するステップと、
    補正パラメータ算出手段が、前記フリッカ推定手段によるフリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出するステップと、
    補間処理手段が、前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記補正パラメータ算出手段により算出された前記補正パラメータの離散値を基に補間して生成するステップと、
    画像補正手段が、前記補間処理手段により補間された前記補正パラメータを用いて前記画像信号からフリッカ成分を除去するステップと、
    を含むことを特徴とする画像処理方法。
29. 蛍光灯照明下で画像上に生じるフリッカを検出する処理をコンピュータに実行させる画像処理プログラムにおいて、
    画像信号を１水平同期期間以上の単位で積分する積分手段、
    蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応する積分値を、前記積分手段による積分値を基に補間して生成する補間処理手段、
    前記補間処理手段からの積分値、または隣接するフィールドもしくはフレームにおける前記補間処理手段からの対応する積分値の差分値を、正規化する正規化手段、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段、
    前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。
30. 蛍光灯照明下で画像上に生じるフリッカを検出する処理をコンピュータに実行させる画像処理プログラムにおいて、
    前記画像信号を１水平同期期間以上の単位で積分する積分手段、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段、
    蛍光灯照明下で画面上に生じるフリッカの１周期分または複数周期分の期間にあらかじめ規定された一定数のサンプリング位置に対応するデータを、前記正規化手段による正規化後の積分値または差分値を基に補間して生成する補間処理手段、
    前記補間処理手段からの出力データのスペクトルを抽出する周波数解析手段、
    前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ推定手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。
31. 蛍光灯照明下で画像上に生じるフリッカを除去する処理をコンピュータに実行させる画像処理プログラムにおいて、
    前記画像信号を１水平同期期間以上の単位で積分する積分手段、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段、
    前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記フリッカ推定手段により推定されたフリッカ成分の離散値を基に補間して生成する補間処理手段、
    前記補間処理手段により補間されたフリッカ成分の推定値を基に前記画像信号からフリッカ成分を除去する画像補正手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。
32. 蛍光灯照明下で画像上に生じるフリッカを除去する処理をコンピュータに実行させる画像処理プログラムにおいて、
    前記画像信号を１水平同期期間以上の単位で積分する積分手段、
    前記積分手段による積分値、または隣接するフィールドもしくはフレームにおける積分値の差分値を、正規化する正規化手段、
    前記正規化手段による正規化後の積分値または差分値のスペクトルを抽出する周波数解析手段、
    前記周波数解析手段により抽出されたスペクトルから、蛍光灯照明下で画面上に生じるフリッカ成分を推定するフリッカ推定手段、
    前記フリッカ推定手段によるフリッカ成分の推定値を基に、フリッカ成分を打ち消すための補正パラメータを算出する補正パラメータ算出手段、
    前記画像信号に含まれるフリッカ成分の１周期分または複数周期分の期間に一定数だけ規定され、それぞれの出力タイミングが前記積分手段による積分単位またはその整数倍の期間に同期するように規定されたデータを、前記補正パラメータ算出手段により算出された前記補正パラメータの離散値を基に補間して生成する補間処理手段、
    前記補間処理手段により補間された前記補正パラメータを用いて前記画像信号からフリッカ成分を除去する画像補正手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。

Images