JP2010004302A - 信号処理装置、信号処理方法、制御プログラム、可読記録媒体、固体撮像装置および電子情報機器 - Google Patents

Abstract

【課題】撮影用の表示画像に悪影響を及ぼすことなく、高精度にフリッカー周波数を検出する。
【解決手段】入力画像信号に対する撮影画像処理とフリッカー検出処理に共通した信号処理を行う共通前処理部１０と、この共通前処理部１０からの画像信号に対して表示画像用の画像信号処理を行う撮影画像処理部２０と、この共通前処理部１０からの画像信号に対してフリッカー検出用の画像信号処理を行うフリッカー検出前処理部３０と、このフリッカー検出前処理部３０からの画像信号に基づいてフリッカー検出を行うフリッカー検出回路４０とを有している。
【選択図】図１

Description

本発明は、被写体からの画像光を光電変換して撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子などにより得られる画像信号から、フリッカーを検出する信号処理装置、信号処理方法、この信号処理方法の各ステップをコンピュータに実行させるための処理手順が記録された制御プログラム、この制御プログラムがデータとして格納されたコンピュータ読み取り可能な可読記憶媒体、この信号処理装置を用いた固体撮像装置および、この信号処理装置を含む固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置などの電子情報機器に関する。

従来より、インバータ方式を除く、交流電源を使用した蛍光灯下では、ＣＭＯＳ型撮像素子による撮像を行った場合、撮影画像にフリッカーノイズと呼ばれる横縞状の明暗が表示画面上に現れる。これは、蛍光灯の光量が電源電圧に依存して変化するために発生するものである。

これに対して、特許文献１において、前段処理部で撮影画像用に信号処理された画像信号から、フリッカー周波数を検出する方法が提案されている。

図１４は、特許文献１に開示されている従来のデジタル信号処理装置の要部構成例を示すブロック図である。

図１４において、従来のデジタル信号処理装置は、撮像装置に用いられ、前段処理部５０と、フリッカー検出低減部６０と、後段処理部７０とを有している。

前段処理部５０は、デジタルクランプ回路５１と、読み出しチャネル間ゲイン補正回路５２と、固定パターンノイズ低減回路５３と、欠陥画素データ補正回路５４と、ノイズ低減回路５５と、レンズシェーディング補正回路５６と、デジタルゲイン調整回路５７とを有し、撮像素子から得られたＲＧＢ原色信号をＡ／Ｄ変換した後のＲＧＢ原色信号をクランプし、さらに、クランプ後のＲＧＢ原色信号につき、読み出しチャネル間のゲインを補正し、固定パターンノイズを低減し、欠陥画素のデータを補正し、ノイズを低減し、レンズシェーディングを補正し、露光調整用にゲインを調整する。

デジタルクランプ回路５１は、アナログ信号処理部から入力される信号がＲＧＢ原色信号である場合、その入力ＲＧＢ原色信号の黒レベルを所定レベルにクランプする。

読み出しチャネル間ゲイン補正回路５２は、黒レベルがクランプされたＲＧＢ原色信号につき、ＣＭＯＳ撮像素子から複数の読み出しチャネルによって信号を読み出す場合における、読み出しチャネル毎の信号ゲインのバラツキがなくなるように、それぞれの読み出しチャネルの信号ゲインを補正する。

固定パターンノイズ低減回路５３は、読み出しチャネル間ゲイン補正後のＲＧＢ原色信号につき、上述した縦スジ状の固定パターンノイズを低減する。

欠陥画素データ補正回路５４は、この固定パターンノイズ低減後のＲＧＢ原色信号中の、後段処理部７０内の欠陥画素検出回路７４で検出された欠陥画素のデータ（画素値）を補正する。具体的には、欠陥画素の周辺画素のデータから、補間演算によって欠陥画素のデータが算出生成され、元のデータが、その算出生成されたデータに置き換えられる。

ノイズ低減回路５５は、この欠陥画素データ補正後のＲＧＢ原色信号につき、ノイズを低減する。この場合のノイズは、上記の固定パターンノイズとは異なる一般的な高周波ノイズで、具体的に、ＲＧＢ原色信号に対して、それぞれ低周波数成分のみを抽出するフィルタリング処理が実行されて、そのノイズが低減される。

レンズシェーディング補正回路５６は、このノイズ低減後のＲＧＢ原色信号につき、レンズシェーディング（中央部と周辺部などの結像位置によって信号量が異なる現象で、一般に、レンズの光軸中心から離れるほど、画像が暗くなり、信号量が減少する）を補正する。

デジタルゲイン調整回路５７は、図示しないシステムコントローラでのゲイン設定によって、露光調整用に、レンズシェーディング補正後のＲＧＢ原色信号のゲインを調整する明るさ調整を行う。この撮像装置では、露光量は、アイリス設定、電子シャッター速度設定、およびデジタルゲイン調整回路５７でのゲイン調整によって調整することができ、アイリス設定および電子シャッター速度の設定と連動して、デジタルゲイン調整回路７でゲインが調整されることによって、所望の露光量が得られ、自動露光調整機能も実現される。

フリッカー検出低減部６０は、蛍光灯のフリッカーを検出して、フリッカー成分を低減する。

後段処理部７０は、ホワイトバランス調整回路７１と、ガンマ補正回路７２と、合成マトリクス回路７３と、欠陥画素検出回路７４とを有し、フリッカー低減後のＲＧＢ原色信号につきホワイトバランスを調整し、ホワイトバランス調整後のＲＧＢ原色信号から撮像素子の欠陥画素を検出し、ガンマ補正後、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。

ホワイトバランス調整回路７１は、各ＲＧＢ原色信号の信号レベルのバランスを一定にするホワイトバランスのために各ゲインを調整する。

ガンマ補正回路７２では、ホワイトバランス調整後のＲＧＢ原色信号の階調を表示装置の階調特性に合わすように変換する。

合成マトリクス回路７３は、ガンマ補正後のＲＧＢ原色信号から、デジタル信号処理装置の出力として輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。

欠陥画素検出回路７４は、ホワイトバランス調整回路７１からの出力信号から、ＣＭＯＳ撮像素子の欠陥画素を検出して、その欠陥画素検出結果を欠陥画素データ補正回路５４に出力する。
特開２００５―３４７９３９号公報

ところが、上記特許文献１では、フリッカー検出精度を向上させるために前処理を行うと、撮影画像として不適切な補正をかけてしまうことがあった。
例えば、フリッカー検出では、レンズシェーディング補正回路５６で表示画面の中央部分から周辺部まで平坦（信号レベルが一定）になるような補正が為されることが望ましいが、そのことが逆に、撮影画像としては、図１５に示すように表示画面の中央部よりもその周辺部でゲインを大きくすると、その周辺部でノイズ成分Ｎも大きくなって強調され、周辺部でノイズ成分Ｎが大きい不適切な補正となる。要するに、フリッカー検出の精度を上げようとすると、撮影画像としてはノイズ成分Ｎが大きくなり、フリッカー検出精度と撮影画像の画質とは互いにトレードオフの関係にある。

このため、通常は、画質的には、表示画面の中央部から周辺部まで平坦（信号レベルが一定）になるようなシェーディング補正（１００パーセント補正）は行わないのであるが、この場合、レンズシェーディングによる空間周波数の低周波成分が残り、特に、フレームレートが速く、フリッカーノイズの明暗横縞の本数が少ない場合には、フリッカー検出で誤検出する虞があった。

本発明は、上記従来の問題を解決するもので、フリッカー検出のために撮影用の画像に悪影響を及ぼすことなく、高精度にフリッカー周波数が検出できる信号処理装置、信号処理方法、この信号処理方法の各ステップをコンピュータに実行させるための制御プログラム、この制御プログラムがデータとして格納されたコンピュータ読み取り可能な可読記憶媒体、この信号処理装置を用いた固体撮像装置および、この信号処理装置を含む固体撮像装置を画像入力デバイスとして撮像部に用いたカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。

本発明の信号処理装置は、入力画像信号に対する撮影画像処理とフリッカー検出処理に共通した信号処理を行う共通前処理手段と、該共通前処理手段からの画像信号に対して表示画像用の画像信号処理を行う撮影画像処理手段と、該共通前処理手段からの画像信号に対してフリッカー検出用の画像信号処理を行うフリッカー検出前処理手段と、該フリッカー検出前処理手段からの画像信号に基づいてフリッカー検出を行うフリッカー検出手段とを有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の信号処理装置におけるフリッカー検出手段は、前記フリッカー検出前処理手段からの画像信号の輝度信号情報を用いてフリッカー検出を行う。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出手段は、前記フリッカー検出前処理手段からの画像信号の輝度信号情報および色差信号情報を用いてフリッカー検出を行う。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出手段は、画像垂直方向の輝度信号の空間周波数を検出する輝度周波数検出手段と、該画像垂直方向の色差信号Ｕ，Ｖの空間周波数を検出する色差周波数検出手段とのうちの少なくとも該輝度周波数検出手段を有する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出手段は、前記フリッカー検出前処理手段からの画像信号のうちの輝度信号を表示画面のライン毎に垂直方向に順次積算する第１水平方向積算回路と、該第１水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第１周波数変換回路と、該離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第１周波数検出回路とを有する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出手段は、前記フリッカー検出前処理手段からの輝度信号を表示画面のライン毎に水平方向に順次積算する第１水平方向積算回路と、該第１水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第１周波数変換回路と、該第１周波数変換回路における離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第１周波数検出回路と、該フリッカー検出前処理手段からの色差信号Ｕを表示画面のライン毎に水平方向に順次積算する第２水平方向積算回路と、該第２水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第２周波数変換回路と、該第２周波数変換回路における離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第２周波数検出回路と、該フリッカー検出前処理手段からの色差信号Ｖを表示画面のライン毎に水平方向に順次積算する第３水平方向積算回路と、該第３水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第３周波数変換回路と、該第３周波数変換回路における離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第３周波数検出回路とを有する。

さらに、好ましくは、本発明の信号処理装置における第１周波数検出回路、前記第２周波数検出回路および前記第３周波数検出回路からの各フリッカー周波数における多数決により該フリッカー周波数を決定する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、画像水平方向と画像垂直方向のシェーディング補正手段を有する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、画像垂直方向のシェーディング補正手段を有する。

さらに、好ましくは、本発明の信号処理装置におけるシェーディング補正手段は、９０パーセント〜１００パーセントのシェーディング補正を行う。

さらに、好ましくは、本発明の信号処理装置における撮影画像処理手段は、画像水平方向と画像垂直方向のシェーディング補正手段を有する。

さらに、好ましくは、本発明の信号処理装置における撮影画像処理手段は、画像水平方向のシェーディング補正手段を有し、前記フリッカー検出前処理手段の画像垂直方向のシェーディング補正手段から入力されるデータを、該画像水平方向のシェーディング補正手段からのデータに乗算処理することにより、該撮影画像処理手段において、画像水平方向および画像垂直方向のシェーディング補正処理を行う。

さらに、好ましくは、本発明の信号処理装置における共通前処理手段は、画像垂直方向のシェーディング補正手段を有し、前記撮影画像処理手段は、該画像垂直方向のシェーディング補正手段から入力されるデータと乗算処理する画像水平方向のシェーディング補正手段を有し、前記フリッカー検出前処理手段は、該画像垂直方向のシェーディング補正手段からのデータを入力する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正手段を有する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間手段を有する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、表示画像の濃淡を補正する濃淡補正手段を有する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正手段と、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正手段と、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間手段と、表示画像の濃淡を補正する濃淡補正手段とを有する。

さらに、好ましくは、本発明の信号処理装置における濃淡補正手段は、コントラスト強調を行い、フリッカーによる表示画像の濃淡を強調処理する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正手段と、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正手段と、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間手段とを有する。

さらに、好ましくは、本発明の信号処理装置におけるフリッカー検出前処理手段は、明るさが所定値以上変化したかどうかを判定してフリッカー検出前処理を起動する明るさ変化判定手段を更に有する。

本発明の固体撮像装置は、被写体からの画像光を光電変換して撮像する複数の受光部が形成された撮像素子と、該撮像素子から得られるアナログ画像信号をデジタル変換するアナログ／デジタル変換手段と、該アナログ／デジタル変換手段からのデジタル画像信号が前記入力画像信号として入力される本発明の上記信号処理装置とを有するものであり、そのことにより上記目的が達成される。

本発明の電子情報機器は、本発明の上記信号処理装置を有する固体撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。

本発明の信号処理方法は、撮像素子より得られる画像信号をデジタル変換したデジタル画像信号に対して、撮影画像処理とフリッカー検出処理に共通した信号処理を行う共通前処理ステップと、該共通前処理ステップで得られた画像信号に対して表示画像用の画像信号処理を行う撮影画像処理ステップと、該共通前処理ステップで得られた画像信号に対してフリッカー検出用の画像信号処理を行うフリッカー検出前処理ステップと、フリッカー検出前処理ステップにより処理された画像信号からフリッカー検出を行うフリッカー検出ステップとを有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の信号処理方法におけるフリッカー検出ステップは、表示画像の垂直方向の輝度信号の空間周波数を検出する輝度周波数検出ステップと、該表示画像の垂直方向の色差信号の空間周波数を検出する色差周波数検出ステップとのうちの少なくとも輝度周波数検出ステップを有する。

さらに、好ましくは、本発明の信号処理方法におけるフリッカー検出前処理ステップに、画像の水平方向と垂直方向のうちの少なくとも垂直方向のシェーディング補正ステップを有する。

さらに、好ましくは、本発明の信号処理方法におけるフリッカー検出前処理ステップに、表示画像の濃淡を補正する濃淡補正ステップを有する。

さらに、好ましくは、本発明の信号処理方法におけるフリッカー検出前処理ステップは、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正ステップと、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正ステップと、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間ステップと、表示画像の濃淡を補正する濃淡補正ステップとを有する。

さらに、好ましくは、本発明の信号処理方法におけるフリッカー検出前処理ステップは、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正ステップと、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正ステップと、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間ステップとを有する。

本発明の制御プログラムは、本発明の上記信号処理方法の各ステップのうち少なくとも前記フリッカー検出前処理ステップおよび前記フリッカー検出ステップをコンピュータに実行させるための処理手順が記録されたものであり、そのことにより上記目的が達成される。

本発明の可読記憶媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用を説明する。

本発明においては、入力画像信号に対する撮影画像処理とフリッカー検出処理に共通した信号処理を行う共通前処理手段と、この共通前処理手段からの画像信号に対して表示画像用の画像信号処理を行う撮影画像処理手段と、この共通前処理手段からの画像信号に対してフリッカー検出用の画像信号処理を行うフリッカー検出前処理手段と、このフリッカー検出前処理手段からの画像信号に基づいてフリッカー検出を行うフリッカー検出手段とを有している。

これによって、フリッカー検出手段によりフリッカー検出処理を行うのに、撮影画像処理手段とは別系統のフリッカー検出前処理手段を設けて撮影画像処理手段とは別途処理を行うので、画像撮影用の表示画像に悪影響を及ぼすことなく、高精度にフリッカー周波数を検出することが可能となる。

また、これらの処理は、一部、若しくは、全部をソフトウェア処理方法として実現することも可能である。

以上により、本発明によれば、フリッカー検出手段によりフリッカー検出処理を行うのに、撮影画像処理手段とは別系統のフリッカー検出前処理手段を設けて撮影画像処理手段とは別途処理を行うため、撮影用の表示画像に悪影響を及ぼすことなく、高精度にフリッカー周波数を検出することができる。

以下に、本発明のハードウェア構成の信号処理装置および信号処理方法の実施形態１〜４および、本発明の一部または全部がソフトウェア構成の信号処理装置および信号処理方法の実施形態５、これらの信号処理装置および信号処理方法の実施形態１〜５のいずれかの構成を含む固体撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態６について、図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本発明の実施形態１に係る信号処理装置の要部構成例を示すブロック図である。

図１において、本実施形態１の信号処理装置１は、撮影画像用およびフリッカー検出用で共通の画像信号処理を行う共通前処理手段としての共通前処理部１０と、撮影画像用に画像信号処理を行う撮影画像処理手段としての撮影画像処理部２０と、フリッカー検出用に画像信号処理を行うフリッカー検出前処理手段としてのフリッカー検出前処理部３０と、フリッカー検出前処理部３０からの画像信号に基づいてフリッカー検出処理を行うフリッカー検出手段としてのフリッカー検出回路４０とを有している。

共通前処理部１０は、その一例として、入力信号の黒レベルが所定の値になるようクランプ処理するデジタルクランプ回路１１と、白傷や黒傷や固定ノイズなどを補正するための欠陥画素補正回路１２と、分光特性を改善するためのマトリックス補正回路１３とを有しており、撮像素子より得られる画像信号をアナログ／デジタル変換したデジタル画像信号が入力画像信号として入力され、この入力画像信号に対して、撮影画像とフリッカー検出に共通した信号処理を行う。

撮影画像処理部２０は、その一例として、撮影画像処理用にレンズシェーディングによる周辺光量落ちを補正するシェーディング補正回路２１と、光源の色温度により変化する３色のゲインを補正するホワイトバランス回路２２と、画像表示装置の表示特性やセンサーの階調特性に応じて画像信号を調整するガンマ補正回路２３と、入力された原色ＲＧＢ信号から輝度信号と色差信号を生成する補間回路２４とを有している。

フリッカー検出前処理部３０は、その一例として、フリッカー検出処理用にレンズシェーディングによる周辺光量落ちを補正するシェーディング補正手段としてのシェーディング補正回路３１と、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン回路３２と、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間回路３３とを有している。

シェーディング補正回路２１は、撮影画像処理用に画像水平方向と画像垂直方向のシェーディング補正処理を行い、シェーディング補正回路３１は、フリッカー検出処理用に画像水平方向と画像垂直方向のシェーディング補正処理を行ってもよいが、ここでは、画像垂直方向だけのシェーディング補正処理を行う。これは、フリッカー検出時に、ライン毎に表示画像の横方向（水平方向）に積算することから、シェーディング補正を画像垂直方向（縦方向だけ平坦にすればよい）に行うだけでよいため、回路規模の増大を防止できて、両方向のシェーディング補正時の同様の効果が得られるためである。

なお、シェーディング補正回路３１で画像垂直方向だけのシェーディング補正処理を行い、これを用いて、シェーディング補正回路２１で画像水平方向だけのシェーディング補正処理を行って乗算すれば、シェーディング補正回路２１の回路規模をさらに縮小させることができる。また、画像垂直方向だけのシェーディング補正回路が共通前処理部１０内に含まれていてもよく、このデータを撮影画像処理部２０およびフリッカー検出前処理部３０が入力するようにし、撮影画像処理部２０で画像水平方向だけのシェーディング補正処理をさらに行って互いに乗算するようにしてもよい。

フリッカー検出回路４０は、図２に示すように、補間回路３３からの画像信号のうちの輝度信号をライン毎に水平方向に積算する水平方向積算回路４１Ｙと、水平方向積算回路４１Ｙで積算された積算値に対して離散フーリエ変換などの処理を行う周波数変換回路４２Ｙと、離散フーリエ変換処理結果に基づいて、パワーが最大になる空間周波数を検出する周波数検出回路４３とを有しており、フリッカー検出前処理部３０の出力信号に存在するフリッカーノイズから蛍光灯の交流電源周波数（５０Ｈｚかまたは６０Ｈｚ）を検出する。

このフリッカー検出方法の一例を、図３を用いて詳細に説明する。

図３（ａ）の表示画像にフリッカーノイズによる輝度の横縞が現れた状態を示している。この表示画像（表示画面）を水平方向に投影したものが図３（ｂ）になり、蛍光灯の交流電源電圧の変動の絶対値をとったものが現れる。この周波数は、交流電源周波数の２倍（１００Ｈｚまたは１２０Ｈｚ）に一致する。表示画像の水平方向の投影として、水平方向積算回路４１Ｙで画像信号をライン毎に水平方向に積算し、その積算値を、周波数変換回路４２Ｙで離散フーリエ変換などの処理を行い、周波数検出回路４３で、離散フーリエ変換演算結果後の周波数成分のパワーが最大になる空間周波数を検出することにより、横縞に対応した表示画像の垂直方向の空間周波数が求まり、フリッカーノイズの原因となる蛍光灯の交流電源周波数を検出することができる。

なお、シャッター速度とフリッカーの１周期の整数倍とが一致すればフリッカーが発生しないので、フリッカー検出回路４０によって検出された交流電源周波数情報に基づき、図示していないシャッター速度制御回路で、シャッター速度を交流電源周波数の整数倍にする方法や、デジタルゲイン回路により信号レベルの低いラインのゲインを上げる方法で、フリッカーノイズを低減することができる。

（実施形態２）
上記実施形態１では、フリッカー検出回路４０において、輝度信号情報を用いてフリッカー検出を行う場合について説明したが、これに限らず、この輝度信号情報に加えて色差信号情報も利用してフリッカー検出を行う場合について説明する。

図４は、本発明の実施形態２に係る信号処理装置の要部構成例を示すブロック図である。なお、図４では、図１と同様の作用効果を奏する部材には同一の部材番号を付してその説明を省略する。

図４において、本実施形態２の信号処理装置１Ａは、撮影画像用およびフリッカー検出用で共通の画像信号処理を行う共通前処理手段としての共通前処理部１０と、撮影画像用に画像信号処理を行う撮影画像処理手段としての撮影画像処理部２０と、フリッカー検出用に画像信号処理を行うフリッカー検出前処理手段としてのフリッカー検出前処理部３０と、フリッカー検出前処理部３０からの画像信号に基づいてフリッカー検出処理を行うフリッカー検出手段としてのフリッカー検出回路４０Ａとを有している。

フリッカー検出回路４０Ａは、フリッカー検出前処理部３０からの画像信号の輝度信号情報および色差信号情報の両方を用いてフリッカー検出を行う。

フリッカー検出回路４０Ａは、図５に示すように、補間回路３３からの画像信号のうちの輝度信号をライン毎に水平方向に積算する水平方向積算回路４１Ｙと、水平方向積算回路４１Ｙで積算された積算値に対して離散フーリエ変換などの処理を行う周波数変換回路４２Ｙと、補間回路３３からの画像信号のうちの色差信号Ｕをライン毎に水平方向に積算する水平方向積算回路４１Ｕと、水平方向積算回路４１Ｕで積算された積算値に対して離散フーリエ変換などの処理を行う周波数変換回路４２Ｕと、補間回路３３からの画像信号のうちの色差信号Ｖをライン毎に水平方向に積算する水平方向積算回路４１Ｖと、水平方向積算回路４１Ｖで積算された積算値に対して離散フーリエ変換などの処理を行う周波数変換回路４２Ｖと、各離散フーリエ変換処理結果に基づいて、パワーが最大になる空間周波数を検出する周波数検出回路４３Ａとを有しており、フリッカー検出前処理部３０の出力信号に存在するフリッカーノイズから蛍光灯の交流電源周波数を検出する。なお、積算は水平、離散フーリエ変換は垂直に実施している。

図６（ａ）に表示画像にフリッカーノイズによる色差の横縞が現れた状態を示している。この表示画像をＲＧＢ信号のレベル別に表示画面の水平方向に投影したものが図６（ｂ）になり、色差信号を表示画面の水平方向に投影したものが図６（ｃ）となって、輝度フリッカーノイズと同様に、交流電源周波数の２倍（１００Ｈｚかまたは１２０Ｈｚ）の空間周波数を持っている。表示画面の水平方向の投影として、水平方向積算回路４１Ｙの他にも、水平方向積算回路４１Ｕおよび４１Ｖで画像信号をライン毎に表示画面の水平方向にそれぞれ積算し、周波数変換回路４２Ｙの他にも、周波数変換回路４２Ｕおよび４２Ｖで離散フーリエ変換等の処理を行い、周波数検出回路４３で輝度信号Ｙと色差信号Ｕ，Ｖの周波数成分のパワーが最大になる空間周波数を検出することにより、横縞に対応した画像の垂直方向の空間周波数が求まり、フリッカーノイズの原因となる蛍光灯の交流電源周波数（１００Ｈｚまたは１２０Ｈｚ）を検出する。この場合に、周波数変換回路４２Ｙ，４２Ｕおよび４２Ｖからの情報によりフリッカー周波数を特定しておいて多数決により最終的に決定することになる。要するに、いずれか一つに検出結果が出ない場合であっても、他の二つに検出結果が出ていればそれを採用することができる。

なお、フリッカー検出回路の回路規模を少なくしたい場合には、上記実施形態１のフリッカー検出回路４０のように、輝度信号情報だけを用いてフリッカー検出を行い、また、より誤検出を防止してフリッカー検出精度を上げたい場合には、本実施形態２のフリッカー検出回路４０Ａのように、輝度信号情報に加えて色差信号情報をも利用して情報量を増やした状態で信頼性の高いフリッカー検出を行うことができる。

（実施形態３）
上記実施形態１に示したフリッカー検出前処理部３０のシェーディング補正回路３１において、本実施形態３では、ノイズの増幅に注意をすることなく周辺部まで平坦になるような１００パーセントのシェーディング補正前処理を行う場合について説明する。

図７は、本発明の実施形態３に係る信号処理装置の要部構成例を示すブロック図である。なお、図７では、図１と同様の作用効果を奏する部材には同一の部材番号を付してその説明を省略する。

図７において、本実施形態３の信号処理装置１Ｂは、撮影画像用およびフリッカー検出用で共通の画像信号処理を行う共通前処理手段としての共通前処理部１０と、撮影画像用に画像信号処理を行う撮影画像処理手段としての撮影画像処理部２０と、フリッカー検出用に画像信号処理を行うフリッカー検出前処理手段としてのフリッカー検出前処理部３０Ｂと、フリッカー検出前処理部３０Ｂからの画像信号に基づいてフリッカー検出処理を行うフリッカー検出手段としてのフリッカー検出回路４０とを有している。

フリッカー検出前処理部３０Ｂは、その一例として、フリッカー検出処理用にレンズシェーディングによる周辺光量落ちを補正するシェーディング補正回路３１Ｂと、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン回路３２と、入力された原色ＲＧＢ信号から輝度信号と色差信号を生成する補間回路３３とを有している。

シェーディング補正回路３１Ｂは、表示画面の中央部分から周辺部分まで平坦（信号レベルが均等）になるような９０パーセント〜１００パーセント（ここでは１００パーセント）のシェーディング補正前処理を行う。

シェーディング補正回路２１は、撮影画像処理用に画像水平方向と画像垂直方向の７０〜８０パーセントのシェーディング補正処理を行い、シェーディング補正回路３１は、フリッカー検出処理用に画像垂直方向だけの１００パーセントのシェーディング補正処理を行う。これは、フリッカー検出時に、表示画面の水平方向のライン毎に水平方向に順次積算することから、シェーディング補正を画像垂直方向（縦方向だけ平坦にすればよい）に行うだけでよいため、回路規模の増大を防止できて同様の効果が得られるためである。

要するに、表示画像の中央部分に比べて周辺部でノイズ成分Ｎが大きくなるため、画質的には、表示画面の中央部から周辺部まで平坦（信号レベルが一定）になるようなシェーディング補正（１００パーセント補正）は行わないが（表示画像用には７０〜８０パーセントのシェーディング補正に抑えている）、フリッカー検出用には、１００パーセントのシェーディング補正を行う。この１００パーセントのシェーディング補正を画像水平方向と画像垂直方向に共に行うと、回路規模が増大する。ここでは、フリッカー検出時に、ライン毎に水平方向に積算することから、１００パーセントのシェーディング補正を画像垂直方向（縦方向だけ平坦にすればよい）に行うだけでよいため、回路規模の増大を防止できて、両方向にシェーディング補正を行う場合と同様の効果が得られる。

図８（ａ）に表示画像にレンズシェーディングによる周辺光量落ちが現れた状態を示している。この輝度値を表示画面の縦方向に投影したものが図８（ｂ）となる。この表示画像に図３（ｂ）に示すようなフリッカーノイズが重畳すると、図８（ｃ）のような投影となる。この場合、レンズシェーディングによる空間周波数とフリッカーノイズによる空間周波数が混在することになり、特に、フレームレートが速くなった場合に、フリッカーノイズの明暗横縞の本数が少くなるため、これら２つの要因の分離が困難になり、誤検出を行う可能性がある。

そこで、フリッカー検出の前処理として表示画面の中央部分から周辺部まで平坦になるシェーディング補正を行うことにより、要因の分離を容易にしてフリッカー周波数検出精度を高めることができる。

なお、このシェーディング補正は、前述したように、表示画像の垂直方向（縦方向）に対してのみ実施することでも効果を発揮することが可能であるため、回路規模の削減に有効である。この場合、シェーディング補正後の表示画像は図８（ｄ）のようになり、その投影は図８（ｅ）のように平坦になる。

なお、本実施形態３では、特に説明しなかったが、フリッカー検出回路４０の代わりに、上記実施形態２のフリッカー検出回路４０Ａを用いることもできる。

（実施形態４）
上記実施形態１に示したフリッカー検出前処理部３０において、フリッカー検出精度を上げるため、本実施形態４では、濃淡彩度補正回路を新たに加えて、使用者に呈示する表示画像への影響を考慮することなく濃淡や彩度を強調するような濃淡彩度補正前処理を行う場合について説明する。

図９は、本発明の実施形態４に係る信号処理装置の要部構成例を示すブロック図である。なお、図９では、図１と同様の作用効果を奏する部材には同一の部材番号を付してその説明を省略する。

図９において、本実施形態４の信号処理装置１Ｃは、撮影画像用およびフリッカー検出用で共通の画像信号処理を行う共通前処理手段としての共通前処理部１０と、撮影画像用に画像信号処理を行う撮影画像処理手段としての撮影画像処理部２０と、フリッカー検出用に画像信号処理を行うフリッカー検出前処理手段としてのフリッカー検出前処理部３０Ｃと、フリッカー検出前処理部３０Ｃからの画像信号に基づいてフリッカー検出処理を行うフリッカー検出手段としてのフリッカー検出回路４０または４０Ａとを有している。

フリッカー検出前処理部３０Ｃは、その一例として、フリッカー検出処理用にレンズシェーディングによる周辺光量落ちを補正するシェーディング補正回路３１と、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン回路３２と、入力された原色ＲＧＢ信号から輝度信号と色差信号を生成する補間回路３３と、画像の濃淡や彩度の階調特性を調整する濃淡補正手段としての濃淡彩度補正回路３４とを有している。

濃淡彩度補正回路３４は、図１０（ｃ）のＳ字曲線のように、入力信号では、明るくなるほどより明るく、暗い入力信号ではより暗くしている。一方、撮影画像処理部２０のガンマ補正回路２３では、図１０（ｄ）の曲線のように、暗い入力信号ではなるべく明るく、明るい入力信号ではそれほど明るさが変わらないようにしている。

このように、濃淡彩度補正回路３４をフリッカー検出前処理部３０Ｃに設けることにより、コントラスト強調を行い、フリッカーによる表示画像の濃淡を強調処理した画像データがフリッカー検出には望ましい。ところが、このような濃淡の強調処理が、撮影画像処理部２０の撮影画像の画像信号処理中にあるのは、画質的に不適切であることは明らかである。したがって、この濃淡彩度補正回路３４を、フリッカー検出回路４０または４０Ａのためのフリッカー検出前処理部３０Ｃに設けるのが好ましい。

輝度色差補正による検出精度向上のために、この前処理の一例を、図１０（ａ）および図１０（ｂ）を用いて説明する。図１０（ａ）のような非常に弱いフリッカーノイズが現れている画像の場合、輝度や色差を水平方向に投影したものは図１０（ｂ）のような、振幅の低いものとなる。

そこで、フリッカー検出の前処理としてこの表示画像に濃淡彩度補正回路３４により、図１０（ｃ）に示すようなＳ字特性を持った濃淡彩度補正処理を行うことにより、図３や図６に示すようなフリッカーノイズ振幅のある表示画像を生成してフリッカー周波数検出精度を高めることができる。

（実施形態５）
上記実施形態１〜４の各処理は、その各処理の一部または全部をソフトウェア処理として実現することも可能である。本実施形態５では、本発明の信号処理装置の一部または全部をソフトウェア構成とする場合について説明する。

図１１は、本発明の実施形態５に係る信号処理装置の要部コンピュータハード構成例を示すブロック図である。

図１１において、本実施形態５の信号処理装置５０Ａは、全体の制御を行う制御手段としてのＣＰＵ（中央演算処理装置）５１と、ＣＰＵ５１に対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などの操作部５２と、表示画面上に、初期画面、選択場面、ＣＰＵ５１による制御結果画面および操作入力画面などを表示する表示部５３と、制御プログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体としてのＲＯＭ５４と、起動時に制御プログラムおよびそのデータなどが読み出されて、ＣＰＵ５１による制御毎にデータを読み出し・記憶するワークメモリとして働く記憶部としてのＲＡＭ５５とを有している。

可読記録媒体としてのＲＯＭ５４としては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭ５４に記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ５４にダウンロードされてもよい。

制御手段としてのＣＰＵ５１は、制御プログラムおよびそのデータに基づいて、フリッカー検出用に画像信号処理を行うフリッカー検出前処理手段５１１と、フリッカー検出前処理手段５１１からの画像信号に基づいてフリッカー検出処理を行うフリッカー検出手段５１２とを実行する。

このフリッカー検出前処理手段５１１は、明るさが所定値以上変化したかどうかを判定してフリッカー検出前処理を起動する明るさ変化判定手段５１１ａと、フリッカー検出処理用にレンズシェーディングによる周辺光量落ちを補正するシェーディング補正手段５１１ｂと、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正手段５１１ｃと、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間手段５１１ｄと、画像の濃淡や彩度の階調特性を調整する濃淡彩度補正手段５１１ｅとを有している。なお、濃淡彩度補正手段５１１ｅはない場合もあり得る。

なお、ここでは、フリッカー検出処理は、比較的時間経過後に対応処理（低速処理）できるので、フリッカー検出前処理手段５１１およびフリッカー検出手段５１２（上記フリッカー検出前処理部３０または３０Ｂまたは３０Ｃ、および上記フリッカー検出部４０または４０Ａに対応）のフリッカー検出処理に対してソフトウェア処理とするが、図１の共通前処理部１０や撮影画像処理部２０については、ここでは、図１の場合と同様にハードウェア処理とする。高速処理を考慮しなければ、図１の共通前処理部１０や撮影画像処理部２０についても、ソフトウェア処理にすることができる。

ここでは、本実施形態５の信号処理装置１Ｄとして、図１の共通前処理部１０や撮影画像処理部２０のハードウェア処理と、フリッカー検出前処理手段５１１およびフリッカー検出手段５１２のソフトウェア処理とを有している。

上記構成により、その動作を説明する。

図１２は、図１１の信号処理装置の動作を説明するためのフローチャートである。

図１２に示すように、まず、ステップＳ１で、明るさ変化判定手段５１１ａにより、明るさが所定値以上変化したかどうかを判定し、明るさが所定値以上変化するまで待ち、明るさが所定値以上変化した場合にフリッカー検出前処理を起動して、次のステップＳ２の処理に移行する。明るさの検出は表示画面の所定の中央部分領域の明るさを所定フレーム数取り出して検出する。

次に、ステップＳ２で、シェーディング補正手段５１１ｂにより、フリッカー検出処理用にレンズシェーディングによる周辺光量落ちを補正する。

続いて、ステップＳ３で、デジタルゲイン補正手段５１１ｃにより、光源の色温度により変化する３色の信号レベルを補正する。

さらに、ステップＳ４で、補間手段５１１ｄにより、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する。

その後、ステップＳ５で、濃淡彩度補正手段５１１ｅにより、画像の濃淡や彩度の階調特性を調整してコントラスト強調を行う。

さらに、ステップＳ６で、フリッカー検出手段５１２により、フリッカー検出前処理手段５１１からの画像信号に基づいてフリッカー検出処理を行う。

なお、上記実施形態１〜５では、ＣＭＯＳ型撮像素子による実施例を記載したが、これに限定されるものではなく、ライン単位での露光を行う撮像素子にも実施可能である。また、上記実施形態１〜５では、原色フィルターによる実施例を記載したが、これに限定されるものではなく、補色フィルターを使用した撮像素子にも実施可能である。

（実施形態６）
図１３は、本発明の実施形態６として、本発明の実施形態１〜５のいずれかの信号処理装置を含む固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。

図１３において、本実施形態６の固体撮像装置９１は、被写体からの画像光を光電変換して撮像する複数の受光部が形成された撮像素子（図示せず）と、この撮像素子から得られるアナログ画像信号をデジタル変換するアナログ／デジタル変換手段（図示せず）と、このアナログ／デジタル変換手段からのデジタル画像信号が前記入力画像信号として入力される信号処理装置１、１Ａ、１Ｂ，１Ｃまたは１Ｄとを有している。

本実施形態６の電子情報機器９０は、撮像素子（図示せず）からの撮像信号を信号処理する上記実施形態１〜５のいずれかの信号処理装置１、１Ａ、１Ｂ，１Ｃまたは１Ｄからの画像信号を更に各種信号処理してカラー画像信号を得る固体撮像装置９１と、この固体撮像装置９１からのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９２と、この固体撮像装置９１からのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示手段９３と、この固体撮像装置９１からのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信手段９４とを有している。なお、この電子情報機器９０として、これに限らず、固体撮像装置９１の他に、メモリ部９２と、表示手段９３と、通信手段９４と、プリンタなどの画像出力手段９５とのうちの少なくともいずれかを有していてもよい。

この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。

したがって、本実施形態２によれば、この固体撮像装置９１からのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力手段９５により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９２に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。

以上により、本実施形態１〜５によれば、入力画像信号に対する撮影画像処理とフリッカー検出処理に共通した信号処理を行う共通前処理部１０と、この共通前処理部１０からの画像信号に対して表示画像用の画像信号処理を行う撮影画像処理部２０と、この共通前処理部１０からの画像信号に対してフリッカー検出用の画像信号処理を行うフリッカー検出前処理部３０と、このフリッカー検出前処理部３０からの画像信号に基づいてフリッカー検出を行うフリッカー検出回路４０とを有している。これによって、フリッカー検出回路４０によりフリッカー検出処理を行うのに、撮影画像処理部２０とは別系統のフリッカー検出前処理部３０を設けて、撮影画像処理部２０とは別途処理を行うため、画像撮影用の表示画像に悪影響を及ぼすことなく、高精度にフリッカー周波数を検出することができる。

なお、本実施形態１〜６では、特に説明しなかったが、本実施形態１〜５の特徴部分はそれらを適宜組み合わせて構成することができる。即ち、フリッカー検出回路４０（実施形態１）とフリッカー検出回路４０Ａ（実施形態１）、シェーディング補正回路３１とシェーディング補正回路３１Ｂ（実施形態３）、濃淡彩度補正回路３４（実施形態４）のうちの少なくともいずれかを有するように構成することができる。

なお、本実施形態１〜６では、特に説明しなかったが、蛍光体の発光特性と残光特性は、蛍光体の色によって異なるため、シャッター速度が高速になった場合に輝度の明暗と共に、色の変化も発生する。このため、輝度の変化に伴い発生する横縞と同様の、色の横縞が発生することがある。従来、フリッカー検出には、この情報が利用されておらず、フリッカー検出精度の向上のために、この情報も利用できるようにすることが必要である。

以上のように、本発明の好ましい実施形態１〜６を用いて本発明を例示してきたが、本発明は、この実施形態１〜６に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜６の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、被写体からの画像光を光電変換して撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子などにより得られる画像信号から、フリッカーを検出する信号処理装置、信号処理方法、この信号処理方法の各ステップをコンピュータに実行させるための処理手順が記録された制御プログラム、この制御プログラムがデータとして格納されたコンピュータ読み取り可能な可読記憶媒体、この信号処理装置を用いた固体撮像装置および、この信号処理装置を含む固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置などの電子情報機器の分野において、フリッカー検出回路によりフリッカー検出処理を行うのに、撮影画像処理部とは別系統のフリッカー検出前処理部を設けて、撮影画像処理部とは別途処理を行うため、撮影用の表示画像に悪影響を及ぼすことなく、高精度にフリッカー周波数を検出することができる。

本発明の実施形態１に係る信号処理装置の要部構成例を示すブロック図である。 図１のフリッカー検出回路の要部構成例を示すブロック図である。 （ａ）は、表示画像にフリッカーノイズによる輝度の横縞が現れた状態を示す表示画面図、（ｂ）は、表示画像を輝度信号レベルで水平方向に投影した図である。 本発明の実施形態２に係る信号処理装置の要部構成例を示すブロック図である。 図４のフリッカー検出回路の要部構成例を示すブロック図である。 （ａ）は、表示画像にフリッカーノイズによる色差の横縞が現れた状態を示す表示画面図、（ｂ）は、表示画像をＲＧＢ信号のレベル別に水平方向に投影した図、（ｃ）は、色差信号を水平方向に投影した図である。 本発明の実施形態３に係る信号処理装置の要部構成例を示すブロック図である。 （ａ）〜（ｅ）は、レンズシェーディングの影響軽減を説明する図である。 本発明の実施形態４に係る信号処理装置の要部構成例を示すブロック図である。 （ａ）〜（ｄ）は、輝度色差補正による検出精度向上を説明する図である。 本発明の実施形態５に係る信号処理装置の要部コンピュータハード構成例を示すブロック図である。 図１１の信号処理装置の動作を説明するためのフローチャートである。 本発明の実施形態６として、本発明の実施形態１〜５のいずれかの信号処理装置を含む固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 特許文献１に開示されている従来のデジタル信号処理装置の要部構成例を示すブロック図である。 レンズシェーディング補正によりノイズが大きくなる場合を説明するための図である。

符号の説明

１、１Ａ、１Ｂ、１Ｃ、１Ｄ 信号処理装置
１０ 共通前処理部
１１ デジタルクランプ回路
１２ 欠陥画素補正回路
１３ マトリックス補正回路
２０ 撮影画像処理部
２１ シェーディング補正回路
２２ ホワイトバランス回路
２３ ガンマ補正回路
２４ 補間回路
３０、３０Ｂ、３０Ｃ フリッカー検出前処理部
３１、３１Ｂ シェーディング補正回路
３２ デジタルゲイン回路
３３ 補間回路
３４ 濃淡彩度補正回路
４０、４０Ａ フリッカー検出部
４１Ｙ 水平方向積算回路（輝度Ｙ成分）
４１Ｕ 水平方向積算回路（色差Ｕ成分）
４１Ｖ 水平方向積算回路（色差Ｖ成分）
４２Ｙ 周波数変換回路（輝度Ｙ成分）
４２Ｕ 周波数変換回路（色差Ｕ成分）
４２Ｖ 周波数変換回路（色差Ｖ成分）
４３、４３Ａ 周波数検出回路
５０Ａ 信号処理装置
５１ ＣＰＵ（制御手段）
５１１ フリッカー検出前処理手段
５１２ フリッカー検出手段
５１１ａ 明るさ変化判定手段
５１１ｂ シェーディング補正手段
５１１ｃ デジタルゲイン補正手段
５１１ｄ 補間手段
５１１ｅ 濃淡彩度補正手段
５２ 操作部
５３ 表示部
５４ ＲＯＭ（記憶手段）
５５ ＲＡＭ（記憶手段）
９０ 電子情報機器
９１ 固体撮像装置
９２ メモリ部
９３ 表示手段
９４ 通信手段
９５ 画像出力手段

Claims (30)

1. 入力画像信号に対する撮影画像処理とフリッカー検出処理に共通した信号処理を行う共通前処理手段と、該共通前処理手段からの画像信号に対して表示画像用の画像信号処理を行う撮影画像処理手段と、該共通前処理手段からの画像信号に対してフリッカー検出用の画像信号処理を行うフリッカー検出前処理手段と、該フリッカー検出前処理手段からの画像信号に基づいてフリッカー検出を行うフリッカー検出手段とを有する信号処理装置。
2. 前記フリッカー検出手段は、前記フリッカー検出前処理手段からの画像信号の輝度信号情報を用いてフリッカー検出を行う請求項１に記載の信号処理装置。
3. 前記フリッカー検出手段は、前記フリッカー検出前処理手段からの画像信号の輝度信号情報および色差信号情報を用いてフリッカー検出を行う請求項１に記載の信号処理装置。
4. 前記フリッカー検出手段は、画像垂直方向の輝度信号の空間周波数を検出する輝度周波数検出手段と、該画像垂直方向の色差信号Ｕ，Ｖの空間周波数を検出する色差周波数検出手段とのうちの少なくとも該輝度周波数検出手段を有する請求項２または３に記載の信号処理装置。
5. 前記フリッカー検出手段は、前記フリッカー検出前処理手段からの画像信号のうちの輝度信号を表示画面のライン毎に水平方向に順次積算する第１水平方向積算回路と、該第１水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第１周波数変換回路と、該離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第１周波数検出回路とを有する請求項２〜４のいずれかに記載の信号処理装置。
6. 前記フリッカー検出手段は、前記フリッカー検出前処理手段からの輝度信号を表示画面のライン毎に水平方向に順次積算する第１水平方向積算回路と、該第１水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第１周波数変換回路と、該第１周波数変換回路における離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第１周波数検出回路と、
   該フリッカー検出前処理手段からの色差信号Ｕを表示画面のライン毎に水平方向に順次積算する第２水平方向積算回路と、該第２水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第２周波数変換回路と、該第２周波数変換回路における離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第２周波数検出回路と、
   該フリッカー検出前処理手段からの色差信号Ｖを表示画面のライン毎に水平方向に順次積算する第３水平方向積算回路と、該第３水平方向積算回路で積算された積算値に対して離散フーリエ変換処理を行う第３周波数変換回路と、該第３周波数変換回路における離散フーリエ変換処理結果の周波数成分のパワーが最大になる空間周波数を検出する第３周波数検出回路とを有する請求項３または４に記載の信号処理装置。
7. 前記第１周波数検出回路、前記第２周波数検出回路および前記第３周波数検出回路からの各フリッカー周波数における多数決により該フリッカー周波数を決定する請求項６に記載の信号処理装置。
8. 前記フリッカー検出前処理手段は、画像水平方向と画像垂直方向のシェーディング補正手段を有する請求項１に記載の信号処理装置。
9. 前記フリッカー検出前処理手段は、画像垂直方向のシェーディング補正手段を有する請求項１に記載の信号処理装置。
10. 前記シェーディング補正手段は、９０パーセント〜１００パーセントのシェーディング補正を行う請求項８または９に記載の信号処理装置。
11. 前記撮影画像処理手段は、画像水平方向と画像垂直方向のシェーディング補正手段を有する請求項１に記載の信号処理装置。
12. 前記撮影画像処理手段は、画像水平方向のシェーディング補正手段を有し、前記フリッカー検出前処理手段の画像垂直方向のシェーディング補正手段から入力されるデータを、該画像水平方向のシェーディング補正手段からのデータに乗算処理することにより、該撮影画像処理手段において、画像水平方向および画像垂直方向のシェーディング補正処理を行う請求項９に記載の信号処理装置。
13. 前記共通前処理手段は、画像垂直方向のシェーディング補正手段を有し、前記撮影画像処理手段は、該画像垂直方向のシェーディング補正手段から入力されるデータと乗算処理する画像水平方向のシェーディング補正手段を有し、前記フリッカー検出前処理手段は、該画像垂直方向のシェーディング補正手段からのデータを入力する請求項１に記載の信号処理装置。
14. 前記フリッカー検出前処理手段は、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正手段を有する請求項１に記載の信号処理装置。
15. 前記フリッカー検出前処理手段は、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間手段を有する請求項１に記載の信号処理装置。
16. 前記フリッカー検出前処理手段は、表示画像の濃淡を補正する濃淡補正手段を有する請求項１に記載の信号処理装置。
17. 前記フリッカー検出前処理手段は、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正手段と、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正手段と、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間手段と、表示画像の濃淡を補正する濃淡補正手段とを有する請求項１に記載の信号処理装置。
18. 前記濃淡補正手段は、コントラスト強調を行い、フリッカーによる表示画像の濃淡を強調処理する請求項１６または１７に記載の信号処理装置。
19. 前記フリッカー検出前処理手段は、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正手段と、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正手段と、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間手段とを有する請求項１に記載の信号処理装置。
20. 前記フリッカー検出前処理手段は、明るさが所定値以上変化したかどうかを判定してフリッカー検出前処理を起動する明るさ変化判定手段を更に有する請求項１７または１９に記載の信号処理装置。
21. 被写体からの画像光を光電変換して撮像する複数の受光部が形成された撮像素子と、該撮像素子から得られるアナログ画像信号をデジタル変換するアナログ／デジタル変換手段と、該アナログ／デジタル変換手段からのデジタル画像信号が前記入力画像信号として入力される請求項１〜２０のいずれかに記載の信号処理装置とを有する固体撮像装置。
22. 請求項１〜２０のいずれかに記載の信号処理装置を有する固体撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。
23. 撮像素子より得られる画像信号をデジタル変換したデジタル画像信号に対して、撮影画像処理とフリッカー検出処理に共通した信号処理を行う共通前処理ステップと、該共通前処理ステップで得られた画像信号に対して表示画像用の画像信号処理を行う撮影画像処理ステップと、該共通前処理ステップで得られた画像信号に対してフリッカー検出用の画像信号処理を行うフリッカー検出前処理ステップと、フリッカー検出前処理ステップにより処理された画像信号からフリッカー検出を行うフリッカー検出ステップとを有する信号処理方法。
24. 前記フリッカー検出ステップは、表示画像の垂直方向の輝度信号の空間周波数を検出する輝度周波数検出ステップと、該表示画像の垂直方向の色差信号の空間周波数を検出する色差周波数検出ステップとのうちの少なくとも輝度周波数検出ステップを有する請求項２３に記載の信号処理方法。
25. 前記フリッカー検出前処理ステップに、画像の水平方向と垂直方向のうちの少なくとも垂直方向のシェーディング補正ステップを有する請求項２３に記載の信号処理方法。
26. 前記フリッカー検出前処理ステップに、表示画像の濃淡を補正する濃淡補正ステップを有する請求項２３に記載の信号処理方法。
27. 前記フリッカー検出前処理ステップは、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正ステップと、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正ステップと、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間ステップと、表示画像の濃淡を補正する濃淡補正ステップとを有する請求項２３に記載の信号処理方法。
28. 前記フリッカー検出前処理ステップは、レンズシェーディングによる周辺光量落ちを補正するシェーディング補正ステップと、光源の色温度により変化する３色の信号レベルを補正するデジタルゲイン補正ステップと、入力された原色ＲＧＢ信号から輝度信号Ｙと色差信号Ｕ，Ｖを生成する補間ステップとを有する請求項２３に記載の信号処理方法。
29. 請求項２３〜２８のいずれかに記載の信号処理方法の各ステップのうち少なくとも前記フリッカー検出前処理ステップおよび前記フリッカー検出ステップをコンピュータに実行させるための処理手順が記録された制御プログラム。
30. 請求項２９に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体。