JP2004007402A

JP2004007402A - フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム

Info

Publication number: JP2004007402A
Application number: JP2003014742A
Authority: JP
Inventors: Shinichi Arasaki; 荒崎　真一
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-03-25
Filing date: 2003-01-23
Publication date: 2004-01-08
Anticipated expiration: 2023-01-23
Also published as: US7289144B2; US20040012692A1; JP4337353B2

Abstract

【課題】通常の被写体の撮像時におけるフリッカの検出精度を向上させる。
【解決手段】フリッカ検出手段３は、シャッタ時間の異なる２枚の画像を撮像素子１から取り込み、これら２枚の画像のフリッカ成分の変動状態に基づいて、フリッカが発生しているかどうかを判断する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明はフリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラムに関し、特に、フォーカルプレーンシャッタ方式により露出制御が行われる撮像装置に適用して好適なものである。
【０００２】
【従来の技術】
従来の撮像装置では、ＣＭＯＳセンサなどのように、各ラインごとのシャッタ動作を可能として、フォーカルプレーンシャッタ方式と同様な露光方法を用いて、撮像を行うものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、フォーカルプレーンシャッタ方式と同様な露光方法を用いる撮像装置では、フリッカ光源下で撮像が行われると、シャッタ時間によっては、画像に横縞が発生するという問題がある。すわわち、フォーカルプレーンシャッタ方式と同様な露光方法を用いる撮像装置では、ラインごとのシャッタタイミングが異なっている。また、フリッカ光源は、所定の周期で輝度が変動する。
【０００４】
このため、フリッカ光源の輝度が高い時にシャッタが切られるラインでは、そこに多くの電荷量が蓄積され、そのラインの画素は高輝度になる。一方、フリッカ光源の輝度が低い時にシャッタが切られるラインでは、そこに少しの電荷量が蓄積され、そのラインの画素は低輝度になる。
【０００５】
この結果、フリッカ光源下で撮像される画像では、各ラインの輝度が周期的に変動し、画像に横縞が発生する。従って、輝度が均一な被写体をフリッカ光源下で撮像した場合には、画像に現れた横縞を監視することにより、フリッカの発生を容易に検出することができる。
【０００６】
一方、フリッカ光源下で、通常の風景などを撮像した場合では、画像に現れた横縞を単に監視するだけは、その横縞がフリッカの影響を反映したものなのか、風景自体の輝度差を反映したものなのかを区別することが難しい。このため、風景や人物などの被写体を通常に撮像しただけでは、フリッカの発生を検出することが困難だった。
【０００７】
そこで、本発明は、被写体を通常に撮像した時におけるフリッカの検出精度を向上させることが可能なフリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラムを提供することである。
【０００８】
【課題を解決するための手段】
上述した課題を解決するために、請求項１記載のフリッカ検出装置によれば、シャッタ時間の異なる画像を取り込む画像取込手段と、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するフリッカ判定手段とを備えることを特徴とする。
【０００９】
これにより、シャッタ時間を変化させた際に、被写体自体の輝度の変動に比べて、フリッカ成分の変動を強調させることが可能となるため、被写体自体の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となる。このため、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出することが可能となり、フリッカ光源下で撮像された画像の画質を向上させることが可能となる。
【００１０】
また、請求項２記載のフリッカ検出装置によれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする。これにより、フリッカ成分が被写体自体の輝度の変動に埋もれることを抑制しつつ、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出することが可能となる。
【００１１】
また、請求項３記載のフリッカ検出装置によれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする。これにより、シャッタ時間を短くした際の露出量を維持しつつ、フリッカ成分の変動を強調させることが可能となり、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出することが可能となる。
【００１２】
また、請求項４記載のフリッカ検出装置によれば、前記フリッカ判定手段は、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行う周波数解析手段を備え、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断することを特徴とする。これにより、被写体自体の様々の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となり、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出することが可能となる。
【００１３】
また、請求項５記載のフリッカ検出装置によれば、前記周波数解析手段は、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うことを特徴とする。これにより、ラインごとのシャッタタイミングが異なっている場合においても、解析に用いるデータのＳ／Ｎ比の向上を図りつつ、フリッカ成分を精度よく検出することが可能となる。
【００１４】
また、請求項６記載のフリッカ補正装置によれば、シャッタ時間の異なる画像を取り込む画像取込手段と、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するフリッカ判定手段と、前記フリッカの発生が検出された場合、シャッタタイミングをフリッカ周期の整数倍に設定するシャッタタイミング設定手段とを備えることを特徴とする。
【００１５】
これにより、フォーカルプレーンシャッタ方式と同様な露光方法を用いて、フリッカ光源下で撮像を行う場合においても、シャッタタイミングを変更するだけで、フリッカの影響を低減させて、画質を向上させることが可能となる。また、請求項７記載のフリッカ補正装置によれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする。
【００１６】
これにより、フリッカ成分が被写体自体の輝度の変動に埋もれることを抑制しつつ、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出して、フリッカ成分を補正することが可能となる。また、請求項８記載のフリッカ補正装置によれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする。
【００１７】
これにより、シャッタ時間を短くした際の露出量を維持しつつ、フリッカ成分の変動を強調させることが可能となり、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出して、フリッカ成分を補正することが可能となる。また、請求項９記載のフリッカ補正装置によれば、前記フリッカ判定手段は、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行う周波数解析手段を備え、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断することを特徴とする。
【００１８】
これにより、被写体自体の様々の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となり、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出して、フリッカ成分を補正することが可能となる。また、請求項１０記載のフリッカ補正装置によれば、前記周波数解析手段は、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うことを特徴とする。
【００１９】
これにより、ラインごとのシャッタタイミングが異なっている場合においても、解析に用いるデータのＳ／Ｎ比の向上を図ることができるので、フリッカ成分を精度よく検出して、フリッカ成分を補正することが可能となる。また、請求項１１記載の撮像装置によれば、各ラインごとにシャッタ動作を行うことにより、画像を撮像する撮像手段と、前記撮像手段のシャッタ時間を制御するシャッタ時間制御手段と、前記シャッタ時間の異なる画像を取り込む画像取込手段と、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するフリッカ判定手段とを備えることを特徴とする。
【００２０】
これにより、全面が真っ白な特殊な被写体を用いることなく、被写体を通常に撮像することで、フリッカ成分を抽出することが可能となり、撮像手段の各ラインごとのシャッタタイミングが異なる場合においても、フリッカ光源下で撮像された画像の画質を向上させることが可能となる。また、請求項１２記載の撮像装置によれば、前記フリッカ判定手段によりフリッカの発生が検出された場合、前記撮像手段のシャッタタイミングをフリッカ周期の整数倍に設定するシャッタタイミング設定手段をさらに備えることを特徴とする。
【００２１】
これにより、撮像手段の各ラインごとのシャッタタイミングが異なる場合においても、シャッタタイミングを変更するだけで、フリッカの影響を低減させることが可能となる。また、請求項１３記載の撮像装置によれば、前記画像取込手段により取り込まれる画像の撮像時に、ピンボケになるようにレンズ位置を制御するピンボケ画像生成手段をさらに備えることを特徴とする。
【００２２】
これにより、フリッカ成分を検出する際の被写体の濃淡の影響を軽減することができ、様々の被写体が撮像対象となる場合においても、フリッカ成分の抽出精度を向上させることが可能となる。また、請求項１４記載の撮像装置によれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする。
【００２３】
これにより、様々の被写体を撮像した場合においても、フリッカ成分が被写体自体の輝度の変動に埋もれることを抑制しつつ、真っ白な特別の被写体を用いることなく、フリッカ成分を精度よく抽出して、フリッカ成分を補正することが可能となる。また、請求項１５記載の撮像装置によれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする。
【００２４】
これにより、シャッタ時間を短くした際の露出量を維持しつつ、フリッカ成分の変動を強調させることが可能となり、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出して、撮像画像の画質を向上させることが可能となる。また、請求項１６記載の撮像装置によれば、前記フリッカ判定手段は、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行う周波数解析手段を備え、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断することを特徴とする。
【００２５】
これにより、被写体自体の様々の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となり、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出して、撮像画像の画質を向上させることが可能となる。また、請求項１７記載の撮像装置によれば、前記周波数解析手段は、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うことを特徴とする。
【００２６】
これにより、ラインごとのシャッタタイミングが異なっている場合においても、解析に用いるデータのＳ／Ｎ比の向上を図ることができるので、フリッカ成分を精度よく検出して、撮像画像の画質を向上させることが可能となる。また、請求項１８記載のフリッカ検出プログラムによれば、シャッタ時間の異なる画像を取り込むステップと、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するステップとをコンピュータに実行させることを特徴とする。
【００２７】
これにより、シャッタ時間を変化させた際に、被写体自体の輝度の変動に比べて、フリッカ成分の変動を強調させることが可能となるため、被写体自体の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となる。このため、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出することが可能となり、フリッカ光源下で撮像された画像の画質を向上させることが可能となる。
【００２８】
また、請求項１９記載のフリッカ検出プログラムによれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする。これにより、フリッカ成分が被写体自体の輝度の変動に埋もれることを抑制しつつ、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出することが可能となる。
【００２９】
また、請求項２０記載のフリッカ検出プログラムによれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする。これにより、シャッタ時間を短くした際の露出量を維持しつつ、フリッカ成分の変動を強調させることが可能となり、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出することが可能となる。
【００３０】
また、請求項２１記載のフリッカ検出プログラムによれば、前記フリッカの発生を判定するステップは、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行うステップと、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断するステップとを備えることを特徴とする。
【００３１】
これにより、被写体自体の様々の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となり、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出することが可能となる。また、請求項２２記載のフリッカ検出プログラムによれば、前記周波数解析を行うステップは、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うステップを備えることを特徴とする。
【００３２】
これにより、ラインごとのシャッタタイミングが異なっている場合においても、解析に用いるデータのＳ／Ｎ比の向上を図ることができるので、フリッカ成分を精度よく検出することが可能となる。また、請求項２３記載のフリッカ補正プログラムによれば、シャッタ時間の異なる画像を取り込むステップと、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を検出するステップと、前記フリッカの発生が検出された場合、シャッタタイミングをフリッカ周期の整数倍に設定するステップとを備えることを特徴とする。
【００３３】
これにより、フリッカ光源下でシャッタタイミングを各ラインごとに変化させつつ撮像を行う場合においても、シャッタタイミングを変更するだけで、フリッカの影響を低減させて、画質を向上させることが可能となる。また、請求項２４記載のフリッカ補正プログラムによれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする。
【００３４】
これにより、フリッカ成分が被写体自体の輝度の変動に埋もれることを抑制しつつ、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出して、フリッカ成分を補正することが可能となる。また、請求項２５記載のフリッカ補正プログラムによれば、前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする。
【００３５】
これにより、シャッタ時間を短くした際の露出量を維持しつつ、フリッカ成分の変動を強調させることが可能となり、様々の被写体が撮像対象となる場合においても、フリッカ成分を精度よく抽出して、フリッカ成分を補正することが可能となる。また、請求項２６記載のフリッカ補正プログラムによれば、前記フリッカの発生を判定するステップは、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行うステップと、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断するステップとを備えることを特徴とする。
【００３６】
これにより、被写体自体の様々の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となり、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出して、フリッカ成分を補正することが可能となる。また、請求項２７記載のフリッカ補正プログラムによれば、前記周波数解析を行うステップは、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うステップを備えることを特徴とする。
【００３７】
これにより、ラインごとのシャッタタイミングが異なっている場合においても、解析に用いるデータのＳ／Ｎ比の向上を図ることができるので、フリッカ成分を精度よく検出して、フリッカ成分を補正することが可能となる。
【００３８】
【発明の実施の形態】
以下、本発明の実施形態に係るフリッカ検出方法について、図面を参照しながら説明する。図１は、本発明の一実施形態に係る撮像装置の概略構成を示すブロック図である。図１において、撮像装置には、被写体５の撮像を行う撮像素子１、撮像素子１から出力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄコンバータ２、撮像素子１で撮像された画像に基づいてフリッカ検出を行うフリッカ検出手段３、撮像素子１を駆動する駆動回路４が設けられている。
【００３９】
また、駆動回路４には、シャッタタイミング制御部４ａおよびシャッタ時間制御部４ｂが設けられ、シャッタタイミング制御部４ａは、撮像素子１のシャッタタイミングを各ラインごとに制御し、シャッタ時間制御部４ｂは、撮像素子１のシャッタ時間を各ラインごとに制御する。なお、撮像素子１は、フォーカルプレーンシャッタ方式と同様な露光方法を用いて撮像を行うもので、例えば、ＣＭＯＳセンサを用いることができる。
【００４０】
そして、フリッカの検出を行う場合、フリッカ検出手段３は、シャッタ時間制御部４ｂを介して撮像素子１のシャッタ時間を制御し、シャッタ時間の異なる２枚の画像を撮像素子１から取り込む。そして、フリッカ検出手段３は、撮像素子１から取り込んだ２枚の画像から、フリッカ成分に基づく空間周波数成分を抽出し、この空間周波数成分の変動を調べる。そして、シャッタ時間を変化させた際の画像の輝度の変動に比べ、フリッカ成分に基づく空間周波数成分の変動が大きい場合には、フリッカが発生していると判断する。
【００４１】
すなわち、撮像素子１のシャッタ時間を短くすると、その分だけ撮像素子１の露光量が減少し、撮像素子１で撮像された画像の輝度もその分だけ減少する。そして、光源６の光強度が時間的に変化しない場合には、どのタイミングで露光を行っても、撮像素子１の各画素に入射する光量は一定なので、シャッタ時間を短くすると、撮像素子１の各画素の露光量は均一に減少する。
【００４２】
一方、光源６がフリッカ光源の場合では、光強度が周期的に変動しているため、各画素の露光時のタイミングが異なると、撮像素子１の各画素に入射する光量も変動する。そして、シャッタ時間が長い場合には、光強度が強い時と弱い時とに跨って、撮像素子１の露光が行われるため、各画素間での露光量は均一化される。一方、フリッカ光源下でシャッタ時間を短くすると、あるライン上の画素は、光強度が強い時に露光され、別のライン上の画素は、光強度が弱い時に露光されるようになる。
【００４３】
このため、シャッタ時間を変化させて撮像を行うことにより、シャッタ時間を変化させた場合の画像の輝度の変動に比べて、フリッカ成分の変動を強調させることが可能となり、被写体５自体の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となる。図２は、本発明の一実施形態に係るフリッカ画像のシャッタ時間依存性を示す図である。ここで、図２（ａ）は、撮像素子１のシャッタ時間が０．４３／１２０ｓｅｃ、図２（ｂ）は、撮像素子１のシャッタ時間が１／１２０ｓｅｃの場合を示す。なお、シャッタ時間としては、１ラインの走査時間を１として定義し、その単位をそのまま用いた。また、被写体５として真っ白な画像を用い、光源６として蛍光灯を用い、光源６を電源周波数＝６０Ｈｚで駆動した場合について実験した。
【００４４】
図２（ａ）において、シャッタ時間が０．４３／１２０ｓｅｃの場合、光源６のフリッカの影響が画像に大きく反映され、画像に横縞が発生していることがわかる。一方、図２（ｂ）において、シャッタ時間が１／１２０ｓｅｃの場合、シャッタ時間の増加に伴って、画像が明るくなっているが、光源６のフリッカの影響が抑制され、画像の横縞がほぼ消滅していることがわかる。ここで、シャッタ時間が１／１２０ｓｅｃの場合、電源周波数＝６０Ｈｚで光源６を駆動すると、フリッカの一周期分に相当する。
【００４５】
このため、光源６の光強度が周期的に変動する状況下で、各ラインごとのシャッタタイミングを変化させた場合においても、各ラインに入射する光量は一定となり、画像の横縞が消滅するようになる。一方、シャッタ時間が０．４３／１２０ｓｅｃの場合、あるラインでは、露出時間がフリッカの輝度の高い範囲に限定され、別のラインでは、露出時間がフリッカの輝度の低い範囲に限定されるため、各ラインごとの露出量が変動し、画像に横縞が発生する。
【００４６】
図３は、本発明の一実施形態に係るフリッカ検出方法の原理を説明する図である。図３（ａ）において、光源６のフリッカ周期をＴとした場合、撮像素子１のシャッタ時間をＴに設定すると、どのようなタイミングｔ１、ｔ２で露光を開始しても、光源６の光強度が最大の時点から最小の時点に跨って露光されるため、各画素に入射する光量は一定となり、各画素の露光量の最大値Ｆｍａｘと最小値Ｆｍｉｎは一致する。
【００４７】
次に、図３（ｂ）において、撮像素子１のシャッタ時間をＴ／２に設定すると、タイミングｔ３で露光が開始された画素では、光源６の光強度が大きい範囲に絞り込まれて露光され、タイミングｔ４で露光が開始された画素では、光源６の光強度が小さい範囲に絞り込まれて露光されるため、各画素の露光量の最大値Ｆｍａｘと最小値Ｆｍｉｎの変動幅が増加する。
【００４８】
さらに、図３（ｃ）において、撮像素子１のシャッタ時間をさらに短くし、撮像素子１のシャッタ時間をＴ／４に設定すると、露光時の光強度の範囲がさらに狭くなる。そして、タイミングｔ５で露光が開始された画素では、光源６の光強度の大きい範囲にさらに絞り込まれて露光され、タイミングｔ６で露光が開始された画素では、光源６の光強度が小さい範囲にさらに絞り込まれて露光されるため、各画素の露光量の最大値Ｆｍａｘと最小値Ｆｍｉｎの変動幅はさらに増加する。
【００４９】
この結果、撮像素子１のシャッタ時間を光源６のフリッカ周期Ｔより小さくしていくことにより、各画素の露光量の最大値Ｆｍａｘと最小値Ｆｍｉｎの変動幅を増加させることができ、撮像画像に現れる横縞を強調させることができる。このため、撮像素子１のシャッタ時間を変化させた際の横縞の現れ方を調べることにより、光源６がフリッカ光源であるかどうかを判別することができる。
【００５０】
ここで、撮像素子１のシャッタ時間を光源６のフリッカ周期Ｔから短くしていくほど、撮像画像に現れる横縞を強調させることができる。このため、フリッカの影響を調べるには、周撮像素子１のシャッタ時間をなるべく短くすることが好ましいが、撮像素子１のシャッタ時間をあまり短くすると、撮像素子１の露光量が減り、Ｓ／Ｎ比が劣化する。
【００５１】
従って、撮像素子１のシャッタ時間としては、例えば、フリッカ光源の周期と、その周期の１／２のシャッタ時間に設定することが好ましい。図４は、本発明の一実施形態に係るシャッタ時間とフリッカによる振幅の最大値・最小値との関係を示す図である。ここで、フリッカ光源として蛍光ランプを用い、蛍光ランプの光量は、印加電圧に対してサイン波で単純化し、印加電圧が正と負との間で切り替わるときも、蛍光ランプの光量が０になることはないので、オフセットＡを加えた。
【００５２】
そして、この仮定に従うと、蛍光ランプの光強度ｆ（ｘ）は、（１）式で定義することができる。
【００５３】
ｆ（ｘ）＝ｓｉｎｘ＋Ａ　　　　　　　　　　　　・・・（１）
そして、光強度がｆ（ｘ）のように変化する光源下で、シャッタ時間Δｔで撮像した場合、撮像素子１で捕らえられる光量ｇ（ｘ）は、（２）式に示すように、シャッタ時間分の光強度ｆ（ｘ）の積分となる。
【００５４】
【数１】

【００５５】
（２）式を、最大値および最小値を算出できる式に変形すると、（３）式に示すようになる。
ｇ（ｘ）＝２・ｓｉｎ（Δｔ／２）・ｓｉｎ（（２ｔ＋Δｔ）／２）
＋Δｔ・Ａ　　　　　　　　　　　　　　　　　・・・（３）
従って、（３）式から、（２）式の最大値ｐｅａｋ１（Δｔ）および最小値ｐｅａｋ２（Δｔ）は、（４）、（５）式に示すように求めることができる。
ｐｅａｋ１（Δｔ）＝２・ｓｉｎ（Δｔ／２）＋Δｔ・Ａ　・・・（４）
ｐｅａｋ２（Δｔ）＝−２・ｓｉｎ（Δｔ／２）＋Δｔ・Ａ・・・（５）
この（４）、（５）式の最大値ｐｅａｋ１（Δｔ）および最小値ｐｅａｋ２（Δｔ）を図示すると、図４の曲線Ａ１、Ｂ１となる。また、図４の曲線Ｃ１は、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）との比を示すもので、図４においては、見やすくするために、この比を５倍した値ｐｅａｋ１（Δｔ）／ｐｅａｋ２（Δｔ）×５が示されている。
【００５６】
また、図４の曲線Ｄ１は、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）とが一致する値を示すもので、図４においては、曲線Ｃ１との比較のために、この値を５倍した値が示されている。ここで、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）との比ｐｅａｋ１（Δｔ）／ｐｅａｋ２（Δｔ）が１となるシャッタ時間では、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）とが一致し、フリッカ光源下で撮像された場合でも、フリッカのない画像を得ることができる。
【００５７】
そして、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）とが一致するシャッタ時間Δｔは、図４では、曲線Ｃ１と曲線Ｄ１との交点に対応し、２π（Ｒａｄｉａｎ）の整数倍のシャッタ時間Δｔに相当することがわかる。また、図４において、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）との比ｐｅａｋ１（Δｔ）／ｐｅａｋ２が１から外れる程、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）との差が大きくなり、フリッカの影響が画像に強く現れるので、フリッカの検出を容易に行うことができる。
【００５８】
そして、シャッタ時間Δｔが短くなる程、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）との差が広がるので、フリッカの検出がより一層容易になる。一方、シャッタ時間Δｔが大きくなると、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）との差が小さくなり、フリッカによる影響なのか、被写体５自体の濃淡が現れたのかの判別が困難になる。
【００５９】
このため、フリッカの検出に用いる画像としては、最大値ｐｅａｋ１（Δｔ）と最小値ｐｅａｋ２（Δｔ）とが最初に一致するシャッタ時間Δｔ＝２π（Ｒａｄｉａｎ）で撮像された画像と、それよりも短いシャッタ時間Δｔで撮像された画像とを用いることが好ましいことがわかる。そして、フリッカ光源下で被写体５を通常に撮像すると、フリッカ成分の他に、被写体５自体の濃淡も写し込まれるので、撮像画像からフリッカの空間周波数成分のみを検出するために、離散フーリエ変換を行う。
【００６０】
ここで、フリッカ光源の周波数は、通常５０Ｈｚまたは６０Ｈｚなので、離散フーリエ変換により、これらの空間周波数成分のみの抽出を行う。ただし、フォーカルプレーンシャッタ方式と同様な露光方法を用いる場合、同一ライン上の画素のシャッタタイミングは同一となる。このため、各ラインごとに画素値を平均化した値（以下、ライン値と呼ぶ）を用い、このライン値に１次元の離散フーリエ変換を行うことにより、フリッカ成分の抽出を行う。
【００６１】
例えば、横３６０×縦２９０画素のＣＩＦサイズの画像の場合、３６０個の画素値が各ラインごとに平均化され、２９０個のデータを得ることができる。撮像素子の総画素数が縦３００画素である場合、０．１１１１ｍｓ／ラインとなるので、以下の（６）〜（９）式のようになる。
５０ｃｏｓ（ｘ）＝ｃｏｓ（２π×（５０×２）×０．１１１１）／ＬＮ・・・（６）
５０ｓｉｎ（ｘ）＝ｓｉｎ（２π×（５０×２）×０．１１１１）／ＬＮ・・・（７）
６０ｃｏｓ（ｘ）＝ｃｏｓ（２π×（６０×２）×０．１１１１）／ＬＮ・・・（８）
６０ｓｉｎ（ｘ）＝ｓｉｎ（２π×（６０×２）×０．１１１１）／ＬＮ・・・（９）
ただし、ＬＮは、ラインの総数である。また、５０Ｈｚおよび６０Ｈｚのいずれの場合も、蛍光ランプは、電源周波数の２倍でフリッカが発生する。さらに、有限の周波数解析を行うので、式（６）〜（９）には、ハミング窓などの窓関数を施す必要がある。
【００６２】
また、カラー画像の場合、輝度成分の変化のみを抽出すれば、フリッカ成分を検出することができる。このため、撮像素子１に対して、例えば、ＲＧＢモザイク配列のカラーフィルタが塗布されている場合、グリーンの画素のみを用いてフリッカ成分を検出するようにしてもよい。
【００６３】
図５は、本発明の一実施形態に係るフリッカ検出手段の動作を示すフローチャートである。図５において、図１のフリッカ検出手段３は、シャッタ時間制御部４ｂを介して撮像素子１のシャッタ時間をＳ１に設定し、シャッタ時間Ｓ１で撮像された画像データをＡ／Ｄコンバータ２を介して取り込む（ステップＳ１）。
【００６４】
次に、フリッカ検出手段３は、シャッタ時間Ｓ１で撮像された画像データに対し、各ラインごとに画素値を平均化してライン値を求め、これらのライン値に対して、１次元の離散フーリエ変換を行う（ステップＳ２）。ここで、シャッタ時間Ｓ１としては、例えば、フリッカ光源の周期に一致するシャッタ時間を用いることができる。
【００６５】
次に、フリッカ検出手段３は、シャッタ時間制御部４ｂを介して撮像素子１のシャッタ時間をＳ２に設定し、シャッタ時間Ｓ２で撮像された画像データをＡ／Ｄコンバータ２を介して取り込む（ステップＳ３）。次に、フリッカ検出手段３は、シャッタ時間Ｓ２で撮像された画像データに対し、各ラインごとに画素値を平均化してライン値を求め、これらのライン値に対して、１次元の離散フーリエ変換を行う（ステップＳ４）。
【００６６】
ここで、シャッタ時間Ｓ２としては、例えば、フリッカ光源の周期の１／２のシャッタ時間を用いることができる。次に、Ｓ２とＳ４で検出された離散フーリエ変換値に対して、露光時間を考慮した正規化を行う（ステップ５）。シャッタ時間Ｓ１で撮像された画像の１次元離散フーリエ変換値と、シャッタ時間Ｓ２で撮像された画像の１次元離散フーリエ変換値を正規化した値をそれぞれＦｌ１，Ｆｌ２とする。これらの正規化した値をフリッカ検出係数と呼ぶことにする。
【００６７】
フリッカ検出手段３は、Ｆｌ１とＦｌ２を比較し、これらの値の差分が規定値以下かどうかを判別する（ステップＳ６）。そして、これらの値の差分が規定値以下の場合、図１の光源６は、フリッカ光源でないとみなして、通常の撮像を行う（ステップＳ７）。一方、これらの値の差分が規定値を超える場合、図１の光源６は、フリッカ光源であるとみなして、フリッカ補正を行いながら撮像を行う（ステップＳ８）。
【００６８】
ここで、フリッカ補正を行いながら撮像を行う方法として、各ラインごとのシャッタタイミングを２π（Ｒａｄｉａｎ）の整数倍に設定することができる。図６は、本発明の一実施形態に係る撮像装置のシャッタタイミング設定方法を示す図である。図６において、フリッカ光の周期をＴとすると、各ラインごとのシャッタタイミングをｎＴ（ｎは正の整数）とすることにより、各ラインごとのフリッカ光の強度変化の範囲を一致させることができる。
【００６９】
このため、フリッカ光源下で撮像を行う場合においても、フリッカの影響を抑制して、画質を向上させることができる。図７は、本発明の一実施形態に係るフリッカ検出係数のシャッタ時間依存性を示す図である。ここで、被写体５としては、真っ白な画像を用い、光源６としては、色評価用蛍光ランプおよび一般に使われる昼光色の蛍光ランプを用いた場合について評価を行い、実際に撮像素子１を使用する場合には、５０Ｈｚと６０Ｈｚとのいずれの成分も検出する必要があるので、これら２種類のフリッカ成分の両方を算出した。
【００７０】
さらに、離散フーリエ変換は有限の周波数解析であり、窓関数を用いる必要があるため、窓関数としてハニング窓を用いて評価を行った。なお、図７（ａ）は、色評価用蛍光ランプを用いて評価を行った場合、図７（ｂ）は、昼光色の蛍光ランプを用いて評価を行った場合を示す。図７において、Ａ２、Ａ３は、５０Ｈｚのフリッカ成分を検出した場合、Ｂ２、Ｂ３は、６０Ｈｚのフリッカ成分を検出した場合を示す。
【００７１】
実際に使用するレンズでは、周辺光量の落ち込みの影響が考えられる。このため、窓関数としてハニング窓を用いることにより、レンズの周辺光量の落ち込みの影響を減らす効果も期待できる。また、フリッカの影響のない１／１２０ｓｅｃにシャッタ時間を設定した場合に比べ、それ以外のシャッタ時間では、フリッカ成分が検出されていることがわかる。
【００７２】
このため、フリッカの影響のない１／１２０ｓｅｃのシャッタ時間で撮像された画像のフリッカ検出係数と、それ以外のシャッタ時間で撮像された画像のフリッカ検出係数とを比較することにより、フリッカの発生を検出することができる。ここで、フリッカ成分の比較に使用する２枚の画像のシャッタ時間として、フリッカの影響のない１／１２０ｓｅｃのシャッタ時間と、そのほぼ１／２の０．４３／１２０ｓｅｃのシャッタ時間とを用いることにより、フリッカ検出係数の差分を大きくすることができ、フリッカの発生を精度よく検出することが可能となる。
【００７３】
なお、フリッカ成分の比較に使用する２枚の画像のシャッタ時間として、フリッカの影響のない１／１２０ｓｅｃのシャッタ時間と、それよりも長いシャッタ時間とを用いることも可能であるが、あまりシャッタ時間を長くすると、撮像素子１の出力自体が飽和して、フリッカ成分が埋もれる場合がある。一方、シャッタ時間をあまり短くしすぎると、露光量が不足してノイズの影響が大きくなり、フリッカ成分の検出精度が劣化する。
【００７４】
このため、フリッカ検出係数を求めるためのシャッタ時間としては、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２程度のシャッタ時間に設定することが好ましい。次に、被写体５として、真っ白なサンプル画像ではなく、通常の撮像対象となるサンプル画像を用いた場合の評価例について説明する。
【００７５】
図８〜１１はそれぞれ、図１２（ａ）〜１３（ｂ）のサンプル画像を用いた場合におけるフリッカ検出係数のシャッタ時間依存性を示す図である。ここで、光源６としては、昼光色の蛍光ランプおよびトロピカルＴＬ−５００＋５７００Ｋフィルタを用いた場合について評価を行い、５０Ｈｚおよび６０Ｈｚの両方のフリッカ成分を算出した。また、窓関数としてハニング窓を用いて評価を行った。
【００７６】
なお、トロピカルＴＬ−５００＋５７００Ｋフィルタは、フリッカのない光源として用いたもので、昼光色の蛍光ランプを用いた場合の比較例として評価した。図８（ｂ）〜１１（ｂ）において、トロピカルＴＬ−５００＋５７００Ｋフィルタを用いた場合には（フリッカなし）、シャッタ時間を変化させても、フリッカ検出係数はほとんど変化しないことがわかる。
【００７７】
一方、図８（ａ）〜１１（ａ）において、昼光色の蛍光ランプを用いた場合には（フリッカあり）、シャッタ時間を変化させることにより、フリッカ検出係数が変化し、フリッカの影響のない１／１２０ｓｅｃのシャッタ時間で撮像された画像のフリッカ検出係数と、それ以外のシャッタ時間で撮像された画像のフリッカ検出係数とは異なることがわかる。
【００７８】
ただし、図１２（ａ）〜１３（ｂ）のように、被写体５自体に濃淡のあるサンプル画像を用いた場合には、真っ白なサンプル画像を用いた場合に比べて、被写体５自体に濃淡の影響により、フリッカの影響が目立たなくなる傾向になることがわかる。そして、フリッカ成分の比較に使用する２枚の画像のシャッタ時間として、例えば、フリッカの影響のない１／１２０ｓｅｃのシャッタ時間と、そのほぼ１／２のシャッタ時間とを用いることにより、フリッカ検出係数の差分を大きくすることができ、その差分が０．０３程度以上あるかどうかを調べることにより、フリッカ光源かどうかの判別を行うことが可能となる。
【００７９】
【発明の効果】
以上説明したように、本発明によれば、被写体自体の濃淡が混在した画像から、フリッカ成分を効率よく抽出することが可能となるため、被写体を通常に撮像した場合においても、フリッカの発生を精度よく検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態に係るフリッカ画像のシャッタ時間依存性を示す図である。
【図３】本発明の一実施形態に係るフリッカ検出方法の原理を説明する図である。
【図４】本発明の一実施形態に係るシャッタ時間とフリッカによる振幅の最大値・最小値との関係を示す図である。
【図５】本発明の一実施形態に係るフリッカ検出手段の動作を示すフローチャートである。
【図６】本発明の一実施形態に係る撮像装置のシャッタタイミング設定方法を示す図である。
【図７】本発明の一実施形態に係るフリッカ検出係数のシャッタ時間依存性を示す図である。
【図８】図１２（ａ）のサンプル画像を用いた場合におけるフリッカ検出係数のシャッタ時間依存性を示す図である。
【図９】図１２（ｂ）のサンプル画像を用いた場合におけるフリッカ検出係数のシャッタ時間依存性を示す図である。
【図１０】図１３（ａ）のサンプル画像を用いた場合におけるフリッカ検出係数のシャッタ時間依存性を示す図である。
【図１１】図１３（ｂ）のサンプル画像を用いた場合におけるフリッカ検出係数のシャッタ時間依存性を示す図である。
【図１２】本発明の一実施形態に係るフリッカ検出実験に使用したサンプル画像を示す図である。
【図１３】本発明の一実施形態に係るフリッカ検出実験に使用したサンプル画像を示す図である。
【符号の説明】
１　撮像素子、
２　Ａ／Ｄコンバータ、
３　フリッカ検出手段、
４　駆動回路、
４ａ　シャッタタイミング制御部、
４ｂ　シャッタ時間制御部、
５　被写体、
６　光源

Claims

シャッタ時間の異なる画像を取り込む画像取込手段と、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するフリッカ判定手段とを備えることを特徴とするフリッカ検出装置。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする請求項１記載のフリッカ検出装置。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする請求項２記載のフリッカ検出装置。
前記フリッカ判定手段は、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行う周波数解析手段を備え、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断することを特徴とする請求項１〜３のいずれか１項記載のフリッカ検出装置。
前記周波数解析手段は、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うことを特徴とする請求項４記載のフリッカ検出装置。
シャッタ時間の異なる画像を取り込む画像取込手段と、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するフリッカ判定手段と、前記フリッカの発生が検出された場合、シャッタタイミングをフリッカ周期の整数倍に設定するシャッタタイミング設定手段とを備えることを特徴とするフリッカ補正装置。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする請求項６記載のフリッカ補正装置。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする請求項７記載のフリッカ補正装置。
前記フリッカ判定手段は、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行う周波数解析手段を備え、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断することを特徴とする請求項６〜８のいずれか１項記載のフリッカ補正装置。
前記周波数解析手段は、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うことを特徴とする請求項９記載のフリッカ補正装置。
各ラインごとにシャッタ動作を行うことにより、画像を撮像する撮像手段と、
前記撮像手段のシャッタ時間を制御するシャッタ時間制御手段と、
前記シャッタ時間の異なる画像を取り込む画像取込手段と、
前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するフリッカ判定手段とを備えることを特徴とする撮像装置。
前記フリッカ判定手段によりフリッカの発生が検出された場合、前記撮像手段のシャッタタイミングをフリッカ周期の整数倍に設定するシャッタタイミング設定手段をさらに備えることを特徴とする請求項１１記載の撮像装置。
前記画像取込手段により取り込まれる画像の撮像時に、ピンボケになるようにレンズ位置を制御するピンボケ画像生成手段をさらに備えることを特徴とする請求項１１または１２記載の撮像装置。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする請求項１１〜１３のいずれか１項記載の撮像装置。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする請求項１４記載の撮像装置。
前記フリッカ判定手段は、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行う周波数解析手段を備え、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断することを特徴とする請求項１１〜１５のいずれか１項記載の撮像装置。
前記周波数解析手段は、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うことを特徴とする請求項１６記載の撮像装置。
シャッタ時間の異なる画像を取り込むステップと、前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定するステップとをコンピュータに実行させることを特徴とするフリッカ検出プログラム。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする請求項１８記載のフリッカ検出プログラム。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする請求項１９記載のフリッカ検出プログラム。
前記フリッカの発生を判定するステップは、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行うステップと、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断するステップとを備えることを特徴とする請求項１８〜２０のいずれか１項記載のフリッカ検出プログラム。
前記周波数解析を行うステップは、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うステップを備えることを特徴とする請求項２１記載のフリッカ検出プログラム。
シャッタ時間の異なる画像を取り込むステップと、
前記シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を検出するステップと、
前記フリッカの発生が検出された場合、シャッタタイミングをフリッカ周期の整数倍に設定するステップとを備えることを特徴とするフリッカ補正プログラム。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、それよりも短いシャッタ時間であることを特徴とする請求項２３記載のフリッカ補正プログラム。
前記シャッタ時間は、フリッカの発生しない最も短いシャッタ時間と、そのシャッタ時間の１／２のシャッタ時間であることを特徴とする請求項２４記載のフリッカ補正プログラム。
前記フリッカの発生を判定するステップは、前記シャッタ時間の異なる各画像に対し、フリッカ成分の周波数解析を行うステップと、各画像から抽出されたフリッカ成分の差分が規定値以上の場合、フリッカが発生していると判断するステップとを備えることを特徴とする請求項２３〜２５のいずれか１項記載のフリッカ補正プログラム。
前記周波数解析を行うステップは、各ライン上の画素値の加算結果に基づいて、１次元の離散フーリエ変換を行うステップを備えることを特徴とする請求項２５記載のフリッカ補正プログラム。