JP2011259390A

JP2011259390A - フリッカ検出装置

Info

Publication number: JP2011259390A
Application number: JP2010134414A
Authority: JP
Inventors: Takeshi Ioka; 健井岡
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-06-11
Filing date: 2010-06-11
Publication date: 2011-12-22

Abstract

【課題】フレーム間およびフレーム内のフリッカ成分を高精度で検出できるフリッカ検出装置を提供する。
【解決手段】第１フリッカ成分算出手段103で算出した第１フリッカ成分に基づいて、各画素が特異であるか否か、すなわち、非フリッカ画素か、動き画素か、ノイズ画素か否かを判別する。そして、それらの特異画素を除外した特異でない画素のみを用いて第２フリッカ成分算出手段108により第２フリッカ成分を算出する。
【選択図】図１

Description

本発明は、映像信号に含まれるフリッカ成分を検出するフリッカ検出装置に関するものである。

例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどのＸＹアドレス方式の撮像素子を用いる撮像装置では、蛍光灯などの電源周波数に対応して明るさが変動する照明下で動画撮影を行うと、連続するフレーム間あるいは一フレーム内の垂直方向に周期的な明暗が現れる横縞模様のフリッカが発生する。

以下、このフリッカの発生原理について説明する。世界の交流電源周波数は、５０Ｈｚと６０Ｈｚとに大別される。周波数が５０Ｈｚの交流電源で蛍光灯などを点灯させた場合、その照明光は、電源電流の振幅が最も大きくなったときに最も明るくなるので、電源周波数の２倍の周波数である１００Ｈｚで光量が変動する。そのため、このように明るさが周期的に変動する蛍光灯の下で、ＣＭＯＳ型撮像素子を用いる撮像装置により動画撮影を行うと、各フレームおよび各ラインにおける光電荷の蓄積タイミングが異なることになる。その結果、入射される光量に対応して、撮像素子の各フレームおよび各ラインの出力が変動する。そして、その出力の変動が、表示画面上で輝度レベルの変動として現れて、フリッカとして認識される。

例えば、撮影フレーム周期が１／３０秒（３０Ｈｚ）の場合は、３フレーム周期で照明の明るさの位相が揃うため、３フレーム周期毎に各フレームの輝度レベルが変動する。ここでは、この輝度レベルの変動を、フレーム間フリッカと呼ぶ。さらに、ＣＭＯＳ型撮像素子の場合は、１ライン毎に光電荷の蓄積タイミングが異なるため、フレーム内ライン毎の輝度が異なり、表示画面上で明暗の横縞模様として認識される。ここでは、この横縞模様の輝度レベルの変動を、フレーム内フリッカと呼ぶ。このように、フレーム間フリッカおよびフレーム内フリッカが発生すると、撮影画像の画質劣化を引き起こすことになる。

同様に、電源周波数が６０Ｈｚの場合は、その照明光は電源電流の振幅が最も大きくなったときに最も明るくなるので、電源周波数の２倍の周波数である１２０Ｈｚで光量が変動する。

このように、明るさが周期的に変動する蛍光灯の下で、ＣＭＯＳ型撮像素子を用いる撮像装置により動画撮影を行うと、各フレームおよび各ラインにおける光電荷の蓄積タイミングが少しずつ異なる。その結果、入射する光量に応じて、撮像素子の各フレームおよび各ラインの出力が変動し、その変動が表示画面上で輝度レベルの変動として現れて、フリッカとして認識される。

例えば、電源周波数が６０Ｈｚで、撮影フレーム周期が１／３０秒（３０Ｈｚ）の場合は、フレーム周期が光量変動周期の整数倍となる。この場合、電源周波数が５０Ｈｚの場合に発生するようなフレーム毎の輝度レベルの変動は、原理的には発生しない。しかし、電源周波数が６０Ｈｚ付近で変動する場合は、画面の明暗がフレーム毎に動くように見えるため、画質劣化を引き起こすことになる。さらに、ＣＭＯＳ型撮像素子の場合は、１ライン毎に光電荷の蓄積タイミングが異なるため、そのフリッカ成分が１フレーム内に現れて、表示画面上で明暗の横縞模様として認識されることになり、画質劣化を引き起こすことになる。

このようなフリッカの補正方法として、従来、（１）シャッタ速度（撮像素子の蓄積時間）をフリッカ成分の生じない速度に適切に設定する方法、（２）画像処理によりフリッカ成分を軽減あるいは除去する方法、が知られている。

上記（１）の方法では、例えば、電源周波数が５０Ｈｚの場合、１／１００秒で照明の明るさが変動するので、シャッタ速度を１／１００秒の整数倍に設定する。このようにすれば、撮像素子に蛍光灯の照明光のみが入射している場合、各ラインの読み出しタイミングが違っても、各ラインの入射光量が同じとなる。その結果、撮像素子の出力は一定となって、フリッカ成分が発生しない。つまり、シャッタ速度を電源周期の整数倍で、かつフレーム周期以内に設定することで、フリッカ成分の発生を防止する。

上記（２）の方法として、例えば、特許文献１や特許文献２に開示されている方法がある。特許文献１に開示の方法は、撮像素子における光電荷の蓄積時間が、各ラインで異なる撮像装置において、連続した３ｎ（ｎは正の整数）フレーム内の各画素の出力信号レベルを、当該連続した３ｎフレーム内の各画素の出力信号レベルの平均値で除算する。そして、除算した値の逆数に比例するように、当該連続した３ｎフレーム内の各画素の出力信号レベルを増幅する利得を制御する。これにより、放電による照明光を使用した際に発生するフリッカ成分を軽減する。

あるいは、連続した３ｎフレーム内のそれぞれ複数の画素からなる各画素群の出力総信号レベルを、当該連続した３ｎフレーム内の複数の画素群の出力総信号レベルの平均値で除算し、その除算した値の逆数に比例するように、当該連続した３ｎフレーム内の各画素の出力信号レベルを増幅する利得を制御する。

また、特許文献２に開示の方法は、フレームを複数の領域に区分し、画素値（画素レベル）の加算と領域毎に割り当てたメモリ領域への加算結果の書き込みおよび読み出しとを行って、領域内の画素値を領域毎に積算する。そして、その積算結果と積算結果メモリに既に書き込まれている同一領域の積算結果とを用いて、静止画領域であるか否かを領域毎に判別する。その後、静止画領域と判別された領域の積算結果を平均化し、その平均化された積算結果と領域内の画素値を領域毎に積算して得た積算結果とに基づいてフリッカ成分（レベル）を画面単位で算出して、フリッカ成分を除去する。

特開平１０−９３８６６号公報特開２００７−６７７３６号公報

しかしながら、上記（１）の従来のフリッカの補正方法は、シャッタ速度を一定の速度にする必要があるため、撮影シーンによってカメラの制御が制限されることになる。その結果、例えば、非常に明るいシーンを撮影する場合、フリッカ補正のためにシャッタ速度を１／１００秒または１／６０秒に設定すると、入射光量が多くなって映像信号レベルが飽和し、映像が白とびして表示されなくなる。

また、上記（２）の特許文献１に開示の方法は、連続した３ｎフレーム間に、被写体の動きなどによって映像信号の輝度レベルに変動があった場合や、フリッカ成分が撮影シーンの中の一部の領域のみ存在する場合に、利得を正確に算出できない。そのため、フレーム間およびフレーム内のフリッカを軽減できないことになる。

さらに、上記（２）の特許文献２に開示の方法は、グローバルシャッタを用いるイメージセンサで、かつ動画領域と静止画領域とが混在するシーンに対しては、フレーム間の明暗のようなフリッカ成分を有効に検出することができる。しかし、ＣＭＯＳイメージセンサのようなＸＹアドレス方式の撮像素子を用いて、蛍光灯などの電源周波数に対応して明るさが変動する照明下で撮影を行う場合は、フレーム内の垂直方向に周期的な明暗の横縞模様として現れるフリッカを検出することができない。

本発明は、上述した課題を解決し、フレーム間およびフレーム内のフリッカ成分を高精度で検出でき、フリッカを効果的に補正可能なフリッカ検出装置を提供することを目的とするものである。

上記目的を達成する第１の観点に係るフリッカ検出装置の発明は、
映像信号のフレームの画素値に基づいて各ラインの第１特徴量を算出する第１特徴量算出手段と、
前記映像信号の現フレームを最新フレームとする順次の複数フレームにおける各ラインの前記第１特徴量に基づいて、各ラインの第２特徴量を算出する第２特徴量算出手段と、
前記第１特徴量と前記第２特徴量とに基づいて、前記現フレームにおける各ラインの第１フリッカ成分を算出する第１フリッカ成分算出手段と、
前記現フレームを最新フレームとする順次の複数フレームにおける画素値に基づいて各画素の第３特徴量を算出する第３特徴量算出手段と、
前記第１フリッカ成分、前記第３特徴量、および、前記現フレームにおける画素値に基づいて、フリッカに依存しない特異画素を判別する特異画素判別手段段と、
前記特異画素の判別結果に基づいて、前記現フレームから前記特異画素を除いた画素の画素値を取得して各ラインの第４特徴量を算出する第４特徴量算出手段と、
前記現フレームを最新フレームとする順次の複数フレームにおける各ラインの前記第４特徴量に基づいて、各ラインの第５特徴量を算出する第５特徴量算出手段と、
前記第４特徴量と前記第５特徴量とに基づいて、前記現フレームにおけるフリッカを補正するための各ラインの第２フリッカ成分を算出する第２フリッカ成分算出手段と、
を有することを特徴とするものである。

かかる構成において、例えば、第１フリッカ成分は、フリッカの検出結果として用いて、フリッカを軽減することも可能である。しかし、第１フリッカ成分は、撮影シーンの中に、蛍光灯に照明されているフリッカ領域と蛍光灯に照明されていない領域とが混在して場合や、動画領域と静止画領域とが混在して場合、あるいはノイズの影響を強く受けている領域がある場合、本来のフリッカ成分を正確に反映していない。そのため、これを用いてフリッカを補正すると、過補正や、補正不足が起きる可能性がある。その点、本発明においては、第１フリッカ成分を基準にして、各画素が特異であるか否かを判断し、特異でない画素を用いて第２フリッカ成分を算出する。したがって、非フリッカ画素、動き画素、ノイズ画素を除外して、フリッカを高精度で検出でき、これによりフリッカ成分を過不足なく効果的に補正することが可能となる。

第２の観点に係る発明は、第１の観点に係るフリッカ検出装置において、
前記映像信号の元フレームの少なくともライン数を減少させた縮小フレームを生成する画像縮小手段をさらに有し、
前記画像縮小手段により生成された前記縮小フレームに対して、前記第１特徴量の算出処理、前記第２特徴量の算出処理、前記第１フリッカ成分の算出処理、前記第３特徴量の算出処理、前記特異画素の判別処理、前記第４特徴量の算出処理および前記第５特徴量の算出処理、および前記第２フリッカ成分の算出処理を実行する、ことを特徴とするものである。

かかる構成によると、解像度の大きい動画のフリッカを高速に検出することが可能となる。つまり、動画のフリッカ補正では、フレーム毎に当該フレームを補正するためのフリッカ成分を求める必要がある。その際、特に解像度の大きい動画の場合は、ライン数が多いため、全てのラインについてフリッカ成分を求めると、計算量が膨大となり、装置のコストアップや、計算時間による遅延が生じることが懸念される。その点、本発明では、元フレームの少なくともライン数を減少させた縮小フレームからフリッカ成分を検出するので、解像度の大きい動画の場合でも、フリッカ成分を高速に検出することが可能となる。また、本来高速化のためにハードウェア化しなければならない計算も、ソフトウェア処理により実現可能となるので、装置のコストダウンが図れる。

第３の観点に係る発明は、第２の観点に係るフリッカ検出装置において、
前記元フレームに対応する第３フリッカ成分を生成するフリッカ成分補間手段をさらに有し、
前記フリッカ成分補間手段により、前記縮小フレームに対して算出された前記第２フリッカ成分を補間して、前記元フレームと同じライン数に対応する前記第３フリッカ成分を生成する、ことを特徴とするものである。

これにより、解像度の大きい動画のフリッカ成分を、その縮小画像から算出されたフリッカ成分から、簡単かつ高速に算出することが可能となる。

第４の観点に係る発明は、第１，２または３の観点に係るフリッカ検出装置において、
前記第２フリッカ成分をラインと直交する方向に平滑化するフリッカ成分平滑化手段を、さらに有することを特徴とするものである。

かかる構成によると、フリッカをより高精度に補正可能なフリッカ成分を検出することが可能となる。例えば、撮影シーンの中に、蛍光灯に照明されているフリッカ領域と蛍光灯に照明されていない領域とが混在している場合、動画領域と静止画領域とが混在して場合、あるいはノイズの影響を強く受けている領域がある場合、第２フリッカ成分がライン間において、急激に変化することがある。この場合、第２のフリッカ成分を用いてフレームのフリッカ補正が行われると、フリッカが過補正されて、補正後の画面に横筋状の高周波成分が現れる場合があることが想定される。この点、本発明におけるように、各ラインの第２フリッカ成分を、ラインと直交する方向に平滑化処理して出力すれば、これによりフリッカをより高精度に補正することが可能となる。

第５の観点に係る発明は、第１〜４のいずれか一の観点に係るフリッカ検出装置において、
前記第１特徴量算出手段は、前記第１特徴量として、各ラインの画素値の積算値を算出し、
前記第２特徴量算出手段は、前記第２特徴量として、前記第１特徴量の平均値を算出し、
前記第３特徴量算出手段は、前記第３特徴量として、各ラインの画素値の平均値を算出し、
前記第４特徴量算出手段は、前記第４特徴量として、各ラインの前記特異画素が除去された画素値の積算値を算出し、
前記第５特徴量算出手段は、前記第５特徴量として、前記第４特徴量の平均値を算出する、ことを特徴とするものである。

かかる構成によると、簡単な演算処理で、フリッカを高精度に検出することが可能となる。

本発明によれば、撮影シーンの中に、フリッカが発生している領域と、フリッカが発生していない領域とが混在しても、撮影対象が移動しても、フレーム間の明暗変化によるフレーム間フリッカのみならず、フレーム内の垂直方向に周期的な明暗の横縞が現れるフレーム内のフリッカのいずれも高精度で検出することが可能となる。

本発明の第１実施の形態に係るフリッカ検出装置の要部の構成を示す機能ブロック図である。本発明の第２実施の形態に係るフリッカ検出装置を備えるフリッカ検出補正装置の要部の構成を示す機能ブロック図である。本発明の第３実施の形態に係るフリッカ検出装置を備えるフリッカ検出補正装置の要部の構成を示す機能ブロック図である。

以下、本発明の実施の形態について、図を参照して説明する。

（第１実施の形態）
図１は、本発明の第１実施の形態に係るフリッカ検出装置の要部の構成を示す機能ブロック図である。このフリッカ検出装置１００は、第１特徴量算出手段１０１、第２特徴量算出手段１０２、第１フリッカ補正係数算出手段１０３、特異画素判別手段１０４、第３特徴量算出手段１０５、第４特徴量算出手段１０６、第５特徴量算出手段１０７、第２フリッカ補正係数算出手段１０８を備える。なお、各手段は、ＣＰＵ(中央処理装置)等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、各処理に特化した例えばＤＳＰ（デジタルシグナルプロセッサ）等の専用のプロセッサ、あるいはハードロジックによって構成したりすることができる。また、フリッカ検出装置１００は、図示しないが、各特徴値やフリッカ補正係数等を記憶するメモリや、演算の途中結果を一時的に記憶するための各種メモリを有している。

第１特徴量算出手段１０１、特異画素判別手段１０４、第３特徴量算出手段１０５および第４特徴量算出手段１０６には、例えばＣＭＯＳ型撮像素子（図示せず）の有効走査期間における映像信号が並列に入力される。ここでは、明るさが５０Ｈｚまたは６０Ｈｚで変動する照明光源の下で撮像された被写体の映像信号が入力されるものとする。

第１特徴量算出手段１０１は、入力する映像信号の現在のフレームにおけるライン毎の特徴量を第１特徴量として算出する。この第１特徴量は、例えば、各ラインにおける画素の画素値（画素レベル）の積算値や平均値等とすることができるが、ここでは、各ラインにおける画素値の積算値を第１特徴量として算出する。そのため、第１積算手段１０１は、例えば、現在のフレームをFn、そのiライン目j番目の画素の画素値をSn[i,j]として、Fnの第iラインの各画素値の積算値Sn[i]を算出する。つまり、映像信号の１フレームが、例えば、８０×６０画素で、６０ラインで構成されている場合、第１特徴量算出手段１０１は、i=0〜59,j=0〜79について、各ラインの第１特徴量Sn[0] 〜Sn[59]を次式により算出する。

Sn[i]= Sn[i,0]+ Sn[i,1]+・・・+ Sn[i,79]

この第１特徴量の算出結果は、図示しないメモリに記憶されて、第２特徴量算出手段１０２および第１フリッカ補正係数算出手段１０３に供給される。

第２特徴量算出手段１０２は、第１特徴量算出手段１０１からの現在のフレームFnにおける各ラインの第１特徴量Sn[i]と、図示しないメモリに記憶されている過去のフレームにおける対応するラインの第１特徴量とに基づいて、各ラインの第２特徴量を算出する。つまり、現在のフレームを最新とする順次の数フレーム、例えば順次の３フレームにおける各ラインの第１特徴量に基づいて、当該ラインの第２特徴量を算出する。この第２特徴量は、各ラインの第１特徴量の積算値や平均値等とすることができるが、ここでは各ラインの第１特徴量の平均値を第２特徴量として算出するものとする。

そのため、第２特徴量算出手段１０２は、第１特徴量算出手段１０１からの現在のフレームFnにおける各ラインの第１特徴量Sn[i]、現在のフレームFnより１フレーム前のフレームFn-1における各ラインの第１特徴量Sn-1[i]、および、現在のフレームFnより２フレーム前のフレームFn-2における各ラインの第１特徴量Sn-2[i]に基づいて、各ラインの第１特徴量の平均値である第２特徴量An[i]を算出する。この第２特徴量算出手段１０２の算出結果は、第１フリッカ補正係数算出手段１０３に供給される。

第１フリッカ補正係数算出手段１０３は、第１フリッカ成分算出手段を構成するもので、第１特徴量算出手段１０１からの現在のフレームFnにおける各ラインの第１特徴量Sn[i]と、第２特徴量算出手段１０２からの対応するラインの第２特徴量An[i]とに基づいて、第１フリッカ成分として第１フリッカ補正係数K1[i]を算出する。ここでは、第１フリッカ補正係数K1[i]を、K1[i]= An[i]/ Sn[i]、により算出する。この第１フリッカ補正係数K1[i]は、特異画素判別手段１０４へ供給される。

第３特徴量算出手段１０５は、入力する現在のフレームFnにおける各画素の画素値Sn[i,j]と、図示しないメモリに記憶されている過去のフレームにおける対応する画素の画素値とに基づいて、第３特徴量を算出する。つまり、現在のフレームを最新とする順次の数フレーム、例えば順次の３フレームにおける各画素の画素値に基づいて、第３特徴量を算出する。この第３特徴量は、同一画素の積算値や平均値等とすることができるが、ここでは。画素の平均値を算出するものとする。

そのため、第３特徴量算出手段１０５は、入力する現在のフレームFnにおける各画素の画素値Sn[i,j]、現在のフレームFnより１フレーム前のフレームFn-1における各画素の画素値Sn-1[i,j]、および、現在のフレームFnより２フレーム前のフレームFn-2における各画素の画素値Sn-2[i,j]に基づいて、それらの平均値である第３特徴量An[i,j]を算出する。この第３特徴量算出手段１０５の算出結果は、特異画素判別手段１０４へ供給される。

特異画素判別手段１０４は、入力する現在のフレームFnにおける各画素の画素値Sn[i,j]、第１フリッカ補正係数算出手段１０３からの第１フリッカ補正係数K1[i]、および、第３特徴量算出手段１０５からの第３特徴量An[i,j]に基づいて、特異画素を判別する。本実施の形態では、特異画素判別手段１０４において、現在のフレームFnにおける画素値Sn[i,j]と第３特徴量An[i,j]とから、K [i,j]= An[i,j]/ Sn[i,j]、を算出する。そして、その算出結果K [i,j]と、第１フリッカ補正係数算出手段１０３からの第１フリッカ補正係数K1[i]との比較に基づいて、(1-α)×K1[i]<K [i,j]<(1+α)×K1[i]、の条件式を満たすか否かを判定する。その結果、上記条件式を満たす場合は、当該画素を特異でない画素と判別し、上記条件式を満たさない場合は、当該画素をフリッカに依存しない特異画素と判別して、その判別結果を第４特徴量算出手段１０６に供給する。

ここで、係数αは、例えば、0〜1.0の範囲で適切な値に設定することで、後述の第２フリッカ係数算出手段１０８においてフリッカ補正係数の算出に不適切な画素、つまりフリッカに依存しない特異画素を高精度で判別することが可能となる。

第４特徴量算出手段１０６は、入力する現在のフレームFnにおけるライン毎の画素値から、特異画素判別手段１０４によって特異画素と判別された画素を除いた画素の画素値に基づいて、ライン毎の第４特徴量を算出する。この第４特徴量は、例えば、第１特徴量と同様に、各ラインにおける画素値との積算値や平均値等とすることができるが、ここでは積算値を算出するものとする。

そのため、第４特徴量算出手段１０６は、入力する現在のフレームFnにおけるライン毎の画素値Sn[i,j]から、特異画素判別手段１０４からの当該ラインにおける特異画素の画素値を除いた画素値を積算する。つまり、映像信号の１フレームが、例えば、８０×６０画素で、６０ラインで構成されている場合、第４特徴量算出手段１０６は、j=0〜79,i=0〜59について、各ラインの第４特徴量S’n[0] 〜S’n[59]を次式により算出する。なお、次式は、iライン目j番目の画素だけが特異画素である場合を例示する。

S’n[i]= Sn[i,0]+ Sn[i,1]+・・・+ Sn[i,j-1]+ Sn[i,j+1]+・・・+ Sn[i,79]

この第４特徴量の算出結果は、図示しないメモリに記憶されて、第５特徴量算出手段１０７および第２フリッカ補正係数算出手段１０８に供給される。

第５特徴量算出手段１０７は、第２特徴量算出手段１０２と同様に、第４特徴量算出手段１０６からの現在のフレームFnにおける各ラインの特異画素が除去された第４特徴量S’n[i]と、図示しないメモリに記憶されている過去のフレームにおける対応するラインの第４特徴量とに基づいて、各ラインの第５特徴量を算出する。つまり、現在のフレームを最新とする順次の数フレーム、例えば順次の３フレームにおける各ラインにおける特異画素が除去された第４特徴量に基づいて、当該ラインの第５特徴量を算出する。ここで、第５特徴量は、第４特徴量と同様に、各ラインの第４特徴量の積算値や平均値等とすることができるが、ここでは、平均値を算出するものとする。

そのため、第５特徴量算出手段１０７は、第４特徴量算出手段１０６からの現在のフレームFnにおける各ラインの特異画素が除去された第４特徴量S’n[i]、現在のフレームFnより１フレーム前のフレームFn-1における各ラインの特異画素が除去された第４特徴量S’n-1[i]、および、現在のフレームFnより２フレーム前のフレームFn-2における各ラインの特異画素が除去された第４特徴量S’n-2[i]に基づいて、各ラインの第５特徴量A’n[i]を算出する。この第５特徴量算出手段１０７の算出結果は、第２フリッカ補正係数算出手段１０８に供給される。

第２フリッカ補正係数算出手段１０８は、第２フリッカ成分算出手段を構成するもので、第１フリッカ補正係数算出手段１０３と同様に、第４特徴量算出手段１０６からの現在のフレームFnにおける各ラインの特異画素が除去された第４特徴量S’n[i]と、第５特徴量算出手段１０５からの対応するラインの特異画素が除去された第５特徴量A’n[i]とに基づいて、第２フリッカ成分として第２フリッカ補正係数K2[i]を算出する。ここでは、第２フリッカ補正係数K2[i]を、K2[i]= A’n[i]/ S’n[i]、により算出する。

本実施の形態に係るフリッカ検出装置によると、第１フリッカ補正係数算出手段１０３で算出した第１フリッカ補正係数に基づいて、各画素が特異であるか否か、すなわち、非フリッカ画素か、動き画素か、ノイズ画素か否かを判別する。そして、それらの特異画素を除外した特異でない画素のみを用いて第２フリッカ補正係数算出手段１０８により第２フリッカ補正係数を算出する。したがって、フリッカ成分であるフリッカ補正係数をより正確に検出することができる。

つまり、撮影シーン中に蛍光灯によって照明されているフリッカ領域と、蛍光灯によって照明されていない領域が混在している場合や、動画領域と静止画領域とが混在している場合、あるいは、ノイズの影響を強く受けている場合、その映像信号から得られる第１フリッカ補正係数は、本来のフリッカ成分を正確に反映していない。そのため、これを用いてフリッカを検出して補正すると、過度の補正や補正不足が発生する場合がある。

その点、本実施の形態においては、上述したように第１フリッカ補正係数を基準にして、各画素が特異であるか否かを判別し、特異でない画素のみを用いて第２フリッカ補正係数を算出するので、より正確にフリッカを検出して、そのフリッカ補正係数を算出することが可能となる。したがって、算出されたフリッカ補正係数を用いて、入力映像信号を補正すれば、フリッカを効果的に軽減することができる。

なお、本実施の形態において、第２特徴量算出手段１０２、第３特徴量算出手段１０５、第５特徴量算出手段１０７において、第２特徴量、第３特徴量、第５特徴量をそれぞれ算出する際に参照する過去の順次のフレーム数は、２フレームに限らず、撮影時の光源の電源周波数と撮影のフレームレートの組合せに応じて、適宜設定することが可能である。また、第１フリッカ補正係数算出手段１０３によるフリッカ補正係数（第１フリッカ成分）は、An[i]と Sn[i]との差とすることもできる。同様に、第２フリッカ補正係数算出手段１０８によるフリッカ補正係数（第２フリッカ成分）は、A’n[i]と S’n[i]との差とすることもできる。

（第２実施の形態）
図２は、本発明の第２実施の形態に係るフリッカ検出装置を備えるフリッカ検出補正装置の要部の構成を示す機能ブロック図である。このフリッカ検出補正装置２００は、図１に示したフリッカ検出装置にフリッカ補正係数平滑化手段２０１を付加し、そのフリッカ補正係数平滑化手段２０１の出力に基づいて、フリッカ補正手段２０２により入力映像信号を補正するものである。したがって、図１に示した構成要素と同一構成要素には、同一参照符号を付して、その説明を省略する。

フリッカ補正係数平滑化手段２０１は、第２フリッカ補正係数算出手段１０８からの第２フリッカ補正係数K2[i]をラインと直交する方向に平滑化処理を行う。例えば、映像信号の１フレームが８０×６０画素で、６０ラインで構成されている場合、フリッカ補正係数平滑化手段２０１は、iライン目の平滑化されたフリッカ補正係数K’2[i]を、例えば、当該iライン目の第２フリッカ補正係数K2[i]と、その前後の第２フリッカ補正係数K2[i-1], K2[i+1]とを用いて、次式により算出する。

K’2[i]=(K2[i-1]+ K2[i]+K2[i+1])/3

この算出されたiライン目の平滑化されたフリッカ補正係数K’2[i]は、図示しないメモリに記憶されて、フリッカ補正手段２０２に供給される。

フリッカ補正手段２０２は、入力映像信号の現在のフレームFnにおける各画素の画素値に対して、フリッカ補正係数平滑化手段２０１からの対応するラインの平滑化処理されたフリッカ補正係数K’2[i]を乗算して、フリッカ成分が補正されたフレームの映像信号を出力する。すなわち、現在のフレームFnの各画素の画素値をSn[i,j]とすると、フリッカ成分が補正された画素値S’n[i,j]を次式により算出する。

S’n[i,j]= Sn[i,j]×K’2[i]

このように、図２に示したフリッカ検出補正装置においては、第１実施の形態で説明した第２フリッカ補正係数算出手段１０８から得られるライン毎の第２フリッカ補正係数K2[i]を、フリッカ補正係数平滑化手段２０１によりラインと直交する方向に平滑化して、フリッカ補正係数K’2[i]を算出する。そして、その算出されたフリッカ補正係数K’2[i]を用いて、フリッカ補正手段２０２により入力映像信号を補正する。これにより、第２フリッカ補正係数K2[i]を平滑化することなく入力映像信号を補正する場合と比較して、フレーム間、フレーム内にかかわらずフリッカ成分を過不足なく補正でき、フリッカをより効果的に軽減することができる。

すなわち、撮影シーン中に蛍光灯によって照明されているフリッカ領域と、蛍光灯によって照明されていない領域が混在している場合や、動画領域と静止画領域とが混在している場合、あるいは、ノイズの影響を強く受けている場合、第２フリッカ補正係数算出手段１０８から得られる第２フリッカ補正係数K2[i]は、特異画素を除外して算出しても、ライン間で急激に変化する場合がある。そのため、第２フリッカ補正係数K2[i]を直接用いて入力映像信号のフリッカ成分を補正すると、撮影シーン等によってはフリッカ成分が過補正されて、補正後の画面に横筋状の高周波成分が現れる場合が想定される。

その点、本実施の形態におけるように、第２フリッカ補正係数算出手段１０８から得られる第２フリッカ補正係数K2[i]を、ラインの垂直方向に平滑化して入力映像信号を補正すれば、フリッカ成分を過不足なく補正することが可能となる。なお、フリッカ補正係数平滑化手段２０１による第２フリッカ補正係数K2[i]の平滑化処理は、上記の単純平均に限らず、加重平均や移動平均、あるいは、各種の一次元ローパスフィルタを用いて平滑化することも可能である。

（第３実施の形態）
図３は、本発明の第３実施の形態に係るフリッカ検出装置を備えるフリッカ検出補正装置の要部の構成を示す機能ブロック図である。このフリッカ検出補正装置３００は、図２に示した構成のフリッカ補正装置に、画像縮小手段３０１およびフリッカ補正係数補間手段３０２を付加したものである。したがって、図１および図２に示した構成要素と同一構成要素には、同一参照符号を付して、その説明を省略する。

すなわち、図３に示すフリッカ検出補正装置は、フリッカ成分を検出するに際して、入力する映像信号のフレームを、画像縮小手段３０１により縮小して、少なくともライン数が減少した縮小フレーム生成する。そして、その縮小フレームに対して、第２実施の形態と同様の処理を実行して、フリッカ補正係数平滑化手段２０１から平滑化処理されたフリッカ補正係数K’2[i]を得る。

例えば、入力する映像信号のフレームが、1920×1080画素、1080ラインのフルＨＤ（High Definition）の場合、画像縮小手段３０１は、フレームを横1/24に、縦1/18に分割して80×60のブロックとし、その各ブロックの画素の画素値を合計して、縮小フレームの１画素とする。これにより、1920×1080画素のフレームを、80×60画素の縮小フレームとする。この画像縮小処理は、一般に、画素加算方法として知られている。

フリッカ補正係数補間手段３０２は、フリッカ成分補間手段を構成するもので、フリッカ補正係数平滑化手段２０１から出力される平滑化処理されたフリッカ補正係数K’2[i]を入力する。そして、そのフリッカ補正係数K’2[i]をラインと直交する方向に補間処理して、元フレームと同じライン数を有する第３フリッカ補正係数K3[s]を、第３フリッカ成分として生成する。

例えば、上記のように、元の映像信号の１フレームが、1920×1080画素の1080ラインのフルＨＤからなり、縮小画像の１フレームが、80×60画素の60ラインからなる場合、フリッカ補正係数補間手段３０２は、フリッカ補正係数平滑化手段２０１からのフリッカ補正係数K’2[i]（i=0〜59）に基づいて、次式により1080ラインの第３フリッカ補正係数K3[s]（s=0〜1079）を演算する。

K3[s]= K’2[t]×(1-β)+ K’2[t+1]×β

ここで、tは、s/18の整数部分であり、βは、(s-t×18)/18の小数部分である。このように、K’2[t]からK3[s]を算出する方法は、一般に線形補間処理と呼ばれている。

フリッカ補正係数補間手段３０２で算出された第３フリッカ補正係数K3[s]は、フリッカ補正手段２０２に供給され、ここで第２実施の形態において説明したと同様に、元フレームの入力映像信号の対応するラインの各画素の画素値に乗算されて、フリッカ成分が補正された元フレームの映像信号が出力される。

このように、本実施の形態においては、元フレームの画像の縮小フレームに基づいてフリッカ補正係数を算出し、その算出したフリッカ補正係数を補間して元フレームの画像のフリッカ成分を補正する。したがって、解像度の高い動画のフリッカ成分を簡単かつ高速に補正することが可能となる。つまり、動画のフリッカ補正では、フレーム毎に当該フレームを補正するためのフリッカ補正係数を求める必要がる。そのため、フルＨＤのような多くのラインを有する高解像度の動画の場合は、各フレームの全てのラインのフリッカ補正係数を求めるようにすると、計算量が膨大となるために、ハードウェア構成が増加してコストアップを招いたり、計算時間による遅延が生じたりする場合がある。

その点、本実施の形態においては、上述したように、元フレームの画像を縮小して、その縮小画像からフリッカ補正係数を算出し、その算出したフリッカ補正係数を、元フレームのライン数に対応するように補間するので、フリッカ補正係数をソフトウェア処理で算出することが可能となり、コストダウンおよび高速処理が可能となる。

なお、本実施の形態において、画像縮小手段３０１による元フレームの縮小画像処理は、画素加算方法に限らず、例えば、画素間引きによる方法や、画素補間による方法等の公知の他の方法よることも可能である。また、フリッカ補正係数補間手段３０２による補間処理も、線形補間処理に限らず、例えば、曲線近似処理等の公知の他の方法よることも可能である。

本発明は、上記実施の形態にのみ限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変形または変更が可能である。例えば、図３において、フリッカ補正係数補間手段３０２は、省略することもできる。

１００フリッカ検出装置
１０１第１特徴量算出手段
１０２第２特徴量算出手段
１０３第１フリッカ補正係数算出手段
１０４特異画素判別手段
１０５第３特徴量算出手段
１０６第４特徴量算出手段
１０７第５特徴量算出手段
１０８第２フリッカ補正係数算出手段
２００フリッカ検出補正装置
２０１フリッカ補正係数平滑化手段
２０２フリッカ補正手段
３００フリッカ検出補正装置
３０１画像縮小手段
３０２フリッカ補正係数補間手段

Claims

映像信号のフレームの画素値に基づいて各ラインの第１特徴量を算出する第１特徴量算出手段と、
前記映像信号の現フレームを最新フレームとする順次の複数フレームにおける各ラインの前記第１特徴量に基づいて、各ラインの第２特徴量を算出する第２特徴量算出手段と、
前記第１特徴量と前記第２特徴量とに基づいて、前記現フレームにおける各ラインの第１フリッカ成分を算出する第１フリッカ成分算出手段と、
前記現フレームを最新フレームとする順次の複数フレームにおける画素値に基づいて各画素の第３特徴量を算出する第３特徴量算出手段と、
前記第１フリッカ成分、前記第３特徴量、および、前記現フレームにおける画素値に基づいて、フリッカに依存しない特異画素を判別する特異画素判別手段と、
前記特異画素の判別結果に基づいて、前記現フレームから前記特異画素を除いた画素の画素値を取得して各ラインの第４特徴量を算出する第４特徴量算出手段と、
前記現フレームを最新フレームとする順次の複数フレームにおける各ラインの前記第４特徴量に基づいて、各ラインの第５特徴量を算出する第５特徴量算出手段と、
前記第４特徴量と前記第５特徴量とに基づいて、前記現フレームにおけるフリッカを補正するための各ラインの第２フリッカ成分を算出する第２フリッカ成分算出手段と、
を有することを特徴とするフリッカ検出装置。
前記映像信号の元フレームの少なくともライン数を減少させた縮小フレームを生成する画像縮小手段をさらに有し、
前記画像縮小手段により生成された前記縮小フレームに対して、前記第１特徴量の算出処理、前記第２特徴量の算出処理、前記第１フリッカ成分の算出処理、前記第３特徴量の算出処理、前記特異画素の判別処理、前記第４特徴量の算出処理および前記第５特徴量の算出処理、および前記第２フリッカ成分の算出処理を実行する、ことを特徴とする請求項１に記載のフリッカ検出装置。
前記元フレームに対応する第３フリッカ成分を生成するフリッカ成分補間手段をさらに有し、
前記フリッカ成分補間手段により、前記縮小フレームに対して算出された前記第２フリッカ成分を補間して、前記元フレームと同じライン数に対応する前記第３フリッカ成分を生成する、ことを特徴とする請求項２に記載のフリッカ検出装置。
前記第２フリッカ成分をラインと直交する方向に平滑化するフリッカ成分平滑化手段を、さらに有することを特徴とする請求項１，２または３に記載のフリッカ検出装置。
前記第１特徴量算出手段は、前記第１特徴量として、各ラインの画素値の積算値を算出し、
前記第２特徴量算出手段は、前記第２特徴量として、前記第１特徴量の平均値を算出し、
前記第３特徴量算出手段は、前記第３特徴量として、各ラインの画素値の平均値を算出し、
前記第４特徴量算出手段は、前記第４特徴量として、各ラインの前記特異画素が除去された画素値の積算値を算出し、
前記第５特徴量算出手段は、前記第５特徴量として、前記第４特徴量の平均値を算出する、ことを特徴とする請求項１〜４のいずれか一項に記載のフリッカ検出装置。