JP2010175737A - 動画像処理装置および動画像処理方法、ならびに、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】フレーム画像を複数のサブフレームに分配して駆動した場合の画像の動きに対する画質劣化を、画面の全域において抑制する。
【解決手段】入力フレーム画像の平坦領域とエッジ領域とを検出し、検出結果に基づきエッジ近傍の平坦領域を求め、このエッジ近傍の平坦領域の画像の特徴量を求める。そして、入力フレーム画像から空間周波数の低域成分を抽出し、求められた特徴量に応じて適応的に設定した分配比率を低域成分に適用して、低域成分のみを含む第１のサブフレームを生成する。また、入力フレーム画像から第１のサブフレームを減じて、高域成分を含む第２のサブフレームを生成する。これら第１および第２のサブフレームを、入力フレーム画像のフレーム周波数の２倍のフレーム周波数で交互に出力する。
【選択図】図１

Description

本発明は、動画像データを入力時の２倍のフレーム周波数で出力する動画像処理装置および方法、ならびに、プログラムおよび記録媒体に関する。

テレビジョン受像機に代表される動画像の表示装置において、駆動周波数を１２０Ｈｚとし、入力画像を高域成分を含む画像からなるサブフレームと、低域成分のみを含む画像からなるサブフレームとを時分割で表示する技術がある。このように、空間周波数成分に基づきフレーム画像を２つのサブフレームに分配して時分割で表示させる方法は、ＬＣＤなどのホールド型デバイスにおける動きボケ対策として効果的である。それと共に、ＦＥＤなどのインパルス型デバイスにおけるフリッカ対策としても効果的である。なお、ＬＣＤは、Liquid Crystal Displayの略称である。また、ＦＥＤは、Field Emission Displayの略称である。

ホールド型デバイスに対する倍速駆動を実現する方法の一例が、特許文献１に開示されている。図１８は、この特許文献１に開示される回路構成の一部を示す。また、図１９は、図１８の回路の各部における波形の例を示す。なお、図１９に示される波形は、例えば輝度成分をライン方向に抽出してなるもので、中央部分に画像のエッジを含む。この図１９の波形の表現は、他の類似の図面に対して同様とする。

図１８において、入力フレーム（図１９（ａ））に対し、ローパスフィルタ処理部５０２では、低域成分のみを含むサブフレームを生成する（図１９（ｂ））。ローパスフィルタ処理部５０２から出力されたサブフレームは、フレームメモリ５０４に一旦記憶され、差分検出部５０３側の信号との同期が取られる。差分検出部５０３では、入力フレームとローパスフィルタ処理部５０２で生成した低域成分のみを含むサブフレームとの差分を検出し、高域成分を抽出する（図１９（ｃ））。ここで生成された高域成分と入力フレームを加算器５０６で加算することにより、高域成分を強調したサブフレーム（図１９（ｄ））を得ることができる。切替回路５０５では、フレームメモリ５０４から読み出した低域成分のみを含むサブフレーム（図１９（ｅ））と、高域成分を強調したサブフレームとを、１２０Ｈｚの周期で切り替えて後段の処理に送る。高域成分を除いたサブフレームと高域成分を強調したサブフレームを交互に表示することで、６０Ｈｚの時間周期で見た場合は、元のフレーム画像が再現されていることになる（図１９（ｆ））。

特開２００６−１８４８９６

しかしながら、従来では、入力画像のフレームを高域成分を強調したサブフレームと低域成分のみのサブフレームとに分配する場合、分配の比率を一意に決めることが困難であるという問題点があった。

この問題点について、インパルス型デバイスを例にとって説明する。インパルス型デバイスの場合、低域成分のみのサブフレームは、入力フレームの画像信号に対してローパスフィルタ処理を施した後の波形のレベルを、例えば５０％に低減したものとなる。一方、高域成分が強調されたサブフレームは、入力フレームの画像信号から、低域成分のみのサブフレームの画像信号を減じたものとなる。

以下、図２０〜図２２を用いて説明する。図２０は、入力フレームの画像信号による画像のエッジ部分の近傍が平坦であって、当該画像信号に対してローパスフィルタ処理を施した後の波形のレベルを５０％に低減する場合の、各処理における波形の例を示す。図２０（ａ）は、入力フレーム画像の一例の波形を示す。この図２０（ａ）に示される波形に対してローパスフィルタ処理を施して得られる出力波形の例を図２０（ｂ）に示す。図２０（ｃ）は、図２０（ｂ）に示される波形に対し、信号レベルを５０％に低減した例を示す。この図２０（ｃ）に例示される波形が、低域成分のみのサブフレームの波形となる。

図２０（ｄ）は、図２０（ａ）に例示される入力フレーム画像の波形から、図２０（ｃ）に例示される、低域成分のみのサブフレームの画像信号による波形を減じた例を示す。この図２０（ｄ）に例示する波形の画像信号が、高域成分が強調されたサブフレームの画像信号となる。図２０の例では、これら２つのサブフレームの分配比率は５０％ずつの、最もフリッカの目立たない割合となっている。動きのない静止した画像においては、これら２つのサブフレームによる見かけ上の合成波形は、図２０（ｅ）に例示するようになり、図２０（ａ）に示した入力フレームの画像信号による波形と同一となる。

一方、動きのある画像においては、図２０（ｃ）に示す波形と、図２０（ｄ）に示す波形とでは、相対的な位置がずれる。そのため、図２０（ｃ）に示す波形と、図２０（ｄ）に示す波形との見かけ上の合成波形は、例えば図２０（ｆ）に例示されるようになる。この位置ずれにより、フレーム上の全ての画素位置で入力波形との不一致が生じるが、実際には、画像の平坦領域が続く部分では、その影響は極めて小さい。一方、画像のエッジ近傍の平坦領域においては、図２０（ｆ）において丸で囲んだ部分に示されるように、強い尾引きのような動きボケを発生させることになる。

このような動きのある画像におけるエッジ近傍の動きボケを低減させる方策の一つとして、高域成分を強調したサブフレームと低域成分のみのサブフレームとに対する分配比率を変える方法がある。図２１を用いて、２つのサブフレームに対する分配比率を変える場合について説明する。

図２１（ａ）に例示される入力波形に対してローパスフィルタ処理を施して、図２１（ｂ）に例示される波形を得る。この図２１（ｂ）の波形の信号レベルを２５％まで低減させた波形を図２１（ｃ）に示す。この図２１（ｃ）に例示される波形が、低域成分のみのサブフレームの波形となる。

一方、高域成分を強調したサブフレームの波形は、図２１（ａ）の波形から図２１（ｃ）の波形を減じたものなので、図２１（ｄ）に例示されるような波形となる。静止した画像においては、これら２つのサブフレームを合成した際の見かけの合成波形は、図２１（ｅ）に例示するようになり、図２１（ａ）に示した入力波形と同一となる。

一方、動きのある画像においては、図２１（ｃ）に示す波形と、図２１（ｄ）に示す波形との合成となり、相対的な位置ずれを考慮した見かけの合成波形は、図２１（ｆ）に例示されるようになる。図２１（ｆ）の丸で囲んだ部分を、上述した分配比率が５０％の場合における図２０（ｆ）の丸で囲んだ部分と比べると、動きボケの要因となる信号レベルが低減され、動きボケが抑制されていることが分かる。

しかしながら、分配比率を低域成分側２５％、高域成分側７５％というように、５０％ずつの割合に対して分配比率の傾きを大きくすればするほど、フリッカを知覚し易くなる。すなわち、フレーム全体で一様に分配比率を変えてしまうと、フリッカが目立ってしまうということになる。

次に、図２２を用いて、エッジ近傍の領域が平坦ではなく、複雑な波形である場合の例を説明する。図２２（ａ）は、入力波形の例であり、全体に高周波成分が乗った波形となっている。この図２２（ａ）に示される波形に対してローパスフィルタ処理を施して、図２２（ｂ）に例示される波形を得る。この図２２（ｂ）の波形の信号レベルを５０％に低減させた波形を図２２（ｃ）に示す。この図２２（ｃ）に例示される波形が、低域成分のみのサブフレームの波形となる。

一方、高域成分を強調したサブフレームは、図２２（ａ）の波形から図２２（ｃ）の波形を減じたものなので、図２２（ｄ）に例示されるような波形となる。静止した画像においては、これら２つのサブフレームを合成した際の見かけの合成波形は、図２２（ｅ）に例示するようになり、図２２（ａ）に示した入力波形と同一となる。

一方、動きのある画像においては、相対的な位置ズレを考慮した、図２２（ｃ）に示す波形と、図２２（ｄ）に示す波形とによる見かけの合成波形は、図２２（ｆ）に例示されるようになる。この場合、図２２（ｆ）において丸で囲んだ部分に示されるように、高周波成分の上に動きボケの成分が乗った波形となるため動きボケが知覚されにくく、視覚的に目立った画質の劣化が感じられない。

このように、フレーム全体において画像が一様に動く場合でも、画質の劣化の見え方は、画面の領域毎で一様にはならない。すなわち、平坦な画像が連続する領域では、画質劣化の影響は小さく、エッジ近傍の平坦部分では影響が大きい。また、エッジ近傍でも複雑な形状であれば、画質の劣化が目立たない。

したがって、本発明の目的は、フレーム画像を複数のサブフレームに分配して駆動した場合の画像の動きに対する画質劣化を、画面の全域において抑制することができる動画像処理装置および方法、ならびに、プログラムおよび記録媒体を提供することにある。

本発明は、上述した課題を解決するために、入力フレーム画像を、空間周波数の低域成分のみを含む信号からなる第１のサブフレームと、空間周波数の高域成分を含む信号からなる第２のサブフレームとに分配して出力する動画像処理装置であって、入力フレーム画像に基づき画像のエッジ領域と平坦領域とを検出し、エッジ領域および平坦領域を用いてエッジ近傍の平坦領域を検出する検出手段と、エッジ領域のエッジ強度および平坦領域の平坦度を検出し、エッジ強度および平坦度に基づきエッジ近傍の平坦領域の特徴量を求め、特徴量に応じてエッジ近傍の平坦領域の信号の分配比率を決定する決定手段と、入力フレーム画像の低域成分と分配比率とに基づき第１のサブフレームを生成する第１の生成手段と、入力フレーム画像から第１のサブフレームを減じて第２のサブフレームを生成する第２の生成手段と、第１および第２のサブフレームを入力フレーム画像のフレーム期間に順次出力する出力手段とを有することを特徴とする動画像処理装置である。

また、本発明は、入力フレーム画像を、空間周波数の低域成分のみを含む信号からなる第１のサブフレームと、空間周波数の高域成分を含む信号からなる第２のサブフレームとに分配して出力する動画像処理方法であって、入力フレーム画像に基づき画像のエッジ領域と平坦領域とを検出し、エッジ領域および平坦領域を用いてエッジ近傍の平坦領域を検出する検出ステップと、エッジ領域のエッジ強度および平坦領域の平坦度を検出し、エッジ強度および平坦度に基づきエッジ近傍の平坦領域の特徴量を求め、特徴量に応じてエッジ近傍の平坦領域の信号の分配比率を決定する決定ステップと、入力フレーム画像の低域成分と分配比率とに基づき第１のサブフレームを生成する第１の生成ステップと、入力フレーム画像から第１のサブフレームを減じて第２のサブフレームを生成する第２の生成ステップと、第１および第２のサブフレームを入力フレーム画像のフレーム期間に順次出力する出力ステップとを有することを特徴とする動画像処理方法である。

本発明によれば、上述の構成を有しているため、フレーム画像を複数のサブフレームに分配して駆動した場合の画像の動きに対する画質劣化を、画面の全域において抑制することができる。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。本発明では、入力フレーム画像の平坦領域とエッジ領域とを検出し、検出結果に基づきエッジ近傍の平坦領域を求め、このエッジ近傍の平坦領域の画像の特徴を示す特徴量を求める。そして、入力フレーム画像から空間周波数の低域成分を抽出し、求められた特徴量に応じて適応的に設定した分配比率を低域成分に適用して、低域成分のみを含む第１のサブフレームを生成する。また、入力フレーム画像から第１のサブフレームを減じて、高域成分を含む第２のサブフレームを生成する。これら第１および第２のサブフレームを、入力フレーム画像のフレーム周波数の２倍のフレーム周波数で交互に出力する。

なお、以下では、「空間周波数の低域成分のみを含む信号からなる第１のサブフレーム」を、「低域成分のみを含む第１のサブフレーム」あるいは「第１のサブフレーム」と略称する。同様に、「空間周波数の高域成分を含む信号からなる第２のサブフレーム」を、「高域成分を含む第２のサブフレーム」あるいは「第２のサブフレーム」と略称する。

図１は、本発明の第１の実施形態に適用できる動画像処理装置１００の一例の構成を示す。動画像処理装置１００は、入力画像データ（入力フレーム画像）である入力フレーム１０１から低域成分のみを含む第１のサブフレームと、高域成分を含む第２のサブフレームとを生成する。生成されたこれら第１および第２のサブフレームは、入力フレーム１０１のフレーム期間に順次出力するように、スイッチ１１２により交互に切り換えられて、出力フレーム１１３として出力される。

動画像処理装置１００の構成について、より詳細に説明する。入力フレーム１０１は、減算処理部１１１の被減算入力端に入力されると共に、エッジ近傍状態検出部１０２およびローパスフィルタ（ＬＰＦ）処理部１０９にそれぞれ入力される。

検出手段および決定手段としてのエッジ近傍状態検出部１０２は、入力フレーム１０１に対してエッジ検出を行い、さらに、検出されたエッジの近傍領域の特徴を示す特徴量を求める。そして、このエッジ近傍領域の特徴量に基づき、第１および第２のサブフレームの分配比率を設定する。この分配比率の設定結果を示す分配設定信号は、分配比率処理部１１０に供給される。

一方、ＬＰＦ処理部１０９は、ローパスフィルタ処理により入力フレーム１０１から空間周波数の低域成分を抽出する。抽出された低域成分は、分配比率処理部１１０に供給される。分配比率処理部１１０は、ＬＰＦ処理部１０９から供給された入力フレーム１０１の低域成分に対して、エッジ近傍状態検出部１０２で検出された分配設定信号に応じてレベルを減衰させ、低域成分のみを含む第１のサブフレームを生成する。ＬＰＦ処理部１０９および分配比率処理部１１０が第１の生成手段を構成する。この第１のサブフレームは、減算処理部１１１の減算入力端に入力されると共に、スイッチ１１２の一方の入力端に入力される。

第２の生成手段としての減算処理部１１１は、被減算入力端に入力された入力フレーム１０１から、減算入力端に入力された低域成分のみを含む第１のサブフレームを減算し、高域成分を含む第２のサブフレームを生成する。この第２のサブフレームは、スイッチ１１２の他方の入力端に入力される。

出力手段としてのスイッチ１１２は、所望のタイミング、例えば入力フレームのフレーム周波数が６０Ｈｚの場合であれば、２倍の１２０Ｈｚの周期で、２つのサブフレームを切り替えて出力フレーム１１３として出力する。なお、スイッチ１１２は、入力される第１および第２のサブフレームを一時的に保持するバッファを含んでいてもよい。例えば、スイッチ１１２よって、入力された第１および第２のサブフレームがそれぞれバッファに一旦格納され、それぞれの出力タイミングで読み出され、出力フレーム１１３として出力される。

次に、エッジ近傍状態検出部１０２について、より詳細に説明する。エッジ近傍状態検出部１０２に入力された入力フレーム１０１は、平坦部検出部１０３およびエッジ検出部１０５にそれぞれ供給される。平坦部検出部１０３は、入力フレーム１０１による画像における平坦領域を検出する。例えば、平坦部検出部１０３は、入力画像データによる入力波形に対しラプラシアンフィルタ処理を施し、処理結果を閾値処理して、閾値より振幅の小さな領域を検出する。なお、平坦部検出部１０３による平坦領域の検出方法は、この方法に限定されるものではない。

平坦部検出部１０３による検出結果は、平坦領域拡張部１０４に供給される。拡張平坦領域生成手段としての平坦領域拡張部１０４は、平坦部検出部１０３で検出された平坦領域を拡張して拡張平坦領域として出力する。例えば、平坦領域拡張部１０４は、平坦部検出部１０３で検出された平坦領域を、予め決められた所定画素分、広げる。平坦領域拡張部１０４で拡張された拡張平坦領域を示す情報は、重なり領域検出部１０７に供給される。

一方、エッジ検出部１０５は、入力フレーム１０１による画像におけるエッジ領域を検出する。例えば、エッジ検出部１０５は、入力画像データによる入力波形に対しラプラシアンフィルタ処理を施し、処理結果を閾値処理して、閾値より振幅の大きな領域を検出する。なお、エッジ検出部１０５によるエッジ部の検出方法は、この方法に限定されるものではない。

エッジ検出部１０５による検出結果は、エッジ領域拡張部１０６に供給される。拡張エッジ領域生成手段としてのエッジ領域拡張部１０６は、エッジ検出部１０５で検出されたエッジ領域を拡張して、拡張エッジ領域として出力する。例えば、エッジ領域拡張部１０６は、エッジ検出部１０５で検出されたエッジ領域を、予め決められた所定画素分、広げる。エッジ領域拡張部１０６で拡張された拡張エッジ領域を示す情報は、重なり検出手段としての重なり領域検出部１０７に供給される。

重なり領域検出部１０７は、平坦領域拡張部１０４から供給された拡張平坦領域を示す情報と、エッジ領域拡張部１０６から供給された拡張エッジ領域を示す情報とに基づき、拡張平坦領域と拡張エッジ領域とが重なり合う領域を検出する。この領域は、換言すれば、エッジ近傍の平坦領域である。すなわち、拡張エッジ領域は、エッジ近傍の領域を示し、拡張平坦領域は、平坦と見なせる領域を示す。このエッジ近傍の平坦領域を示す情報は、領域特徴量検出部１０８に供給される。

領域特徴量検出部１０８は、重なり領域検出部１０７で検出されたエッジ近傍の平坦領域の特徴を示す特徴量を求める。領域特徴量検出部１０８は、例えば、平坦部検出部１０３から、検出された平坦領域の平坦度を示す情報を取得すると共に、エッジ検出部１０５から検出されたエッジ領域のエッジ強度を示す情報を取得する。そして、これら平坦度およびエッジ強度を示す情報に基づき、当該特徴量を求める。

特徴量は、例えば平坦部検出部１０３で検出された、平坦領域であるか否かを示す情報と、エッジ検出部１０５で検出された、エッジ領域であるか否かを示す情報とに基づき求めることができる。この場合には、エッジ近傍の平坦領域の特徴量が大か小かの２値化判断となる。

本第１の実施形態では、エッジ近傍の平坦領域の特徴量の検出を精度よく行うために、多値化による処理を行う。図２を用いて、多値化によるエッジ近傍の平坦領域の特徴量について説明する。図２において、縦軸はエッジ強度を示し、横軸は平坦領域の平坦度を示す。図２の例では、特徴量は、平坦領域の平坦度が大きくなるほど大きくなり、エッジ強度が強くなるほど大きくなるような値とされる。換言すれば、特徴量は、エッジ近傍において動きブレが知覚され易い場合に大きな値を取り、動きブレが知覚されにくい場合に小さな値を取る。

そこで、一例として、エッジ近傍の平坦領域に係るエッジ部分のエッジ強度と平坦領域の平坦度とに応じて、エッジ近傍の平坦領域の特徴量を求める。図２の例では、説明のため、エッジ強度および平坦領域の平坦度をそれぞれ強中弱、大中小の３段階で表現し、エッジ強度および平坦度に応じて特徴量を３値化している。すなわち、エッジ強度が弱いか、または、平坦度が小さければ特徴量を小さな値とし、エッジ強度が強く、且つ、平坦度が大きい場合に、特徴量を大きな値とする。

より具体的な例として、エッジ強度および平坦度をそれぞれ正規化すると共に、エッジ強度および平坦度のそれぞれに対して第１の閾値および第１の閾値より大きな第２の閾値を設定する。そして、例えばエッジ強度を第１および第２の閾値と比較し、第２の閾値より大きな値の場合にエッジ強度が強、第１の閾値より小さな値の場合にエッジ強度が弱とする。エッジ強度が第１の閾値より大きく、且つ、第２の閾値より小さければ、エッジ強度が中とする。平坦度についても同様である。

勿論、これは一例であって、特徴量は、エッジ強度および平坦度に応じて連続的または段階的に変化させることも可能である。例えば、エッジ強度が中の場合、特徴量をエッジ強度に応じて連続的または段階的に変化させることができる。

なお、平坦領域の平坦度は、例えば平坦部検出部１０３において、平坦領域であると検出された領域内の波形の振幅に基づき求めることができる。この場合、当該振幅が小さいほど、平坦度が大きいとされる。また、エッジ強度は、例えばエッジ検出部１０５において、検出されたエッジ領域の両側における振幅の差分の絶対値に基づき求めることができる。この場合、当該振幅の差分の絶対値が大きいほど、エッジ強度が強いとされる。

領域特徴量検出部１０８で検出されたエッジ近傍の平坦領域の特徴量は、エッジ近傍の平坦領域を示す情報と共に、分配設定信号として分配比率処理部１１０に供給される。分配比率処理部１１０は、供給された分配設定信号に基づき、低域成分のみを含む第１のサブフレームの分配比率を設定する。

図２を用いて説明したように、エッジ近傍の平坦領域の特徴量は、エッジの強度が強く、平坦領域の平坦度が大きいほど小さくなる。従来技術で説明したように、エッジ近傍の平坦領域の特徴量が小さければ動きボケが知覚され易くなるので、このエッジ強度が強く、且つ、平坦領域の平坦度が大きい領域が、分配比率に差をつけるべき領域である。この領域では、低域成分のみを含む第１のサブフレームに対する分配比率を０％に近い値とすると、出力画像における動きボケを効果的に抑制することができる。一方、平坦度が小さかったり、エッジ強度が弱い場合は、低域成分のみを含む第１のサブフレームと、高域成分を含む第２のサブフレームとで、均等に近い分配比率とすると、フリッカを抑制することができ好ましい。

図３は、エッジ近傍の平坦領域の特徴量と、低域成分のみを含む第１のサブフレームの分配比率との一例の関係を示す。エッジ強度が強く且つ平坦領域の平坦度が大きい、特徴量が大の領域においては、理論上取り得る分配比率の最小値は０％となる。実際には、図３に例示されるように、フリッカの除去効果も考慮して、第１のサブフレームに対する分配比率の最小値を１０％としている。一方、特徴量が小の領域においては、分配比率を略５０％に設定している。なお、特徴量が中の領域では、図３に例示されるように、特徴量に応じて分配比率を可変させてもよいし、分配比率を、最小値および５０％の間の所定値としてもよい。

上述したエッジ近傍状態検出部１０２におけるより詳細な処理を、エッジ近傍の状態が平坦である場合と、エッジ近傍の状態が複雑である場合とに分けて説明する。先ず、図４を用いて、エッジ近傍の状態が平坦である場合について説明する。

図４（ａ）は、入力フレーム１０１による入力波形に対して、平坦部検出部１０３で平坦領域を検出した一例の状態を示す。平坦領域として検出された領域を、図４（ａ）において斜線を付して示す（領域２０２および２０３）。この領域２０２および２０３が、平坦領域拡張部１０４で拡張され、図４（ｂ）に例示される領域２０５および２０６とされる。なお、図４（ａ）の如くエッジ部の両側で検出された平坦領域に関し、平坦度は、原則的に、それぞれの平坦領域毎に独立的に求める。これに限らず、平坦度を、当該エッジ部の両側の平坦領域それぞれの平坦度の平均値を平坦度として求めてもよい。

一方、エッジ検出部１０５は、入力波形に対してエッジ部の検出を行う。エッジ検出された結果の例を、図４（ｃ）において斜線を付して示す（領域２０８）。この領域２０８が、エッジ領域拡張部１０６で拡張され、図４（ｄ）に例示される領域２１０とされる。

次に、重なり領域検出部１０７において、拡張平坦領域である領域２０５および２０６（図４（ｂ）と、拡張エッジ領域である領域２１０（図４（ｄ））とが重なり合うエッジ近傍の平坦領域が検出される。図４（ｅ）は、重なり領域検出部１０７で検出された、領域２０５および２０６と、領域２１０とが重なり合う領域２１２の例を示す。この図４（ｅ）において斜線を付して示される領域２１２が、エッジ近傍の平坦領域ということになる。

領域特徴量検出部１０８は、上述した平坦度およびエッジ強度に基づき、エッジ近傍の平坦領域２１２の特徴量を求める。そして、分配比率処理部１１０は、この特徴量に応じて、低域成分のみを含む第１のサブフレームに対する分配比率を設定する。このとき、分配比率処理部１１０は、図５（ａ）に例示されるように、エッジ近傍の平坦領域では分配比率２５％、それ以外の部分では分配比率５０％といったように、領域毎の分配比率を求めることができる。

ここで、分配比率の異なる境界部分での分配比率の不連続性を避けるため、図５（ｂ）に例示するように、エッジ近傍の平坦領域内からエッジ近傍の平坦領域外へ、分配比率を直線的に変化させることが考えられる。これに限らず、図５（ｃ）に例示するように、フィルタ処理などによって、エッジ近傍の平坦領域内からエッジ近傍の平坦領域外へ、分配比率を滑らかに変化させることも可能である。

上述したようにして求めた領域毎の分配比率を処理波形に適用させた例を、図６を用いて説明する。

先ず、第１のサブフレームの処理に係る波形について説明する。図６（ａ）は、分配比率処理部１１０に入力されるローパスフィルタ処理後の波形に対し、図５（ａ）に例示される、分配比率が２５％とされた分配領域４０２（斜線を付して示す）を重ねて表示させた図である。すなわち、この分配領域４０２が、分配比率を２５％に下げるべき領域である。図６（ｂ）は、図６（ａ）に例示される波形のレベルを２５％に減衰させた波形の例を示す。図６（ａ）の領域４０２に対応する領域４０４（斜線を付して示す）が、この波形を適用すべき領域である。

図６（ｃ）は、分配比率処理部１１０に入力されるローパスフィルタ処理後の波形に対し、図５（ａ）に例示される、分配比率が５０％とされた分配領域４０６および４０７（斜線を付して示す）を重ねて表示させた図である。すなわち、これら分配領域４０６および４０７が、分配比率を５０％とするべき領域である。なお、図６（ｃ）においては、分配領域４０６および４０７に対する分配比率に合わせて、図６（ａ）に例示される波形のレベルが５０％に減衰されて示されている。

図６（ｄ）は、上述した図６（ｂ）および図６（ｃ）にそれぞれ示される分配領域４０２、４０６および４０７毎に分配比率を変えた波形の例を示す。図６（ｄ）に斜線を付して示される領域４０９および４１０は、分配比率が変わる境界の領域の例を示す。これらの境界領域において、図５（ｂ）を用いて説明したように、分配比率を所定の傾斜の直線で接続した波形の例を、図６（ｅ）に示す。この図６（ｅ）に例示される波形が、低域成分のみを含む第１のサブフレームの波形となる。

一方、高域成分を含む第２のサブフレームは、図１で示した減算処理部１１１にて、入力フレーム１０１から、上述した低域成分のみを含む第１のサブフレームを減じることで生成される。図６（ｆ）は、入力フレーム１０１による入力波形から、図６（ｄ）に例示される低域成分のみを含む第１のサブフレームによる波形を減じて生成された、高域成分を含む第２のサブフレームの波形の例を示す。

動きのない静止した画像においては、これら低域成分のみを含む第１のサブフレームと、高域成分を含む第２のサブフレームとによる見かけ上の合成波形は、図６（ｇ）に例示するようになり、図６（ａ）に示した入力フレーム１０１による波形と同一となる。

一方、動きのある画像においては、図６（ｅ）および図６（ｆ）にそれぞれ示される波形に相対的な位置ずれが発生する。そのため、これら第１および第２のサブフレームとによる見かけ上の合成波形は、図６（ｈ）に例示されるように、入力波形に対して若干の不一致が生じる。しかしながら、本第１の実施形態では、エッジ近傍の平坦度に応じて分配比率を適応的に設定しているので、図６（ｆ）において丸で囲んだ注目点４１５に示されるように、図２０（ｆ）を用いて説明した従来技術の例に対して、動きによる視覚的な劣化が抑制される。

なお、第１および第２のサブフレームにおける相対的な波形の位置のずれは、画像の動きの大きさに依存する。大きすぎる動きに対しては、眼が追従することが難しいので、動きボケの目立つ範囲には上限が存在する。そのため、上述した平坦領域拡張部１０４およびエッジ領域拡張部１０６において、エッジ近傍の平坦領域を求めるために平坦領域およびエッジ領域を拡張する拡張範囲は、眼が追従可能な動きの大きさにおける範囲で決定すればよい。

次に、図７を用いて、エッジ近傍の状態が複雑である場合について説明する。図７（ａ）は、入力フレーム１０１による入力波形に対して、平坦部検出部１０３で平坦領域を検出した一例の状態を示す。この図７（ａ）の例では、平坦部検出部１０３で平坦と判定された領域が無い状態であることを示している。したがって、平坦領域拡張部１０４による処理においても、図７（ｂ）に例示されるように、拡張領域が無い状態となる。

一方、エッジ検出部１０５による入力波形に対するエッジ検出の結果、図７（ｃ）に斜線を付して示される領域５１０がエッジ領域として検出される。この領域５１０がエッジ領域拡張部１０６で拡張され、図７（ｄ）に例示される拡張エッジ領域５１１とされる。

重なり領域検出部１０７において、平坦領域拡張部１０４で拡張された拡張平坦領域と、エッジ領域拡張部１０６で拡張された拡張エッジ領域５１１とが重なり合う領域が求められる。図７の例では、平坦部検出部１０３で平坦領域が検出されないため拡張平坦領域も存在せず、図７（ｅ）に例示されるように、拡張平坦領域と拡張エッジ領域５１１とが重なり合う領域も存在しない。そのため、図８に例示されるように、特に分配比率を変えるべき領域は存在せず、分配比率は、均一に５０％となる。

図８に示す分配比率を処理波形に適用させた例を、図９を用いて説明する。図９（ａ）は、分配比率処理部１１０に入力されるローパスフィルタ処理後の波形である。図８を用いて説明したように、分配比率を変える領域は存在しないため、ローパスフィルタ処理後の波形のレベルを５０％下げた波形（図９（ｂ））を、そのまま低域成分のみを含む第１のサブフレームとして出力する。

一方、高域成分を含む第２のサブフレームは、図１で示した減算処理部１１１にて、入力フレーム１０１から上述した低域成分を含む第１のサブフレームを減じることで生成される。図９（ｃ）は、図７（ａ）で示した入力波形から図９（ｂ）に例示される低域成分のみを含む第１のサブフレームを減じて生成された、高域成分を含む第２のサブフレームの波形の例を示す。

動きのない静止した画像においては、これら低域成分のみを含む第１のサブフレームと、高域成分を含む第２のサブフレームとによる見かけ上の合成波形は、図９（ｄ）に例示するようになり、図７（ａ）に示した入力フレーム１０１による波形と同一となる。

また、動きのある画像における、第１および第２のサブフレームの見かけ上の合成波形は、図９（ｂ）および図９（ｃ）にそれぞれ示される波形の相対的な位置ずれを含み、図９（ｅ）に例示されるようになる。この場合、図９（ｅ）において丸で囲んだ注目点７０６に示されるように、高域成分の上に歪が乗る状態なので、視覚的な劣化は少ない。

なお、カラー画像に対する処理は、一般的に、Ｒ信号、Ｇ信号およびＢ信号からなるコンポーネント信号や、輝度信号Ｙおよび色差信号Ｃｂ、Ｃｒからなるコンポジット信号といった、３種類の画像データに分けて行われる。本発明による上述した一連の処理は、コンポーネント信号による画像データのＲ信号、Ｇ信号およびＢ信号のそれぞれに対して行ってもよいし、コンポジット信号における輝度信号Ｙに対してのみ行ってもよい。また、Ｒ信号、Ｇ信号およびＢ信号から輝度信号Ｙを算出して本発明による一連の処理を行い、結果を再びＲ信号、Ｇ信号およびＢ信号に当てはめることも、もちろん可能である。

次に、本発明の第１の実施形態による処理の例を、図１０のフローチャートを用いてより具体的に説明する。先ず、ステップＳ１００１で、例えばエッジ検出や平坦部検出に必要な閾値設定、領域拡張範囲、ローパスフィルタの静的特性といった、必要な初期設定が行われる。

例えば、図１を参照し、平坦領域の検出処理やエッジ検出に必要な閾値が平坦部検出部１０３やエッジ検出部１０５に対してそれぞれ設定される。同様に、平坦領域拡張部１０４やエッジ領域拡張部１０６に対して、それぞれ領域拡張範囲が設定される。また、ＬＰＦ処理部１０９に対して、所定の静的特性を実現するためのパラメータが設定される。これらの設定は、例えば図示されないＣＰＵなどにより行われる。これに限らず、該当する各部に対して各値が予め設定されていてもよい。

初期設定がなされると、処理はステップＳ１００２に移行され、入力画像である入力フレーム１０１が動画像処理装置１００に対して入力される。例えば、図４（ａ）に示した波形が入力されるものとする。次のステップＳ１００３で、入力フレーム１０１に対して平坦部検出部１０３により平坦領域の検出処理が行われる。検出結果を、例えば図４（ａ）の領域２０２および２０３とする。検出された平坦領域は、ステップＳ１００４で、平坦領域拡張部１０４により拡張される。拡張結果を、例えば図４（ｂ）の領域２０５および２０６とする。

ステップＳ１００５で、入力フレーム１０１に対してエッジ検出部１０５によりエッジ領域の検出処理が行われる。検出結果を、例えば図４（ｃ）の領域２０８とする。検出されたエッジ領域は、ステップＳ１００６で、エッジ領域拡張部１０６により拡張される。拡張結果を、例えば図４（ｄ）の領域２１０とする。

なお、このステップＳ１００５およびステップＳ１００６の処理と、上述したステップＳ１００３およびステップＳ１００４の処理とは、順序を入れ替えて、ステップＳ１００５およびステップＳ１００６を先に実行しても構わない。これに限らず、ステップＳ１００５およびステップＳ１００６の処理と、上述したステップＳ１００３およびステップＳ１００４の処理とを並列的に行ってもよいし、時分割で交互に行ってもよい。

拡張平坦領域および拡張エッジ領域が求められると、処理はステップＳ１００７に移行され、重なり領域検出部１０７において、これら拡張平坦領域と拡張エッジ領域とが重なり合う領域、すなわち、エッジ近傍の平坦領域が検出される。エッジ近傍の平坦領域の検出結果を、例えば図４（ｅ）の領域２１２とする。そして、次のステップＳ１００８で、領域特徴量検出部１０８により、エッジ近傍領域の平坦領域の特徴量を求め、低域成分のみを含む第１のサブフレームの最終的な分配比率を決定する。例えば、図５（ｂ）のように、異なる分配比率を所定の傾きで直線的に接続して、この最終的な分配比率の決定結果を得る。この最終的な分配比率は、分配比率処理部１１０に供給される。

ステップＳ１００９で、入力フレーム１０１に対し、ＬＰＦ処理部１０９でローパスフィルタ処理を行う。ローパスフィルタ処理の結果、例えば図６（ａ）に示される波形が得られたものとする。次のステップＳ１０１０で、分配比率処理部１１０により、ステップＳ１００８で決定された分配比率に従い、ローパスフィルタ処理による出力信号の出力比率（分配比率）を変更し、低域成分のみを含む第１のサブフレームが生成される。例えば、この第１のサブフレームによる波形が図６（ｅ）に例示されるように得られたものとする。

次のステップＳ１０１１は、減算処理部１１１での差分画像生成処理により、入力フレーム１０１と低域成分のみを含む第１のサブフレームとの差分を取って、高域成分のみを含む第２のサブフレームを生成する。例えば図６（ｆ）に例示されるように、この第２のサブフレームによる波形が得られたものとする。

次のステップＳ１０１２で、スイッチ１１２により、第１のサブフレームの出力タイミングが判定される。若し、第１のサブフレームの出力タイミングであると判定されれば、処理がステップＳ１０１３に移行され、第１のサブフレームを出力フレーム１１３として出力する。なお、第１のサブフレームは、スイッチ１１２が有するバッファメモリに一時的に保持されており、第１のサブフレームの出力タイミングでバッファメモリから読み出されてスイッチ１１２から出力フレーム１１３として出力される。

第１のサブフレームが出力されると、処理がステップＳ１０１４に移行され、スイッチ１１２より、第２のサブフレームの出力タイミングが判定される。若し、第２のサブフレームの出力タイミングであると判定されれば、処理がステップＳ１０１５に移行され、第２のサブフレームを出力フレーム１１３として出力する。なお、第２サブフレームは、スイッチ１１２が有するバッファメモリに一時的に保持されてもよく、第２のサブフレームの出力タイミングバッファメモリから読み出されてスイッチ１１２から出力フレーム１１３として出力される。

第２のサブフレームが出力されると、次のステップＳ１０１６で、入力された全ての入力フレーム１０１について処理が完了したか否かが判定される。若し、完了したと判定されたら、一連の処理が終了される。一方、全ての入力フレーム１０１について処理が完了してないと判定されたら、処理がステップＳ１００２に戻され、次の入力フレーム１０１に対して処理が繰り返される。

一例として、ステップＳ１０１２、Ｓ１０１３による第１のサブフレームの出力と、ステップＳ１０１４、Ｓ１０１５による第２のサブフレームの出力とが、入力フレーム１０１の２倍のフレーム周波数の間隔で交互に繰り返されるように制御される。

なお、上述のステップＳ１０１２〜ステップＳ１０１４による第１および第２のサブフレームの出力順序は、一例であってこれに限定されるものではない。すなわち、第２のサブフレームを出力した後に第１のサブフレームを出力してもよい。また、上述では、第１および第２のサブフレームを生成した後に出力タイミングを判定しているが、これはこの例に限定されない。例えば、ステップＳ１００９におけるローパスフィルタ処理が完了した時点で第１のサブフレームの出力タイミングを判定し、出力した後に差分値検出処理を行って第２サブフレームを生成してもよい。

以上説明したように、低域成分のみを含む第１のサブフレームの分配比率を、画像のエッジ近傍の平坦領域の特徴量に応じて領域毎に変えることで、フリッカと動きボケによる劣化の両方を適応的に抑制し、高画質な出力画像を得ることが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図１１は、本第２の実施形態による動画像処理装置１００Ａの一例の構成を示す。なお、図１１において、上述の図１と共通する部分には同一の符号を付し、詳細な説明を省略する。

本第２の実施形態による動画像処理装置１００Ａは、図１の第１の実施形態による動画像処理装置１００に対して、エッジ近傍状態検出部１０２Ａの入力部に、入力フレーム１０１とＬＰＦ処理部１０９からの出力の差分を検出する差分検出部２００が設けられる。

上述した第１の実施形態では、平坦部検出部１０３やエッジ検出部１０５にそれぞれ高域成分を検出する機能を含むものとして説明した。これに対して、本第２の実施形態では、入力フレーム１０１とＬＰＦ処理部１０９の出力との差分を差分検出部２００により生成することで、入力フレーム１０１の高域成分を検出し、これを活用することで回路規模の低減を図る。

エッジ近傍の状態が平坦である場合に説明した入力フレーム１０１の入力波形（図４（ａ））に対し、差分検出部２００で高域成分を検出した一例の結果を、図１２（ａ）に示す。

平坦部検出部１０３Ａは、この図１２（ａ）に例示される波形における、振幅の小さい領域を平坦領域として検出する処理を行う。平坦部検出部１０３Ａで検出された平坦領域１２０２および１２０３を、図１２（ａ）に斜線を付して示す。平坦部検出部１０３Ａで検出された平坦領域１２０２および１２０３は、平坦領域拡張部１０４で拡張され、図１２（ｂ）に斜線を付して示す拡張平坦領域１２０５および１２０６を得る。

一方、エッジ検出部１０５Ａは、図１２（ａ）に例示される波形における、振幅の大きい領域をエッジ領域として検出する処理を行う。エッジ検出部１０５Ａで検出されたエッジ領域１２０８を、図１２（ｃ）に斜線を付して示す。エッジ検出部１０５Ａで検出されたエッジ領域１２０８は、エッジ領域拡張部１０６で拡張され、図１２（ｄ）に斜線を付して示す拡張エッジ領域１２１０を得る。

以降、重なり領域検出部１０７において、拡張平坦領域１２０５および１２０６と、拡張エッジ領域１２０１とが重なり合う領域が、エッジ近傍の平坦領域として検出される。検出されたエッジ近傍の平坦領域１２１２を、図１２（ｅ）に斜線を付して示す。このエッジ近傍の平坦領域１２１２は、第１の実施形態で説明した図４（ｅ）の領域２１２と対応する。したがって、最終的な分配領域も、第１の実施形態の場合と同様に得ることができる。

例えば、平坦部検出部１０３Ａおよびエッジ検出部１０５Ａにおける閾値や、平坦領域拡張部１０４およびエッジ領域拡張部１０６における拡張範囲を、第１の実施形態の場合と対応するように設定する。これにより、本第２の実施形態により得られるエッジ近傍の平坦領域１２１２を、第１の実施形態によるエッジ近傍の平坦領域２１２と略等しくすることが可能である。

次に、本発明の第２の実施形態による処理の例を、図１３のフローチャートを用いてより具体的に説明する。なお、図１３において、上述した図１０のフローチャートと共通する処理には同一の符号を付して、詳細な説明を省略する。

先ず、ステップＳ１００１で、例えばエッジ検出や平坦部検出に必要な閾値設定、領域拡張範囲、ローパスフィルタの静的特性といった、必要な初期設定が行われ、ステップＳ１００２で、入力フレーム１０１が動画像処理装置１００Ａに対して入力される。例えば、図４（ａ）に示した波形が入力されるものとする。

本第２の実施形態では、入力フレーム１０１が入力されると、先ずＬＰＦ処理部１０９においてローパスフィルタ処理が行われる（ステップＳ１３０３）。次に、ステップＳ１３０４にて、差分検出部２００により入力フレーム１０１とＬＰＦ処理部１０９の出力との差分が検出される。差分検出部２００による差分の検出結果は、例えば図１２（ａ）に示される波形のようになる。

次のステップＳ１３０５で、差分検出部２００の出力に対して平坦部検出部１０３Ａにより平坦領域の検出処理が行われる。検出結果を、例えば図１２（ａ）の領域１２０２および１２０３とする。検出された平坦領域は、ステップＳ１３０６で、平坦領域拡張部１０４により拡張される。拡張結果を、例えば図１２（ｂ）の拡張平坦領域１２０５および１２０６とする。

ステップＳ１３０７で、差分検出部２００の出力に対してエッジ検出部１０５Ａによりエッジ領域の検出処理が行われる。検出結果を、例えば図１２（ｃ）の領域１２０８とする。検出されたエッジ領域は、ステップＳ１３０８で、エッジ領域拡張部１０６により拡張される。拡張結果を、例えば図１２（ｄ）の拡張エッジ領域１２１０とする。

なお、このステップＳ１３０７およびステップＳ１３０８の処理と、上述したステップＳ１３０５およびステップＳ１３０６の処理とは、順序を入れ替えて、ステップＳ１３０７およびステップＳ１３０８を先に実行しても構わない。これに限らず、ステップＳ１３０７およびステップＳ１３０８の処理と、上述したステップＳ１３０５およびステップＳ１３０６の処理とを並列的に行ってもよいし、時分割で交互に行ってもよい。

拡張平坦領域および拡張エッジ領域が求められると、処理はステップＳ１３０９に移行され、重なり領域検出部１０７において、これら拡張平坦領域と拡張エッジ領域とが重なり合う、エッジ近傍の平坦領域が検出される。この検出結果を、例えば図１２（ｅ）のエッジ近傍の平坦領域１２１２とする。そして、次のステップＳ１３１０で、領域特徴量検出部１０８により、エッジ近傍領域の平坦領域の特徴量を求め、低域成分のみを含む第１のサブフレームの最終的な分配比率を決定する。例えば、図５（ｂ）のように、異なる分配比率を所定の傾きで直線的に接続して、この最終的な分配比率の決定結果を得る。この最終的な分配比率は、分配比率処理部１１０に供給される。

以降、上述した図１０のフローチャートのステップＳ１０１１からの処理と同様にして処理がなされる。すなわち、低域成分のみを含む第１のサブフレームの分配処理がなされ（ステップＳ１０１１）、分配処理された第１のサブフレームと、入力フレーム１０１との差分が減算処理部１１１で取られる（ステップＳ１０１２）。そして、それぞれの出力タイミングで第１および第２のサブフレームが出力フレーム１１３として出力される（ステップＳ１０１３〜ステップＳ１０１６）。全ての入力フレーム１０１に対して処理が完了していなければ、処理がステップＳ１００２に戻される。

このように、本第２の実施形態では、ＬＰＦ処理部１０９の出力結果を利用して、平坦領域やエッジ領域の検出処理を行っている。そのため、平坦部検出部１０３Ａやエッジ検出部１０５Ａで用いるフィルタの規模を削減しつつ、第１の実施形態と同様の高画質な出力画像を得ることが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１４は、本第３の実施形態による動画像処理装置１００Ｂの一例の構成を示す。なお、図１４において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。

本第３の実施形態では、ＬＰＦ処理部１０９Ｂの前に分配比率処理部１１０Ｂを配置し、入力フレーム１０１に対して分配比率処理部１１０Ｂにより分配処理を施した後に、ＬＰＦ処理部１０９Ｂでローパスフィルタ処理を施す。

本第３の実施形態において、エッジ近傍状態検出部１０２における処理は、上述した第１の実施形態における処理と何ら変わるところがない。そのため、以下では、入力フレーム１０１に基づきエッジ近傍状態検出部１０２で分配比率が決定した状態から説明を行う。また、以下では、エッジ近傍が平坦である場合を例にとって説明する。

図１５（ａ）に例示される波形を有する入力フレーム１０１が分配比率処理部１１０Ｂに入力される。分配比率処理部１１０Ｂは、エッジ近傍状態検出部１０２で入力フレーム１０１に基づき決定された分配比率に従って、入力波形のレベルを減衰させる。この、入力フレーム１０１の信号レベルが分配比率にしたがって減衰された波形の例を、図１５（ｂ）に示す。この例では、図１５（ｂ）に斜線を付して示す領域１５０３では、２５％の分配比率が適用され、それ以外の領域では５０％の分配比率が適用される。

分配比率が適用され入力フレーム１０１に対して減衰された信号に対して、ＬＰＦ処理部１０９Ｂで、ローパスフィルタ処理を行う。図１５（ｃ）は、上述した図１５（ｂ）に例示された波形に対してローパスフィルタ処理を施した一例の波形を示す。入力波形におけるエッジ部のみならず、分配比率が不連続となることにより生じる波形のエッジ部に対してもフィルタ処理がなされる。これにより、低域成分のみを含む第１のサブフレームの生成に際し、図５を用いて説明したような境界処理を別途に行うことが不要となる。

ＬＰＦ処理部１０９Ｂから出力された第１のサブフレームは、減算処理部１１１に供給されると共に、スイッチ１１２の一方の入力端に供給される。高域成分を含む第２のサブフレームは、減算処理部１１１で、入力フレーム１０１からＬＰＦ処理部１０９Ｂから出力された第１のサブフレームを減ずることで生成される。図１５（ｄ）は、こうして生成された第２のサブフレームの一例の波形を示す。

動きのない静止した画像においては、これら低域成分のみを含む第１のサブフレームと、高域成分を含む第２のサブフレームとによる見かけ上の合成波形は、図１５（ｅ）に例示するようになり、図１５（ａ）に示した入力フレーム１０１による波形と同一となる。

また、動きのある画像における、第１および第２のサブフレームの見かけ上の合成波形は、図１５（ｃ）および図１５（ｄ）にそれぞれ示される波形の相対的な位置ずれを含み、図１５（ｆ）に例示されるようになる。図１５（ｆ）において丸で囲んだ注目点１５０８に示されるように、入力フレーム１０１に対して分配比率を下げた効果で、視覚的な劣化が少なくなっていることが分かる。

次に、本発明の第３の実施形態による処理の例を、図１６のフローチャートを用いてより具体的に説明する。なお、図１６において、上述した図１０のフローチャートと共通する処理には同一の符号を付して、詳細な説明を省略する。

先ず、ステップＳ１００１で、例えばエッジ検出や平坦部検出に必要な閾値設定、領域拡張範囲、ローパスフィルタの静的特性といった、必要な初期設定が行われ、ステップＳ１００２で、入力フレーム１０１が動画像処理装置１００Ａに対して入力される。例えば、図１５（ａ）に示した波形が入力されるものとする。

次のステップＳ１００３で、入力フレーム１０１に対して平坦部検出部１０３により平坦領域の検出処理が行われ、平坦領域は、ステップＳ１００４で、平坦領域拡張部１０４により拡張される。また、ステップＳ１００５で、入力フレーム１０１に対してエッジ検出部１０５によりエッジ領域の検出処理が行われ、エッジ領域は、ステップＳ１００６で、エッジ領域拡張部１０６により拡張される。

なお、このステップＳ１００５およびステップＳ１００６の処理と、上述したステップＳ１００３およびステップＳ１００４の処理とは、順序を入れ替えて、ステップＳ１００５およびステップＳ１００６を先に実行しても構わない。これに限らず、ステップＳ１００５およびステップＳ１００６の処理と、上述したステップＳ１００３およびステップＳ１００４の処理とを並列的に行ってもよいし、時分割で交互に行ってもよい。

拡張平坦領域および拡張エッジ領域が求められると、処理はステップＳ１００７に移行され、重なり領域検出部１０７において、これら拡張平坦領域と拡張エッジ領域とが重なり合う、エッジ近傍の平坦領域が検出される（図１５（ｂ））。そして、次のステップＳ１００８で、領域特徴量検出部１０８により、エッジ近傍領域の平坦領域の特徴量を求め、低域成分のみを含む第１のサブフレームの分配比率を決定する。一例として、図５（ａ）に示されるように、エッジ近傍の平坦領域では２５％の分配比率が適用され、それ以外の領域では５０％の分配比率が適用される。決定された分配比率は、分配比率処理部１１０Ｂに供給される。

次に、ステップＳ１６０９で、分配比率処理部１１０Ｂにおいて、入力フレーム１０１に対する分配比率に応じたレベル減衰処理が行われる。例えば、図１５（ｂ）に例示されるように、入力フレーム１０１による入力波形に対し、エッジ近傍の平坦領域である領域１５０３のレベルが減衰される。そして、次のステップＳ１６１０で、領域１５０３の入力波形のレベルが減衰された信号に対して、ＬＰＦ処理部１０９Ｂにおいてローパスフィルタ処理が施される。このローパスフィルタ処理の結果、図１５（ｃ）に例示される波形の、低域成分のみを含む第１のサブフレームが得られる。

以降、上述した図１０のフローチャートのステップＳ１０１１からの処理と同様にして処理がなされる。すなわち、低域成分のみを含む第１のサブフレームの分配処理がなされ（ステップＳ１０１１）、分配処理された第１のサブフレームと、入力フレーム１０１との差分が減算処理部１１１で取られる（ステップＳ１０１２）。これにより、図１５（ｄ）に例示されるような、高域成分を含む第２のサブフレームが生成される。そして、それぞれの出力タイミングで第１および第２のサブフレームが出力フレーム１１３として出力される（ステップＳ１０１３〜ステップＳ１０１６）。全ての入力フレーム１０１に対して処理が完了していなければ、処理がステップＳ１００２に戻される。

このように、入力フレームを分配比率処理後にローパスフィルタ処理を行うことにより、分配比率が不連続となる領域に対しても特別な処理を追加することなく、第１の実施形態と同様の高画質な出力画像を得ることが可能となる。

＜各実施形態に共通して適用可能なハードウェア構成＞
図１７は、本発明の第１、第２および第３の実施形態に共通して適用可能な動画像処理装置３００の一例の構成を示す。図１７に例示されるように、当該動画像処理装置３００は、一般的なコンピュータにより実現可能である。

バス３０８に対して、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３およびネットワークＩ／Ｆ３０４が接続される。また、バス３０８に対して、入力装置３０５、出力装置３０６および外部記憶装置３０７がさらに接続される。バス３０８に接続される各部は、バス３０８を介して互いに通信が可能とされている。外部記憶装置３０７は、例えばハードディスクや不揮発性メモリといった記録媒体であって、ＣＰＵ３０１が用いるプログラムや各種データを格納することができる。

ＣＰＵ３０１は、ＲＯＭ３０２や外部記憶装置３０７に記憶されるプログラムに従い、ＲＡＭ３０３をワークメモリとして用いてこの動画像処理装置３００の全体を制御する。ＣＰＵ３０１は、対応するプログラムを実行することにより、例えば図１のエッジ近傍状態検出部１０２、ＬＰＦ処理部１０９、減算処理部１１１および分配比率処理部１１０として機能することができ、図２から図９における処理を実行する。図１１および図１４の各部についても同様に、ＣＰＵ３０１上で動作するプログラムにより実現できる。

また、ＲＡＭ３０３は、ＣＰＵ３０１のワークメモリとして用いられると共に、上述したスイッチ１１２が有するバッファメモリとしても機能できる。したがって、ＲＡＭ３０３に対する書き込みおよび読み出し動作をＣＰＵ３０１が制御することで、図１、図１１および図１４におけるスイッチ１１２が実現される。

入力装置３０５は、ユーザからの入力を受け付けるキーボードやマウスといった入力デバイスの他、被写体の画像を撮影して画像入力を行うための撮像装置を含むことができる。当該撮像装置を有することにより、この動画像処理装置３００はデジタルスチルカメラ、あるいは、デジタルビデオカメラとして機能することができる。

出力装置３０６は、表示デバイスおよびその駆動回路からなり、指定された駆動周波数でＣＰＵ３０１から出力された画像データを表示する。表示デバイスとしては、液晶ディスプレイのようなホールド型の表示デバイスや、フィールドエミッションタイプの表示デバイスのようなインパルス型の表示デバイスを適用できる。出力装置３０６は、この動画像処理装置３００と一体的に構成してもよいし、所定のインターフェイスを介して接続される外部機器であってもよい。

ネットワークＩ／Ｆ３０４は、外部のネットワークに接続され、所定のプロトコルを用いて当該ネットワークを介してデータ通信を行うことができる。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。

また、本発明の目的は、上述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体をシステムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上述の記憶媒体に適用する場合、その記憶媒体には、例えば、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

本発明の第１の実施形態に適用できる画像処理装置の一例の構成を示すブロック図である。 多値化によるエッジ近傍の平坦領域の特徴量の検出処理について説明するための図である。 エッジ近傍の平坦領域の特徴量と低域成分のみを含む第１のサブフレームの分配比率との一例の関係を示す図である。 エッジ近傍の状態が平坦である場合の処理を説明するための図である。 エッジ近傍の状態が平坦である場合の分配比率の設定について説明するための図である。 エッジ近傍の状態が平坦である場合の領域毎の分配比率を処理波形に適用させた例を説明するための図である。 エッジ近傍の状態が複雑である場合の処理を説明するための図である。 エッジ近傍の状態が複雑である場合の分配比率の設定について説明するための図である。 エッジ近傍の状態が複雑である場合の分配比率を処理波形に適用させた例を説明するための図である。 本発明の第１の実施形態による処理の例をより具体的に説明するための一例のフローチャートである。 本発明の第２の実施形態による画像処理装置の一例の構成を示すブロック図である。 本発明の第２の実施形態による各処理における波形の例を示す図である。 本発明の第２の実施形態による処理の例をより具体的に説明するためのフローチャートである。 本発明の第３の実施形態による画像処理装置の一例の構成を示すブロック図である。 本発明の第３の実施形態による各処理における波形の例を示す図である。 本発明の第３の実施形態による処理の例をより具体的に説明するためのフローチャートである。 本発明の第１、第２および第３の実施形態に共通して適用可能な画像処理装置の一例の構成を示すブロック図である。 特許文献１に開示される回路構成の一部を示す図である。 特許文献１に開示される回路の各部における一例の波形を示す図である。 入力フレームの画像信号による画像のエッジ部分の近傍が平坦であって、画像信号に対してローパスフィルタ処理を施した後の波形のレベルを５０％に低減する場合の、各処理における波形の例を示す図である。 高域成分を強調したサブフレームと低域成分のみのサブフレームとに対する分配比率を変える場合について説明するための図である。 エッジ近傍の領域が平坦ではなく複雑な波形である場合の例を説明するための図である。

１００，１００Ａ，１００Ｂ 画像処理装置
１０１ 入力フレーム
１０２，１０２Ａ エッジ近傍状態検出部
１０３，１０３Ａ 平坦部検出部
１０４ 平坦領域検出部
１０５，１０５Ａ エッジ検出部
１０６ エッジ領域拡張部
１０７ 重なり領域検出部
１０８ 領域特徴量検出部
１０９，１０９Ｂ ＬＰＦ処理部
１１０，１１０Ｂ 分配比率処理部
１１１ 差分検出部
１１２ スイッチ
１１３ 出力フレーム

Claims (12)

1. 入力フレーム画像を、空間周波数の低域成分のみを含む信号からなる第１のサブフレームと、空間周波数の高域成分を含む信号からなる第２のサブフレームとに分配して出力する動画像処理装置であって、
   前記入力フレーム画像に基づき前記画像のエッジ領域と平坦領域とを検出し、該エッジ領域および該平坦領域を用いてエッジ近傍の平坦領域を検出する検出手段と、
   前記エッジ領域のエッジ強度および前記平坦領域の平坦度を検出し、該エッジ強度および該平坦度に基づき前記エッジ近傍の平坦領域の特徴量を求め、該特徴量に応じて前記エッジ近傍の平坦領域の信号の分配比率を決定する決定手段と、
   前記入力フレーム画像の低域成分と前記分配比率とに基づき前記第１のサブフレームを生成する第１の生成手段と、
   前記入力フレーム画像から前記第１のサブフレームを減じて前記第２のサブフレームを生成する第２の生成手段と、
   前記第１および第２のサブフレームを前記入力フレーム画像のフレーム期間に順次出力する出力手段と
   を有する
   ことを特徴とする動画像処理装置。
2. 前記決定手段は、前記特徴量を、
   前記エッジ領域のエッジ強度が強く、且つ、前記平坦領域の平坦度が大であるほど前記分配比率を小さくする値とし、
   前記エッジ領域のエッジ強度が弱くなるほど、または、前記平坦領域の平坦度が小であるほど前記分配比率を大きくする値とする
   ことを特徴とする請求項１に記載の動画像処理装置。
3. 前記検出手段は、
   前記平坦領域を拡張した拡張平坦領域を生成する拡張平坦領域生成手段と、
   前記エッジ領域を拡張した拡張エッジ領域を生成する拡張エッジ領域生成手段と、
   前記拡張エッジ領域と前記拡張平坦領域とが重なり合う領域を前記エッジ近傍の平坦領域として検出する重なり検出手段と
   を有する
   ことを特徴とする請求項１または請求項２に記載の動画像処理装置。
4. 前記拡張エッジ領域生成手段は、
   前記入力フレーム画像から前記低域成分を抽出した信号から前記画像のエッジ領域を検出する
   ことを特徴とする請求項３に記載の動画像処理装置。
5. 前記第１の生成手段は、
   前記入力フレーム画像の前記低域成分を抽出し、該低域成分に対して前記分配比率を乗じて前記第１のサブフレームを生成する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の動画像処理装置。
6. 前記第１の生成手段は、
   前記入力フレーム画像に対して前記分配比率を乗じてから前記低域成分を抽出して前記第１のサブフレームを生成する
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の動画像処理装置。
7. 前記決定手段は、
   前記エッジ近傍の平坦領域内から該エッジ近傍の平坦領域外へ、前記分配比率を直線的に変化させる
   ことを特徴とする請求項１乃至請求項６の何れか１項に記載の動画像処理装置。
8. 前記決定手段は、
   前記エッジ近傍の平坦領域内から該エッジ近傍の平坦領域外へ、前記分配比率を滑らかに変化させる
   ことを特徴とする請求項１乃至請求項６の何れか１項に記載の動画像処理装置。
9. 前記出力手段は、
   前記第１および第２のサブフレームを前記入力フレーム画像のフレーム周波数の２倍のフレーム周波数で交互に順次出力する
   ことを特徴とする請求項１乃至請求項８の何れか１項に記載の動画像処理装置。
10. 入力フレーム画像を、空間周波数の低域成分のみを含む信号からなる第１のサブフレームと、空間周波数の高域成分を含む信号からなる第２のサブフレームとに分配して出力する動画像処理方法であって、
    前記入力フレーム画像に基づき前記画像のエッジ領域と平坦領域とを検出し、該エッジ領域および該平坦領域を用いてエッジ近傍の平坦領域を検出する検出ステップと、
    前記エッジ領域のエッジ強度および前記平坦領域の平坦度を検出し、該エッジ強度および該平坦度に基づき前記エッジ近傍の平坦領域の特徴量を求め、該特徴量に応じて前記エッジ近傍の平坦領域の信号の分配比率を決定する決定ステップと、
    前記入力フレーム画像の低域成分と前記分配比率とに基づき前記第１のサブフレームを生成する第１の生成ステップと、
    前記入力フレーム画像から前記第１のサブフレームを減じて前記第２のサブフレームを生成する第２の生成ステップと、
    前記第１および第２のサブフレームを前記入力フレーム画像のフレーム期間に順次出力する出力ステップと
    を有する
    ことを特徴とする動画像処理方法。
11. コンピュータに読み込ませ実行させることで該コンピュータを請求項１乃至請求項９の何れか１項に記載の動画像処理装置として機能させるプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータに読み取り可能な記録媒体。

Images