JP2008283503A - 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体に関し、シーンチェンジが発生した場合、２−３プルダウン方式により生成されたインターレース方式の入力映像信号を処理する場合等でも、時間特徴量の一時的な変化による画質の劣化を有効に回避して安定に入力映像信号を処理できるようにする。
【解決手段】本発明は、入力映像信号の時間特徴量Ｓ２をフィルタリング処理して時間特徴量の変動を抑圧する際に、入力映像信号の属性Ｓ６に応じて時間特徴量Ｓ２をフィルタリング処理する特性を切り換える。
【選択図】 図１

Description

本発明は、映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体に関し、例えば２−３プルダウン方式による映像信号の処理に適用することができる。本発明は、入力映像信号の時間特徴量をフィルタリング処理して時間特徴量の変動を抑圧する際に、入力映像信号の属性に応じてフィルタリング処理の特性を切り換えることにより、シーンチェンジが発生した場合、２−３プルダウン方式により生成された入力映像信号を処理する場合等でも、時間特徴量の一時的な変化による画質の劣化を有効に回避して安定に入力映像信号を処理できるようにする。

従来、画像強調処理、ノイズ抑圧処理、ＩＰ変換、動画像圧縮等の各種映像信号処理では、入力映像信号の時間特徴量に基づいて動的に処理を切り換えている。ここで時間特徴量は、連続するフィールド間又はフレーム間で変化する映像信号の特徴量であり、ノイズ量、動き量等を示す値である。具体的に、時間特徴量は、画素単位、フィールド内又はフレーム内に設定したブロック単位、フィールド単位又はフレーム単位、複数フィールド単位又は複数フレーム単位等の、各種単位で求められ、例えば画素値のフィールド間差分値又はフレーム間差分値、これら差分値の絶対値和、分散値、平均値、画素単位の動きベクトル、ブロック単位の動きベクトル、エンコードの困難度等が適用される。

ここで図１２は、この種の時間特徴量を用いた映像信号処理装置の基本的な構成を示すブロック図である。この映像信号処理装置１において、時間特徴量検出部２は、入力映像信号Ｓ１を入力して時間特徴量Ｓ２を検出する。制御情報生成部３は、この時間特徴量Ｓ２を処理して、映像信号処理部４の動作を制御する制御情報Ｓ３を出力し、映像信号処理部４は、入力映像信号Ｓ１を信号処理して出力映像信号Ｓ４を出力する。

ここで例えば映像信号処理部４の信号処理が、入力映像信号Ｓ１のノイズを抑圧する処理の場合、制御情報生成部３は、時間特徴量Ｓ２により、入力映像信号Ｓ１のノイズ量が増大するに従ってノイズ抑圧効果が増大するように、情報制御信号Ｓ３を生成する。また映像信号処理部４の信号処理が、例えば画像強調処理の場合、制御情報生成部３は、時間特徴量Ｓ２により、入力映像信号のノイズ量が増大するに従って画像強調効果を低減するように、情報制御信号Ｓ３を生成する。また映像信号処理部４の信号処理が、ＩＰ変換の場合、制御情報生成部３は、時間特徴量Ｓ２により、入力映像信号Ｓ１の動き量が大きくなるに従って面内補間の効果を高くするように、情報制御信号Ｓ３を生成する。なおここでＩＰ変換は、インターレース方式及びプログレッシブスキャン方式間で映像信号をフォーマット変換する処理である。この場合、映像信号処理部４は、フィールド間又はフレーム間の補間演算処理結果と、面内処理であるフィールド内又はフレーム内の補間演算処理結果とを内挿演算処理して映像信号をフォーマット変換し、制御情報生成部３は、情報制御信号Ｓ３によりこの内挿演算処理における内挿比を制御する。

この基本的な構成による映像信号処理装置１は、図１３に示すように、時間特徴量検出部２で検出される時間特徴量Ｓ２が時間変動し、出力映像信号Ｓ４の処理においても、時間特徴量Ｓ２の変化に連動して処理効果が時間変動することになり、視覚的に出力映像信号Ｓ４の画質が劣化する。

そこで図１２との対比により図１５に示すように、この種の映像信号処理装置１１には、時間特徴量平滑化部１２が設けられ、この時間特徴量平滑化部１２により時間特徴量検出部２で検出される時間特徴量Ｓ２を平滑化して平滑化時間特徴量Ｓ５を生成し（図１３参照）、この平滑化時間特徴量Ｓ５により制御情報生成部３で制御情報Ｓ３を生成する。これにより図１４において、破線により示すように、この種の映像信号処理装置１１は、出力映像信号Ｓ４における各種処理効果の急激な時間変動を防止している。なおこの時間特徴量平滑化部１２には、例えばＩＩＲ（Infinite Impulse Response ）フィルタ、ＦＩＲ（Finite Impulse Response ）フィルタ等が適用される。

このような時間特徴量に基づいた映像信号の処理に関して、例えば特開２００２−１５３２７号公報には、時間特徴量により自然画像か否か判定して画像強調の程度を可変する方法が提案されている。またノイズ抑圧処理に関して、例えば特開２００４−３２８６３５号公報には、時間特徴量に動きベクトルを適用してノイズレベルの計測基準を生成する方法が提案されており、また特開２００３−２０９７１６号公報には、時間特徴量からノイズレベルを計測する方法が提案されている。またＩＰ変換に関して、特開２００７−８２０４０号公報には、時間特徴量から２−３プルダウン方式に係るフィールドシーケンスを検出して処理を切り換える方法が提案されている。

ところがこのように時間特徴量平滑化部１２により時間特徴量Ｓ２を平滑化して入力映像信号Ｓ１を処理する場合、図１６及び図１７に示すように、シーンチェンジ等による一時的な時間特徴量Ｓ２の増大により、平滑化時間特徴量Ｓ５が複数フィールド、複数フレームにわたって変化することになる。これによりこの場合、シーンチェンジ等による一時的な時間特徴量Ｓ２の変化が、複数フィールド、複数フレームの処理に影響を与え、これにより画質が損なわれる問題がある。なおここで図１６及び図１７は、時間特徴量平滑化部１２にそれぞれＩＩＲフィルタ及びＦＩＲフィルタを適用した場合である。

また図１８に示すように、入力映像信号Ｓ１が２−３プルダウン方式により生成されたインターレース方式の映像信号の場合もあり、この場合、入力映像信号Ｓ１は、符号Ａ１、Ｃ２で示すように、連続する偶数フィールド又は奇数フィールドで、同一コマが繰り返されることになる。この入力映像信号Ｓ１を処理する場合において、フレーム間で時間特徴量Ｓ２を検出する場合、符号Ａ１及びＣ２のフィールドでは、時間特徴量Ｓ２が何ら変化しないことになり、これにより図１６及び図１７との対比により図１９及び図２０に示すように、時間特徴量Ｓ２が一時的に急激に低下することになる。これによりこの場合も、シーンチェンジ等が発生した場合と同様に、複数フィールド、複数フレームの処理に影響を与え、これにより画質が損なわれる問題がある。
特開２００２−１５３２７号公報 特開２００４−３２８６３５号公報 特開２００３−２０９７１６号公報 特開２００７−８２０４０号公報

本発明は以上の点を考慮してなされたもので、シーンチェンジが発生した場合、２−３プルダウン方式により生成された入力映像信号を処理する場合等でも、時間特徴量の一時的な変化による画質の劣化を有効に回避して安定に入力映像信号を処理することができる映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、映像信号処理装置に適用して、入力映像信号を映像信号処理して出力映像信号を出力する映像信号処理部と、前記入力映像信号から時間特徴量を検出する時間特徴量検出部と、前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化部と、前記平滑化部により平滑化した時間特徴量に応じて、前記映像信号処理部における処理を制御する制御部とを備え、前記平滑化部は、前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える。

また請求項２の発明は、映像信号処理方法に適用して、入力映像信号を映像信号処理して出力映像信号を出力する映像信号処理ステップと、前記入力映像信号から時間特徴量を検出する時間特徴量検出ステップと、前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化ステップと、前記平滑化ステップにより平滑化した時間特徴量に応じて、前記映像信号処理ステップにおける処理を制御する制御ステップとを備え、前記平滑化ステップは、前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える。

また請求項１０の発明は、入力映像信号を処理して出力映像信号を生成する映像信号処理方法のプログラムに適用して、前記入力映像信号を映像信号処理して前記出力映像信号を生成する映像信号処理ステップと、前記入力映像信号から時間特徴量を検出する時間特徴量検出ステップと、前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化ステップと、前記平滑化ステップにより平滑化した時間特徴量に応じて、前記映像信号処理ステップにおける処理を制御する制御ステップとを備え、前記平滑化ステップは、前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える。

また請求項１１の発明は、入力映像信号を処理して出力映像信号を生成する映像信号処理方法のプログラムを記録した記録媒体に適用して、前記映像信号処理方法のプログラムは、前記入力映像信号を映像信号処理して前記出力映像信号を生成する映像信号処理ステップと、前記入力映像信号から時間特徴量を検出する時間特徴量検出ステップと、前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化ステップと、前記平滑化ステップにより平滑化した時間特徴量に応じて、前記映像信号処理ステップにおける処理を制御する制御ステップとを備え、前記平滑化ステップは、前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える。

請求項１、請求項２、請求項１０又は請求項１１の構成によれば、時間特徴量を平滑化して入力映像信号を処理するようにして、入力映像信号の属性に応じてこの平滑化処理に係るフィルタリング特性を切り換えることにより、２−３プルダウン方式における同一コマから検出される時間特徴量、シーンチェンジのフィールドから検出される時間特徴量の影響を受けないようにフィルタリングの特性を切り換えることができ、これによりシーンチェンジが発生した場合、２−３プルダウン方式により生成されたインターレース方式の入力映像信号を処理する場合等でも、時間特徴量の一時的な変化による画質の劣化を有効に回避して安定に入力映像信号を処理することができる。

本発明によれば、シーンチェンジが発生した場合、２−３プルダウン方式により生成されたインターレース方式の入力映像信号を処理する場合等でも、時間特徴量の一時的な変化による画質の劣化を有効に回避して安定に入力映像信号を処理することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、図１２及び図１５との対比により本発明の実施例１の映像信号処理装置を示すブロック図である。この映像信号処理装置２１において、図１２及び図１５の映像信号処理装置１、１１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。ここでこの実施例において、映像信号処理装置２１は、所定のプログラムの実行により入力映像信号Ｓ１を処理するプロセッサにより構成され、この実施例ではこのプログラムが事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

この映像信号処理装置２１は、時間特徴量検出部２２により入力映像信号Ｓ１から時間特徴量Ｓ２を検出した後、時間特徴量平滑化部２３で平滑化処理して平滑化時間特徴量Ｓ７を生成し、この平滑化時間特徴量Ｓ７に基づいて映像信号処理部４で入力映像信号Ｓ１を処理する。この実施例では、この映像信号処理部４における入力映像信号Ｓ１の処理にノイズ抑圧処理が適用され、これに対応して時間特徴量検出部２２において、ノイズ量を示す指標である時間特徴量Ｓ２が検出される。またこの時間特徴量Ｓ２に基づいて、入力映像信号Ｓ１におけるノイズ量が増大するに従ってノイズ抑圧効果が増大するように、情報制御信号Ｓ３により映像信号処理部４の動作を制御する。

ここで図３は、この時間特徴量検出部２２の構成を示すブロック図である。時間特徴量検出部２２において、遅延映像信号生成部２５は、入力映像信号Ｓ１を所定の遅延時間だけ遅延させて遅延映像信号Ｓ１１を生成する。ここで遅延時間は、この実施例では１フレームの期間に設定され、これによりインターレース方式による入力映像信号Ｓ１を処理する場合には、２フィールドの期間に設定される。但し、遅延時間は、必要に応じて所望のフィールド数、フレーム数に対応する時間に設定することができる。なお遅延時間を１フィールドの期間に設定してインターレース方式による入力映像信号Ｓ１から時間特徴量を検出する場合、垂直方向のフィルタリング処理により、偶数フィールドと奇数フィールドとで異なる垂直方向のサンプリング位相を補正するようにしてもよい。また入力映像信号Ｓ１を遅延させる際に、入力映像信号Ｓ１を動き補正して遅延映像信号Ｓ１１を生成するようにしてもよい。

差分信号生成部２６は、例えば減算回路で構成され、入力映像信号Ｓ１から遅延映像信号Ｓ１１を減算し、差分信号Ｓ８を出力する。

差分信号特徴量検出部２７は、この差分信号生成部２６から出力される差分信号Ｓ８を処理し、図４に示すように、入力映像信号Ｓ１による１画面を水平方向及び垂直方向に分割して設定されるブロックＡＲ毎に、ノイズ量を示す指標である差分信号特徴量Ｓ９を検出する。なおここで差分信号特徴量Ｓ９の検出方法は、差分信号Ｓ８の２乗平均、絶対値平均、分散、標準偏差、平均偏差等の各種統計手法を適用することができる。なおこの差分信号特徴量Ｓ９の検出単位であるブロックＡＲについては、図４との対比により図５に示すように、隣接するブロックＡＲが重なり合うようにしてもよい。

画面内統計処理部２８は、画面内に存在する物体の動きによる検出精度の劣化を防止するために、差分信号特徴量Ｓ９を入力映像信号Ｓ１の１画面単位で統計処理し、画面全体のノイズ量を示す時間特徴量Ｓ２を出力する。なおこの統計処理は、平均処理、メディアン処理、ヒストグラムの分布を利用した処理等、移動物体による検出精度の劣化を防止する種々の方法を適用することができる。

図１は、時間特徴量平滑化部２３の構成を示すブロック図である。時間特徴量平滑化部２３において、遅延時間特徴量生成部３１は、時間特徴量検出部２２から出力される時間特徴量Ｓ２を順次遅延させて複数系統により出力することにより、入力映像信号Ｓ１の時間特徴量Ｓ２に対して、フィールド単位又はフレーム単位で順次遅延した時間特徴量Ｓ２を出力する。

順序統計フィルタ処理部３２は、遅延時間特徴量生成部３１から出力される複数系統の時間特徴量Ｓ２、時間特徴量検出部２２から直接入力される時間特徴量Ｓ２から所定タップ分の時間特徴量Ｓ２を選択的に入力し、この入力した時間特徴量Ｓ２を値の大きな順にソートする。順序統計フィルタ処理部３２は、このソート結果より、値の大きい側から所定の順番の時間特徴量Ｓ２を選択的に出力する。これにより順序統計フィルタ処理部３２は、時間特徴量Ｓ２を平滑化して出力する。この処理において、順序統計フィルタ処理部３２は、特性設定部３３の制御により、時間特徴量Ｓ２を選択入力するタップ数、時間特徴量Ｓ２を選択出力する順番を切り換え、これにより時間特徴量Ｓ２の平滑化処理に係るフィルタリング特性を特性設定部３３の制御により切り換える。

特性設定部３３は、入力映像信号Ｓ１の属性情報Ｓ６を入力し、この属性情報Ｓ６により順序統計フィルタ処理部３２の設定を切り換える。ここでこの実施例において属性情報Ｓ６は、入力映像信号Ｓ１が２−３プルダウン方式により生成された映像信号であるか否か、入力映像信号Ｓ１がインターレース方式であるか否かを識別する情報である。

この実施例において、映像信号処理装置２１は、放送により提供されるストリーミングデータをデコードして生成された入力映像信号Ｓ１を処理するように構成されており、属性情報は、このストリーミングデータのヘッダに設定された識別情報、ＥＰＧ（Electronic Program Guide）のメタ情報が適用される。具体的に特性設定部３３は、ストリーミングデータのヘッダに設定された識別情報から、入力映像信号Ｓ１がインターレース方式によるものか、プログレッシブスキャン方式によるものかを判定する。またＥＰＧのメタ情報から入力映像信号Ｓ１が映画によるものか否か判定し、映画による入力映像信号Ｓ１を２−３プルダウン方式により生成された映像信号と判定する。なお属性情報は、これらヘッダ情報、メタ情報以外の情報を適用するようにしてもよい。

また特性設定部３３は、これらの判定結果に基づいて、順序統計フィルタ処理部３２の特性を切り換える。ここでこの特性の切り換えは、順序統計フィルタ処理部３２におけるフィルタリング処理の入力タップ数、出力するデータ順位の切り換えである。

具体的に、特性設定部３３は、入力映像信号Ｓ１が２−３プルダウン処理された映像信号の場合、順序統計フィルタ処理部３２におけるフィルタリング処理の特性を５タップ入力に設定し、また値の大きな順番で３番目の入力値を選択出力するように設定する。

すなわちこの実施例では、遅延映像信号生成部２５における遅延時間が２フィールドであることから、シーンチェンジの影響は、図６に示すように、連続する２フィールドａ１及びａ２の時間特徴量Ｓ２に及ぶことになる。なおこの図６は、２−３プルダウン方式で生成した入力映像信号Ｓ１の連続するフィールドを示す図であり、同一コマにより生成したフィールドの符号を丸印で囲って示す。

従って順序統計フィルタ処理部３２のタップ数に対応する連続する５フィールドの時間特徴量Ｓ２においては、最大値と、続く２番目の値とがシーンチェンジの影響を受けていることになり、これら最大値と２番目の値とを除外してフィルタリング処理することにより、図７に示すように、シーンチェンジの影響を受けないようにして時間特徴量Ｓ２をフィルタリング処理することができる。

また２−３プルダウン方式で生成された入力映像信号Ｓ１を処理する場合、図６に示すように、同一コマ間で時間特徴量Ｓ２を検出する周期が５フィールド周期で発生することになる。

従って図７に示すように、２−３プルダウン方式では、値の大きな順番で３番目の入力値を出力することにより、同一コマ間で検出される一時的に値の低下した時間特徴量Ｓ２を除外してフィルタリング処理して、平滑化時間特徴量Ｓ７の変動を防止することができる。なおこの実施例では、統計フィルタ処理部３２の入力タップ数を５タップとする場合について述べたが、５タップ以上の複数タップに設定して同様の効果を得ることができる。

これに対して入力映像信号Ｓ１が２−３プルダウン方式でない場合であって、入力映像信号Ｓ１がインターレース方式による映像信号の場合、シーンチェンジのみに対応すればよいことにより、特性設定部３３は、入力タップ数を３タップに切り換えて最小値を出力するように順序統計フィルタ処理部３２の特性を設定する。また入力映像信号Ｓ１が２−３プルダウン方式でない場合であって、入力映像信号Ｓ１がプログレッシブスキャン方式による映像信号の場合、入力タップ数を２タップに切り換えて最小値を出力するように順序統計フィルタ処理部３２の特性を設定する。なおこれらの場合、３タップ以上のメディアンフィルタの特性に設定してもよい。

（２）実施例の動作
以上の構成において、この映像信号処理装置２１では（図２）、時間特徴量検出部２２において入力映像信号Ｓ１から時間特徴量Ｓ２が検出され、この時間特徴量Ｓ２に応じて制御情報生成部３により制御情報Ｓ３が生成され、この制御情報Ｓ３に応じて映像信号処理部４により入力映像信号Ｓ１のノイズが抑圧されて出力映像信号Ｓ４が出力される。これによりこの映像信号処理装置２１では、入力映像信号Ｓ１の時間特徴量Ｓ２に基づいて動的に処理を切り換えて適切に入力映像信号Ｓ１を処理することができる。またさらにこのように時間特徴量Ｓ２に応じて制御情報生成部３により制御情報Ｓ３を生成する際に、時間特徴量平滑化部２３により時間特徴量Ｓ２が平滑化処理され、これにより時間特徴量Ｓ２の変動によるノイズ抑圧効果の変動が防止され、視覚上の画質劣化を防止することができる。

しかしながら単に時間特徴量を平滑化処理したのでは、シーンチェンジにおける時間特徴量Ｓ２の突発的な増大の影響（図１６及び図１７）、２−３プルダウン方式における同一コマの繰り返しによる時間特徴量Ｓ２の突発的な減少の影響が（図１９及び図２０）、複数フィールドに及ぶようになり、出力映像信号Ｓ４の画質が損なわれることになる。

そこでこの実施例では、時間特徴量平滑化部２３の遅延時間特徴量生成部３１において（図１）、時間特徴量Ｓ２を順次遅延させて複数系統により順序統計フィルタ処理部３２でフィルタリング処理するようにして、特性設定部３３により入力映像信号Ｓ１の属性を判定し、この判定結果に基づいて順序統計フィルタ処理部３２におけるフィルタリング処理の特性が切り換えられる。

これにより例えば２−３プルダウン方式による入力映像信号Ｓ１を処理する場合、さらにはインターレース方式、プログレッシブスキャン方式の入力映像信号Ｓ１を処理する場合等において、２−３プルダウン方式における同一コマから検出される時間特徴量Ｓ２、シーンチェンジのフィールドから検出される時間特徴量Ｓ２を除外して時間特徴量Ｓ２を平滑化することができる（図６及び図７）。これによりこの映像信号処理装置２１では、入力映像信号Ｓ１の属性に応じて時間特徴量Ｓ２をフィルタリング処理する特性を切り換え、シーンチェンジが発生した場合、２−３プルダウン方式により生成されたインターレース方式の入力映像信号を処理する場合等でも、時間特徴量の一時的な変化による画質の劣化を有効に回避して安定に入力映像信号を処理することができる。

より具体的に、時間特徴量検出部２２（図３）において、連続する偶数フィールド間及び奇数フィールド間の差分信号Ｓ８から差分信号特徴量検出部２７で差分信号特徴量Ｓ９がブロック毎に検出され、この差分信号特徴量Ｓ９が画面内統計処理部２８により統計的に処理されて、フィールド毎にノイズ量の指標である時間特徴量Ｓ２が検出される。

またこの時間特徴量Ｓ２の検出に係る遅延時間が２フィールドの期間であることから、順序統計フィルタ処理部３２では、２−３プルダウン方式による入力映像信号Ｓ１を処理する場合、５タップ入力で入力した連続する５フィールドの時間特徴量Ｓ２から中央値である最も値の大きい側から３番目の時間特徴量Ｓ２が選択されて平滑化時間特徴量Ｓ７として出力される。これにより２−３プルダウン方式の入力映像信号Ｓ１を処理する場合の、シーンチェンジの影響による時間特徴量Ｓ２の急激な増大による画質劣化、同一コマの繰り返しによる時間特徴量Ｓ２の急激な低下による画質劣化を防止することができる。

これに対して２−３プルダウン方式以外の入力映像信号Ｓ１を処理する場合には、インターレース方式及びプログレッシブスキャン方式において、それぞれタップ数を３タップ及び２タップに切り換えて最小値を出力するように順序統計フィルタ処理部３２の特性が設定され、これにより時間特徴量Ｓ２を過大に平滑化処理することなく、シーンチェンジの影響による画質劣化を防止しつつ、適切に平滑化して時間特徴量の変動による画質劣化を防止することができる。

（３）実施例の効果
以上の構成によれば、入力映像信号の時間特徴量をフィルタリング処理して時間特徴量の変動を抑圧する際に、入力映像信号の属性に応じてこのフィルタリング処理の特性を切り換えることにより、シーンチェンジが発生した場合、２−３プルダウン方式により生成されたインターレース方式の入力映像信号を処理する場合等でも、時間特徴量の一時的な変化による画質の劣化を有効に回避して安定に入力映像信号を処理することができる。

また入力映像信号の差分信号から時間特徴量を検出することにより、映像信号処理がノイズ抑圧処理である場合に適用して、入力映像信号に応じて動的にノイズ抑圧処理を切り換えて、適切に入力映像信号のノイズを抑圧することができる。

またこの入力映像信号の差分信号からブロック単位で時間特徴量を検出した後、１画面毎に統計処理して時間特徴量を検出することにより、簡易な処理により１画面毎に時間特徴量を検出することができる。

また平滑化用のフィルタに、順序統計フィルタを適用することにより、入力タップ数、選択出力する順番を切り換えるだけの簡易な処理により、時間特徴量の平滑化処理に係るフィルタリング特性を切り換えることができる。

図８は、本発明の実施例２の映像信号処理装置に適用される時間特徴量検出部の構成を示すブロック図である。この実施例の映像信号処理装置は、図３について上述した時間特徴量検出部２２に代えてこの図８に示す時間特徴量検出部４２が適用される点を除いて、実施例１の映像信号処理装置と同一に構成される。

この時間特徴量検出部４２は、面内特徴量検出部４３において、入力映像信号Ｓ１の特徴量を検出する。また時間遅延面内特徴量生成部４４において、この検出した特徴量を１フレームの期間だけ遅延させた後、差分信号特徴量検出部４５により面内特徴量検出部４３から出力される入力映像信号Ｓ１の特徴量からブロック単位で減算し、これによりブロック単位で時間特徴量Ｓ９を検出する。これによりこの実施例では、入力映像信号Ｓ１かた検出した特徴量のフィールド間差分、フレーム間差分により時間特徴量Ｓ２を生成する。

なおこれにより面内特徴量検出部４３では、図４及び図５について上述したブロック毎に、画素値の分散値、平均偏差、ハイパスフィルタ出力のエネルギー等を検出することにより、差分信号特徴量検出部４５を介して、実施例１について上述したと同様の時間特徴量Ｓ２を検出することができる。

この実施例によれば、始めにブロック単位で入力映像信号Ｓ１の特徴量を検出した後、フィールド間差分又はフレーム間差分により時間特徴量を検出することにより、遅延信号の生成に使用するメモリを小容量化して、実施例１と同様の効果を得ることができる。

図９は、本発明の実施例３の映像信号処理装置を示すブロック図である。この映像信号処理装置５１は、部分領域分割部５３において、図１０に示すように、入力映像信号Ｓ１に設定された領域ＡＲ毎の複数系統に分割して入力映像信号Ｓ１を出力する。部分領域処理部５４Ａ〜５４Ｎは、それぞれ実施例１又は実施例２について上述した映像信号処理装置と同一に構成され、領域ＡＲ毎に時間特徴量を検出し、また検出した時間特徴量により領域ＡＲ毎に入力映像信号Ｓ１のノイズを抑圧して出力する。なお各部分領域処理部５４Ａ〜５４Ｎでは、図４及び図５との対比により図１０及び図１１に示すように、各ブロックを細分割するブロック単位で時間特徴量を検出して入力映像信号Ｓ１のノイズを抑圧する。

部分領域統合部５５は、これら領域ＡＲ毎にノイズ抑圧された入力映像信号Ｓ１を１系統に統合して出力映像信号Ｓ４を出力する。

この実施例の映像信号処理装置５１は、系統毎に、入力映像信号Ｓ１の属性情報が入力されて平滑化処理に係るフィルタリング処理の特性を切り換える。具体的に、例えばピクチャーインピクチャー等により２画面表示する場合、各画面表示に係る領域毎に、それぞれ入力映像信号Ｓ１の生成元となった対応する映像信号の属性情報が供給される。

この実施例では、複数系統により入力映像信号Ｓ１のノイズを抑圧することにより、入力映像信号Ｓ１の各部の属性に応じて、ノイズ抑圧処理を動的に切り換え、さらには時間特徴量の平滑化処理に係るフィルタリング特性を切り換えることができ、これにより一段と画質の劣化を防止してノイズを抑圧することができる。

具体的に２画面表示、ピクチャーインピクチャー表示、実写映像とＣＧの混在表示等において、領域毎に適切に時間特徴量の平滑化処理に係るフィルタリング特性を切り換えることができ、これにより一段と安定に映像信号を処理することができる。

なお上述の実施例においては、入力映像信号のノイズを抑圧する場合について述べたが、本発明はこれに限らず、時間特徴量を使用した各種の映像信号の処理に広く適用することができる。具体的に、時間特徴量にノイズ量を示す指標を適用して、映像信号処理部で入力映像信号を画像強調処理する場合、時間特徴量に動き量を適用して、入力映像信号のＩＰ変換処理する場合、時間特徴量にエンコードの困難度であるアクティビティー等を適用して、ＭＰＥＧ等の手法により映像信号処理部で入力映像信号をエンコードする場合等にも広く適用することができる。なお入力映像信号のエンコードでは、時間特徴量が増大するに従って割り当て符号量を増大させることが考えられる。

また上述の実施例においては、シーンチェンジ、２−３プルダウン方式による突発的な時間特徴量の変動に対応する場合について述べたが、本発明はこれに限らず、例えばフラッシュ等に対応する場合等にも広く適用することができる。

また上述の実施例においては、映像信号処理装置をプロセッサにより構成する場合について述べたが、本発明はこれに限らず、ハードウエア構成により映像信号処理装置を構成するようにしてもよい。

本発明は、映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体に関し、例えば２−３プルダウン方式による映像信号の処理に適用することができる。

本発明の実施例１の映像信号処理装置に適用される時間特徴量平滑化部を示すブロック図である。 本発明の実施例１の映像信号処理装置を示すブロック図である。 図２の映像信号処理装置における時間特徴量検出部を示すブロック図である。 図３の時間特徴量検出部の動作の説明に供する平面図である。 図４とは異なる例の説明に供する平面図である。 図１の時間特徴量平滑部の動作の説明に供する略線図である。 図１の時間特徴量平滑部の動作の説明に供する特性曲線図である。 本発明の実施例２の映像信号処理装置に適用される時間特徴量検出部を示すブロック図である。 本発明の実施例３の映像信号処理装置を示すブロック図である。 図９の映像信号処理装置の動作の説明に供する平面図である。 図１０とは異なる例の説明に供する平面図である。 映像信号処理装置の基本構成を示すブロック図である。 時間特徴量の変動の説明に供する特性曲線図である。 図１３の変動による映像信号処理の説明に供する特性曲線図である。 時間特徴量平滑化部を備えた映像信号処理装置を示すブロック図である。 シーンチェンジによる影響の説明に供する特性曲線図である。 ＦＩＲフィルタを用いた平滑化処理におけるシーンチェンジによる影響の説明に供する特性曲線図である。 ２−３プルダウンフォーマットの説明に供する略線図である。 ２−３プルダウンフォーマットにおける時間特徴量の説明に供する特性曲線図である。 ＦＩＲフィルタを用いた平滑化処理における２−３プルダウンフォーマットの時間特徴量の説明に供する特性曲線図である。

符号の説明

１、１１、２１、５１……映像信号処理装置、２、２２、４２……時間特徴量検出部、３……制御情報生成部、４……映像信号処理部、１２、２３……時間特徴量平滑化部、３２……順序統計フィルタ処理部

Claims (11)

1. 入力映像信号を映像信号処理して出力映像信号を出力する映像信号処理部と、
   前記入力映像信号から時間特徴量を検出する時間特徴量検出部と、
   前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化部と、
   前記平滑化部により平滑化した時間特徴量に応じて、前記映像信号処理部における処理を制御する制御部とを備え、
   前記平滑化部は、
   前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える
   ことを特徴とする映像信号処理装置。
2. 入力映像信号を映像信号処理して出力映像信号を出力する映像信号処理ステップと、
   前記入力映像信号から時間特徴量を検出する時間特徴量検出ステップと、
   前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化ステップと、
   前記平滑化ステップにより平滑化した時間特徴量に応じて、前記映像信号処理ステップにおける処理を制御する制御ステップとを備え、
   前記平滑化ステップは、
   前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える
   ことを特徴とする映像信号処理方法。
3. 前記時間特徴量検出ステップは、
   前記入力映像信号を遅延させて遅延映像信号を生成する遅延ステップと、
   前記遅延映像信号と前記入力映像信号との差分信号を生成する差分信号生成ステップと、
   前記差分信号を処理して前記時間特徴量を検出する差分信号からの時間特徴量検出ステップとを備える
   ことを特徴とする請求項２に記載の映像信号処理方法。
4. 前記差分信号からの時間特徴量検出ステップは、
   前記入力映像信号に設定したブロック単位で、前記差分信号から前記時間特徴量を検出するブロック単位の特徴量検出ステップと、
   前記ブロック単位の特徴量検出ステップで検出した前記時間特徴量を、前記入力映像信号の１画面毎に統計処理して前記時間特徴量を検出する統計処理ステップとを備える
   ことを特徴とする請求項３に記載の映像信号処理方法。
5. 前記遅延ステップにおける遅延時間が、フィールド単位またはフレーム単位の時間である
   ことを特徴とする請求項３に記載の映像信号処理方法。
6. 前記平滑化ステップは、
   順序統計フィルタにより前記時間特徴量をフィルタリング処理する
   ことを特徴とする請求項２に記載の映像信号処理方法。
7. 前記平滑化ステップは、
   前記入力映像信号の属性情報から前記入力映像信号の属性を判定する
   ことを特徴とする請求項２に記載の映像信号処理方法。
8. 前記時間特徴量検出ステップは、
   前記入力映像信号から特徴量を検出する特徴量検出ステップと、
   前記特徴量のフィールド間差分又はフレーム間差分を検出して前記時間特徴量を検出する差分検出のステップとを備える
   ことを特徴とする請求項２に記載の映像信号処理方法。
9. 前記入力映像信号の１画面を分割するように設定されたブロック毎に分割して前記入力映像信号を複数系統により出力する映像信号分割ステップを有し、
   前記映像信号処理ステップ、前記時間特徴量検出ステップ、前記平滑化ステップ、前記映像信号処理ステップは、
   前記映像信号分割ステップによる系統毎に、前記入力映像信号を処理し、
   前記映像信号処理方法は、
   前記映像信号処理ステップによる複数系統の処理結果を前記入力映像信号に対応する１系統に統合する統合のステップを有する
   ことを特徴とする請求項２に記載の映像信号処理方法。
10. 入力映像信号を処理して出力映像信号を生成する映像信号処理方法のプログラムにおいて、
    前記入力映像信号を映像信号処理して前記出力映像信号を生成する映像信号処理ステップと、
    前記入力映像信号から時間特徴量を検出する時間特徴量検出ステップと、
    前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化ステップと、
    前記平滑化ステップにより平滑化した時間特徴量に応じて、前記映像信号処理ステップにおける処理を制御する制御ステップとを備え、
    前記平滑化ステップは、
    前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える
    ことを特徴とする映像信号処理方法のプログラム。
11. 入力映像信号を処理して出力映像信号を生成する映像信号処理方法のプログラムを記録した記録媒体において、
    前記映像信号処理方法のプログラムは、
    前記入力映像信号を映像信号処理して前記出力映像信号を生成する映像信号処理ステップと、
    前記入力映像信号から時間特徴量を検出する時間特徴量検出ステップと、
    前記時間特徴量をフィルタリング処理により平滑化して出力する平滑化ステップと、
    前記平滑化ステップにより平滑化した時間特徴量に応じて、前記映像信号処理ステップにおける処理を制御する制御ステップとを備え、
    前記平滑化ステップは、
    前記入力映像信号の属性に応じて前記フィルタリング処理の特性を切り換える
    ことを特徴とする映像信号処理方法のプログラムを記録した記録媒体。
    

Images