JP2012151562A

JP2012151562A - 映像処理方法

Info

Publication number: JP2012151562A
Application number: JP2011007105A
Authority: JP
Inventors: Muneaki Yamaguchi; 宗明山口
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2011-01-17
Filing date: 2011-01-17
Publication date: 2012-08-09

Abstract

【課題】映像符号化を行う際に、映像符号化に先立って映像の画面サイズを縮小し、映像復号化の後で映像の画面サイズを拡大するなどの処理を行う場合がある。折返し雑音を許容しないアプリケーションでは、折返しの雑音部分を除去するフィルタ特性を持つローパスフィルタを用いる必要がある。しかし、入力される映像符号化情報には、折返し雑音に関する情報がなく、どのようなフィルタ処理を行う必要があるかの判断をすることができない。
【解決手段】映像情報に折返し雑音の有無並びに、含まれる帯域の最大値と最小値を含めて伝送する。本発明によれば、例えば、映像復号化後に伝送された折返し雑音の情報を使用することで、折返し雑音の影響を推定し、必要に応じてローパスフィルタにて折返し雑音を除去することが可能となる。
【選択図】図７

Description

本発明は、映像処理方法に関するものである。

近年、映像データは、デジタル化された後に取り扱われることが主となっている。映像データは、画素単位でサンプリング処理および量子化が行われ、デジタルデータ化がなされる。
映像データは、サンプリング処理する際に、その連続性が失われ、離散値に変換が行われる。その場合、サンプリング周波数の１／２以上の周波数成分が残る時には、折返し雑音として、映像再生の際の雑音となる。これは、いわゆるサンプリング定理である。図１と図２によって、映像再生の際に発生する折返し雑音の一例を説明する。図１は、折返し雑音の一例を説明するための模式図である。また図２は、折返し雑音を防止するフィルタの一例を説明するための模式図である。図１および図２において、横軸は空間周波数（例えば縦または横方向）、縦軸は信号振幅の強度（リニア）を示す。

図１のように、サンプリング周波数（ｆｓ）の１／２の周波数（１／２ｆｓ）をナイキスト周波数（ｆｎ）としたときに、画像信号の最大周波数（ｆｍａｘ）とナイキスト周波数（ｆｎ）との関係がｆｍａｘ＞ｆｎである場合には、ナイキスト周波数（ｆｎ）以上の周波数成分が、ナイキスト周波数（ｆｎ）で折返した形でモアレ等の雑音（折返し雑音）として表示される。
折返し雑音を防止するためには、図２に示すように、映像データ（原信号）をサンプリング処理する前に、図中の太い実線で示すフィルタ特性を持つローパスフィルタにて、元映像（破線で示す振幅の信号（原信号：図１の元信号）の周波数帯域を制限する（フィルタリング処理する）必要がある。フィルタリング処理後の映像信号（細い実線）状態となれば、折返し雑音は発生しない（特許文献１参照。）。

また、映像データの処理の１つに、画面サイズの縮小処理と拡大処理がある。デジタル映像データの場合には、画素単位で標本化されており、画面サイズの縮小処理または拡大処理に応じて、リサンプリング処理が行われる。図３は、画像サイズの縮小処理時におけるフィルタリング処理の適用の一例を説明するための模式図である。また、図４は、画像サイズの縮小処理時における折返し雑音を残したフィルタリング処理の適用例を説明するための図である。

図３において、縮小処理または拡大処理に応じて、サンプリング周波数をｆｓからｆｓ’に変える場合には、新たなサンプリング周波数（ｆｓ’）によるナイキスト周波数（ｆｎ’）で折返しが発生する。従って、縮小処理時または拡大処理時においても、ローパスフィルタによって予め周波数帯域を制限する必要がある。
例えば、図３に示すように、破線で示した原信号を太い実線で示したフィルタ特性を持つフィルタを使って、細い実線で示す信号に変換（フィルタリング処理）する。
なお、図３では、折返し雑音を除去しているが、一方では、原信号の高周波数帯域がフィルタによりカットされている。しかし、映像信号の用途によっては、図４に示すように、多少の折返し雑音が発生しても、原信号の高い周波数帯域の情報が残存している場合が好ましい場合がある。このように、必要に応じてローパスフィルタのフィルタ特性を変更して映像処理する場合がある。

国際公開第２００７／１０８４８７号パンフレット特開２００８−１８２３４７号公報

図３で示したフィルタ特性を持つローパスフィルタを使用する場合と、図４で示したフィルタ特性を持つローパスフィルタを使用した場合では、映像を復元する際に実行する処理を変更する必要がある。
例えば、映像符号化を行う際に、映像符号化に先立って映像の画面サイズを縮小し、映像復号化の後で映像の画面サイズを拡大するなどの処理を行う場合がある。
復号化の際に、多少の折返し雑音を許容するアプリケーションにおいては、図３と図４の場合のどちらでも問題はない。しかし、折返し雑音を許容しないアプリケーションにおいては、図３の場合には特に問題とならないが、図４の場合には、図５に示す折返しの雑音部分を除去するフィルタ特性を持つローパスフィルタを用いる必要がある。
しかしながら、入力される映像符号化情報には、折返し雑音に関する情報がなく、どのようなフィルタ処理を行う必要があるかの判断をすることができないという問題があった。
本発明の目的は、上記のような問題に鑑み、折返し雑音を必要に応じて除去する映像処理方法を提供することにある。

上記の目的を達成するため、本発明の映像処理方法は、映像情報に、折返し情報として、折返し雑音の有無と、折返し雑音の帯域の最大値や最小値とを含めて後段に出力するものである。

即ち、本発明の映像処理方法は、入力した映像データの縮小処理または拡大処理を行い、前記縮小処理または拡大処理時に所定のフィルタ特性のフィルタによりフィルタリング処理を行う映像処理方法において、前記フィルタリング処理後に、前記フィルタリング処理した映像データの基準信号と前記フィルタのフィルタ特性を用いて、前記縮小処理または拡大処理とフィルタリング処理時に生じる折返し雑音の折返し情報を算出し、該算出された折返し情報を前記フィルタリング処理した映像データと共に出力するものである。
また上記発明の映像処理方法において、前記基準信号は、前記フィルタリング処理した映像データの画素周波数の全ての帯域で最大の強度値で構成することを特徴とする。
また上記発明の映像処理方法において、前記折返し情報は、折返し情報の有無、並びに、前記フィルタリング処理した映像データの最大周波数および折返し雑音の最小周波数であることを特徴とする。

上記本発明の映像処理方法において、前記映像データの画素値を量子化し、デジタル化する映像処理方法であって、前記基準信号にローパスフィルタを適用し、画素サンプリング周波数の１／２をナイキスト周波数とし、前記最大周波数を、量子化した場合の映像データの信号の強度値が所定の値以下の周波数を算出し、前記ナイキスト周波数を対称点として、前記最大周波数と点対称の周波数値を前記折返し雑音の最小周波数として算出するものである。

本発明によれば、映像情報と共に折返し情報を後段に出力することによって、後段の映像処理において、例えば映像復号化後に、例えば映像符号化装置から出力され折返し雑音の情報を使用し、折返し雑音の影響を推定して、必要に応じて、ローパスフィルタによって折返し雑音を除去することが可能となる。

折返し雑音の一例を説明するための模式図である。折返し雑音を防止するフィルタの一例を説明するための模式図である。画像サイズの縮小処理時におけるフィルタリング処理の適用の一例を説明するための模式図である。画像サイズの縮小処理時における折返し雑音を残したフィルタリング処理の適用例を説明するための図である。画像サイズの縮小処理時における折返し雑音を残したフィルタリング処理の別の適用例を説明するための図である。本発明の映像処理方法において、基準信号として映像の画像データの各周波数成分の振幅が最大値を示す信号と画像の縮小・拡大処理時に適用するローパスフィルタのフィルタ特性の一実施例を模式的に示す図である。本発明の映像処理方法における最大周波数（ｆｍａｘ）と折返し雑音の最小周波数（ｆａ）の関係の一実施例を模式的に示す図である。本発明の映像処理方法の一実施例における折返し雑音パラメータの格納した映像データの構造を示す図である。本発明の映像処理方法を映像符号化に適用した場合の可変長符号化の一実施例を説明するための図である。本発明の映像処理方法を用いた映像符号化伝送装置の一実施例のブロック図である。

図６と図７によって、本発明の映像処理方法における基準信号とフィルタ特性の一例を説明する。図６は、基準信号として映像の画像データの各周波数成分の振幅が最大値を示す信号と、画像のリサイズ（縮小・拡大）処理時に適用するローパスフィルタのフィルタ特性の一実施例を模式的に示す図である。また図７は、フィルタリング処理後の基準信号と画像縮小（拡大）後の折返し成分を示す模式図である。図６および図７において、横軸は周波数、縦軸は信号振幅の強度を示し、ｆｓは縮小（拡大）処理後のサンプリング周波数を示す。
なお、ナイキスト周波数ｆｎ＝ｆｓ／２である。

図６において、基準信号は、ＤＣから、縮小処理後のサンプリング周波数（ｆｓ）に亘り、最大値ａｓで一定の振幅を有し、ｆｓ以上では０となる（仮想的な）信号として図示してある。この場合、基準信号は映像信号の採り得る周波数範囲を全て等しく含むため、フィルタリング処理後には、フィルタ特性として示される曲線と同じ形に抑圧され、フィルタ特性曲線より右側に超えるような高周波成分を含むことがない。従って、実際の映像信号もフィルタ後には、図６中のフィルタ特性を示す曲線の中（左側）となる。図６のフィルタ特性は、縮小処理後のナイキスト周波数ｆｎにおいて十分に減衰せず、ｆｎ以上の周波数成分が残留するようなローパスフィルタ特性となっている。また、ナイキスト周波数（ｆｎ）より高い周波数成分は、縮小処理のダウンサンプルにより、折り返されることになる。
図７には、上述のように図６のフィルタ特性と同形に現れる、フィルタリング処理後の基準信号と、ｆｎより低周波側に折り返された折返し成分とが示されている。図７に示すように、最大周波数（ｆｍａｘ）がフィルタリング処理後の最大周波数となり、ナイキスト周波数（ｆｎ）で最大周波数（ｆｍａｘ）を折返した位置が、折返し雑音の最小周波数（ｆａ）となる。

具体的には、以下のように、最大周波数（ｆｍａｘ）と折返し雑音の最小周波数（ｆａ）を定める。
即ち、入力される映像信号やフィルタの特性によっては、サンプリング周波数に達するまで、各周波数での強度が“０”にはならない場合がある。しかし、映像信号は、サンプリング処理と共に量子化が行われており、量子化によって信号値が“０”に丸められる値が存在する。例えば、映像データの画素階調が８ビットで量子化される場合には、画素値の最大値が“２５５”であるため、フィルタを施した結果、１／２５５より小さな値にて乗算を行う場合では、演算結果が“１”を下回ることとなる。このように、実数空間では、“０”でない場合においても、量子化の結果により“０”の値となる。

本例では上記の性質を利用し、最大周波数（ｆｍａｘ）は、ｆｍａｘ以上の周波数にて基準信号をフィルタリング処理した後、基準信号の量子化の結果が“１”未満となる周波数と定義する。
また、最小周波数（ｆａ）は、ナイキスト周波数（ｆｎ）を基準にして最大周波数（ｆｍａｘ）と対称の位置にある周波数として算出する。また、ナイキスト周波数（ｆｎ）を対称線として、ナイキスト周波数（ｆｎ）から最大周波数（ｆｍａｘ）までの信号と線対称の信号を、折返し成分と定義する。
なお上記実施例では、フィルタリング処理後の基準信号の強度が“０”となる値を、量子化後“０”未満を使用するとして説明したが、量子化後に四捨五入を行う場合には、“０．５”未満を使用しても良い。
折返し雑音の周波数は、サンプリング周波数（ｆｓ）を超えることはなく、最大周波数（ｆｍａｘ）と最小周波数（ｆａ）は通常、“０”以上“ｆｓ”以下である。このため、ｆｓ×Ａ／Ｂによって各周波数を表現できる。例えば、本表現方法（ｆｓ×Ａ／Ｂ）では、サンプリング周波数ｆｓの１／２であるナイキスト周波数（ｆｎ）は、サンプリング周波数（ｆｓ）に対応して、Ａ＝１、Ｂ＝２で表現される。

図１０は、本発明の映像処理方法を用いた映像符号化伝送装置のブロック図である。この映像符号化伝送装置は、例えばベースバンド（非圧縮）の映像信号（デジタルデータ）を入力され、それを縮小（ダウンサンプル）してから映像符号化して伝送し、復号側では、復号後に元の大きさに拡大して出力するものである。
符号化側は、空間フィルタ１、空間周波数・動き検出器２、ダウンサンプラ３、Ｈ．２６４エンコーダ４を備え、復号化側は、Ｈ．２６４デコーダ５、アップサンプラ６、フィルタ特性設定器７、空間フィルタ８を備える。
空間フィルタ１は、入力された映像信号に対して、空間領域で、空間周波数・動き検出器２から与えられた特性の濾波を施すものであり、複数の固定フィルタを内部的に切り替えたり、フィルタ係数を可変設定できるようになっている。フィルタとしては、縦方向と横方向を分離してＦＩＲフィルタで行うものや、２次元カーネルとの畳み込みで行うものなどが利用でき。特性としては等方性と異方性のものが利用できる。
空間周波数・動き検出器２は、図６等で示したような既定の基準信号、或いは実際に入力された映像データの空間周波数に関する基準信号を求め、この基準信号に基づき、入力された映像データに対して好ましいフィルタ特性を決定して、空間フィルタ１に設定する。更にこの基準信号が空間フィルタ１で濾波されダウンサンプラ３で縮小処理されると生じるであろう折返し成分の周波数帯域を算出し、周波数情報（ｆｍａｘ等）として出力する。基準信号は、取扱う映像データの画素周波数の全ての帯域で最大の強度（振幅）値で構成される信号（スペクトル解析信号）であり、例えば、映像の全て或いは一部を３２×３２画素のブロックに分けて各ブロック毎に離散コサイン変換等を行い、係数を絶対値化して得る。
周波数情報とその元となる基準信号は、例えば水平と垂直の２方向それぞれについて求めることが望ましく、基準信号は、事前取得した代表フレームから１回だけ求めても良く、後述するＡＵデリミタやピクチャ、スライス等の符号化の単位と同期させて随時求めても良い。この周波数情報は、図５に示したように復号側で折返し成分を除去可能にするためにも使われる情報であり、ｆｍａｘを大きく見積もりすぎると、復号側で必要以上に帯域制限してしまう恐れがあるので、実際に入力された映像データから逐次求めた基準信号の周波数特性と、空間フィルタ１に与えているフィルタ特性との合成特性を計算して、できるだけ定義に忠実なｆｍａｘを求めることが望ましい。
ダウンサンプラ３は、空間領域で、サンプルの間引き（ダウンサンプル）を行い、サンプリング周波数を低減する。これにより映像の１フレームを構成する画素数が減少し、映像のサイズが縮小される。間引きとしては、水平垂直夫々１／２とすることで４画素を１画素にするものや、市松模様状に間引いて４画素を２画素にするもの（プログレッシブ―インタリーブ変換のような時間領域の操作を伴うものも含む）や、分数比の間引き率のために一旦アップサンプル後にリサンプルするものなどがある。本例では、間引き率は外部から与えられるものとする。
Ｈ．２６４エンコーダ４は、ダウンサンプラ３からの縮小映像を、Ｈ.２６４ベースで符号化し、映像ストリームとして出力する。Ｈ.２６４は、ISO/MPEGとITU-T/VCEGとの共同プロジェクトによって策定された動画像符号化方式である。映像ストリームには、空間周波数・動き検出器２から入力された折返し成分の周波数情報（ｆｍａｘ，ｆａ）を符号化した符号も含める。また、符号化の際に得られる空間周波数に関する情報であるcoeff_token（Total coefficientとTrailing_onesからなる）を、空間周波数・動き検出器２のために出力しても良い。この情報は、過去の（１フレーム前の）情報であり、また実際の入力映像が縮小処理された後における空間周波数の情報であるためｆｎ以上の周波数を区別できないが、ｆｎ付近における高周波成分の減衰の仕方から、空間周波数・動き検出器２が現在の（今のフレームにおける）ｆｍａｘを推定するのには役立つ。
ここで、図８と図９によって、本例のＨ．２６４エンコーダ４が折返し情報（最大周波数（ｆｍａｘ）および最小周波数（ｆａ）を映像ストリームに格納する例を説明する。

図８は、折返し雑音パラメータを格納したネットワーク抽象化層の映像ストリームのデータ構造を示す図である。また、図９は、折返し雑音パラメータの可変長符号化のための符号化テーブルを説明するための図である。８００は映像送信装置から出力される映像ストリーム、８０１はアクセス単位の切れ目を示すAccess Unit Delimiter、８０２はＳＥＩ（Supplementary Enhanced Information）、８０３はシーケンス全体の符号化に関わる情報が書かれたヘッダＳＰＳ（Sequence Parameter Set）、８０４はＰＰＳ、８０５はＳＬＣ，８０６はMacroblockである。また、ＳＥＩ８０２において、８２１は最大周波数（ｆｍａｘ）のデータ領域、８２２は最小周波数（ｆａ）のデータ領域である。さらに、データ領域８２１および８２２において、８３１はNALヘッダ領域、８３２はuuid_iso_iec_11578領域、８３３は最大周波数（ｆｍａｘ）のデータ本体領域、８３４はstuffing領域である。

Ｈ.２６４では、映像ストリーム８００のＳＥＩ８０２にユーザデータを記載する領域があり、本発明による折返し雑音のパラメータを記載することが可能である。
図８の実施例では、Access Unit Delimiter８０１の次に、ＳＥＩ８０２を配置し、ＳＥＩ８０２のペイロード中にｆｍａｘメッセージ８２１とｆａメッセージ８２２のＳＥＩ８０２を格納する。それぞれのメッセージ（ｆｍａｘメッセージ８２１とｆａメッセージ８２２）は、NALヘッダ８２１、uuid_iso_iec_11578領域８３２、最大周波数（ｆｍａｘ）のデータ本体領域８３３、およびstuffing領域８３４で構成される。

NALヘッダ以降の構造は、ペイロードタイプ５のUser data unregisteredのＳＥＩメッセージに類似しており、uuid_iso_iec_11578領域８３２に格納されるuuidは、そのメッセージがｆｍａｘのものか、ｆａのものかを識別するためのものであり、それらに水平と垂直とがある場合は、それぞれ別のコードを使用する。stuffing領域８３４は、ＳＥＩ８０２が８ビット単位になるように調整するデータ領域で、例えば、“０”を使用する。
図８の実施例では、最大周波数（ｆｍａｘ）と最小周波数（ｆａ）のデータ領域を別々のＳＥＩ８０２に格納した。しかし、２つの可変長符号を使用して、１つのＳＥＩメッセージに格納しても良い。また、ｆｍａｘメッセージ８２１やｆａメッセージ８２２は、それぞれNALヘッダをつけてSEI-NALユニットにせず、既存のSEI-NALユニットに含めても良い。またＳＥＩ８０２は、Macroblock８０６より前であればどこに配置されても良い。
各データは、例えば、固定符号化テーブルとしてexp-Golomb（指数ゴロム）コードを用いて可変長符号化し格納する。図９にexp-Golombコードの一例を示す。

なお、折返し雑音が存在しない場合、あるいは、折返し雑音の状態が判別不能な場合が考えられる。
折返し雑音が存在しない場合には、ｆｍａｘ＝ｆａとしてＳＥＩ８０２に格納する。その際、最大周波数（ｆｍａｘ）と最小周波数（ｆａ）の値は、“０”より大きくｆｓ以下の値とする。
また、折返し雑音の状態が判別不能な場合には、ｆｍａｘ＝ｆａ＝０としてＳＥＩ８０２に格納する。

再び図１０に戻り、本例の映像符号化伝送装置は、符号化側において行ったリサイズ処理で発生した折返し情報（折返し雑音の有無、並びに、折返し雑音の最大周波数および折返し雑音の最小周波数）を図８に示すような映像ストリームに格納し、格納された折返し情報を映像データと共に後段の復号側装置に出力する。
復号化側は、H.264デコーダ５が、
伝送された映像ストリームを受け取って復号化された映像信号を出力するとともに、映像ストリームからＳＥＩを抽出してｆｍａｘメッセージ８２１等を復号化し、得られた折返し情報を出力する。
アップサンプラ６は、復号化された映像信号に対し、空間領域でアップサンプルを行い、サンプリング周波数を高くする。これにより映像の１フレームを構成する画素数が増大し、映像のサイズが拡大される。ダウンサンプル前の映像サイズと同じサイズに復元する場合、アップサンプルは、符号化側で行われた間引きの逆の処理でよい。例えば、符号化側で整数分の１に間引かれた場合、間引かれずに伝送された画素の値はそのまま用い、間引かれたサンプルに対しては線形又は非線形のフィルタにより周辺画素から補間して再生する。なお、後段の空間フィルタで低域濾波される場合、アップサンプラ６は、符号化側で間引かれたサンプルを単に０として出力するものでも良い。またアップサンプラ６は、インタリーブ―プログレッシブ変換（IP変換）等の時間領域操作や、超解像処理を伴ってもよい。
フィルタ特性設定器７は、H.264デコーダ５からの折返し情報に基づいて折返し雑音の影響を推定し、必要に応じて、後段のアプリケーションに対して、適切なローパスフィルタを行うための指示を出力する。具体的には、折返し雑音が有ることを示す折返し情報が入力され、且つ空間フィルタ８の出力に、折返しがない映像信号を前提とした映像機器が接続されており、且つアップサンプラ６で折り返しを元の周波数に復元する処理（超解像等）が施されていない場合、空間フィルタ８に対して最小周波数（ｆａ）以上の成分を抑圧するフィルタ特性を設定する。それ以外の場合のフィルタ特性はユーザの嗜好によるが、例えば空間フィルタ１と同等の特性を設定することができる。空間フィルタ８でIP変換する場合、Bob変換やWeave変換等、水平、垂直、及び時間方向のうちどの分解能を優先するかを選択できるため、水平、垂直の最大周波数（ｆｍａｘ）や動きベクトル（MV）等の動き情報に基づき、その選択信号を空間フィルタ８に出力しても良い。MVは、Ｈ.２６４デコーダから取得し、そのMVに対応する映像信号のIP変換にリアルタイムに適用できる。
空間フィルタ８は、アップサンプラ６からの映像信号に、フィルタ特性設定器７から設定された特性のフィルタ処理を施し、外部へ出力する。

１：空間フィルタ、２：空間周波数・動き検出器、３：ダウンサンプラ、４：Ｈ．２６４エンコーダ、５：Ｈ．２６４デコーダ、６：アップサンプラ、７：フィルタ特性設定器、８：空間フィルタ、８００：映像ストリーム、８０１：Access Unit Delimiter、８０２はＳＥＩ、８０３：ＳＰＳ、８０４：ＰＰＳ、８０５：ＳＬＣ、８０６：Macroblock、８２１：ｆｍａｘメッセージ、８２２：ｆａメッセージ、８３１：NALヘッダ、８３２：uuid_iso_iec_11578領域、８３３：最大周波数ｆｍａｘのデータ本体領域、８３４：stuffing領域。

Claims

入力された映像データの縮小処理または拡大処理を行い、前記縮小処理または拡大処理時に所定のフィルタ特性の空間フィルタによりフィルタリング処理を行う映像処理方法において、
前記入力された映像データの空間周波数に関する基準信号を求めるステップと、
前記フィルタリング処理後に、前記基準信号と前記空間フィルタのフィルタ特性を用いて、前記縮小処理または拡大処理とフィルタリング処理に生じる折返し成分の周波数を算出し、該算出された周波数に基づく折返し情報を前記フィルタリング処理した映像データと共に出力することを特徴とする映像処理方法。
請求項１記載の映像処理方法において、前記基準信号は、前記入力された映像データをスペクトル解析して得た、周波数毎の強度を示す信号であり、
前記出力される映像データは量子化された映像データであり、前記縮小処理または拡大処理後の画素サンプリング周波数の１／２をナイキスト周波数とし、
前記折返し成分の周波数は、前記出力される映像データの信号の強度が前記量子化により０になる周波数として算出される最大周波数と、前記最大周波数が前記ナイキスト周波数で折り返された周波数として算出される最小周波数とを有することを特徴とする映像処理方法。