JP2005168053A - 映像信号符号化装置、映像信号符号化方法、携帯端末装置、及び映像信号符号化プログラム - Google Patents

Abstract

【課題】 符号化に伴って発生する符号量に応じて、フィルタ特性を変化させることが可能なプリフィルタを備える映像信号符号化装置を得る。
【解決手段】 特性制御データに基づいて入力映像信号における所定の周波数成分を現画像データとして出力するプリフィルタと、現画像データの符号化処理をする符号化手段と、符号化手段が出力する符号化パラメータに基づいて設定した特性制御データを出力するフィルタ制御手段とを備え、プリフィルタは入力映像信号における低周波数成分を出力するローパスフィルタと、特性制御データに基づいて低周波数成分を補正して補正低周波数成分を出力する第１のコントローラと、特性制御データに基づいて入力映像信号を補正して補正映像信号を出力する第２のコントローラとを備え、プリフィルタは補正低周波数成分、又は補正映像信号に基づいて入力映像信号における所定の周波数成分を出力する。
【選択図】 図１

Description

この発明は、入力された映像信号（以下、入力映像信号ともいう。）を符号化するための装置、および方法に関するものであり、特に、携帯電話やＴＶ電話システム等に好適な装置、および方法に関する。

従来の映像符号化方法においては、複数の特性を有するプリフィルタにより符号化に先立ってフィルタ処理を行った動画像を、１又は２以上のモードで符号化し、該符号化された動画像の符号化モードと、該符号化モード毎に集計した発生符号量と、前記符号化モード毎に集計した量子化ステップ幅と、から符号化難易度を算出し、該算出された符号化難易度と、任意に設定された符号化出力レートと、からフィルタ特性係数を算出し、該算出されたフィルタ特性係数を基に、前記プリフィルタにおける複数のフィルタ特性を選択するようにしている（例えば、下記特許文献参照。）。

特開２００２−２４７５７６号公報（第１−９頁、図１）

上記のように従来の映像符号化方法では、プリフィルタの特性を選択する際に、符号化画像の符号化モードと、符号化モードごとに集計した発生符号量と、符号化モードごとに集計した量子化ステップ幅と、から符号化難易度を算出し、該符号化難易度と符号化出力レートからフィルタ特性係数を算出しているため、当該フィルタ特性係数の演算が複雑であり、前記フィルタ特性係数を算出するまでの演算量が多くなってしまう。

そのため、ＣＰＵ等によって構成される演算部の負担が大きくなり、消費電力も大きくなる。当該消費電力の問題は、例えば携帯電話等のような機器自体の大きさによる制限等により、搭載することが可能な電池等の電源の個数や大きさが必然的に限られる場合においては特に重要な問題である。

この発明は、上述のような課題を解決するためになされたものであり、複雑な演算をすることなくプリフィルタの特性を制御することが可能な映像信号符号化装置を得るものである。

本発明の映像信号符号化装置は、
フィルタ特性制御データに基づいて、入力映像信号における所定の周波数成分を現画像データとして出力するプリフィルタと、
当該現画像データの符号化処理をする符号化手段と、
当該符号化手段が出力する符号化パラメータに基づいて設定した前記フィルタ特性制御データを出力するフィルタ制御手段と
を備え、
前記プリフィルタは、
前記入力映像信号における低周波数成分を出力するローパスフィルタと、
前記フィルタ特性制御データに基づいて、前記低周波数成分を補正して補正低周波数成分を出力する第１のゲインコントローラと、
前記フィルタ特性制御データに基づいて、前記入力映像信号を補正して補正映像信号を出力する第２のゲインコントローラとを備え、
前記プリフィルタは、前記補正低周波数成分、または前記補正映像信号に基づいて前記入力映像信号における所定の周波数成分を出力する
こととした。

この発明は、複雑な演算をすることなくプリフィルタの特性を、符号化手段において発生する符号量に応じて決定することが可能である。

また、上記のように複雑な演算を用いることがないので、ＣＰＵ等から構成される演算部への負担が軽減されるため、消費電力の削減が可能となる。

さらに、プリフィルタの構成を入力映像における高周波成分を符号量に応じて適応的に抑制することができる構成とすることで、符号量の増加を抑制するとともに、ブロック歪等の劣化が少ない高品位な画像を得ることが可能となる。

実施の形態１．
以下、本発明を図示した実施の形態に基づいて説明する。
図１は、実施の形態１における映像信号符号化装置を示すブロック図である。
図１において、入力映像信号はプリフィルタ１０１に入力され、所定の周波数成分が抽出される。なお、以下、当該入力映像信号における所定の周波数成分を現画像データともいう。

前記プリフィルタ１０１において抽出された前記現画像データは、フレームメモリ１０２に出力される。なお、当該フレームメモリ１０２は半導体メモリ、磁気ディスク、光ディスク装置等の記録手段によって構成される。

前記フレームメモリ１０２に記録された前記現画像データは、図２に示すマクロブロック毎に符号化手段１１６に出力され、当該符号化手段１１６において符号化される。なお、当該符号化手段１１６における符号化はＤＣＴ、ウェーブレット変換、アマダール変換等、入力映像信号に含まれる画像を周波数領域に変換する直行変換を用いた符号化方法であれば、いずれの変換方法によって行ってもよい。

以下、本実施の形態１においては、ＤＣＴを用いた符号化方法の１つであるＭＰＥＧ４により符号化を行う場合について説明する。

前記現画像データを入力された前記符号化手段１１６は、符号化した前記現画像データに対応するビットストリームを出力する。また、当該符号化手段１１６は前記符号化に応じた複数の符号化パラメータのうち、１つ又は２つの符号化パラメータをフィルタ制御手段１１７に出力する。なお、前記符号化パラメータとは、量子化パラメータ、インター／イントラ比率、ビットストリームの符号量、目標ビットレート等、符号化処理に関連するパラメータのことである。

ここで、インター／イントラ比率とは、１フレーム内におけるイントラ符号化を行ったマクロブロック数とインター符号化を行ったマクロブロック数との比である。イントラ符号化が行われるフレームでは、すべてのマクロブロックにおいてイントラ符号化が行われる。したがって、イントラ符号化が行われるフレームのインター／イントラ比率の値は０となる。しかし、インター符号化が行われるフレームでは、すべてのマクロブロックにおいてインター符号化が行われるのではなく、インター符号化が行われるマクロブロックと、イントラ符号化が行われるマクロブロックとが混在することとなる。

一般に、イントラ符号化を行った場合には符号量が多くなる。したがって、インター符号化が行われるフレームにおいて、インター符号化が行われるマクロブロックの比率が大きくなると、インター／イントラ比率の値は大きくなり、符号量は小さくなる。一方、インター符号化が行われるマクロブロックの比率が小さくなると、インター／イントラ比率の値は小さくなり、符号量は大きくなる。このように、インター／イントラ比率と符号量とは相関関係を有するので、インター／イントラ比率も符号量の増減を示す符号化パラメータとして扱うことができる。

また、量子化パラメータは後述する量子化における演算処理の分母となる係数であり、量子化パラメータの値が大きくなるとビットストリームの符号量が小さくなり、量子化パラメータの値が小さくなるとビットストリームの符号量が大きくなる。このように、このように、量子化パラメータと符号量とは相関関係を有するので、量子化パラメータも符号量の増減を示す符号化パラメータとして扱うことができる。

さらに、目標ビットレートを符号化パラメータとして扱うこともできる。すなわち、目標ビットレートの値が大きいと量子化パラメータの値が小さくなり、その結果ビットストリームの符号量が大きくなる。一方、目標ビットレートの値が小さいと量子化パラメータの値が大きくなり、その結果ビットストリームの符号量が小さくなる。このように、目標ビットレートも符号量と相関関係を有するので、目標ビットレートも符号量の増減を示す符号化パラメータとして扱うことができる。

前記フィルタ制御手段１１７は、前記符号化手段１１６から出力された１つの符号化パラメータに基づいて、前記プリフィルタ１０１の特性を制御するフィルタ特性制御データＫをプリフィルタ１０１に出力する。

そして、前記プリフィルタ１０１は前記フィルタ特性制御データＫに基づいて、入力映像信号における所定の周波数成分を出力する。

ここで、前記符号化手段１１６の動作について説明する。
上述のように当該符号化手段１１６には、マクロブロック毎に分割された現画像データがフレームメモリ１０２から入力される。そして、前記現画像データは当該符号化手段１１６における減算器１０３、および動き検出手段１１３に入力される。

前記符号化手段１１６においてイントラ符号化を行う場合、減算器１０３に入力された現画像データは、当該減算器１０３によって演算を施されることなく、ＤＣＴ手段１０４に出力される。当該ＤＣＴ手段１０４に入力された前記現画像データは前記ＤＣＴ手段１０４においてＤＣＴが行われた後、量子化手段１０５に出力される。なお、以下、ＤＣＴが行われた現画像データをＤＣＴデータという。

前記ＤＣＴデータを入力された前記量子化手段１０５は、符号量制御手段１１５から出力される量子化パラメータＱｐに応じて前記ＤＣＴデータを量子化し、該量子化したＤＣＴデータを逆量子化手段１０８、およびＤＣ／ＡＣ予測手段１０６に出力する。ここで、前記量子化パラメータＱｐとは、後に説明する可変長符号化手段１０７から出力されるビットストリームの符号量に基づいて決定されるパラメータである。

なお、以下、量子化されたＤＣＴデータを量子化データという。

前記量子化手段１０５から出力された前記量子化データは、逆量子化手段１０８、および逆ＤＣＴ手段１０９によって復号化される。

具体的に説明すると、前記量子化データは、逆量子化手段１０８において逆量子化されることによってＤＣＴデータとなり、逆ＤＣＴ手段１０９に出力され、当該ＤＣＴデータは逆ＤＣＴ手段１０９において逆ＤＣＴを行われることによって復号化され、復号化された現画像データ（以下、復号化された現画像データを復号化現画像データという。）となる。そして、当該復号化現画像データは加算器１１０に出力される。

前記復号化現画像データは、加算器１１０を経て、メモリ１１１に記録される。なお、当該符号化手段１１６においてイントラ符号化を行う場合、前記加算器１１０において前記復号化現画像データに対しての演算は行われない。したがって、上記メモリ１１１には逆ＤＣＴ手段１０９から出力された現画像データが、そのままの値で記録される。

一方、前記量子化手段１０５から前記量子化データを入力されたＤＣ／ＡＣ予測手段１０６は、前記現画像データに対応する量子化データにおけるＤＣ係数と、前記現画像データの１フレーム期間前の画像データ（以下、前画像データという。）に対応する量子化データにおけるＤＣ係数との間の差分を演算し、当該差分に対応するデータ（以下、ＤＣ差分データという。）を可変長符号化手段１０７に出力する。また、当該ＤＣ／ＡＣ予測手段１０６は、前記量子化データにおけるＡＣ係数についても前記ＤＣ係数と同様に差分データ（以下、ＡＣ係数についての差分データをＡＣ差分データという。）を演算し、当該ＡＣ差分データを前記可変長符号化手段１０７に出力する。なお、前記ＤＣ／ＡＣ予測手段１０６は、前記ＤＣ差分データ、および前記ＡＣ差分データを出力する際、量子化パラメータＱｐ等の付加情報も前記可変長符号化手段１０７に出力する。

前記可変長符号化手段１０７においては、前記ＤＣ／ＡＣ予測手段１０６から出力された前記ＤＣ差分データ、前記ＡＣ差分データ、および前記付加情報に対して可変長符号化が行われる。そして、当該可変長符号化手段１０７は、可変長符号化を行ったデータに対応するビットストリームを出力する。

一方、符号化手段１１６においてインター符号化を行う場合は、減算器１０３から、前記現画像データと、予測画像作成手段１１２から出力された予測画像データとの差分に対応するデータ（以下、差分画像データという。）が出力され、当該差分画像データに対して、上記イントラ符号化を行う場合と同様に、ＤＣＴ、量子化、可変長符号化が行われる。なお、インター符号化を行う場合、ＤＣ／ＡＣ係数予測手段１０６は、前記ＤＣ差分データ、および前記ＡＣ差分データの演算を行わず、量子化手段１０５から出力された、前記差分画像データに対応する量子化データ（以下量子化差分画像データという。）をそのまま前記可変長符号化手段１０７に出力する。

ここで、前記予測画像データとは、前記前画像データと前記現画像データとによって動き検出手段１１３において検出された動きベクトルと、メモリ１１１に記録されている復号化前画像データとから生成される画像データである。よって、前記差分画像データとは前記現画像データと前記予測画像データとの誤差に対応するデータである。ここで、復号化前画像データとは前記現画像データの１フレーム期間前の画像データに対応する復号化された画像データである。

以上で説明したような処理手順により、符号化手段１１６において前記現画像データの符号化が行われる。

ところで一般に、入力映像信号に対応する画像において表示される物体等の動きが速い場合やシーンチェンジが起きたフレームに対しては、前記可変長符号化手段１０７から出力されるビットストリームの符号量が増大してしまう。

前記符号量が増大した場合、全体の前記符号量を制御する必要から、前記符号量制御手段１１５はシーンチェンジ後のフレームに対応する前記符号量を減少させるために、前記符号量に対応する、より大きい量子化パラメータＱｐを出力し、量子化手段１０５を制御する。なお、ＭＰＥＧ４の場合、当該量子化パラメータＱｐは１から３１までの値をとる。

一般に、ＤＣＴを行われた画像データは周波数成分に分解され、低周波成分から高周波成分の順に量子化される。このように、低周波成分から順に量子化が行われる場合、前記画像データにおける高周波成分、および当該高周波成分に近い周波数成分は抑圧される傾向にある。そのため、上述のように、シーンチェンジ後のフレームに対応する符号量を減少させるべく量子化パラメータＱｐを大きくすると、高周波成分ばかりでなく中周波成分までもが除去されてしまう可能性がある。そして、上記のように中周波成分までもが除去されてしまうと、表示される画像において、ＤＣＴや量子化の際に発生するブロック歪み等の空間的な劣化が増大し、画質が低下してしまう。

そこで、シーンチェンジが起きたフレームに対応する符号量の増加を抑制し、シーンチェンジ後のフレームに対応する量子化パラメータＱｐを小さくするべく、図３のように構成された前記プリフィルタ１０１を、図１のようにフレームメモリ１０２の前段に設置する。これにより、入力映像信号から予め高周波成分を除去することが可能となり、その結果、全体として適正な符号量の制御が可能となり、シーンチェンジ後のフレームにおける画質の低下を防止することができる。

図３において入力映像信号は、ローパスフィルタ２０１に入力される。そして、当該ローパスフィルタ２０１からは入力映像信号における低周波数成分が、第１のゲインコントローラ２０２に出力される。入力映像信号における周波数成分のうち、いずれの周波数成分を前記低周波数成分として扱うかは任意に設定可能である。例えば、前記ローパスフィルタ２０１に対して適当なサンプリング周波数（ｆｓ／２）を設定し、適当な特性（例えば、図４。）を与えることで任意に決定することが可能である。なお、図４の特性を持つローパスフィルタにおいては、入力映像信号におけるサンプリング周波数（ｆｓ／２）より小さい周波数成分が第１のゲインコントローラ２０２に対して出力され、その出力に対して、当該周波数成分に対応するゲインが乗算され、当該乗算をされた低周波数成分が加算器２０４に出力される。

一方、前記入力映像信号は第２のゲインコントローラ２０３にも入力される。

当該第２のゲインコントローラ２０３、および前記第１のゲインコントローラ２０２にはフィルタ制御手段１１７からフィルタ特性制御データＫが入力され、前記第１のゲインコントローラ２０２のゲインが（Ｋ）に、前記第２のゲインコントローラ２０３のゲインが（１−Ｋ）にそれぞれ設定される。なお、前記フィルタ特性制御データＫは、０≦Ｋ≦１の値である。

前記第１のゲインコントローラのゲインが上記フィルタ特性制御データＫに設定され、前記入力映像信号における低周波成分が補正され、また、前記第２のゲインコントローラのゲインが（１−Ｋ）に設定されることによって、上記入力映像信号が補正される。なお、前記第１のゲインコントローラのゲインとしてＫ＝１が設定された場合には、前記入力映像信号における低周波成分は減衰されず、また、前記第１のゲインコントローラのゲインとしてＫ＝０が設定された場合には、前記入力映像信号は減衰されない。したがって、前記補正には、前記入力映像信号における低周波成分、または前記入力映像信号に対して補正が行われない場合も含まれる。

また、以下、前記第１のゲインコントローラ２０２から出力される前記低周波数成分を補正低周波成分ともいい、前記第２のゲインコントローラ２０３から出力される入力映像信号を補正映像信号ともいう。

前記従来の技術においては、当該フィルタ特性制御データＫに対応するフィルタ特性係数を複数の符号化パラメータを用いて符号化難易度を算出することにより設定している。この場合、前記従来の技術の欄において説明したように、演算が複雑であるため演算量が多く、演算部への負担が大きいことから消費電力の増大等の問題が起こる。そこで、本実施の形態１においては、量子化パラメータＱｐとフィルタ特性制御データＫとにより構成されるデータテーブルをフィルタ制御手段１１７に備え、符号化手段１１６において発生する符号量に応じた前記量子化パラメータＱｐに基づいて前記データテーブルから前記フィルタ特性制御データＫを出力するように構成する。なお、図５、および図６は前記データテーブルの一例である。

上記のようなデータテーブルを利用することにより、プリフィルタ１０１の特性を複雑な演算をすることなく設定することができるため、演算速度の向上、消費電力の低減等が可能となる。

前記図４に示した特性をローパスフィルタ２０１に与え、前記データテーブルにおけるデータを図５のように設定した場合、当該プリフィルタの特性は図７のように変化する。
前記量子化パラメータＱｐが小さい場合（図５においてはＱｐ≦８の場合）には、前記第１のゲインコントローラ２０２に前記フィルタ特性制御データＫとして０が与えられ、プリフィルタ１０１からは入力映像信号がそのまま出力される。一方、前記量子化パラメータＱｐが大きい場合（図５においてはＱｐ≧２５の場合）には、前記第１のゲインコントローラ２０２に前記フィルタ特性制御データＫとして１が与えられ、プリフィルタ１０１からはローパスフィルタ２０１の出力がそのまま出力される。

また、量子化パラメータＱｐの大きさが中程度の場合（図５においては９≦Ｑｐ≦２４の場合）には、前記第１のゲインコントローラ２０２に前記フィルタ特性制御データＫとして１／４、または１／２が与えられ、前記フィルタ制御データＫが１／４の場合には入力信号における高周波成分（ローパスフィルタにおいてカットされる周波数成分）が３／４に減衰された映像信号がプリフィルタ１０１から出力される。また、前記フィルタ制御データＫが１／２の場合には入力信号における高周波成分が１／２に減衰された映像信号がプリフィルタ１０１から出力される。

すなわち、当該プリフィルタ１０１によれば、ローパスフィルタ２０１から出力される、入力映像信号の低周波成分が減衰されることなく、符号化手段１１６において発生する符号量に応じて、入力映像信号における高周波成分を適応的に減衰させることが可能となる。

なお、上記の説明では量子化パラメータＱｐが、小さい場合をＱｐ≦８、大きい場合をＱｐ≧２５、中程度の大きさの場合を９≦Ｑｐ≦２４としたが、前記量子化パラメータＱｐの大小の基準は、映像信号符号化装置におけるデバイス等の特性に応じて任意に設定可能である。

また、フィルタ特性制御データＫの更新は、各マクロブロック毎に行ってもよいし、各Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ（以下、ＶＯＰという。）毎に行ってもよい。そして、当該フィルタ特性制御データＫの更新を各ＶＯＰ毎に行う際には、各ＶＯＰにおいて最初に符号化が行われるマクロブロックに対応したフィルタ制御データＫを、そのＶＯＰにおける全マクロブロックの符号化が完了するまで固定値とすればよい。

なお、本実施の形態１においては、フィルタ特性制御データＫの決定を簡易化するためにデータテーブルを用いたが、例えば図８乃至図１０のような簡単な関数を用いることによってもデータテーブルを参照するのと同程度の演算量で前記フィルタ特性制御データＫを決定することが可能であることが発明者の実験等によりわかっている。

また、本実施の形態１においてはフィルタ特性制御データＫを前記符号化手段１１６における符号化に応じた複数の符号化パラメータのうち、量子化パラメータＱｐのみに基づいて決定しているが、フィルタ特性データを決定する際に使用する符号化パラメータは、符号化手段１１６において発生する符号量との関係があるものであればよく、例えばインター／イントラ比率や目標ビットレートを使用することもできるし、符号量自体を使用することもできる。また、量子化パラメータとインター／イントラ比率とに基づいてフィルタ特性制御データＫを決定してもよく、また符号量とインター／イントラ比率とに基づいてフィルタ特性制御データＫを決定してもよい。さらに、目標ビットレートと量子化パラメータ、または目標ビットレートと符号量とに基づいてフィルタ特性制御データＫを決定してもよい。

さらに、インター／イントラ比率の変わりに、符号化モードを用いてもよい。すなわち、フレーム内符号化モードのインター符号化モードと、順方向予測符号化モード、および双方向符号化予測モードのイントラ符号化モードを符号化パラメータの一つとし、この符号化モードと、例えば量子化パラメータとに基づいてフィルタ特性制御データＫを決定してもよい。なお、符号化モードと組合わせる符号化パラメータとして、目標ビットレート、符号量を用いてもよい。

また、本実施の形態１においては、ＭＰＥＧ４を例に説明したが、当該符号化手段１１６によって行う符号化はこれに限られず、たとえばＭＰＥＧ１、ＭＰＥＧ２、Ｈ．２６３によって符号化を行ってもよい。

以上のように、本実施の形態１における映像信号符号化装置においては、複雑な演算をすることなく簡易な方法により、符号化手段において発生する符号量に応じてプリフィルタの特性を決定することが可能である。

また、上記のように複雑な演算を用いることがないため、ＣＰＵ等から構成される演算部への負担が軽減され、消費電力の削減が可能となる。

さらに、プリフィルタの構成を入力映像信号における高周波成分を符号量に応じて適応的に抑制することができる構成としたため、符号量の増加を抑制するとともに、ブロック歪等の劣化の少ない高品位な画像を得ることが可能となる。

実施の形態２．
一般的に、入力映像信号にはノイズ成分が含まれる場合があり、当該ノイズ成分を含んだままの入力映像信号に対して符号化を行うと、前記ノイズ成分に対応する無駄な符号量が発生してしまう。

そして、上記実施の形態１におけるプリフィルタ１０１は、符号化手段１１６で発生する符号量が大きくなると高周波成分を除去するようにフィルタ特性制御データＫを決定するため、前記ノイズ成分に対応する無駄な符号量が発生すると、本来除去されなくてもよい高周波成分が除去されてしまい、表示される画像の劣化が生じる場合もある。

そこで、本実施の形態２における映像信号符号化装置は、ノイズリダクションフィルタを前記プリフィルタ１０１に設けることで前記ノイズ成分を効果的に抑制し、符号化手段１１６において無駄な符号量が発生することを抑制するものである。

なお、本実施の形態２においては、プリフィルタの構成を除き、他の構成部分は上記実施の形態１と同様であるので当該他の構成部分およびその動作についての説明は省略する。また、本実施の形態２においては、プリフィルタに入力された入力映像信号を現画像データといい、当該現画像データの１フレーム期間前の画像データを前画像データという。

図１１は、本実施の形態２におけるプリフィルタ１０１の内部構成を示すものである。図１１のように本実施の形態２におけるプリフィルタ１０１は、内部プリフィルタ３０２の前段にノイズリダクションフィルタ３０１を備えるものである。なお、本実施の形態２における内部プリフィルタ３０２の構成は、前記実施の形態１におけるプリフィルタと同様の構成である。

図１２は前記図１１におけるノイズリダクションフィルタ３０１の内部構成を示すものである。

図１２において、現画像データは第１の減算器４０１、および第２の減算器４０３に入力される。前記第１の減算器４０１には、フレームメモリ１０２に記録されている前画像データが入力され、現画像データと前記前画像データとの差分（以下、当該差分を差分データという。）が演算される。そして、当該差分データはスケーリング手段４０２に出力される。

前記スケーリング手段４０２は、前記差分データと、フィルタ制御部１１７から入力されるしきい値Ｔｈとの比較を行い、前記差分データが前記しきい値Ｔｈよりも小さい場合には当該差分データをそのまま、または補正して第２の減算器４０３に出力する。一方、前記差分データが前記しきい値Ｔｈよりも大きい場合には、前記差分データを出力しない。

なお、前記しきい値Ｔｈは前記実施の形態１におけるフィルタ特性制御データＫと同様に、符号化手段１１６における符号化パラメータに基づいてフィルタ制御手段１１７から出力される。当該しきい値Ｔｈは、例えば、図１３のような量子化パラメータに対応するしきい値Ｔｈにより構成されるデータテーブルを設け、当該データテーブルから出力させてもよいし、前記第８図乃至第１０図のような関数により演算し、当該しきい値Ｔｈを出力させてもよい。なお、前記演算によりしきい値Ｔｈを決定する場合、前記第８図乃至第１０図に示す関数におけるフィルタ制御データＫを当該しきい値Ｔｈに置き換えて演算することはいうまでもない。

また、前記スケーリング手段４０２の特性は、前記差分データが前記しきい値Ｔｈよりも小さい場合には当該差分データをそのまま、または補正して出力し、前記差分データが前記しきい値よりも大きい場合には前記差分データを出力しない特性であればよい。したがって、例えば当該スケーリング手段４０２の特性は図１４乃至図１６のようにすることができる。

前記スケーリング手段４０２から出力された差分データは、減算器４０３において現画像データから減算され、内部プリフィルタ３０２におけるローパスフィルタ２０１に出力される。

例えば、前記図１４、または図１５のような特性を持つ前記スケーリング手段４０２において、入力された差分データがしきい値Ｔｈ＿ｉよりも小さい場合には、前記現画像データから前記差分データを減算されたデータ、すなわち前画像データと同一の値をもつデータが当該ノイズリダクションフィルタ３０１から前記ローパスフィルタ２０１に出力される。

一方、入力された差分データがしきい値Ｔｈ＿ｉよりも大きく、しきい値Ｔｈ＿ｊよりも小さい場合には、前記スケーリング手段４０２の出力に応じて補正された現画像データが、当該ノイズリダクションフィルタ３０１から前記ローパスフィルタ２０１に出力される。また、入力された差分データがしきい値Ｔｈ＿ｊ以上の場合には当該ノイズリダクションフィルタからの出力がないため、前記現画像データがそのまま前記ローパスフィルタ２０１に出力される。

さらに、前記図１６のような特性を持つ前記スケーリング手段４０２を用いた場合には当該ノイズリダクションフィルタ３０１からは以下のような画像データが前記ローパスフィルタ２０１に対して出力される。

すなわち、入力された差分データがしきい値Ｔｈ＿ｋよりも小さい場合には前記現画像データから前記差分データを減算されたデータ、すなわち前画像データと同一の値をもつデータが前記ローパスフィルタ２０１に出力され、しきい値Ｔｈ＿ｋ以上の場合には前記現画像データがそのまま前記ローパスフィルタ２０１に出力される。

図１７は当該ノイズリダクションフィルタ３０１から出力された画像データに対応する画像の一例である。なお、図１７は画像におけるノイズ成分の影響をより明確に示すため、画像を拡大したものである。

図１７において（ａ）は前画像データに対応する画像、（ｂ）は現画像データに対応する画像、（ｃ）はノイズリダクションフィルタ３０１から出力された画像データに対応する画像である。

当該ノイズリダクションフィルタ３０１によって前記ノイズ成分が抑制されることにより、（ｂ）における例えばＡ部にみられるような前記ノイズ成分の影響による画像のチラツキが、当該ノイズリダクションフィルタ３０１から出力されたデータに対応する画像（ｃ）においては除去されている。

以上のように、本実施の形態２の映像信号符号化装置においては、ノイズリダクションフィルタを備えることで、符号化に先立って入力映像信号におけるノイズ成分の除去を行うことが可能となるため、符号化手段において前記ノイズ成分に対応する無駄な符号量が発生することを抑制することができるとともに、上記実施の形態１と同様の効果を得ることが可能となる。

実施の形態３．
図１８は、本実施の形態３における映像信号符号化装置を示すブロック図である。
本実施の形態３においては、上記実施の形態１、または上記実施の形態２におけるフィルタ制御手段１１７と符号量制御手段１１５とを一体に構成し、符号量制御手段１１５ａとしている。なお、当該符号量制御手段１１５ａ以外の構成部分、およびその動作は上記実施の形態１、または上記実施の形態２と同様である。

符号量制御手段１１５ａは、上記実施の形態１、または上記実施の形態２と同様に、可変長符号化手段１０７から出力される符号量に応じて、量子化手段１０５における量子化パラメータＱｐ出力し、当該量子化パラメータＱｐに応じたフィルタ特性制御データＫをプリフィルタ１０１に出力する。

以上のように、本実施の形態３の映像信号符号化装置においては、上記実施の形態１、および上記実施の形態２における、フィルタ制御手段１１７と符号量制御手段１１５を一体に構成することで当該映像信号符号化装置の構成を簡素化することが可能となるとともに、上記実施の形態１、または上記実施の形態２と同様の効果を得ることができる。

実施の形態４．
上記実施の形態１乃至実施の形態３における映像信号符号化装置では、符号化手段１１６において発生した符号量に基づいて、目標とする圧縮率、ビットレート等を設定すると、符号化手段１１６に入力された現画像データの符号化が終了するまで前記圧縮率等の変更を行うことができない。

したがって、例えば、符号化手段の出力であるビットストリームをリアルタイムに配信するシステムにおいて、伝送路になんらかのトラブルが発生し、現状のレートのビットストリームを送ることが不可能になった場合、当該映像信号符号化装置において目標とするビットレートを下げる必要があるが、上記実施の形態１乃至実施の形態３における映像信号符号化装置では、このような場合に対応することができない。そのため、入力映像信号に対応するビットストリームを出力しても、当該ビットストリームが配信されないという問題が起こりうる。

そこで、本実施の形態４における映像信号符号化装置は、符号量制御手段１１５、またはフィルタ制御手段１１７に対して、圧縮率、ビットレートなどの符号量制御に関するパラメータを外部から入力することを可能にするとともに、当該外部から入力された圧縮率、ビットレート等に基づいて前記目標とする圧縮率等を符号化の段階に関係なく変更することを可能とすることで、上記のような問題を解決するものである。なお、以下の説明においては外部からの入力としてビットレートが与えられた場合について説明する。

図１９は、本実施の形態４における映像信号符号化装置を示すブロック図である。なお、符号化手段１１６における符号量制御手段１１５ｂ以外の構成部分、およびその動作は、上記実施の形態１乃至実施の形態３における符号化手段１１６と同様であるので説明を省略する。

図１９における符号量制御手段１１５ｂ、およびフィルタ制御手段１１７ａには外部からビットレートが入力される。

ビットレートが入力された符号量制御手段１１５ｂは、当該ビットレート、および可変長符号化手段１０７から出力される符号量に応じて、量子化手段１０５、およびフィルタ制御手段１１７ａに量子化パラメータＱｐを出力する。

また、フィルタ制御手段１１７ａは、前記ビットレート、および前記量子化パラメータＱｐに基づいて、フィルタ特性制御データＫをプリフィルタ１０１に出力する。なお、前記符号量制御手段１１５ｂにおいて量子化パラメータＱｐを決定する際には、当該量子化パラメータ、前記ビットレート、符号量から構成されるデータテーブルを用いてもよいし、適当な関数Ｑｐ＝ｆ（ビットレート、符号量）を用いてもよい。また、前記フィルタ制御手段１１７ａにおいても前記符号量制御手段１１５ｂと同様の方法でフィルタ特性制御データＫを決定すればよい。

なお、上記データテーブルは１つである必要はなく、量子化手段１０５、またはフィルタ制御手段１１７ａに前記データテーブルを複数設け、前記ビットレートに応じてデータテーブルを選択させるようにしてもよい。例えば、図２０（ａ）、（ｂ）に示すようなデータテーブルを設けた場合、前記ビットレートが高い場合には（ａ）のデータテーブルにより、より大きい量子化パラメータ、またはフィルタ特性制御データＫを出力させ、一方、前記ビットレートが低い場合には（ｂ）のようなデータテーブルにより、より小さい量子化パラメータ、またはフィルタ特性制御データＫを出力させることが可能である。

また、前記第８図乃至第１０図に示した関数のうち、すくなくとも１つの関数をフィルタ制御手段１１７ａに設定し、当該関数によって前記量子化パラメータＱｐ、または前記フィルタ特性制御データＫを演算し、出力させてもよい。

なお、上記実施の形態３のようにフィルタ制御手段１１７ａと符号量制御手段１１５ｂとを一体に構成し、符号量制御手段１１５ｃとした場合の映像符号化装置においては、図２１に示すように前記ビットレートを当該符号量制御手段１１５ｃに入力すればよい。

以上のように、本実施の形態４の映像信号符号化装置においては、外部から入力されるビットレートに応じ、画像データの符号化の段階に関係なく、映像信号符号化装置において目標とするビットレートを制御するとともに、当該ビットレートに適応するようにプリフィルタを制御することが可能となる。さらに、上記実施の形態１乃至実施の形態３と同様の効果を得ることができる。

実施の形態１における映像信号符号化装置を示すブロック図である。 フレームにおけるマクロブロックを示す図である。 実施の形態１におけるプリフィルタの構成を示すブロック図である。 図３におけるローパスフィルタ２０１の特性の一例を示す図である。 データテーブルの一例を示す図である。 データテーブルの一例を示す図である。 実施の形態１におけるプリフィルタの特性の一例を示す図である。 フィルタ特性データを決定する関数の一例を示す図である。 フィルタ特性データを決定する関数の一例を示す図である。 フィルタ特性データを決定する関数の一例を示す図である。 実施の形態２におけるプリフィルタの構成を示す図である。 実施の形態２におけるノイズリダクションフィルタの構成を示す図である。 しきい値Ｔｈから構成されるデータテーブルの一例を示す図である。 実施の形態２におけるスケーリング手段の特性の一例である。 実施の形態２におけるスケーリング手段の特性の一例である。 実施の形態２におけるスケーリング手段の特性の一例である。 実施の形態２におけるノイズリダクションフィルタから出力される画像データに対応する画像の一例を示す図である。 実施の形態３における映像信号符号化装置を示すブロック図である。 実施の形態４における映像信号符号化装置を示すブロック図である。 データテーブルの一例を示す図である。 実施の形態４において映像信号符号化装置を簡素化した場合を示すブロック図である。

符号の説明

１０１ プリフィルタ、１０２ フレームメモリ、１１６ 符号化手段、２０１ ローパスフィルタ、３０２ ローパスフィルタ、３０１ ノイズリダクションフィルタ、１１５ 符号量制御手段、１１５ａ 符号量制御手段、１１５ｂ 符号量制御手段、１１５ｃ 符号量制御手段、１１７ フィルタ制御手段、１１７ａ フィルタ制御手段、１１７ｂ フィルタ制御手段。

Claims (9)

1. フィルタ特性制御データに基づいて、入力映像信号における所定の周波数成分を現画像データとして出力するプリフィルタと、
   当該現画像データの符号化処理をする符号化手段と、
   当該符号化手段が出力する符号化パラメータに基づいて設定した前記フィルタ特性制御データを出力するフィルタ制御手段と
   を備え、
   前記プリフィルタは、
   前記入力映像信号における低周波数成分を出力するローパスフィルタと、
   前記フィルタ特性制御データに基づいて、前記低周波数成分を補正して補正低周波数成分を出力する第１のゲインコントローラと、
   前記フィルタ特性制御データに基づいて、前記入力映像信号を補正して補正映像信号を出力する第２のゲインコントローラとを備え、
   前記プリフィルタは、前記補正低周波数成分、または前記補正映像信号に基づいて前記入力映像信号における所定の周波数成分を出力する
   ことを特徴とする映像信号符号化装置。
2. 第１のゲインコントローラは、フィルタ特性制御データに基づいて低周波成分を減衰し、当該減衰された前記低周波成分を補正低周波数成分として出力し、
   第２のゲインコントローラは、前記フィルタ特性制御データに基づいて入力映像信号を減衰して、減衰された前記入力映像信号を補正映像信号として出力する
   ことを特徴とする請求項１に記載の映像信号符号化装置。
3. フィルタ特性制御データ値をＫ（０≦Ｋ≦１）とした場合、
   第１のゲインコントローラのゲインをＫとし、第２のゲインコントローラのゲインを１−Ｋとする
   ことを特徴とする請求項１又は２に記載の映像信号符号化装置。
4. プリフィルタは、補正低周波数成分と補正映像信号とを加算して出力する
   ことを特徴とする請求項１から３のいずれか１項に記載の映像信号符号化装置。
5. 入力映像信号におけるノイズ成分を抑制したノイズ抑制映像信号を出力するノイズリダクションフィルタを備え、
   プリフィルタは前記ノイズ抑制映像信号における所定の周波数成分を出力する
   ことを特徴する請求項１から４のいずれか１項に記載の映像信号符号化装置。
6. ノイズリダクションフィルタは、現画像データと現画像データの１フレーム期間前の前画像データとの間の差分データと、符号化パラメータに対応するしきい値とを比較し、前記差分データが前記しきい値よりも小さい場合に前記現画像データの補正を行う
   ことを特徴とする請求項５に記載の映像信号符号化装置。
7. フィルタ特性制御データに基づいて、入力映像信号における所定の周波数成分を現画像データとして出力する周波数成分出力工程と、
   当該現画像データの符号化処理を行い、当該符号化処理により発生した現画像データに対応するビットストリームを出力するとともに、符号化パラメータを出力する符号化パラメータ出力工程と、
   当該符号化パラメータに基づいて設定した前記フィルタ特性制御データを出力する制御データ出力工程と
   を備え、
   前記周波数成分出力工程は、
   前記入力映像信号における低周波数成分を出力する低周波成分出力工程と、
   前記フィルタ特性制御データに基づいて、前記低周波数成分を補正して補正低周波数成分を出力する第１の周波数成分補正工程と、
   前記フィルタ特性制御データに基づいて、前記入力映像信号を補正して補正映像信号を出力する第２の周波数成分補正工程とを備え、
   前記周波数成分出力工程は、前記補正低周波数成分、または前記補正映像信号に基づいて前記入力映像信号における所定の周波数成分を出力する
   ことを特徴とする映像信号符号化方法。
8. 請求項１から６のいずれか１項に記載の映像信号符号化装置を備える携帯端末装置。
9. フィルタ特性制御データに基づいて、入力映像信号における所定の周波数成分を現画像データとして出力する周波数成分出力ステップと、
   当該現画像データの符号化処理を行い、当該符号化処理により発生した現画像データに対応するビットストリームを出力するとともに、符号化パラメータを出力する符号化パラメータ出力ステップと、
   当該符号化パラメータに基づいて設定した前記フィルタ特性制御データを出力する制御データ出力ステップと
   を備え、
   前記周波数成分出力ステップは、
   前記入力映像信号における低周波数成分を出力する低周波成分出力ステップと、
   前記フィルタ特性制御データに基づいて、前記低周波数成分を補正して補正低周波数成分を出力する第１の周波数成分補正ステップと、
   前記フィルタ特性制御データに基づいて、前記入力映像信号を補正して補正映像信号を出力する第２の周波数成分補正ステップとを備え、
   前記周波数成分出力ステップは、前記補正低周波数成分、または前記補正映像信号に基づいて前記入力映像信号における所定の周波数成分を出力する
   ことを特徴とする映像信号符号化プログラム。
   

Images