JP2006005572A - 画像符号化装置 - Google Patents

Abstract

【課題】 低ビットレートにおける動画像の良好な符号化を簡易な処理で実現できるようにすること。
【解決手段】 入力画像を所定の周波数領域に変換し、前記周波数領域に変換された周波数成分に対して量子化処理および可変長符号化処理を行う画像符号化装置であって、前記入力画像の画像サイズとビットレートとに応じて前記周波数成分を制限するパラメータを決定するパラメータ決定部２０１と、前記パラメータに応じて前記入力画像にフィルタ処理を施すローパスフィルタ２０２と、を具備する。
【選択図】 図２

Description

本発明は、画像信号を符号化する画像符号化装置に関し、特に、低ビットレートにおける動画像信号の符号化において、簡易な前処理により劣化の少ない符号化画像を得るようにした画像符号化装置に関する。

低ビットレートにおける動画像信号の符号化では、ブロック状のノイズや、モスキートノイズと呼ばれるノイズが発生する。このノイズは、画像内のエッジ部(人物と背景の境界など)に発生するもやもやとしたノイズである。

動画像の符号化処理では、動画像信号が持つ周波数成分を量子化して符号化するが、低ビットレートにするためには、量子化パラメータを大きい値で量子化する必要がある。このとき、低周波成分で発生する量子化誤差は、ブロック状のノイズとして見え、高周波成分で発生する量子化誤差は、モスキートノイズとして見える。

動画像の符号化処理では、これらのノイズを抑制するために、符号化前にプリフィルタによる処理を施す方式が一般的である。このプリフィルタは、入力画像の持つ周波数成分のうち、高域成分を除去して、使用可能なビット量を低域成分に割り当てることにより、ブロックノイズとモスキートノイズを抑制する。

このプリフィルタの制御方法として、プリフィルタの特性を既に符号化済みのピクチャ（以下、これを「前ピクチャ」という）における量子化パラメータ情報、プリフィルタ特性、ビットレートおよび動き量の４つのパラメータに基づいて決定するものが知られている（例えば、特許文献１参照）。
特開平６−２２５２７６号公報

しかしながら、特許文献１記載の従来の画像符号化装置は、ピクチャ単位で前記４つのパラメータに基づいて現ピクチャのフィルタ特性を定めるものである。このため、前記プリフィルタの制御を行う処理のために、（１）前ピクチャにおけるパラメータ群を記憶するメモリが必要となる。（２）ピクチャ単位での制御が必要となる。特に前記動き量については、前ピクチャとの画素単位での絶対差分誤差算出など処理量が多くなる。（３）前ピクチャの結果を用いるのでフィードバックが必要でありシステム構築が複雑になる。といった課題がある。

このように、低ビットレートにおける動画像の符号化処理では、量子化誤差によるブロック状のノイズおよびモスキートノイズが発生する。これを抑制するためにプリフィルタによる高域成分の除去処理を施すが、このプリフィルタの特性を決定するための処理が複雑で、前記メモリ等が必要であった。

本発明は、かかる点に鑑みてなされたもので、低ビットレートにおける動画像の良好な符号化を簡易な処理で実現できる画像符号化装置を提供することを目的とする。

かかる課題を解決するため、本発明の画像符号化装置は、入力画像を所定の周波数領域に変換し、前記周波数領域に変換された周波数成分に対して量子化処理および可変長符号化処理を行う画像符号化装置であって、前記入力画像の画像サイズとビットレートとに応じてローパスフィルタの特性を決定するパラメータ決定手段と、前記パラメータに応じて前記入力画像にフィルタ処理を施すローパスフィルタ処理手段と、を具備する構成を採る。

この構成によれば、簡易な方法でフィルタ処理の制御方法を決定することが可能になる。すなわち、一般的に、動画像の符号化技術は、動画像の伝送もしくは記録のために利用される。動画像の伝送の場合は、伝送速度に応じて複数のビットレートで符号化するためのモードを設ける。また、動画像の記録の場合も同様に、記録媒体の容量と記録時間に応じて、複数のビットレートで符号化するモードを設ける。符号化画像の画質は、入力される画像に応じて変動するが、画像サイズに対するビットレートの値で、経験的に、画質を維持するのに十分なビットレートかそうでないか大まかに知り得る。この構成においては、このような情報をもとに、指定され得る複数のビットレートと符号化対象となる画像サイズに応じて、ローパスフィルタの特性を前記パラメータ決定手段により決定する。この決定処理は、符号化の開始前に一度だけ行えばよく、この決定処理に必要となるメモリや複雑な処理およびフィードバック系を一切必要としないので、簡易な方法で決定することが可能になる。

本発明によれば、画像サイズとビットレートとの組み合わせのみでローパスフィルタの特性を決定するので、少ない処理量および少ないメモリリソースにより実現可能な簡易な前処理により劣化の少ない符号化画像を得ることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、各図において同一の構成または機能を有する構成要素及び相当部分には、同一の符号を付してその説明は繰り返さない。

図１、図２を参照して、本発明の一実施の形態に係る画像符号化装置について説明する。図１は、本実施の形態に係る画像符号化装置が搭載される無線画像通信端末装置の構成を示すブロック図である。図２は、本実施の形態に係る画像符号化装置の構成を示すブロック図である。

まず、図１を参照して、本実施の形態に係る画像符号化装置が搭載される無線画像通信端末装置について説明する。図１に示すように、無線画像通信端末装置１００は、カメラ１０１、画像符号化部１０２、マイク１０３、音声符号化部１０４、多重化部１０５、メモリ１０６、送信バッファ１０７、アンテナ１０８、受信バッファ１０９、分離部１１０、画像復号部１１１、モニタ１１２、音声復号部１１３、スピーカ１１４を備えている。

図１において、カメラ１０１で撮影された画像は、画像符号化部１０２で符号化される。同様に、マイク１０３で収音された音声は、音声符号化部１０４で符号化される。画像符号化部１０２で符号化された画像データと、音声符号化部１０４で符号化された音声データとは、多重化部１０５で多重化される。

ここで、カメラ１０１で撮影された画像を記録する場合には、多重化部１０５で多重化された画像データおよび音声データがメモリ１０６に記録される。また、カメラ１０１で撮影された画像をＴＶ電話などの用途で送信する場合は、多重化部１０５で多重化された画像データおよび音声データが、送信バッファ１０７に一旦蓄積された後、変調されてアンテナ１０８を経由して発信される。

一方、アンテナ１０８が画像信号および音声信号を受信した場合は、受信した画像信号および音声信号が受信バッファ１０９に一旦蓄積された後、復調された画像データおよび音声データが受信バッファ１０９から出力されて分離部１１０に入力される。

また、メモリ１０６に記録された画像データおよび音声データを再生する場合は、メモリ１０６から読み出された画像データおよび音声データが分離部１１０に入力される。

分離部１１０に入力された画像データおよび音声データは、分離部１１０にて符号化された画像データおよび音声データに分離される。符号化された画像データは、画像復号部１１１にて復号されてモニタ１１２に画像として表示される。同様に、複合化された音声データは、音声復号部１１３にて復号されてスピーカ１１４から音声として出力される。

次に、図２を参照して、本実施の形態に係る画像符号化装置について説明する。図２に示す画像符号化装置２００は、図１に示した無線画像通信端末装置１００の画像符号化部１０２を構成するものである。

図２において、パラメータ決定部２０１は、ビットレートおよび画像サイズを入力されると、定められた手続きによりパラメータを決定する。ここでは、ビットレートを３つのカテゴリに分類し、各カテゴリに応じた値を出力するものとする。また、これらの値は、画像サイズ毎に決定するものとする。

つまり、ここでは、画像サイズが１７６×１４４で、ビットレートが２４キロビット毎秒未満の場合は、値として「１」を出力する。また、ビットレートが２４〜６４キロビット毎秒の場合は、値として「２」を出力する。さらに、ビットレートが６４キロビット毎秒を越える場合は、値として「３」を出力する。ここに示す各値の意味は、値が大きくなるほど、高域成分を出力するように周波数成分を制限するものとする。同様に、画像サイズが１２８×９６で、ビットレートが１６キロビット毎秒未満の場合は、値として「１」を出力する。また、ビットレートが１６〜４８キロビット毎秒の場合は、値として「２」を出力する。さらに、ビットレートが４８キロビット毎秒を越える場合は、値として「３」を出力するものとする。

なお、ここに挙げた画像サイズの種類、画像のサイズ、出力する値の種類の数(ここでは３種類)、ビットレートの値等は、一例であり、用途や効果に応じて様々な値に変更できることはいうまでもない。

ローパスフィルタ２０２は、入力されたパラメータの値に応じて、異なるフィルタ特性をかけるものとする。このローパスフィルタ２０２によるフィルタ処理は、入力画像の各画素について行う。ここでは、現在の画素をf(x,y)と表現し、フィルタ処理後の画素をf‘(x,y)とする。前述したように、図２に示すパラメータ決定部２０１からの出力は、１〜３なので、これらの値に応じて、下記のような処理を行うものとする。

つまり、パラメータの値が「１」の場合は、ｆ‘(x,y) = {f(x,y-1) + f(x-1,y) + 4*f(x,y) + f(x+1,y) + f(x,y+1)} / 8となる。また、パラメータの値が「２」の場合は、ｆ‘(x,y) = {f(x,y-1)/2+f(x-1,y)/2+6*f(x,y)+f(x+1,y)/2+f(x,y+1)/2} / 8となる。ここで、パラメータの値が「３」の場合は、処理しない。

なお、上記の処理は、パラメータの値が大きくなるにつれて、高域成分が通過しやすいような処理を行っており、この考え方に基づくのであれば、上記の処理以外のフィルタ処理でも実現可能であることはいうまでもない。

上述のローパスフィルタ処理が施された画像は、動きベクトル検出部２０３に入力される。動きベクトル検出部２０３は、メモリ２０４が保持している前のフレームと前記入力画像とを比較して、動きベクトルを出力する。そして、この動きベクトルに基づいて現フレームと最も類似している思われる画像データ(予測画像)がメモリ２０４から読み出され、減算器２０５に入力される。

減算器２０５は、前記予測画像と前記入力画像との差分信号を出力する。周波数変換手段としてのＤＣＴ部２０６は、前記差分信号に対して周波数領域に変換するＤＣＴ処理を行う。ＤＣＴ処理後の周波数成分は、量子化手段としての量子化部２０７で量子化される。量子化された周波数成分は、可変長符号化部(ＶＬＣ部)２０８で可変長符号に変換されて出力されるとともに、逆量子化部２０９で逆量子化され、ＩＤＣＴ部２１０でＩＤＣＴ処理を行い、画素領域へ変換される。このＩＤＣＴ処理により変換された値は、差分情報である。この値は、加算器２１１により前記予測画像と加算される。これにより、再生画像が得られる。この再生画像は、メモリ２０４に保存され、次のフレームのために使われる。

上述のように、パラメータに従ってフィルタ処理を行うことにより、画像サイズおよびビットレートに基づいて高周波成分がカットされた入力画像が符号化される。従って、低ビットレートにおけるブロック状のノイズやモスキートノイズを抑制することが可能となる。

本発明に係る画像符号化装置は、簡易な前処理により劣化の少ない符号化画像を得ることができるので、無線画像通信端末装置の画像符号化装置として有用である。

本発明の一実施の形態に係る画像符号化装置が搭載される無線画像通信端末装置の構成を示すブロック図 本発明の一実施の形態に係る画像符号化装置の構成を示すブロック図

符号の説明

１００ 無線画像通信端末装置
１０１ カメラ
１０２ 画像符号化部
１０３ マイク
１０４ 音声符号化部
１０５ 多重化部
１０６ メモリ
１０７ 送信バッファ
１０８ アンテナ
１０９ 受信バッファ
１１０ 分離部
１１１ 画像復号部
１１２ モニタ
１１３ 音声復号部
１１４ スピーカ
２００ 画像符号化装置
２０１ パラメータ決定部
２０２ ローパスフィルタ
２０３ 動きベクトル検出部
２０４ メモリ
２０５ 減算器
２０６ ＤＣＴ部
２０７ 量子化部
２０８ 可変長符号化部
２０９ 逆量子化部
２１０ ＩＤＣＴ部
２１１ 加算器

Claims (5)

1. 入力画像を所定の周波数領域に変換し、前記周波数領域に変換された周波数成分に対して量子化処理および可変長符号化処理を行う画像符号化装置であって、
   前記入力画像の画像サイズとビットレートとに応じてローパスフィルタの特性を決定するパラメータ決定手段と、前記パラメータに応じて前記入力画像にフィルタ処理を施すローパスフィルタ処理手段と、を具備することを特徴とする画像符号化装置。
2. 入力画像を所定の周波数領域に変換し、前記周波数領域に変換された周波数成分に対して量子化処理および可変長符号化処理を行う画像符号化方法であって、
   前記入力画像の画像サイズとビットレートとに応じてローパスフィルタの特性を決定する周波数成分制限パラメータ決定ステップと、前記パラメータに応じて前記入力画像に対してフィルタ処理を施すローパスフィルタ処理ステップと、を具備することを特徴とする画像符号化方法。
3. 入力されたディジタル画像を所定の周波数領域に変換する周波数変換ステップと、
   前記変換された周波数成分を量子化する量子化ステップと、
   前記量子化された周波数成分に対して可変長符号化を行う可変長符号化ステップと、
   指定されたビットレートと入力された画像データのサイズによりローパスフィルタの特性を決定するパラメータ決定ステップと、
   前記パラメータに従って前記入力画像にフィルタ処理を施すローパスフィルタ処理ステップと、をコンピュータに実行させるための動画像信号の符号化プログラム。
4. 請求項３記載の動画像信号の符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
5. 請求項１記載の画像符号化装置が搭載されていることを特徴とする無線画像通信端末装置。
   

Images