JP2008066973A - 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法 - Google Patents

Abstract

【課題】高精度な予測を可能にして高圧縮化及び画質の向上を図る。
【解決手段】ブロック歪み低減フィルタを備えた画像符号化装置又は復号化装置である。前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を小さくした。例えば、マクロブロック分割装置を備え、前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を、マクロブロック分割後の画像の単位とした。予測の参照画像としては、前記ブロック歪み低減フィルタによるブロック歪み低減処理後の画像を用いた。１フレームを複数のスライスに分割するスライス分割装置を備え、各スライス毎に並列して前記処理を行う。
【選択図】図１

Description

本発明は、ブロック歪み低減フィルタを備えた画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法に関する。

圧縮符号化された動画像ストリームをデコードする情報処理装置としては、例えば特許文献１に記載のものが知られている。この情報処理装置では、デブロッキングフィルタ（ブロック歪み低減フィルタ）が用いられ、デコードされた各画面のブロック歪みが低減される。このとき、デブロッキングフィルタは処理が重いため、従来はＣＰＵなどの使用率を判断基準とし、フィルタのＯｎ、Ｏｆｆを切り替えていた。

具体的には、情報処理装置のビデオ再生アプリケーションプログラムで、コンピュータの現在の負荷量を検出し、コンピュータが高負荷状態でないならば、デブロッキングフィルタ処理を含む全てのデコード処理（通常デコード処理）を実行する。コンピュータが高負荷状態になると、ビデオ再生アプリケーションプログラムは、デブロッキングフィルタ処理の実行を省略した特殊デコード処理を実行する。即ち、コンピュータが高負荷状態であれば、デブロッキングフィルタをＯｆｆにして、コンピュータが高負荷状態でなければ、デブロッキングフィルタをＯｎにする。

これにより、多くの処理量を必要とするデブロッキングフィルタ処理の実行を省略してシステムの負荷を低減することにより、コマ落ちや、オブジェクトの動きが極端に遅くなるなどの不具合を招くことなく、動画像データのデコードおよび再生をスムーズに継続して実行することができる。

このような情報処理装置における動作例を以下に示す。

図２において、マクロブロック分割装置１に原画像ｓ１を入力すると、１フレームをマクロブロックと呼ばれる１６×１６pixcelの矩形ブロックに分割し、（画像幅×画像高さ）÷（１６×１６）個のマクロブロック画像ｓ２を得る。一般的な画像符号化装置ではマクロブロックを最小処理単位とし、画像の予測、直交変換、量子化を行う。

予測装置２においてマクロブロック画像ｓ２と周辺画素値ｓ４を入力とし、ローカルデコードイメージと呼ばれる圧縮画像ｓ３と、復号器において圧縮画像を作成するために必要な予測方法や原画像と予測画像との差などの情報（非図示）を得る。なお、予測装置２において用いる方法の１例としてＨ．２６４などがあり、圧縮画像ｓ３はマクロブロックと同一の大きさを持つ。また、予測装置２は１フレーム分に当たる（画像幅×画像高さ）÷（１６×１６）回、予測を繰り返す。また、圧縮画像ｓ３は周辺画素値バッファ３に格納される。

マクロブロック結合装置４では（画像幅×画像高さ）÷（１６×１６）個の圧縮画像ｓ３を入力とし、１フレーム分のローカルデコードイメージｓ５を作成する。

ブロック歪み低減フィルタ５では、１フレーム分のローカルデコードイメージを入力とし、４×４pixcelブロックの境界に対してブロック歪みを低減させるフィルタを行い、ブロック歪み低減ローカルデコードイメージｓ６を得る。

この図２のフローチャートで示したように、従来の符号化では、１フレーム全体の予測が完了してからブロック歪み低減フィルタをかけていた。

このため、多くの処理量を必要とするデブロッキングフィルタ処理（ブロック歪み低減フィルタ）の実行を、ＣＰＵなどの負荷率に応じて省略して、システムの負荷を低減することにより、動画像データのデコードおよび再生をスムーズに継続して実行することができるようにしていた。
特開２００６−１０１４０２号公報

ところで、前記従来の発明では、ＣＰＵなどの負荷率により、ブロック歪み低減を行うフィルタの実行をしないようにするため、動画像データのデコードおよび再生をスムーズに行う上では有効である。しかし、前記従来の発明では、ＣＰＵなどの負荷率が高いとブロック歪み低減フィルタが実行されずにブロック歪みが残ったままの画像となるため、画質が悪化するという問題があった。

本発明は、前記課題を解決するためになされたもので、高精度の予測を行うことを可能として、画質の向上を図ったものである。具体的には本発明は、ブロック歪み低減フィルタを備え、前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を小さくしたことを特徴とする。

前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位は、マクロブロック分割後の画像の単位とすることが望ましい。また、予測の参照画像として、前記ブロック歪み低減フィルタによるブロック歪み低減処理後の画像を用いることが望ましい。１フレームを複数のスライスに分割するスライス分割装置を備え、各スライス毎に並列して前記処理を行うことが望ましい。

前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を小さくすることで、各処理単位毎にブロック歪み低減処理を行うことができ、コンピュータへの負荷を分散させることができる。

また、予測の参照画像として、前記ブロック歪み低減フィルタによるブロック歪み低減処理後の画像を用いることで、高精度の予測を行うことを可能になる。

［第１実施形態］
以下に、本発明の第１実施形態にかかる発明について添付図面を基に説明する。

本実施形態にかかる情報処理装置の全体構成は、従来の情報処理装置とほぼ同様であるため、ここでは本発明の特徴部分を中心に説明する。

本発明の情報処理装置の予測処理部及びブロック歪み低減処理部の構成を図１に基づいて説明する。この予測処理部及びブロック歪み低減処理部は、ＭＰＥＧ−４などの符号圧縮装置の一部機能として用いられる。さらに、これ以外の符号化装置や復号化装置の一部機能として用いる場合もある。

マクロブロック分割装置１は、従来のマクロブロック分割装置と同様であり、１フレームをマクロブロックと呼ばれる１６×１６pixcelの矩形ブロックに分割して、（画像幅×画像高さ）÷（１６×１６）個のマクロブロック画像ｓ２を生成するための装置である。

予測装置２は、マクロブロック分割装置１からのマクロブロック画像ｓ２と、予測の参照画像としての周辺画素値ｓ８を入力とし、ローカルデコードイメージと呼ばれる圧縮画像ｓ３と、復号器において圧縮画像を作成するために必要な予測方法などの情報を得るための装置である。ここでは、従来の予測装置２と異なり、ブロック歪み低減処理後の周辺画素値ｓ８を取り込んで予測を行う。また、予測装置２において用いる方法の一例としては、Ｈ．２６４，ＭＰＥＧ−２，ＭＰＥＧ−４などがある。

周辺画素値バッファ３は、予測装置２からの圧縮画像ｓ３を、直接ではなく、ブロック歪み低減処理を施した後に格納する。

マクロブロック結合装置４は、従来のマクロブロック結合装置４と同様に１フレーム分のローカルデコードイメージｓ５を作成するための装置であるが、（画像幅×画像高さ）÷（１６×１６）個の圧縮画像ｓ３を直接ではなく、ブロック歪み低減処理を施した後に入力し、１フレーム分のローカルデコードイメージｓ６を作成する。

ブロック歪み低減フィルタ６は、従来のブロック歪み低減フィルタ５のように、１フレーム分のローカルデコードイメージを入力としてブロック歪みを低減させるフィルタを行うのではなく、マクロブロック分割装置１で分解された１マクロブロックことに、その周辺のローカルデコードイメージと共に入力して、４×４pixcelブロックの境界に付してブロック歪みを低減させるフィルタを行う。そして、このブロック歪み低減フィルタ６での処理で得たブロック歪み低減ローカルデコードイメージｓ７を、周辺画素値バッファ３に格納する。

［動作］
次の前記構成の予測処理部及びブロック歪み低減処理部での処理について説明する。なおこの処理は、画像符号化方法又は画像復号化方法の一部として機能する処理である。

マクロブロック分割装置１は、従来と同様に、１フレームをマクロブロックに分割して、（画像幅×画像高さ）÷（１６×１６）個のマクロブロック画像ｓ２を生成する。

予測装置２では、マクロブロック分割装置１からのマクロブロック画像ｓ２と、周辺画素値バッファ３からの周辺画素値ｓ８とを入力とし、ローカルデコードイメージと呼ばれる圧縮画像ｓ３と、復号器において圧縮画像を作成するために必要な予測方法や原画像と予測画像との差などの情報（非図示）を得る。なおここでは、周辺画素値バッファ３からの周辺画素値ｓ８は、ブロック歪み低減フィルタ６でブロック歪みを低減させた後の画素値である。

ブロック歪み低減フィルタ６では、予測装置２からの１マクロブロックと周辺のローカルデコードイメージを入力とし、４×４pixcelブロックの境界に付してブロック歪みを低減させるフィルタを行い、ブロック歪み低減ローカルデコードイメージｓ７を得て、マクロブロック結合装置４に出力すると共に、周辺画素値バッファ３に格納する。

マクロブロック結合装置４では（画像幅×画像高さ）÷（１６×１６）個のブロック歪み低減後ローカルデコードイメージｓ７を入力とし、１フレーム分のローカルデコードイメージｓ６を作成する。

［効果］
以上のように、従来の符号化では１フレーム全体の予測が完了してからブロック歪み低減フィルタをかけていたのに対して、本実施形態では図１で示したように１マクロブロックの予測が完了した後すぐにブロック歪み低減フィルタをかけるようにした。この結果、図３に示すように、ブロック歪みのある周辺画素値を参照するのに比べ、ブロック歪み低減フィルタをかけた後の画素値を参照して予測を行うことにより、より高精度な予測が可能となる。これにより、符号圧縮化の圧縮度の向上に貢献することができる。

また、前記ブロック歪み低減フィルタ６によってブロック歪み低減処理を行う処理単位を小さくしてマクロブロックのサイズにすることで、各マクロブロック毎にブロック歪み低減処理を行うことができ、コンピュータへの負荷を分散させることができる。この結果、ブロック歪み低減処理に伴ってコンピュータが高負荷状態になるのを抑えて、ブロック歪み低減処理を停止させる必要をなくして、画質の向上を図ることができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。

本実施形態は、第１実施形態において、１フレームを複数のスライスに分割して、各スライス毎に処理を行うようにしたものである。なおここでは、図４に従来技術においてスライス分割を行った場合の例を示し、図５に本実施形態においてスライス分割を行った場合の例を示して、両者を比較しながら説明する。またここでは、３分割した場合を例に説明する。

図４の従来技術では、原画像ｓ１をスライスして３分割するスライス分割装置７と、このスライス分割装置７に３つ並列に接続された従来の処理部Ａ，Ｂ，Ｃと、各処理部Ａ，Ｂ，Ｃで並行して処理された情報を結合するスライス結合装置８と、このスライス結合装置８で結合された情報に対してブロック歪みを低減する処理を施すブロック歪み低減フィルタ５とを備えて構成されている。

図５の本実施形態では、原画像ｓ１をスライスして３分割するスライス分割装置７と、このスライス分割装置７に３つ並列に接続された本実施形態の処理部Ａ´，Ｂ´，Ｃ´と、各処理部Ａ´，Ｂ´，Ｃ´で並行して処理された情報を結合するスライス結合装置８とを備えて構成されている。ここでは、ブロック歪み低減フィルタ６は各処理部Ａ´，Ｂ´，Ｃ´にそれぞれ設けられている。

そして、図４の従来の処理装置では、まずスライス分割装置７で原画像ｓ１をスライスして３分割する。３分割された原画像ｓ１は３つ並列に設けられた処理部Ａ，Ｂ，Ｃにそれぞれ入力して、各処理部で並行処理される。各処理部での処理は、前述した単体の処理部と同様である。

並行処理された情報は、スライス結合装置８でそれぞれ結合されて、ブロック歪み低減フィルタ５で、ブロック歪みを低減させるフィルタ処理が行われ、ブロック歪み低減ローカルデコードイメージｓ６を得る。

これに対して、図５の本実施形態では、スライス分割装置７において、図４と同様に、３つのスライスに分割される。３分割された原画像ｓ１は３つ並列に設けられた処理部Ａ´，Ｂ´，Ｃ´にそれぞれ接続され、各処理部Ａ´，Ｂ´，Ｃ´で並行処理される。各処理部Ａ´，Ｂ´，Ｃ´での個別の処理は、前記第１実施形態と同様である。

並行処理された情報は、スライス結合装置８で結合されて、ブロック歪み低減ローカルデコードイメージｓ６を得る。

［効果］
従来例では、図４で示すように、３スライスに分割して予測部分の並列処理を行っても、ブロック歪み低減フィルタ５は、１フレーム全部の予測が完了し、スライス結合を行った後にかけられる。そのため、フィルタ処理の並列化ができず、並列処理におけるボトルネックとなってしまう。

これに対して本実施形態では、図５で示すように、マクロブロックの予測が完了した後すぐにブロック歪み低減フィルタ６をかけるため、１フレーム全ての予測の完了を待たずにブロック歪み低減フィルタ６をかけることが可能となる。

その結果、従来手法でのフィルタ処理のボトルネックが解消され、並列度が向上する。これにより、処理の高速化が実現できる。

［変形例］
前記各実施形態では、ブロック歪み低減フィルタ６によってブロック歪み低減処理を行う処理単位を、マクロブロック分割後の画像の単位としたが、本発明はこれに限らず、他の処理単位に分割してブロック歪み低減処理を行うようにしてもよい。この場合も、前記実施形態同様の作用、効果を奏することになる。

前記第２実施形態では、１フレームを３つのスライスに分割するスライス分割装置７を備え、３系統で並列して処理するようにしたが、２系統又は４系統以上でもよいことは言うまでもない。

本発明の実施形態に係る予測処理部及びブロック歪み低減処理部での処理を示すフローチャートである。 従来の予測処理部及びブロック歪み低減処理部での処理を示すフローチャートである。 ブロック歪みのある周辺画素値とブロック歪み低減フィルタをかけた後の画素値の例を示す模式図である。 従来技術におけるスライス分割、並行処理を示すフローチャートである。 本発明の実施形態におけるスライス分割、並行処理を示すフローチャートである。

符号の説明

１ マクロブロック分割装置
２ 予測装置
３ 周辺画素値バッファ
４ マクロブロック結合装置
６ ブロック歪み低減フィルタ
７ スライス分割装置
Ａ´，Ｂ´，Ｃ´ 処理部
ｓ１ 原画像
ｓ２ マクロブロック画像
ｓ３ 圧縮画像
ｓ５ ローカルデコードイメージ
ｓ６ ローカルデコードイメージ
ｓ７ ブロック歪み低減ローカルデコードイメージ
ｓ８周辺画素値

Claims (16)

1. ブロック歪み低減フィルタを備えた画像符号化装置において、
   前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を小さくしたことを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   マクロブロック分割装置を備え、前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を、マクロブロック分割後の画像の単位としたことを特徴とする画像符号化装置。
3. 請求項１又は２に記載の画像符号化装置において、
   予測の参照画像として、前記ブロック歪み低減フィルタによるブロック歪み低減処理後の画像を用いることを特徴とする画像符号化装置。
4. 請求項１乃至３のいずれか１項に記載の画像符号化装置において、
   １フレームを複数のスライスに分割するスライス分割装置を備え、各スライス毎に並列して前記処理を行うことを特徴とする画像符号化装置。
5. ブロック歪み低減フィルタを備えた画像復号化装置において、
   前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を小さくしたことを特徴とする画像復号化装置。
6. 請求項５に記載の画像復号化装置において、
   マクロブロック分割装置を備え、前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を、マクロブロック分割後の画像の単位としたことを特徴とする画像復号化装置。
7. 請求項５又は６に記載の画像復号化装置において、
   予測の参照画像として、前記ブロック歪み低減フィルタによるブロック歪み低減処理後の画像を用いることを特徴とする画像復号化装置。
8. 請求項５乃至７のいずれか１項に記載の画像復号化装置において、
   １フレームを複数のスライスに分割するスライス分割装置を備え、各スライス毎に並列して前記処理を行うことを特徴とする画像復号化装置。
9. ブロック歪み低減フィルタを備えた画像符号化方法において、
   前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を小さくしたことを特徴とする画像符号化方法。
10. 請求項９に記載の画像符号化方法において、
    前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を、マクロブロック分割後の画像の単位としたことを特徴とする画像符号化方法。
11. 請求項９又は１０に記載の画像符号化方法において、
    予測の参照画像として、前記ブロック歪み低減フィルタによるブロック歪み低減処理後の画像を用いることを特徴とする画像符号化方法。
12. 請求項９乃至１１のいずれか１項に記載の画像符号化方法において、
    １フレームを複数のスライスに分割して、各スライス毎に並列して前記処理を行うことを特徴とする画像符号化方法。
13. ブロック歪み低減フィルタを備えた画像復号化方法において、
    前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を小さくしたことを特徴とする画像復号化方法。
14. 請求項１３に記載の画像復号化方法において、
    前記ブロック歪み低減フィルタによってブロック歪み低減処理を行う処理単位を、マクロブロック分割後の画像の単位としたことを特徴とする画像復号化方法。
15. 請求項１３又は１４に記載の画像復号化方法において、
    予測の参照画像として、前記ブロック歪み低減フィルタによるブロック歪み低減処理後の画像を用いることを特徴とする画像復号化方法。
16. 請求項１３乃至１５のいずれか１項に記載の画像復号化方法において、
    １フレームを複数のスライスに分割して、各スライス毎に並列して前記処理を行うことを特徴とする画像復号化方法。

Images