JP2008017229A

JP2008017229A - 動画像符号化装置

Info

Publication number: JP2008017229A
Application number: JP2006187168A
Authority: JP
Inventors: Hiroshi Mori; 弘史森; Tatsunori Saito; 龍則斉藤; Yuji Kawashima; 裕司川島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-07-06
Filing date: 2006-07-06
Publication date: 2008-01-24
Anticipated expiration: 2026-07-06
Also published as: JP4724061B2; US20080008250A1

Abstract

【課題】リフレッシュＭＢをスライスの先頭ＭＢとなるようにスライス分割することで近傍ＭＢの誤りの伝搬を防止すること。
【解決手段】本発明は、リフレッシュＭＢの挿入位置を決定しリフレッシュ情報を出力するリフレッシュ制御部１１と、上記リフレッシュ情報に基づきリフレッシュＭＢが各スライスの先頭ＭＢとなるようにスライス分割を行うスライス制御部１２と、上記スライス情報に基づき同一スライスでのイントラ予測を行うイントラ予測部１３と、上記スライス情報により対象のＭＢがリフレッシュＭＢであることを検知すると、優先的にイントラ予測を選択する予測選択部１０を有する動画像符号化装置である。
【選択図】図１

Description

本発明は、符号化効率の劣化を解消する動画像符号化装置に関する。

従来、動画像の圧縮符号化方式であるＭＰＥＧ−４方式では、インター予測、イントラ予測、離散コサイン変換（ＤＣＴ）、及び可変調符号化等を組み合わせて符号化を行っている。従って、ＤＣＴの精度誤差の蓄積をリフレッシュするためには、周期的にイントラＭＢが挿入される必要がある。また、ＭＰＥＧ−４方式のＴＶ電話応用等では、誤りの影響を低減するためにも、即ち誤りの影響を後段のフレームに伝搬させないために、周期的にイントラマクロブロック（以下、イントラＭＢと略記する）（リフレッシュＭＢ）を挿入する手法が使われている。そして、このようなイントラＭＢを用いたリフレッシュとしては、周期的にラスター順序でリフレッシュする手法が一般に知られている。

ここで、特許文献１では、ＭＰＥＧ−４において、伝送路で発生する誤りを監視し、当該伝送路の誤り率の基準値を複数用意し、検出した誤り率が１つの基準値より高くなった場合、イントラ符号化に切り替えるための判断条件を修正することで、イントラ符号化モードによるリフレッシュを行う動画像符号化装置が開示されている。

一方、ＭＰＥＧ方式を更に発展させたＨ．２６４／ＡＶＣと呼ばれる動画像符号化規格が提案されている。このＨ．２６４／ＡＶＣでは、イントラＭＢは、ＭＰＥＧ−４方式のイントラＭＢと異なり、近傍ＭＢの輝度値を利用してＭＢを予測する。
特開２００１−１６９２８６号公報

しかしながら、Ｈ．２６４／ＡＶＣでは、ＭＢで閉じた処理ではないため、近傍ＭＢに誤りが混入しているとイントラＭＢにも誤りが伝搬してしまう。

従って、近傍ＭＢを用いたイントラ予測では、誤りを除去できるとは限らない。

また、リフレッシュＭＢだけをＩスライスとして１つのスライスに纏める手法も考えられるが、その場合には、スライスが増加するため、オーバーヘッドも増加してしまう。

さらに、Ｈ．２６４／ＡＶＣでは、ピクチャー・パラメータ・セット（ＰＰＳ）のconstrained_intra_flag=1（即ち、インター予測で復号された画素を参照値としないことを意味する）とすることで、インターＭＢを参照ＭＢから除外し、近傍インターＭＢを使用せずにイントラＭＢを予測することも可能であるが、リフレッシュ目的以外のＭＢにおいても制限がかかる為、符号化効率が劣化してしまう。

本発明の目的とするところは、リフレッシュＭＢが先頭ＭＢとなるようにスライス分割することで近傍ＭＢの誤りの伝搬を防止し、また、リフレッシュＭＢ以外ではインターＭＢを参照ＭＢとしてイントラ予測を行うことで誤りの伝搬を防止し、符号化効率の劣化を回避することにある。

本発明の第１の態様によれば、リフレッシュマクロブロックの挿入位置を決定し、当該挿入位置をリフレッシュ情報として出力するリフレッシュ制御手段と、上記リフレッシュ情報に基づき、リフレッシュマクロブロックが各スライスの先頭マクロブロックとなるようにスライス分割を行い、別スライスになったことを示唆するスライス情報を出力するスライス制御手段と、上記スライス情報に基づき、同一スライスの情報でのイントラ予測を行うイントラ予測手段と、を有することを特徴とする動画像符号化装置が提供される。

また、本発明の第２の態様によれば、動画像信号の入力を受け、残差信号を生成する残差信号算出部と、上記残差信号に対して離散コサイン変換及び量子化を行い変換係数信号を出力する離散コサイン変換・量子化部と、上記変換係数信号に対して逆離散コサイン変換コサイン逆量子化を行い復号信号を出力する逆離散コサイン変換・逆量子化部と、上記復号信号を復号し復号画像信号を出力するデコード部と、上記復号画像信号をフィルタリングするデブロックフィルタと、上記フィルタリング後の復号画像信号を蓄積する参照フレームメモリと、上記参照フレームメモリの参照画像信号を読み出し、マクロブロック単位に動きベクトルを検出する動きベクトル検出部と、上記動きベクトルに基いてフレーム間予測を行うインター予測部と、リフレッシュマクロブロックの挿入位置を決定し、当該挿入位置をリフレッシュ情報として出力するリフレッシュ制御部と、上記リフレッシュ情報に基づき、リフレッシュマクロブロックが各スライスの先頭マクロブロックとなるようにスライス分割を行い、別スライスになったことを示唆するスライス情報を出力するスライス制御部と、上記スライス情報に基づき同一スライスの情報でのイントラ予測を行うイントラ予測部と、上記スライス情報により処理対象のマクロブロックがリフレッシュマクロブロックであることを検知した場合には上記インター予測部によるインター予測よりも優先的にイントラ予測を選択する予測選択部と、上記スライス制御部から上記スライス情報を受けた場合には新たなスライスの先頭マクロブロックでスライスヘッダを生成し、符号化する符号化部と、を具備することを特徴とする動画像符号化装置が提供される。

本発明によれば、リフレッシュＭＢが先頭ＭＢとなるようにスライス分割することで近傍ＭＢの誤りの伝搬を防止し、また、リフレッシュＭＢ以外ではインターＭＢを参照ＭＢとしてイントラ予測を行うことで誤りの伝搬を防止し、符号化効率の劣化を回避する動画像符号化装置を提供することができる。

以下、添付図面を参照して、本発明の実施の形態について説明する。

図１には、本発明の一実施の形態に係る動画像符号化装置の構成を示し説明する。

動画像符号化装置は、原画像を符号化して符号化情報を出力するものであり、構成要素としては、残差信号算出部１、離散コサイン（ＤＣＴ）・量子化部２、符号化部３、逆離散コサイン（ＩＤＣＴ）・逆量子化部４、デコード部５、デブロックフィルタ６、参照フレームメモリ７、インター予測部８、動きベクトル検出部９、予測選択部１０、リフレッシュ制御部１１、スライス制御部１２、そしてイントラ予測部１３を備えている。

この実施の形態では、Ｈ．２６４／ＡＶＣへの適用を想定しているので、４×４画素のブロック単位のイントラ予測、及び特に１６×１６画素のマクロブロック（以下、ＭＢと称する）単位のイントラ予測が可能である。尚、以下では、誤りの影響を低減するために挿入されるイントラＭＢを「リフレッシュＭＢ」と称する。

このような構成において、フレーム単位で原画像の動画像信号が入力されると、残差信号算出部１にて、予測画像信号との差分である残差信号が生成される。この予測画像信号については、イントラ予測部１３によるイントラ予測、インター予測部８によるインター予測の結果得られた予測画像信号より予測選択部１０が選択し、出力する。

この残差信号に対してＤＣＴ・量子化部２にてＤＣＴ及び量子化が実施される。この量子化された変換係数信号は、逆ＤＣＴ・逆量子化部４に入力される。逆ＤＣＴ・逆量子化部４では、変換係数信号に対してＤＣＴ及び量子化の逆の処理であるＩＤＣＴ及び逆量子化が施され、復号信号が生成される。この復号信号は、デコード部５に入力される。

このデコード部５では、予測画像信号と復号信号を加算し復号画像信号（デブロック前）を生成し、復号画像信号（デブロック前）がデブロックフィルタ６を介してフィルタリングされた後、デブロック後の復号画像信号が参照フレームメモリ７に蓄積される。即ち、このようにして、符号化対象画像である動画像信号の前後の複数フレームの参照画像信号が順次記憶されることになる。

このデブロッキングフィルタ６によるフィルタリングは、画像の符号化時に生じるブロック歪みを減少させるためのフィルタである。その適用は、Ｈ．２６４／ＡＶＣに特有のものであるが、参照フレームメモリ７に復号画像を格納するのに先立ち、適応的に出ブロッキングフィルタ６によって、ブロック歪の除去を行うのである。これによれば、画像のブロック歪みが参照フレームメモリ７の参照画像に含まれることもない。

動きベクトル検出部９は、参照フレームメモリ７の参照画像信号を読み出し、マクロブロック単位に前のフレームのどの部分（座標）が良好かを検出する。つまり、動きベクトルを検出する。一般に、動きベクトルは、周囲ブロックの動きベクトルと強い相関があることから、周囲ブロックから予測を行う。Ｈ．２６４／ＡＶＣにおいては、周囲ブロックの動きベクトルから中央値を用いて動きベクトルを予測することになる。

但し、可変ブロック・サイズ動き補償や複数参照画像からの動き補償が用いられるために、より細かな処理も必要となることは勿論である。

そして、インター予測部８は、上記動きベクトル検出部９で検出された動きベクトルを受けて、参照画像信号と動画像信号との間の当該動きベクトルによる動き補償予測、即ちインター予測を行い、予測画像信号、評価値を生成する。

評価値は、参照画像信号と動画像信号の類似度を表すもので、参照画像信号と動画像信号の二乗誤差和（ＳＳＤ）や絶対誤差和（ＳＡＤ）などが一般に用いられる。

この予測画像信号、評価値は予測選択部１０に入力される。尚、予測に用いる画素が符号化対象画素と同一のフレームに属する場合をフレーム内予測（イントラ予測）、異なるフレームに属する場合をフレーム間予測（インター予測）という。

一方、リフレッシュ制御部１１は、リフレッシュＭＢの挿入位置を決定し、リフレッシュ情報を出力する。このリフレッシュ情報は、スライス制御部１２に入力される。

スライス制御部１２は、このリフレッシュ情報に基づきスライス分割を行い、別スライスになったことを示唆するスライス情報を出力する。即ち、スライス制御部１２は、リフレッシュＭＢが各スライスの先頭ＭＢとなるようにスライス分割を行う。イントラ予測部１３は、このスライス情報に基づき同一スライスの情報でのイントラ予測を行う。

さらに、予測選択部１０は、スライス情報の入力により別スライスになったことを検知すると、即ち処理の対象となるＭＢがリフレッシュＭＢであることを知ると、優先的にイントラ予測部１３によるイントラ予測を選択する。尚、対象となるＭＢがリフレッシュＭＢでない場合には、予測選択部１０は、イントラ予測部１３、インター予測部８の各予測画像信号と評価値とに基いて、いずれかの予測モードを選択してもよい。

こうして、符号化部３は、スライス制御部１２からスライス情報を受け取った場合には新しいスライスの先頭ＭＢでスライスヘッダを生成し、符号化していく。

このように、実施の形態に係る動画像符号化装置では、Ｈ．２６４のイントラ予測ではスライス外のＭＢは参照できないことに着目し、図３に示されるように、リフレッシュＭＢが各スライスの先頭ＭＢとなるようにスライス分割を行う。即ち、図３では、各フレームＦ１〜Ｆ４について、リフレッシュＭＢがスライスの先頭ＭＢとなる。

これにより、ＰＰＳのconstrained_intra_flagによらず、スライス先頭ＭＢから連続するイントラＭＢをリフレッシュＭＢとすることで、容易に近傍ＭＢを参照しないリフレッシュＭＢを挿入する。また、リフレッシュ対象ＭＢ以外では、インターＭＢを参照したイントラ予測も使用可能とすることで、符号化効率の低下を防止する。

以下、図２のフローチャートを参照して、本発明の一実施の形態に係る動画像符号化装置により一連の処理の流れを更に詳細に説明する。

この処理を開始すると、先ず各種変数及びフラグの初期化を行う。ここでは、ＭＢのアドレスに関する変数MbAddを０とし、更にＭＢがリフレッシュＭＢであるか否かを示すフラグrefreshFlagをFALSE（リフレッシュＭＢでない）とする（ステップＳ１）。

続いて、符号化部３は、最初のＭＢについては必ずスライスヘッダが必要であるので当該スライスヘッダの生成、符号化を行う（ステップＳ２）。

そして、対象とするＭＢがリフレッシュ開始ＭＢであるか（MbAdd＝＝RefreshMbAdd）を判断し（ステップＳ３）、当該ＭＢがリフレッシュ開始ＭＢでないと判断した場合にはそのままステップＳ６に移行する。その一方、リフレッシュ開始ＭＢであると判断した場合には、フラグrefreshFlagをTRUE（リフレッシュＭＢである）とし、リフレッシュＭＢの数に係るカウンタcountRefreshMBの値を０とし（ステップＳ４）、これに続いて、スライス分割及びスライスヘッダの生成、符号化を行うことになる（ステップＳ５）。

続いて、処理対象とするＭＢがリフレッシュＭＢであるか否かをフラグrefreshFlagの状態を検知することで判断する（refreshFlag＝TRUE?）する（ステップＳ６）。

そして、ステップＳ６において、処理対象とするＭＢが、リフレッシュＭＢである（refreshFlag=TRUE）と判断した場合には、予測選択部１０は、イントラ予測部１３によるイントラ符号化を優先的に行い（ステップＳ７）、リフレッシュＭＢの数に係るカウンタcountRefreshMBをインクリメントし（ステップＳ８）、変数numRefreshMbがカウンタcountRefreshMbの値未満であるか否かを判断する（ステップＳ９）。

そして、numRefreshMb＜countRefreshMbである場合にはステップＳ１４に移行し、一方、numRefreshMb＜countRefreshMbでない場合にはフラグrefreshFlagをFALSE（リフレッシュＭＢでない）とし（ステップＳ１０）、ステップＳ１４に移行する。つまり、ここでは、予め設定されたリフレッシュＭＢの数だけ上記処理を繰り返し、その処理を終えると、リフレッシュＭＢであることを示すフラグrefreshFlagをFALSEとする。

一方、ステップＳ６において、リフレッシュＭＢでない（refreshFlag=FALSE）場合には、イントラ予測部１３によるイントラ符号化を行い（ステップＳ１１）、更にインター予測部８によるインター符号化を行い（ステップＳ１２）、予測選択部１０が最適モードを選択し（ステップＳ１３）、ステップＳ１４に移行する。このステップＳ１４では、変数MbAddをインクリメントし、変数numMB＜MbAddであるか否かを判断し、当該関係が成立する場合には上記ステップＳ３に戻り、上記動作を繰り返す。つまり、処理単位（１フレーム）のＭＢについて上記処理を繰り返すことになる。

一方、処理単位（１フレーム）のＭＢについて処理を完了すると、リフレッシュＭＢの開始位置の更新(RerefreshMBAdd+=numRefreshMB)を行い（ステップＳ１６）、次のフレームについての上記同様（ステップＳ１乃至Ｓ１７）の処理に入ることになる。

以上説明したように、本発明の一実施の形態に係る動画像符号化装置は、リフレッシュ制御部１１が、リフレッシュＭＢの挿入位置を決定し当該挿入位置をリフレッシュ情報として出力し、スライス制御部１２が、このリフレッシュ情報に基づきリフレッシュＭＢが各スライスの先頭マクロブロックとなるようにスライス分割を行い別スライスになったことを示唆するスライス情報を出力する。そして、イントラ予測部１３が、上記スライス情報に基づき同一スライスの情報でのイントラ予測を行う。さらに、予測選択部１０が、上記スライス情報により処理対象のマクロブロックがリフレッシュマクロブロックであることを検知した場合には優先的にイントラ予測を選択することになる。

なお上記実施例では、周期的にラスター順序でリフレッシュする手法について記述したが、リフレッシュＭＢの生成手法はこれに限らない。

従って、本発明の一実施の形態によれば、リフレッシュＭＢをスライスに含まれる先頭ＭＢとすることで、換言すれば、リフレッシュＭＢがスライスの先頭ＭＢとなるようにスライス分割することで、リフレッシュＭＢを容易に挿入することを可能とする。更にリフレッシュＭＢ以外ではインターＭＢを参照ＭＢとしてイントラ予測を行うことで誤りの伝搬を防止し、全体として符号化効率の劣化を回避することができる。
以上、本発明の一実施の形態について説明したが、本発明はこれらに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。

本発明の一実施の形態に係る動画像符号化装置の構成図。本発明の一実施の形態に係る動画像符号化装置の動作を示すフローチャート。リフレッシュＭＢの挿入の過程を示す概念図。

符号の説明

１…残差信号算出部、２…ＤＣＴ・量子化部、３…符号化部、４…逆ＤＣＴ・逆量子化部、５…デコード部、６…デブロックフィルタ、７…参照フレームメモリ、８…インター予測部、９…動きベクトル検出部、１０…予測選択部、１１…リフレッシュ制御部、１２…スライス制御部、１３…イントラ予測部。

Claims

リフレッシュマクロブロックの挿入位置を決定し、当該挿入位置をリフレッシュ情報として出力するリフレッシュ制御手段と、
上記リフレッシュ情報に基づき、リフレッシュマクロブロックが各スライスの先頭マクロブロックとなるようにスライス分割を行い、別スライスになったことを示唆するスライス情報を出力するスライス制御手段と、
上記スライス情報に基づき同一スライスでのイントラ予測を行うイントラ予測手段と、を有することを特徴とする動画像符号化装置。
上記スライス情報により処理対象のマクロブロックがリフレッシュマクロブロックであることを検知した場合には優先的にイントラ予測を選択する予測選択手段を更に有することを特徴とする請求項１に記載の動画像符号化装置。
動画像信号の入力を受け残差信号を生成する残差信号算出部と、
上記残差信号に対して離散コサイン変換及び量子化を行い変換係数信号を出力する離散コサイン変換・量子化部と、
上記変換係数信号に対して逆離散コサイン変換コサイン逆量子化を行い復号信号を出力する逆離散コサイン変換・逆量子化部と、
上記復号信号を復号し復号画像信号を出力するデコード部と、
上記復号画像信号をフィルタリングするデブロックフィルタと、
上記フィルタリング後の復号画像信号を参照画像信号として蓄積する参照フレームメモリと、
上記参照フレームメモリの参照画像信号を読み出し、マクロブロック単位に動きベクトルを検出する動きベクトル検出部と、
上記動きベクトルに基いてフレーム間予測を行うインター予測部と、
リフレッシュマクロブロックの挿入位置を決定し、当該挿入位置をリフレッシュ情報として出力するリフレッシュ制御部と、
上記リフレッシュ情報に基づき、リフレッシュマクロブロックが各スライスの先頭マクロブロックとなるようにスライス分割を行い、別スライスになったことを示唆するスライス情報を出力するスライス制御部と、
上記スライス情報に基づき同一スライスでのイントラ予測を行うイントラ予測部と、
上記スライス情報により処理対象のマクロブロックがリフレッシュマクロブロックであることを検知した場合には上記インター予測部によるインター予測よりも優先的にイントラ予測を選択する予測選択部と、
上記スライス制御部から上記スライス情報を受けた場合には新たなスライスの先頭マクロブロックでスライスヘッダを生成し、符号化する符号化部と、
を具備することを特徴とする動画像符号化装置。
上記予測選択部は、処理対象のマクロブロックがリフレッシュマクロブロックでないと検知した場合には上記イントラ予測部によるイントラ予測、及び上記インター予測部によるインター予測の結果、得られた各予測画像信号に基いていずれかを選択する、ことを更に特徴とする請求項３に記載の動画像符号化装置。