JP2011239464A

JP2011239464A - 復号器

Info

Publication number: JP2011239464A
Application number: JP2011164096A
Authority: JP
Inventors: Michiyo Morimoto; 美智代森本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-07-27
Filing date: 2011-07-27
Publication date: 2011-11-24

Abstract

【課題】エラーコンシールメントをする際に、最適な参照フレームを決定してエラーコンシールメント処理を行うようにする。
【解決手段】ビットストリーム内のスライス情報に存在するマクロブロック情報にデコードエラーが検出され、エラーコンシールメント処理を行う場合に、参照フレームバッファに蓄積されている復号した再生画像の中で、デコードエラーが検出されたスライスに最も表示時刻が近いフレームをエラーコンシールメントの参照フレームとする。
【選択図】図１

Description

本発明は、エラーコンシールメントの参照フレーム決定方法およびそれを備えた復号器に関する。

近年、画像圧縮の研究・開発が進み、ＭＰＥＧ４（ＩＳＯ／ＩＥＣ１４４９６−２）、Ｈ．２６４（ＩＳＯ／ＩＥＣ１４４９６−１０）などの動画像符号化方法が規格化されている。そして、この方法は、ディジタル放送、インターネット通信、携帯電話通信等といったような様々な分野で用いられている。

データ通信において、画像データをＭＰＥＧ４符号化方式等にてエンコードした符号化データが送られてきた場合、受信側は、その送られてきた符号化データを復号器にてデコードして出力することが一般的である。符号化データを復号器にてデコードする際、無線通信の状態の悪化等で、「０」データが「１」データに変化するといったような異なったデータになるといったエラーが起きる事がある。そして、そのエラーが原因でデコードエラーが発生し、それを復号器が検出した際は、その部分の画像フレームデータの再送を送信元に要求する対策が講じられる。しかし、画像データの再送を要求する方法は、再送するのに更に時間を要するため、あまり有効な方法ではない。

また、デコードエラーの対策として、復号器においてエラーコンシールメントと呼ばれているエラー画像補完を行うことが提案されている（例えば、特許文献１参照）。

このエラーコンシールメント処理では、デコードエラーが検出された画像フレームはそのままでは使用できないため、他の画像フレームデータ（以下参照フレームという）を参照して疑似データを作成する必要がある。そして、ＭＰＥＧ４符号化方式等では、その参照フレームは直前にデコードしたフレームと規格されていたため、その直前にデコードしたフレームまたは最も表示時刻が近いフレームを参照してエラーコンシールメント処理を行っていた。

特開２００１−３０９３８８号公報（２頁、３頁、６頁乃至９頁、図１）

Ｈ．２６４符号化方式で符号化されたデータの復号化において、デコードエラーが検出された場合は、ＭＰＥＧ４符号化方式等と同様にエラーコンシールメント処理を行う必要がある。しかしながら、Ｈ．２６４符号化方式の規格ではＭＰＥＧ４符号化方式等とは異なり、エラーコンシールメント処理の際の参照フレームについては何ら規定されていない。そのため、Ｈ．２６４符号化方式においては、エラーコンシールメント処理する際に、どのフレームを参照してエラーコンシールメント処理をするかという課題があり、参照フレームの選択によっては、符号化前の画像データとは全く違う画像データにデコードされてしまうという問題点がある。

したがって、本発明は以上の問題点を解決するためになされたもので、エラーコンシールメント処理を行う際に参照フレームを複数のフレームの中から選択する例えばＨ．２６４符号化方式の復号器において最適な参照フレームを決定してエラーコンシールメント処理ができるエラーコンシールメントの参照フレーム決定方法、およびその機能を備えた復号器を提供することを目的とする。

上記目的を達成するために、本発明による復号器は、符号化された符号化情報を解読する解読手段と、前記解読手段によって解読されたビットストリームの中から、デコードエラーを検出するエラー検出手段と、復号した再生画像を順次蓄積する参照フレームバッファと、前記エラー検出手段によって前記ビットストリーム内のスライス情報に存在するマクロブロック情報にデコードエラーが検出され、エラーコンシールメント処理を行う場合に、前記参照フレームバッファに蓄積されている前記復号した再生画像の中からＩピクチャーを含むフレームを探索し、前記Ｉピクチャーを含むフレームの中で、前記デコードエラーが検出されたスライスに最もデコード時刻が近いフレームをエラーコンシールメントの参照フレームとする参照フレーム決定手段と、前記参照フレーム決定手段によって決定された参照フレームを用いてエラーコンシールメント処理を行うエラー処理手段とを有することを特徴としている。

本発明によれば、エラーコンシールメント処理の参照フレームを複数のフレームの中から選択する例えばＨ．２６４符号化方式にて符号化された符号化データを復号器でデコードする際に、最適な参照フレームを決定してエラーコンシールメント処理を行うため、より画質のよい再生画像データを得ることができる。

本発明の実施例における、Ｈ．２６４復号器の内部構造を示したブロック図。本発明の実施例における、参照フレームバッファ部９の内部状態を示した図。本発明の実施例における、スライス情報の構成を示す図。本発明の実施例における、イントラマクロブロックでデコードエラーが検出された場合の参照フレーム決定方法を示す図。本発明の実施例における、イントラマクロブロックでデコードエラーが検出された場合の参照フレーム決定方法を示したフローチャート。インターマクロブロックにおけるパーティション分割を示す図。本発明の実施例における、イントラマクロブロックでデコードエラーが検出された場合の参照フレーム決定方法を示す図。本発明の実施例における、パーティションに分かれていないインターマクロブロックでデコードエラーが検出された場合の参照フレーム決定方法を示したフローチャート。本発明の実施例における、パーティションに分かれていないインターマクロブロックでデコードエラーが検出された場合の参照フレーム決定における隣接ブロックを示す図。本発明の実施例における、パーティションに分かれているインターマクロブロックでデコードエラーが検出された場合の参照フレーム決定方法を示したフローチャート。本発明の実施例における、パーティションに分かれているインターマクロブロックでデコードエラーが検出された場合の参照フレーム決定方法を示す図。本発明の実施例における、「隣接するスライス」を説明した図。

以下に、本発明の実施の形態を説明する。

本発明をＨ．２６４符号化方式の復号器に適用した実施例を図１乃至１１を参照して説明する。図１は、本発明の実施例におけるＨ．２６４復号器の内部構造を示したブロック図である。

復号器１は、解読部２と、逆量子化部３と、逆ＤＣＴ変換部４と、復号加算部５と、イントラ予測部６と、フィルタ７と、動き補償部８と、参照フレームバッファ部９と、スイッチ１０とを備えている。そして、解読部２と、逆量子化部３と、逆ＤＣＴ変換部４と、復号加算部５と、イントラ予測部６と、フィルタ７と、動き補償部８と、参照フレームバッファ部９と、スイッチ１０とは、それぞれ制御部１１によって動作制御が行われている。

まず、各部の動作を説明する。解読部２は、復号器１に送られてきたデータＤ１をビットストリームシンタックスにしたがってビットストリームを解読し、符号化データを復元する機能を有する。また、解読部２の内部にはビットストリーム解析部１２とエラー処理部１３を有し、更にビットストリーム解析部１２の内部にはエラー検出部１４が設けられている。解読部２の詳細な動作は後述する。

逆量子化部３は、解読部２からのデータＤ２の逆量子化を行う。そして、逆量子化されたデータＤ３は、逆ＤＣＴ変換部４へ送られる。

逆ＤＣＴ変換部４は、データＤ３の逆ＤＣＴ変換を行う。そして、逆ＤＣＴ変換されたデータＤ４（予測残差信号）は、復号加算部５に送られる。

復号加算部５は、スイッチ１０の接続状態によって処理が異なる。このスイッチ１０は、解読部２からのモード信号によってイントラ（フレーム内）予測モードと、インター（フレーム間）予測モードとに切り替わる。そして、イントラ予測モードのときは、スイッチ１０はイントラ予測部６に接続され、復号加算部５はイントラ予測部６からのデータＤ７と逆ＤＣＴ変換部４からのデータＤ４（予測残差信号）を加算する。また、インター予測モードのときは、スイッチ１０は動き補償部８に接続され、復号加算部５は動き補償部８からのデータＤ９と逆ＤＣＴ変換部４からのデータＤ４（予測残差信号）を加算する。

それぞれのモードにおいて、復号加算部５で加算処理されたデータＤ５はイントラ予測部６またはフィルタ７に送られる。

イントラ予測部６は、イントラ予測モードの時に動作し、復号加算部５から送られてきたデータＤ５からイントラ予測を行う。イントラ予測が完了して出力されたデータＤ７はスイッチ１０を介して復号加算部５に送出される。

フィルタ７は、復号データの歪み等を減らす機能を有する。ここで、フィルタ７でフィルタがかけられたデータは、フレームデータＤ６として出力され、また、参照フレームの候補として参照フレームバッファ部９に蓄積される。

動き補償部８は、インター予測モードのときに動作する。動き補償部８は解読部２から動き情報Ｄ１０または暫定動きベクトルデータＤ１１が入力されて、その動き情報Ｄ１０または暫定動きベクトルデータＤ１１によって参照フレームバッファ部９から参照フレームデータＤ８を読み出し、動き補償を行う機能を有する。動き補償が完了して出力されたデータＤ９はスイッチ１０を介して復号加算部５に送出される。

参照フレームバッファ部９には、フィルタ７から出力される画像のフレームデータＤ６が順次蓄積されている。図２は、参照フレームバッファ部９に記憶されたフレームデータの状態を示した図である。フィルタ７にてフィルタがかけられたデータＤ６は、復号器１から出力されると共に、参照フレームバッファ部９へフレームデータＤ６として送られる。参照フレームバッファ部９ではフレームデータＤ６毎に図２に示すようにヘッダが順番に付されて、記憶蓄積されて行く。図２の再生画像Ｆ１、Ｆ２、…は、順番に蓄積されたフレームデータである。

ヘッダには、参照フレームデータＤ８として参照されるときに区別するリスト番号の情報や、復号化時に長期にわたって参照されるフレームであると符号化側が指定したlong-term-pictureと呼ばれるフラッグの有無などの情報（図示せず）が含まれている。リスト番号は、Ｈ．２６４の規格上０〜１５までの最大１６個の番号までしか付すことができないため、リスト番号の存在しないフレームも存在する（リスト番号を割り当てるのは１６個以下でもよい）。

また、ヘッダは復号する符号化データのスライスが変わる毎に変更することも可能である。例えば、スライス１を復号しているときは、図２の（１）のように「ヘッダ１」は「リスト番号１」、「ヘッダ２」は「リスト番号０」、「ヘッダ３」は「リスト番号なし」、「ヘッダ４」は「リスト番号２」と設定する。また、スライス２を復号するときには、図２の（２）のように「ヘッダ１」は「リスト番号０」、「ヘッダ２」は「リスト番号なし」、「ヘッダ３」は「リスト番号１」、「ヘッダ４」は「リスト番号２」と設定するといった様に、復号するスライスが変わる毎にヘッダのリスト番号が設定可能である。

以上のように、復号器１は、データＤ１を受け取ると、解読部２によってデータＤ１をイントラ予測と解読したときは、逆量子化部３、逆ＤＣＴ変換部４、復号加算部５、イントラ予測部６によって復号され、フィルタ７をかけたあと、データＤ６として出力、および参照フレームバッファ部９に蓄積される。通常、イントラ予測のときには動き補償部８は作動しない。

また、解読部２の解読結果がインター予測のときは、解読部２からの動き情報Ｄ１０、および参照フレームバッファ９からの参照フレームデータＤ８に基づき動き補償部８は動き補償のフレーム画像を求めてデータＤ９として出力する。そして、逆量子化部３および逆ＤＣＴ変換部４によって得られた差分のデータＤ４と動き補償部８からの動き補償のデータＤ９が復号加算部５にて加算される。その後、フィルタ７がかけられデータＤ６として出力、および参照フレームバッファ部９に蓄積される。

また、解読部２のエラー検出部１４で符号化データのスライス情報のデコードエラーが検出された場合は、エラーコンシールメント処理が行われ、エラー処理部１３からの暫定動きベクトルデータＤ１１、および参照フレームバッファ９からの参照フレームデータＤ８に基づき、動き補償部８は動き補償のフレーム画像を求めてデータＤ９として出力する。そして、逆量子化部３と逆ＤＣＴ変換部４は制御部１１により逆量子化処理及び逆ＤＣＴ変換処理を行わないように制御され、それぞれデータＤ２，Ｄ３が入力され、復号加算部５にてデータＤ４とデータＤ９が加算される。この場合、復号後の差分のデータＤ４は全て０となるため、データＤ９がそのまま出力される。その後、フィルタ７でフィルタがかけられデータＤ６として出力、および参照フレームバッファ部９に蓄積される。なお、フィルタ７は制御部１１によりフィルタ処理を行わないように制御される場合もある。

次に、解読部２の詳細な動きについて図３乃至図１１を用いて説明する。まず、解読部２にデータＤ１が送られると、そのデータＤ１のナルユニットタイプ（NAL unit type）を検出し、ビットストリーム解析部１２へ送る。ビットストリーム解析部１２では、ナルユニットタイプに基づきデータを解析し、符号化データを抽出する。そして、ビットストリーム解析部１２のエラー検出部１４は、予め定められた条件を元に符号化データのスライス情報に含まれるスライスヘッダ情報のデコードエラー、及びマクロブロック情報のデコードエラーを検出する。ここで、ナルユニットタイプ（NAL unit type）とは、それぞれ送られて来るナルユニット（NAL unit）の内部情報がどのような種類のものか（Slice dataであるのか、Picture parameterであるのか、付加情報であるのか等）を示すデータである。

図３は、スライス情報の構成を示したものである。図３のようにスライスヘッダ情報は、スライス固有情報１、画像表示順序情報、参照フレーム数情報、参照フレームリスト情報、参照フレーム属性情報、スライス固有情報２などの情報が含まれている。

スライス固有情報１には、スライス情報に含まれる最初のマクロブロックデータ１のアドレス、スライス情報のタイプ（ＩスライスかＰスライスか）、スライス情報が参照するピクチャーパラメータセットのＩＤ、フレーム番号等が設定される。

また、画像表示順序情報には、デコードした画像に対する表示順序のオフセット番号が設定される。さらに、参照フレーム属性情報には、参照フレームリスト情報の各フレームに関する属性（たとえばlong-term-pictureであるといったような情報）が設定される。

また、スライス固定情報２には、スライス単位での量子化係数のオフセット値などが設定される。そして、１つのスライス情報には少なくとも１つのマクロブロックデータが存在する。そして、エラー検出部１４におけるスライスヘッダ情報のデコードエラーは、以下の場合に検出される。

（１）スライスヘッダ情報のデコードした結果に対応するデータが存在しない
これは、例えば、デコードするビットストリームのパラメータとして最大参照フレーム枚数を３枚までとしているのに、スライスヘッダ情報をデコードした結果の最大参照フレーム枚数が５枚となっていた場合などを意味する。

（２）スライスヘッダ情報をデコードした結果の値が符号化対応表に存在しない
これは、例えば、スライスヘッダ情報をデコードした結果が「１０」という値になったが、符号化対応表には「０」〜「９」までの値しか定義されていない場合を意味する。なお、ここで言う符号化対応表に存在するとは、デコード結果に対して返す値が存在することを意味し、ビットストリーム解析部１２内で判定される。

（３）スライスヘッダ情報をデコードした結果に対してデコーダが対応していない
これは、例えば、スライス情報のタイプがイントラマクロブロックのみで構成されている「Ｉスライス」とインターマクロブロックを含む「Ｐスライス」しかデコーダが対応していないのに、デコードしたスライスヘッダ情報によるスライスのタイプが「Ｂスライス」となっていた場合を意味する。

これらのデコードエラー検出は上記方法に限定されず、他の検出方法であっても良い。

また、検出方法によっては、デコードエラーが正しく検出されない場合もある。このように、スライスヘッダ情報でのデコードエラーが発生したときは、そのスライス情報に存在するマクロブロック情報に対し誤った復号が行われないように、逆量子化部３へのデータＤ２、逆ＤＣＴ変換部４へのデータＤ３は制御部１１により逆量子化処理及び逆ＤＣＴ処理されずにそれぞれ出力される。そして、エラー検出部１４でデコードエラーの検出が行われると、解読部２のエラー処理部１３にエラー信号が送られる。

また、エラー検出部１４におけるマクロブロック情報のデコードエラーは、以下の場合に検出される。

（１）マクロブロック情報をデコードした結果、対応するデータが存在しない
これは、例えば、マクロブロック情報をデコードした後、ある参照フレームを参照して再現する場合、その参照フレームが「リスト１０」を指していた場合で、参照フレームリストが「リスト０」から「リスト８」までしか存在しなかった場合などである。

（２）マクロブロック情報をデコードした結果の値が符号化対応表に存在しない
これは、例えば、デコードした結果が「４０」という値になったが、符号化対応表には「０」から「３０」までの値しか定義されていない場合などである。

また、検出方法によっては、デコードエラーが正しく検出されない場合もある。このように、マクロブロック情報でのデコードエラーが発生したときは、そのマクロブロック情報に対する誤った復号が行われないように、逆量子化部３へのデータＤ２、逆ＤＣＴ変換部４へのデータＤ３は制御部１１により逆量子化処理及び逆ＤＣＴ処理されずに出力される。そして、エラー検出部１４でデコードエラーの検出が行われると、解読部２のエラー処理部１３にエラー信号が送られる。

エラー検出部１４によってデコードエラーが検出され、エラー信号が送られてきた場合、エラー処理部１３はエラーコンシールメント処理を行う。以下に、エラー処理部１３でエラーコンシールメント処理が行われる際に、どのように参照フレームを決定するかを、検出されたデコードエラーが、（ａ）マクロブロック情報でデコードエラーが検出された場合と、（ｂ）スライスヘッダ情報でのデコードエラーが検出された場合とに分けて説明する。

（ａ）マクロブロック情報でデコードエラーが検出された場合
デコードエラーが発生したマクロブロックがイントラマクロブロックの場合（ａ−１）と、インターマクロブロックの場合（ａ−２）とに更に分けて説明する。

（ａ−１）イントラマクロブロックのデコードエラーが検出された場合
イントラマクロブロックにおいてデコードエラーが検出された場合は、以下のような処理によってエラーコンシールメント処理の参照フレームを決定する。

図４、図７は、イントラマクロブロックにおいてデコードエラーが検出されたときにエラーコンシールメント処理を行うための参照フレームについて示したものである。なお、Ｈ．２６４の規格では参照フレームに関して以下のように定められている。

（ア）イントラマクロブロックには参照フレームは存在せず、イントラ予測部内での処理を除き、図４に示すように常に１６画素×１６画素を１つの単位として処理される。

（イ）インターマクロブロックは、７種類のパーティションと呼ばれる図６に示すようなマクロブロックを分割した領域を処理単位とすることができる。

（ウ）インターマクロブロックにおいて、参照フレームを８画素×８画素単位で設定することができる。

（エ）一つのパーティション内で複数の参照フレームを設定することはできない。

次に、イントラマクロブロックＸにデコードエラーが発生した場合のエラーコンシールメント処理における参照フレームの選択方法を図４、図５を用いて説明する。図５は、エラーコンシールメント処理する際の、参照フレームの選択方法を示した動作フローチャートである。

まず、デコードエラーが発生したイントラマクロブロックＸの左隣の隣接マクロブロックＡがインターマクロブロックか（隣接マクロブロックＡがイントラマクロブロックＸと同じスライスでない場合を除く）、それ以外か（隣接マクロブロックＡがない場合や隣接マクロブロックＡがイントラマクロブロックＸと同じスライスでない場合も含む）を判断する（ステップ５１、図４の（１））。

隣接マクロブロックＡがインターマクロブロックならば（ステップ５１のＹｅｓ）、次に隣接マクロブロックＡが７つのパーティションのいずれかに分かれているか否かを判断する（ステップ５２）。そして、マクロブロックＡが上記パーティションに分かれていないならば（ステップ５２のＮｏ）、マクロブロックＡが参照しているフレームａ１を参照フレームとする（ステップ５３ａ、図４の（２））。また、マクロブロックＡが７つのパーティションのいずれかに分かれているならば（ステップ５２のＹｅｓ）、マクロブロックＡのパーティションのうち、右上のパーティション（イントラマクロブロックＸの左上のピクセルに左に隣接しているパーティション）が参照しているフレームａ２（図７の（１）参照）を参照フレームとする（ステップ５３ｂ）。

ここで、ステップ５３ｂにおける参照フレームの決定方法の他の例を図７の（２）を用いて説明する。図７の（２）のＡＰ１乃至ＡＰ４はインターマクロブロックＡの８画素×８画素のパーティションを示している。参照フレームは、８画素×８画素の単位（以下、この単位をサブマクロブロック単位という）でそれぞれ別々のフレームを参照することができる（但し前述の通り、１つのパーティションで複数の参照フレームを設定することはできない）。例えば、パーティションＡＰ１が参照フレームａ３を、パーティションＡＰ２が参照フレームａ４を、パーティションＡＰ３が参照フレームａ５を、パーティションＡＰ４が参照フレームａ３をそれぞれ参照していたとする。更に、パーティションＡＰ１に重み１、パーティションＡＰ２に重み２、パーティションＡＰ３に重み１、パーティションＡＰ４に重み２を設定していたとする。そうすると、パーティションＡＰ１乃至ＡＰ４はマクロブロックの４分の１ずつの画素を占めているため、参照しているフレームの重みを（占める画素数）×（重み）で求めるとすると、その比は参照フレームａ３：参照フレームａ４：参照フレームａ５＝３：２：１となる。よって、イントラマクロブロックＸがエラーコンシールメント処理する際の参照フレームは、一番重みのあった参照フレームａ３に決定される。

もし、一番重みのあった参照フレームが複数あった場合は、その複数の参照フレームを参照しているパーティションのうち、デコードエラーの検出されたイントラマクロブロックＸの左上のピクセルに最も近いパーティションが参照しているフレームを参照フレームとする。例えば、パーティションＡＰ１が参照フレームａ５を、パーティションＡＰ２が参照フレームａ４を、パーティションＡＰ３が参照フレームａ５を、パーティションＡＰ４が参照フレームａ３をそれぞれ参照していたとし、更にパーティションＡＰ１に重み１、パーティションＡＰ２に重み２、パーティションＡＰ３に重み１、パーティションＡＰ４に重み２を設定していたとする。そうすると、重みの比は参照フレームａ３：参照フレームａ４：参照フレームａ５＝１：１：１となる。そして、デコードエラーの検出されたイントラマクロブロックＸの左上に最も近いパーティションはパーティションＡＰ２であるから、イントラマクロブロックＸの参照フレームはパーティションＡＰ２が参照している参照フレームａ４に決定される。

次に、隣接マクロブロックＡがイントラマクロブロック以外であるならば（ステップ５１のＮｏ）、デコードエラーが発生したイントラマクロブロックＸの上に隣接する隣接マクロブロックＢがインターマクロブロックか、それ以外か（隣接マクロブロックＢがない場合や隣接マクロブロックＢがイントラマクロブロックＸと同じスライスでない場合も含む）を判断する（ステップ５４）。

隣接マクロブロックＢがインターマクロブロックならば（ステップ５４のＹｅｓ）、そのマクロブロックＢが７つのパーティションのいずれかに分かれているかを判断する（ステップ５５）。そして、マクロブロックＢが上記パーティションに分かれていないならば（ステップ５５のＮｏ）、マクロブロックＢが参照しているフレームｂ１を参照フレームとする（ステップ５６ａ、図４の（３））。また、マクロブロックＢが７つのパーティションのいずれかに分かれているならば（ステップ５５のＹｅｓ）、マクロブロックＢのパーティションのうち、左下のパーティション（イントラマクロブロックＸの左上のピクセルに上に隣接しているパーティション）が参照しているフレームｂ２（図７の（３）参照）を参照フレームとする（ステップ５６ｂ）。

ここで、ステップ５６ｂにおける参照フレームの決定方法の他の例を図７の（４）を用いて説明する。図７の（４）のＢＰ１乃至ＢＰ４はインターマクロブロックＢの８画素×８画素のパーティションを示している。同様に参照フレームは、サブマクロブロック単位でそれぞれ別々のフレームを参照することができる。例えば、パーティションＢＰ１が参照フレームｂ３を、パーティションＢＰ２が参照フレームｂ４を、パーティションＢＰ３が参照フレームｂ５を、パーティションＢＰ４が参照フレームｂ３をそれぞれ参照していたとする。更に、パーティションＢＰ１に重み１、パーティションＢＰ２に重み１、パーティションＢＰ３に重み２、パーティションＢＰ４に重み２を設定していたとする。そうすると、パーティションＢＰ１乃至ＢＰ４はマクロブロックの４分の１ずつの画素をしめているため、参照しているフレームの重みを（占める画素数）×（重み）で求めるとすると、その比は参照フレームｂ３：参照フレームｂ４：参照フレームｂ５＝３：１：２となる。よって、イントラマクロブロックＸがエラーコンシールメント処理する際の参照フレームは一番重みのあった参照フレームｂ３に決定される。

もし、一番重みのあった参照フレームが複数あった場合は、その複数の参照フレームを参照しているパーティションのうち、デコードエラーの検出されたイントラマクロブロックＸの左上のピクセルに最も近いパーティションが参照しているフレームを参照フレームとする。例えば、パーティションＢＰ１が参照フレームｂ５を、パーティションＢＰ２が参照フレームｂ４を、パーティションＢＰ３が参照フレームｂ６を、パーティションＢＰ４が参照フレームｂ３をそれぞれ参照していたとし、更にパーティションＢＰ１に重み１、パーティションＢＰ２に重み１、パーティションＢＰ３に重み２、パーティションＢＰ４に重み２を設定していたとする。そうすると、重みの比は参照フレームｂ３：参照フレームｂ４：参照フレームｂ５：参照フレームｂ６＝２：１：１：２となるが、デコードエラーの検出されたマクロブロックＸの左上のピクセルに最も近いパーティションはパーティションＢＰ３であるから、マクロブロックＸの参照フレームはパーティションＢＰ３が参照している参照フレームａ６に決定される。

次に、隣接マクロブロックＢがイントラマクロブロック以外であるならば（ステップ５４のＮｏ）、デコードエラーが発生したイントラマクロブロックＸの右上の隣接マクロブロックＣがインターマクロブロックかそれ以外か（隣接マクロブロックＣがない場合や隣接マクロブロックＣがイントラマクロブロックＸと同じスライスでない場合も含む）を判断する（ステップ５７）。

隣接マクロブロックＣがインターマクロブロックならば（ステップ５７のＹｅｓ）、そのマクロブロックＣが７つのパーティションのいずれかに分かれているかを判断する（ステップ５８）。そして、マクロブロックＣが上記パーティションに分かれていないならば（ステップ５８のＮｏ）、マクロブロックＣが参照しているフレームｃ１を参照フレームとする（ステップ５９ａ、図４の（４））。また、マクロブロックＣが７つのパーティションのいずれかに分かれている（ステップ５８のＹｅｓ）ならば、マクロブロックＣのパーティションのうち、左下のパーティションが参照しているフレームｃ２（図７の（５）参照）を参照フレームとする（ステップ５９ｂ）。

次に、隣接マクロブロックＣがイントラマクロブロック以外であるならば（ステップ５７のＮｏ）、デコードエラーが発生したイントラマクロブロックＸの右上の隣接マクロブロックＤがインターマクロブロックかそれ以外か（隣接マクロブロックＤがない場合や隣接マクロブロックＤがイントラマクロブロックＸと同じスライスでない場合も含む）を判断する（ステップ６０）。

隣接マクロブロックＤがインターマクロブロックならば（ステップ６０のＹｅｓ）、そのマクロブロックＤが７つのパーティションのいずれかに分かれているかを判断する（ステップ６１）。そして、マクロブロックＤが上記パーティションに分かれていないならば（ステップ６１のＮｏ）、マクロブロックＤが参照しているフレームｄ１を参照フレームとする（ステップ６２ａ、図４の（５））。また、マクロブロックＤが７つのパーティションのいずれかに分かれているならば（ステップ６１のＹｅｓ）、マクロブロックＤのパーティションのうち、右下のパーティションが参照しているフレームｄ２（図７の（６）参照）を参照フレームとする（ステップ６２ｂ）。

隣接ブロックＤがインターマクロブロック以外であるならば（ステップ６０のＮｏ）、イントラマクロブロックＸを含むフレームの一つ前にデコードされたフレームを参照する（ステップ６３）。なお、ステップ６３はこれに限定することなく、イントラマクロブロックＸを含むフレームの一つ前に表示されるフレームを参照フレームとしてもよい。

なお、ステップ５１、ステップ５４、ステップ５７、ステップ６０において、イントラマクロブロックＸの隣接ブロックがイントラマクロブロックＸと同じスライスでない場合は、それぞれステップ５４、ステップ５７、ステップ６０、ステップ６３に進むものとしていたが、イントラマクロブロックＸと異なるスライスでも隣接するマクロブロックが存在し、そのマクロブロックがインターマクロブロックならば、それぞれステップ５２、ステップ５５、ステップ６８、ステップ６１に進むものとしてもよい。

また、復号器１の処理速度を重要視する場合は、少なくともステップ５１〜ステップ５４を実行し、ステップ５４、及びステップ５７でＮｏと判断された段階でその後の処理を省略してステップ６３を実行するようにしても良い。例えば、ステップ５４でＮｏと判断された場合、直ちにステップ６３を実行するようにしても良い（図５の点線部分）。

以上のようにして参照フレームが決定すると、エラー処理部１３はイントラマクロブロックＸと同じアドレスに位置する参照フレーム内のマクロブロックを用いて、エラーコンシールメント処理を行い、（例えば、図４の（２）乃至（５）のＸ１乃至Ｘ４）暫定動きベクトルデータＤ１１は全て０として動き補償部８に送る。なお、この参照フレームが決定した後のエラーコンシールメント処理はこの方法に限定することなく、決定した参照フレームを用いてエラーコンシールメント処理が行われていれば、どのような方法でも良い。

（ａ−２）インターマクロブロックのデコードエラーが検出された場合インターマクロブロックにおいてデコードエラーが検出された場合、エラー処理部１３は以下のような処理によってエラーコンシールメント処理の参照フレームを決定する。

まず、パーティションに分かれていないインターマクロブロック（以下、パーティションＹ１と称する）でデコードエラーが発生した場合の動作を図８、図９を用いて説明する。

図８は、インターマクロブロックのパーティションＹ１でデコードエラーが検出され、それをエラーコンシールメント処理する際の、参照フレームの選択方法を示したフローチャートである。また、図９は、デコードエラーが発生したパーティションＹ１の隣接ブロックについて説明したものである。なお、以下隣接ブロックとは原則として隣接するマクロブロックを意味し、隣接するマクロブロックがパーティションに分かれていれば、隣接するパーティションを意味するものとする。

まず、デコードエラーが発生したパーティションＹ１の左上のピクセルに左隣接する隣接ブロックＥが、
（ア）イントラマクロブロックであるか、
（イ）存在しない場合か、
（ウ）他のスライスである場合か、
のいずれかに該当するかを判断する（ステップ８１、図９参照）。前記ステップ８１の条件に該当しないときは、隣接ブロックＥが参照しているフレームｅ１を参照フレームとする（ステップ８２）。

次に、前記ステップ８１における上記（ア）〜（ウ）の条件に該当するならば、デコードエラーが発生したパーティションＹ１の左上のピクセルに上隣接する隣接ブロックＦ（パーティションに分かれていてもよい）が、上記（ア）〜（ウ）のいずれかに該当するかを判断する（ステップ８３、図９参照）。前記ステップ８３の条件に該当しないときは、隣接ブロックＦが参照しているフレームｆ１を参照フレームとする（ステップ８４）。

次に、前記ステップ８３における上記（ア）〜（ウ）の条件に該当するならば、デコードエラーが発生したパーティションＹ１の右上のピクセルに右上隣接する隣接ブロックＧ（パーティションに分かれていてもよい）が、上記（ア）〜（ウ）のいずれかに該当するかを判断する（ステップ８５、図９参照）。前記ステップ８５の条件に該当しないときは、隣接ブロックＧが参照しているフレームｇ１を参照フレームとする（ステップ８６）。

次に、前記ステップ８５における上記（ア）〜（ウ）の条件に該当するならば、デコードエラーが発生したパーティションＹ１の左上のピクセルに左上隣接する隣接ブロックＨ（パーティションに分かれていてもよい）が、上記（ア）〜（ウ）のいずれかに該当するかを判断する（ステップ８７、図９参照）。前記ステップ８７の条件に該当しないときは、隣接ブロックＨが参照しているフレームｈ１を参照フレームとする（ステップ８８）。

次に、前記ステップ８７における上記（ア）〜（ウ）の条件に該当するならば、インターマクロブロックＹ１を含むフレームの一つ前にデコードされたフレームを参照する（ステップ８９）。なお、ステップ８９はこれに限定することなく、インターマクロブロックＹ１を含むフレームの一つ前に表示されるフレームを参照フレームとしてもよい。

なお、ステップ８１、ステップ８３、ステップ８５、ステップ８７において、（ア）〜（ウ）の条件に該当しないならば、それぞれステップ８２、ステップ８４、ステップ８６、ステップ８８に進むものとしていたが、ステップ８１、ステップ８３、ステップ８５、ステップ８７の判断条件は上記（ア）と上記（イ）だけに限定してもよい。

また、復号器１の処理速度を重要視する場合は、少なくともステップ８１〜ステップ８３を実行し、ステップ８３、及びステップ８５で該当すると判断された段階でその後の処理を省略してステップ８９を実行するようにしても良い。例えば、ステップ８３で該当すると判断された場合、直ちにステップ８９を実行するようにしても良い（図８の点線部分）。

次に、図６のような、７つのパーティションのうちいずれかのパーティションに分かれているインターマクロブロック（以下、パーティションＹ２と称する）でデコードエラーが発生した場合の動作を図１０、図１１を用いて説明する。

図１０は、インターマクロブロックのパーティションＹ２にデコードエラーが検出され、それをエラーコンシールメント処理する際の、参照フレームの選択方法を示したフローチャートである。また、図１１は、インターマクロブロックのパーティションＹ２にデコードエラーが検出され、エラーコンシールメント処理する際の、参照フレームの選択方法を示した図である。

まず、デコードエラーの検出されたパーティションＹ２が、８画素×８画素未満か、８画素×８画素以上かを判断する（ステップ１０１）。パーティションＹ２が８画素×８画素未満であると判断された場合（ステップ１０１の未満）、参照フレームが正しくデコードされているかを判断する（ステップ１０２）。パーティションＹ２を含むサブマクロブロック（マクロブロックの４分の１である８画素×８画素単位のブロック、以下同じ）の参照フレームが正しくデコードされている場合（ステップ１０２のＹｅｓ）、パーティションＹ２を含むサブマクロブロックが参照しているフレームｋを参照フレームとする（ステップ１０３ａ、図１１の（１）参照）。また、パーティションＹ２が８画素×８画素以上と判断された場合（ステップ１０１の以上）、及びパーティションＹ２を含むサブマクロブロックの参照フレームが正しくデコードされていない場合（ステップ１０２のＮｏ）、パーティションＹ２のあるインターマクロブロックでパーティションＹ２を含まないサブマクロブロックの参照しているフレームを全て（１つ乃至３つになる）挙げ、図１１の（２）に示すように、該インターマクロブロックで参照しているフレームの割合を求める（ステップ１０３ｂ）。

例えば、図１１の（２）において、パーティションＹ２は８画素×８画素であったとすると、パーティションＹ２を含むインターマクロブロックでパーティションＹ２を含まないサブマクロブロックとして、サブマクロブロックＳＭＢ１、ＳＭＢ２、ＳＭＢ３がある。そして、サブマクロブロックＳＭＢ１はフレームｋ１を参照していたとし、サブマクロブロックＳＭＢ２はフレームｋ１を参照していたとし、サブマクロブロックＳＭＢ３はフレームｋ２を参照していたとすると、該インターマクロブロックで参照しているフレームの割合は、フレームｋ１が２分の１となり、フレームｋ２が４分の１となる。

次に、ステップ１０３ｂで求めた該インターマクロブロックで参照しているフレームの割合が一番多いフレームは一つか二つ以上かを判断する（ステップ１０４）。そして、割合が一番多いフレームが一つの場合は（ステップ１０４のＹｅｓ）、そのフレームを参照フレームとする（ステップ１０５）。例えば、図１１の（２）ならば、フレームｋ１がパーティションＹ２の参照フレームとなる。

また、割合が一番多いフレームが二つ以上の場合は（ステップ１０４のＮｏ）、パーティションＹ２の動きベクトルの値、および同じマクロブロック内のサブマクロブロックＳＭＢ１乃至ＳＭＢ３の動きベクトルの値をビットストリーム解析部１２より受け取る（ステップ１０６）。そして、パーティションＹ２、サブマクロブロックＳＭＢ１、ＳＭＢ２、ＳＭＢ３それぞれの動きベクトルの値を動きベクトルＵＹ２（ｕｙ１、ｕｙ２）、動きベクトルＵＳ１（ｕ１１、ｕ１２）、動きベクトルＵＳ２（ｕ２１、ｕ２２）、動きベクトルＵＳ３（ｕ３１、ｕ３２）とし、動きベクトルＵＳ１乃至ＵＳ３のなかで、動きベクトルＵＹ２に最も類似している動きベクトルを探す（ステップ１０７）。例えば、それぞれの差分ベクトルを求め、その大きさが一番小さいものを候補とする（図１１の（３）参照）。そして、ステップ１０７で求めた動きベクトルＵＹ２に最も類似している動きベクトルを持っているサブマクロブロックの参照しているフレームをパーティションＹ２の参照フレームとする（ステップ１０８）。

なお、動きベクトルの値を用いて参照フレームを決定する処理はこの方法に限定することなく、動きベクトルを用いて参照フレームを決定する処理であれば、どのような方法でもよい。

以上のようにして参照フレームが決定すると、パーティションＹ１またはパーティションＹ２を含むマクロブロックと同じアドレスに位置する参照フレーム内のマクロブロックを用いて、エラーコンシールメント処理が行われ（例えば、図９のフレームｅ１乃至フレームｈ１の斜線部分）、暫定動きベクトルデータＤ１１は全て０として動き補償部８に送られる。

（ｂ）スライスヘッダ情報でデコードエラーが検出された場合スライスヘッダ情報でデコードエラーが検出され、エラー処理部１３がエラー検出部１４からそのエラー信号を受け取ると、以下に説明する方法のいずれかによって参照フレームを決定する。

例えば、エラー処理部１３は「リスト０」で指定されるフレームを参照フレームとする。

これは、「リスト０」で指定されるフレームは、元々符号化側で設定されるものであるが、その設定で「リスト０」となるフレームは、最も参照されるフレームとする場合が多いと考えられるからである。

また例えば、エラー処理部１３は参照フレームバッファ部９に蓄積されている再生画像の再現時間情報Ｔ（ＳＴＣなどの情報）をそれぞれ制御部１１から得る。そして、更にデコードエラーの検出されたフレームの再現時間情報Ｔ１（ＰＴＳなどの情報）を復号器１や、ＤＥＭＵＸ（図示せず）など、データ受信機全体の時間情報を制御する機能を持つ制御部から得る。そして、エラー処理部１３は得られた再現時間情報Ｔの中のうち、デコードエラーが検出されたフレームの再現時間情報の時刻Ｔ１に表示時刻が最も近い再現時間情報Ｔ（時刻Ｔ１より前でも後でもよい）をもつ再生画像を参照フレームとする。これは、デコードエラーが検出されたフレームの再現時間情報の時刻Ｔ１に再現時間が最も近い再現時間情報Ｔをもつ画像がデコードエラーの検出された画像に近いと考えられるからである。

また例えば、デコードエラーの検出されたフレームの一つ前に復号器１でデコードされたフレームを参照フレームとする方法でも良い。これは、直前にデコードされたフレームはデコードエラーの検出された画像に近いと考えられるからである。

また例えば、参照フレームバッファ部９に蓄積されている全ての再生画像のフレームの種類を検索し、Ｉピクチャーがあるか否かを検索し、更にそのフレームの表示時刻（ＳＴＣなどの情報）を検索する。もし、Ｉピクチャーがあれば、その中でデコードエラーを検出したフレームの表示時刻に最も表示時刻の近いフレームを参照フレームとする方法でも良い。

また例えば、参照フレームバッファ部９に蓄積されている全ての再生画像に対して、ヘッダ内に長期にわたって参照されるフレームに付されるlong-term-pictureが付されているか否かを検索し、もし、long-term-pictureが付されている再生画像があれば、その画像の中で、最もデコード時刻デコードエラーを検出したフレームに最も表示時刻の近いフレームを参照フレームとする方法でも良い。

また、例えば、次のような方法でも良い。なお以下の記載で「左に隣接するスライス」とは、当該スライス（図１２（Ａ）のスライスＸ）の左の辺に接するスライスを指し（図１２（Ａ）の例ではスライスＡを指す）、「上に隣接するスライス」とは、当該スライスの上の辺に接するスライスを指し（図１２（Ａ）の例ではスライスＢ１、スライスＢ２、スライスＢ３を指す）、「右上に隣接するスライス」とは当該スライスの右上の頂点に右上隣接するスライスを指し（図１２（Ａ）の例ではスライスＢ３を指す）、「左上に隣接するスライス」とは当該スライスの左上の頂点に左上隣接するスライスを指す（図１２（Ａ）の例ではスライスＤを指す）ものとする。

左に隣接するスライスがデコードされている場合、そのスライス内で最も多い割合で参照されているフレームを参照フレームとする。もし、スライス内で最も多い割合で参照されているフレームが複数ある場合は、その複数のフレームのうち、デコードエラーの検出されたスライスに最も近いマクロブロックが参照しているフレームを参照フレームとする。

そして、左に隣接するスライスがデコードされていない場合は、上に隣接するスライスがデコードされているかを判断し、上に隣接するスライスがデコードされている場合には、そのスライス内で最も多い割合で参照されているフレームを参照フレームとする。もし、スライス内で最も多い割合で参照されているフレームが複数ある場合は、その複数のフレームのうち、デコードエラーの検出されたスライスに最も近いマクロブロックが参照しているフレームを参照フレームとする。なおここでは、上に隣接するスライスが複数存在する場合は全てのスライスがデコードされているかを判断してから、上記のように参照フレームを決定するが、このように上に隣接するスライスが複数存在する場合は、左上から順にデコードされているかを判断し、デコードされているスライスが１つ検出された時点で参照フレームを決定しても良い。

そして、上に隣接するスライスがデコードされていない場合は、右上に隣接するスライスがデコードされているかを判断し、右上に隣接するスライスがデコードされている場合、そのスライス内で最も多い割合で参照されているフレームを参照フレームとする。もし、スライス内で最も多い割合で参照されているフレームが複数ある場合は、その複数のフレームのうち、デコードエラーの検出されたスライスに最も近いマクロブロックが参照しているフレームを参照フレームとする。

そして、右上に隣接するスライスがデコードされていない場合は、左上に隣接するスライスがデコードされているかを判断し、左上に隣接するスライスがデコードされている場合、そのスライス内で最も多い割合で参照されているフレームを参照フレームとする。もし、スライス内で最も多い割合で参照されているフレームが複数ある場合は、その複数のフレームのうち、デコードエラーの検出されたスライスに最も近いマクロブロックが参照しているフレームを参照フレームとする方法でも良い。

なお、ここで定義した「隣接するスライス」をそれぞれ、「左に隣接するスライス」は、当該スライス（図１２（Ｂ）のスライスＹ）の左の辺に接するスライス（図１２（Ｂ）の例のスライスａ）、「上に隣接するスライス」は、当該スライスに属する先頭のマクロブロックの上の辺に接するスライス（図１２（Ｂ）の例のスライスｂ）、「右上に隣接するスライス」は当該スライスに属する先頭のマクロブロックの右上の頂点に右上隣接するスライス（図１２（Ｂ）の例のスライスｃ）、「左上に隣接するスライス」は当該スライスに属する先頭のマクロブロックの左上の頂点に左上隣接するスライス（図１２（Ｂ）の例のスライスｂ）と定義しても良い。

なお、デコードされているかを判断する場合において、重複して２度判断しないように設定しても良い。

以上のようにして参照フレームが決定すると、エラー処理部１３はデコードエラーが検出されたスライスのマクロブロックと同じアドレスに位置する参照フレーム内のマクロブロックを用いてエラーコンシールメント処理を行い、暫定動きベクトルデータＤ１１を全て０として動き補償部８に送る。

本発明の実施例によれば、デコードエラーが検出され、エラーコンシールメントを行う際に、最適な参照フレームを決定することができる。なお、参照フレームが決定された後、エラーコンシールメント処理が行われるが、この処理は、本実施例に記載されたものに限定されることなく、他のエラーコンシールメント処理を行ってもよい。

１復号器
２解読部
３逆量子化部
４逆ＤＣＴ変換部
５復号加算部
６イントラ予測部
７フィルタ
８動き補償部
９参照フレームバッファ部
１０スイッチ
１１制御部
１２ビットストリーム解析部
１３エラー処理部
１４エラー検出部

Claims

符号化された符号化情報を解読する解読手段と、
前記解読手段によって解読されたビットストリームの中から、デコードエラーを検出するエラー検出手段と、
復号した再生画像を順次蓄積する参照フレームバッファと、
前記エラー検出手段によって前記ビットストリーム内のスライス情報に存在するマクロブロック情報にデコードエラーが検出され、エラーコンシールメント処理を行う場合に、前記参照フレームバッファに蓄積されている前記復号した再生画像の中からＩピクチャーを含むフレームを探索し、前記Ｉピクチャーを含むフレームの中で、前記デコードエラーが検出されたスライスに最もデコード時刻が近いフレームをエラーコンシールメントの参照フレームとする参照フレーム決定手段と、
前記参照フレーム決定手段によって決定された参照フレームを用いてエラーコンシールメント処理を行うエラー処理手段と
を有することを特徴とする復号器。
符号化された符号化情報を解読する解読手段と、
前記解読手段によって解読されたビットストリームの中から、デコードエラーを検出するエラー検出手段と、
復号した再生画像を順次蓄積する参照フレームバッファと、
前記エラー検出手段によって前記ビットストリーム内のスライス情報に存在するマクロブロック情報にデコードエラーが検出され、エラーコンシールメント処理を行う場合に、前記参照フレームバッファに蓄積されている前記復号した再生画像の中からそれぞれのヘッダに長期参照情報が存在するフレームを探索し、前記長期参照情報が存在するフレームの中で、前記デコードエラーが検出されたスライスに最も表示時刻が近いフレームをエラーコンシールメントの参照フレームとする参照フレーム決定手段と、
前記参照フレーム決定手段によって決定された参照フレームを用いてエラーコンシールメント処理を行うエラー処理手段と
を有することを特徴とする復号器。
符号化された符号化情報を解読する解読手段と、
前記解読手段によって解読されたビットストリームの中から、デコードエラーを検出するエラー検出手段と、
復号した再生画像を順次蓄積する参照フレームバッファと、
前記エラー検出手段によって前記ビットストリーム内のスライス情報に存在するマクロブロック情報にデコードエラーが検出され、エラーコンシールメント処理を行う際に、隣接する第１のスライスがデコードされている場合は、前記第１のスライス内にある複数のマクロブロックのうち、最も多い割合で参照されている第１のフレームをエラーコンシールメントの参照フレームとし、前記隣接する第１のスライスがデコードされていなく、かつ隣接する第２のスライスがデコードされている場合は、前記第２のスライス内にある複数のマクロブロックのうち、最も多い割合で参照されている第２のフレームをエラーコンシールメントの参照フレームとし、前記第２のスライスがデコードされていなく、かつ隣接する第３のスライスがデコードされている場合は、前記第３のスライス内にある複数のマクロブロックのうち、最も多い割合で参照されている第３のフレームをエラーコンシールメントの参照フレームとし、前記第３のスライスがデコードされていなく、かつ隣接する第４のスライスがデコードされている場合は、前記第４のスライス内にある複数のマクロブロックのうち、最も多い割合で参照されている第４のフレームをエラーコンシールメントの参照フレームとする参照フレーム決定手段と、
前記参照フレーム決定手段によって決定された参照フレームを用いてエラーコンシールメント処理を行うエラー処理手段と
を有することを特徴とする復号器。