JP2004193780A - 画像信号出力装置及び画像信号出力方法 - Google Patents

Abstract

【課題】フレームエラー時であっても受信した符号化データのみから最適な復号画像データを出力する。
【解決手段】画像信号出力装置１は、符号化ビットストリームデータを受信する受信部１１と、符号化ビットストリームを復号し画像データを得るデコーダ１２と、デコーダの作業領域としてのフレームメモリ１３と、復号された画像データを外部に出力する出力部１４と、復号された画像データの出力とフレームメモリ１３のメモリ管理とを制御するメモリコントローラ１５とを備え、メモリコントローラ１５にて、エラーフレームを割り当てたメモリ領域を直ちに解放し、エラーフレームのピクチャタイプに応じて出力する復号画像データを設定する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号出力装置及び画像信号出力方法に関し、特に、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように伝送路を介して送信側から受信側に動画像データを伝送し、受信された動画像データを受信側で実時間再生（ストリーミング）する場合に用いて好適な画像信号出力装置及び画像信号出力方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際に、画像情報特有の冗長性を利用して、効率の高い情報の伝送及び蓄積を実現した画像情報変換方法及び装置が放送局と一般家庭との間の情報配信等において普及しつつある。
【０００３】
このような画像情報変換装置は、例えば、離散コサイン変換等の直交変換と動き補償により画像データを圧縮する方式に則っている。特に、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：動画像符号化専門家会合）によって標準化されている画像符号化方式は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８に定義されており、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このＭＰＥＧ方式のように、動き補償及び離散コサイン変換によって画像データを圧縮する画像情報変換装置では、画像データにおける符号化単位としての各マクロブロックにおいて、画像内符号化画像（以下、イントラ符号化画像と記す。）を用いるか、画像間符号化画像（以下、インター符号化画像と記す。）を用いるかの判定、参照画像フレームとして、前方予測符号化画像を用いるか、後方予測符号化画像を用いるか、双方向予測符号化画像を用いるかの判定等を行っている。
【０００５】
最近では、特に、インターネット等のネットワーク間データ伝送の普及と、マルチメディアデータを扱うことのできる携帯型端末の普及とともに、これらに対応した総合マルチメディア符号化方式が、ＭＰＥＧ４規格としてＩＳＯ／ＩＥＣ１４４９６に定義されている。ＭＰＥＧ４規格では、ＭＰＥＧ１，ＭＰＥＧ２及びＩＴＵ−Ｔ Ｈ．２６３等に使用されるツールを基本とするものの、伝送すべき三次元空間情報を、空間内に位置するヒトや建物などのオブジェクト毎に個別符号化することにより符号化効率を高めるとともに、各オブジェクトの加工編集を可能にしている。
【０００６】
このＭＰＥＧ４規格では、各予測符号化で得られた各ピクチャを、動画像データとしてディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等の伝送路や、いわゆるインターネット等のネットワークを介して伝送して、送信先にて実時間再生する（以下、ストリーミングと記す。）ことを想定しており、このとき受信側では、伝送された符号化ビットストリームを受信した際に、誤り訂正処理、復号処理等を施しているが、伝送路のトラフィック状態等によっては、パケット喪失やデータエラーは避けられない。
【０００７】
図１１及び図１２に符号化データにエラーが含まれる場合について説明する。図１１は、受信した符号化データのＢ１ピクチャ、Ｂ３ピクチャ、Ｂ９ピクチャ、Ｂ１０ピクチャがエラーフレームであった場合を示し、図１２は、受信した符号化データのＰ５ピクチャがエラーフレームであった場合を示しており、図中斜線で示したフレームにエラーが含まれる。
【０００８】
Ｂピクチャにエラーが含まれる場合、このエラーフレームのみがエラー画像として復号されるだけであるが、Ｐピクチャがエラーフレームであった場合、図１２に示すように、Ｐ５ピクチャがエラーを含んで復号されるだけでなく、Ｐ５ピクチャを参照画像として予測符号化されるＢ３ピクチャ、Ｂ４ピクチャ、Ｂ６ピクチャ、Ｂ７ピクチャ、Ｐ８ピクチャもまたエラーを含んで復号される。また、Ｐ８ピクチャを参照画像とするＢ１０ピクチャ、Ｂ１１ピクチャ等にもエラーが波及し、復号画像の視覚的劣化が著しくなってしまう。
【０００９】
このように、フレーム間相関を利用して圧縮・符号化して送信する画像データ送受信システムでは、受信側においてエラーデータをそのまま復号すると、エラー画像が出力されるだけでなく、このエラー画像を参照画像として復号したフレームが存在すると、正しく受信できたフレームにまでエラーが伝播してしまう。
【００１０】
そこで、このような受信データエラーへの対処として、エラーが発生したとき、エラーフレームの情報を受信側から送信側へ通知し、データの再送を促すなどの手法がある（例えば、特許文献１参照。）。また、エラーが続く場合にはフレーム間予測による符号化データではなく、フレーム内予測による符号化データの送信に切り換えるなどの手法もある。
【００１１】
【特許文献１】
特許第２８４８３２６号公報
【００１２】
【発明が解決しようとする課題】
ところが、上述した手法では、送信側でエラー通知を受けたときの処理を考慮しなくてはならない。また、フレーム内符号化は、画質低下の原因となる。更にデータの再送を待つような画像データ送受信システムでは、復号された画像データを出力するまでに、再送データを受信する間の遅延が生じるため、リアルタイム性を重視したデータ配信（ストリーミング）などには用いることが困難である。
【００１３】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、フレームエラー時であっても受信した符号化データのみから最適な復号画像を出力できる画像信号出力装置及び画像信号出力方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像信号出力装置は、直交変換と動き補償を適用しフレーム間相関を利用して符号化された画像圧縮情報を受け取って画像データとして出力する画像信号出力装置において、画像圧縮情報を復号して画像データを得る画像信号復号手段と、画像データのエラーを検出するエラー検出手段と、画像信号復号手段にて復号された画像データを一時的に格納する記憶手段と、記憶手段の記憶領域のうちエラー検出手段からの通知に基づいてエラーを含む画像データが格納された記憶手段の領域を解放し、解放された領域に格納されていた画像データを出力すべきタイミングで他の画像データを出力画像データとして設定する制御手段とを備えることを特徴とする。
【００１５】
ここで、制御手段は、エラーを含む画像データを参照画像として使用しないよう画像信号復号手段を制御する。また、エラーを含む画像データが双方向フレーム間予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた画像データを出力画像データとして設定する。
【００１６】
また、制御手段は、エラーを含む画像データが前方向フレーム間予測画像又はフレーム内予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた前方向フレーム間予測画像又はフレーム内予測画像を出力画像データとして設定する。
【００１７】
上述した目的を達成するために、本発明に係る画像信号出力方法は、直交変換と動き補償を適用しフレーム間相関を利用して符号化された画像圧縮情報を受け取って画像データとして出力する画像信号出力方法において、画像圧縮情報を復号して画像データを得る画像信号復号工程と、画像データのエラーを検出するエラー検出工程と、画像信号復号工程にて復号された画像データを一時的に記憶手段に格納する記憶工程と、記憶手段の記憶領域のうちエラー検出工程にて検出されたエラーを含む画像データが格納された記憶領域を解放し、解放された領域に格納されていた画像データを出力すべきタイミングで他の画像データを出力画像データとして設定する制御工程とを有することを特徴とする。
【００１８】
ここで、制御工程では、画像信号復号工程にてエラーを含む画像データを参照画像として使用しないような制御が行われる。また、エラーを含む画像データが双方向フレーム間予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた画像データが出力画像データとして設定される。
【００１９】
また、制御工程では、画像信号復号工程にてエラーを含む画像データが前方向フレーム間予測画像又はフレーム内予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた前方向フレーム間予測画像又はフレーム内予測画像が出力画像データとして設定される。
【００２０】
【発明の実施の形態】
本発明は、フレーム間相関を利用して画像データを圧縮して画像圧縮情報を得る画像信号出力装置であって、動画像データを再生してディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように、いわゆるインターネット等の伝送路を介して送信側から受信側に動画像データを伝送し受信側でこの動画像データを実時間再生するときに、エラーフレームを出力せず、代わりに最適な画像データを出力できるようにした装置である。
【００２１】
以下、本発明の具体例について、図面を参照して詳細に説明する。この画像信号出力装置は、外部の画像信号処理装置によってエンコード（ビットストリーム化）された画像の符号化データ（画像圧縮情報）を復号するための装置であって、本具体例で示す画像信号出力装置１は、特に、ＭＰＥＧ４規格に対応したデコーダに適用した例である。
【００２２】
画像信号出力装置１は、図１に示すように、外部から符号化ビットストリームデータを受信する受信部１１と、符号化ビットストリームを復号し画像データを得るデコーダ１２と、デコーダの作業領域としてのフレームメモリ１３と、復号された画像データを外部に出力する出力部１４と、復号された画像データの出力とフレームメモリ１３のメモリ管理とを制御するメモリコントローラ１５とを備えている。
【００２３】
受信部１１は、伝送路を介して伝送されたＭＰＥＧ方式に基づく符号化ビットストリーム（画像圧縮情報）を受信する。また、記録媒体等に記録され、図示しない再生装置で再生された符号化ビットストリームを受信する。この受信部１１は、バッファを有しており、受信した符号化ビットストリームが後段の処理のために一時記憶される。
【００２４】
デコーダ１２は、図２に例示するように、ＩＶＬＣ器２１、逆量子化器２２、ＩＤＣＴ器２３、演算器２４、動き補償器２５等を備え、ＭＰＥＧ方式に対応した汎用デコーダである。ＩＶＬＣ器（逆ＶＬＣ器（可変長復号器））２１は、前処理部１１のバッファに記憶された符号化データを読み出して可変長復号し、この符号化データをマクロブロック単位で動きベクトル、予測モード、量子化ステップ、及び量子化係数に分離する。これらデータのうち、動きベクトル及び予測モードは、動き補償器２５に供給される。量子化ステップ及びマクロブロックの量子化係数は、逆量子化器２２に供給される。
【００２５】
逆量子化器２２は、ＩＶＬＣ器２１より供給されたマクロブロックの量子化係数を同じくＩＶＬＣ器２１より供給された量子化ステップにしたがって量子化し、この結果得られるＤＣＴ係数をＩＤＣＴ器２３に出力する。ＩＤＣＴ器２３は、逆量子化器２２からのマクロブロックのＤＣＴ係数を逆ＤＣＴし、演算器２４に供給する。
【００２６】
演算器２４には、ＩＤＣＴ器２３の出力データのほか動き補償器２５の出力データも供給されている。すなわち動き補償器２５は、フレームメモリ１３に記憶された既に復号された画像データをＩＶＬＣ器２１からの動きベクトル及び予測モードにしたがって読み出し、予測画像データとして演算器２４に供給する。演算器２４は、ＩＤＣＴ器２３の出力データ（予測残差（差分値））と、動き補償器２５からの予測画像データとを加算することで、もとの画像データを復号する。この復号画像データは、再生画像データとして出力されるとともにフレームメモリ１３に記憶され必要に応じて参照画像として用いられる。
【００２７】
ＩＤＣＴ器２３の出力データがイントラ符号化画像の場合、この出力データは、演算器２４をスルーして、復号画像データとしてこのままフレームメモリ１３に供給されて記憶される。フレームメモリ１３に記憶された復号画像データは、その後に復号される画像データの参照画像データとして用いられる。復号画像データは、出力再生画像として出力部１４に供給され、例えば、図示しないディスプレイ等に供給されて表示される。
【００２８】
また、デコーダ１２は、符号化データを復号した際に誤り訂正が追いつかず依然として所定量のエラーを含むフレームが発生した場合、そのフレームがエラーフレームであることをメモリコントローラ１５に通知する。
【００２９】
メモリコントローラ１５は、デコーダ１２にて復号された復号画像データをフレームメモリ１３に書き込むための書き込み制御と、フレームメモリ１３に書き込まれた復号画像データを出力画像データとして抽出する出力制御とを行っている。フレームメモリ１３に記憶された復号画像データは、復号の際に必要に応じて参照画像データとして用いられる。ＭＰＥＧ方式では、Ｂピクチャに先行してＩピクチャ及びＰピクチャが符号化されるため、後方向予測符号化画像がある場合、復号処理もまた出力すべき順番には行われない。そのため、メモリコントローラ１５は、これを考慮してメモリ管理処理を行う。
【００３０】
メモリコントローラ１５は、フレームメモリ１３内を複数の領域に分割して管理している。例えば、メモリコントローラ１３は、図７に示すように、フレームメモリ１３内を４領域に分割して管理している。メモリの一領域には、１フレーム分の画像データが格納される。
【００３１】
具体的には、メモリコントローラ１５は、この４領域をリスト構造によって管理している。リストとは、復号画像データのメモリ領域への書き込みとこのメモリ領域に格納する復号画像データの更新とを指定するものであって、復号された画像データを格納してもよいメモリ領域を順番に指定したリストである。メモリコントローラ１５は、リストの先頭に記録された領域番号に対応したメモリ領域から順番に使用してデコーダ１２で復号された復号画像データを書き込む。
【００３２】
デコーダ１２により復号された画像がフレームメモリ１３内の何れかの領域に書き込まれた際には、リストからこのメモリ領域の番号を削除し、フレームメモリ１３に書き込まれているフレームのうち必要がなくなったフレームが書き込まれたメモリ領域がある場合には、この領域番号をリストに追加する。したがって、Ｉピクチャ又はＰピクチャが格納されたメモリ領域の番号は、これらの画像データが参照画像として使用される期間を過ぎるとリストに加えられる。ここでは、領域番号をリストから削除する処理、すなわちメモリ領域への復号画像データの書き込み処理を「割り当て」と記し、領域番号をリストに追加する処理、すなわちメモリ領域に格納した復号画像データを更新する処理をメモリ領域の「解放」と記す。
【００３３】
フレームメモリ１３が４つのメモリ領域を有し、この各領域に対応してｍ１，ｍ２，ｍ３，ｍ４の番号が付けられている場合、初期状態におけるリスト構造は、ｍ１→ｍ２→ｍ３→ｍ４である。メモリコントローラ１５は、このリストに従ってＩピクチャの復号画像データをｍ１に割り当てる。このときリストは、ｍ２→ｍ３→ｍ４に更新される。続いてメモリコントローラ１５は、復号画像データとして送られたＢピクチャをｍ２に割り当てる。リストはｍ３→ｍ４に更新される。
【００３４】
例えば、図７に示すように、フレームメモリ１３内でＢピクチャが一時格納されたメモリ領域（ｍ２）は、このＢピクチャが出力されれば解放されて再びリストに加えられる。ｍ２には、続いてＢ３ピクチャが格納される。Ｉピクチャ及びＰピクチャは、参照画像として用いられるため、Ｉピクチャ又はＰピクチャが格納されたメモリ領域は、これらのピクチャが参照画像として使用されている期間は解放されない。例えば、Ｉピクチャを格納したｍ１であればＴ_Ａの間、Ｐピクチャを格納したｍ４であればＴ_Ｂの間は、保持される（解放されない）。メモリコントローラ１５は、格納されたＩピクチャ及び／又はＰピクチャが使用されなくなった時点で、このメモリ領域を解放し、リストに加える。このようにメモリコントローラ１５は、リスト構造にしたがってメモリ領域の割り当てと解放とを行っている。
【００３５】
また、メモリコントローラ１５は、出力するフレームが書き込まれているメモリ領域の番号を指定することによって出力画像データを抽出する出力制御を行う。メモリコントローラ１５は、通常時（エラーがない場合）には、画像の表示順にしたがって順番にフレームが出力されるようにメモリ領域を指定する。すなわち、復号画像データのフレームコーディングタイプ（ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）に応じた表示順番で出力画像データを設定する。
【００３６】
例えば、メモリ領域にＢピクチャが格納されていれば、この復号画像データを記録したメモリ領域を今回出力する出力画像データとして設定し、格納されたフレームがＰピクチャの場合であれば、時間的に先に位置する前方向予測参照画像を出力画像データとする。格納されたフレームがＩピクチャのときは、参照画像は存在しないが、ＩピクチャをＰピクチャとみなした場合の前方向予測画像を出力画像データとして設定する。ここでは、出力設定された画像データは、次のフレームが復号される期間内に出力が終了されるものとする。
【００３７】
エラーフレームが生じた場合は、復号画像データを格納するメモリ領域が通常時と異なる。一旦リスト構造に基づいてメモリ領域にエラーを含む復号画像データを格納するが、メモリコントローラ１５は、デコーダ１２からエラーフレーム通知を受け取ると、このフレームが格納されたメモリ領域を直ちに解放する。このとき、メモリコントローラ１５は、エラーが含まれたフレームを本来出力すべきタイミングで出力することができない代わりに、最適な復号画像データを出力画像データとして設定する。
【００３８】
メモリコントローラ１５は、具体的に、次のような原則に基づいてメモリ管理と出力画像設定とを実行している。すなわち、（１）エラーフレームは出力しない。（２）エラーフレームは参照画像として使用しない。（３）Ｂピクチャエラー時は、正常なＰピクチャ又はＩピクチャが入力されるまで正常に復号できた復号画像データを出力し続ける。（４）Ｐピクチャ又はＩピクチャのエラー時は、復号画像が数フレームに亘って連続表示されても以前に正常に復号できたＰピクチャ又はＩピクチャを選択する。
【００３９】
以下に、画像信号出力装置１におけるメモリ管理処理及び出力画設定処理を図３及び図４を用いて説明する。この図３及び図４の処理が各フレーム毎に実行される。
【００４０】
図３は、通常のメモリ管理に続いて実行されるエラーフレームに応じた出力画像データ設定の処理であって、実際には、通常のメモリ管理処理の後に実行される。以下の処理では、フレームコーディングタイプ（ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）、デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）、前回正常に復号できた画像データのタイプ（ｐｒｅ＿ｐｉｃｔ＿ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）、アフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）、アフターフリーズＰフラグ（ａｆｔｅｒ＿ｆｒｅｅｚｅ＿Ｐ）を変数として定義する。各変数の意味は、適宜説明する。
【００４１】
画像信号出力装置１におけるメモリコントローラ１５は、メモリ管理を通常通り行う。通常のメモリ管理とは、図７に示すように、通常のメモリ管理と出力画像データの設定を行うことである。ＭＰＥＧ方式では、後方向予測符号化が行われると、復号画像データの出力は受信の順番にはならない。そこで、復号画像データを上述したリスト構造によって管理するというものである。図７には、画像信号出力装置１が受信した符号化データと、フレームメモリ１３のメモリ領域と、出力すべき画像データが格納されたメモリ領域の指定と、出力される復号画像データとが時間軸に沿って示されている。Ｂピクチャのメモリは、このＢピクチャの出力が終われば解放されて再びリストに加えられる。Ｉピクチャ及びＰピクチャは、一定期間、参照画像として必要であるが、使用しなくなると、これらのフレームが格納されたメモリ領域は解放されて再びリストに加えられる。
【００４２】
図７に示すように、フレームメモリ１３が４つのメモリ領域を有し、各メモリ領域に対応してｍ１，ｍ２，ｍ３，ｍ４の番号が付けられているとき、初期状態のリストは、「ｍ１→ｍ２→ｍ３→ｍ４」となっている。メモリコントローラ１５は、このリストにしたがってＩ２ピクチャの復号画像データをｍ１に格納すると、リストが「ｍ２→ｍ３→ｍ４」に更新される。続いてＢ０ピクチャを領域ｍ２に格納すると、リストは「ｍ３→ｍ４」に更新される。
【００４３】
出力画像データの設定は、今回復号するフレームのフレームコーディングタイプによって行う。例えば、Ｂピクチャのときは、復号画像データを記録したメモリ領域を出力画像データの抽出先として指定する。Ｐピクチャのときは、前方向予測参照画像を出力画像データとして指定する。Ｉピクチャのときは、参照画像は存在しないが、内部的には、ＩピクチャをＰピクチャとみなした場合の前方向予測画像を求めておき、このメモリを出力画像データの抽出先として指定する。
【００４４】
この通常のメモリ管理のとき、ステップＳ１にてデコーダ１２から送られるエラーフレーム通知によって、メモリ領域に格納した１つ前のフレームがエラーフレームか否か判別する。エラーフレームでなかった場合は、ステップＳ２にて出力画像データを設定して終了する。ここで、アフターフリーズＰフラグ（ａｆｔｅｒ＿ｆｒｅｅｚｅ＿Ｐ）の有無による分岐（ステップＳ２３，ステップＳ２４）があるが、このフラグは、エラーフレームが出現するまで立たないフラグであるため後述する。
【００４５】
１つ前のフレームがエラーフレームであった場合、ステップＳ３に進み、このエラーフレームのフレームコーディングタイプを判別する。このエラーフレームのフレームコーディングタイプ（ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）がＩ又はＰのとき、すなわちエラーフレームがＩピクチャ又はＰピクチャのとき、ステップＳ４にてデコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）を１に設定する。また、Ｂピクチャのとき、ステップＳ５にてデコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）を２に設定する。
【００４６】
デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）は、前のフレームがエラーのとき、そのフレームがどのフレームタイプであったかを示すフラグである。
【００４７】
ステップＳ３にてエラーフレームがＢピクチャと判別されたときには、出力画像データの設定は行わず、ステップＳ９に進み、このエラーフレームを格納したメモリ領域を解放する。
【００４８】
アフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）は、Ｉピクチャ又はＰピクチャにエラーが発生した後、Ｉピクチャが入力された場合に立てられるフラグであり、この入力されたＩピクチャがエラーフレームであっても正常フレームであっても立てられる。Ｉピクチャ又はＰピクチャにエラーが発生した後入力されたＩピクチャが正常であればフラグは立てられたままで、エラーフレームであればリセット処理を実行する。
【００４９】
ステップＳ６におけるアフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）のリセット処理は、アフターリフレッシュＩフラグを０に設定する工程である。このフレーム以前のフレーム（Ｉピクチャ又はＰピクチャ）にエラーが発生してなければ、フラグは立たないため、この工程はスキップされる。
【００５０】
ステップＳ３にてエラーフレームがＩピクチャ又はＰピクチャと判別された場合には、ステップＳ７にて、更に、前回正常に復号できた画像データのタイプ（ｐｒｅ＿ｐｉｃｔ＿ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）を判別する。前回正常に復号できたフレームがＢピクチャのときには、メモリコントローラ１５は、ステップＳ８にて、出力フレームを設定し、すなわち、出力するフレームが格納されたメモリ領域を指定し、ステップＳ９にて、エラーフレームが格納されたメモリ領域を解放し、ステップＳ１０にて、フレームメモリ１３をメモリ管理する前の状態に戻す。前回正常に復号できたフレームがＩピクチャ又はＰピクチャのときは、出力するフレームが格納されたメモリ領域を指定しないでステップＳ９に進み、エラーフレームが格納されたメモリ領域を解放し、ステップＳ１０にてフレームメモリ１３をメモリ管理する前の状態に戻す。
【００５１】
図４は、エラーが発生したときに実行される処理であって、実際は、通常のメモリ管理の前処理である。
【００５２】
この処理では、まず、メモリコントローラ１５は、ステップＳ１１において、アフターフリーズＰフラグ（ａｆｔｅｒ＿ｆｒｅｅｚｅ＿Ｐ）を０にリセットする。図４に示す処理は、デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）により処理が異なる。デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）とは、前フレームがエラーフレームの場合、どのフレームコーディングタイプかを示すフラグである。すなわち、エラーフレームを格納するメモリ領域が解放された後、最も劣化がない復号画像データとしてどのフレームが格納されたメモリ領域を指定したか、すなわち、どのピクチャを出力画像データとしたかによってこの後の処理が分岐する。
【００５３】
ステップＳ１２において、このデコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）を判別する。デコードフリーズフラグが立っていなければ、ステップＳ２２の通常のメモリ管理に進む。デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）が２（Ｂピクチャでフリーズ）のとき、このエラーは、他のピクチャに波及しないため、ステップＳ１３にてデコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）を０にし、ステップＳ２２の通常のメモリ管理に移行する。
【００５４】
また、デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）が１（Ｉピクチャ又はＰピクチャでフリーズ）のとき、ステップＳ１４にて、ここでデコードするフレームのフレームコーディングタイプを判別する。
【００５５】
ステップＳ１４において、このフレームのフレームコーディングタイプ（ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）がＢのとき、ステップＳ２０に進み、このフレームが前のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）のフレームを参照画像データとして用いているか否か判別する。前ＧＯＰを参照していなければ、ステップＳ２２に進み通常のメモリ管理を行う。このフレームが前ＧＯＰのフレームを参照画像データとして用いている場合、ステップＳ２１において、アフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）の有無を判別する。アフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）は、上述したように、Ｉピクチャ又はＰピクチャにエラーがあった後に、最初にＩピクチャが現れたとき、このフレームのエラーの有無に関わらず立てられるフラグである。
【００５６】
アフターリフレッシュＩフラグが立っていれば、通常のメモリ管理に移行する。また、アフターリフレッシュＩフラグが立っていなければ、正常なＩピクチャが入力されてエラーフレームがリフレッシュされるまでは、符号化データの復号処理及びメモリ管理を実行しないで、符号化ビットストリームを次のピクチャヘッダまで進める（ステップＳ１９）。
【００５７】
ステップＳ１４にて、ここでデコードするフレームのフレームコーディングタイプ（ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）がＰのとき、ステップＳ１８に進み、アフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）の有無を判別する。アフターリフレッシュＩフラグが立っていれば、ステップＳ１６にて、デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）及びアフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）を０にし、通常のメモリ管理（ステップＳ２２）に移行する。また、アフターリフレッシュＩフラグが立っていなければ、正常なＩピクチャが入力されてエラーフレームがリフレッシュされるまでは、符号化データの復号処理及びメモリ管理を実行しないで、符号化ビットストリームを次のピクチャヘッダまで進める（ステップＳ１９）。
【００５８】
ステップＳ１４にて、ここでデコードするフレームのフレームコーディングタイプ（ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）がＩであれば、ステップＳ１５に進み、アフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）の有無を判別する。入力されたフレームがエラーであると判別されたときは、図３に示した後処理のステップＳ６で、このフラグを落として同一のフレームを出力設定してフリーズ状態を継続する。
【００５９】
アフターリフレッシュＩフラグが立っていれば、ステップＳ１６にて、デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）及びアフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）を０にし、通常のメモリ管理（ステップＳ２２）に移行する。また、アフターリフレッシュＩフラグが立っていなければ、ステップＳ１７にて、アフターフリーズＰフラグ（ａｆｔｅｒ＿ｆｒｅｅｚｅ＿Ｐ）及びアフターリフレッシュＩフラグ（ａｆｔｅｒ＿ｒｅｆｒｅｓｈ＿Ｉ）を立て、通常のメモリ管理に移行する。アフターフリーズＰフラグは、毎回０に初期化されるフラグであるが、今回のＩピクチャのフレームでリフレッシュするときに出力画像データの設定を行うか否かを判別するために用意する。
【００６０】
上述した図４に示す一連の処理後に、通常のメモリ管理を実行し、図３におけるステップＳ１のエラーフレームの判別によってエラーフレームが検出され、なおかつ、ステップＳ２３においてアフターフリーズＰフラグ（ａｆｔｅｒ＿ｆｒｅｅｚｅ＿Ｐ）が立っていると判別された場合、ステップＳ２４において、前回正常に復号できた画像データのタイプ（ｐｒｅ＿ｐｉｃｔ＿ｆｒａｍｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）を判別する。前回正常に復号できたフレームがＩピクチャ及びＰピクチャのとき、出力する復号画像データを設定する（ステップＳ２）。
【００６１】
上述した処理によれば、受信したフレームがＢピクチャであってエラーがある場合、本来このフレームが出力されるタイミングに１フレーム前のフレーム（Ｂピクチャ）が出力される。また、Ｐピクチャがエラーフレームの場合、このエラーフレーム以前に正常に復号できた画像データが出力画像データとして設定される。
【００６２】
図５及び図６は、本具体例に示す画像信号出力装置１が受信した符号化データにエラー（図中斜線）が含まれるときに出力される復号画像データを示している。上述した処理によれば、例えば、図５に示すように、受信データのうち、Ｂ１ピクチャ、Ｂ３ピクチャがエラーフレームだった場合、このＢ１ピクチャが出力されるタイミングでＢ０ピクチャが連続して出力され、Ｂ３ピクチャが出力されるべきタイミングでＩ２ピクチャが連続して出力される。また、Ｂ９ピクチャ及びＢ１０ピクチャがエラーフレームであれば、Ｐ８ピクチャが連続して出力される。また、Ｐピクチャがエラーフレームの場合、例えば、図６に示すように、Ｉピクチャが出力画像データとして設定される。図６の場合、出力画像データを表示装置に表示すると、一定期間、Ｉ２ピクチャが連続して出力される（フリーズする）ことになるが、Ｉピクチャを連続して出力しているためフリーズ画像が高画質となる。
【００６３】
続いて、上述したメモリ管理及び出力画像データ設定を、具体例を用いて説明する。
【００６４】
まず、Ｂピクチャがエラーフレームのときのメモリ管理及び出力画像データ設定について、図３、図４、及び図８を用いて説明する。
【００６５】
図８には、画像信号出力装置１が受信した符号化データと、フレームメモリ１３のメモリ領域と、出力すべき画像データが格納されたメモリ領域の指定と、出力される復号画像データとが時間軸に沿って示されている。画像信号出力装置１は、順次受信した符号化データを復号し、フレームメモリ１３に格納された復号画像データを適宜出力画像データとして指定している。斜線で示すフレームがエラーフレームである。
【００６６】
メモリコントローラ１５は、Ｂ１ピクチャをメモリ領域ｍ３に格納する。Ｂ１ピクチャに対してメモリ領域ｍ３が割り当てられた時点で、空きフレームのリストは、ｍ４になる。続いてメモリコントローラ１５は、デコーダ１２からの信号に基づいてエラーフレームか否か判別する。ここでＢ１ピクチャがエラーフレームであると、Ｂ１ピクチャが格納されたメモリ領域ｍ３を直ちに解放してリストをｍ４→ｍ３にする。以上が図３におけるステップＳ１，Ｓ３，Ｓ５，Ｓ９，Ｓ１０の工程による処理である。また、この場合、デコードフリーズフラグ（ｄｅｃ＿ｆｒｅｅｚｅ＿ｆｌａｇ）が２、すなわちＢピクチャでフリーズしているため、図４におけるステップＳ１１，Ｓ１２，Ｓ１３を通る処理を行い、通常のメモリ管理処理に戻る。
【００６７】
次フレームのＰ５ピクチャは、通常のメモリ管理にてｍ４に割り当てられる。次のタイミングでＢ０を割り当てていたｍ２が解放できるため、リストをｍ３→ｍ２とする。これにより、Ｂ３ピクチャがｍ３に割り当てられる。
【００６８】
ここでＢ３ピクチャがエラーフレームであったとすると、メモリコントローラ１５は、Ｂ３ピクチャが格納されたメモリ領域ｍ３を直ちに解放してリストをｍ３→ｍ２とする（図３のステップＳ１，Ｓ３，Ｓ５，ステップＳ９，Ｓ１０）。この場合、Ｂ３ピクチャを出力するタイミングで出力画像データが格納されたメモリ領域を指定しないことにより、Ｉピクチャが連続して出力される。以上は、図４におけるステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１５を通る処理である。
【００６９】
続いてＢ４ピクチャをメモリ管理リストにしたがってメモリ領域ｍ２に格納し、次の格納先をｍ３とする。更に、Ｐ８ピクチャを領域ｍ３に格納する。このとき、リストがｍ１→ｍ２に更新される。
【００７０】
また、Ｂ９ピクチャ、Ｂ１０ピクチャがエラーフレームであったとすると、メモリコントローラ１５は、上述したようにＢ９ピクチャが格納されたメモリ領域ｍ４を直ちに解放してリストをｍ４→ｍ２とする（図３のステップＳ１，Ｓ３，Ｓ５，ステップＳ９，Ｓ１０）。この場合、Ｂ３ピクチャを出力するタイミングで出力画像データが格納されたメモリ領域を指定しないことにより、Ｐ８ピクチャが出力される。以上は、図４におけるステップＳ１１，Ｓ１２，Ｓ１４，Ｓ１７，Ｓ１８を通る処理である。
【００７１】
上述のように、メモリコントローラ１５は、エラーフレームが格納されたメモリ領域（既に解放されているため）を出力画像データとして設定しない。出力画像データの設定をしないと出力画像データが更新されず、前のピクチャが連続して出力される。Ｂピクチャエラー時には、メモリ領域を解放し、出力画像データが格納されたメモリ領域を指定しないことにより、エラーフレームが出力されないようにしている。Ｂピクチャは、参照画像として用いられないため、エラーが波及するおそれがない。そのため、上述のような単純なアルゴリズムにより対応できる。
【００７２】
続いて、Ｐピクチャエラー時のメモリ管理及び出力画像データ設定について
図３、図４、図９及び図１０を用いて具体的に説明する。
【００７３】
図９には、図８で説明したＧＯＰの次のＧＯＰまでが示されている。図９に示す例は、Ｂ０′ピクチャ及びＢ１′ピクチャが前のＧＯＰのフレームを参照画像として使用しない場合である。
【００７４】
Ｐ５ピクチャフレームがエラーの場合、Ｐ５フレームを参照画像として復号された画像にもエラーが含まれることになり、復号しても画像劣化が顕著になる。そこで、以降、次のＩピクチャが入力されるまで符号化ビットストリームを進める。以上は、図３におけるステップＳ１，Ｓ３，Ｓ４，Ｓ７，Ｓ８，Ｓ９，Ｓ１０のパス、図４におけるステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１７，Ｓ１９のパスによる処理である。このとき、Ｂピクチャが出力され続けることを防止するため、ステップＳ８にて、出力画像データの設定も制御する。ここでは、Ｉ２ピクチャが格納されたメモリ領域が指定され、Ｉ２ピクチャが出力される。このときの出力画像データの設定には、上述した通常時のアルゴリズムを用いる。入力される符号化ビットストリームが次のＧＯＰになると、エラー復帰後のＩ２′から復号処理と通常のメモリ管理とを再開するが、ここではＢ０′ピクチャが格納されたメモリ領域を出力すべき画像データが格納されたメモリ領域として指定する。
【００７５】
図９に対して、図１０は、Ｂ０′ピクチャ及びＢ１′ピクチャが前のＧＯＰのフレームを参照画像として使用している場合である。
【００７６】
Ｐ５ピクチャフレームがエラーの場合、Ｐ５フレームを参照画像として復号された画像にもエラーが含まれることになるため、以降、次のＩピクチャが入力されるまで符号化ビットストリームを進める。以上は、図３におけるステップＳ１，Ｓ３，Ｓ４，Ｓ７，Ｓ８，Ｓ９，Ｓ１０のパス、図４におけるステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１７，Ｓ１９のパスによる処理である。このとき、Ｂピクチャが出力され続けることを防止するため、ステップＳ８にて、出力画像データの設定も制御する。ここでは、Ｉ２ピクチャが設定され出力される。このときの出力画像データ設定には、上述した通常時のアルゴリズムを用いる。入力される符号化ビットストリームが次のＧＯＰになると、エラー復帰後のＩ２′から復号処理と通常のメモリ管理とを再開するが、Ｂ０′ピクチャ及びＢ１′ピクチャが前のＧＯＰのフレームを参照画像として使用している場合、Ｂ０′ピクチャ及びＢ１′ピクチャにまでエラーが伝播するため、Ｉ２′ピクチャで復号処理を再開した後も出力画像データの抽出先となるメモリ領域を指定しない。
【００７７】
したがって、画像信号出力装置１によれば、エラーフレームを出力しない、又は参照画像として使用しないことにより、出力される画像データが多少連続（フリーズ）しても、最適な復号画像データを出力できる。特に、Ｂピクチャエラー時には、正常なＰピクチャ又はＩピクチャが入力されるまで正常に復号できた画像を復号画像として出力し続けることになり出力される画像がフリーズし一瞬停止したようにみられるが、正常に復号された画像が連続して抽出され出力されるため、この画像データを表示したとしてもユーザにとっての視覚的な劣化を抑止できる。また、万が一エラーが長期に及ぶ場合であっても、ユーザにとってみれば、伝播されたエラーを含んで復号された劣化画像が動画像として表示されるよりも視覚的な違和感が払拭される。
【００７８】
なお、本発明は、上述した具体例に限定されることなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、フレームレートを下げるなどの目的で使用する際などに受信した符号化データからフレームをドロップするような場合でも、ドロップしたいフレームをエラーフレームとして指定すれば、上述のアルゴリズムによって同様に最適な復号画像が得られる。
【００７９】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号出力装置は、制御手段において、エラー検出手段からの通知に基づいてエラーを含む画像データが格納された記憶手段の領域を解放し、解放された領域に格納されていた画像データを出力すべきタイミングで他の画像データを出力画像データとして設定することによって、エラーフレームを出力しない、又は参照画像として使用しないため、最適な復号画像データが出力できる。また、このとき出力画像データが多少連続（フリーズ）しても高画質が維持でき、受信した符号化データのみから最適な復号画像データが出力できる。また、エラーが長期に及んでも、ユーザからすれば、伝播されたエラーを含んで復号された劣化画像が表示されるよりも視覚的な違和感が払拭される。
【００８０】
また、本発明に係る画像信号出力方法によれば、エラー検出工程にて検出されたエラーを含む画像データが格納された記憶領域を解放し、解放された領域に格納されていた画像データを出力すべきタイミングで他の画像データを出力画像として設定することによって、エラーフレームを出力しない、又は参照画像として使用しないため、最適な復号画像データが出力できる。また、このとき出力画像データが多少連続（フリーズ）しても高画質が維持でき、受信した符号化データのみから最適な復号画像データが出力できる。また、この方法によれば、エラーが長期に及んでも、ユーザからすれば、伝播されたエラーを含んで復号された劣化画像が表示されるよりも視覚的な違和感が払拭される。
【図面の簡単な説明】
【図１】本発明の具体例として示す画像信号出力装置を説明する構成図である。
【図２】上記画像信号出力装置におけるデコーダを説明する構成図である。
【図３】上記画像信号出力装置において通常のメモリ管理に続いて実行されるエラーフレームに応じた出力画像データ設定の処理を説明するフローチャートである。
【図４】上記画像信号出力装置において通常のメモリ管理前に実行されるフラグ設定の処理を説明するフローチャートである。
【図５】受信データのうちＢピクチャがエラーフレームのときの出力画像データを示す模式図である。
【図６】受信データのうちＰピクチャがエラーフレームのときの出力画像データを示す模式図である。
【図７】上記画像信号出力装置における通常のメモリ管理と出力画像データの設定を説明する模式図である。
【図８】上記画像信号出力装置に入力される符号化データと、フレームメモリのメモリ領域の割り当てと、出力画像データとの関係を時間軸に沿って示す図である。
【図９】上記画像信号出力装置に入力される符号化データと、フレームメモリのメモリ領域の割り当てと、出力画像データとの関係を時間軸に沿って示す図である。
【図１０】上記画像信号出力装置に入力される符号化データと、フレームメモリのメモリ領域の割り当てと、出力画像データとの関係を時間軸に沿って示す図である。
【図１１】従来の画像信号出力装置において、復号画像データのうちＢピクチャフレームにエラーが含まれたときの出力画像データを説明する模式図である。
【図１２】従来の画像信号出力装置において、復号画像データのうちＰピクチャフレームにエラーが含まれたときの出力画像データを説明する模式図である。
【符号の説明】
１ 画像信号出力装置、１１ 受信部、１２ デコーダ、１３ フレームメモリ、１４ 出力部、１５ メモリコントローラ、２１ ＩＶＬＣ器、２２ 逆量子化器、２３ ＩＤＣＴ器、２４ 演算器、２５ 動き補償器

Claims (8)

1. 直交変換と動き補償を適用しフレーム間相関を利用して符号化された画像圧縮情報を受け取って画像データとして出力する画像信号出力装置において、
   上記画像圧縮情報を復号して画像データを得る画像信号復号手段と、
   上記画像データのエラーを検出するエラー検出手段と、
   上記画像信号復号手段にて復号された画像データを一時的に格納する記憶手段と、
   上記記憶手段の記憶領域のうち上記エラー検出手段からの通知に基づいてエラーを含む画像データが格納された上記記憶手段の領域を解放し、上記解放された領域に格納されていた画像データを出力すべきタイミングで他の画像データを出力画像データとして設定する制御手段と
   を備えることを特徴とする画像信号出力装置。
2. 上記制御手段は、上記エラーを含む画像データを参照画像として使用しないよう上記画像信号復号手段を制御することを特徴とする請求項１記載の画像信号出力装置。
3. 上記制御手段は、上記エラーを含む画像データが双方向フレーム間予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた画像データを出力画像データとして設定することを特徴とする請求項１記載の画像信号出力装置。
4. 上記制御手段は、上記エラーを含む画像データが前方向フレーム間予測画像又はフレーム内予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた前方向フレーム間予測画像又はフレーム内予測画像を出力画像データとして設定することを特徴とする請求項１記載の画像信号出力装置。
5. 直交変換と動き補償を適用しフレーム間相関を利用して符号化された画像圧縮情報を受け取って画像データとして出力する画像信号出力方法において、
   上記画像圧縮情報を復号して画像データを得る画像信号復号工程と、
   上記画像データのエラーを検出するエラー検出工程と、
   上記画像信号復号工程にて復号された画像データを一時的に記憶手段に格納する記憶工程と、
   上記記憶手段の記憶領域のうち上記エラー検出工程にて検出されたエラーを含む画像データが格納された上記記憶領域を解放し、上記解放された領域に格納されていた画像データを出力すべきタイミングで他の画像データを出力画像データとして設定する制御工程と
   を有することを特徴とする画像信号出力方法。
6. 上記制御工程では、上記画像信号復号工程にて上記エラーを含む画像データを参照画像として使用しないように制御することを特徴とする請求項５記載の画像信号出力方法。
7. 上記制御工程では、上記エラーを含む画像データが双方向フレーム間予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた画像データを出力画像データとして設定することを特徴とする請求項５記載の画像信号出力方法。
8. 上記制御工程では、上記画像信号復号工程にて上記エラーを含む画像データが前方向フレーム間予測画像又はフレーム内予測画像であった場合、正常な前方向フレーム間予測画像又はフレーム内予測画像が入力されるまで、該エラーを含む画像データ以前に正常に復号できた前方向フレーム間予測画像又はフレーム内予測画像を出力画像データとして設定することを特徴とする請求項５記載の画像信号出力方法。

Images