JP2007013419A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 本発明は、受信側の処理を軽減し、かつ、エラーが発生した場合に再送要求するまでの時間を短縮することが可能な技術を提供することを目的とする。
【解決手段】 符号化部１１８において画像データをブロック単位で符号化を行い、参照マップ生成部１１４においてブロックが他のブロックを符号化する際に参照されているかを示す参照情報を生成する。符号化されたブロックと、参照情報とを送信部１１２より送信する。
【選択図】 図１

Description

本発明は、ディジタル画像データの符号化、復号化に関する。

従来のディジタル動画像通信システムでは、受信側でエラーパケットを受信した場合、エラーにより正常復号不能な部位（ブロック、スライス等）に関して、送信側へ再送信要求を送出していた。そして、再送信要求を受信した送信側では、正常復号不能な部位である再送信要求された部位に該当する符号化データを再度送信するという処理を行っていた。

また、受信側で、再送回数、情報の損失率、フレーム内符号化されたフレームの挿入間隔等をパラメータとし、パラメータのいづれかに基づいて、閾値を設定する再送要求優先度を決定していた。そして、設定された閾値を任意の基準で判断することにより、正常復号不能な部位に関して、再送要求を送出するか否かを受信側で決定していた。

一方、送信側で、再送回数、情報の損失率、フレーム内符号化されたフレームの挿入間隔等をパラメータとし、パラメータのいづれかに基づいて、閾値を設定する再送優先度決定部を設けていた。そして、受信側からの再送要求を受信した場合、再送優先度決定部が設定した閾値を任意の基準で判断することにより、受信側からの再送要求に対する処理（再送を実施するか否か）を決定していた。

つまり、従来は、受信側と送信側が独立に再送制御を行っていた（特許文献１参照）。
特開平１１−３５１６５８５号公報

以上説明したように、従来例のディジタル動画像通信システムでは、動画像フレーム又はフレームを構成するブロックの再送要求に関する優先順位を、送信側と受信側とで独立に設定されて、独立に機能しているため、送受信双方で処理負荷が重くなるという欠点があった。

特に受信側において、エラーを検出した場合、エラー発生箇所の優先順位、重要度等を算出、評価してから、再送要求を実施するか否かを決定するため、エラー検出から再送要求の実施、非実施判断までの判定時間がかかるという問題があった。

本発明は上記問題を鑑みて成されたものであり、受信側の処理を軽減し、エラーが発生した場合に再送要求するまでの時間を短縮することが可能な技術を提供することを目的とする。

上記の目的を達成するため、本発明に係る画像処理装置は、画像データをブロック単位で符号化を行う符号化手段と、前記ブロックが、他のブロックを符号化する際に参照されているかを示す参照情報を生成する生成手段と、前記符号化されたブロックと、前記参照情報とを出力する出力手段を有することを特徴とする。

また、本発明に係る画像処理方法は、画像データをブロック単位で符号化を行う符号化工程と、前記ブロックが、他のブロックを符号化する際に参照されているかを示す参照情報を生成する生成工程と、前記符号化されたブロックと、前記参照情報を送信する送信工程を有することを特徴とする。

本発明によれば、受信側の処理を軽減し、エラーが発生した場合に再送要求するまでの時間を短縮することが可能である。

（実施形態１）
本実施形態による符号化装置と符号化側（送信側）の処理について、図１、図３、図５、図６を用いて説明する。

図１は、本実施形態による符号化装置である。図１において、１１８は符号化部である。符号化部１１８において、１０２は切り替えスイッチ、１０３は直交変換部（ＤＣＴ）、１０４は量子化部、１０５は可変長符号化部、１０６は局部復号化部、１０７は加算器、１０８はフレーム・メモリ、１０９は動き補償部である。１０１は入力端子、１１０は送信バッファ（フレーム・メモリ）、１１１はマルチプレクサ（多重化部）、１１２は送信部、１１３は送信データ出力端子、１１４は参照マップ生成部、１１５は変換部（参照マップ用）、１１６は制御部、１１７は受信部である。

図３（ａ）は、マップ生成部１１４により生成された任意のフレームにおけるブロック単位の参照マップであり、図３（ｂ）は、伝送に適した形式にするために、図３（ａ）の参照マップを左上から変換部１１５により変換したものである。図３（ａ）において、「１」は動き補償予測における参照ブロックであることを示し、「０」は動き補償予測においてどこからも参照されていないブロックであることを示す。

図５は、ある時点の符号化対象フレーム５０２が、動き補償予測において参照する参照フレーム５０１と、参照フレームに対応する参照マップ５０３のとの関係を図示したものである。

図６は、受信側から受信した再送要求に対応する再送を実施するか否かを判定するために必要な時間を表すタイムチャートである。

次に、符号化側（送信側）の処理について説明する。

図１において、ディジタル動画像信号は、入力端子１０１を介して切り替えスイッチ１０２へ入力される。切り替えスイッチ１０２は、後述する制御部１１６の制御により、入力されたディジタル動画像信号（フレーム）の符号化モードが決定され、決定された符号化モードが、切り替えスイッチ１０２の切り替え方向に反映される。

フレームに対する符号化モードがフレーム間符号化（Ｐフレーム又はＢフレーム）である場合は、制御部１１６の制御により、切り替えスイッチ１０２が動き補償部１０９側へ切り替られる。そして、入力端子１０１から入力されたディジタル動画像信号は、切り替えスイッチ１０２経由で、動き補償部１０９へ入力される。

動き補償部１０９へ入力されたディジタル動画像信号（符号化対象フレーム）は、後述するフレーム・メモリ１０８に格納されている参照フレームとの間で、動きベクトル探索を行い、探索された動きベクトルに従って、符号化対象フレームと参照フレームとの差分値が演算される。演算された差分値は、差分動画像信号として、直交変換部１０３へ入力される。

参照フレームとは、符号化順序的に現在の符号化対象フレームに先行して符号化され、復号化（局部復号化）されて、フレーム・メモリ１０８に格納されているフレームのことである。

一方、フレームに対する符号化モードが、フレーム内符号化（Ｉフレーム）である場合は、制御部１１６の制御により、切り替えスイッチ１０２は、動き補償部１０９をバイパスする方向へ切り替えられる。そして、入力端子１０１から入力されたディジタル動画像信号は、切り替えスイッチ１０２経由で、フレーム間符号化の場合と同様に直交変換部１０３へ入力される。

ここで、フレーム内予測（同一フレーム内のブロック間での予測）を行う場合は、フレーム内符号化であっても、フレーム間符号化と同様に、動き補償部１０９にて処理を行うものとする。ここで、フレーム内予測符号化とは、予測に用いる画素が符号化しようとする画素と同じフレームに属する場合を指す。また、フレーム間予測符号化とは、予測に用いる画素が符号化しようとする画素と異なるフレームに属する場合を指す。

動き補償部１０９では、符号化（圧縮）のための動き補償予測処理が行われるが、同時に動き補償予測の過程で参照したフレームの各ブロックの参照情報を参照マップ生成部１１４へ出力し、参照マップ生成部１１４では、動き補償部１０９からの参照情報から各参照フレームを構成する各ブロック単位の参照マップを生成する。

参照マップの生成過程を図５を用いて説明する。図５の符号化対象フレームにおいて、左上のブロックからラスタースキャンの順序（基本的に順序は任意）で動きベクトル探索を実施すると仮定する。

符号化対象フレームに対する参照フレームは、符号化順序で先行して符号化および局部復号化され、フレーム・メモリ１０８に格納されているフレームである。ＭＰＥＧ−１，２等では、符号化対象フレームの（符号化順序で）直前のフレーム、Ｈ．２６４では、符号化対象フレームに対して、先行する全フレームが参照対象フレームとなる。

最初に符号化対象フレーム左上に位置するブロックＡに対する動きベクトルの探索を実施した結果、ブロックＡに対する動きベクトルが図５の参照フレーム上のａで示す領域を示した場合について説明する。まず、ブロックＡに対する動きベクトルの情報が、動き補償部１０９から参照マップ生成部１１４へ出力される。

参照マップ生成部１１４では、各フレームをブロック単位で分割した参照マップ５０３が用意されており、参照マップ上の各ブロックには１ビットのインデックスが割り当てられている（デフォルト値を‘０’とする）。

参照マップ生成部１１４は、動きベクトルの情報が入力されると、動きベクトルが指示する領域を算出し、参照マップ上で、算出された動きベクトルが指示する領域に該当するブロックのインデックスを‘１’に設定する。

同様にして、符号化対象フレームのブロックＢ，Ｃ，Ｄ、およびラスタースキャン順で、符号化対象フレーム内の全ブロックについて実施することにより、従来と同様の動き予測符号化の処理と並行して、参照マップ生成が実施され、完了する。

動き補償部１０９から出力され、直交変換部１０３へ入力された（差分）動画像信号は、直交変換され、直交変換係数として、量子化部１０４へ入力される。

量子化部１０４へ入力された直交変換係数は、制御部１１６の制御により、量子化係数（又はスケール）が選択される。そして、直交変換係数に対する量子化演算（直交変換係数の個々の係数と、対応する量子化係数との商を求める演算）を実施して、量子化直交変換係数として、可変長符号化部１０５、および局部復号化部１０６へ出力される。

可変長符号化部１０５へ入力された量子化直交変換係数は、出現確率に応じた可変長符号（エントロピー符号）を割り当てられ、送信バッファ１１０上に符号化フレームとして記憶される。

本実施形態において、送信バッファ１１０は、後述する参照マップとの同期を取るために、各符号化フォーマットにおいて、符号化対象フレームと参照フレームとのフレーム間距離をＮとした場合、（Ｎ×２）＋１フレーム以上の容量を確保している。そのため、受信側からの再送要求に対しても即時対応可能である。

また本実施形態における送信バッファ１１０は、リング・バッファタイプの記憶部で、新しいデータが書き込みに際して、もっとも古い記憶データが、上書きされるように構成されている。

局部復号化部１０６へ入力された量子化直交変換係数は、量子化部１０４の量子化、直交変換部１０３の直交変換と対をためす逆演算（逆量子化、逆直交変換）を実施される。そして、符号化対象フレームに対する復号化動画像信号（又は復号化差分動画像信号）として、加算器１０７へ出力される。

加算器１０７は、符号化対象フレームの符号化モードが、フレーム内符号化である場合は、加算演算を通過（又は全画素値にゼロを加算）し、局部復号化フレームを出力する。次に、符号化対象フレームの符号化モードが、フレーム間予測符号化、又はフレーム内予測符号化である場合について説明する。動き補償部１０９で探索された符号化対象フレームの各ブロックに対応する動きベクトルにしたがって、該当する参照フレーム（又はブロック）をフレーム・メモリ１０８から読み出す。そして、局部復号化部１０６の出力である復号化差分動画像信号と加算して、局部復号化フレームとして、加算器１０７から出力される。加算器１０７から出力された局部復号化フレームは、動き補償予測用の参照フレームとして、フレーム・メモリ１０８へ記憶される。

符号化対象フレーム５０２の全ブロックに対する符号化処理が完了した時点で、参照フレームに対する参照マップ（図３の（ａ）参照）の生成も完了する。

参照マップ生成部１１４で生成された参照マップは、変換部１１５へ入力される。変換部１１５では、例えば、図３の（ｂ）に示すように、先頭のスタート・コード（任意のビット数）に続いて、対応するフレームを識別するためのフレーム番号と、参照マップの各ブロックに対応するインデックスが付与される。各ブロックに対応するインデックスは、ブロック単位順序は基本的に任意であるが、ラスタースキャン、もしくはジグザグスキャン等の順序で並んでいる。そして、最後にエンド・コード（任意のビット数）を付与して、伝送データに適した形式にパッケット化される。

変換部１１５にて、パケット化された参照マップは、多重化部１１１へ入力される。同時に制御部１１６の制御により、多重化部１１１へ入力されたパケット化された参照マップに対応する符号化フレームを送信バッファ１１０より読み出し、多重化部１１へ入力する。そして、符号化フレームと対応する参照マップを多重化して、送信部１１２へ入力する。

本実施形態において、参照マップは、符号化フレームとの同時エラーを回避する等の理由から、別の符号化フレームと多重化して伝送してもよいし、符号化フレームとは別の伝送路（専用回線等）を用いて、独立に伝送してもよい。

送信部１１２は、制御部１１６の制御により、多重化された符号化フレーム、および参照マップを所定のフォーマットにしたがって、伝送に適した形式（トランスポート・ストリームや任意のファイルフォーマット）に変換する。そして、出力端子１１３より伝送路を介して、受信側へ伝送することが可能である。

受信部１１７は、受信側からのエラーに伴う再送要求、伝送路の状態（回線容量やエラー率等）の情報を受信、抽出して、制御部１１６へ入力を行う。受信部１１７が、受信端末から特定のブロック（又はフレーム）の再送要求を受信すると、制御部１１６に対して、再送要求に該当するブロック（又はフレーム）を特定する情報を出力する。

制御部１１６は、受信側が再送を要求している対象ブロック（又はフレーム）の情報を受けて、再送要求対象のブロック（又はフレーム）に該当するデータを送信バッファ１１０から選択して、と同様に送信部１１２、出力端子１１３を介して受信側へ再送信する。

この時、送信バッファ１１０に再送要求対象のブロック（又はフレーム）に該当するデータ（符号化済みフレーム）が、存在しなかった場合、制御部１１６は、受信された再送要求を破棄し、再送を実施しない。

本発明による第一の実施形態では、平均的な受信器の仕様を想定して、
１）最初に符号化にフレームが送信されてから受信側で受信されるまでの予測所要時間（Ｔｘ）
２）エラー発生時に於ける、符号化フレームを受信してから、エラーを検出して、再送要求を発信するまでの予測所要時間（Ｔｙ）
以上１）、２）を算出することにより、送信バッファ１１０の容量を符号化フレームが最初に送信された時刻から（２×Ｔｘ）＋Ｔｙに相当する時間以上、符号化フレームを保持可能な容量に設定している。

また送信バッファ１１０は、フレーム・メモリ１０８と共用化し、必要に応じてダイナミックに容量を変更可能な仕様としても良い。その際、制御部１１６は、１）、２）の値を任意の時間間隔で、ダイナミックに算出可能であることが望ましい。

制御部１１６は、前述した機能の他に、受信部１１７により受信された伝送路のトラフィック（実効速度、容量）の情報を得て、量子化部１０４を制御して、ブロック又はフレーム単位での発生符号量の制御を行う。

送信バッファ１１０に記憶されている符号化フレーム数、フレーム番号の監視、および書き込み、読み出しの制御と、フレーム・メモリ１０８に記憶されている参照フレーム数、フレーム番号の監視、および書き込み、読み出しの制御を行う。

図７（ａ）は、符号化装置における参照マップ生成のフローフャ−トである。

まず、ステップＳ１００１で、符号化対象フレームがフレーム内符号化かを判定する。つまり、符号化対象フレームが他のフレーム又はブロックを参照していないかを判定する。ステップＳ１００１がＮＯの場合は、参照マップ生成部１１４で説明したように、符号化対象のブロック対する動きベクトル情報より、参照マップを生成する。ステップＳ１００１がＹＥＳの場合はそのまま終了する。

図７（ｂ）は、符号化装置における再送要求に対するフローフャ−トである。

まず、ステップＳ１０１１で、再送要求を受信する。

更に符号化フレームが、出力端子１１３から送信されてから、符号化フレームに該当する再送要求を受信するまでの実時間（Ｔｒ）を各符号化フレーム毎に計測し、計測した時間（Ｔｒ）を基に、これから再送を行う再送データが、送信されてから受信側で受信されるまでに要する時間（Ｔｐ）と、再送要求が受信側から発信されてから送信側で受信されるまでに要した時間（Ｔａ）と、受信側が、再送要求を発信した時刻から再送データを受信するまでの最大時間（Ｔｚ）、即ち、再送データを復号化して、正規の表示時刻に間に合う最大時間とを予測し、
Ｔａ＋Ｔｐ＋α＜Ｔｚ−−−−（１）
上記の式（１）の条件を満たすか否かを判定する（ステップＳ１０１２）。（図６を参照）
の式（１）の条件を満たしている場合は、再送データが、受信側で正しい順序で復号化されると判断し、再送要求に従って、再送を実行する（ステップＳ１０１４）。

一方、条件を満たしていない場合は、逆に再送データが、受信側で破棄される等、正しく復号化されないか、又は表示されないと判断し、再送要求を破棄し、再送を実行しない（ステップＳ１０１３）。

本実施形態の復号装置と復号側（受信側）の処理について図２、４、８を用いて説明する。

図２において、２１２は復号化部である。２１２は復号化部において、２０５は可変長復号化部、２０６は逆量子化部、２０７は逆直交変換部（ＩＤＣＴ）、２０８は切り替えスイッチ、２０９は動き補償部、２１０はフレーム・メモリである。さらに、２０１は受信データ入力端子、２０２は受信部、２０３は受信バッファ（フレーム・メモリ）、２０４はデマルチプレクサ（多重化解除部）、２１１は復号化画像データ出力端子、２１３は変換部、２１４はマップ・バッファ、２１５はエラー検出部、２１６は制御部、２１７は再送要求送信部である。

図４（ａ）は、送信側（符号化側）に於ける符号化対象フレーム４０３と、（表示順序で）その前後に位置するフレームに関する動き補償予測の様子と参照マップの一例を示したものである。図４（ｂ）は、受信側（復号化側）で、４００２で示されるフレーム（ａ）に示す符号化画像のフレーム４００２に対応）にエラーが検出されたことを想定したエラー伝搬の一例を示したものである。

次に、復号側（受信側）の処理について説明する。

図２において、伝送路を介して送信されたデータは、２０１の受信データ入力端子から２０２の受信部へ入力される。２０２の受信部へ入力された受信データは、トランスポートストリーム等の伝送用のパッケージを解除し、送信側で符号化され、任意の付加データと共に多重化されたデータを取り出し、受信バッファ２０３に記憶する。

受信バッファ２０３は、第一の実施形態に於ける送信バッファ（図１の１１０）と同様で、リング・バッファタイプのメモリである。

受信バッファ２０３に記憶された多重化されたデータは、制御部２１６の制御により、書き込まれた順序で適宜読み出され、多重化解除部２０４へ入力される。

多重化解除部２０４では、多重化されたデータを符号化フレーム（符号化動画像信号）と参照マップとに分離する処理を実施する。

多重化解除部２０４にて、分離処理された符号化フレームは、復号化部２１２と、２１５で示されるエラー検出部へ入力される。

一方、同様に多重化解除部２０４にて、分離処理された参照マップは、変換部２１３へ、第一の実施形態に於ける図３の（ａ）で示される形式から、参照マップ部分のみを取り出した第一の実施形態に於ける図３の（ｂ）で示される参照マップに変換される。

変換部２１３で、変換処理された参照マップは、参照マップ・バッファ２１４に格納され、必要に応じて制御部２１６により、参照される。

復号化部２１２へ入力された符号化フレームは、可変長復号化部２０５にて、可変長符号を復号化して、量子化直交変換係数を出力する。

量子化直交変換係数は、逆量子化部２０６へ入力される。逆量子化部２０６では、入力された量子化直交変換係数を逆量子化処理して、直交変換係数を出力する。

直交変換係数は、逆直交変換部２０７へ入力される。逆直交変換部２０７では、入力された直交変換係数を動画像信号（符号化モードがフレーム内符号化の場合）、又は差分動画像信号（符号化モードが、フレーム間予測符号化、又はフレーム内予測符号化の場合）に変換する。

制御部２１６の制御は、逆直交変換部２０７により変換された動画像信号、又は差分動画像信号に変換された符号化モードを判定する。

判定された符号化モードがフレーム内符号化である場合、制御部２１６の制御により、切り替えスイッチ２０８は、”Ｉｎｔｒａ”側に切り替えられる。逆直交変換された動画像信号は、動き補償部２０９をバイパスして、フレーム・メモリ２１０へ記憶されると同時に、出力端子２１１へ表示可能な動画像信号として出力される。

一方、判定された符号化モードがフレーム間予測符号化、又はフレーム内予測符号化である場合、制御部２１６の制御により、切り替えスイッチ２０８は、”Ｉｎｔｅｒ”側に切り替えられる。逆直交変換された差分動画像信号は、動き補償部２０９へ入力される。動き補償部２０９は、制御部２１６の制御により、逆直交変換された差分動画像信号に対応する動きベクトルに従って、逆直交変換された差分動画像信号の参照フレーム（復号化済みの先行フレーム）を読み出す。読み出された参照フレームは、制御部２１６の制御により、差分動画像信号と加算され、復号化動画像信号を生成し、出力する。動き補償部２０９から出力された復号化動画像信号は、符号化モードがフレーム内符号化の場合と同様に、フレーム・メモリ２１０に記憶されると同時に、出力端子２１１から表示可能な動画像信号として出力される。

次に入力端子２０１を介して入力された符号化データにエラーが発生した場合における本実施形態による復号化側の動作を図４を用いて説明する。

図４（ｂ）のフレーム４００２上のブロック（１）でエラーが発生したと仮定すると、図４（ｂ）に示した例において、フレーム４００２のブロック（１）は、フレーム４００３のブロック（２）から参照されている。フレーム４００３のブロック（２）は、フレーム４００４のブロック（３）から参照されている。そのため、図４（ｂ）のフレーム４００２上のブロック（１）で発生したエラーを修整しないと、図４（ｂ）のフレーム４００２上のブロック（１）で発生したエラーは、フレーム４００３のブロック（２）、フレーム４００４のブロック（３）へと順次伝搬する。つまり、２フレーム以上に渡り画像の乱れを生じることになる。

一方、図４（ｂ）のフレーム４００２上のブロック（４）でエラーが発生したと仮定すると、図４（ｂ）に示した例において、フレーム４００２のブロック（４）は、他のフレーム（又はブロック）から全く参照されていない。そのため、図４（ｂ）のフレーム４００２上のブロック（４）で発生したエラーを修整しなかったとしてもエラーは、図４（ｂ）のフレーム４００２上のブロック（４）のみに限定される。つまり、画像の乱れは１フレームのみに限定される。

多重化解除部２０４にて分離出力された符号化フレームは、前述のように復号化部２１２とエラー検出部２１５へ入力される。

エラー検出部２１５が、図４の４００２（又は４０２）で示すフレームのブロック（１）とブロック（４）でエラーを検出したと仮定する。

エラー検出部２１５によって、エラーブロック（（１），（４））に対する位置情報（フレーム番号とエラー発生ブロックの座標）が、制御部２１６に通知される。エラーブロックの位置情報を受信した制御部２１６は、２１４の参照マップ・バッファを参照して、通知されたエラーブロック（図４の（１）と（４））の位置情報に対応する参照マップの数値を検出する。

制御部２１６は、検出されたエラーブロック（１）、（４）に対応する参照マップの数値を検出することにより、位置情報が指定するブロック（図４のブロック（１）、（４））が、他のフレーム又は他のブロックから参照されているか否かを判定する。

エラーブロック（１）、（４）の位置情報に対応するブロックが、他のフレーム又は他のブロックから参照されているか否かの判定は、エラーフレームのエラーブロックに該当する参照マップの数値（図３を参照）を制御部２１６が、判定することにより実施される。

図４の例の場合、エラーブロック（フレーム４００２のブロック（４））の参照マップの数値は‘０’であるため、図４のブロック（４）のエラーに対する再送要求を破棄する。つまり、再送を行わない。一方、図４のブロック（１）に関しては、参照マップの数値が‘１’なので、図４のブロック（１）のエラーに対する再送要求を再送要求送信部２１７にて生成し、送信側（符号化側）へ送出する。

図８は、復号化装置におけるエラー発生時のフローフャートである。まず、ステップＳ２００１で、エラーを検出する。次に、ステップＳ２００２で、エラーブロックの参照マップを参照し、図４で説明したように、他のフレーム又は、他のブロックで参照されているかを判定する（ステップＳ２００３）。ステップＳ２００３がＹＥＳの場合は、再送要求をするが（ステップＳ２００５）、ＮＯの場合は再送要求しない（ステップＳ２００４）。

本実施形態において、再送要求は、動画像信号（符号化フレーム）の伝送とは、別回線を使用して実施するが、送信部および使用回線については、送信側で再送要求を受信可能な形式であれば、基本的に任意である。

本実施形態によれば、あるブロックが他のブロック又はフレームに参照されているかを示す参照マップを送信側で生成し、受信側へ符号化画像データと共に送信するように構成されているので、受信側の処理が軽減される。

本実施形態によれば、受信側において、エラーが発生した場合、対応する参照マップを参照することにより、エラーが発生したブロックが他のブロックから参照されているか否か、即ち、発生したエラーが伝搬するか否かを演算処理を行うことなく判定することができる。また、エラーが他のブロック又はフレームに波及するものだけを選択して再送要求することができるので、伝送路のトラフィック量を削減することも可能である。さらに、エラー検出から再送要求までの時間を短縮することも可能である。

本実施形態によれば、送信側において、受信側からの再送要求を受信した場合、再送要求されたブロックはエラーが他のブロックへ波及するブロックであることが明らかであるため、送信側では、再送要求にしたがって、即時再送を実施するように構成されている。そのため、送信側が再送要求を受信してから再送するまでの時間を短縮することができる。

本実施形態によれば、送信側では、再送要求を受信した時点で、これから再送を行う符号化フレームが、時間的に受信側で、正しく復号化され、正しい順序で表示されるか否かを判定している。そのため、再送しても受信側で破棄されたり、正しく復号化されないか、又は正しい順序で表示されないと判定された再送要求に対する再送は実施しないので、無駄な再送を実行することによる伝送路のトラフィックの増加を回避することが可能である。

本実施形態では、あるブロックが他のブロック又はフレームに参照されているかを示す参照マップを説明したが、参照マップでなくても、他のブロック又はフレームに参照されているかを示す情報であれば、マップでなくてもよいのは言うまでもない。

＜その他の実施形態＞
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本実施形態による符号化装置の機能ブロック図である。 本実施形態による復号化装置の機能ブロック図である。 本実施形態による参照マップとその伝送フォーマットの一例である。 本実施形態において、再送要求の実施、非実施の判定仮定を説明する図である。 本実施形態による参照マップの生成過程を説明する図である。 本実施形態において、再送要求に対応する再送を実施するか否かの判定に用いるタイムチャートである。 （ａ）は、本実施形態による符号化装置における参照マップ生成のフローチャート、（ｂ）は、再送要求に対するフローフャ−トである。 本実施形態による復号化装置におけるエラー発生時のフローフャ−トである。

Claims (12)

1. 画像データをブロック単位で符号化を行う符号化手段と、
   前記ブロックが、他のブロックを符号化する際に参照されているかを示す参照情報を生成する生成手段と、
   前記符号化されたブロックと、前記参照情報とを送信する送信手段を有することを特徴とする画像処理装置。
2. 前記生成手段は、動きベクトル情報を用いて生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記送信手段は、前記符号化されたブロックと前記参照情報を多重化して送信することを特徴とする請求項１又は２に記載の画像処理装置。
4. ブロック単位で符号化された符号化データと、前記ブロックが他のブロックを符号化する際に参照されているかを示す参照情報とを受信する受信手段と、
   前記ブロックがエラーである場合、前記参照情報に基づいて再送要求を行うかを判定する判定手段と、
   前記判定結果に基づいて再送要求を行う再送要求手段を有することを特徴とする画像処理装置。
5. 前記判定手段は、前記参照情報が参照されていると示している場合、再送要求を行うと判定することを特徴とする請求項４に記載の画像処理装置。
6. 画像データをブロック単位で符号化を行う符号化工程と、
   前記ブロックが、他のブロックを符号化する際に参照されているかを示す参照情報を生成する生成工程と、
   前記符号化されたブロックと、前記参照情報を送信する送信工程を有することを特徴とする画像処理方法。
7. 前記生成工程は、動きベクトル情報を用いて生成することを特徴とする請求項６に記載の画像処理方法。
8. 前記送信工程は、前記符号化されたブロックと前記参照情報を多重化し送信することを特徴とする請求項６又は７に記載の画像処理方法。
9. ブロック単位で符号化された符号化データと、前記ブロックが他のブロックを符号化する際に参照されているかを示す参照情報とを受信する受信工程と、
   前記ブロックがエラーである場合、前記参照情報に基づいて再送要求を行うかを判定する判定工程と、
   前記判定結果に基づいて再送要求を行う再送要求工程を有することを特徴とする画像処理方法。
10. 前記判定工程は、前記参照情報が参照されていると示している場合、再送要求を行うと判定することを特徴とする請求項９に記載の画像処理方法。
11. 請求項６〜１０の何れか１項に記載の画像処理方法を実行するコンピュータプログラム。
12. 請求項１１に記載のプログラムを格納し、コンピュータが読み取り可能なコンピュータ可読記憶媒体。

Images