JP2003032689A - 画像符号化装置、画像復号化装置及び動画像伝送システム - Google Patents

画像符号化装置、画像復号化装置及び動画像伝送システム

Info

Publication number
JP2003032689A
JP2003032689A JP2001218559A JP2001218559A JP2003032689A JP 2003032689 A JP2003032689 A JP 2003032689A JP 2001218559 A JP2001218559 A JP 2001218559A JP 2001218559 A JP2001218559 A JP 2001218559A JP 2003032689 A JP2003032689 A JP 2003032689A
Authority
JP
Japan
Prior art keywords
image
decoding
coding
error
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001218559A
Other languages
English (en)
Inventor
Futoshi Shimizu
太 清水
Hitoshi Ishihara
斉 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001218559A priority Critical patent/JP2003032689A/ja
Publication of JP2003032689A publication Critical patent/JP2003032689A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 画像復号化装置側で表示画像を破綻してしま
うような回避できない復号化エラーが発生した場合で
も、大容量の画像バッファメモリを使用せずに、またリ
アルタイム性を損なうことなく、MPEG2方式特有の
エラー伝播を最小限にとどめ、表示画像の破綻から、迅
速に正常な画像に復帰することができる。 【解決手段】 画像符号化装置10は、画像データに予
測符号化処理を行う符号化部11、符号化部11で符号
化された符号化データを無線回線を用いて送信を行う符
号化データ送信部12、画像復号化装置20から通知さ
れるエラー情報を受信するエラー情報受信部13、この
エラー情報と予め定められた所定規則とを比較して符号
化部11の符号化手法を含む内容を選定する制御選定部
14、制御選定部14で選定された符号化内容に従って
符号化部11を制御する符号化制御部15から構成され
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像データを符
号化して動画像データの送受信を行う画像符号化装置、
画像復号化装置及び動画像伝送システムに関し、特に伝
送エラーが発生した場合における対処方法に関する技術
である。
【0002】
【従来技術】無線回線を用いた画像伝送システムとして
は、スペクトラム拡散変調方式による画像伝送システム
が知られている。この伝送システムでは、画像データを
送信装置において圧縮処理を施し、符号化した画像デー
タを無線回線を用いて送信する。これを受信装置で受信
し、受信した符号化データを復号化して画像データを復
元し表示するものである。
【0003】画像データを圧縮する画像符号化方式とし
ては、フレーム内の空間的な相関性(空間的冗長)を利
用して圧縮するフレーム内符号化と、前後のフレームの
時間的な相関性(時間的冗長)を利用して圧縮するフレ
ーム間符号化がある。空間的冗長を利用する方法では、
画像を複数ブロックに分けて、ブロック内を直交変換
し、この情報をVLC(可変長符号化)を行う方法であ
る。一方、時間的冗長を利用する方法は、画像を複数ブ
ロックに分けて、画像間におけるブロックの動きを検出
して画像間のブロックの差分をとることによって符号量
を削減する方法である。
【0004】前記2つの方法を併用する画像符号化方式
として、MPEG2(ISO/IEC13818−2)
画像符号化方式が代表的である。MPEG2方式では、
画像を構成する個々のフレームは、それぞれ複数のブロ
ックに分けられ、ブロック単位に順次符号化される。各
ブロックは、前後のフレームの似通ったブロックを参照
し、そのブロックとの差分を計算する。
【0005】また、このときのフレーム上の符号化しよ
うとしているブロックと、参照したブロックのフレーム
上の平面位置の差を動きベクトルとして符号化情報に加
えてある。符号化ブロックと参照ブロックの差分は、直
交変換され量子化されたのちに、例えば周波数成分順に
並べて可変長符号化されている。一方、符号化データを
復号する場合には、逆の手順を行い、符号化データを復
号し動画像を得るこができる。
【0006】ここでMPEG2ストリームについて説明
する。図8は、MPEG2ストリームの構造の概略を示
す。MPEG2ストリーム61は一つまたは複数のシー
ケンス62から構成され、シーケンス62はシーケンス
ヘッダ63と複数のGOP(Group of Pic
tures)64から構成されている。GOP64は、
GOPヘッダ65と複数のピクチャ66から構成されて
いる。ピクチャ66は、ピクチャヘッダ67と複数のス
ライス68、さらにスライス68はスライスヘッダ69
とマクロブロック70からそれぞれ構成されている。ス
ライス68は、図9に示すように、横並びのマクロブロ
ック70の集合であり、MPEG2方式の場合には、行
間をまたがらないことになっている。しかし、ひとつの
行に複数個のスライス68が存在することは可能であ
る。
【0007】次にGOP64に含まれるピクチャ66に
ついて説明する。MPEG2方式では、3つのピクチャ
構造を有しており、フレーム内符号化画像(以下、Iピ
クチャ)、フレーム間順方向予測符号化画像(以下、P
ピクチャ)、双方向予測符号化画像(以下、Bピクチ
ャ)に分類される。
【0008】まず、Iピクチャは原画像の時系列に沿っ
て符号化され、他の画像を参照しないので、前後の画像
から独立したフレームであり、画像として完全性を保っ
ている。Pピクチャは過去の画像を参照して符号化され
る。Bピクチャは過去もしくは未来の画像、過去と未来
の両方の画像を参照して符号化され、I・Pピクチャの
間に挿入される。一般的なGOP構成は図10のように
なっている。前述の各ピクチャの圧縮率は、Bピクチャ
が最も高く、Pピクチャ、Iピクチャの順に低くなる。
【0009】ところで、一般に伝送システムでは、さま
ざまな要因によって伝送エラーが発生することがある。
特に無線回線を用いた伝送システムでは伝送中にビット
反転やパケット欠落などの伝送エラーを避けられないこ
とがある。ここで、MPEG2ストリームの符号化デー
タ伝送において、エラーが発生した場合の様子について
説明する。MPEG2方式は、前述した符号化方式の性
質上、復号化エラーが発生した場合、いくつかの特徴が
ある。
【0010】まず時間方向圧縮方式におけるエラー発生
の影響について説明する。前述したようにMPEG2方
式では、前後のフレームの時間的な相関性を利用するフ
レーム間符号化方式を用いているため、参照画像にエラ
ーが発生した場合には、そのエラーが、参照画像を元に
符号化された画像の復号に影響を及ぼす。さらには、そ
の復号された画像が、次の復号の参照画像になっている
場合に、エラーの伝播が発生する。そして、図11に示
すように、PピクチャのP5でエラーが発生した場合、
次のIピクチャのI2の手前までエラーが伝播して正し
く復号ができない。そのため、これらエラーのピクチャ
を含むGOP71により、破綻した画像72が連続して
表示されてしまうことになる。
【0011】次に階層的なエラーについて説明する。前
述したように、MPEG2ストリームは階層的な構造を
持っている。従って、上層のヘッダ情報に誤りが発生す
ると、その下層のデータを正しく復号することができな
いことになる。例えば、ピクチャヘッダ67の部分のデ
ータが正常に復号できなかった場合には、ピクチャ66
の境目を正しく認識できない場合がある。この場合、そ
のピクチャ66が一つ抜けるばかりでなく、後続のピク
チャヘッダ67の情報が必ずしも正しいとは限らないの
で、後続のピクチャ66を正常に復号することができな
いことが考えられる。
【0012】次にVLC(可変長符合化)に関わるエラ
ーについて説明する。MPEG2方式では、圧縮方式の
手法の一つとして、VLC(可変長符号化)を利用して
いるため、もしエラーが発生した場合、たとえ、その後
のデータが正常だとしても、VLC復号の正しいエント
リーポイントを失ってしまい、正常に復号できないこと
が考えられる。MPEG2方式の場合、マクロブロック
70の層でわずかなエラーが発生したとしても、前述の
VLCの問題で、復帰できる最小の単位はスライスヘッ
ダ69である。
【0013】図12は、VLC復号においてエラーが発
生した場合の一例である。フレームを構成するスライス
75が、各マクロブロック列で一つであった場合(エラ
ーマクロブロック76)、わずかなエラーがあった場合
でも、そのエラーによって以降のマクロブロック77は
正常に復号ができない。そして、次のスライスの先頭、
即ち次のマクロブロック列の先頭まで乱れた画像を表示
してしまうことになる。さらには、このVLC復号エラ
ーがPピクチャで発生した場合は、前述の時間方向圧縮
方式におけるエラー発生の影響が複合的に作用する。例
えば、PピクチャにVLCに関わるエラーが発生した場
合には、図11に示すように、そのGOP71内のその
後の画像は、すべて乱れてしまうことになる。
【0014】これらの問題を解決するひとつの手法とし
て、復号化装置においてエラーがあった場合に、符号化
装置に対して参照画像を指定する方式(例えば、H.2
63AnnexN)がある。図13にその方式による符
号化装置と復号化装置の構成例を示す。
【0015】この方式では、符号化装置80と復号化装
置90の双方が複数の画像を画像/バッファメモリ8
3、94に蓄積しておき、復号化装置90から符号化装
置80に対してフレームごとに、参照画像指定信号送信
部93によって、参照画像指定情報とエラー発生時等に
異常信号を送信する。符号化装置80は、参照画像指定
信号受信部84によって、異常信号を受信すると指定さ
れた画像を画像/バッファメモリ83から読み出して参
照画像として、次の送信対象のフレームの画像符号化デ
ータを送信する。図14に示すようにエラーが発生した
画像(#4,#5)ではなく、復号化装置で正常に復号
しているフレーム(#3)を参照画像にすることで、フ
レーム間差分符号化を継続しながらエラーの波及を防ぐ
というものである。
【0016】
【発明が解決しようとする課題】しかしながら、前述の
H.263の方式では、符号化装置に参照画像として指
定される可能性のある参照画像を蓄積しておく必要があ
り、画像データは画像符号化データよりも圧倒的にデー
タ量が多いため、符号化装置に大容量の画像/バッファ
メモリを用意しておかなければならない。また、この方
式のような符号化データの再送方式では、再送処理によ
る遅延が大きいため、リアルタイム性を要求されるシス
テムには不都合がある。さらには、通信状態が悪い状態
が続いた場合に再送データにもエラーが発生する可能性
があり、表示画像の更新が滞ってしまう可能性もある。
【0017】本発明は、以上のような課題を鑑みなされ
たもので、その目的は、画像復号化装置側で表示画像を
破綻してしまうような回避できない復号化エラーが発生
した場合でも、大容量の画像バッファメモリを使用せず
に、またリアルタイム性を損なうことなく、MPEG2
方式特有のエラー伝播を最小限にとどめ、表示画像の破
綻から、迅速に正常な画像に復帰することができる画像
符号化装置、画像復号化装置及び動画像伝送システムを
提供することにある。
【0018】
【課題を解決するための手段】本発明は、画像データを
予測符号化し、符号化データを画像復号化装置に送信す
る画像符号化装置において、画像データを予測符号化す
る符号化手段と、予測符号化された符号化データを送信
する符号化データ送信手段と、前記符号化データを受信
した前記画像復号化装置からエラー情報を受信するエラ
ー情報受信手段と、前記エラー情報受信手段で受信した
エラー情報に基づいて、前記符号化手段で行う符号化内
容を適応的に選定する制御選定手段と、該制御選定手段
により選定された符号化内容に従って前記符号化手段を
制御する符号化制御手段とを備えることを特徴とする。
【0019】ここで、前記符号化選定手段は前記符号化
内容を複数種類選択し、前記符号化制御手段は該符号化
内容を複合的に制御することを特徴とする。前記符号化
内容は、符号化データのスライス構造の境界点の数であ
ったり、符号化データのGOP構造のM値及びN値であ
ったり、符号化ビットレートである。
【0020】また、本発明は、前記画像符号化装置から
送信された符号化データを復号化する画像復号化装置に
おいて、前記画像符号化装置から符号化データを受信す
る符号化データ受信手段と、受信した符号化データを復
号する復号化手段と、前記符号化データ受信手段におけ
る通信エラーを検出する通信エラー検出手段と、前記復
号化手段における復号化エラーを検出する復号化エラー
検出手段と、検出した通信エラー情報及び復号化エラー
情報を前記画像符号化装置に通知するエラー情報送信手
段とを備えることを特徴とする。
【0021】また、本発明は、前記画像符号化装置と、
前記画像復号化装置とを備えることを特徴とする動画像
伝送システムである。
【0022】本発明によれば、前記画像符号化装置は、
入力される画像データを予測符号化して無線回線を介し
て送信する。前記画像復号化装置は、符号化データを受
信し、復号化手段において、順次復号化処理を行い元の
画像データに復元して表示する。このとき、前記画像復
号化装置では通信エラー及び復号化エラーを検出し、前
配画像符号化装置に対してエラー情報を通知する。前記
画像符号化装置は、受信したエラー情報をもとに、どの
ような符号化を行うべきか、その内容(スライス構造の
変更、GOP構造の変更等)を制御選定手段において適
応的に選定する。そして、この符号化内容に基づいて符
号化制御を行う。この結果、通信状態が悪化して回避で
きないような復号化エラーが発生した場合でも、MPE
G2方式特有のエラーの伝播を最小限に抑え、迅速に正
常な画像に復帰することが可能になる。
【0023】
【発明の実施の形態】本発明の動画像伝送システムの実
施形態について図を参照しながら説明する。図1は、本
発明にかかる動画像伝送システムの一実施形態を示すブ
ロック図である。この動画像伝送システムは、画像符号
化装置10と、画像復号化装置20とからなる構成であ
る。
【0024】図1において、画像符号化装置10は、図
示しない画像入力部から入力される画像データに予測符
号化処理を行う符号化部11、符号化部11で符号化さ
れた符号化データを無線回線を用いて送信を行う符号化
データ送信部12、後述の画像復号化装置20から通知
されるエラー情報を受信するエラー情報受信部13、エ
ラー情報受信部13で受信したエラー情報と予め定めら
れた所定規則とを比較して符号化部11の符号化手法を
含む内容を選定する制御選定部14、制御選定部14で
選定された符号化内容に従って符号化部11を制御する
符号化制御部15から構成される。
【0025】一方、画像復号化装置20は、画像符号化
装置10から送信される符号化データを受信する符号化
データ受信部21、受信した符号化データを復号し図示
しない画像データ表示部に出力する復号化部22、符号
化データ受信部21での通信エラーを検出する通信エラ
ー検出部23と、復号化部22の復号化エラーを検出す
る復号化エラー検出部24、通信エラー検出部23及び
復号化エラー検出部24で検出したエラー情報を画像符
号化装置10へ送信するエラー情報送信部25から構成
される。
【0026】図示しない画像入力部から入力された画像
データは符号化部11で予測符号化処理を施される。こ
のとき、符号化制御部15は、制御選定部14から選定
結果が入力されていないので、予め定められた初期設定
に従って符号化部11を制御する。符号化された画像デ
ータは符号化データ送信部12を介して送信される。画
像復号化装置20では、符号化データ受信部21を介し
て符号化データを受信し、復号化部22は受信した符号
化データの復号化処理を行い復元した画像データを図示
しない画像表示部に出力する。
【0027】このとき通信エラー検出部23は、符号化
データ受信部21における所定時間内の通信エラー発生
率及び訂正不能発生率等を算出する。また復号化エラー
検出部24においては、復号化部22における復号化エ
ラー発生率及びエラー内容等を検出する。復号化エラー
は、MPEG2方式における文法上の誤りであり、例と
して、所定時間あたりの不正なマクロブロックエラー
数、不正なピクチャ数等がある。検出した種々のエラー
情報は、エラー情報送信部25を介して画像符号化装置
10に送信される。
【0028】画像符号化装置10では、エラー情報受信
部13を介して、画像復号化装置20におけるエラー情
報を受信し、制御選定部14に通知する。制御選定部1
4では、受信したエラー情報と予め定められた所定規則
とを比較して、符号化手法を含む内容を決定する。な
お、前述の所定規則とはエラー情報に対する符号化制御
内容の選定の規則であり、後述の符号化制御内容の選択
及び符号化制御内容の選定しきい値の設定等に関するも
のである。また、この所定規則は図示しない外部制御手
段により任意に変更可能である。
【0029】ここで、画像復号化装置20から画像符号
化装置10が受信したエラー情報が予め定められた所定
のしきい値を超えて悪化した場合の符号化部11に処理
させる符号化手法について、以下に説明する。これら符
号化手法は、上述したように制御選定部14において選
定する内容である。
【0030】第1の符号化手法は、例えば、符号化デー
タが図12に示すMPEG2方式の一般的なスライス構
造であるとき、図2に示すようなスライス構造に変更す
る。すなわち、スライス構造の境界点を多くすることに
よって、図に示したマクロブロック単位でエラーが発生
した場合(エラーマクロブロック32)、エラー伝播に
より正しく復号できないマクロブロック33は、次のス
ライスヘッダまであり、次のスライスからは正常に復帰
する。スライス構造の境界点が多く設けられているとい
うことは、スライスを形成するマクロブロックは少ない
ことを意味するので、エラーが生じてもエラー伝播する
マクロブロックは少なくて済む。この結果、復号画像の
破綻を小さくし、さらには、その画像が参照画像の場合
は、後続の画像の復号化エラーをも軽減することができ
る。また、通信エラー及び復号化エラー状態が所定のし
きい値まで改善した場合には、図12に示すようなスラ
イス構造を戻すようにして圧縮効率を確保するようにす
る。こうして、制御選定部14は、エラー情報に基づい
て、スライス構造の境界点の数を選定し、符号化制御部
15は、この符号化内容に基づいて符号化部11を制御
する。
【0031】第2の符号化手法は、例えば、符号化デー
タが図3に示すGOP構造(N=15,M=3)である
とき、図4に示すようにGOP構造(N=9、M=3)
を変更する。ここで、M値はI/Pピクチャの周期(ピ
クチャの数)、N値はIピクチャの周期(ピクチャの
数)である。図4に示すようにGOP構造のIピクチャ
の長さ(GOPの長さ)を短く変更することによって、
フレーム内符号化画像、即ちIピクチャの枚数が増え
る。図3に示すGOP構造において、図5に示すよう
に、IピクチャやPピクチャにエラーが発生した場合、
次のIピクチャまでエラー伝播を発生して画像を正しく
復号できない。
【0032】そこで図4にGOP構造に変更すると、エ
ラー伝播は、図6に示すように次のIピクチャまでのピ
クチャ数が少ないため、エラー伝播を軽減することが可
能となる。この結果、復号された表示画像の破綻を最小
限にとどめ、破綻画像の表示時間を短縮し、迅速に正常
な画像表示に復帰することができる。また、通信エラー
及び復号化エラー状態が所定のしきい値まで改善した場
合には、図3に示すGOP構造(N=15、M=3)に
戻すようにする。なお、図3〜図6に示したGOP構造
を決めるN値及びM値は、制御選定部14の設定により
任意である。こうして、制御選定部14は、エラー情報
に基づいて、GOP構造のN値及びM値を選定し、符号
化制御部15は、この符号化内容に基づいて符号化部1
1を制御する。
【0033】第3の符号化手法は、符号化ビットレート
を制御するものである。動画像符号化時のビットレート
を低く抑え、伝送するデータ量を削減し、冗長ビットを
付加して誤り訂正能力即ち、通信エラー耐性を高める。
この手法は全体的な画質は低下するが、通信エラー耐性
の強化により、全体的な通信エラーを抑制することによ
って、結果的に表示画像の破綻の発生を抑制することが
できる。これは正常な画像の復元を優先することによ
り、破綻画像の発生を軽減し、結果的に表示画像の品位
(破綻する画像が少ない)を保つことができる。なお、
符号化時のビットレート制御は、制御選定部14の設定
により任意である。こうして、制御選定部14は、エラ
ー情報に基づいて、ビットレートを選定し、符号化制御
部15は、この符号化内容に基づいて符号化部11を制
御する。
【0034】また、前述の第1、第2、及び第3の符号
化手法は、併用することも可能であり、より効果的に復
号化エラーを抑制し、画像が破綻するような復号化エラ
ーが発生した場合に、迅速に正常な画像に復帰すること
ができる。
【0035】第4の符号化手法として、画像復号化装置
20から画像符号化装置10が受信したエラー情報が予
め定められた所定のしきい値より良好な場合の符号化部
11に対する符号化手法について説明する。この場合
は、無線通信状態が安定しているため、例えば、GOP
構造(N=30、M=3)を図7に示すように変更す
る。このようにGOP構造のIピクチャ長さ(GOP長
さ)を長く変更するとフレーム内符号化画像、即ちIピ
クチャの枚数を減らすことによって高圧縮率を得ること
ができ、伝送するデータ量を少なくすることによって、
高品位な画像データを伝送することができる。
【0036】このように、本発明において、符号化手法
は複数有り、且つこれらを複合号的に使用することが可
能である。通信エラー情報は、伝送データを受信した際
に検出できるため、早期に符号化手法を切り替えること
が可能である。例えば、エラー訂正数/所定時間が多い
場合は、第3の符号化手法を選択し、正常なデータ確保
を優先する。逆にエラー訂正数/所定時間が良好で、ほ
とんどエラーが発生しない場合は、第4の符号化手法を
選択し、高品位な画像データを伝送することができる。
【0037】一方、エラー訂正不能数/所定時間が増加
した場合、復号エラーを発生する可能性が高いので、早
期に第1及び第2の符号化手法を選択することが可能で
ある。さらに復号エラー情報を合わせて比較し、不正ピ
クチャ数/所定時間の復号エラー数が少ないが、たまに
破綻画像を表示するような場合には、不正マクロブロッ
ク数/所定時間も合わせて比較し、第1の符号化方法の
スライス構造を変える手法が効果的である。
【0038】しかし、不正ピクチャ数/所定時間の復号
エラー数が多く、破綻画像が連続するような場合は、第
2の符号化手法のGOP構造を変える手法が効果的であ
る。また、場合によっては、上記符号化手法を複合的に
使用することもできる。
【0039】本発明の動画像伝送システムは、画像復号
化装置20でのエラー情報を画像符号化装置10に随時
フィードバックし、画像符号化装置10は受信したエラ
ー情報から、いち早く通信状態を把握し、動的に且つ適
応的に画像符号化装置10における符号化手法を制御す
ることができる。
【0040】
【発明の効果】以上のように、本発明によれば、画像デ
ータを予測符号化した画像符号化データを無線回線を用
いて送受信する画像符号化装置及び画像復号化装置にお
いて、画像復号化装置における通信エラー状態及び復号
化エラー状態を検出し、その情報を画像符号化装置にフ
ィードバックすることによって、動的に且つ適応的に画
像データの符号化内容を制御して、表示画像が破綻する
ような復号エラーがした場合には、迅速に正常な画像に
復帰することが可能となる。さらには動画像伝送システ
ムの無線回線におけるエラー耐性を高め、正常な画像復
元を優先し、結果的に破綻画像の少ない画像を表示する
ことができる。
【0041】一方、比較的良好な通信状態の場合には、
フレーム内符号化画像(Iピクチャ)の伝送数を減らす
ように、動的に且つ適応的に符号化データの符号化手法
を制御して高圧縮率を得て伝送データ量を削減して、高
画質な画像データを伝送することが可能となる。
【0042】本発明は、高圧縮率化とエラー耐性強化を
動的に且つ適応的に制御することが可能であるため、高
圧縮率とエラー耐性の両立を要求されるような限られた
伝送帯域を使用して伝送を行う動画像伝送システムにお
いて、特に有効である。
【図面の簡単な説明】
【図1】本発明における画像符号化装置及び画像復号化
装置の構成を示す図である。
【図2】本発明における第1の符号化手法を説明する図
である。
【図3】一般的なGOP構造を説明する図である。
【図4】本発明における第2の符号化手法を説明する図
である。
【図5】GOP構造における従来のエラー伝播の様子を
示す図である。
【図6】第2の符号化手法のGOP構造におけるエラー
伝播の様子を示す図である。
【図7】本発明における第4の符号化手法を説明する図
である。
【図8】MEPGストリームの構造を説明する図であ
る。
【図9】一般的なスライス構造を鋭明する図である。
【図10】一般的なGOP構造を説明する図である。
【図11】MPEG2ストリームにおいて、参照画像に
エラーが発生したときのエラー伝播及び表示画像の破綻
の様子を祝明する図である。
【図12】マクロブロック単位でエラーが発生したとき
のエラー伝播を説明する図である。
【図13】従来の符号化装置と復号化装置の構成を示す
図である。
【図14】図13に示した符号化装置と復号化装置の動
作を示す図である。
【符号の説明】
10 画像符号化装置 11 符号化部 12 符号化データ送信部 13 エラー情報受信部 14 制御選定部 15 符号化制御部 20 画像復号化装置 21 符号化データ受信部 22 復号化部 23 通信エラー検出部 24 復号化エラー検出部 25 エラー情報送信部 32 エラーマクロブロック 33 マクロブロック 61 ストリーム 62 シーケンス 63 シーケンスヘッダ 65 GOPヘッダ 66 ピクチャ 67 ピクチャヘッダ 68 スライス 69 スライスヘッダ 70 マクロブロック 72 画像 75 スライス 76 エラーマクロブロック 77 マクロブロック
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK01 MA00 MA05 PP05 PP06 PP07 RA04 RF01 RF15 TA16 TA60 TB03 TB06 TC45 TD13 UA02 UA05 5J064 AA01 BB03 BB08 BB12 BC16

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 画像データを予測符号化し、符号化デー
    タを画像復号化装置に送信する画像符号化装置におい
    て、 画像データを予測符号化する符号化手段と、 予測符号化された符号化データを送信する符号化データ
    送信手段と、 前記符号化データを受信した前記画像復号化装置からエ
    ラー情報を受信するエラー情報受信手段と、 前記エラー情報受信手段で受信したエラー情報に基づい
    て、前記符号化手段で行う符号化内容を適応的に選定す
    る制御選定手段と、 該制御選定手段により選定された符号化内容に従って前
    記符号化手段を制御する符号化制御手段と、を備えるこ
    とを特徴とする画像符号化装置。
  2. 【請求項2】 前記符号化選定手段は前記符号化内容を
    複数種類選択し、前記符号化制御手段は該符号化内容を
    複合的に制御することを特徴とする画像符号化装置。
  3. 【請求項3】 前記符号化内容は、符号化データのスラ
    イス構造の境界点の数であることを特徴とする請求項1
    又は2記載の画像符号化装置。
  4. 【請求項4】 前記符号化内容は、符号化データのGO
    P構造のM値及びN値であることを特徴とする請求項1
    又は2記載の画像符号化装置。
  5. 【請求項5】 前記符号化内容は、符号化ビットレート
    であることを特徴とする請求項1又は2記載の画像符号
    化装置。
  6. 【請求項6】 請求項1〜5のいずれかに記載の画像符
    号化装置から送信された符号化データを復号化する画像
    復号化装置において、 前記画像符号化装置から符号化データを受信する符号化
    データ受信手段と、 受信した符号化データを復号する復号化手段と、 前記符号化データ受信手段における通信エラーを検出す
    る通信エラー検出手段と、 前記復号化手段における復号化エラーを検出する復号化
    エラー検出手段と、 検出した通信エラー情報及び復号化エラー情報を前記画
    像符号化装置に通知するエラー情報送信手段と、を備え
    ることを特徴とする画像復号化装置。
  7. 【請求項7】 請求項1〜5に記載の画像符号化装置
    と、請求項6に記載の画像復号化装置とを備えることを
    特徴とする動画像伝送システム。
JP2001218559A 2001-07-18 2001-07-18 画像符号化装置、画像復号化装置及び動画像伝送システム Pending JP2003032689A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001218559A JP2003032689A (ja) 2001-07-18 2001-07-18 画像符号化装置、画像復号化装置及び動画像伝送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001218559A JP2003032689A (ja) 2001-07-18 2001-07-18 画像符号化装置、画像復号化装置及び動画像伝送システム

Publications (1)

Publication Number Publication Date
JP2003032689A true JP2003032689A (ja) 2003-01-31

Family

ID=19052727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001218559A Pending JP2003032689A (ja) 2001-07-18 2001-07-18 画像符号化装置、画像復号化装置及び動画像伝送システム

Country Status (1)

Country Link
JP (1) JP2003032689A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071967A1 (ja) * 2004-01-23 2005-08-04 Nec Corporation 動画像通信装置、動画像通信システム及び動画像通信方法
JP2007235588A (ja) * 2006-03-01 2007-09-13 Mitsubishi Electric Corp 動画像復号装置及び動画像符号化装置
JPWO2005053316A1 (ja) * 2003-11-26 2007-12-06 三洋電機株式会社 無線映像送信装置、無線映像受信装置及び無線映像送受信システム並びに信号生成装置、信号復号装置及び信号生成復号装置
JP2009522900A (ja) * 2006-01-04 2009-06-11 ノキア コーポレイション 映像符号化器と映像復号器との状態整合性を検証する方法
JP2009524364A (ja) * 2006-01-20 2009-06-25 クゥアルコム・インコーポレイテッド 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
JP2011071692A (ja) * 2009-09-25 2011-04-07 Nec Engineering Ltd 映像信号の符号化装置、圧縮伝送システム及び符号化方法
JP2012090329A (ja) * 2004-12-30 2012-05-10 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
JP2015515768A (ja) * 2012-02-24 2015-05-28 ヴィド スケール インコーポレイテッド パケットロス検出を使用するビデオコーディング
US9232219B2 (en) 1999-03-12 2016-01-05 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
JP2017520940A (ja) * 2014-01-14 2017-07-27 トムソン ライセンシングThomson Licensing 階層符号化されたコンテンツを多重化するための方法および装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232219B2 (en) 1999-03-12 2016-01-05 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
US9918085B2 (en) 1999-03-12 2018-03-13 Microsoft Technology Licensing, Llc Media coding for loss recovery with remotely predicted data units
JPWO2005053316A1 (ja) * 2003-11-26 2007-12-06 三洋電機株式会社 無線映像送信装置、無線映像受信装置及び無線映像送受信システム並びに信号生成装置、信号復号装置及び信号生成復号装置
US8442123B2 (en) 2003-11-26 2013-05-14 Sanyo Electric Co., Ltd. Device, signal generation/decoding device, video transmission device, video reception device, and video transmission/reception system
JP4660377B2 (ja) * 2003-11-26 2011-03-30 三洋電機株式会社 無線映像送信装置、映像送信装置、無線映像受信装置、映像受信装置、無線映像送受信システム及び映像送受信システム
WO2005071967A1 (ja) * 2004-01-23 2005-08-04 Nec Corporation 動画像通信装置、動画像通信システム及び動画像通信方法
JP2012090329A (ja) * 2004-12-30 2012-05-10 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
US9313501B2 (en) 2004-12-30 2016-04-12 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
US9866871B2 (en) 2004-12-30 2018-01-09 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
US10341688B2 (en) 2004-12-30 2019-07-02 Microsoft Technology Licensing, Llc Use of frame caching to improve packet loss recovery
JP2012253831A (ja) * 2004-12-30 2012-12-20 Microsoft Corp パケットロスのリカバリを改善するためのフレームキャッシングの使用
JP2009522900A (ja) * 2006-01-04 2009-06-11 ノキア コーポレイション 映像符号化器と映像復号器との状態整合性を検証する方法
JP2013038812A (ja) * 2006-01-04 2013-02-21 Core Wireless Licensing S A R L 映像符号化器と映像復号器との状態整合性を検証する方法
US8325822B2 (en) 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
JP4908522B2 (ja) * 2006-01-20 2012-04-04 クゥアルコム・インコーポレイテッド 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
JP2009524364A (ja) * 2006-01-20 2009-06-25 クゥアルコム・インコーポレイテッド 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
US8160152B2 (en) 2006-03-01 2012-04-17 Mitsubishi Electric Corporation Moving image decoding apparatus and moving image coding apparatus
JP2007235588A (ja) * 2006-03-01 2007-09-13 Mitsubishi Electric Corp 動画像復号装置及び動画像符号化装置
JP2011071692A (ja) * 2009-09-25 2011-04-07 Nec Engineering Ltd 映像信号の符号化装置、圧縮伝送システム及び符号化方法
JP2015515768A (ja) * 2012-02-24 2015-05-28 ヴィド スケール インコーポレイテッド パケットロス検出を使用するビデオコーディング
JP2017520940A (ja) * 2014-01-14 2017-07-27 トムソン ライセンシングThomson Licensing 階層符号化されたコンテンツを多重化するための方法および装置

Similar Documents

Publication Publication Date Title
US8233539B2 (en) Method and apparatus for transmitting packet-based image frame
KR100495820B1 (ko) 비디오 코딩
US20060188025A1 (en) Error concealment
US6744924B1 (en) Error concealment in a video signal
CA2476843C (en) Video coding
EP1599047B1 (en) Video (de)coding device with frequency band retransmission
JP2003032689A (ja) 画像符号化装置、画像復号化装置及び動画像伝送システム
US20050063473A1 (en) Method and apparatus for transmitting and receiving coded packet and program therefor
JP5030179B2 (ja) 映像符号化
US20120106632A1 (en) Method and apparatus for error resilient long term referencing block refresh
JPWO2002051162A1 (ja) 動画像復号方法および動画像復号装置
CN102231837B (zh) 基于子画面群的前向纠错实时视频传输方法
JP2001156643A (ja) 画像符号化装置および方法
JP2002027483A (ja) 画像符号化装置、画像復号化装置および記憶媒体
US8379729B2 (en) Content adaptive error localization to improve quality of corrupted video data streams upon decode
JP4069444B2 (ja) 符号化制御方法及び符号化制御プログラム
EP1345451A1 (en) Video processing
EP1349398A1 (en) Video processing
Wang et al. An Error Resilient Video Coding Algo-rithm Combining FEC and WZ Technol-ogy over Error-prone Channel
Fumagalli et al. A sequence-based error-concealment algorithm for an unbalanced multiple description video coding system
JP2000175197A (ja) 画像通信システム及び画像符号化装置並びに画像復号装置
US20110299590A1 (en) Error resilient coding method using adaptive additional image information
JP2016213698A (ja) 映像符号化装置及びプログラム
JP2008010986A (ja) 無線映像監視装置及び無線映像監視方法
JP2010273229A (ja) 映像伝送システム、映像送信装置、映像受信装置