JP2004357318A - 情報伝送システムにおける符号化装置 - Google Patents

Abstract

【課題】画像などを圧縮符号化して伝送するシステムにおいて、ビット列自体に誤り耐性能力を持たせ、へッダ情報のような重要情報に誤りが発生しても正常にその復号処理を行えるようにする。
【解決手段】ビット列再構成回路１０７により、符号化回路１０３で符号化された情報を復元するための復元用情報として、上位レイヤですでに伝送した情報あるいはその一部の情報、同一レイヤ内においてすでに伝送した情報あるいはその一部の情報、または前記上位レイヤまたは同一レイヤ内においてすでに伝送した情報の内容若しくはその一部の情報の内容を復元するための情報を符号化された情報に付加した後、指示情報挿入回路１０６を用いてヘッダ情報内に復元用情報を付加したことを示す所定ビットパターンの指示情報を挿入する。
【選択図】 図１

Description

本発明は符号化された動画像／静止画像をＩＳＤＮやインターネット等の有線通信網、あるいはＰＨＳや衛星通信等の無線通信網を用いて伝送する情報伝送システムにおける符号化装置に関する。

近年、画像をはじめとする各種情報のディジタル符号化技術及び広帯域ネットワーク技術の進展により、これらを利用したアプリケーションの開発が盛んになっており、圧縮符号化した画像などを通信網を利用して伝送するシステムが開発されている。

例えば、テレビ電話、テレビ会議システム、デジタルテレビ放送においては、動画像や音声をそれぞれ少ない情報量に圧縮符号化し、それら圧縮された動画像符号列、音声符号列や他のデータ符号列を多重化してひとつの符号列にまとめて伝送／蓄積する技術が用いられている。

動画像信号の圧縮符号化技術としては動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化、可変長符号化等の技術やこれらを組み合わせた方式が開発されている。動画像符号化の国際標準方式としてはＩＳＯ ＭＰＥＧ１，ＭＰＥＧ２，ＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６２，Ｈ．２６３が存在し、また動画像、音声・オーディオ信号を圧縮した符号列や他のデータを多重化する国際標準方式としてはＩＳＯ ＭＰＥＧシステム、ＩＴＵ−ＴＨ．２２１，Ｈ．２２３が存在する。

上述の動画像符号化国際標準方式のような従来の動画像符号化方式においては、動画像信号をフレーム毎に分割し、さらにフレームを細かい領域に分割した、ＧＯＢ、マクロブロック等の単位毎に符号化が行われ、このフレーム、ＧＯＢ、マクロブロック毎に符号化のモード等を示すヘッダ情報が付加される。これらのヘッダ情報はそのフレーム、ＧＯＢ等全体の復号に必ず必要な情報である。このため、もしヘッダ情報に伝送路／蓄積媒体による誤りが混入し、動画像復号化装置において正しく復号できないと、そのヘッダ情報のあるフレーム、ＧＯＢ等全体が正しく復号できず、動画像復号化装置における再生動画像の品質が大きく劣化してしまうことになる。

すなわち、通信網を利用して圧縮符号化された画像を伝送する場合には、受信側では伝送されてきた０／１のビット列から、意味のある情報を再生する復号処理が必要になる。そのためには、一定のビット列のまとまりがどのような規則のもとに符号化されてきたものなのかを指し示す情報として、前述のへッダ情報が非常に重要になる。このヘッダ情報とは例えば、現在復号しているフレームの予測タイプ（フレーム内の符号化であるか、フレーム間の符号化であるか、等）、そのフレームを表示するタイミングを示す情報（タイム・レファランス）、あるいは量子化を行う際のステップサイズ情報などである。これらのへッダ情報が失われてしまうと、それ以後に伝送されてきた情報が正しく復号出来ないことになる。

例えば前記フレームの予測タイプが、本来はフレーム間の符号化であることを示していたにも関わらず、何らかの原因でビット列に誤りが混入し、フレーム内を示すビットパターンに変化したとする。この場合、その後の実際の情報が正しく伝送されてきたとしても、復号側ではその信号をフレーム内符号化の結果と判断してしまうため、最終的には正しく復号されないことになる。よって、動画像復号化装置における再生動画像の品質が大きく劣化してしまうことになる。

このような誤りの混入は、特に無線テレビ電話や携帯情報端末、無線デジタルテレビ受信装置等のように無線伝送路等を介して動画像を伝送／蓄積するシステムを用いた場合に多発する。従来の画像伝送は有線通信網を用いたシステムが主流であり、仮に無線通信網を用いる場合でも誤り率が非常に少ない衛星通信を想定していた。従って、伝送する符号化列の構造自体についての誤り耐性については十分な考慮がなされておらず、ヘッダ情報等の重要情報に対する伝送路誤り保護が十分ではなかった。

今後移動体通信の主流のーつになるＰＨＳでは誤り率が衛星通信の十万倍〜百万倍程度になるため、従来のように符号化されたビット列に誤り訂正を施しただけでは十分な訂正が不可能な状態になる。また、ＰＨＳと同様に今後の通信の主流になると予想されるインターネットでは、いつ、どの様な誤りが混入するかが統計的に明らかになっておらず、適切な誤り訂正が行えない場合もある。しかもこれらＰＨＳやインターネットの場合は、符号列中の一部の情報が消失してしまう場合もあり、理論的に誤り訂正では対処できない事態も発生する事になる。そのため符号列自体の構造に誤り耐性能力を持たせることが必要になってくる。

このように従来は、伝送する符号化列の構造自体の誤り耐性について十分な考慮がなされておらず、特に、伝送路誤りが入ると大きな画質劣化を誘発するヘッダ情報等の重要情報に対しては伝送路誤りに対する考慮が十分ではなかった。

本発明はこのような点に鑑みてなされたものであり、符号化列の構造自体に誤り耐性能力を持たせることにより、伝送路誤りによってへッダ情報のような重要情報に誤りが発生しても高品位に画像信号を復号することが可能な情報伝送システムにおける符号化装置を提供することを目的とする。

本発明の基本概念は、へッダ情報のような重要情報を、ある一定の指示情報の指示に従って、任意のタイミングで何度でも繰り返し伝送可能なシステム構成を実現し、これによって符号化列自体に誤り耐性能力を持たせることにある。

そのために、本発明は、符号化された情報を２つ以上のレイヤに分け、各レイヤに同期信号と、復号に必要なへッダ情報とを付加して伝送する情報伝送システムにおいて、前記符号化された情報を復元するための復元用情報として、上位レイヤですでに伝送した情報あるいはその一部の情報、または、同一レイヤ内においてすでに伝送した情報あるいはその一部の情報、あるいはまた、前記上位レイヤまたは同一レイヤ内においてすでに伝送した情報あるいはその一部の情報の内容を復元可能な情報を伝送することが可能な手段を有する符号化装置を提供することによって、符号列の構造自体に誤り耐性能力を持たせ、これによってへッダ情報に誤りが発生しても正常に復号処理を行うことを可能にしている。

以上のように、本発明によれば、符号化列自体の構造に誤り耐性能力を持たせることによって、仮にヘッダ情報などの重要情報に誤りが混入してそれを復号処理に利用出来なくなったとしても、指示情報が示す新たな情報を代用して復号処理を正しく継続することが可能となる。

以下、図面を参照して本発明の実施形態を説明する。

図１は本発明の一実施形態に係る符号化装置の構成を示している。カメラ１０１で取り込まれた動画像はＡ／Ｄ変換器１０２でデイジタル信号に変換され、符号化回路１０３に入力される。符号化回路１０３では、ＤＣＴ変換、量子化、可変長符号化、逆量子化、逆ＤＣＴ変換、動き保証などによって、動画像信号の高能率圧縮符号化が行われ、符号化されたデータ列が生成される。符号化されたデータ列の中の重要へッダ情報は重要ヘッダ情報再構築回路１０４に入力され、ここに一旦保持される。符号化回路１０３の後にはビット列再構成回路１０７があり、ここで伝送路に送り出される最終的な符号列、すなわちＭＰＥＧ２などに準拠したデータストリームが決定される。

ビット列再構成回路１０７においては、まず、ある一定のビット列単位でその先頭に同期信号回路１０５で決定されている同期信号が付加され、その後、指示情報挿入回路１０６により、そのビット列に指示情報が挿入される。この指示情報は重要へッダ情報の追加を示すものであり、この指示情報をビット列に挿入することによって、そのビット列に重要へッダ情報を追加することが可能となる。次いで、重要情報再構築回路１０４から必要な重要ヘッダ情報が取り出され、それがビット列に付加される。なおここでのビット列構成の詳細は、図４、図５を参照して後述する。

ビット列再構築回路１０７で最終的に決定したビット列は、符号化された他の音声情報、文字情報等と多重化回路１０８において多重化され、伝送路１１０に送出される。なお、ヘッダ情報内の何を重要ヘッダ情報とするかについては、符号化回路１０３の外からユーザが自由に指定することも可能である。

図２は本発明に関わる復号部の構成である。

伝送されてきたビット列は分離回路１２１において、画像情報、音声情報、文字情報等に分離される。画像情報のビット列はまず、同期検出回路１２２において同期を検出することにより、ビット列内の復号開始位置を検出する。その情報が復号回路１２４に送られ、ここから復号処理が開始、あるいは再開される。まず最も上位のレイヤのへッダ情報から復号が開始されるが、これら復号された信号はエラーチェック回路１２５により誤りが混入しているかどうかがチェックされる。もし誤りの混入が確認された場合は、その部分が使用出来ないため、その旨を重要情報回路１２６に伝えておく。次のレイヤのヘッダ情報を復号する際に、同期検出回路１２２において同期を検出した後、今度は同じビット列が指示情報判定回路１２３にも転送され、ここで指示情報の内容が調べられる。これにより、重要ヘッダ情報が追加されているか否か、および追加されている場合にはその重要ヘッダ情報の種類及び追加位置などが検出される。この検出結果に基づき、指示情報判定回路１２３から復号回路１２４に動作指示が与えられる。復号回路１２４では、現レイヤのヘッダ情報と、そこに付加されている重要ヘッダ情報の復号が行われる。重要ヘッダ情報の復号結果は、重要情報保持回路１２６に転送され、ここで一旦保持される。もしエラーチェック回路１２５から誤り混入確認信号が来ている場合は、上位レイヤでの重要へッダ情報が使用できないことがわかるため、復号回路１２４は、現レイヤで送られてきた重要ヘッダ情報を代用することにより、現レイヤに後続する符号列に対する復号処理を継続する。復号された画像などの情報は、Ｄ／Ａ回路１２７においてアナログ信号に戻され、モニタ１２８上に表示される。

次に、本実施形態で用いられる画像符号列の構造について説明する。

図３は画画を複数のレイヤに分割する場合の概念図である。

一つのフレーム２００は例えば１６画素×１６画素のマクロブロックを集めた多数のスライス（マクロブロックライン）２０１に分割される（図３（ａ））。一方、各スライス２０１はその中がいくつかのマクロブロック２０３の集合として構築されている（図３（ｂ））。フレーム２００として画面全体を捉えた場合が最上位レイヤとなり、その中の２０１ごとに捉えた場合が次のレイヤ、２０３レベルがさらにその次のレイヤということになる。

図４は、図３で示した各レイヤのデータ構造の一例を示した図である。

図４（ａ）は、図３（ａ）に対応する最上位のフレームレイヤのビット列であり、図４（ｂ）は図３（ｂ）のスライスに対応するスライスレイヤのビット列の従来例である。一方図４（ｃ）は、図３（ｂ）のスライスに対応するスライスレイヤについてのここで提案する新たなビット列の例である。

図４（ａ）に示されているように、フレームレイヤすなわち１フレームの画像符号列は、ピクチャのスタート位置を示す同期信号（ピクチャスタートコード；ＰＳＣ）から始まる。ＰＳＣの後にはフレームを再生するタイミングを示すタイムレファランス（ＴＲ）、フレーム内／フレーム間等の予測符号化のタイプ情報（ＰＴ）が続き、その後には量子化ステップサイズ情報（ＰＱ）が続く。これらＴＲ，ＰＴ，ＰＱは画面の全ての復号処理あるいは表示に際して必要な情報であり、これらの情報が誤り等によって破壊された場合、仮にその後のレイヤで再び同期が取れたとしても、復号あるいは表示が正しくは行われないことになる。ＰＱの後のＤａｔａには、下位のレイヤ情報が格納されており、その典型的なビット列が図４（ｂ）となる。

図４（ｂ）に示されているように、スライスレイヤにおいては、各スライス２０１の画像符号列は、その開始を示す同期信号（ＳＳＣ）から始まり、その後に予測タイプ情報（ＳＰＴ）、続いてそのスライス番号（ＳＮ）、最後は量子化ステップサイズ情報（ＳＱ）となる。その後のＤａｔａは、さらに下位のマクロブロックレイヤの情報である。

次に本第１実施形態で使用されるスライスレイヤの構造を図４（ｃ）を用いて説明する。

上述したように図４（ａ）の情報は重要情報であり、この部分が使用できない場合は、仮にその下層のスライスレイヤの情報が破壊されていなくても、正しく画面を復号することが出来ない。図４（ａ）の情報が使用できない場合でもその下層のスライスレイヤの情報を正しく復号できるようにするためには、図４（ａ）のヘッダ情報の内容がスライスレイヤで分かることが必要になる。そこで、本第１実施形態では、ＳＰＴ内に指示情報を示す予め定められたビットパターンの符号を用意し、その符号が現れた場合は、図４（ａ）で伝送したヘッダ情報を再びスライスレイヤで伝送するようにしている。この例ではＴＲとＰＴを伝送している（この場合はＳＰＴを指示情報として使用しており、ＳＰＴが本来の予測タイプを表していないことから、ＰＴが必要となっている）。図４（ａ）のフレームレイヤに誤りが混入しなかった場合は、この情報（ＴＲ，ＰＴ）は使用されないことになるが、もしフレームレイヤの情報が誤り等で破壊された場合には、図４（ｃ）におけるこれらの情報を代用して、復号処理を続けることが可能となる。

図５は図４に代わる別の例である。

図５（ａ）に示すフレームレイヤは図４（ａ）と同様であるが、図５（ｂ），（ｃ）のスライスレイヤについては、そのヘッダ情報に挿入される指示情報が図４と異なっている。図４ではＳＰＴ内に指示情報を用意したが、ここでは新たなビット（ＩＳ）を挿入している。ＩＳが次にフレームレイヤの重要情報が続くことを示している場合は、図５（ｃ）に示されているようにＩＳの次にＴＲを伝送し、復号側は、フレームレイヤの情報が誤り等で破壊された場合には、スライスレイヤのＴＲを利用する。この場合は、ＳＰＴが純粋に予測タイプのみを表すようになっているため、図４の場合のようにＰＴを再度スライスレイヤで伝送する必要はない。

図５（ｄ）は図５（ｂ）の変形例であり、スライスレイヤにおいて、ＳＰＴを伝送しない場合の例である。この時はＩＳの指示によってフレームレイヤの重要情報を再送する際に、スライスレイヤでは、図５（ｅ）のようにＴＲとＰＴが必要になる。

図６は、画面が単一のレイヤで構成される場合の概念図、およびその時のビット列の例である。

この場合は図６（ａ）のように、画面内が単純にブロック（マクロブロック）だけで分割される。この場合の１フレームの画像符号列は、図６（ｂ）のように、一つの同期信号ＰＳＣのみによって画面全体の同期を取る仕組みになる。この時もＴＲやＰＴが重要であることにかわりないため、仮にこれらの情報が破壊された場合には、その後の情報が正しく伝送されても、復号を行うことが出来ない。従って何らかの方法でこれら重要情報を再度伝送する仕組みが有効である。特にランダムエラーが発生する場合、どちらの情報も破壊される確率は、一度しか情報を伝送しない場合に比べて格段に減少する。またバーストエラーが発生する場合も、これら再送情報を一度目の情報からある程度離しておくことによって、双方とも破壊される確率を減少させることができる。図６（ｂ）の例では、重要情報ＴＲ，ＰＴ，ＰＱ等の後にＩＳを挿入し、この信号の指示によってこの後にＴＲ，ＰＴ等を挿入することが可能な構成になっている。指示情報ＩＳの位置は、上述した理由により、例えばバーストエラーの統計的な継続期間以上、重要情報から離しておくことが有効となる。

図７は本発明に関わる符号化部の他の構成例である。

カメラ３０１で取り込まれた画像はＡ／Ｄ変換器３０２でディジタル信号に変換され、符号化回路３０３に入力される。符号化回路３０３の後にはビット列再構成回路３０７があり、ここで伝送路に送り出される最終的なビット列が決定される。特に誤りが発生しやすいネットワークを使用する場合は、回復しきれなかつた誤りの伝搬を極力避けるため、予測を行わないリフレッシュという操作をある一定時間ごとに行うことが普通である。このリフレッシュは面面全体をそのモードにすることも可能であるが（この場合はそのフレームの予測タイプがフレーム内になる）、リフレッシュ（フレーム内符号化）はフレーム間符号化に比べて発生情報量が格段に多いため、特に低ビットレートの符号化伝送に使用することは難しい。そのため、１フレーム内の一部分のみにリフレッシュを行い、ある一定時間をかけて、フレーム全体に相当する位置のリフレッシュを終了するという手法を用いることが好ましい。また、誤りが復号側で検知された場合は、再送要求を出して、その部分のみを送りなおしてもらうようにすることも重要である。

これらの処理を実現するためには、符号化回路３０３で符号化している途中で、フレーム内／フレーム間の予測切り替えが行えることが必要である。仮にある一定の部分（ここでは一例として図３に示した特定のスライスとする）のみのリフレッシュを行う場合、このスライスの予測タイプはその前までのスライスの予測タイプと異なるため、非常に重要な情報となる。また、リフレッシュの場合は量子化ステップサイズもフレーム間予測の場合とは大きく異なるため、この情報も重要である。

図７の符号化装置においては、符号化回路３０３でリフレッシュのための符号化を行った場合、その情報が指示情報挿入回路３０５に送られる。一方前記リフレッシュのための重要情報は符号化処理変更情報回路３０６に予め格納されている。ビット列再構成回路３０７では、リフレッシュのための符号化が行われたスライスのビット列の先頭に同期信号回路３０４で決定されている同期信号が付加され、その後指示情報挿入回路３０５により、リフレッシュを行ったことを示す指示情報が挿入される。この状態で、リフレッシュされた画像を復号するために必要な前述の重要情報が追加可能となるため、符号化処理変更情報回路３０６から必要な重要情報が取り出され、スライスのビット列に付加される。なおここでのビット列構成例の詳細は図９で説明する。

ビット列再構成回路３０７で最終的に決定したビット列は他の符号化された音声情報、文字情報等と多重化回路３０８において多重化され、伝送路３１０に送出される。なおリフレッシュに際して、どの様な情報を重要情報として追加するかは符号化処理変更情報回路３０６の外からユーザが自由に指定することも可能である。

図８は、図７の符号化部に対応する復号装置の構成例である。伝送されてきた符号列は分離回路３２０において、画像情報、音声情報、文字情報等に分離される。画像情報のビット列はまず、同期検出回路３２１において同期を検出することにより、ビット列内の復号開始位置が検出される。その情報が復号回路３２３に送られ、ここから復号処理が開始、あるいは再開される。さらにビット列は指示情報判定回路３２２にも転送され、ここで指示情報の内容が判定される。リフレッシュが実現可能な構成の場合、この指示情報によって、復号処理の種類をフレーム内／フレーム間予測符号化タイプに合わせて変更できれば良いため、復号回路３２３内のフレーム内復号器３２４、フレーム間復号器３２５を切り替えるスイッチを、指示情報判定回路３２２からの信号により切り替える。そして、リフレッシュのためのスライスについては、フレーム内復号器３２４によって復号処理が実行される。このフレーム内復号処理は、前述の量子化ステップサイズなどの重要情報に従って制御される。復号回路３２３のフレーム内復号器３２４またはフレーム間復号器３２５で復号された画像情報は、Ｄ／Ａ回路３２６においてアナログ信号に戻された後、モニタ３２７上に表示される。

図９はリフレッシュを行う場合のフレーム内の様子と、それに対応する画像符号列の構造を示した図である。

フレーム３５１は複数のスライスに分割されるが、ここでは例えばフレーム間符号化を行うスライス３５２の次に、リフレッシュのためのスライス３５３が伝送される場合を考える（図９（ａ））。その次のスライス３５４は再びフレーム間符号化となる。この時に伝送されるビット列の様子を図９（ｂ）に示す。このビット列内の各部分３６１、３６２、および３６３は、それぞれ図９（ａ）のスライス３５２、３５３、および３５４に相当する。リフレッシュのためのスライスのビット列に含まれているＳＰＴ２内には、フレーム内符号化を使用したリフレッシュであることを示す指示情報が挿入される。その後のＳＱ２はリフレッシュ用に用意された量子化ステップサイズを示している。また、Ｄａｔａ２は全て、フレーム内符号化の結果として復号される。

図１０は重要情報の内容に関する別の例を示した図であり、図１０（ａ）はフレーム、図１０（ｂ）はスライスレイヤのビット列である。

スライスレイヤにおいて、指示情報となるＳＰＴ後に来る情報は図４ではＴＲであった。これは表示のタイミングをそのまま表現しても良いが、場合によってはその表現に関わるビット数が多大になることもある。これを避けるために、図１０では、圧縮符号化で一般に行われる処理である、その情報に対応する、以前に伝送した情報との差分を符号化する、という手法が採用されている。

すなわち、ＴＲとして０から２５５までを考えた場合、これらをそのまま表現するには８ビットを要する。しかしこれを例えば、３フレーム以上のコマ落としがないという拘束条件が成り立つ場合を考えると、この時、表示する際に互いに隣合うフレームは、最大で３フレーム以上は離れないことになるから、相対的なタイムレファランスとしては４つの状態（コマ落としの数が０、１、２、３）が表現できれば十分である。この時はＴＲとして２ビットあれば良いことになり、ビット数の削減が可能になる。ただしこの場合は、すでに復号された直前の情報が必要となるため、この部分のＴＲのみでは表示タイミングが確定しない。

図１０（ｂ）は、上で説明した差分のＴＲ（図ではＤＴＲ）を重要ヘッダ情報としてスライスレイヤにて伝送する場合のビット列の例である。ＤＴＲが復号された後、すでに復号されている前フレームの図１０（ａ）に相当するフレームレイヤのピット列のＴＲ情報にＤＴＲを加えることによって、現フレームの真のＴＲを算出することができる。

図１１は上記図１０のような場合の復号処理を行う回路を示した図である。この図は、図２の復号部分と入れ換えることによって動作する。まず分離回路１２１から送られてきたビット列は、同期検出回路１２２により復号開始位置がわかり、フレームレイヤのＴＲ，ＰＴ等が復号器４０１で復号される。同時にこの復号されたＴＲ情報はメモリ２（４０４）に格納される。また、これらへッダ情報はエラーチェック回路４０２で誤りがチェックされ、その結果がメモリ１（４０３）に転送される（以上図１０（ａ）についての処理）。一方、図１０（ｂ）のスライスレイヤについては、まず指示情報判定回路１２３によってＳＰＴが判定され、その後のＤＴＲ，ＰＴが４０１で復号される。また、ＤＴＲは４０３に転送される。もし４０２からの情報により、その上位のフレームレイヤのヘッダ情報（ＴＲ）が誤り等により使用できないことが分かった場合は、４０３から４０４ヘリクエスト信号を出して、ここにすでに格納されている前フレームのＴＲ情報を４０３に転送する。４０３内ではこのＴＲと、現フレームにおける上記ＤＴＲとを加算して、現フレームのＴＲを作成し、これを４０１に戻して復号処理を継続するとともに、このＴＲ情報を４０４にも転送して、次のフレームでの同様の処理に使用できるようにしておく。

図１２は、他のヘッダ情報のための用意されているビットパターンの中で未使用のパターンを指示情報として使用する場合の例である。

ここでは、ＳＰＴとして２ビットのビットパターンが予め割り当てられている場合を想定する。予測タイプはＩ（フレーム内符号化）、Ｐ（順方向予測符号化）、Ｂ（双方向予測符号化）の３種類であり、それぞれ００、０１、１０のビットパターンが割り当てられている。従って“１１”に対する情報が未使用であるため、この符号を指示情報として使用する。つまり、ＳＰＴが“１１”である場合は予測タイプではなく、その後に重要情報が続くことを示している。なお指示情報が示す重要情報はへッダ情報（ＴＲ，ＰＴ，ＰＱ）あるいはその一部でも良いし、あるいはその後のデータ（例えば図４（ａ）のＤａｔａ）を含んでも良い。これらはシステムの要求や、ネットワークの誤り発生頻度、必要な符号化レート等によって変更することが可能である。

以上のように、本第１実施形態では、ヘッダ情報のような重要情報が消失しても、それを復元するための情報がある一定の指示情報の指示に従って追加伝送されるため、重要ヘッダ情報を誤りなどが発生してそれを復号できない場合でも、その後に転送される指示情報とその指示情報で指定される復元用情報を用いて、復号処理を正しく継続することが可能となる。

次に、本発明の第２実施形態について説明する。

本第２実施形態に係る符号化装置の全体構成は図１の符号化装置と同一である。本第２実施形態においては、画像信号は、図１３のように各フレーム（ピクチャまたはＶＯＰとも呼ぶ）はマクロブロックと呼ばれる小領域（図中点線の領域）に分割されて符号化が行われる。さらに、画像信号を符号化した画像符号列に誤りが混入した時にそのフレーム内の個々の符号列でも同期が回復できるように、フレームを１ないしは複数マクロブロックからなるビデオパケット（図中実線の領域）と呼ばれる単位に区切って符号化が行われる。

図１４は、符号化装置から出力される画像符号列の１例を示したものである。図１４（ａ）は１つのフレーム（ＶＯＰ）全体の画像符号列である。ＶＯＰの先頭には一意復号可能な同期符号であるＶＯＰ ｓｔａｒｔ ｃｏｄｅ（図中ＶＳＣ）と、そのＶＯＰに関するヘッダ情報を含むＶＯＰヘッダ（図中ＶＯＰ ｈｅａｄｅｒ）がつけられる。

ＶＯＰの符号列はさらに、マクロブロックデータ（図中ＭＢｄａｔａ）を含むビデオパケット毎の符号列に区切られている。各ビデオパケットの画像符号列の先頭にはｒｅｓｙｎｃ ｍａｒｋｅｒ（図中ＲＭ）と呼ばれる一意に復号可能な同期符号と、それに続くビデオパケットヘッダ（図中Ｖｉｄｅｏ ｐａｃｋｅｔ ｈｅａｄｅｒ）が付けられる。ただし、ＶＯＰの最初のビデオパケットにはＶＯＰ ｓｔａｒｔ ｃｏｄｅとＶＯＰ ｈｅａｄｅｒが付いているので、ここにはｒｅｓｙｎｃ ｍａｒｋｅｒ（ＲＭ）とビデオパケットヘッダ（Ｖｉｄｅｏ ｐａｃｋｅｔ ｈｅａｄｅｒ）は付けない。

図１４（ｂ）は、ＶＯＰヘッダに含まれるヘッダ情報の例を示したものである。図中、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ（ＭＴＢ）とＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ（ＶＴＩ）は、そのＶＯＰの時刻を示す情報である。この時刻情報は、そのＶＯＰのフレームを復号及び表示するタイミングを規定するために使用される。

ここで、図１５を用いて、ＶＯＰの時刻と、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ（ＭＴＢ）、ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ（ＶＴＩ）との関係を説明する。ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔは時刻をミリ秒精度で表す情報であり、ＶＯＰの時刻を１０００ミリ秒（１秒）で剰余を取った値が入る。ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅは時刻を秒精度で表す情報であり、直前に符号化したＶＯＰと同じ秒ならば“０”になり、異なる秒ならばその差分値になる。

例えば、図１５のようにＶＯＰの時刻（ミリ秒）が０，３３，７００，１０００，１３００，１８３３，２０６７の場合、ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔはそれぞれ１０００の剰余、すなわち、０，３３，７００，０，３００，８３３，６７である。また、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅが１となるのは、時刻を１０００で割って小数点以下を切り捨てた値（図の例では０，０，０，１，１，１，２となる）が、直前のＶＯＰと異なる場合、すなわち、時刻＝０，１０００，２０６７に相当するＶＯＰで“１”になり、それ以外のＶＯＰでは“０”になる。また、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅは可変長符号を用いた符号化を行ってもよい。例えばｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅが０，１，２…のときに、可変長符号をそれぞれ“１”，“０１”，“００１”…のように対応づけて用いることも可能である。

また、図１４（ｂ）のＶＯＰ予測モード（図中ＶＰＴ）はそのＶＯＰ全体の予測符号化モード（Ｉ，Ｂ，Ｐ）を示す情報である。ＶＯＰ量子化パラメータ（図中ＰＱ）はそのＶＯＰの符号化に用いられた量子化ステップ幅を示す情報である。ただし、ＶＯＰを複数のビデオパケットに分割して符号化する場合は、ビデオパケットごとに量子化ステップ幅を変更可能であるため、最初のビデオパケットの量子化ステップ幅を示す情報としてもよい。

図１４（ｃ）および（ｄ）は、ビデオパケットに付加されるヘッダ情報であるビデオパケットヘッダ（Ｖｉｄｅｏ ｐａｃｋｅｔ ｈｅａｄｅｒ）に含まれる情報の例を示したものである。マクロブロック番号（図中ＭＢＡ）はそのビデオパケットの最初のマクロブロックの番号を示す情報である。ビデオパケット量子化パラメータ（図中ＳＱ）はそのビデオパケットの量子化ステップ幅を示す情報である。ヘッダ拡張コード（図中ＨＥＣ）は、ビデオパケットヘッダに二重化（多重化）する重要情報が追加されているかどうかを示すフラグである。ＨＥＣが“０”のときは図１４（ｃ）のように重要情報は追加されておらず、またＨＥＣが“１”のときは図１４（ｄ）のように重要情報が追加されている。図１４（ｄ）の例では、画像フレームの時刻情報を復元できるようにするために、重要情報として、ＶＯＰの時刻を表すｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ（図中ＭＴＢ）とＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ（図中ＶＴＩ）がそのまま付加されている。

図１６は図１４の画像符号化列に対応した復号化装置の構成を示すブロック図である。ここでは、図２の復号化装置と相対応する部分に同一の符号を付してその差異のみを説明する。図１６の復号化装置においては、図２の復号化装置の構成に加え、ＶＯＰヘッダ復号回路６０１、ビデオパケットヘッダ復号回路６０２、時刻復号回路６０３、一時記憶回路６２１が設けられている。

同期検出回路１２２でＶＯＰ ｓｔａｒｔ ｃｏｄｅが検出されると、復号回路１２４にこれが検出されたことを示す信号が通知される。復号回路１２４はその通知に応答して、ＶＯＰ ｓｔａｒｔ ｃｏｄｅに引き続くＶＯＰヘッダが含まれる符号列、すなわち最初のビデオパケットをＶＯＰヘッダ復号回路６０１に送り、そこでＶＯＰヘッダの復号が実行させる。ＶＯＰヘッダ復号回路６０１では、ＶＯＰヘッダに含まれる時刻、ＶＯＰ符号化モード、ＶＯＰ量子化パラメータの復号が行われる。このうち、時刻については、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔが時刻復号回路６０３に送られ、そこで時刻の復号が行われる。

時刻復号回路６０３では、まず、送られてきたｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔが復号されるとともに、誤りがないかのチェックが行なわれる。誤りのチェックは、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔから復号された時刻が、実際に存在しうる時刻であるかを検証することによって行う。例えば、符号化した画像信号がＮＴＳＣ信号の場合にはフレームレートは３０Ｈｚであるため、時刻は１／３０秒（＝３３ミリ秒）の倍数の値を取るはずである。したがって、復号された時刻が１／３０秒の倍数でなかった場合にはｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔに伝送路誤りがあると判定する。同時に、ＰＡＬ信号の場合には１／２５秒の倍数になっているかでチェック可能である。

このようなエラーチェックのための基準値は、画像信号の種類（ＰＡＬ，ＮＴＳＣ，ＣＩＦ等）ごとに符号化装置、復号化装置であらかじめ定められた値を用意しておいてもよいし、（図示しない）システム情報の符号列にこれを示す情報を入れて示してもよいし、画像符号列の一部に入れてもよい。

時刻復号回路６０３での時刻の復号および誤りチェックが終わると、ＶＯＰヘッダ復号回路６０１には、誤りがあると判定されたときはそれを示す信号が、誤りがないと判定されたときは復号された時刻を示す信号が送られる。ＶＯＰヘッダ復号化回路６０１は、時刻に誤りがなかった場合には、一時記憶回路６２１にこの時刻を示す情報を格納した後、その情報と他の情報とをあわせて復号回路１２４に送る。一方、時刻に誤りがあったときには、そのＶＯＰヘッダが含まれる最初のビデオパケットの符号列は破棄され、次のビデオパケットの復号が開始される。

同期検出回路１２２でｒｅｓｙｎｃ ｍａｒｋｅｒ（ＲＭ）が検出されると復号回路１２４にそれらが検出されたことを示す信号が伝えられる。復号回路１２４はそれに応じて、ｒｅｓｙｎｃ ｍａｒｋｅｒ（ＲＭ）に引き続くビデオパケットヘッダが含まれる符号列、つまり２番目以降のあるビデオパケット、をビデオパケットヘッダ復号回路６０１に送り、そこでビデオパケットヘッダの復号を実行させる。ビデオパケットヘッダ復号回路６０２では、ビデオパケットヘッダに含まれるマクロブロック番号（ＭＢＡ）、ビデオパケット量子化パラメータ（ＳＱ）、ヘッダ拡張コード（ＨＥＣ）の復号が行われる。

もし、ヘッダ拡張コード（ＨＥＣ）＝“１”だった場合には、それに引き続くｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔを時刻復号回路６０３に送り、ここで時刻の復号を行う。時刻復号回路６０３では、先のＶＯＰヘッダの復号の場合と同様に、送られてきたｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔを復号するとともに、誤りがないかチェックを行う。時刻復号回路６０３での時刻の復号および誤りチェックが終わると、ビデオパケットヘッダ復号回路６０２には、誤りがあると判定されたときはそれを示す信号が、誤りがないと判定されたときは復号された時刻を示す信号が送られる。ビデオヘッダ復号化回路６０２では、時刻に誤りがあったときには、そのＶＯＰヘッダが含まれるビデオパケットの符号列は破棄し、次のビデオパケットの復号を行う。

一方、時刻に誤りがなかった場合には、第１の一時記憶回路６２１に格納されている時刻、すなわち直前に復号されたビデオパケットで得た時刻との比較を行い、現在のビデオパケットが含まれるＶＯＰの判定を行う。もし同一の時刻であれば、そのビデオパケットは直前に復号されたビデオパケットと同一のＶＯＰに含まれていると判定し、復号回路１２４に復号されたビデオパケットヘッダの情報を示す信号を送って復号を行う。一方、復号された時刻と一時記憶回路６２１に格納されている時刻が異なる場合には、これから復号しようとするビデオパケットは、直前に復号されたビデオパケットとは異なるＶＯＰに含まれていると判定する。この場合は、一時記憶回路６２１に復号された時刻を記録するとともに、復号回路１２４に対して、直前のビデオパケットとこのビデオパケットとの間にＶＯＰ領域があり、このビデオパケットから新しいＶＯＰとして復号することを示すＶＯＰ分割信号、復号された時刻、および、復号されたビデオパケットヘッダの情報を示す信号を送る。復号回路１２４ではＶＯＰ分割信号を受け、直前に復号されたビデオパケットでＶＯＰが終了したとみなしてＶＯＰ復号終了処理を行い、これから復号しようとするビデオパケットが次のＶＯＰの最初のビデオパケットとみなしてＶＯＰ復号開始処理を行い、引き続きビデオパケットの復号を行う。

このような処理を行うことにより、たとえＶＯＰ ｓｔａｒｔ ｃｏｄｅおよびＶＯＰヘッダが誤りによって失われてしまっても、ビデオパケットヘッダの時刻情報によってＶＯＰ境界を判定できるとともに、正しい復号時刻を得ることができるため、復号画像の品質が向上する。

図１７は、ＶＯＰヘッダおよびビデオパケットヘッダの第２の例を示したものである。図１４の例と比較すると、ヘッダに含まれる情報に誤りが入ったかどうかをチェックするＣＲＣ検査ビットが付加されている点が異なる。

図１７（ａ）はＶＯＰヘッダである。図中、ＣＷ１はＶＯＰヘッダに含まれるｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ、ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ、ＶＯＰ符号化モード、ＶＯＰ量子化パラメータに対するＣＲＣチェックを行うための検査ビットである。

図１７（ｂ）および（ｃ）はビデオパケットヘッダである。図中、ＣＷ２は、マクロブロック番号、ビデオパケット量子化パラメータ、および、ヘッダ拡張コードに対するＣＲＣチェックを行うための検査ビットである。また、ＣＷ３はＨＥＣ＝“１”、すなわち、重要情報が付加されたビデオパケットヘッダのみに存在し、重要情報、すなわち、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔに対するＣＲＣチェックを行うための検査ビットである。

図１８は図１７の画像符号列に対応する復号化装置の構成である。図１６の復号化装置に相対する部分に同一の符号を付してその違いのみを説明すると、ＣＲＣ判定回路６０５が加わっている点が異なる。

ＶＯＰヘッダ復号回路６０１では、ＶＯＰヘッダに含まれる情報の復号を行うと共に、ＣＲＣ検査ビットＣＷ１を用いてＶＯＰヘッダのＣＲＣチェックを行う。もし、ＣＲＣチェックで誤りありと判定された場合は、そのＶＯＰヘッダおよびそれが含まれるビデオパケットを破棄して、次のビデオパケットの復号に移る。

ビデオパケットヘッダ復号回路６０２では、ビデオパケットヘッダに含まれる情報の復号を行うと共に、ＣＲＣ検査ビットＣＷ２を用いてビデオパケットヘッダのＣＲＣチェックを行う。もし、ＣＲＣチェックで誤りありと判定された場合は、そのビデオパケットヘッダおよびそれが含まれるビデオパケットを破棄して、次のビデオパケットの復号に移る。もし、誤りなしと判定された場合には、復号されたヘッダ拡張コードＨＥＣが“１”であった場合には、それに引き続く追加された重要情報（ＭＴＢおよびＶＴＩ）を復号する。そしてＣＲＣ検査ビットＣＷ３を用いて重要情報に誤りが入っているか否かがチェックされる。もし、誤りがなければ前述の図１６の復号化装置の場合と同様に、ＶＯＰヘッダや他のビデオパケットヘッダ中の時刻情報との比較、ＶＯＰ分割処理等を行う。

以上説明したように、第２実施形態においては、画像フレームの時刻を表す情報をそのフレーム内のビデオパケットに付加しているため、ＶＯＰヘッダに含まれる時刻情報が誤りによって失われてもビデオパケットヘッダ中の重要情報により正しい時刻を復号できるため、復号装置において正しい時刻に画像を再生表示することができる。

また、ビデオパケットヘッダの時刻情報と、ＶＯＰヘッダあるいは他のビデオパケットヘッダの時刻情報を比較してＶＯＰ境界判定を行うことにより、ＶＯＰ ｓｔａｒｔ ｃｏｄｅが誤りによって失われてもＶＯＰの境界を正しく復号でき、復号画像の品質が向上する。

上述の例において、重要情報が含まれるかどうかは各ビデオパケット毎にヘッダ拡張コード（ＨＥＣ）によって示される。例えば、すべてのビデオパケットヘッダでＨＥＣ＝“１”として重要情報を入れるようにしてもよいし、一部のビデオパケットのみＨＥＣ＝“１”としてもよい。伝送路誤りの状態に応じて重要情報を入れるビデオパケットの数を制御することにより、少ないオーバーヘッドで効率的に重要情報を保護することができる。

例えば、上述の例のようにｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ（ＭＴＢ）とＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ（ＶＴＩ）を用いて復号時刻を表す場合には、ＭＴＢ＝０の場合には時刻情報が正しく復号できなくても復号時刻の誤差は１秒以下だが、ＭＴＢが０以外のＶＯＰでＭＴＢが正しく復号されないとそれ以降のＶＯＰで復号時刻に秒単位の大きな誤差が生じてしまう。このため、ＭＴＢが０のＶＯＰでは全てのビデオパケットでＨＥＣ＝“０”とするか少数のビデオパケットでのみＨＥＣ＝“１”とし、ＭＴＢが１以外のＶＯＰでは全てないしは多くのビデオパケットでＨＥＣ＝“１”としてＭＴＢが正しく復号されるようにしても良い。

第２の実施形態では、二重化する重要情報として、時刻を表す情報（ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ，ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ）を用いる例を示したが、この情報以外にも、例えば、符号化モードを表す情報、量子化パラメータを表す情報、動き補償に関する情報、動きベクトル情報等を合わせて二重化してもよい。

複数のＶＯＰ予測モード（例えば、フレーム内予測ＶＯＰ（Ｉ−ＶＯＰ）、前方予測ＶＯＰ（Ｐ−ＶＯＰ）、前方後方予測ＶＯＰ（Ｂ−ＶＯＰ）等）をＶＯＰ毎に切り替えて符号化する場合には、このＶＯＰ予測モードに関する情報が正しく復号できないとそのＶＯＰを復号することができない。ＶＯＰ予測モードもビデオパケットヘッダに二重化情報として含めることにより、ＶＯＰへッダのＶＯＰ予測モードが誤りによって失われても、ビデオパケットヘッダ中の二重化情報に含まれているＶＯＰ予測モード情報をもとにそのＶＯＰを復号することが可能である。以下、そのような例について説明する。

図２７は、第２の実施形態におけるビデオパケットヘッダの第３の例を示したものである。１つのフレーム（ＶＯＰ）全体の画像符号列およびＶＯＰへッダはそれぞれ図１４（ａ）および（ｂ）と同一である。図２７（ａ）および（ｂ）はそれぞれ、へッダ拡張コードＨＥＣ＝“０”およびＨＥＣ＝“１”の時のビデオパケットヘッダである。図１４のビデオパケットヘッダに比べ、ＨＥＣ＝“１”の時に、時刻を表す情報（図中ＭＴＢ，ＶＴＩ）に加え、ＶＯＰ予測モード（図中ＶＰＴ）が含まれている点が異なる。

図２７の画像符号列に対応する復号化装置はその全体構成は図１６と同じである。ただし、ビデオパケットヘッダ復号回路６０２の動作が異なる。また、一時記憶回路６２１に時刻情報（ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ，ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ）だけでなく、ＶＯＰ予測モード情報（ＶＰＴ）も記録する点が異なる。以下、この相違点を中心に復号化回路の動作を説明する。

同期検出回路１２２でＶＯＰ ｓｔａｒｔ ｃｏｄｅが検出されると復号回路１２４にこれが検出されたことを示す信号が伝えられる。復号回路１２４はそれに応じて、ＶＯＰ ｓｔａｒｔ ｃｏｄｅに引き続くＶＯＰへッダが含まれる符号列をＶＯＰヘッダ復号回路６０１に送り、ＶＯＰへッダの復号が行われる。ＶＯＰへッダ復号回路６０１では、ＶＯＰヘッダに含まれる時刻情報（ＭＴＢ，ＶＴＩ）、ＶＯＰ符号化モード情報（ＶＰＴ）、ＶＯＰ量子化パラメータ（ＰＱ）の復号が行われる。このうち、時刻については、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ（ＭＴＢ）およびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ（ＶＴＩ）を時刻復号回路６０３に送り、ここで時刻の復号が行われる。

時刻復号回路６０３では、まず、送られてきたｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔを復号するとともに、誤りがないかチェックを行う。誤りのチェックは、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔから復号された時刻が、実際に存在しうる時刻であるかを検証することによって行う。例えば、符号化した画像信号がＮＴＳＣ信号の場合にはフレームレートは３０Ｈｚであるため、時刻は１／３０秒（＝３３ミリ秒）の倍数の値を取るはずである。したがって、復号された時刻が１／３０秒の倍数でなかった場合にはｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔに伝送路誤りが有ると判定する。同様に、ＰＡＬ信号の場合には１／２５秒の倍数になっているかでチェック可能である。

画像信号の種類（ＰＡＬ，ＮＴＳＣ，ＣＩＦ等）は符号化装置、復号化装置であらかじめ定められた値を用いてもよいし、（図示しない）システム情報の符号列にこれを示す情報を入れて示してもよいし、画像符号列の一部に人れていも良い。

時刻復号回路６０３での時刻の復号および誤りチェックが終わると、ＶＯＰヘッダ復号回路６０１に、誤りが有ると判定されたときはそれを示す信号が、誤りが無いと判定されたときは復号された時刻を示す信号が送られれる。ＶＯＰヘッダ復号化回路６０１では、時刻に誤りがなかった場合には、さらにＶＯＰ予測モード情報（ＶＰＴ）を復号する。もし、ＶＯＰ予測モード情報にも誤りがなかった場合は、時刻情報とＶＯＰ予測モード情報を一時記憶回路６２１に格納し、他の情報とあわせて復号回路１２４に送る。一方、ＶＯＰヘッダに含まれる時刻情報やＶＯＰ予測モード情報に誤りがあったときには、そのＶＯＰヘッダが含まれるビデオパケットの符号列は破棄し、次のビデオパケットの復号を行う。

同期検出回路１２２でｒｅｓｙｎｃ ｍａｒｋｅｒが検出されると復号回路１２４にそれらが検出されたことを示す信号が伝えられる。復号回路１２４はそれに応じて、ｒｅｓｙｎｃ ｍａｒｋｅｒに引き続くビデオパケットヘッダが含まれる符号列をビデオパケットヘッダ復号回路６０１に送り、ビデオパケットヘッダの復号が行われる。ビデオパケットヘッダ復号回路６０１では、ビデオパケットヘッダに含まれるマクロブロック番号、ビデオパケット量子化パラメータ、へッダ拡張コードの復号を行う。

もし、へッダ拡張コードＨＥＣ＝“１”だった場合には、それに引き続くｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔを時刻復号回路６０３に送り、ここで時刻の復号を行う。時刻復号回路６０３では、先のＶＯＰヘッダの復号の場合と同様に、送られてきたｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅおよびＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔを復号するとともに、誤りがないかチェックを行う。時刻復号回路６０３での時刻の復号および誤りチェックが終わると、ピデオパケットヘッダ復号回路６０２に、誤りが有ると判定されたときはそれを示す信号が、誤りが無いと判定されたときは復号された時刻を示す信号が送られる。ビデオパケットヘッダ復号化回路６０２では、時刻に誤りがあったときには、そのビデオパケットヘッダが含まれるビデオパケットの符号列は破棄し、次のビデオパケットの復号を行う。

一方、時刻に誤りがなかった場合には、さらに時刻情報に引き続くＶＯＰ予測モード情報の復号を行う。もし、ＶＯＰ予測モード情報にも復号誤りが無かった場合には、復号された時刻情報と、第１の一時記憶回路６２１に格納されている時刻との比較を行い、そのビデオパケットが含まれるＶＯＰの判定を行う。もし同一の時刻であれば、そのビデオパケットは直前に復号されたビデオパケットと同一のＶＯＰに含まれていると判定し、復号回路１２４に復号されたビデオパケットヘッダの情報を示す信号を送って復号を行う。一方、復号された時刻と一時記憶回路６２１に格納されている時刻が異なる場合には、これから復号しようとするビデオパケットは、直前に復号されたビデオパケットとは異なるＶＯＰに含まれていると判定する。この場合は、一時記憶回路６２１に復号された時刻情報およびＶＯＰ予測モード情報を記録するとともに、復号回路１２４に、このビデオパケットがＶＯＰの最初であることを示すＶＯＰ分割信号、復号された時刻、および、復号されたビデオパケットヘッダの情報を示す信号を送る。復号回路１２４ではＶＯＰ分割信号を受け、直前に復号されたビデオパケットでＶＯＰが終了したとみなしてＶＯＰ復号終了処理を行い、これから復号しようとするビデオパケットが次のＶＯＰの最初のビデオパケットとみなしてＶＯＰ復号開始処理を行い、引き続きビデオパケットの復号を行う。

なお、ビデオパケットヘッダに含まれているＶＯＰ予測モード情報と、一時記憶回路６２１に記録されているＶＯＰ予測モード情報が異なる場合には、そのビデオパケットはビデオパケットヘッダに含まれているＶＯＰ予測モードを用いて復号処理を行っても良い。これにより、ＶＯＰヘッダに含まれているＶＯＰ予測モード情報が正しく復号できなかった場合にもそのビデオパケットを復号することが可能である。

このような処理を行うことによりＶＯＰ ｓｔａｒｔ ｃｏｄｅおよびＶＯＰヘッダが誤りによって失われてしまってもビデオパケットヘッダの時刻情報およびＶＯＰ予測モード情報によってＶＯＰ境界とＶＯＰ予測モードを正しく識別できるため、復号画像の品質が向上する。

なお、ＶＯＰへッダやビデオパケットヘッダを復号する際に、画像符号列中に（図示しない）誤り検査情報（ＣＲＣ、スタッフィングビット等）がある場合や、伝送路／蓄積媒体からの符号列を受信する回路、あるいは、受信した符号列を画像符号列、音声符号列等に分離する逆多重化回路において符号列中に誤りがあることを判定する機能がある場合には、これらによって誤り判定された結果を用いて復号されたＶＯＰヘッダやビデオパケットヘッダに誤りがあるかを判定するようにしても良い。もし、これによって復号された情報に誤りがあると判定された場合には、それらの情報は画像復号には用いないようにする。また、誤りがあると判定された情報が含まれるビデオパケットは復号せずに破棄するようにしても良い。

図２８は、第２の実施形態におけるビデオパケットヘッダの第４の例を示したものである。１つのフレーム（ＶＯＰ）全体の画像符号列およびＶＯＰヘッダはそれぞれ図１４（ａ）および図１７（ａ）と同一である。図２８（ａ）および（ｂ）はそれぞれ、ＨＥＣ＝“０”およびＨＥＣ＝“１”の時のビデオパケットヘッダである。図１７（ｂ），（ｃ）のビデオパケットヘッダに比べ、ＨＥＣ＝“１”の時に、時刻を表す情報（図中ＭＴＢ，ＶＴＩ）に加え、ＶＯＰ予測モード（図中ＶＰＴ）が含まれている点が異なる。

図２８の画像符号列に対応する復号化装置はその全体構成は図１８と同じである。ただし、ビデオパケットヘッダ復号回路６０２の動作が異なる。また、一時記憶回路６２１に時刻情報（ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ，ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ）だけでなく、ＶＯＰ予測モード情報（ＶＰＴ）も記録する点が異なる。以下、この相違点を中心に復号化回路の動作を説明する。

ＶＯＰヘッダ復号回路６０１では、ＶＯＰへッダに含まれる情報の復号を行うと共に、ＣＲＣ検査ビットＣＷ１を用いてＶＯＰヘッダのＣＲＣチェックを行う。もし、ＣＲＣチェックで誤りありと判定された場合は、そのＶＯＰヘッダおよびそれが含まれるビデオパケットを破棄して、次のビデオパケットの復号に移る。

ビデオパケットヘッダ復号回路６０２では、ビデオパケットヘッダに含まれる情報の復号を行うと共に、ＣＲＣ検査ビットＣＷ２を用いてビデオパケットヘッダのＣＲＣチェックを行う。もし、ＣＲＣチェックで誤りありと判定された場合は、そのビデオパケットヘッダおよびそれが含まれるビデオパケットを破棄して、次のビデオパケットの復号に移る。もし、誤り無しと判定された場合には、復号されたヘッダ拡張コードＨＥＣが１であった場合には、それに引き続く二重化された重要情報（図中ＭＴＢ，ＶＴＩおよびＶＰＴ）を復号する。そして、ＣＲＣ検査ビットＣＷ３を用いて二重化重要情報に誤りが入っているかチェックする。もし、誤りがなければ前述の図１６の復号化装置と同様に、ＶＯＰへッダや他のビデオパケットヘッダ中の時刻情報との比較、ＶＯＰ分割処理等を行う。

以上説明したように、時刻を表す情報を重要情報に含めているため、ＶＯＰヘッダに含まれる時刻情報が誤りによって失われてもビデオパケットヘッダ中の重要情報により正しい時刻を復号できるため、復号装置において正しい時刻に画像を再生表示することができる。また、ビデオパケットヘッダの時刻情報と、ＶＯＰヘッダあるいは他のビデオパケットヘッダの時刻情報を比較してＶＯＰ境界判定を行うことにより、ＶＯＰ ｓｔａｒｔ ｃｏｄｅが誤りによって失われてもＶＯＰの境界を正しく復号でき、復号画像の品質が向上する。

また、ＶＯＰ予測モードもビデオパケットヘッダに二重化情報として含めることにより、ＶＯＰへッダのＶＯＰ予測モードが誤りによって失われても、ビデオパケットヘッダ中の二重化情報に含まれているＶＯＰ予測モード情報をもとにそのＶＯＰを復号することが可能である。

また、第２の実施形態において、ＶＯＰヘッダ、ビデオパケットヘッダに同期符号（Ｐｉｃｔｕｒｅ ｓｔａｒｔ ｃｏｄｅ，ＶＯＰ ｓｔａｒｔ ｃｏｄｅ，Ｒｅｓｙｎｃ ｍａｒｋｅｒ等）と同一のパターンが生じないようにマーカービットと呼ばれるビットを付加してもよい。

図３１は図１４の符号列にマーカービットを付加した例である。図３１中、ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ（ＶＴＩ）の後ろにある“ｍａｒｋｅｒ”がマーカービットであり、予め定められたビット値（例えば“１”）を持つ。

図３２は、マーカービットのないビデオパケットヘッダとマーカービットのあるビデオパケットヘッダを比較して示したものである。図３２（ａ）のように、同期符号の一つであるｒｅｓｙｎｃ ｍａｒｋｅｒを“００００００００００００００００１”というビットパターンを持つ１７ビットの符号語とする。また、ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔ（ＶＴＩ）は１０ビットの任意の値を持つ符号語であり、ＭＴＢは最後のビットが０の可変長符号である。

図３２（ｂ）のようにマーカービットがない場合にはＶＴＩが０の連続するパターンになった場合にはｒｅｓｙｎｃ ｍａｒｋｅｒと同一のビットパターンが生じてしまう。図３２（ｂ）の例では、ＭＴＢの“０”とＶＴＩの“００００００００００”とそれに続く“０００００１”というビット列でｒｅｓｙｎｃ ｍａｒｋｅｒと同一のパターンが生じてしまっている。

これに対し図３２（ｃ）のようにＶＴＩの後ろにマーカービット“１”を付加することにより、ビデオパケットヘッダ中の連続する０ビットの数が最大１１ビット（ＭＴＢの最後の１ビットの０とＶＴＩの“００００００００００”）に抑えられるため、ｒｅｓｙｎｃ ｍａｒｋｅｒと同一のビットパターンを生じることはない。

なお、マーカービットは予め定められたビット値（図３２の例では“１”）を持つため、復号化装置においてマーカービットがこの予め定められた値かどうかを判定することにより、ＶＯＰヘッダ、ビデオパケットヘッダに伝送路誤りがあるかどうかを判定するようにしてもよい。

第２の実施形態で示した図１７、図２７、図２８等の他の符号列にも同様にマーカービットを付加して用いることができる。

また、このような符号列の構造はスライスレイヤを用いた場合にも適用できる。図３３は第１の実施形態におけるスライス構造を用いた符号列の別の例を示したものである。

図３３中、ＳＳＣはスライス同期符号、ＥＰＢは同期符号（例えばＳＳＣ）以外の部分が同期符号と同一のビットパターンにならないように付加されるビット値“１”を持つビット、ＭＢＡはそのスライスの最初のマクロブロックの番号を示す情報、ＳＱＵＡＴＮＴはそのスライスで用いられる量子化パラメータ、ＧＦＩＤはピクチャヘッダに含まれる情報またはその一部を示すための情報である。また、同期符号ＳＳＣを符号列中のバイト位置にそろえる場合にはスタッフィングビットＳＳＴＵＦがＳＳＣの前に付加される。Ｍａｃｒｏｂｌｏｃｋ Ｄａｔａは各マクロブロックの情報である。

ＴＲが二重化された重要情報であり、時刻情報（Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎｃｅ）を示している。ＴＲＩはＴＲが付加されたかどうかを示す１ビットのフラグで、ＴＲＩ＝１の時にＴＲが付加される。

次に、本発明の第３実施形態について説明する。

図１９は本第３実施形態に係る動画像・音声符号化装置の全体構成を示す。圧縮符号化する動画像信号１０１Ａおよび音声信号１０２Ａはそれぞれ動画像符号化装置１１１Ａおよび音声符号化装置１１２Ａに入力され、それぞれ圧縮されて動画像符号列１２１Ａおよび音声符号列１２２Ａが出力される。動画像符号化装置および音声符号化装置の構成については、文献（安田浩編著、“マルチメディア符号化の国際標準”、丸善（平成６年））等の詳しいのでここでは省略する。

動画像符号列１２１Ａおよび音声符号列１２２Ａは、データ符号列１０３Ａと共に、多重化装置１３０Ａで多重化され、多重化符号列１３５Ａが出力される。

図２０は、図１９の動画像・音声符号化装置に対応する動画像・音声復号化装置の全体構成を示す図である。動画像・音声符号化装置からの多重化符号列１８５Ａは、多重分離装置１８０Ａで分離され、動画像符号列１７１Ａ、音声符号列１７２Ａおよびデータ符号列１７３Ａが出力される。動画像符号列１７１Ａ、音声符号列１７２Ａはそれぞれ動画像復号化装置１６１Ａおよび音声復号化装置１６２Ａに入力され、そこでそれぞれ復号されることにより、再生動画像信号１５１Ａおよび再生音声信号１５２Ａが出力される。

図２１（ａ）および（ｂ）は、動画像符号列１２１Ａの２つの例を示したものである。動画像符号化装置１１１Ａにおける符号化はピクチャ（フレーム，ＶＯＰ）単位に行われて動画像符号列１２１Ａが作成される。ピクチャの中はさらにマクロブロックと呼ばれる小領域に分割されて符号化が行われる。

１ピクチャの動画像符号列はピクチャのスタート位置を示す一意復号可能な符号であるピクチャスタートコード（ＰＳＣ）２０１Ａ（ＶＯＰスタートコードともいう）からはじまる。

ピクチャスタートコード２０１Ａの後ろにはピクチャヘッダ（ＰＨ）２０２Ａ（ＶＯＰヘッダともいう）が続く。ピクチャヘッダ２０２Ａには、ピクチャの時間的位置を示すＰＴＲ（Ｐｉｃｔｕｒｅ Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎｃｅ）２２１Ａ、ピクチャ全体の符号化モードを示すピクチャ符号化モード（ＰＣＭ）２２２Ａ、ピクチャ量子化ステップサイズ（ＰＱ）２２３Ａが含まれている。ピクチャヘッダ２０２Ａの後ろには各マクロブロックの符号化データ２０３Ａが続く。

図２１（ｂ）は複数のマクロブロックをまとめたスライス毎に符号化を行った例を示したものである。

各スライスの符号列においては、スライスのスタート位置を示す一意復号可能な符号である再同期マーカー（ＲＭ）２１０Ａ、スライスヘッダ（ＳＨ）２１１Ａが続き、さらに各マクロブロックのマクロブロックデータ（ＭＢ）２０３Ａが続く。スライスヘッダ２１１Ａにはスライスの最初のマクロブロックの番号を示すＳＭＢＮ（Ｓｌｉｃｅ Ｍａｃｒｏｂｌｏｃｋ Ｎｕｍｂｅｒ）２３１Ａ、量子化ステップサイズ（ＳＱ）２３２Ａが含まれている。

再同期マーカー２１０Ａおよびスライスヘッダ２１１Ａは、あらかじめ定められた一定ビット毎に付加しても良いし、画像フレーム中の特定の位置に付加するようにしてもよい。このようにスライス構造をもつ符号化を行った場合には、動画像符号列中に誤りが混入しても、一意復号可能な再同期マーカー２１０Ａで再同期をとることができ、誤りが伝播する範囲をそのスライスの中に収めることができるため、伝送路誤りがあったときの再生画像の品質が向上する。

図２２は、多重化器で多重化された多重化符号列１３５Ａの一例を示す図である。多重化符号列１３５Ａは、動画像符号列（ＶＩＤＥＯ）、音声（オーディオ）符号列（ＳＰＥＥＣＨ）、データ，制御情報符号列（ＤＡＴＡ）が所定のサイズごとにそれぞれ多重化されている複数の多重パケットから構成されている。図２２中、３０１Ａ，３０２Ａ，３０３Ａで示す区間がそれぞれひとつの多重化パケットである。これは、全ての多重化パケットが同じ長さ（ビット数）の固定長パケットでも良いし、多重化パケット毎に長さの異なる可変長パケットでも良い。

各多重化パケットは最初に多重化パケットのスタート位置を示す多重化スタートコード（ＭＳＣ）３１０Ａが付き、その後ろに多重化ヘッダ（ＭＨ）３１１Ａ，３１２Ａ，３１３Ａが続く。その後ろに図１９の動画像符号列１２１Ａ、音声符号列１２２Ａ、データ符号列１０３Ａをパケット単位などで多重化した多重化ペイロード（図中３２１Ａ，３２２Ａ，３２３Ａ）が続く。

図２３（ａ）および図２３（ｂ）は多重化ヘッダ（ＭＨ）３１１Ａ中に含まれる情報の第１の例を示す図である。図中、多重化コード（ＭＣ）３５１Ａは、多重化ペイロード３２１Ａの中に動画像符号列（Ｖｉｄｅｏ）、音声符号列（Ｓｐｅｅｃｈ）、データ符号列（Ｄａｔａ）がどのように多重化されているかを示している情報である。この多重化コード情報（ＭＣ）に伝送誤りが生じると、多重化がどのように行われているかが分からなくなるため、多重分離装置１８０Ａで動画像符号列、音声符号列、データ符号列を正しく分離できなくなる。このため、動画像復号化装置１６１Ａ、音声復号化装置１６２Ａでも正しい復号を行うことができず、再生動画像信号、音声信号の品質が劣化してしまう。

これを避けるため、多重化ヘッダ（ＭＨ）はいずれも誤り検査符号および誤り訂正符号により強い誤り保護を行う。図２３中、３５３Ａ（ＣＲＣ）がＣＲＣ誤り検査ビット、３５４Ａ（ＦＥＣ）が誤り訂正符号の検査ビットである。

本第３実施形態では、動画像符号列（Ｖｉｄｅｏ）を含む多重化パケットの多重化ヘッダ（ＭＨ）には、動画像符号列（Ｖｉｄｅｏ）のビデオヘッダ情報（ＶＨＤ）３５２Ａも多重化コード情報（ＭＣ）と一緒に含められている。図２３の例では、ビデオヘッダ情報（ＶＨＤ）３５２Ａが含まれる多重化ヘッダ（ＭＨ）は、ＭＨ１（３１１Ａ）およびＭＨ２（３１２Ａ）である。ビデオヘッダ情報（ＶＨＤ）３５２Ａは、動画像符号化におけるピクチャ（フレーム）全体の符号化モード等の、誤りが混入すると再生画像に大きな劣化が生じてしまう重要な情報である。例えば、動画像符号化列が図２１に示すものの場合は、ピクチャヘッダ２０２Ａやスライスヘッダ２１１Ａないしはその中の一部の情報をビデオヘッダ情報（ＶＨＤ）３５２Ａとして多重化ヘッダ中に入れる。

このように、動画像符号化におけるピクチャヘッダ等の重要情報を多重化ヘッダに挿入して、多重化コード（ＭＣ）と合わせて誤り訂正符号および誤り検出符号を生成してそれらによって強い誤り保護を行うことが本第３実施形態の特徴である。これにより、重要情報に対して誤り保護を行わない従来の動画像符号化装置に比べ、伝送路誤りに対する耐性が向上する。

図２４は多重化ヘッダ（ＭＨ）の第２の例を示す図である。図２３に示した第１の例に相対応する情報に同一の符号を付して相違点のみを説明すると、動画像符号列（Ｖｉｄｅｏ）を含む多重化パケットには、多重化ヘッダの中にビデオヘッダ情報（ＶＨＤ）３５２Ａに加え、動画像符号列のピクチャやスライスの境界の位置を示すピクチャポインタ（ＡＬＰ）４５１Ａが含まれていることが第１の例と異なる。

ピクチャポインタ（ＡＬＰ）４５１Ａがない場合には、多重分離装置１８０Ａで動画像符号列を分離した後、動画像復号化装置１６１Ａでピクチャスタートコードや再同期マーカによりピクチャやスライス境界を検出する必要がある。これに対し、ピクチャポインタ（ＡＬＰ）４５１Ａを多重化ヘッダに含めた場合には、ピクチャやスライス境界がこのピクチャポインタによっても検出できる。ピクチャポインタは多重化ヘッダ中で強く誤り保護が行われているため、ピクチャ境界やスライス境界が正しく検出される確率が向上し、再生画像の品質が向上する。

また、ビデオヘッダ情報（ＶＨＤ）３５２Ａには、ピクチャヘッダ、スライスヘッダに含まれる全ての情報を含めても良いし、一部の情報だけを含めるようにしてもよい。

図２５は、動画像符号列（Ｖｉｄｅｏ）を含む多重化パケット６０１Ａ，６０１Ｂそれぞれの多重化ヘッダ中に、それぞれ対応する多重化コード（ＭＣ１）６１１Ａ，（ＭＣ２）６２１Ａに加えて、ビデオヘッダ情報として、Ｐｉｃｔｕｒｅ Ｔｉｍｅ Ｒｅｆｅｒｅｍｃｅ（ＰＴＲ１）６１２Ａ，（ＰＴＲ２）６２２Ａのみを含めた例である。

図中、多重化パケット６０１Ａの多重化ペイロード中には、ＰＴＲ＝１のピクチャの符号列の最後のスライス（Ｓｌｉｃｅ Ｎ）６１３Ａと、それに続くＰＴＲ＝２のピクチャのピクチャスタートコード（ＰＳＣ）６１４Ａと、ＰＴＲ＝２のＰｉｃｔｕｒｅ Ｔｉｍｅ Ｒｅｆｅｒｅｍｃｅ（ＰＴＲ２）６１５Ａと、ピクチャ符号化モード（ＰＣＭ２）６１６Ａと、ＰＴＲ＝２のピクチャの符号列の最初のスライスの前半部分（Ｓｌｉｃｅ １）６１７Ａが含まれている。また、多重化パケット６０２Ａのペイロードには、ＰＴＲ＝２のピクチャの符号列の最初のスライスの後半分（Ｓｌｉｃｅ １）６２３Ａ、第２スライスの再同期マーカー（ＲＭ）６２４Ａ、スライスヘッダ（ＳＨ２）６２５Ａ、ＰＴＲ＝２のピクチャの符号列の第２スライス（Ｓｌｉｃｅ ２）６２６Ａが含まれている。

多重化パケット６０１Ａの多重化ヘッダ（ＭＨ１）には、その多重化パケット６０１Ａ中に最後の部分の符号列があるＰＴＲ＝１のピクチャのＰＴＲ６１２Ａが含まれ、多重化コード（ＭＣ１）６１１Ａと共に誤り訂正、検出符号（ＣＲＣ，ＦＥＣ）で誤り保護される。したがって、多重化ペイロードの動画像符号化列中に含まれるＰＴＲ（６１５Ａ）が誤りによって正しく復号できなくても、多重化ヘッダ中のＰＴＲ（６１２Ａ）が正しく復号され、正しいＰＴＲを得ることができるので、復号したピクチャを正しい時間に表示することができる。

さらに、スライス構造を用いた動画像符号化方式においては、スライススタートコード（再同期マーカ）、スライスヘッダの含まれる多重化パケットのビデオヘッダ情報３５２ＡにＰＴＲを入れれば、ピクチャスタートコードが誤りによって正しく復号できなくても、このＰＴＲによってピクチャ境界を判定できる。例えば、ピクチャスタートコード（ＰＳＣ）６１４ＡやＰＴＲ６１５Ａが欠落しても、次の多重化パケットの多重化ヘッダ中にＰＴＲ６２２Ａが含まれているため、これとそれより前の多重化パケットの多重化ヘッダに含まれるＰＴＲ（例えばＰＴＲ６１２Ａ）を比較し、これが等しくなければ多重化パケット６０１Ａにピクチャ境界があると判定する。この場合、多重化パケット６０２Ａ中に再同期マーカーがある最初のスライス（図の例では６２４Ａのｓｌｉｃｅ２から）正しく復号を行うことができる。

ピクチャ符号化モードが頻繁に変わる符号化方式（例えばＢピクチャを用いた符号化方式等）を用いる場合には、多重化ヘッダにピクチャ符号化モードを含めるようにしてもよい。

図２６は多重化符号列の第３の例である。この多重化符号列では、各多重化パケット７０１Ａ，７０２Ａ，７０３Ａ中にひとつのピクチャないしはスライスが入り、各ピクチャヘッダ（ＰＨ１）７１２Ａ、スライスヘッダ（ＳＨ２）７２２Ａが多重化ヘッダ７５１Ａ，７５２Ａの中で多重化コード（ＭＣ１）７１１Ａ，（ＭＣ２）７２１Ａと一緒に誤り保護されている。このように、動画像符号化のピクチャ、スライスと、多重化パケットをそろえておけば、各多重化パケットは必ずピクチャないしはスライスのスタート位置であることが一意に分かるため、多重分離された画像符号列の中から改めてピクチャスタートコードや再同期マーカーを検出する必要がなく、処理量が削減される。さらには、多重化スタートコードを伝送路誤りに対して強い耐性を有する符号としておけば、ピクチャやスライスのスタート位置が正しく特定できずにそのピクチャやスライスが復号できない確率が少なくなる。

なお、本第３実施形態では、１つの画像／音声信号を符号化、復号化する例を示したが、複数の画像／音声信号符号化装置を用いて複数の画像／音声信号を符号化および多重化し、また複数の画像／音声信号復号化装置を用いて複数の画像／音声信号を分離／復号化する場合にも同様に応用できる。この場合、多重化ヘッダ情報に含めるビデオヘッダ情報には、複数の画像信号を識別する情報を含めるようにしても良い。

また、本第３実施形態と前述の第１および第２実施形態とを適宜組み合わせて伝送用符号列を生成することにより、さらに信頼性の高い符号化情報の伝送が可能となる。第３実施形態において、時刻を表すＰＴＲ（Ｐｉｃｔｕｒｅ Ｔｉｍｅ Ｒｅｆｅｒｅｎｃｅ）を第２実施形態と同様のｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ，ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔとして取り扱うことも可能である。このように用いることにより、第２実施形態で説明したのと同様に、ｍｏｄｕｌｏ ｔｉｍｅ ｂａｓｅ，ＶＯＰ ｔｉｍｅ ｉｎｃｒｅｍｅｎｔの規則性を利用したチェックを行ってもよい。

次に本発明による情報を蓄積する媒体に関する具体例について説明する。

図２９は、本発明による符号化装置から出力された画像符号列が蓄積される記録媒体８１０を用いて画像信号を再生するシステムを示す図である。記録媒体８１０には、本発明による画像符号化装置で符号化された画像符号列を含む符号列が蓄積されている。８２０はこの蓄積媒体８１０に蓄積されている符号列から、画像信号を再生する復号装置であり、８３０は再生画像を出力する画像情報出力装置である。ここで、画像情報出力装置とは、例えばディスプレイ等を示す。あるいは、再生された画像信号を（図示しない）蓄積媒体に記録しても良いし、図示しない伝送路を介して他の装置又はシステムに伝送してもよい。

このような構成の本システムは、蓄積媒体８１０に前述の各実施形態で説明した如きフォーマットの符号列を蓄積してある。この符号列は、ＶＯＰ（ピクチャ、フレームともいう）ヘッダ情報の一部がビデオパケット（あるいはスライス、ＧＯＢ等）ヘッダの一部に二重化情報として記録されていることが特徴である。復号化装置８２０はこの蓄積媒体８１０に蓄積されている符号列から、画像信号を再生する。すなわち、復号化装置８２０は、蓄積媒体８１０より信号線８０１を介して符号列を読み込み、図３０に示す手順により再生画像を生成する。

以下、図３０にしたがって復号化装置８２０での処理の内容を説明する。

蓄積媒体８１０から画像符号列を順次読み込み、まず同期符号を検出する（ステップＳ１１）。もし、検出された同期符号がＶＯＰ ｓｔａｒｔ ｃｏｄｅだったら（ステップＳ１２のＹＥＳ）、直前に復号されたＶＯＰ（フレーム）を画像情報出力装置へ出力する処理を行う（ステップＳ１３）。そして、画像符号列中ＶＯＰ ｓｔａｒｔ ｃｏｄｅに引き続くＶＯＰへッダ（図２９中ＶＯＰ ｈｅａｄｅｒ）の復号を行う（ステップＳ１４）。もし、ＶＯＰヘッダが正しく復号できたら（ステップＳ１５のＹＥＳ）、復号化装置中の一時記憶回路に記録されている情報を復号されたＶＯＰヘッダ情報（時刻情報、ＶＯＰ予測モード等）で置き換える（ステップＳ１６）。そしてＶＯＰヘッダに引き続くマクロブロックデータ（図２９中ＭＢ ｄａｔａ）を復号し、そのビデオパケットの復号を行う（ステップＳ１７）。

もし、検出された同期符号がｒｅｓｙｎｃ ｍａｒｋｅｒだったら（ステップＳ１８のＹＥＳ）、ｒｅｓｙｎｃ ｍａｒｋｅｒに引き続くビデオパケットヘッダ（マクロブロック番号（ＭＢＡ）、ビデオパケット量子化パラメータ（ＳＱ）、へッダ拡張コードＨＥＣ））の復号を行う（ステップＳ１９）。もし、ビデオパケットヘッダ中のヘッダ拡張コードＨＥＣ＝“０”だった場合には（ステップＳ２０のＮＯ）、そのビデオパケットの復号を行う（ステップＳ１７）。もし、ヘッダ拡張コードＨＥＣ＝“１”だった場合には（ステップＳ２０のＹＥＳ）、それに引き続く二重化情報（図２９中ＤＵＰＨ）の復号を行う（ステップＳ２１）。もし、二重化情報が正しく復号できたならば（ステップＳ２２のＹＥＳ）、この二重化情報と、一時記憶回路に保存されていた情報を比較する（ステップＳ２３）。もし比較結果が等しければ（ステップＳ２３のＮＯ）、ビデオパケットヘッダに引き続くマクロブロックデータ（図２９中ＭＢｄａｔａ）を復号し、そのビデオパケットを復号する（ステップＳ１７）。もし、比較結果が等しくなければ（ステップＳ２３のＹＥＳ）、このピデオパケットは直前に復号されたＶＯＰとは異なるＶＯＰに属すると判定し、直前に復号したＶＯＰを画像情報出力装置に出力する処理を行い（ステップＳ２４）、一時記憶装置に記録されている情報を復号した二重化情報で置き換える（ステップＳ２５）。さらにそのビデオパケットの復号を行う（ステップＳ１７）。

以上、図３０に示した同期符号検出から始まる一連の処理を、蓄積媒体８１０に記録されている画像符号列を順次読み込みながら繰り返していき、動面像信号を再生する。

なお、画像符号列をそのまま蓄積媒体に記録するのではなく、音声信号やオーディオ信号を符号化した符号列、データ、制御情報等との多重化を行った符号列を蓄積媒体に記録するようにしても良い。この場合、蓄積媒体に記録した情報を画像復号化装置８２０で復号する前に、逆多重化装置で画像符号列と音声・オーディオ符号列、データ、制御情報を逆多重化する処理を行い、逆多重化された画像符号列を復号化装置８２０で復号する。

また、図２９では、蓄積媒体８１０に記録されている情報が復号化装置８２０に信号線８０１を介して伝達される例を示したが、信号線以外に、有線／無線／赤外線等の伝送路を介して情報を伝達しても構わない。

以上のように本発明によれば、蓄積媒体に記録されている符号列は、重要な情報が二重化して記録されているため、蓄積媒体に記録された情報に誤りがある場合や、蓄積媒体に記録された情報を再生画像に送る信号線や伝送路において誤りが生じる場合においても、劣化の少ない再生画像を再生することができる。

次に、本発明の第４の実施形態について説明する。

本実施形態に係る動画像・音声符号化装置および動画像・音声復号化装置の全体構成はそれぞれ図１９および図２０と同一である。ただし、各部の動作は第３の実施形態と異なる。以下、この相違点を中心に説明する。

図３４（ａ），（ｂ）および（ｃ）は動画像符号列１２１Ａの３つの例を示したものである。動画像符号化装置１１１Ａにおける符号化はＶＯＰ（ピクチャ、フレーム、フィールドともいう）単位に行われて動画像符号列１２１Ａが作成される。ピクチャの中はさらにマクロブロックと呼ばれる小領域に分割されて符号化が行われる。

１つのＶＯＰの動画像符号列は一意復号可能な同期符号であるＶＯＰスタートコード（図中ＶＳＣ）（ピクチャスタートコードともいう）からはじまる。ＶＯＰスタートコードの後ろにはＶＯＰヘッダ（図中ＶＨ）（ピクチャヘッダともいう）が続く。ＶＯＰヘッダには、ＶＯＰの時刻を表す情報、ＶＯＰ符号化モード、ＶＯＰ量子化ステップサイズ等が含まれている。ＶＯＰヘッダの後ろには各マクロブロックの符号化データが続く。

図３４（ａ）はＶＯＰ内をビデオパケット（スライス、ＧＯＢともいう）と呼ばれる符号化単位に区切って符号化を行う例を示したものである。ビデオパケットは１ないしは複数のマクロブロック（図中ＭＢｄａｔａ）からなる。例えば動きベクトルの隣接マクロブロックの動きベクトルからの予測のように、複数マクロブロックにわたる予測を用いた動画像符号化を行う場合には、伝送路誤りの影響が他のビデオパケットに及ばないようにするため、同一のビデオパケットに含まれるマクロブロックだけから予測を行うようにしてもよい。

ＶＯＰの最初のビデオパケット以外の各ビデオパケットの符号列は、一意復号可能な同期符号である再同期マーカ（ＲＭ）（スライススタートコード、ＧＯＢスタートコードともいう）と、ビデオパケットヘッダ（ＶＰＨ）（スライスヘッダ、ＧＯＢヘッダともいう）から始まり、さらに各マクロブロックのデータ（ＭＢｄａｔａ）が続く。ビデオパケットヘッダにはビデオパケットの最初のマクロブロックの位置を示すマクロブロック番号（あるいはスライス番号やＧＯＢ番号）、ビデオパケットの量子化ステップサイズ等が含まれている。さらに、第１および第２の実施形態で説明したように、ＶＯＰヘッダ情報等の重要情報を含めるようにしてもよい。

図３４（ｂ）は、動画像符号列を、予測モードや動きベクトルに関する情報と、動き補償適応予測の残差信号、あるいは、それを直交変換（ＤＣＴ等）した直交変換係数に関する情報との２つに分けて符号化した符号列の例を示したものである。各ビデオパケットの符号列の中で、予測モードや動きベクトルに関する情報（図中Ｍｏｔｉｏｎ）は前方（図の例ではビデオパケットヘッダないしはＶＯＰヘッダのすぐ後）にあり、予測残差ＤＣＴ係数に関する情報（図中Ｔｅｘｔｕｒｅ）は後方にある。２種類の情報の間はモーションマーカ（図中ＭＭ）で区切られている。

図３４（ｃ）は、符号化する画像の形状に関する情報をあわせて符号化する動画像符号化方式の符号列の例を示したものである。図中、Ｓｈａｐｅが形状情報に関する情報であり、各ビデオパケットのなかで予測モードや動きベクトルに関する情報（Ｍｏｔｉｏｎ）よりも前方（図の例ではビデオパケットヘッダないしはＶＯＰヘッダのすぐ後）にある。形状情報（Ｓｈａｐｅ）と予測モードや動きベクトルに関する情報（Ｍｏｔｉｏｎ）の間はシェープマーカ（図中ＳＭ）で区切られている。

図３４の動画像符号化列において、スタートコードや再同期マーカ等の同期符号は、あるビット数の整数倍のビット位置に揃えるようにすることが好ましい。図３５は、各ビデオパケットの最初にあるＶＯＰスタートコード（ＶＳＣ）および再同期マーカ（ＲＭ）の位置をＮビットの整数倍の位置にそろえた例である。このような処理を行うことにより、同期符号を任意のビット位置に配置する符号化方式に比べ、復号化装置で同期符号を検出する位置を１／Ｎに削減することができる。これにより、復号化装置における同期検出処理が簡略化されると共に、伝送路誤りによって同期符号と同一のビットパターン（疑似同期符号）が生じ同期符号が誤って検出されてしまう類似同期と呼ばれる現象の確率を１／Ｎに抑えることができ、伝送路誤りが入ったときの復号画像の品質が向上する。

このように同期符号の位置を揃えるために、同期符号の直前の情報と同期符号の間にはスタッフィングビット（図３５（ａ）中 ｓｔｕｆｆｉｎｇ ｂｉｔｓ）を入れる。図３５（ｂ）は、Ｎ＝８の時のスタッフィングビットの符号表の例を示した図である。このスタッフィングビットは従来多く用いられてきた全てのビットが“０”のスタッフィングビット等と異なり、符号列の逆方向から一意に復号でき、スタッフィングビットの長さを復号装置で特定できることが特徴である。図３５（ｂ）の例では、スタッフィングビットの最初の１ビットが“０”で他のビットは“１”である。したがって、スタッフィングビットの最後のビット、すなわち、同期符号の直前のビットから順に逆方向にみて最初の“０”のビットがスタッフィングビットの最初のビットと判定することが可能である。

このように、スタッフィングビットの最初のビットの位置を特定できるため、復号装置において符号列中に伝送路誤りが混入したことを容易に検出することが可能である。符号列の復号が正しく行われた場合には、スタッフィングビットの直前のデータの復号終了位置と、スタッフィングビットの開始位置が一致しているはずである。もし、復号終了位置とスタッフィングビットの開始位置がずれていた場合には、符号列に伝送路誤りが入ったと判定し、その符号列を復号に用いないようにしても良い。

また、符号列の逆方向からも復号可能な可変長符号を用いて逆方向の復号を行う場合には、復号化装置において逆方向復号の開始位置を特定する必要がある。スタッフィングビットは復号開始位置はスタッフィングビットの直前のビットであるが、従来の、例えば全てのビットが同一のビット値をもつスタッフィングビットはその長さを特定できないため、復号装置で逆方向復号の開始位置がわからない。これに対し、図３５のスタッフィングビットは最初のビットの位置を特定することができるため、逆方向復号の開始位置を特定することが可能である。

また、同期符号が“００００００００００００００００１”のように“０”が多く含まれる符号語の場合、従来の全て“０”のスタッフィングビットは誤りが混入することにより同期符号と同一のビットパターンになってしまう確率が高く、類似同期を生じやすいという問題があった。これに対し、図３５のスタッフィングビットは最初のビット以外全て“１”のため、“０”が多く含まれる同期符号とハミング距離が離れており、類似同期が生じる可能性が低い。

以上のように、スタッフィングビットを予め定められた規則に従って生成することにより、復号化逆多重化装置において、多重化符号列中のスタッフィングビットをその生成規則と照合し、もしその生成規則に反すると判定された場合には、多重化符号列中に誤りが混入したと判定することが可能である。これにより、復号化逆多重化装置において、逆多重化し、復号化した信号に大きな劣化が生じないような処理を行うことにより、多重化符号列中に誤りが混入したときの復号化信号の品質を向上させることができる。

なお、ＶＯＰスタートコードや再同期マーカ以外に、モーションマーカ（ＭＭ）やシェープマーカ（ＳＭ）もあるビット数の整数倍のビット位置に揃え、その前に図３５（ｂ）のようなスタッフィングビットを入れても良い。これにより、形状情報、予測モードや動きベクトル情報等も誤り検出や逆方向復号を行うことができる。

図３６は多重化器１３０Ａの構成の例を示した図である。図３６の例では、多重化処理をアダプテーション層１０３１Ａ（Ａｄａｐｔａｔｉｏｎ Ｌａｙｅｒ）と多重化層１０３２Ａ（Ｍｕｌｔｉｐｌｅｘ ｌａｙｅｒ）と呼ばれる２段階で行う。アダプテーション層１０３１Ａへの入力は動画像符号列１２１Ａ、音声符号列１２２Ａ、データ符号列１０３Ａである。アダプテーション層で処理を行った出力１０４１Ａ，１０４２Ａ，１０４３Ａは多重化層１０３２Ａに入力される。多重化層からの出力が多重化符号列１３５Ａになる。

図３７は動画像符号列１２１Ａに対してアダプテーション層での処理を行った出力符号列１０４１Ａの例を示したものである。アダプテーション層での処理は、動画像符号列１２１Ａをある単位に区切ったＡＬ−ＳＤＵ（アクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ）ともいう）という単位毎に処理が行われる。１つのＡＬ−ＳＤＵをアダプテーション層で処理した出力はＡＬ−ＰＤＵとよばれる。図３７は１つのＡＬ−ＰＤＵの構成を示したものである。各ＡＬ−ＰＤＵにはＡＬヘッダ（ＡＬ−ｈｅａｄｅｒ）がつく。ＡＬヘッダには、例えば、ＡＬ−ＰＤＵの番号、属性、動画像符号化や多重化のモード等を示す情報を入れても良い。ＡＬヘッダの後ろにはＡＬペイロード（ＡＬ ｐａｙｌｏａｄ）としてＡＬ−ＳＤＵが続く。さらに、その後ろにＣＲＣ検査ビットなど、ＡＬ−ＰＤＵに伝送路誤りが入ったかどうかを検出するための検査ビットを付けても良い。

アダプテーション層では、音声符号列１２１Ａやデータ符号列１０３Ａに対しても同様の処理を行い、音声符号列およびデータ符号列に対するＡＬ−ＰＤＵ１０４２Ａおよび１０４３Ａを出力する。ただし、ＡＬヘッダに入れる情報やＣＲＣ検査ビットの長さや有無などは動画像符号列に対するＡＬ−ＰＤＵ１０４１Ａと異なるようにしても良い。

アダプテーション層で作成されたＡＬ−ＰＤＵ１０４１Ａ，１０４２Ａ，１０４３Ａは、多重化層で多重化される。多重化はＭＵＸ−ＰＤＵと呼ばれる単位毎に行う。図３８（ａ）〜（ｃ）は多重化を行ったＭＵＸ−ＰＤＵの例を示したものである。ＭＵＸ−ＰＤＵには、多重化同期符号（ＭＵＸ ｆｌａｇ）、多重化ヘッダ（ＭＵＸ ｈｅａｄｅｒ）がつく。多重化ヘッダには、ＭＵＸ−ＰＤＵに多重化されているアダプテーション層からの出力の種類や多重化の仕方、ＭＵＸ−ＰＤＵの長さ等の情報を入れても良い。

図３８（ａ）は１つのＭＵＸ−ＰＤＵの中に１つのＡＬ−ＰＤＵを入れる例を示したものである。

図３８（ｂ）は１つのＡＬ−ＰＤＵを複数（図の例では２つ）のＭＵＸ−ＰＤＵに分割する例を示したものである。この場合、多重化ヘッダには、ＭＵＸ−ＰＤＵに含まれる分割されたＡＬ−ＰＤＵが、１つのＡＬ−ＰＤＵ全体の何番目にあたるかを示す情報や、１つのＡＬ−ＰＤＵの最初あるいは最後の分割ＡＬ−ＰＤＵであることを示す情報を入れても良い。

図３８（ｃ）は、１つのＭＵＸ−ＰＤＵに複数のＡＬ−ＰＤＵを入れる例を示したものである。図の例では、動画像符号列のＡＬ−ＰＤＵ（Ｖｉｄｅｏ ＡＬ−ＰＤＵ）と音声符号列のＡＬ−ＰＤＵ（Ａｕｄｉｏ ＡＬ−ＰＤＵ）を合わせて多重化した例である。この場合、多重化ヘッダには、ＭＵＸ−ＰＤＵ中に含まれる複数のＡＬ−ＰＤＵの境界を示す情報を入れても良い。あるいは、ＡＬ−ＰＤＵの境界に、境界を示す識別子をつけてもよい。

前述のように、アダプテーション層では符号列をＡＬ−ＳＤＵあるいはアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）と呼ばれる単位に区切って処理を行う。図３９は、動画像符号列のアダプテーション層での区切り方の例を示した図である。

図３９は１つのＶＯＰを１つのアクセスユニットとする例である。図３９（ａ）〜（ｃ）がそれぞれ図３４（ａ）〜（ｃ）の動画像符号列に対応する。

図４０は１つのビデオパケットを１つのアクセスユニットとする例である。図４０（ａ）〜（ｃ）がそれぞれ図３４（ａ）〜（ｃ）の動画像符号列に対応する。

図３４（ｂ），（ｃ）のように、ビデオパケット内をさらに形状情報、動きベクトル情報、ＤＣＴ係数情報のように区切って符号化する場合には、アクセスユニットもこれに合わせて区切ってもよい。図４１はこのような例を示したものである。図４１（ａ），（ｂ）がそれぞれ図３４（ｂ），（ｃ）の動画像符号列に対応している。形状情報（Ｓｈａｐｅ）、予測モードや動きベクトルに関する情報（Ｍｏｔｉｏｎ）、残差信号やそのＤＣＴ係数に関する情報（Ｔｅｘｔｕｒｅ）毎に、その境界を示すモーションマーカ（ＭＭ）、シェープマーカ（ＳＭ）を境にしてアクセスユニットを構成する。

前述のように多重化層においてＭＵＸ−ＰＤＵやＡＬ−ＰＤＵの境界を示す多重化同期符号、ＡＬ境界識別子等が付加されている場合には、各アクセスユニットのスタート位置はこれから判別することができる。この場合は、動画像符号列からアクセスユニットの先頭にある同期符号を取り除いても構わない。図４２は１つのＶＯＰを１つのアクセスユニットにする例で、この場合はＶＯＰの先頭にあるＶＯＰスタートコードを取り除いても構わない。図４３は１つのビデオパケットを１つのアクセスユニットにする例で、この場合はビデオパケットの先頭にあるＶＯＰスタートコード、再同期マーカを取り除いても構わない。図４４は形状情報（Ｓｈａｐｅ）、予測モードや動きベクトルに関する情報（Ｍｏｔｉｏｎ）、残差信号やそのＤＣＴ係数に関する情報（Ｔｅｘｔｕｒｅ）毎にアクセスユニットを構成する例で、この場合、ビデオパケットの先頭にあるＶＯＰスタートコード、再同期マーカと、Ｓｈａｐｅ、Ｍｏｔｉｏｎ、Ｔｅｘｔｕｒｅの境界を示すモーションマーカ（ＭＭ）、シェープマーカ（ＳＭ）を取り除いても構わない。

図４５のように１つのアクセスユニットに１ないしは複数のビデオパケットを入れてもよい。この場合、図４５（ｂ）のようにアクセスユニットの最初にあるＶＯＰスタードコードないしは再同期マーカだけを取り除いても構わない。図３４（ｂ），（ｃ）の動画像符号列についても同様に複数のビデオパケットでアクセスユニットを構成してもよい。

図３４（ｂ）および（ｃ）のように、ビデオパケットをＳｈａｐｅ，Ｍｏｔｉｏｎ，Ｔｅｘｔｕｒｅのように分割して符号化する場合は、複数のビデオパケットのＳｈａｐｅ、Ｍｏｔｉｏｎ、Ｔｅｘｔｕｒｅをそれぞれ集めてアクセスユニットを構成してもよい。図４６は図３４（ｂ）の符号列に対してこのような処理を行ったもので、Ｍｏｔｉｏｎ、Ｔｅｘｔｕｒｅをそれぞれ集めてアクセスユニットを構成してある。ＶＯＰヘッダおよびビデオパケットヘッダは各ビデオパケット毎にＭｏｔｉｏｎの前につける。

Ｍｏｔｉｏｎ、Ｔｅｘｔｕｒｅを集めてアクセスユニットを構成する単位はＶＯＰ単位でも構わないし、任意の複数個のビデオパケットでも構わない。

このようなアクセスユニット構成において、各ビデオパケットのＭｏｔｉｏｎ、Ｔｅｘｔｕｒｅの境界に同期符号をつけてもよい。図４６（ｂ）はＭｏｔｉｏｎの境界に、（ｃ），（ｄ）はＭｏｔｉｏｎおよびＴｅｘｔｕｒｅの境界に同期符号（ＲＭ）を入れたものである。さらに、図４６（ｄ）の例では各アクセスユニットの先頭にも同期符号（ＶＳＣ）を入れている。ＭｏｔｉｏｎとＴｅｘｔｕｒｅで異なる同期符号を用いてもよい。例えば、Ｍｏｔｉｏｎではモーションマーカを、Ｔｅｘｔｕｒｅでは再同期マーカを用いてもよい。

なお、図３４（ｃ）の動画像符号列についても、Ｓｈａｐｅ、Ｍｏｔｉｏｎ、Ｔｅｘｔｕｒｅデータをそれぞれ集めてアクセスユニットを構成することが可能である。

以上のように、Ｓｈａｐｅ、Ｍｏｔｉｏｎ、Ｔｅｘｔｕｒｅのような重要度の異なる符号列の中から同一重要度のもの同士をそれぞれ集めてアクセスユニットを構成し、各アクセスユニット毎に異なる誤り保護（例えば誤り訂正符号、誤り検出符号、再送等）を行うことにより、それぞれの符号列の重要度に応じた誤り保護を行うことができ、伝送路誤りが入ったときの復号画像の品質が向上する。一般に、形状情報（Ｓｈａｐｅ）、モード情報や動きベクトル情報（Ｍｏｔｉｏｎ）は伝送路誤りが入ると復号画像に大きな品質劣化を生じてしまう。このため、Ｓｈａｐｅ，Ｍｏｔｉｏｎに対して強い誤り訂正符号を用いるといった強い誤り保護を行ってもよい。逆に予測残差信号（Ｔｅｘｔｕｒｅ）は伝送路誤りが入ってもそれほど大きな画質劣化を生じないため、それほど強く誤り保護を行わなくてもよく、誤り訂正符号、誤り検出符号等による冗長度を少なくすることができる。

以上の動画像符号列の同期符号を取り除く例では、多重化器１３０Ａで動画像符号列１２１Ａに含まれている同期符号を取り除いてもよいし、画像符号化器１１１Ａであらかじめ同期符号を取り除いた動画像符号列１２１Ａを多重化器に渡すようにしてもよい。

図３９〜図４６のいずれの例においても、各アクセスユニットの長さがあらかじめ決められた長さの整数倍（例えばバイト単位）になるようにしてもよい。図３５の例で示したように、動画像符号列が再同期マーカやスタートコードの前にスタッフィングビットを入れて各ビデオパケットや各ＶＯＰがＮビット（例えばバイト）単位になっている場合には、このスタッフィングビットを含めてアクセスユニットにすれば、アクセスユニットの長さを決められた長さの整数倍（バイト単位等）にすることが可能である。

もし動画像符号列でこのような処理を行っていない場合には、図４７のように各アクセスユニットの最後にスタッフィングビットを入れてアクセスユニットの長さを決められた長さの整数倍（バイト単位等）にしてもよい。スタッフィングビットには例えば図３５（ｂ）のスタッフィングビットを用いればよい。この場合、動画像符号列にスタッフィングビットを入れた場合と同様に、スタッフィングビットを用いて符号列に混入した誤りを検出することも可能である。また、動画像符号列以外に音声やデータの符号列に対してもスタッフィングビットを付加してアクセスユニットの長さを決められた長さの整数倍（バイト単位等）にしてもよい。

多重化層では、多重化ペイロード中に多重化同期符号と同一のビットパターンがある場合、逆多重化器でこのビットパターンを誤って多重化同期符号と判定し、ＭＵＸ−ＰＤＵの境界が誤って検出されてしまう疑似同期（エミュレーションとも言う）が生じることがある。動画像符号化器において動画像符号列中の同期符号（ＶＯＰスタートコード、再同期マーカ等）以外の部分にこれと同一のビットパターンが無いような動画像符号列を生成した場合には、動画像同期符号を用いて多重化層での類似同期が生じたかどうかを検出することができる。

ＭＵＸ−ＰＤＵペイロードの先頭位置と、ＡＬ−ＰＤＵの先頭位置を合わせＭＵＸ−ＰＤＵを構成する。図３８に示した例は何れもこのような構成になっている。そして、ＡＬ−ＳＤＵ（アクセスユニット）の先頭に動画像同期符号を入れる。このようにすれば、多重化同期符号と動画像同期符号は多重化ヘッダやＡＬヘッダをはさんで隣接して配置される。もし逆多重化装置で誤って多重化同期符号が検出された場合、これに隣接する多重化ヘッダ、ＡＬヘッダおよび動画像同期符号を検出しようとするが、検出した多重化同期符号は疑似同期であるため、本来多重化ヘッダ，ＡＬヘッダおよび動画像同期符号があるとしてこれらの復号を行った場所にはまったく別の情報が入っている。したがって、逆多重化器において復号した多重化ヘッダ、ＡＬヘッダおよび動画像同期符号が正しい情報かどうかを判定し、正しくないと判定された場合には検出した多重化同期符号を疑似同期と判定する。

図４８は、多重化器の構成の第２の例である。この例では、多重化器は、ＦｌｅｘＭｕｘ層とＴｒａｎｓＭｕｘ層の２つの階層に分かれている。さらに、ＦｌｅｘＭｕｘ層はアダプテーションサブレイヤ（ＡＬ）と多重化サブレイヤ（Ｍｕｘ ｓｕｂｌａｙｅｒ）に、ＴｒａｎｓＭｕｘ層はプロテクションサブレイヤ（Ｐｒｏｔｅｃｔｉｏｎ Ｌａｙｅｒ）とトランスマックスサブレイヤ（ＴｒａｎｓＭｕｘ Ｌａｙｅｒ）に分かれている。

図４９はＦｌｅｘＭｕｘ層で生成された符号列の例を示したものである。１０６１Ａがアダプテーションサブレイヤで、１０６２Ａが多重化サブレイヤで構成された符号列である。アダプテーションサブレイヤには、多重化する情報の種類や時刻を表す情報等の情報が入ったＡＬヘッダ（Ｈｅａｄｅｒ）１０６５Ａが付き、さらに、多重化する動画像符号列、音声符号列、データ符号列等のペイロード（Ｐａｙｌｏａｄ）１０６６Ａが多重化され、ＡＬ−ＰＤＵが生成される。多重化サブレイヤでは、必要に応じて、さらにＡＬ−ＰＤＵの種類やチャネル番号などを示すインデックス（ｉｎｄｅｘ）１０６８Ａと、ＡＬ−ＰＤＵの長さを示す情報（ｌｅｎｇｔｈ）１０６９ＡがついてＦｌｅｘＭｕｘ−ＰＤＵが生成される。

ＦｌｅｘＭｕｘ層で生成されたＦｌｅｘＭｕｘ−ＰＤＵはＴｒａｎｓＭｕｘ層に入力される。ＴｒａｎｓＭｕｘ層には図３６の多重化器の構成を用いても構わない。この場合、プロテクションサブレイヤ図３６のアダプテーション層１０３１Ａに、トランスマックスサブレイヤが図３６の多重化層１０３２Ａに相当する。あるいは、トランスマックスサブレイヤに図３６の構成を用い、プロテクションサブレイヤは用いないようにしてもよい。

なお、スタッフィングビットによってあらかじめ定められた長さの整数倍の長さに設定された単位符号列を多重化する構成、および同一重要度の符号語同士をそれぞれまとめてそれをアクセス単位とする構成は、前述の第１乃至第３実施形態で説明した多重化符号化列の構造それぞれに適宜適用することができる。

また、図４５のようにひとつのアクセスユニットに複数のビデオパケットをいれる場合、アクセスユニットの境界および再同期マーカのフレーム内の配置を図５０のようにしてもよい。図５０中、白丸が再同期マーカのあるマクロブロック（すなわちビデオパケットの最初のマクロブロック）を、灰丸がアクセスユニット内の最初のマクロブロックの位置を示している。このような画像では、背景部分よりも人物のほうがより重要な情報であるため、伝送路誤りに対して高い耐性を有する方が好ましい。このため、人物部分に再同期マーカを多く配してビデオパケットの間隔を細かくし、伝送路誤りから回復が早期に図れるようにして誤りに耐性を強くする。逆に、背景部分は重要度がそれほど高くないため、再同期マーカーは少なくしてビデオパケットの間隔を広くしても構わない。

さらに、フレーム内をラスタスキャンの順に左上から右下のマクロブロックへと符号化する符号化方式においては、あるマクロブロックに混入した誤りがより右下のマクロブロックに波及することがある。特に重要領域内に誤りが波及すると大きな画質劣化を生じるため、重要領域がスタートするマクロブロックはアクセスユニット内の最初のマクロブロックとし、他のアクセスユニットに混入した誤りの影響が及ばないようにしてもよい。図５０の例では重要領域である人物の左端マクロブロックをアクセスユニットの最初のマクロブロックにしてある。

ひとつのアクセスユニットの中で誤り保護の強さを切り換えられる場合には、フレーム内の領域の重要度に応じて誤り保護を切り換えてもよい。図５１はこのような切り換えを行う例である。図５１中、薄い灰色（ハッチング）の領域が強い誤り保護を行う領域（Ｈｉｇｈ ＱｏＳ）で、より重要な情報である人物部分にこれを割り当ててある。図５２はこれに対応するアクセスユニットの構成の例を示したものである。図中、薄い灰色（ハッチング）部分が図５１の薄い灰色のマクロブロックに相当するもので、この部分は強く誤り保護を行う。

ビデオパケットをＭｏｔｉｏｎ，Ｔｅｘｔｕｒｅのように分割して符号化する場合は、図５２（ｂ）のようにアクセスユニット内の前半にＭｏｔｉｏｎを、後半にＴｅｘｔｕｒｅを入れ、さらに図５１中薄い灰色で示した重要領域をそれぞれの前半にくるようにしてもよい。あるいは図５２（ｃ）のようにＭｏｔｉｏｎとＴｅｘｔｕｒｅを別のアクセスユニットにし、それぞれの前半をより強く誤り保護してもよい。これらにより、重要領域の符号列のさらに重要なＭｏｔｉｏｎ部分をより強く誤り保護することができる。

以上のような再同期マーカの配置やアクセスユニット内の構成を使用することにより、少ないオーバーヘッド（冗長度）でより強い誤り耐性を持たせることが可能である。一般に再同期マーカや強い誤り保護を用いることによりオーバーヘッドが増加してしまうが、重要な情報である人物等に再同期マーカを多く割り当てて誤り保護を強くし、背景のようなあまり重要でない領域には再同期マーカを少なくして誤り保護を弱くすることにより、全体に均一に再同期マーカの割り当てと誤り保護を行う場合に比べ、同じ平均オーバーヘッドで重要情報に対してより強い誤り耐性を持たせることができる。

さらに、図５１の人物部分のように多くの再同期マーカを割り当てた場合、ビデオパケットの長さがこれに対応して非常に短くなるため、各ビデオパケットをそれぞれひとつのアクセスユニットに割り当ててしまうと、ＡＬヘッダ、多重化ヘッダ、多重化同期符号等によるオーバーヘッドが非常に大きくなってしまう。この場合は図４５のようにひとつのアクセスユニットに複数のビデオパケットを入れた方がオーバーヘッドは少なくなる。

以上説明した各実施形態の符号化／復号化装置の構成およびストリーム構造は適宜組み合わせて使用することができる。また、各符号化／復号化装置の動作はそれぞれソフトウェア制御による処理手順に置き換えて実行することもでき、そのソフトウェアおよび符号化ストリームはそれぞれ記録媒体として提供することができる。

本発明の第１実施形態に係る情報伝送システムで使用される符号化装置の構成を示すブロック図。 同第１実施形態の情報伝送システムで使用される復号化装置の構成を示すブロック図。 同第１実施形態の情報伝送システムにおいて画面を複数のレイヤに分割する様子を示す図。 図３で示した各レイヤのビット列の一例を示す図。 図４に代わる別のビット列の構成を示す図。 同第１実施形態の情報伝送システムにおいて画面を単一のレイヤで構成する場合の例を示す図。 同第１実施形態の情報伝送システムで使用される符号化装置の他の構成例を示すブロック図。 図７の符号化装置に対応する復号装置の構成を示すブロック図。 同第１実施形態の情報伝送システムにおいてリフレッシュを行う場合のフレーム内の様子と、それに対応するビット列の例を示す図。 同第１実施形態の情報伝送システムで伝送される重要情報の内容に関する他の例を示す図。 図１０に対応する復号処理回路の構成を示す図。 同第１実施形態において使用される指示情報が他のヘッダ情報テーブルの一部を成している場合の例を示す図。 本発明の第２実施形態の情報伝送システムで使用されるフレーム内の符号化領域を説明する図。 同第２実施形態で用いられる画像符号化列の例を示す図。 図１４の画像符号化列に含まれる時刻を示す情報を説明する図。 本第２実施形態で使用される復号化装置の構成を示すブロック図。 本第２実施形態で使用されるＶＯＰヘッダおよびビデオパケットヘッダの例を示す図。 本第２実施形態で使用される復号化装置の他の構成を示すブロック図。 本発明の第３実施形態に係る情報伝送システムで使用される画像・音声符号化装置の全体構成を示すブロック図。 同第３実施形態で使用される画像・音声復号化装置の全体構成を示すブロック図。 同第３実施形態で使用される動画像符号列の一例を示す図。 同第３実施形態で使用される多重化符号列の一例を示す図。 同第３実施形態で使用される多重化ヘッダの第１の例を示す図。 同第３実施形態で使用される多重化ヘッダの第２の例を示す図。 同第３実施形態で使用される多重化符号列の第２の例を示図。 同第３実施形態で使用される多重化符号列の第３の例を示す図。 本発明で用いられるビデオパケットヘッダの第３の例を示す図。 本発明で用いられるビデオパケットヘッダの第４の例を示す図。 本発明による情報を記録する媒体とその復号装置を示すブロック図。 図２９の媒体に記録された情報を復号する手順を示すフローチャー卜。 本発明における符号列に疑似同期符号を防止するためのビットを付加した例を示す図。 本発明で符号列に使用されるマーカービットを説明するための図。 本発明においてスライスレイヤを用いた場合のビット列の例を示す図。 本発明の第４実施形態で使用される動画像符号列の例を示す図。 同第４実施形態における同期符号の配置方法とスタッフィングビットの例を示す図。 同第４実施形態における多重化器の構成の例を示す図。 同第４実施形態におけるアダプテーション層からの出力の例を示す図。 同第４実施形態における多重化層からの出力の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第１の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第２の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第３の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第４の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第５の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第６の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第７の例を示す図。 同第４実施形態におけるアダプテーション層での動画像符号列の区切り方の第８の例を示す図。 同第４実施形態におけるアダプテーション層でのスタッフィングの例を説明するための図。 同第４実施形態における多重化器の構成の第２の例を示す図。 同第４実施形態における図４８の構成の多重化器のＦｌｅｘＭｕｘ層で生成された符号列の例を示す図。 同第４実施形態におけるアクセスユニットの境界および再同期マーカのフレーム内の配置の他の例を説明するための図。 同第４実施形態においてフレーム内の領域の重要度に応じて誤り保護を切り替える例を説明するための図。 同第４実施形態におけるアクセスユニットの他の構成例を示す図。

符号の説明

２００，２５０，３５１…フレーム
２０１，２０２，３５２，３５３，３５４…スライス
２０３、２５１…マクロブロック
３６１，３６２，３６３…スライス内のビット列
１０１Ａ…動画像信号
１０２Ａ…音声信号
１０３Ａ…データ符号列
１１１Ａ…動画像符号化装置
１１２Ａ…音声符号化装置
１２１Ａ…動画像符号化列
１２２Ａ…音声符号化列
１３０Ａ…多重化装置
１３５Ａ…多重化符号列
２０１Ａ…ピクチャスタートコード
２０２Ａ…ピクチャヘッダ
２０３Ａ…マクロブロック符号化データ
２１０Ａ…再同期マーカー
２１１Ａ…スライスヘッダ
３０１Ａ，３０２Ａ，３０３Ａ…多重化パケット
３１１Ａ，３１２Ａ，３１３Ａ…多重化ヘッダ
３２１Ａ，３２２Ａ，３２３Ａ…多重化ペイロード
３１０Ａ…多重化スタートコード
３５１Ａ…多重化コード
３５２Ａ…ビデオヘッダ情報
３５３Ａ…ＣＲＣ検査ビット
３５４Ａ…誤り訂正符号検査ビット
４５１Ａ…ピクチャ境界ポインタ
６０１Ａ，６０２Ａ…多重化パケット
６１１Ａ，６２１Ａ…多重化コード
６１２Ａ，６１５Ａ，６２２Ａ…ＰＴＲ
１０３１Ａ…アダプテーション層
１０３２Ａ…多重化層
１０６１Ａ…アダプテーションサブレイヤ
１０６２Ａ…多重化サブレイヤ
１０６５Ａ…ＡＬヘッダ
１０６６Ａ…ＡＬペイロード
１０６８Ａ…インデックス
１０６９Ａ…長さ情報

Claims (2)

1. 符号化された情報を２つ以上のレイヤに分け、各レイヤに同期信号と、復号に必要なヘッダ情報とを付加して伝送する情報伝送システムで使用される符号化装置において、
   前記符号化された情報を復元するための復元用情報として、上位レイヤですでに伝送した情報あるいはその一部の情報、同一レイヤ内においてすでに伝送した情報あるいはその一部の情報、または前記上位レイヤまたは同一レイヤ内においてすでに伝送した情報の内容若しくはその一部の情報の内容を復元するための情報を、前記符号化された情報に付加して伝送する手段と、
   前記ヘッダ情報内に前記復元用情報を付加したことを示す所定ビットパターンの指示情報を挿入する手段とを具備することを特徴とする符号化装量。
2. 前記符号化された情報は画像信号を圧縮符号化することにより得られた画像符号列を含み、前記復元用情報は前記画像符号列の各画像フレームの表示時刻を表す情報を含むことを特徴とする請求項１記載の符号化装置。

Images