JP2004147306A

JP2004147306A - 低遅延映像符号化および復号化装置

Info

Publication number: JP2004147306A
Application number: JP2003334644A
Authority: JP
Inventors: Toshio Kondo; 近藤　利夫; Takeshi Okuno; 奥野　剛
Original assignee: Mie TLO Co Ltd
Current assignee: Mie TLO Co Ltd
Priority date: 2002-10-02
Filing date: 2003-09-26
Publication date: 2004-05-20

Abstract

【課題】　映像の符号化および復号化において、低遅延、高画質、高圧縮率の３つを両立するシステムを構築することが、本発明の課題である。
【解決手段】　ピクチャ単位の符号化を、表示順の符号化対象ピクチャ列から周期的に選択するピクチャに対し、ピクチャ間符号化とピクチャ内符号化の両方を行い、ピクチャ間符号化データは、符号化順に、又、ピクチャ内符号化データは複数の断片に分割後、分散して復号化装置側に送出することによって解決する。
【選択図】　７

Description

　本発明は、低遅延、高画質、高圧縮率の３つを両立する映像符号化復号化システムを構築する技術に関する。

　映像符号化における高画質、高圧縮率の両立はすでに高いレベルに到達している。例えば、１０年程前に標準化されたＭＰＥＧ-２の符号化方式ですら、HDTVディジタル放送においては、非専門家にはほとんど知覚できないほどのわずかな画質劣化で１／１００程度の高圧縮率を実現している。ＭＰＥＧ-２の標準化以降にも圧縮率の向上は進んでおり、Ｈ．２６３，ＭＰＥＧ-４を経て、現在標準化中のＨ．２６４では、低解像度画像でＭＰＥＧ-２の数倍の圧縮率が得られるといわれている。

　このように圧縮率の向上については著しく進歩しているものの、実時間性の要求される通信や放送で重要となる伝送ビットレート一定（ＣＢＲ）の条件での遅延時間の低減についてはＭＰＥＧ-２以降、本質的な方式の進歩はない。その結果、画質に対する要求の緩いテレビ電話では１００ｍｓ以下の低遅延が達成されているものの、ディジタルテレビ放送のように高画質と高圧縮率の両立が極限まで要求される用途では遅延時間を犠牲にせざるを得ず、実時間性の要求されるスポーツの実況中継などでも映像の符号化復号化の遅延が１秒以上にも達する場合がある。

　もちろん、ＭＰＥＧ-２においても遅延低減については配慮されており、２つの低遅延モードのフレームドロップとイントラスライスが用意されている。前者のフレームドロップモードは、遅延の主因ともいえるピクチャ内符号化ピクチャ(以後Ｉ［イントラ］ピクチャと呼ぶ)あるいはピクチャ内符号化マクロブロック（Ｉマクロブロック）が大半を占めるピクチャで、符号発生量が所定値を超えたならば、符号化順で後続に位置するピクチャの何枚かを省略して（ドロップさせて）ＣＢＲの条件を満たそうとするものである。このモードを適用すると、連続して２枚以上のピクチャがドロップすることもあり、映像が一時的に固まって見える結果となり、違和感が大きく、高画質の要求される用途には向いていない。

　これに対し、イントラスライスモードは、リフレッシュのために周期的に挿入されることが遅延増の主因となっているＩピクチャの周期的な挿入を取り止め、代わりに符号化順で後続に位置するピクチャから再生画像が予測画像として参照されるピクチャ（通常、前方予測のみを用いて動き補償を行うピクチャ、以後Ｐピクチャと呼ぶ）について一部のスライス（符号化順で縦続する複数のマクロブロック）をＩマクロブロックのみで構成（イントラスライス化）する方式で、ＳＮ比をほとんど劣化させることなく低遅延化がはかれる利点を有する。また、映像を構成する各々のピクチャをＩピクチャ、Ｐピクチャ、Ｂピクチャ（前方と後方の両方のピクチャを使用してピクチャ間の符号化を行う双方向予測を用いたピクチャ間符号化ピクチャ）として、逐次的に符号化あるいは復号化すること（ＭＰＥＧ−２のメインプロファイル相当）を前提にピクチャ間符号化／復号化ユニットとピクチャ内符号化／復号化ユニットを一体化した従来の標準的な構成の符号化装置（図１）、復号化装置（図２）の中で容易に実現できる利点も併せ持っている。

　しかし、このイントラスライスもテレビ電話のようにＭＰＥＧ-２の応用範囲のごく一部に適用されているに過ぎない。この原因は、Ｉピクチャが定期的に挿入されないことから、録画データの再生に必須ともいえる早送り、早戻しなどのトリックプレイに対応できないという致命的ともいえる欠点があるからである。さらに、リフレッシュの効果を確実に得るために必須となるピクチャごとのイントラスライス挿入位置の巡回的な移動が目障りな縞の移動として見えてしまう欠点が画質要求の厳しい用途では許されないからである。

　このような欠点無しでイントラスライスモードと同等以上の低遅延性を最小限の画質劣化で実現しようとするのが、本発明が解決しようとする課題である。

　本発明は、イントラスライスとは異なり、符号化装置側でのリフレッシュのためにＩピクチャの周期的挿入、すなわち周期的にピクチャ全体に対して行うピクチャ内符号化を取り止めない。従来との違いは、遅延増の要因となっている周期的に選択するリフレッシュ対象ピクチャに対して、ピクチャ内符号化データを符号化順に送出する代わりに、ピクチャ内符号化データとピクチャ間符号化データの両方を生成し、符号量の小さいピクチャ間符号化データについては従来通り符号化順に送出する一方、符号量の大きいピクチャ内符号化データについては符号化順にとらわれず時間的に分散して送出する方式（以後ピクチャ内符号化データ遅延分散送出方式と呼ぶ）にある。

　また、この符号化装置に対応する復号化方式として、当面の実時間表示に間に合わせるため、リフレッシュ対象ピクチャも含めて、先に受け取るピクチャ間符号化データに基づいて再生画像を先行生成する（以後、この復号再生の系を即時表示用の系と呼ぶ）一方、リフレッシュ対象ピクチャのピクチャ内符号化データが到着するのを待って、これより再生されるＩピクチャを起点とする復号再生（以後、この復号再生の系を後追いリフレッシュの系と呼ぶ）を開始し、その生成が実時間表示に追いつき次第、参照画像を即時表示用系で再生された再生画像から後追いリフレッシュ用系で再生された再生画像に切り替えて、符号化側のリフレッシュが復号化側でも反映されるようにするピクチャ内符号化データ遅延分散送出方式対応の復号化装置を提供する。

　さらに、符号化装置側では、周期的に設けるリフレッシュ対象ピクチャに対するピクチャ内符号化を、入力画像そのものに対して行うのではなく、一旦、ピクチャ間符号化して得る符号化データを復号再生した画像（リフレッシュ対象ピクチャのピクチャ間符号化データの符号化装置側局所再生画像）に対して行い、それによって得られるピクチャ内符号化データを分割断片化して、それぞれの断片を符号化順でリフレッシュ対象ピクチャ自身とそれ以降の複数のピクチャのピクチャ間符号化データの間に分散して送出する。また、このピクチャ内符号化データを復号再生した再生画像を、符号化と局所復号化でリフレッシュ対象ピクチャを参照する際に参照画像として用いる。

　この符号化に対し、復号化装置側では、遅れて到着するピクチャ内符号化データが到着次第スタートする後追いリフレッシュ用の系に関しては、復号再生時に参照するリフレッシュ対象ピクチャの再生画像として、符号化装置側の局所復号化で参照するのと同一の再生画像のピクチャ内符号化データ（遅れて到着する）から再生した画像を用いる。これにより、参照画像の不一致による後追いリフレッシュ用の系に関する画質劣化の問題は回避できる。

　一方、復号化装置側の即時表示用復号再生の系に関しては、復号再生時に参照するリフレッシュ対象ピクチャの再生画像として、ピクチャ間符号化データから復号して得る再生画像を復号化装置側で一旦ピクチャ内符号化してから復号再生し直したものを用いる。これにより、他のピクチャの復号再生時に参照するリフレッシュ対象ピクチャの再生画像について、即時表示用復号再生の系で用いられるものと符号化装置側の復号再生の系で用いられるものとの間で一致度が低下する問題は解消される。ピクチャ間符号化データの復号再生画像が、符号化装置側と復号化装置側で互いにほぼ一致する（一致するように符号化復号化方式が構成されている）ため、それに対して再度ピクチャ内符号化して再生し直すリフレッシュ対象ピクチャの再符号化再生画像も、符号化装置側と復号化装置側で、互いにほぼ一致させることができるからである。

　上記の発明により、復号化装置側でのリフレッシュが符号化装置のリフレッシュタイミングよりも何ピクチャか遅れはするものの実質的に実現される。この実質的なリフレッシュが遅れることによる画質劣化は無視できる程度である。なぜなら、通常用いられる０．５秒程度のリフレッシュの周期は、もともと、チャネル切り替え時に画面が表示されるまでの時間要求、蓄積後のランダムアクセスや編集の要求から決まっており、２倍の１秒程度に延びたとしても画質にはほとんど影響しないからである。（Ｈ．２６４では符号化装置側の逆ＤＣＴと復号化装置側の逆ＤＣＴとを完全に一致させる方向で規格化が進んでおり、その方向通りになればリフレッシュタイミングが符号化装置のそれより遅れたとしても画質劣化は起こらなくなる。）ここで、追いかける側のピクチャの復号再生は、復号化順で以降のピクチャに参照画像として参照されるピクチャのみで良い。ＭＰＥＧの符号化規格では、Ｂピクチャは他のピクチャの再生に参照されず表示の必要もないので復号再生は一切不要であり、Ｐピクチャのみの復号再生となる。従って、復号化装置側の処理量の増加は３割程度に過ぎない。なお、ここまでの説明で明らかなように符号化装置側で意識するリフレッシュ対象ピクチャが、復号化装置側ではＩピクチャとして再生表示されるわけでない。よって復号化装置側では厳密にはリフレッシュピクチャと呼べないが、ここではリフレッシュ対象ピクチャについて符号化装置側を基準として考える。

　次に更なる改善として、リフレッシュ対象ピクチャ以降の複数のピクチャのピクチャ間符号化データの間に分散して送り出すピクチャ内符号化データの断片のサイズは、送出時に、あるピクチャのピクチャ間符号化データの先頭から次のピクチャのピクチャ間符号化データの先頭までの区間の符号量が、どの区間を取っても互いに均等に近づくように適応的に設定する。この適応制御が理想に近づけば、ＣＢＲの条件での各々のピクチャ間符号化データの伝送時間は互いに揃い、その結果として各ピクチャの伝送遅延時間はピクチャレートの逆数に近づく。従来、大きな符号量の差のあったピクチャ間符号化データとピクチャ内符号化データをピクチャの符号化順通りに送ろうとしていたために生じていたピクチャ間の大きな符号量変動はほとんどなくなり、それに起因していた遅延時間がほとんど０に近づけられる。これによって、一定の遅延時間以下の条件では、Ｉピクチャに対する符号量割り当ての制約が緩和されるので、低遅延、高画質の両立が可能になる。イントラスライスの挿入が原理的にＰピクチャに限定される従来のイントラスライスモードでは、ＰピクチャとＢピクチャとの間の符合量変動を緩和することはできず、本発明ほどの遅延低減効果は得られない。リフレッシュ対象ピクチャに対し、ピクチャ内符号化とピクチャ間符号化の両方を行うために生じるトータルの符号発生量の数％の増加は、低遅延の条件下ではこのピクチャ間の符号量変動緩和効果に比べ十分に小さく問題とはならない。また、イントラスライスのようにリフレッシュ部分を複数のピクチャに分散させる訳ではないので、リフレッシュ部分が巡回的に移動するのが目立つようなことも本質的に起こりえない。

　以上、低遅延の符号化、復号化の系を前提に説明してきたが、当然ながら符号化装置から送られてきた符号化データを一旦蓄積した後で、時間を置いて再生することが必要になる場合がある。この場合には、先にも説明したように、トリックプレイの実現が必要となる。この要求に対し、本発明は、イントラスライスとは異なり、Ｉピクチャが省略されている訳でないので従来通り対応することができる。ただし、受け取った符号化データはそのままではＭＰＥＧの規格に準拠していないので、蓄積時に符号化データを一旦バッファリングし断片化されたＩピクチャのデータを集めて組み直した上で、ＭＰＥＧの規格で指定される正規の符号化ビットストリームを構成し直してやるのが望ましい。こうすることによって、蓄積した符号化ストリームデータは、他のＭＰＥＧ規格準拠の機器に持っていっても自由に再生することが可能になる。

　本発明により、イントラスライスモードの欠点だった目障りな局所的なリフレッシュ位置のピクチャ間での巡回移動を全く生じさせずに、同等以上の低遅延を最小限の画質劣化で実現できる。また、Ｂピクチャの入る符号化復号化方式にも適用できるので、テレビ放送のように画質と圧縮率を両立させたい用途にも適用できる利点がある。また、Ｉピクチャも存在するので、蓄積データの再生に要求される早送り、早戻しなどのトリックプレイに対応できる利点もある。このように、本発明の符号化装置と復号化装置は画質の劣化なく遅延時間を極限にまで低減できる上に、トリックプレイにまで対応できるので、放送用途から、携帯電話を含む次世代の映像通信にまで幅広く応用することができる。さらに、符号量変動を最小限に抑えられるという性質は、ベストエフォートのようにバンド幅が保証されない通信路を通して映像を送る場合のコマ落ち防止にも役立つことから、インターネットのようなネットワーク向けにも、安定した映像通信を実現する符号化／復号化装置として極めて有用である

　本発明は、映像符号化装置、映像復号化装置、あるいは映像符号化／復号化装置として実施される。ただし、発明が効果を発揮するには、これらが互いに通信路あるいは放送網を介して組み合わされる必要がある。以下に本発明の一実施形態について、図面を参照しつつ詳細に説明するが、本発明の技術的範囲は下記の実施形態によって限定されるものではない。また本発明の技術的範囲は均等の範囲にまで及ぶものである。

　図３は、本発明の符号化装置の第1の実施例の構成図を示す。この図において、１０は、映像データ入力の各々の入力ピクチャに対し、動き補償を利用してピクチャ間符号化／復号化を行うユニット、１１０は１０で局所復号再生された再生画像を一定周期ごとに取り込んで、その取り込んだ再生画像（この再生画像の元のピクチャがリフレッシュ対象ピクチャ）を再度ピクチャ内符号化／復号化するユニット、１３は、１０、１１０の符号化／復号化ユニットの発生符号量をモニタし、符号発生量の調整の制御を行うレートコントロールユニット、２０、２１、２２は符号化データを一時的に蓄えるバッファメモリ、３０は、２１に蓄えられている１１０の出力のピクチャ内符号化データを分割断片化してから取り出して、２０に蓄えられているピクチャ間符号化によって生成されるピクチャごとの符号化データの間に埋め込むためのマルチプレクサである。

　以下、この第1の実施例の符号化装置の動作について説明する。
符号化対象の映像データ入力のピクチャ列は、この図３に示されるように、ピクチャ間符号化／復号化ユニット１０に入力する。ピクチャ間符号化／復号化ユニット１０は、レートコントロールユニット１３より受け取る符号発生量の目標値を満たすように入力ピクチャ列のすべてのピクチャに対しピクチャ間符号化を行い、その結果得られる符号化データを各ピクチャの符号化データの先頭にヘッダ情報を付加した上でバッファメモリ２０に出力する。また、Ｐピクチャについては復号再生処理も同時に行い、得られた再生画像（局所再生画像）を以降の符号化・復号化の参照画像として用いると共に、リフレッシュ対象ピクチャの局所再生画像については、ピクチャ内符号化／復号化ユニット１１０に出力する。ただし、リフレッシュ対象ピクチャの参照画像にはピクチャ間符号化データの局所再生画像をそのまま用いるのではなく、ピクチャ内符号化／復号化ユニット１１０から戻ってくる再符号化データを局所復号して再生した画像を用いる。ピクチャ内符号化／復号化ユニット１１０は１０より入力されるリフレッシュ対象ピクチャの局所再生画像に対し、レートコントロールユニット１３より受け取る符号発生量の目標値を満たすようにピクチャ内符号化を行い、その結果得られる符号化データの先頭にヘッダ情報を付加した上でバッファメモリ２１へ出力する。また、このピクチャ内符号化データを復号再生し、リフレッシュ対象ピクチャの参照画像として符号化／復号化ユニット１０に戻す。レートコントロールユニット１３は、これらの符号化／復号化ユニット１０、１１０が符号化中の符号化単位のマクロブロック、スライス、ピクチャ等の符号発生量をモニタし、そのモニタ情報に基づき、引き続き符号化するマクロブロック、スライス、ピクチャ等に対する発生符号量の目標値を計算して、その得られた目標値を符号化／復号化ユニット１０、１１０にフィードバックする。マルチプレクサ３０は、バッファメモリ２０より適当な量のピクチャ間符号化データを読み出してバッファメモリ２２に出力するごとに、読み出し元をバッファメモリ２１に切り替えてピクチャ内符号化データの断片を読み出して、やはりバッファメモリ２２に出力する。この際、各断片の先頭にはヘッダ情報を付加する。このマルチプレクサの動作により、符号化順でリフレッシュ対象ピクチャ以降に位置する複数ピクチャのピクチャ間符号化データの間に、リフレッシュ対象ピクチャの局所再生画像を再度ピクチャ内符号化したデータが分割されてできた断片が分散的に挿入される符号化データ列がバッファメモリ２２内に形成される。そして、このバッファメモリ２２をビットレート一定、あるいは可変の条件で読み出すことで入力映像の符号化データを外部に出力する。この第１の実施例の動作から明らかなように、リフレッシュ対象ピクチャのピクチャ内符号化データは、符号化順でそのリフレッシュ対象ピクチャ自身とその後に続くピクチャのピクチャ間符号化データの間に分散して埋め込んでから送出する。このため、あるリフレッシュ対象ピクチャからその次のリフレッシュ対象ピクチャの手前までに入る各符号化ピクチャの符号量の変動がＰピクチャとＢピクチャの発生符号量の差程度にまで縮まり、固定レートの転送で生じる各ピクチャの符号化データの復号化装置へ到着する周期の不均一性（符号化復号化遅延の主因）は大幅に低減される。

　図４は本発明の第２の実施例の符号化装置の構成図を示している。第１の実施例との違いは、バッファメモリ２１よりマルチプレクサ３０に読み出すピクチャ内符号化データの断片のサイズを適応的に指定するためのレートコントロールユニット１３からマルチプレクサ３０に向かう結線を追加していることである。この第２の実施例ではこの結線を介し、レートコントロールユニット１３がモニタしている符号化／復号化ユニット１０、１１０の発生符号量を元に適切な断片のサイズを導いて、それをマルチプレクサに与える。これによって個々のピクチャ間符号化データの間にピクチャ内符号化データの断片を挿入した後では、各符号化ピクチャの符号量が均一化されるようにする。この均一化により、ピクチャ間の符号発生量の変動は一層抑えられ、符号発生量変動起因の遅延は極小化できる。

　図５は本発明の第３の実施例の符号化装置の構成図を示している。第２の実施例との違いは、ピクチャ間符号化／復号化ユニット１０とピクチャ内符号化／復号化ユニット１１０との間の再生画像をやり取りするパスの途中にフィルタ４０、４１を挿入していることである。このフィルタ４０、４１は、再生画像に混入する量子化ノイズやブロック歪を緩和するための空間フィルタであり、圧縮率の向上に役立つ。これによって、ノイズ成分を低減し、ノイズに関わる無益な符号発生の量を減らせるだけでなく、再生画像の参照画像としての質を上げ、動き補償の効果を高めることができる。

　図６は、例えば先の第１、第２の実施例に生成された符号化データを受けて、符号化映像を復号再生する本発明の第４の実施例の復号化装置の構成図を示している。この図において、５０は符号化データ入力からヘッダ情報を抽出、解析し、その結果をもとに、符号化データ入力をピクチャ間符号化データとピクチャ内符号化データに分離する符号化データ分離ユニット、６０は５０によって分離されたピクチャ間符号化データを受け取りバッファリングするピクチャ間符号化データバッファメモリ、６１はやはり５０によって分離されたピクチャ内符号化データを受け取りバッファリングするピクチャ内符号化データバッファ、７０は、６０からピクチャ間符号化データを読み出して、それを復号再生する即時表示用符号化データ復号化ユニット、７１は、６１からピクチャ内符号化データを、これに符号化順で続くピクチャ間符号化データを６０から読み出して、７０の復号を後から追いかける後追い符号化データ復号化ユニット、７５は符号化装置側でリフレッシュ対象ピクチャとして位置づけているピクチャ間符号化データの再生画像を抜き出し、それを再度ピクチャ内符号化してから復号再生するピクチャ内符号化／復号化ユニット、８０は７０、７１、７５で再生するピクチャを格納するための再生画像格納メモリである。

　以下、この第４の実施例の復号化装置の動作を、復号の開始時点から説明する。
この復号化装置の動作は、電源投入後、装置が正常に立ち上がり、電源投入以前から送り込まれている符号化データ入力の取り込みを始めた時点、あるいは、符号化装置側から送り込まれて来る符号化データの先頭が始めて到達した時点から、開始される。いずれの場合も、符号化データ分離ユニット５０が符号化データ入力からヘッダを抽出、解析し、ピクチャ間符号化データとピクチャ内符号化データに分離して、前者をピクチャ間符号化データバッファメモリ６０に、後者をピクチャ内符号化データバッファメモリ６１に出力する。この時、以後の処理で不要となるヘッダ類は削除し、７０、７１の復号化ユニットから、ピクチャ単位の符号化データを連続的に読み出せるようにする。即時表示用符号化データ復号化ユニット７０は、ピクチャ間符号化データバッファから有効なピクチャ間符号化データの読み出しが可能となった時点から、読み出しを始め、符号化データの復号に必要な表示順で前方あるいは後方に位置するピクチャの再生画像を必要に応じて参照しつつピクチャ間符号化データの復号再生を実行する。復号再生した画像のうち、それに続くピクチャの復号再生に参照されるＰピクチャのＰｎ+１、Ｐｎ+２、・・・は、再生画像格納メモリ８０に格納する。参照が終わり不要になった再生画像は、新たに生成される再生画像を上書きすることで再生ピクチャ格納メモリ８０上から消去する。符号化データ後追い復号化ユニット７１の方も、復号化ユニット７０と同様に、ピクチャ内符号化データバッファから有効なピクチャ内符号化データの読み出しが可能になった時点から、読み出しを開始し、復号動作を開始する。この読み出しは、リフレッシュ対象ピクチャ１枚分のピクチャ内符号化データの読み込みが終わり次第、読み出し先をピクチャ間符号化データバッファメモリ６０の方に切り替えて、次のリフレッシュ対象ピクチャの手前のピクチャまでＰピクチャの符号化データの読み込みを続ける。この読み込んだ符号化データを用い、リフレッシュ対象ピクチャｅＩｎとそれに続くＰピクチャP'n+1、P'n+2、・・・の後追いリフレッシュ用の系の復号再生を順次に行い、先行している即時表示用符号化データ復号化ユニット７０のｄＩｎとそれに続くＰｎ+１、Ｐｎ+２、・・・の復号再生を追い上げる。参照画像として用いられないＢピクチャは、バッファメモリ６０からの読み込みも復号も行わないようにして復号再生の速度を速める。そして、この後追いリフレッシュ用の系の復号再生が、先行するピクチャ間符号化データのみによる即時表示用の系の復号再生に追いついた時点で、ピクチャ内符号化／復号化ユニット７５は、再生画像格納メモリ８０中の再生画像の中から、ピクチャ間符号化データから後追いリフレッシュの系が復号再生した再生画像を取り込み、それを再度ピクチャ内符号化してから復号再生し、得られた再生画像を即時表示用の系のリフレッシュ対象ピクチャの再生画像ｄＩｎとして再生画像格納メモリ８０に格納する。復号化ユニット７０は、追いつかれたＰピクチャのＰｎ+ｋに対するあらたなＰピクチャの再生のための以降の参照を、このｄＩｎ+ｋに置き換える。この置き換えは、再生ピクチャ格納メモリ８０をピクチャ間符号化データ復号化ユニット７０が読み出す際の格納領域のアドレスを変更するだけで実現する。後追い符号化データ復号化ユニット７１はこの置き換えが終わり次第、符号化データの読み出し元をピクチャ内符号化データバッファメモリ６１に切り替えて、次のリフレッシュ対象ピクチャの符号化データの読み出しから始まる新たなリフレッシュのための後追いリフレッシュ用の系の復号処理を開始する。なお、当然ながら、ｄＩｎ+ｋとｅＩｎ+ｋは、同一ピクチャに対する再生画像でなければならない、すなわち、後追いの復号再生の系が追いついた時点のｎ+ｋ番目のピクチャは符号化装置側でリフレッシュ対象ピクチャとして符号化されていなければならない。換言すれば、分割送出するリフレッシュ対象ピクチャのピクチャ内符号化データを送り終えるまでの時間と後追いリフレッシュの系の復号再生が追いつくまでの時間の和で、リフレッシュの周期が決まるといえる。また、この復号再生動作において、追いついた時点で、即、再ピクチャ内符号化復号化を行っているのは本発明で長くなりがちなリフレッシュ周期を最小限に留めるためである。

　図７は、以上の説明に対応する復号再生動作、すなわちリフレッシュ対象ピクチャのピクチャ間符号化データの再生画像Pｎを基準に進む実時間表示のための即時表示用の系の復号再生処理と、しばらく遅れてスタートする後追いリフレッシュ用の系の復号再生処理（再生画像の置き換えまで）で再生されるピクチャのシーケンスを示している。ただし、ｋ＝７としている。また、この図で、Ｐｎはリフレッシュ対象ピクチャのピクチャ間符号化データから再生したピクチャを示している。ｄＩｎは、復号化装置側でＰｎを再度ピクチャ内符号化してから復号再生して得る再生画像を示しており、リフレッシュ対象ピクチャの再生画像として参照して順次復号再生する即時表示用系のＩピクチャとして用いている。空白の平行四辺形はＢピクチャの再生画像を示している。斜体のeＩｎは符号化装置側で局所復号再生したＰピクチャを再度ピクチャ内符号化して送出されたデータを、復号化装置側に到着次第、復号再生して得る後追いリフレッシュ用の系のＩピクチャを示している。斜体のＰは、後追いの復号再生の系で再生される後追いリフレッシュ用の系のＰピクチャを示している。また、添え字が同じＰピクチャとＰピクチャは、符号化装置から符号化の順番に順次送られてくる同一のピクチャ間符号化データから再生されるピクチャである。さらに、ピクチャ間をつなぐ曲線は、Ｉ、Ｐ、Ｂピクチャ間の参照関係を示している。

　以下、この図で示される動作内容を簡単に説明する。
上段に示される即時表示用復号再生の系は以下のように動作している。
（１）Ｐｎ−１、Ｐｎと再生する下段の後追いのリフレッシュ用復号再生結果を、上方向の矢印に示されるように、再度ピクチャ内符号化してから復号再生してｄＩｎを得る。
（２）図に示されるように、即時表示用の系では、このｄＩｎを参照して、以降のＰピクチャであるＰｎ+１、Ｐｎ+２、・・・を順次再生して行く。もちろん、ＢピクチャはそれをはさむＰあるいはｄIを参照して復号再生する。
一方、下段の後追いリフレッシュ用系の後追いの復号再生処理は以下のように動作している。
（１）ちょうど１４ピクチャ遅れて到着するリフレッシュ対象ピクチャｅＩｎを復号再生する。
（２）図に示されるように、このｅＩｎを参照して、以降のＰピクチャであるP'n+1、P'n+2、・・・を順次再生して行く。
（３）P'nから数えて８番目のＰピクチャのP'n+7で、先行する即時表示用系の復号再生に追いつく。
追いついた以降は、上段の動作につながる。
以上の動作により、結局、符号化装置側でリフレッシュ対象としたｎ番目からＰピクチャ換算で７ピクチャだけ遅れて、リフレッシュピクチャの再生画像ｅＩｎに基づくP'n+7のピクチャ内符号化再生画像ｄＩｎ+７が生成される。このことは、Ｐピクチャ換算で７ピクチャ分遅れはするものの実質的にリフレッシュが達成されることを意味している。
以上のリフレッシュ対応処理を、符号化装置側のリフレッシュ対象ピクチャの符号化データが到着するごとに復号化装置側で繰り返すことにより、符号化装置側のリフレッシュタイミングよりも、後追い符号化データ復号化ユニット７１が追いつくまでの時間だけ遅れはするものの復号化装置側で画質劣化防止に必要となる定期的なリフレッシュが実質的に実現できる。また、復号化装置側でｄＩｎ生成の元となるピクチャ間符号化データの再生画像Ｐｎは、符号化復号化アルゴリズムの特性上、符号化装置側でｅＩｎ生成の元となる符号化装置側のＰｎとほとんど一致する（一致するように符号化復号化されている）ので、符号化装置側と復号化装置側で互いに同一の再度のピクチャ内符号化の後、復号再生されることにより生成されるｄＩｎとｅＩｎの間の一致度も非常に高くなる。その結果として、即時表示用系あるいは後追いリフレッシュ用系のいずれかの再生画像の画質が目立って低下するようなことは起こらなくなる。

　図８は、本発明の第４の実施例に関するもう１つの動作法を示している。先に示した動作法との違いは、後追いリフレッシュが追いついた時点で、すぐにｄＩを生成するのではなく、まずは即時表示用の系の参照画像をP'n+kで置き換えて即時表示の系と後追いリフレッシュの系を統合してから、適当なタイミングでｄＩを生成しようとするものである。異なる復号化装置間での復号再生の速度の違いを許容するためにリフレッシュ周期を長めに設定する場合で、後追いリフレッシュの系の復号再生の速度が速い復号化装置が、２重の復号再生を避け、効率良く働かせるのに有効な動かし方である。図に示されるように、追いついた以降、２重の復号再生を行う必要がなくなるからである。

　図９は本発明の第５の実施例の復号化装置であって、第５の実施例との違いは、本発明の第３の実施例のフィルタ４０、４１に対応するフィルタ４００、４１０が、フレーム内符号化／復号化ユニット７５と再生画像格納メモリ８０との間に挿入していることである。このフィルタにより、本発明の第３の実施例の符号化装置と同様に、ピクチャ内符号化復号化の入出力に対し同等のフィルタ処理が施せるようになる。従って、本発明の第３の実施例の符号化装置で生成された符号化データを復号再生する場合に、復号化装置側で符号化装置側と等価なピクチャ内符号化復号化再生画像を生成できるようになるので、即時表示用の系、後追いリフレッシュ用の系の両方の系で再生画像の品質を上げることができるようになる。

　ところで、本発明の復号化装置では、動作を開始し、後追いの復号処理が最初に追いつくまでに先行するピクチャ間符号化データのみによる復号処理で生成されたＰピクチャとそれを参照して再生されるＢピクチャは、いずれも正常な映像としては再生できない問題がある。この問題は動作開始時に先頭Ｐピクチャの復号再生のために必要となる参照画像が存在しないために、後追いリフレッシュの系の復号処理が追いついて、最初のｄＩが生成されるまでの間、まともなピクチャの再生が行えないことに起因する。この復号開始時の映像の乱れは、後追いの復号処理が追いつくまでの間、例えばブルーバック信号で映像データ出力を置き替えてやることで回避できる。

　以上の説明では図３〜図６、図９に示すように本発明の映像符号化装置と映像復号化装置を個々のユニットあるいはメモリを相互に組み合わせてハードウェア的に実現する方法を示した。しかし、最近のマイクロプロセッサの技術の進歩は著しく、個々のユニットをマイクロプロセッサ上で動作するソフトウェアとして実装することが可能になっている。メモリもそのマイクロプロセッサの主記憶上に同様に実装することができるようになっている。還元すれば、本発明の一部あるいは全部がコンピュータのソフトウェアとして実装することができる。この場合、個々のユニットはサブルーチン、関数、あるいはオブジェクトとして実現される。

従来の標準的な構成の映像符号化装置の構成図従来の標準的な構成の映像復号化装置の構成図本発明の第１の実施例の映像符号化装置の構成図本発明の第２の実施例の映像符号化装置の構成図本発明の第３の実施例の映像符号化装置の構成図本発明の第４の実施例の映像復号化装置の構成図符号化装置側のリフレッシュ対象のｎ番目のピクチャを基準に進展する即時表示用の系の復号再生処理とそれに続く後追いリフレッシュの系（再生画像の置き換えまで）の復号再生処理のシーケンス（リフレッシュ周期低減を優先する場合）符号化装置側のリフレッシュ対象のｎ番目のピクチャを基準に進展する即時表示用の系の復号再生処理とそれに続く後追いリフレッシュの系（再生画像の置き換えまで）の復号再生処理のシーケンス（長いリフレッシュ周期に対し、復号化装置の効率の向上をはかる場合）本発明の第５の実施例の映像復号化装置の構成図

Claims

低遅延の映像通信を行うための映像符号化技術において、ピクチャ単位の符号化を、表示順の符号化対象ピクチャ列から周期的に選択するピクチャに対し、ピクチャ間符号化とピクチャ内符号化の両方を行い、その符号化結果のデータのうちピクチャ間符号化データについてはピクチャの符号化順に従って復号化装置側に送出し、ピクチャ内符号化データについては複数の断片に分割後、それぞれの断片を該ピクチャ間符号化データの間に分散して復号化装置側に送出することを特徴とする映像符号化装置。
前記において、周期的に選択するピクチャに対し、一旦ピクチャ間符号化してから復号再生して得られる再生画像に対してピクチャ内符号化を行うことと、その再生画像を符号化順で後続のピクチャがピクチャ間符号化を行う際に参照画像として用いることとを特徴とする請求項１に記載の映像符号化装置。
前記の映像符号化装置より送られてくる符号化データを復号再生する映像復号化装置において、ピクチャ間符号化データの復号再生によって得る再生画像を再度ピクチャ内符号化してから復号再生して、その結果得られる再生画像を復号順で後続に位置するピクチャの復号再生時に参照画像として用いることを特徴とする映像復号化装置。
請求項２に記載の映像符号化装置より送られてくるピクチャ内符号化データより符号化装置側の選択ピクチャを再生してから、この再生画像を該選択ピクチャ参照時の参照画像として用いて符号化順で該選択ピクチャに続くピクチャのピクチャ間符号化データの復号再生を順次行い、該選択ピクチャの次の選択ピクチャをピクチャ間符号化データより復号再生した後、その再生画像を再度ピクチャ内符号化してから復号再生して、その結果得られる再生画像を復号順で後続に位置するピクチャの表示用の復号再生において参照画像として用いることを特徴とする映像復号化装置。
前記の映像符号化装置において、符号化順に送出する複数のピクチャ間符号化データの間に分散するピクチャ内符号化データの断片の符号量を、送出順で、任意のピクチャのピクチャ間符号化データの先頭から次のピクチャのピクチャ間符号化データの先頭までの区間に挟まれる送出符号化データの符号量が、どの区間をとっても互いに均等に近づくように、適応的に変更することを特徴とする請求項１及び請求項２に記載の映像符号化装置。