JP2004120710A - 動画像符号化方法、動画像符号化装置、動画像符号化プログラム、及び動画像符号化データ構造 - Google Patents

Abstract

【課題】動きベクトルの符号化に使用する可変長符号化方法を示すエフコードによってスライス同期パターンが変更され、動きベクトルを用いた動き補償を行って動画像信号を符号化する動画像符号化方法において、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出する。
【解決手段】動画像符号化方法は、動きベクトルを用いた動き補償を行って動画像信号を符号化する方法において、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをスライスごとに設定する動画像符号化方法である。この動画像符号化方法は以下のステップを備えている。
◎グループ・オブ・ピクチャ単位でエフコードを共通に決定するエフコード決定ステップ
◎エフコードが示す可変長符号化方法で動きベクトルを符号化する動きベクトル符号化ステップ
◎エフコードに従って、スライス同期パターンを作成する同期パターン作成ステップ
◎動きベクトルで動き補償を行って動画像信号を符号化する画像符号化ステップ
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方法、特に、動きベクトルを用いた動き補償を行って動画像信号を符号化する方法において、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをスライスごとに設定する動画像符号化方法に関する。本発明は、さらに、動画像符号化装置、動画像符号化プログラム、及び動画像符号化データ構造に関する。
【０００２】
【従来の技術】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ　：　Ｉｎｔｅｇｒａｔｅｄ　Ｓｅｒｖｉｃｅｓ　Ｄｉｇｉｔａｌ　Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合　電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）とは、動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１）　によって、ＭＰＥＧ−１，ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００６】
上記のＭＰＥＧ方式では、図４に示すように、符号化データであるビットストリームは以下のような階層構造を有している。ビットストリームの最も大きなまとまりはシーケンスであり、シーケンスは複数のグループ・オブ・ピクチャ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャ（フレーム）から構成され、各ピクチャは、Ｉピクチャ（Ｉｎｔｒａ　ｃｏｄｅｄ　ｐｉｃｔｕｒｅ　）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ　ｃｏｄｅｄ　ｐｉｃｔｕｒｅ）又はＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　ｐｒｅｄｉｃｔｉｖｅ　ｃｏｄｅｄ　ｐｉｃｔｕｒｅ）のいずれかである。各ピクチャはさらに複数のスライスから構成されている。スライスは、各ピクチャ内の帯状の領域であり、複数のマクロブロックから構成されている。
【０００７】
ＭＰＥＧの符号化モードには、画面内符号化と画面間予測符号化の２つがある。画面内符号化は、フレーム画像をそのフレーム内の情報だけで符号化するモードであり、Ｉピクチャの符号化に用いられる。また、画面間予測符号化とは、フレーム画像をそのフレーム内の情報と他のフレームの情報との両方を用いて符号化するモードであり、Ｐピクチャ又はＢピクチャの符号化に用いられる。より詳細には、画面間予測符号化とは、当該フレームの各画素値と、他のピクチャ（以下、参照ピクチャという）から予測した予測値との差分値をとり、その差分値を符号化することによりデータ量を減らす符号化方式である。
【０００８】
実際のＰピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、フレーム内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、図１１に示すように、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
【０００９】
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルを検出する。
ところで、動きベクトルを検出する探索範囲は、一般的には、符号化対象ピクチャから参照ピクチャまでの距離に応じて変わるようになっている。それは、符号化対象ピクチャと参照ピクチャとの画像間距離が大きくなるにつれて動きベクトルも大きくなるからである。具体的には参照距離が短い場合は探索範囲が小さく、参照距離が長い場合は探索範囲が大きくなる。
【００１０】
そして、符号化対象のフレーム画像がＰピクチャやＢピクチャの場合には動きベクトルも符号化されるが、実際には動きベクトルそのものを符号化するのではなく、上述した動きベクトルの探索範囲を示すエフコード（ｆ＿ｃｏｄｅ）と、そのエフコードを使用して表した動きベクトルの大きさを表すパラメータである基本ベクトル成分（ｍｏｔｉｏｎ＿ｃｏｄｅ）及び残差ベクトル成分（ｍｏｔｉｏｎ＿ｒｅｓｉｄｕａｌ）とを符号化する。基本ベクトル成分は可変長符号コードとして与えられ、その具体例を図１２の表に示す。図１２に示すエフコードが１の場合の符号語を表している。したがって、エフコードが２の場合は、動きベクトルを２で除算したものに対応する表の符号を基本ベクトルとし、対応する表の符号に２をかけたものと動きベクトルの差を残差ベクトルとする。さらに、エフコードが３の場合は、動きベクトルを４で除算したものに対応する表の符号を基本ベクトルとし、対応する表の符号に４をかけたものと動きベクトルの差を残差ベクトルとする。このように残差ベクトル成分は、エフコード−１の値の示すビット数の符号により符号化されるため、残差ベクトル成分の大きさはエフコードの値によって変化する。
【００１１】
このように、エフコード，基本ベクトル成分，及び残差ベクトル成分により、動きベクトル（差分値）を広い範囲にわたって符号化することができる。例えば、図１３はエフコードと許容動きベクトル範囲との関係を示したものであり、この図に示すように、エフコードの値によって表現可能な動きベクトル（差分値）の範囲を変化させることができる。
【００１２】
ところで、大きな動きの画像を首尾よく符号化するためには、大きな動きの範囲まで符号化できる可変長符号化方法が必要であり、エフコードの値を大きくすることになる。動きがほとんど無い画像では、小さな動きを効率良く符号化できるよう小さな動きの範囲だけ符号化できる可変長符号化方法で十分であり、エフコードの値を小さくすることになる。一方、大きな動きの範囲まで符号化するには、小さな動きを効率良く符号化することよりも、大きな動きの範囲までの全ての動きについて平均的に圧縮率が悪くならないように符号化することが重要である。
【００１３】
そこで、ＭＰＥＧ−２やＭＰＥＧ−４ではピクチャ単位でエフコードを変更可能となっており、それによって再生画像の劣化を招くことなく、動きベクトルの符号化に必要なビット数を抑えて圧縮効率を高めている（例えば、特許文献１及び特許文献２参照。）。
【００１４】
【特許文献１】
特開２０００−２１７１１６号公報
【００１５】
【特許文献２】
特開２００２−２０９２１６号公報
【００１６】
【発明が解決しようとする課題】
ＭＰＥＧ−２やＭＰＥＧ−４では、ビットストリームにおいて、各ピクチャの先頭やスライスの先頭には、ビットストリーム中でその開始位置を簡単に見つけるための特別なビットパターンが挿入されており、それを同期パターン（ＳＹＮＣ）という。同期パターンは、エラーが生じるなどしてデータを途中から再生する場合の再生開始位置として機能している。そして、ビットストリーム中で同期パターンが簡単にみつけられるように、同期パターンと同じパターンは、同期位置外に絶対に現れないような仕組みになっている。
【００１７】
またＭＰＥＧ−４では、スライスの同期パターンに最も短いパターンを使用して、シーケンス全体の同期パターンのビット長を減らし、符号化の圧縮率を高めている。
さらに、ＭＰＥＧ−４では、ピクチャ単位で、エフコードの変化に合わせてスライス同期パターンの長さを変更するような仕組みになっている。これは、圧縮率を向上させるためであり、さらには動きベクトルの一部のパターンが同期パターンと一致してしまう事態を防ぐためである。なぜなら、エフコードが大きくなると、それに合わせて動きベクトルの符号化に必要なビット数が多くなり、このため、符号化された動きベクトルの一部のパターンがスライス同期パターンと一致しやすくなるからである。その問題を解決するため、エフコードが大きくなった場合にはスライス同期パターンを長くして、符号化された動きベクトルの一部のパターンがスライス同期パターンと一致するのを防止している。
【００１８】
以上の結果、異なるピクチャではスライス同期パターンが変化して異なった長さになることがある。図１４では、同じグループ・オブ・ピクチャ内のピクチャｎとピクチャｎ＋１の境界が示されている。スライス同期パターンはエフコードにしたがって長さが異なるようになっており、さらにエフコードはピクチャごとに決定されているため、ピクチャｎのスライスｎ，ｐの同期パターンとピクチャｎ＋１のスライスｎ＋１，１の同期パターンとは長さが異なっている。このようにピクチャごとにスライス同期パターンが異なると、仮に伝送エラーによってピクチャｎとピクチャｎ＋１の区切り（図１４のＡ’部分）が消失したときに、次のピクチャｎ＋１のスライス同期パターンを検出することが困難になる。つまり、伝送エラーが発生する環境下では、スライス同期パターンすなわちスライスの区切りを検出することが困難になり、符号化動画像を正しく復号化できなくなる。
【００１９】
本発明の課題は、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードによってスライス同期パターンが変更され、動きベクトルを用いた動き補償を行って動画像信号を符号化する動画像符号化方法において、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することにある。
【００２０】
【課題を解決するための手段】
請求項１に記載の動画像符号化方法は、動きベクトルを用いた動き補償を行って動画像信号を符号化する方法において、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをピクチャもしくはスライスごとに設定する動画像符号化方法である。この動画像符号化方法は以下のステップを備えている。
【００２１】
◎グループ・オブ・ピクチャ単位でエフコードを共通に決定するエフコード決定ステップ
◎エフコードが示す可変長符号化方法で動きベクトルを符号化する動きベクトル符号化ステップ
◎エフコードに従って、スライス同期パターンを作成する同期パターン作成ステップ
◎動きベクトルで動き補償を行って動画像信号を符号化する画像符号化ステップ
この動画像符号化方法では、同期パターン作成ステップではエフコードに従ってスライス同期パターンが作成されるため、エフコードが変化することによってスライス同期パターンが変化して、スライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはエフコード決定ステップによってグループ・オブ・ピクチャ単位で決定されているため、各グループ・オブ・ピクチャ内では、異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同一になっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であればそれ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【００２２】
請求項２に記載の動画像符号化方法では、請求項１において、同期パターン作成ステップでは、エフコードの値に対応して、スライス同期パターンの長さを変化させる。
この動画像符号化方法では、エフコードの値が大きくなるとスライス同期パターンの長さが長くなり、エフコードの値が小さくなるとスライス同期パターンの長さが短くなる。
【００２３】
請求項３に記載の動画像符号化方法では、請求項１又は２において、エフコード決定ステップでは、当該グループ・オブ・ピクチャより前のグループ・オブ・ピクチャの情報に基づいて、エフコードを決定する。
この動画像符号化方法では、前のグループ・オブ・ピクチャにおいて大きな動きが続いている場合はエフコードを大きくし、小さな動きが続いている場合はエフコードを小さくする。このように前のグループ・オブ・ピクチャの情報に基づいてエフコードを決定しているため、再生画像の劣化を招かない範囲で符号発生量を減らすことができ、さらに符号化速度が向上する。
【００２４】
請求項４に記載の動画像符号化方法では、請求項１又は２において、エフコード決定ステップでは、当該グループ・オブ・ピクチャの情報に基づいて、エフコードを決定する。
この動画像符号化方法では、グループ・オブ・ピクチャごとに圧縮率を確かめながら、エフコードを決定することができる。このように当該グループ・オブ・ピクチャの情報に基づいてエフコードを決定しているため、再生画像の劣化を招かない範囲で符号発生量を最も減らすことができる。
【００２５】
請求項５に記載の動画像符号化装置では、動きベクトルを用いた動き補償を行って動画像信号を符号化する装置において、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをピクチャもしくはスライスごとに設定する動画像符号化装置である。この動画像符号化装置は、グループ・オブ・ピクチャ単位でエフコードを決定するエフコード決定手段と、エフコードが示す可変長符号化方法で動きベクトルを符号化する動きベクトル符号化手段と、エフコードに従ってスライス同期パターンを作成する同期パターン作成手段と、動きベクトルで動き補償を行って動画像信号を符号化する画像符号化手段とを備えている。
【００２６】
この動画像符号化装置では、同期パターン作成手段がエフコードに従ってスライス同期パターンが作成されるため、エフコードが変化することによってスライス同期パターンが変化して、スライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはエフコード決定手段によってグループ・オブ・ピクチャ単位で共通に決定されているため、各グループ・オブ・ピクチャ内では、異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同一になっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であればそれ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【００２７】
請求項６に記載の動画像符号プログラムは、コンピュータにより、動画像符号化を行うためのプログラムであって、上記プログラムはコンピュータに以下の動画像符号化方法を行わせるものである。この動画像符号化方法は、動きベクトルを用いた動き補償を行って動画像信号を符号化する方法において、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをピクチャもしくはスライスごとに設定する動画像符号化方法であって、以下のステップを備えている。
【００２８】
◎グループ・オブ・ピクチャ単位でエフコードを共通に決定するエフコード決定ステップ
◎エフコードが示す可変長符号化方法で動きベクトルを符号化する動きベクトル符号化ステップ
◎エフコードに従って、スライス同期パターンを作成する同期パターン作成ステップ
◎動きベクトルで動き補償を行って動画像信号を符号化する画像符号化ステップ
この動画像符号化プログラムでは、同期パターン作成ステップではエフコードに従ってスライス同期パターンが作成されるため、エフコードが変化することによって、スライス同期パターンが変化してスライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはエフコード決定ステップにおいてグループ・オブ・ピクチャ単位で共通に決定されているため、各グループ・オブ・ピクチャ内では異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同一になっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であれば、それ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【００２９】
請求項７に記載の動画像符号化データ構造は、グループ・オブ・ピクチャ、ピクチャ、スライス、マクロブロックの順番で階層を構成する動画像符号化データ構造である。スライスは、スライス同期パターンと、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードと、複数の符号化マクロブロックとを含んでいる。スライス同期パターンはエフコードに従って作成されている。エフコードはグループ・オブ・ピクチャ単位で共通に決定されていることを特徴とする。
【００３０】
この画像復号化データ構造では、エフコードに従ってスライス同期パターンが作成されているため、エフコードが変化することによってスライス同期パターンが変化して、スライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはグループ・オブ・ピクチャ単位で共通に決定されているため、各グループ・オブ・ピクチャ内では異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同じになっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であれば、それ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１０を用いて説明する。
（実施の形態１）
図１は、本発明が適用される動画像符号化装置１のブロック構成図である。この動画像符号化装置１は、ＭＰＥＧの原理に基づいて形成された符号化装置であり、特に、ＭＰＥＧ−４の原理に基づいている。
【００３２】
動画像符号化装置１は、主に、動き推定／補償部（ＭＥ／ＭＣ）２と、減算器３と、ＤＣＴ符号化部４と、ローカルデコーダ５と、加算器６と、可変長符号化器（ＶＬＣ）７と、エフコード検出器８とから構成されている。入力画像データＰｉｃＩｎは、具体的には、入力された各ピクチャに対応する画像データをブロック化器によって符号化処理の単位としての１６×１６画素からなるブロック（マクロブロック）に対応するよう分割した後の各ブロックに対応する画像データである。
【００３３】
動き推定／補償部２は、入力画像データＰｉｃＩｎを受け、符号化対象ピクチャにおける符号化対象ブロックに対する予測ブロックのデータを生成する。動き推定／補償部２は、動き検出器（ＭＥ）１１と、動き補償器（ＭＣ）と、ピクチャメモリ１３とから構成されている。
動き検出器１１は、入力画像ＰｉｃＩｎが入力され、ピクチャメモリ１３内の再構成画像に対する入力画像ＰｉｃＩｎの動きである動きベクトルＭＶを算出する。動き検出器１１は、動きベクトルＭＶを、動き補償器１２とピクチャメモリ１３と可変長符号化器７とエフコード検出器８に出力する。動き補償器１２は、動き検出器１１からの動きベクトルＭＶに基づいて、ピクチャメモリ１３に格納されている再構成画像から動きに対応する画像データを参照画像として作成し（動き補償）、それを減算器３と加算器６とに出力する。ピクチャメモリ１３は、再構成画像を貯え、動き検出器１１や動き補償器１２によって再構成画像を読み出される。
【００３４】
減算器３は、入力画像ＰｉｃＩｎの対象データと、動き補償器１２からの参照画像との差分値を求め、その差分値である差分データをＤＣＴ符号化部４に出力する。
ＤＣＴ符号化部４は、減算器３からの差分データにデータ圧縮処理を施して、圧縮データを出力する。ＤＣＴ符号化部４は直交変換器１４と量子化器１５とから構成されている。直交変換器１４は、減算器３からの差分データに対して、直交変換処理の一種である空間領域のデータを周波数領域のデータに変換する離散コサイン変換処理（ＤＣＴ処理）を施し、そのデータを量子化器１５に出力する。量子化器１５は、直交変換器１４からのＤＣＴデータを所定の量子化ステップでもって量子化して、量子化係数をローカルデコーダ５と可変長符号化器（ＶＬＣ）７に出力する。
【００３５】
ローカルデコーダ５は、ＤＣＴ符号化部４からの出力にデータ伸長処理を施して伸長データを出力する。ローカルデコーダ５は逆量子化器１６と逆直交変換器１７とから構成されている。逆量子化器１６は、ＤＣＴ符号化部４からの出力を上記量子化ステップでもって逆量子化し、それを逆直交変換器１７に出力する。逆直交変換器１７は、逆量子化器１６からの出力に対して、周波数領域のデータを空間領域のデータに変換する逆離散コサイン変換処理（ＩＤＣＴ処理）を施して、伸長データを予測残差信号として加算器６に出力する。
【００３６】
加算器６は、当該マクロブロックの符号化モードによって加算処理を切り替える。例えば、当該マクロブロックが画面内符号化されている場合は、予測残差信号をそのまま再構成画像として出力する。一方、加算器６は、当該マクロブロックが画面間動き補償予測符号化されている場合は、ローカルデコーダ５からの予測残差信号と動き補償器１２からの参照画像とを加算した画像データを再構成画像としてピクチャメモリ１３に出力する。
【００３７】
エフコード検出器８は、動き検出器１１からの動きベクトルＭＶによってエフコード（ｆ＿ｃｏｄｅ）を検出する。また、エフコード検出器８には、画像情報のグループ・オブ・ピクチャ情報を知らせる情報が入力される。
可変長符号化器７は、ＤＣＴ符号化部４からの量子化されたＤＣＴ後のデータに対して可変長符号化処理（エントロピー符号化）を施す。さらに、可変長符号化器７は、エフコード検出器８からのエフコードに基づいて動き検出器１１からの動きベクトルＭＶを可変長符号化し、それら符号化データを多重化した後にビットストリームＳｔｒを出力する。さらに、可変長符号化器７内にはスライス同期パターンを生成するための同期パターン生成器が設けられている。
【００３８】
以下、図２のフローチャートを用いて、動画像符号化装置１の動作、すなわち動画像符号化方法を概略的に説明する。
ステップＳ１では、動き検出器１１が、入力画像ＰｉｃＩｎとピクチャメモリ１３からの再構成画像とから、動きベクトルＭＶを検出する。より詳細には、動き検出器１１は探索範囲内で水平及び垂直方向の各動きベクトルＭＶをマクロブロックごとに検出する。そして動き検出器１１はその検出した各動きベクトルＭＶを動き補償器１２と可変長符号化器７とエフコード検出器８とに出力する。
【００３９】
ステップＳ２では、エフコード検出器８は、グループ・オブ・ピクチャ情報に基づいて、各グループ・オブ・ピクチャにおける最初のピクチャであるか否かを判断する。最初のピクチャである場合はステップＳ３に移行してエフコードの検出を行い、最初のピクチャでない場合はステップＳ３をスキップしてステップＳ４に移行する。
【００４０】
ステップＳ３では、エフコード検出器８は、現在の符号化対象であるグループ・オブ・ピクチャに共通となるエフコードを検出する。このときのエフコード検出器８の検出動作を図３に示す。最初にステップＳ９において、動き検出器１１から送られてきた動きベクトルＭＶの絶対値｜ＭＶ｜を取得する。次にステップＳ１０において、絶対値｜ＭＶ｜が１６未満であるか否かを判断する。１６未満である場合はステップＳ１１に移行してエフコードを１とし、１６未満でない場合はステップＳ１２に移行し、絶対値｜ＭＶ｜が３２未満であるか否かを判断する。３２未満である場合はステップＳ１３に移行してエフコードを２とし、３２未満でない場合はステップＳ１３に移行してエフコードを３とする。以上に述べたように、検出範囲に応じて定められている最小のエフコードを検出することで、符号化効率を向上させている。
【００４１】
なお、エフコードの検出方法（基準）としては、下記のものも考えられる。
▲１▼当該グループ・オブ・ピクチャより前のグループ・オブ・ピクチャの情報に基づいて、エフコードを決定することができる。この場合は、例えば、前のグループ・オブ・ピクチャにおいて大きな動きが続いている場合はエフコードを大きくし、小さな動きが続いている場合はエフコードを小さくする。このように前のグループ・オブ・ピクチャの情報に基づいてエフコードを決定しているため、再生画像の劣化を招かない範囲で符号発生量を減らすことができ、さらに符号化速度が向上する。したがって、撮影した画像をリアルタイムで配信する場合のように順次画像データを符号化しながら送信している場合に最適である。
【００４２】
▲２▼当該グループ・オブ・ピクチャの情報に基づいて、エフコードを決定することができる。この場合は、例えば、グループ・オブ・ピクチャごとに圧縮率を確かめながら、エフコードを決定することができる。このように当該グループ・オブ・ピクチャの情報に基づいてエフコードを決定しているため、再生画像の劣化を招かない範囲で符号発生量を最も減らすことができる。
【００４３】
ステップＳ４では、動き補償器１２は、動き検出器１１からの動きベクトルＭＶに基づいて、ピクチャメモリ１３に格納されている再構成画像から動きに対応する画像データを参照画像として作成し（動き補償）、それを減算器３と加算器６とに出力する。次に、例えば入力画像データがＰピクチャに対応するものであれば、減算器３がそのピクチャ内の画像データと２つ隣のピクチャの画像データから予測した予測値との予測残差を求め、さらに直交変換器１４、量子化器１５が当該予測残差を圧縮していく。
【００４４】
ステップＳ５では、可変長符号化器７の同期パターン生成器がスライスごとに同期パターンを付与する。この動画像符号化装置１では、スライス同期パターンは可変長となっており、符号化動きベクトルのパターンの一部と一致しないように、エフコードの値に従ってビット長を変更するようになっている。しかし、この動画像符号化装置１では前述のようにグループ・オブ・ピクチャ単位でエフコードを共通に設定しているため、各グループ・オブ・ピクチャ内ではスライス同期パターンの長さは同一になる。
【００４５】
ステップＳ６では、可変長符号化器７が、量子化器１５からの画素データを可変長符号化する。さらに、可変長符号化器７は、動き検出器１１から送られてきた動きベクトルＭＶを、すでに検出されたエフコードによって符号化する。その際、可変長符号化器７は動きベクトルＭＶそのものを符号化するのではなく、エフコード検出器８から得たエフコードと、そのエフコードを使用して表した動きベクトルＭＶの大きさを表す基本ベクトル及び残差ベクトル成分とを符号化する。なお、エフコードの検出はグループ・オブ・ピクチャの最初のピクチャの場合のみ行われており、そのときに検出されたエフコードがそのグループ・オブ・ピクチャの残りのピクチャの動きベクトルＭＶを符号化するのに用いられる。
【００４６】
ステップＳ７では、グループ・オブ・ピクチャが終了したか否かを判断する。グループ・オブ・ピクチャが終了した場合には処理を終了し、それ以外の場合はステップＳ１に戻り処理を続ける。
可変長符号化器７は、このような符号化処理によって得た各データをＭＰＥＧフォーマットで規定される所定順序に合わせて配列し、ビットストリームＳｔｒとして出力する。図４に示すように、ビットストリームＳｔｒの配列は階層的構造を有し、大別するとシーケンス層、ＧＯＰ層、ピクチヤ層、スライス層、マクロブロック層及びブロック層に分かれている。上述したエフコードに関しては、スライス層のスライスヘッダ領域に格納されている。また符号化された動きベクトル情報に関してはマクロブロック層に格納し、予測残差に関してはブロック層に格納される。
【００４７】
以上の結果、各グループ・オブ・ピクチャ内では、異なるピクチャ間であってもスライス同期パターン同一であり同じ長さになっている。図５では、同じグループ・オブ・ピクチャ内のピクチャｎとピクチャｎ＋１の境界が示されている。スライス同期パターンはエフコードにしたがって長さが異なるようになっているが、エフコードはグループ・オブ・ピクチャごとに共通に決定されているため、ピクチャｎのスライスｎ，ｐの同期パターンとピクチャｎ＋１のスライスｎ＋１，１の同期パターンとは長さが同じになっている。このようにピクチャごとにスライス同期パターンが同じであるため、仮に伝送エラーによってピクチャｎとピクチャｎ＋１の区切り（図５のＡ部分）が消失したときに、次のピクチャｎ＋１のスライス同期パターンを検出することが容易になる。つまり、伝送エラーが発生する環境下であっても、スライス同期パターンすなわちスライスの区切りを検出することが容易になり、エラーの無いスライスから符号化動画像を正しく復号化できる。
【００４８】
（実施の形態２）
さらに、上記各実施の形態で示した動画像符号化を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００４９】
図６は、上記上記各実施の形態の動画像符号化を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図６（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図６（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００５０】
また、図６（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生行うための構成を示す。動画像符号化を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化を実現する上記動画像符号化をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００５１】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態３）
さらにここで、上記実施の形態で示した動画像符号化の応用例とそれを用いたシステムを説明する。
【００５２】
図７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ　ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００５３】
しかし、コンテンツ供給システムｅｘ１００は図７のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【００５４】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【００５５】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００５６】
このシステムを構成する各機器の符号化には上記各実施の形態で示した画像符号化装置１を用いるようにすればよい。
その一例として携帯電話について説明する。
図８は、上記実施の形態で説明した動画像符号化を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【００５７】
さらに、携帯電話ｅｘ１１５について図９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【００５８】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し　変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００５９】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【００６０】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【００６１】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【００６２】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【００６３】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【００６４】
次に、画像復号化部ｅｘ３０９は、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００６５】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１０に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【００６６】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００６７】
なお、カーナビゲーションｅｘ４１３の構成は例えば図９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００６８】
このように、上記実施の形態で示した動画像符号化を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００６９】
【発明の効果】
請求項１に記載の動画像符号化方法では、同期パターン作成ステップではエフコードに従ってスライス同期パターンが作成されるため、エフコードが変化することによってスライス同期パターンが変化して、スライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはエフコード決定ステップによってグループ・オブ・ピクチャ単位で決定されているため、各グループ・オブ・ピクチャ内では、異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同一になっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であればそれ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【００７０】
請求項２に記載の動画像符号化方法では、請求項１において、同期パターン作成ステップでは、エフコードの値に対応して、スライス同期パターンの長さを変化させているため、エフコードの値が大きくなるとスライス同期パターンの長さが長くなり、エフコードの値が小さくなるとスライス同期パターンの長さが短くなる。
【００７１】
請求項３に記載の動画像符号化方法では、請求項１又は２において、エフコード決定ステップでは、当該グループ・オブ・ピクチャより前のグループ・オブ・ピクチャの情報に基づいて、エフコードを決定しているため、再生画像の劣化を招かない範囲で符号発生量を減らすことができ、さらに符号化速度が向上する。請求項４に記載の動画像符号化方法では、請求項１又は２において、エフコード決定ステップでは、当該グループ・オブ・ピクチャの情報に基づいて、エフコードを決定しているため、再生画像の劣化を招かない範囲で符号発生量を最も減らすことができる。
【００７２】
請求項５に記載の動画像符号化装置では、では、同期パターン作成手段がエフコードに従ってスライス同期パターンを作成しているため、エフコードが変化することによってスライス同期パターンが変化して、スライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはエフコード決定手段によってグループ・オブ・ピクチャ単位で共通に決定されているため、各グループ・オブ・ピクチャ内では、異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同一になっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であればそれ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【００７３】
請求項６に記載の動画像符号プログラムでは、同期パターン作成ステップではエフコードに従ってスライス同期パターンが作成されるため、エフコードが変化することによって、スライス同期パターンが変化してスライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはエフコード決定ステップにおいてグループ・オブ・ピクチャ単位で共通に決定されているため、各グループ・オブ・ピクチャ内では異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同一になっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であれば、それ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【００７４】
請求項７に記載の動画像符号化データ構造では、エフコードに従ってスライス同期パターンが作成されているため、エフコードが変化することによってスライス同期パターンが変化して、スライス同期パターン同士が互いに異なる可能性がある。しかし、エフコードはグループ・オブ・ピクチャ単位で共通に決定されているため、各グループ・オブ・ピクチャ内では異なるピクチャ間でもエフコードの値は必ず同一になっており、さらにスライス同期パターンも同じになっている。この結果、伝送エラーによってピクチャの区切りが消失したとしても、各グループ・オブ・ピクチャ内であれば、それ以後のスライス同期パターンを検出することができる。この結果、伝送エラーが発生する環境下でも、スライス同期パターンをより確実に検出することができる。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置のブロック図（実施の形態１）
【図２】本発明の動画像符号化方法の動作フローチャート（実施の形態１）
【図３】本発明の動画像符号化方法のエフコード検出の動作フローチャート（実施の形態１）
【図４】本発明の動画像符号化データの階層構造を示す図（実施の形態１）
【図５】本発明の動画像符号化データの一部を示す図（実施の形態１）
【図６】上記各実施の形態の動画像符号化をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態２）
【図７】コンテンツ供給システムの全体構成を示すブロック図（実施の形態３）
【図８】動画像符号化を用いた携帯電話の例（実施の形態３）
【図９】携帯電話のブロック図（実施の形態３）
【図１０】ディジタル放送用システムの例（実施の形態３）
【図１１】画面間動き補償動作を説明するための図（従来例）
【図１２】動きベクトルを表すための基本ベクトル成分に割り当てられる可変長符号を示す図（従来例）
【図１３】エフコードと動きベクトルの探索範囲との関係を示す表（従来例）
【図１４】動画像符号化データの一部を示す図（従来例）
【符号の説明】
１　　動画像符号化装置
２　　動き推定／補償部（ＭＥ／ＭＣ）
３　　減算器
４　　ＤＣＴ符号化部
５　　ローカルデコーダ
６　　加算器
７　　可変長符号化器（ＶＬＣ）
８　エフコード検出器
１１　動き検出器（ＭＥ）
１２　動き補償器（ＭＣ）
１３　ピクチャメモリ
１４　直交変換器
１５　量子化器
１６　逆量子化器
１７　逆直交変換器
Ｃｓ　コンピュータ・システム
ＦＤ　フレキシブルディスク
ＦＤＤ　フレキシブルディスクドライブ

Claims (7)

1. 動きベクトルを用いた動き補償を行って動画像信号を符号化する方法において、前記動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをピクチャもしくはスライスごとに設定する動画像符号化方法であって、
   グループ・オブ・ピクチャ単位で前記エフコードを共通に決定するエフコード決定ステップと、
   前記エフコードを用いて動きベクトルを符号化する動きベクトル符号化ステップと、
   前記エフコードに従って、スライス同期パターンを作成する同期パターン作成ステップと、
   前記動きベクトルで動き補償を行って前記動画像信号を符号化する画像符号化ステップと、
   を備えた動画像符号化方法。
2. 前記同期パターン作成ステップでは、前記エフコードの値に対応して、前記スライス同期パターンの長さを変化させる、請求項１に記載の動画像符号化方法。
3. 前記エフコード決定ステップでは、当該グループ・オブ・ピクチャより前のグループ・オブ・ピクチャの情報に基づいて、前記エフコードを決定する、請求項１又は２に記載の動画像符号化方法。
4. 前記エフコード決定ステップでは、当該グループ・オブ・ピクチャの情報に基づいて、前記エフコードを決定する、請求項１又は２に記載の動画像符号化方法。
5. 動きベクトルを用いた動き補償を行って動画像信号を符号化する装置において、前記動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをピクチャもしくはスライスごとに設定する動画像符号化装置であって、
   グループ・オブ・ピクチャ単位で前記エフコードを共通に決定するエフコード決定手段と、
   前記エフコードが示す可変長符号化方法で動きベクトルを符号化する動きベクトル符号化手段と、
   前記エフコードに従って、スライス同期パターンを作成する同期パターン作成手段と、
   前記動きベクトルで動き補償を行って前記動画像信号を符号化する画像符号化手段と、
   を備えた動画像符号化装置。
6. コンピュータにより、動画像符号化を行うためのプログラムであって、
   上記プログラムはコンピュータに、
   動きベクトルを用いた動き補償を行って動画像信号を符号化する方法において、前記動きベクトルの符号化に使用する可変長符号化方法を示すエフコードをピクチャもしくはスライスごとに設定する動画像符号化方法であって、
   グループ・オブ・ピクチャ単位で前記エフコードを共通に決定するエフコード決定ステップと、
   前記エフコードが示す可変長符号化方法で動きベクトルを符号化する動きベクトル符号化ステップと、
   前記エフコードに従って、スライス同期パターンを作成する同期パターン作成ステップと、
   前記動きベクトルで動き補償を行って前記動画像信号を符号化する画像符号化ステップと、
   を備えた動画像符号化方法
   を、行わせるものである動画像符号化プログラム。
7. グループ・オブ・ピクチャ、ピクチャ、スライス、マクロブロックの順番で階層を構成する動画像符号化データ構造であって、
   前記スライスは、スライス同期パターンと、動きベクトルの符号化に使用する可変長符号化方法を示すエフコードと、複数の符号化マクロブロックとを含み、
   前記スライス同期パターンはエフコードに従って作成されており、
   前記エフコードは前記グループ・オブ・ピクチャ単位で共通に決定されていることを特徴とする、画像符号化データ構造。

Images