JP2008258952A - 符号化装置、符号化プログラムおよび符号化方法 - Google Patents

Abstract

【課題】転送単位あたりの符号発生量の変動を安定させることを課題とする。
【解決手段】所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択し、イントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、領域のその他のマクロブロックについては非イントラマクロブロックまたはイントラマクロブロックとして符号化することで、ストリームの生成を領域ごとに開始し、領域ごとにストリームが生成されると、生成された領域ごとのストリームの転送を領域ごとに開始する。
【選択図】 図１

Description

この発明は、符号化装置、符号化プログラムおよび符号化方法に関する。

従来より、ＤＶＤやデジタルテレビ等の画像データを符号化する符号化方式の一つとして、ＭＰＥＧ２（Moving Picture Experts Group 2）が普及している。具体的には、画像データは、コーデック（CODEC：encoder、decoder）と呼ばれる符号化装置（エンコーダ）および復号化装置（デコーダ）によって、ＭＰＥＧ２の方式で符号化されたり復号化されたりする。

エンコーダやデコーダについて簡単に説明すると、まず、画像を電気信号（画像データ）に変換する画面走査（scan）には、プログレッシブ方式（順次走査）とインターレース方式（飛び越し走査）とがある。図１１は、画面走査について説明するための図であるが、図１１に示すように、プログレッシブ方式は、１画面である１フレームを、最上部から最下部まで順次走査する方式であり、インターレース方式は、１画面である１フレームを、最上位（top）のラインを含んでいる奇数ラインで構成されるトップフィールド（top field）と、偶数ラインで構成されるボトムフィールド（bottom field）の２つのフィールドに分割して走査する方式で、トップフィールドを最上部から最下部まで走査し、次に、ボトムフィールドを最上部から最下部まで走査する。

また、ＭＰＥＧ２のピクチャ構造には、フィールド構造とフレーム構造とがある。図１２は、ピクチャ構造を説明するための図であるが、図１２に示すように、フィールド構造は、画像データのトップフィールドやボトムフィールドの１フィールドを１ピクチャとして符号化する方式であり、フレーム構造は、１フレームを１ピクチャとして符号化する方式である。なお、図１２に示すように、画面走査がインターレース方式の場合には、フィールド構造およびフレーム構造のいずれのピクチャ構造も対応するが、プログレッシブ方式の場合には、フレーム構造のみが対応する。

画面走査がインターレース方式の場合において、エンコーダがフィールド構造の画像データを符号化し、デコーダがフィールド構造の画像データを復号化する手法について説明すると、一般的には、図１３に示すように、まず、エンコーダが、１フィールド分の画像データの蓄積を開始し、１フィールド分の画像データの蓄積が完了すると、蓄積した１フィールド分の画像データの符号化を開始し、１フィールド分の画像データの符号化が完了すると、符号化した１フィールド分のストリーム出力を開始する。続いて、デコーダが、１フィールド分のストリーム入力を開始し、１フィールド分のストリーム入力が完了すると、入力した１フィールド分のストリームの復号化を開始し、１フィールド分のストリームの復号化が完了すると、復号化した１フィールド分の画像データ出力を開始する。

同様に、エンコーダがフレーム構造の画像データを符号化し、デコーダがフレーム構造の画像データを復号化する手法について説明すると、一般的には、図１４に示すように、まず、エンコーダが、１フレーム分（top fieldおよびbottom field）の画像データの蓄積を開始し、１フレーム分の画像データの蓄積が完了すると、蓄積した１フレーム分の画像データの符号化（top fieldおよびbottom fieldについて一緒に符号化）を開始し、１フレーム分の画像データの符号化が完了すると、符号化した１フレーム分のストリーム出力を開始する。続いて、デコーダが、１フレーム分のストリーム入力を開始し、１フレーム分のストリーム入力が完了すると、入力した１フレーム分のストリームの復号化を開始し、１フレーム分のストリームの復号化が完了すると、復号化した１フレーム分の画像データ出力をtop fieldから開始する。

ここで、ＭＰＥＧ２によるピクチャ符号化について説明すると、ＭＰＥＧ２では、画像データにおいては、隣接する画素の相関が高いことに着目し、周辺の画素から予測する予測符号化の方式を採用している。具体的には、ＭＰＥＧ２は、Ｉピクチャ（Intra-codedピクチャ）、Ｐピクチャ（Predictive-codedピクチャ）、およびＢピクチャ（Bidirectionally predictive-codedピクチャ）の３種類のピクチャを組み合わせることによって、各種の方式を採用する。なお、Ｉピクチャは、予測せずに入力された画像データをそのまま符号化するピクチャのことであり、Ｐピクチャは、直前のＩピクチャまたはＰピクチャから（動き補償）予測をして符号化するピクチャのことであり、Ｂピクチャは、直前のＩピクチャまたはＰピクチャ、および、直後のＩピクチャまたはＰピクチャから（動き補償）予測をして符号化するピクチャのことである。

例えば、図１５および１６は、予測符号化の方式について説明するための図であるが、図１５に示すように、ＩピクチャとＰピクチャとで構成された「Ｉ、Ｐ、Ｐ」のＧＯＰ（Group of Picture）の順で画像データを符号化する方式や、図１６に示すように、Ｐピクチャのみの画像データを符号化する方式などがある。図１５に示す方式では、Ｉピクチャを挿入することでリフレッシュ（画質の劣化を防ぐこと）を行い、図１６に示す方式では、イントラスライス（予測せずに入力された画像データをそのまま符号化するイントラマクロブロックで構成されたスライス）をピクチャに挿入して一巡させることでリフレッシュを行う。

また、例えば、特許文献１には、同文献の図４や図５に示すように、奇数番目のイントラセグメント（イントラマクロブロックで構成）で構成された第一イントラセグメントと、偶数番目のイントラセグメントで構成された第二イントラセグメントとをピクチャに挿入して移動させることでリフレッシュを行う形式が開示されている。

特許第２８０１５６０号公報

ところで、上記してきた従来の技術では、以下に説明するように、符号化や復号化にあたり大きな遅延が生ずるという課題がある。すなわち、例えば、図１３に示すように、画面走査がインターレース方式の場合において、エンコーダがフィールド構造の画像データを符号化し、デコーダがフィールド構造の画像データを復号化する手法においては、少なくとも４フィールド（２フレーム）の遅延（60msec程度の遅延）が生ずる。また、例えば、図１４に示すように、画面走査がインターレース方式の場合において、エンコーダがフレーム構造の画像データを符号化し、デコーダがフレーム構造の画像データを復号化する手法においては、少なくとも４フレームの遅延（120msec程度の遅延）が生ずる。（なお、「60msec程度の遅延」が生ずる等と述べているが、これは、日本におけるテレビのフレーム周波数が30Hzであることから、１フレームはおおよそ30msec程度であろうという仮定のもとでの数字であり、実際には異なる数字となる場合もある。）

このような課題を解決するため、以下に説明するように、符号化および復号化にあたり生ずる遅延を抑える方法を提案する。すなわち、例えば、画面走査がインターレース方式の場合において、エンコーダがフィールド構造の画像データを符号化し、デコーダがフィールド構造の画像データを復号化する手法について説明すると、提案する方法は、まず、エンコーダが、１フィールド分の画像データの蓄積を開始し、１フィールド分の画像データの内、１横ロウ分（あるいは、１横ロウの整数倍分）の画像データの蓄積が完了すると、画像データの蓄積を継続するとともに、蓄積した１横ロウ分の画像データの符号化を開始する。また、エンコーダは、１横ロウ分の画像データの符号化が完了すると、画像データの蓄積や符号化を継続するとともに、符号化した１横ロウ分のストリーム出力を開始する。続いて、デコーダが、１横ロウ分のストリーム入力を開始し、１横ロウ分のストリーム入力が完了すると、ストリーム入力を継続するとともに、入力した１横ロウ分のストリームの復号化を開始する。また、デコーダは、１横ロウ分のストリームの復号化が完了すると、ストリーム入力や復号化を継続するとともに、復号化した１横ロウ分の画像データ出力を開始する。

このように、提案する方法によれば、エンコーダが、画像データを蓄積する処理、画像データを符号化する処理、ストリームを出力する処理をオーバーラップさせ、デコーダが、ストリームを入力する処理、ストリームを復号化する処理、画像データを出力する処理をオーバーラップさせることで、符号化および復号化にあたり生ずる遅延を８msec程度に抑えることが可能になる（超低遅延を実現することが可能になる）。なお、「8msec程度の遅延」に抑えると述べたが、これは、ＨＤ画像（ハイビジョン画像・高精細画像）の場合を想定したあくまで一例の数字であり、実際には異なる数字となる場合もある。

ところで、ここで、提案する方法による場合、ピクチャ符号化の形式としていずれの形式との組み合わせが適しているかを検討する。上記したように、Ｉピクチャは、予測せずに入力された画像データをそのまま符号化するピクチャであることから、Ｐピクチャに比較して、その符号発生量（ビットレート）が増大すると考えられる。このため、超低遅延の手法と図１５に示す形式とを組み合わせると、図１５に示すように、ＧＯＰ単位での符号発生量は比較的安定するが、ピクチャ単位での符号発生量の変動は大きくなり、結局、符号発生量の大きいピクチャにおいて、大きな遅延が生ずることになってしまう。一方、イントラスライスも、予測せずに入力された画像データをそのまま符号化するスライスであることから、他のスライスに比較して、その符号発生量が増大すると考えられる。このため、超低遅延の手法と図１６に示す形式とを組み合わせると、図１６に示すように、ピクチャ単位での符号発生量は比較的安定するが、スライス単位での符号発生量の変動は大きくなり、結局、符号発生量の大きいスライスにおいて、大きな遅延が生ずることになってしまう。

結局、ピクチャ符号化の形式としていずれの形式を採用したとしても、転送単位あたりの符号発生量の変動を安定させた上で超低遅延を実現することができないという課題が生じる。

そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、転送単位あたりの符号発生量の変動を安定させることが可能な符号化装置、符号化プログラムおよび符号化方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、当該所定のピクチャを符号化したストリームを生成する符号化装置であって、前記所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、前記ピクチャを符号化するごとに当該イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するイントラマクロブロック選択手段と、前記領域のマクロブロックの内、前記イントラマクロブロック選択手段によってイントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、前記領域のその他のマクロブロックについては前記非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、前記ストリームの生成を当該領域ごとに開始するストリーム生成手段と、前記ストリーム生成手段によって前記領域ごとにストリームが生成されると、生成された当該領域ごとのストリームの転送を当該領域ごとに開始する転送手段と、を備えたことを特徴とする。

また、請求項２に係る発明は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、当該所定のピクチャを符号化したストリームを生成する符号化方法をコンピュータに実行させる符号化プログラムであって、前記所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、前記ピクチャを符号化するごとに当該イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するイントラマクロブロック選択手順と、前記領域のマクロブロックの内、前記イントラマクロブロック選択手順によってイントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、前記領域のその他のマクロブロックについては前記非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、前記ストリームの生成を当該領域ごとに開始するストリーム生成手順と、前記ストリーム生成手順によって前記領域ごとにストリームが生成されると、生成された当該領域ごとのストリームの転送を当該領域ごとに開始する転送手順と、をコンピュータに実行させることを特徴とする。

また、請求項３に係る発明は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、当該所定のピクチャを符号化したストリームを生成する符号化方法であって、前記所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、前記ピクチャを符号化するごとに当該イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するイントラマクロブロック選択工程と、前記領域のマクロブロックの内、前記イントラマクロブロック選択工程によってイントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、前記領域のその他のマクロブロックについては前記非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、前記ストリームの生成を当該領域ごとに開始するストリーム生成工程と、前記ストリーム生成工程によって前記領域ごとにストリームが生成されると、生成された当該領域ごとのストリームの転送を当該領域ごとに開始する転送工程と、を含んだことを特徴とする。

請求項１、２または３の発明によれば、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたはイントラマクロブロックとして符号化することで、所定のピクチャを符号化したストリームを生成する符号化装置であって、所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択し、領域のマクロブロックの内、イントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、領域のその他のマクロブロックについては非イントラマクロブロックまたはイントラマクロブロックとして符号化することで、ストリームの生成を領域ごとに開始し、領域ごとにストリームが生成されると、生成された領域ごとのストリームの転送を領域ごとに開始するので、転送単位あたりの符号発生量の変動を安定させることが可能になる。

以下に添付図面を参照して、本発明に係る符号化装置の実施例を説明する。なお、以下では、実施例で用いる主要な用語、実施例１に係る符号化装置の概要および特徴、実施例１に係る符号化装置の構成、実施例１に係る符号化装置による処理の手順、実施例１の効果を順に説明し、続いて、他の実施例について説明する。

［用語の説明］
まず最初に、以下の実施例で用いる主要な用語を説明する。「画像データ」とは、画面走査によって電気信号に変換された画像のことである。すなわち、ＭＰＥＧ２（Moving Picture Experts Group 2）の方式で符号化されたり復号化されたりする「画像データ」とは、画面走査によって電気信号に変換された「１ピクチャ」の「画像データ」が、時系列に従って複数連続している一連の「画像データ」のことであるといえる。なお、「１ピクチャ」の「画像データ」は、複数の「マクロブロック」で構成されている。

ここで、ＭＰＥＧ２による「１ピクチャ」の符号化について説明すると、ＭＰＥＧ２では、画像データにおいては、隣接する画素の相関が高いことに着目し、周辺の画素から予測する予測符号化の方式を採用している。具体的には、ＭＰＥＧ２では、Ｉピクチャ、Ｐピクチャ、およびＢピクチャの３種類のピクチャを組み合わせることによって、各種の方式が採用されるが、本発明に係る符号化装置においては、後に詳述するように、Ｐピクチャのみの画像データを符号化する方式を採用する。

ところで、予測符号化の方式を採用するにあたっては、リフレッシュすることで、画質の劣化を防がなければならない。このため、本発明に係る符号化装置においては、Ｐピクチャを構成する複数のマクロブロックの内、所定の個数のマクロブロックについては、予測せずに入力された画像データをそのまま符号化する「イントラマクロブロック」として選択して符号化し、Ｐピクチャを構成するその他のマクロブロックについては、時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する「インターマクロブロック」（特許請求の範囲に記載の「非イントラマクロブロック」に対応する）または「イントラマクロブロック」として符号化することで、「１ピクチャ」を符号化した「ストリーム」を生成する。こうすることで、「イントラマクロブロック」として選択されて符号化されたマクロブロックについては、リフレッシュされることになる。

こうして、符号化装置によって生成された「ストリーム」は、復号化装置に向けて転送され、復号化装置において復号化されることで、画像として出力される。ところで、上記したように、ＭＰＥＧ２が符号化したり復号化したりする画像データは、１ピクチャの画像データが、時系列に従って複数連続している一連の画像データのことである。とすると、連続している一連の画像データの符号化や復号化を考える上で最も重要になるのは、符号化や復号化にあたり遅延をいかに抑えるかという点であり、そのために転送単位あたりの符号発生量の変動をいかに安定させるかという点である。本発明に係る符号化装置は、これらの点について解決するものである。

［実施例１に係る符号化装置の概要および特徴］
続いて、図１を用いて、実施例１に係る符号化装置の概要および特徴を説明する。図１は、実施例１に係る符号化装置の概要および特徴を説明するための図である。

実施例１に係る符号化装置は、上記したように、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロック（インターマクロブロック）またはイントラマクロブロックとして符号化することで、所定のピクチャを符号化したストリームを生成することを概要とし、転送単位あたりの符号発生量の変動を安定させることを主たる特徴とする。

この主たる特徴について簡単に説明すると、実施例１に係る符号化装置は、所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに、一定の個数のマクロブロックをイントラマクロブロックとして選択する（図１の（１−１）を参照）。例えば、図１に示すように、符号化装置は、６個のマクロブロックから成る領域（１横ロウ）ごとに、１個のマクロブロックをイントラマクロブロックとして選択する。

また、符号化装置は、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで（図１の（１−２）を参照）、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択する（図１の（１−３）を参照）。例えば、図１に示すように、符号化装置は、イントラマクロブロックの選択を、第１列、第２列、・・・、第６列と変更することで、６ピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロック（図１においては、５行×６列）をイントラマクロブロックとして一度ずつ選択する。

一方で、実施例１に係る符号化装置は、領域のマクロブロックの内、イントラマクロブロックとして選択されたマクロブロックについては、イントラマクロブロックとして符号化し、領域のその他のマクロブロックについては、インターマクロブロック（またはイントラマクロブロック）として符号化することで、ストリームの生成を領域ごとに開始する（図１の（２）を参照）。続いて、符号化装置は、領域ごとにストリームが生成されると、生成された領域ごとのストリームの転送を領域ごとに開始する（図１の（３）を参照）。

言い換えると、まず、符号化装置が、１ピクチャ分の画像データの蓄積を開始し、１ピクチャ分の画像データの内、１領域分の画像データの蓄積が完了すると、画像データの蓄積を継続するとともに、蓄積した１領域分の画像データの符号化（ストリームの生成、図１の（２）を参照）を開始する。また、符号化装置は、１領域分の画像データの符号化が完了すると、画像データの蓄積や符号化を継続するとともに、符号化した１領域分のストリーム出力（ストリームの転送、図１の（３）を参照）を開始する。

なお、図示してはいないが、このようなストリームの転送を受け付けた復号化装置側でも、１領域分のストリーム入力を開始し、１領域分のストリーム入力が完了すると、ストリーム入力を継続するとともに、入力した１領域分のストリームの復号化を開始するなどする。また、復号化装置は、１領域分のストリームの復号化が完了すると、ストリーム入力や復号化を継続するとともに、復号化した１領域分の画像データ出力を開始するなどする。

こうして、実施例１に係る符号化装置は、転送単位あたりの符号発生量の変動を安定させることが可能になる。

すなわち、実施例１に係る符号化装置によれば、上記したように、符号化装置が、画像データを蓄積する処理、画像データを符号化する処理（ストリームを生成する処理）、ストリームを出力する処理（ストリームを転送する処理）をオーバーラップさせ、復号化装置が、ストリームを入力する処理、ストリームを復号化する処理、画像データを出力する処理をオーバーラップさせるなどすることで、まず、符号化や復号化にあたり生ずる遅延を抑えることが可能になる（超低遅延を実現することが可能になる）。

ここで、実施例１に係る符号化装置が、上記したようなオーバーラップの手法（以下、超低遅延の手法）を採用するとともに、所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択する手法を採用することで、なぜ転送単位あたりの符号発生量の変動を安定させることを可能にしているかについて説明する。

まず、超低遅延の手法と従来のピクチャ符号化の形式との組み合わせについて検討する。Ｉピクチャは、予測せずに入力された画像データをそのまま符号化するピクチャであることから、Ｐピクチャに比較して、その符号発生量（ビットレート）が増大すると考えられる。このため、超低遅延の手法と図１５に示す形式とを組み合わせると、図１５に示すように、ＧＯＰ単位での符号発生量は比較的安定するが、ピクチャ単位での符号発生量の変動は大きくなり、結局、符号発生量の大きいピクチャにおいて、大きな遅延が生ずることになってしまう。一方、イントラスライスも、予測せずに入力された画像データをそのまま符号化するスライスであることから、他のスライスに比較して、その符号発生量が増大すると考えられる。このため、超低遅延の手法と図１６に示す形式とを組み合わせると、図１６に示すように、ピクチャ単位での符号発生量は比較的安定するが、スライス単位での符号発生量の変動は大きくなり、結局、符号発生量の大きいスライスにおいて、大きな遅延が生ずることになってしまう。このように、超低遅延の手法による場合、従来から存在するいずれの形式を採用したとしても、転送単位あたりの符号発生量の変動を安定させた上で、遅延を抑えることができないことになる。

このようなことから、実施例１に係る符号化装置は、所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択することで、転送単位あたりの符号発生量の変動を安定させた上で、遅延を抑えることを可能にしているのである。

なお、実施例１（図１）においては、説明の便宜上から、１ピクチャが５行×６列の３０個のマクロブロックで構成されており、６個のマクロブロックから成る領域ごとに、１個のマクロブロックをイントラマクロブロックとして選択し、６ピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択する事例について説明したが、これは一例にすぎず、ピクチャを構成するマクロブロックの個数や、領域ごとにイントラマクロブロックとして選択するマクロブロックの個数など、実装に適した形態であれば、いずれでもよい。

［実施例１に係る符号化装置の構成］
次に、図２〜８を用いて、実施例１に係る符号化装置の構成を説明する。図２は、実施例１に係る符号化装置の構成を示すブロック図であり、図３は、イントラマクロブロック選択部について説明するための図であり、図４は、符号発生量の安定について説明するための図であり、図５〜７は、イントラマクロブロック選択部について説明するための図であり、図８は、超低遅延の実現について説明するための図である。

実施例１に係る符号化装置１０は、特に本発明に密接に関連するものとして、図２に示すように、マクロブロックカウンタ部１１と、イントラマクロブロック選択部１２と、選択部１３と、インターマクロブロック生成部１４と、イントラマクロブロック生成部１５とを備える。ここで、図２は、本発明に係る符号化装置１０の一部を示した図であり、必ずしも図２に示した各部のみで動作しなければならないものではない（すなわち、符号化装置１０は、上記した各部以外の部を備えて動作するものであってもよい）。なお、イントラマクロブロック選択部１２は、特許請求の範囲に記載の「イントラマクロブロック選択手段」に対応する機能を備え、選択部１３とインターマクロブロック生成部１４とイントラマクロブロック生成部１５とは、特許請求の範囲に記載の「ストリーム生成手段」に対応する機能を備え、選択部１３は、特許請求の範囲に記載の「転送手段」に対応する機能を備える。

マクロブロックカウンタ部１１は、複数のマクロブロックで構成されているピクチャが符号化装置１０によって符号化される時に、処理の対象となるマクロブロックの座標（行、列）を決定するカウンタである。具体的には、マクロブロックカウンタ部１１は、ピクチャを構成するマクロブロックの座標（行、列）をカウントし、カウントしたマクロブロックの座標を、イントラマクロブロック選択部１２および選択部１３に送信する。

イントラマクロブロック選択部１２は、所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに、一定の個数のマクロブロックをイントラマクロブロックとして選択する。具体的には、イントラマクロブロック選択部１２は、所定の個数のマクロブロック（例えば、１横ロウのマクロブロックなど）から成る領域ごとに、一定の個数のマクロブロック（例えば、１マクロブロックなど）をイントラマクロブロックとして選択し、マクロブロックカウンタ部１１によって送信されたマクロブロックの座標で特定されるマクロブロックを、イントラマクロブロックとして選択することを示す情報を、選択部１３に送信する。

例えば、図３に示すように、ピクチャを構成するマクロブロックの内（図３においては、５行×６列）、所定の個数のマクロブロックから成る領域（以下、「転送単位のマクロブロック」）が、１行分（図３においては、６個のマクロブロック）であるとする。すると、例えば、イントラマクロブロック選択部１２は、１行分（６個のマクロブロック）の内、一定の個数（図３においては、１個）のマクロブロックをイントラマクロブロックとして選択し、イントラマクロブロックとして選択することを示す情報を、選択部１３に送信する。

ここで、本発明におけるイントラマクロブロック選択部１２がこのようにイントラマクロブロックを選択することで、転送単位あたりの符号発生量の変動をどのように安定させているかについて説明する。図４の（Ａ）は、従来の方式（図１６に示す方式。イントラスライスをピクチャに挿入して一巡させることでリフレッシュを行う方式。）でイントラマクロブロックを選択した場合の、転送単位あたりの符号発生量を示すもので、図４の（Ｂ）は、本発明におけるイントラマクロブロック選択部１２がイントラマクロブロックを選択した場合の、転送単位あたりの符号発生量を示すものである。

図４の（Ａ）に示すように、従来の方式では、例えば、２行目がイントラスライスとなっている場合、１横ロウごとのストリームの符号発生量は、２行目のイントラスライスを符号化したストリームの符号発生量が、他の行を符号化したストリームの符号発生量と比較して著しく大きくなっている。これは、イントラスライスが、予測せずに入力された画像データをそのまま符号化するイントラマクロブロックで構成されたスライスであることから、符号発生量が大きくなることに起因している。

一方、図４の（Ｂ）に示すように、本発明の方式では、例えば、２列目がイントラマクロブロックとして選択されるマクロブロックとなっている場合、１横ロウごとのストリームの符号発生量は、いずれの横ロウについても、ほぼ同等の符号発生量となっている。これは、いずれの横ロウについても、１マクロブロックのみがイントラマクロブロックとして選択されることから、符号発生量に変動がなく、安定することに起因している。

なお、図３においては、イントラマクロブロック選択部１２が、１個のマクロブロックを選択する際に、ピクチャを構成するマクロブロックの各行において、同じ列のマクロブロックをイントラマクロブロックとして選択する例について説明したが、本発明はこれに限られるものではなく、図５や図６のように、ピクチャを構成するマクロブロックの各行において、異なる列のマクロブロックをイントラマクロブロックとして選択する例など、転送単位のマクロブロックに対し、一定の個数のマクロブロックをイントラマクロブロックとして選択するのであれば、選択するマクロブロックの座標（列）はいずれでもよい。

また、実施例１においては、イントラマクロブロック選択部１２が、転送単位のマクロブロックの内、一定の個数として、１個のマクロブロックをイントラマクロブロックとして選択する例について説明したが、本発明はこれに限られるものではなく、図７のように、複数（例えば、２個など）のマクロブロックをイントラマクロブロックとして選択する例など、転送単位のマクロブロックに対し、一定の個数のマクロブロックをイントラマクロブロックとして選択するのであれば、選択するマクロブロックの個数はいずれでもよい。

また、実施例１においては、イントラマクロブロック選択部１２が、１横ロウのマクロブロックを転送単位とする例について説明したが、本発明はこれに限られるものではなく、例えば、２横ロウなど、複数横ロウ分のマクロブロックを転送単位とする例など、転送単位をどのように設計するべきかは、実装に適した形態であれば、いずれでもよい。

ところで、実施例１におけるイントラマクロブロック選択部１２は、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択する。すなわち、イントラマクロブロックとして選択されて符号化されたマクロブロックについては、リフレッシュされることになるので、一定の周期の中で、ピクチャを構成するマクロブロックが、全てイントラマクロブロックとして一度ずつ選択されれば、ピクチャ全体について、リフレッシュされることになる。

ここで、図２に戻ると、インターマクロブロック生成部１４は、インターマクロブロックデータ（インターマクロブロックを符号化したデータ）を生成する。イントラマクロブロック生成部１５は、イントラマクロブロックデータ（イントラマクロブロックを符号化したデータ）を生成する。

選択部１３は、ストリームの生成を領域ごとに開始する。具体的には、選択部１３は、領域のマクロブロックの内、イントラマクロブロック選択部１２によってイントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、領域のその他のマクロブロックについてはインターマクロブロックとして符号化することで、ストリームの生成を領域ごとに開始する。

具体的に例を挙げて説明すると、選択部１３は、例えば、通常、インターマクロブロックデータの符号発生量とイントラマクロブロックデータの符号発生量とを比較し、符号発生量が小さい方を選択し、選択した方をストリームとして転送するなどしている。具体的には、選択部１３は、インターマクロブロック生成部１４によって生成されたインターマクロブロックデータの符号発生量と、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータの符号発生量とを比較し、符号発生量が小さい方を選択し、選択したインターマクロブロックデータ（あるいはイントラマクロブロックデータ）を、ストリームとして転送するなどしている。

また、選択部１３は、イントラマクロブロック選択部１２からイントラマクロブロックとして選択することを示す情報を受け付けると、マクロブロックカウンタ部１１によって送信されたマクロブロックの座標で特定されるマクロブロックについては、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータを選択し、選択したイントラマクロブロックデータを、ストリームとして転送する。

また、選択部１３は、上記したような選択を領域ごとに行い、領域ごとにストリームが生成されると、生成された領域ごとのストリームの転送を領域ごとに開始する。

すなわち、実施例１における選択部１３は、例えば、画面走査がインターレース方式の場合において、符号化装置（エンコーダ）がフィールド構造の画像データを符号化し、復号化装置（デコーダ）がフィールド構造の画像データを復号化する手法について説明すると、図８に示すように、まず、符号化装置が、１フィールド分の画像データの蓄積を開始し、１フィールド分の画像データの内、１横ロウ分の画像データの蓄積が完了すると、画像データの蓄積を継続するとともに、蓄積した１横ロウ分の画像データの符号化（ストリーム生成）を開始する。また、符号化装置は、１横ロウ分の画像データの符号化が完了すると、画像データの蓄積や符号化を継続するとともに、符号化した１横ロウ分のストリーム出力（ストリーム転送）を開始する。続いて、復号化装置が、１横ロウ分のストリーム入力を開始し、１横ロウ分のストリーム入力が完了すると、ストリーム入力を継続するとともに、入力した１横ロウ分のストリームの復号化を開始するなどする。また、復号化装置は、１横ロウ分のストリームの復号化が完了すると、ストリーム入力や復号化を継続するとともに、復号化した１横ロウ分の画像データ出力を開始するなどする。

すなわち、実施例１における選択部１３によれば、符号化装置が、画像データを蓄積する処理、画像データを符号化する処理（ストリームを生成する処理）、ストリームを出力する処理（ストリームを転送する処理）をオーバーラップさせ、復号化装置が、ストリームを入力する処理、ストリームを復号化する処理、画像データを出力する処理をオーバーラップさせることで、符号化や復号化にあたり生ずる遅延を８msec程度に抑えることが可能になる（超低遅延を実現することが可能になる）。なお、「8msec程度の遅延」に抑えると述べているが、これは、ＨＤ画像（ハイビジョン画像・高精細画像）の場合を想定したあくまで一例の数字であり、実際には異なる数字となる場合もある。

［実施例１に係る符号化装置による処理の手順］
次に、図９〜１０を用いて、実施例１に係る符号化装置による処理の手順を説明する。図９は、イントラマクロブロック選択部による処理の手順を示すシーケンス図であり、図１０は、選択部による処理の手順を示すシーケンス図である。

図９に示すように、イントラマクロブロック選択部１２は、まず、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する（ステップＳ９０１）。イントラマクロブロック選択部１２は、マクロブロックの座標を受け付けていない場合には（ステップＳ９０１否定）、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する処理に戻る。

一方、イントラマクロブロック選択部１２は、処理の対象となるマクロブロックの座標を受け付けると（ステップＳ９０１肯定）、受け付けた座標のマクロブロックを、イントラマクロブロックとして選択するか否かを判定する（ステップＳ９０２）。イントラマクロブロックとして選択しない場合には（ステップＳ９０２否定）、イントラマクロブロック選択部１２は、処理を終了する。

一方、イントラマクロブロック選択部１２は、イントラマクロブロックとして選択する場合には（ステップＳ９０２肯定）、「イントラマクロブロックとして選択することを示す情報」を選択部１３に送信する（ステップＳ９０３）。

次に、図１０に示すように、選択部１３は、まず、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する（ステップＳ１００１）。選択部１３は、マクロブロックの座標を受け付けていない場合には（ステップＳ１００１否定）、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する処理に戻る。

一方、選択部１３は、処理の対象となるマクロブロックの座標を受け付けると（ステップＳ１００１肯定）、次に、イントラマクロブロック選択部１２から、「イントラマクロブロックとして選択することを示す情報」を受け付けたか否かを判定する（ステップＳ１００２）。

受け付けていない場合には（ステップＳ１００２否定）、選択部１３は、インターマクロブロック生成部１４によって生成されたインターマクロブロックデータの符号発生量と、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータの符号発生量とを比較し（ステップＳ１００３）、符号発生量が小さい方を選択し（ステップＳ１００４）、その後、選択したマクロブロックデータを領域ごとのストリームとして転送するなどする。

一方、選択部１３は、イントラマクロブロック選択部１２から、「イントラマクロブロックとして選択することを示す情報」を受け付けた場合には（ステップＳ１００２肯定）、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータを選択し（ステップＳ１００５）、その後、選択したイントラマクロブロックデータを領域ごとのストリームとして転送するなどする。

［実施例１の効果］
上記してきたように、実施例１によれば、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたはイントラマクロブロックとして符号化することで、所定のピクチャを符号化したストリームを生成する符号化装置であって、所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択し、領域のマクロブロックの内、イントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、領域のその他のマクロブロックについては非イントラマクロブロックまたはイントラマクロブロックとして符号化することで、ストリームの生成を領域ごとに開始し、領域ごとにストリームが生成されると、生成された領域ごとのストリームの転送を領域ごとに開始するので、転送単位あたりの符号発生量の変動を安定させることが可能になる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

実施例１においては、選択部１３が、通常、インターマクロブロックデータの符号発生量とイントラマクロブロックデータの符号発生量とを比較し、符号発生量が小さい方を選択する事例について説明したが、本発明はこれに限られるものではない。例えば、選択部１３が、イントラマクロブロックデータとして選択することをイントラマクロブロック選択部１２から指示されていない場合には、常に、インターマクロブロックデータを選択する事例など、選択部１３が、イントラマクロブロックデータを強制的に選択すべき時以外にどのようにマクロブロックデータを選択するかなどについては、実装に適した形態であれば、いずれでもよい。

また、実施例１においては、画面走査がインターレース方式の場合に、本発明に係る符号化装置を適用する事例について説明してきたが、本発明はこれに限られるものではない。本発明に係る符号化装置は、画面走査がインターレース方式の場合にも、プログレッシブ方式の場合にも、同様に適用することが可能である。

［システム構成等］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順（例えば、図９や図１０など）、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（例えば、図２など）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

なお、本実施例で説明した符号化方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る符号化装置、符号化プログラムおよび符号化方法は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロック（インターマクロブロック）またはイントラマクロブロックとして符号化することで、所定のピクチャを符号化したストリームを生成することに有用であり、特に、転送単位あたりの符号発生量の変動を安定させることに適する。

実施例１に係る符号化装置の概要および特徴を説明するための図である。 実施例１に係る符号化装置の構成を示すブロック図である。 イントラマクロブロック選択部について説明するための図である。 符号発生量の安定について説明するための図である。 イントラマクロブロック選択部について説明するための図である。 イントラマクロブロック選択部について説明するための図である。 イントラマクロブロック選択部について説明するための図である。 超低遅延の実現について説明するための図である。 イントラマクロブロック選択部による処理の手順を示すシーケンス図である。 選択部による処理の手順を示すシーケンス図である。 画面走査について説明するための図である。 ピクチャ構造について説明するための図である。 従来技術について説明するための図である。 従来技術について説明するための図である。 予測符号化の方式について説明するための図である。 予測符号化の方式について説明するための図である。

符号の説明

１０ 符号化装置
１１ マクロブロックカウンタ部
１２ イントラマクロブロック選択部
１３ 選択部
１４ インターマクロブロック生成部
１５ イントラマクロブロック生成部

Claims (3)

1. 複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、当該所定のピクチャを符号化したストリームを生成する符号化装置であって、
   前記所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、前記ピクチャを符号化するごとに当該イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するイントラマクロブロック選択手段と、
   前記領域のマクロブロックの内、前記イントラマクロブロック選択手段によってイントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、前記領域のその他のマクロブロックについては前記非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、前記ストリームの生成を当該領域ごとに開始するストリーム生成手段と、
   前記ストリーム生成手段によって前記領域ごとにストリームが生成されると、生成された当該領域ごとのストリームの転送を当該領域ごとに開始する転送手段と、
   を備えたことを特徴とする符号化装置。
2. 複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、当該所定のピクチャを符号化したストリームを生成する符号化方法をコンピュータに実行させる符号化プログラムであって、
   前記所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、前記ピクチャを符号化するごとに当該イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するイントラマクロブロック選択手順と、
   前記領域のマクロブロックの内、前記イントラマクロブロック選択手順によってイントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、前記領域のその他のマクロブロックについては前記非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、前記ストリームの生成を当該領域ごとに開始するストリーム生成手順と、
   前記ストリーム生成手順によって前記領域ごとにストリームが生成されると、生成された当該領域ごとのストリームの転送を当該領域ごとに開始する転送手順と、
   をコンピュータに実行させることを特徴とする符号化プログラム。
3. 複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、当該所定のピクチャを符号化したストリームを生成する符号化方法であって、
   前記所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックから成る領域ごとに一定の個数のマクロブロックをイントラマクロブロックとして選択し、前記ピクチャを符号化するごとに当該イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するイントラマクロブロック選択工程と、
   前記領域のマクロブロックの内、前記イントラマクロブロック選択工程によってイントラマクロブロックとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、前記領域のその他のマクロブロックについては前記非イントラマクロブロックまたは前記イントラマクロブロックとして符号化することで、前記ストリームの生成を当該領域ごとに開始するストリーム生成工程と、
   前記ストリーム生成工程によって前記領域ごとにストリームが生成されると、生成された当該領域ごとのストリームの転送を当該領域ごとに開始する転送工程と、
   を含んだことを特徴とする符号化方法。

Images