JP2008258953A - 符号化装置、符号化プログラムおよび符号化方法 - Google Patents

Abstract

【課題】画質の劣化を回避することを課題とする。
【解決手段】ピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたはイントラマクロブロックとして符号化し、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する符号化装置であって、その他のマクロブロックを非イントラマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化する。
【選択図】 図１

Description

この発明は、符号化装置、符号化プログラムおよび符号化方法に関する。

従来より、ＤＶＤやデジタルテレビ等の画像データを符号化する符号化方式の一つとして、ＭＰＥＧ２（Moving Picture Experts Group 2）が普及している。具体的には、画像データは、コーデック（CODEC：encoder、decoder）と呼ばれる符号化装置（エンコーダ）および復号化装置（デコーダ）によって、ＭＰＥＧ２の方式で符号化されたり復号化されたりする。

エンコーダやデコーダについて簡単に説明すると、まず、画像を電気信号（画像データ）に変換する画面走査（scan）には、プログレッシブ方式（順次走査）とインターレース方式（飛び越し走査）とがある。図１１は、画面走査について説明するための図であるが、図１１に示すように、プログレッシブ方式は、１画面である１フレームを、最上部から最下部まで順次走査する方式であり、インターレース方式は、１画面である１フレームを、最上位（top）のラインを含んでいる奇数ラインで構成されるトップフィールド（top field）と、偶数ラインで構成されるボトムフィールド（bottom field）の２つのフィールドに分割して走査する方式で、トップフィールドを最上部から最下部まで走査し、次に、ボトムフィールドを最上部から最下部まで走査する。

また、ＭＰＥＧ２のピクチャ構造には、フィールド構造とフレーム構造とがある。図１２は、ピクチャ構造を説明するための図であるが、図１２に示すように、フィールド構造は、画像データのトップフィールドやボトムフィールドの１フィールドを１ピクチャとして符号化する方式であり、フレーム構造は、１フレームを１ピクチャとして符号化する方式である。なお、図１２に示すように、画面走査がインターレース方式の場合には、フィールド構造およびフレーム構造のいずれのピクチャ構造も対応するが、プログレッシブ方式の場合には、フレーム構造のみが対応する。

画面走査がインターレース方式の場合において、エンコーダがフィールド構造の画像データを符号化し、デコーダがフィールド構造の画像データを復号化する手法について説明すると、一般的には、図１３に示すように、まず、エンコーダが、１フィールド分の画像データの蓄積を開始し、１フィールド分の画像データの蓄積が完了すると、蓄積した１フィールド分の画像データの符号化を開始し、１フィールド分の画像データの符号化が完了すると、符号化した１フィールド分のストリーム出力を開始する。続いて、デコーダが、１フィールド分のストリーム入力を開始し、１フィールド分のストリーム入力が完了すると、入力した１フィールド分のストリームの復号化を開始し、１フィールド分のストリームの復号化が完了すると、復号化した１フィールド分の画像データ出力を開始する。

同様に、エンコーダがフレーム構造の画像データを符号化し、デコーダがフレーム構造の画像データを復号化する手法について説明すると、一般的には、図１４に示すように、まず、エンコーダが、１フレーム分（top fieldおよびbottom field）の画像データの蓄積を開始し、１フレーム分の画像データの蓄積が完了すると、蓄積した１フレーム分の画像データの符号化（top fieldおよびbottom fieldについて一緒に符号化）を開始し、１フレーム分の画像データの符号化が完了すると、符号化した１フレーム分のストリーム出力を開始する。続いて、デコーダが、１フレーム分のストリーム入力を開始し、１フレーム分のストリーム入力が完了すると、入力した１フレーム分のストリームの復号化を開始し、１フレーム分のストリームの復号化が完了すると、復号化した１フレーム分の画像データ出力をtop fieldから開始する。

ここで、ＭＰＥＧ２によるピクチャ符号化について説明すると、ＭＰＥＧ２では、画像データにおいては、隣接する画素の相関が高いことに着目し、周辺の画素から予測する予測符号化の方式を採用している。具体的には、ＭＰＥＧ２は、Ｉピクチャ（Intra-codedピクチャ）、Ｐピクチャ（Predictive-codedピクチャ）、およびＢピクチャ（Bidirectionally predictive-codedピクチャ）の３種類のピクチャを組み合わせることによって、各種の方式を採用する。なお、Ｉピクチャは、予測せずに入力された画像データをそのまま符号化するピクチャのことであり、Ｐピクチャは、直前のＩピクチャまたはＰピクチャから（動き補償）予測をして符号化するピクチャのことであり、Ｂピクチャは、直前のＩピクチャまたはＰピクチャ、および、直後のＩピクチャまたはＰピクチャから（動き補償）予測をして符号化するピクチャのことである。

例えば、図１５および１６は、予測符号化の方式について説明するための図であるが、図１５に示すように、ＩピクチャとＰピクチャとで構成された「Ｉ、Ｐ、Ｐ」のＧＯＰ（Group of Picture）の順で画像データを符号化する方式や、図１６に示すように、Ｐピクチャのみの画像データを符号化する方式などがある。図１５に示す方式では、Ｉピクチャを挿入することでリフレッシュ（画質の劣化を防ぐこと）を行い、図１６に示す方式では、イントラスライス（予測せずに入力された画像データをそのまま符号化するイントラマクロブロックで構成されたスライス）をピクチャに挿入して一巡させることでリフレッシュを行う。

ここで、Ｉピクチャは、予測せずに入力された画像データをそのまま符号化するピクチャであることから、Ｐピクチャに比較して、その符号発生量（ビットレート）が増大すると考えられる。このため、符号化装置が図１５に示す方式で予測符号化を行うと、ピクチャ単位での符号発生量の変動が大きくなってしまう。一方、イントラスライスも、予測せずに入力された画像データをそのまま符号化するスライスであることから、他のスライスに比較して、その符号発生量が増大すると考えられる。このため、符号化装置が図１６に示す方式で予測符号化を行うと、スライス単位での符号発生量の変動が生じてしまうが、図１５に示す方式に比較すると、ピクチャ単位での符号発生量は比較的安定する。したがって、符号化や復号化における遅延を抑える観点などからは、図１６に示す方式（以下、イントラスライス方式）が選択されるなどする。

また、例えば、特許文献１には、同文献の図４や図５に示すように、奇数番目のイントラセグメント（イントラマクロブロックで構成）で構成された第一イントラセグメントと、偶数番目のイントラセグメントで構成された第二イントラセグメントとをピクチャに挿入して移動させることでリフレッシュを行う形式が開示されている。

特許第２８０１５６０号公報

ところで、上記してきた従来の技術では、以下に説明するように、画質の劣化を生じさせるおそれがあるという課題がある。すなわち、上記したように、符号化や復号化における遅延を抑える観点などからイントラスライス方式が選択されるとすると、符号化装置は、図１６に示すように、イントラスライスをピクチャに挿入して一巡させることでリフレッシュを行うので、図１７に示すように、ピクチャの上方が、既にリフレッシュされた「キレイ」なマクロブロックになり、ピクチャの下方が、未だリフレッシュされていない「キタナイ」マクロブロックになると考えられる。

ここで、従来の符号化装置では、Ｉピクチャを挿入することでリフレッシュを行う方式を前提として、Ｐピクチャのマクロブロックについては、広範囲のマクロブロックを参照して予測符号化する方が画質が向上すると仮定している。しかしながら、イントラスライス方式において、Ｐピクチャのマクロブロックが、直前のＰピクチャ全体のマクロブロックを参照して予測符号化すると、図１８に示すように、未だリフレッシュされていない「キタナイ」マクロブロックから予測してしまうおそれがあり、このような予測が継続されることで、結果として、画質の劣化を生じさせるおそれがある。なお、符号化装置と復号化装置との間の演算精度の違いから、画質の劣化を生じさせるおそれもある。また、かかる課題は、イントラスライス方式に限らず、Ｐピクチャのみの画像データを符号化する方式であれば、同様に課題となる。

そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、画質の劣化を回避することが可能な符号化装置、符号化プログラムおよび符号化方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化し、前記ピクチャを符号化するごとに前記イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する符号化装置であって、前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化する符号化手段を備えたことを特徴とする。

また、請求項２に係る発明は、上記の発明において、前記符号化手段は、前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして既に選択されたマクロブロックから予測するように符号化することを特徴とする。

また、請求項３に係る発明は、上記の発明において、前記符号化手段は、前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとする場合には、当該予測に替えて前記イントラマクロブロックとして符号化することを特徴とする。

また、請求項４に係る発明は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化し、前記ピクチャを符号化するごとに前記イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する方法をコンピュータに実行させる符号化プログラムであって、前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化する符号化手順をコンピュータに実行させることを特徴とする。

また、請求項５に係る発明は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化し、前記ピクチャを符号化するごとに前記イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する符号化方法であって、前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化する符号化工程を含んだことを特徴とする。

請求項１、４または５の発明によれば、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたはイントラマクロブロックとして符号化し、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する符号化装置であって、その他のマクロブロックを非イントラマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化するので、画質の劣化を回避することが可能になる。

請求項２の発明によれば、その他のマクロブロックを非イントラマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして既に選択されたマクロブロックから予測するように符号化するので、画質の劣化を回避することが可能になる。

請求項３の発明によれば、その他のマクロブロックを非イントラマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとする場合には、予測に替えてイントラマクロブロックとして符号化するので、イントラマクロブロックとして既に選択されたマクロブロックから予測するように予測に制限を設ける手法に比較して、簡易な実装で、画質の劣化を回避することが可能になる。

以下に添付図面を参照して、本発明に係る符号化装置の実施例を説明する。なお、以下では、実施例で用いる主要な用語、実施例１に係る符号化装置の概要および特徴、実施例１に係る符号化装置の構成、実施例１に係る符号化装置による処理の手順、実施例１の効果を順に説明し、続いて、他の実施例について説明する。

［用語の説明］
まず最初に、以下の実施例で用いる主要な用語を説明する。「画像データ」とは、画面走査によって電気信号に変換された画像のことである。すなわち、ＭＰＥＧ２（Moving Picture Experts Group 2）の方式で符号化されたり復号化されたりする「画像データ」とは、画面走査によって電気信号に変換された「１ピクチャ」の「画像データ」が、時系列に従って複数連続している一連の「画像データ」のことであるといえる。なお、「１ピクチャ」の「画像データ」は、複数の「マクロブロック」で構成されている。

ここで、ＭＰＥＧ２による「１ピクチャ」の符号化について説明すると、ＭＰＥＧ２では、画像データにおいては、隣接する画素の相関が高いことに着目し、周辺の画素から予測する予測符号化の方式を採用している。具体的には、ＭＰＥＧ２では、Ｉピクチャ、Ｐピクチャ、およびＢピクチャの３種類のピクチャを組み合わせることによって、各種の方式が採用される。なお、本発明に係る符号化装置は、Ｐピクチャのみの画像データを符号化する方式を採用することを前提とするものである。

ところで、予測符号化の方式を採用するにあたっては、リフレッシュすることで、画質の劣化を防がなければならない。このため、符号化装置においては、Ｐピクチャを構成する複数のマクロブロックの内、所定の個数のマクロブロックについては、予測せずに入力された画像データをそのまま符号化する「イントラマクロブロック」として選択して符号化し、Ｐピクチャを構成するその他のマクロブロックについては、時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する「インターマクロブロック」（特許請求の範囲に記載の「非イントラマクロブロック」に対応する）または「イントラマクロブロック」として符号化することで、「１ピクチャ」を符号化したストリームを生成する。こうすることで、「イントラマクロブロック」として選択されて符号化されたマクロブロックについては、リフレッシュされることになる。

しかしながら、ピクチャを符号化するごとに、かかるイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化したとしても、画質の劣化が生じるおそれがある。

すなわち、上記したような符号化の手法によると、一定の周期の中でイントラマクロブロックとして既に選択されたピクチャの一部分が、既にリフレッシュされた「キレイ」なマクロブロックになり、その他の部分が、未だリフレッシュされていない「キタナイ」マクロブロックになると考えられる。このような状況において、Ｐピクチャのマクロブロックが、直前のＰピクチャ全体のマクロブロックを参照して予測符号化すると、未だリフレッシュされていない「キタナイ」マクロブロックから予測してしまうおそれがあり、このような予測が継続されることで、結果として、画質の劣化を生じさせるおそれがある。本発明に係る符号化装置は、この点について解決するものである。

［実施例１に係る符号化装置の概要および特徴］
続いて、図１を用いて、実施例１に係る符号化装置の概要および特徴を説明する。図１は、実施例１に係る符号化装置の概要および特徴を説明するための図である。

実施例１に係る符号化装置は、上記したように、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロック（インターマクロブロック）またはイントラマクロブロックとして符号化し、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化することを概要とし、画質の劣化を回避することを主たる特徴とする。

この主たる特徴について簡単に説明すると、実施例１に係る符号化装置は、図１に示すように、複数のマクロブロック（図１において、白い四角、黒い四角、および斜線の四角全てが、マクロブロックである）で構成されているピクチャが、時系列に従って複数連続している一連の画像データを符号化するものである。また、符号化装置は、図１に示すように、所定のピクチャ（図１において、５行×６列）を構成しているマクロブロックの内（図１において、３０マクロブロック）、所定の個数のマクロブロック（図１において、６個のマクロブロックで構成されているイントラスライス）については、イントラマクロブロック（図１において、黒い四角）として選択して符号化し、その他のマクロブロック（図１において、４行×６列の２４マクロブロック）については、インターマクロブロックまたはイントラマクロブロックとして符号化することで、所定のピクチャを符号化したストリームを生成するものである。

また、符号化装置は、図１に示すように、ピクチャを符号化するごとにイントラスライスの選択を、１行目、２行目、・・・、６行目と変更することで、６ピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するものである。ここで、一定の周期の中でイントラマクロブロックとして既に選択されたマクロブロックを、図１においては、白い四角で表現することとし、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックを、図１においては、斜線の四角で表現することとする。また、イントラマクロブロックとして既に選択されたマクロブロックは、リフレッシュされているという意味から、「キレイ」と表現し、イントラマクロブロックとして未だ選択されていないマクロブロックは、リフレッシュされていないという意味から、「キタナイ」と表現している。

このような構成のもと、実施例１に係る符号化装置は、マクロブロックをインターマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとする場合には（図１の（１）を参照）、当該予測に替えて、イントラマクロブロックとして符号化する（図１の（２）を参照）。

すなわち、実施例１に係る符号化装置は、図１の３番目のピクチャを構成する２行３列のマクロブロックを、インターマクロブロックとして図１の２番目のピクチャを構成するマクロブロックから予測する時に、２番目のピクチャの内、イントラマクロブロックとして未だ選択されていない３〜５行目のマクロブロック（例えば、４行３列のマクロブロック）から予測しようとする場合には、符号化装置は、当該予測に替えて、２行３列のマクロブロックをイントラマクロブロックに置き換えて、イントラマクロブロックとして符号化する。

なお、図１の４番目のピクチャを構成する２行３列のマクロブロックが黒い四角で表現されているのは、３番目のピクチャを符号化する際に、当該マクロブロックがイントラマクロブロックに置き換えられて符号化されたことを示すものである。

こうして、実施例１に係る符号化装置は、画質の劣化を回避することが可能になる。

なお、実施例１（図１）においては、説明の便宜上から、１ピクチャが５行×６列の３０個のマクロブロックで構成されており、６個のイントラマクロブロックで構成されたイントラスライスが、６ピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択する事例について説明したが、これは一例にすぎず、ピクチャを構成するマクロブロックの個数や、イントラマクロブロックとして選択するマクロブロックの選び方や個数など、実装に適した形態であれば、いずれでもよい。

［実施例１に係る符号化装置の構成］
次に、図２および３を用いて、実施例１に係る符号化装置の構成を説明する。図２は、実施例１に係る符号化装置の構成を示すブロック図であり、図３は、実施例１における符号化について説明するための図である。

実施例１に係る符号化装置１０は、特に本発明に密接に関連するものとして、図２に示すように、マクロブロックカウンタ部１１と、イントラスライスカウンタ部１２と、第一選択部１３ａと、比較部１３ｂと、第二選択部１３ｃと、インターマクロブロック生成部１４と、イントラマクロブロック生成部１５とを備える。ここで、図２は、本発明に係る符号化装置１０の一部を示した図であり、必ずしも図２に示した各部のみで動作しなければならないものではない（すなわち、符号化装置１０は、上記した各部以外の部を備えて動作するものであってもよい）。なお、第一選択部１３ａと比較部１３ｂと第二選択部１３ｃとインターマクロブロック生成部１４とイントラマクロブロック生成部１５とが、特許請求の範囲に記載の「符号化手段」に対応する機能を備える。

マクロブロックカウンタ部１１は、複数のマクロブロックで構成されているピクチャが符号化装置１０によって符号化される時に、処理の対象となるマクロブロックの座標（行、列）を決定するカウンタである。具体的には、マクロブロックカウンタ部１１は、ピクチャを構成するマクロブロックの座標（行、列）をカウントし、カウントしたマクロブロックの座標を、イントラスライスカウンタ部１２、第一選択部１３ａおよび比較部１３ｂに送信する。

イントラスライスカウンタ部１２は、所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては、イントラスライスとして選択する。具体的には、イントラスライスカウンタ部１２は、所定の個数のマクロブロックをイントラスライスとして選択し、マクロブロックカウンタ部１１によって送信されたマクロブロックの座標で特定されるマクロブロックを、イントラマクロブロックとして選択することを示す情報を、第一選択部１３ａに送信する。

また、イントラスライスカウンタ部１２は、「イントラスライスの境界を示す情報」（例えば、イントラスライスの行番号など）を、比較部１３ｂに送信する。

なお、実施例１においては、イントラスライスカウンタ部１２が、イントラスライスとしてイントラマクロブロックを選択する方式について説明したが、本発明はこれに限られるものではなく、例えば、イントラカラムとしてピクチャの列ごとにイントラマクロブロックを選択する方式や、ランダムにイントラマクロブロックを選択する方式など、Ｐピクチャのみの画像データを符号化する方式であれば、イントラマクロブロックをいかなる方式で選択するかについては、いずれでもよい。

ところで、実施例１におけるイントラスライスカウンタ部１２は、ピクチャを符号化するごとにイントラスライス（イントラマクロブロック）の選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラスライス（イントラマクロブロック）として一度ずつ選択する。すなわち、イントラスライス（イントラマクロブロック）として選択されて符号化されたマクロブロックについては、リフレッシュされることになるので、一定の周期の中で、ピクチャを構成するマクロブロックが、全てイントラスライス（イントラマクロブロック）として一度ずつ選択されれば、ピクチャ全体について、リフレッシュされることになる。

ここで、図２に戻ると、インターマクロブロック生成部１４は、インターマクロブロックデータ（インターマクロブロックを符号化したデータ）を生成する。イントラマクロブロック生成部１５は、イントラマクロブロックデータ（イントラマクロブロックを符号化したデータ）を生成する。

第一選択部１３ａは、ストリームの生成にあたり、マクロブロックデータを選択する。具体的には、第一選択部１３ａは、イントラスライスカウンタ部１２によってイントラスライスとして選択されたマクロブロックについてはイントラマクロブロックとして符号化し、その他のマクロブロックについてはインターマクロブロック（またはイントラマクロブロック）として符号化する。

具体的に例を挙げて説明すると、第一選択部１３ａは、例えば、通常、インターマクロブロックデータの符号発生量とイントラマクロブロックデータの符号発生量とを比較し、符号発生量が小さい方を選択し、選択した方を第二選択部１３ｃに送信するなどしている。具体的には、第一選択部１３ａは、インターマクロブロック生成部１４によって生成されたインターマクロブロックデータの符号発生量と、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータの符号発生量とを比較し、符号発生量が小さい方を選択し、選択したインターマクロブロックデータ（あるいはイントラマクロブロックデータ）を、第二選択部１３ｃに送信するなどしている。

また、第一選択部１３ａは、イントラスライスカウンタ部１２からイントラマクロブロック（イントラスライス）として選択することを示す情報を受け付けると、マクロブロックカウンタ部１１によって送信されたマクロブロックの座標で特定されるマクロブロックについては、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータを選択し、選択したイントラマクロブロックデータを、第二選択部１３ｃに送信するなどしている。

比較部１３ｂは、マクロブロックをインターマクロブロックとして符号化する際に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しているか否かを判定することを目的として、ベクトル情報や「イントラスライスの境界を示す情報」などを比較する。具体的には、比較部１３ｂは、インターマクロブロック生成部１４から、予測にあたり参照したマクロブロックとのベクトル情報を受け付け、また、イントラスライスカウンタ部１２から、「イントラスライスの境界を示す情報」（例えば、イントラスライスの行番号など）を受け付け、これらの情報などを比較することで、マクロブロックカウンタ部１１によって送信されたマクロブロックの座標で特定されるマクロブロックをインターマクロブロックとして符号化する際に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しているか否かを判定する。

また、比較部１３ｂは、マクロブロックをインターマクロブロックとして符号化する際に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとしていると判定した場合には、当該予測に替えて、イントラマクロブロックとして符号化することを指示する。具体的には、比較部１３ｂは、マクロブロックカウンタ部１１によって送信されたマクロブロックの座標で特定されるマクロブロックをインターマクロブロックとして符号化する際に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとしていると判定した場合には、「イントラマクロブロックとして符号化することを指示する情報」を、第二選択部１３ｃに送信する。

第二選択部１３ｃは、ストリームの生成にあたり、マクロブロックデータを最終的に選択する。具体的には、第二選択部１３ｃは、第一選択部１３ａからマクロブロックデータを受け付け、また、イントラマクロブロック生成部１５からイントラマクロブロックデータを受け付ける。また、第二選択部１３ｃは、比較部１３ｂから「イントラマクロブロックとして符号化することを指示する情報」を受け付けたか否かを判定し、受け付けた場合には、イントラマクロブロック生成部１５から受け付けたイントラマクロブロックデータを最終的に選択し、受け付けていない場合には、第一選択部１３ａから受け付けたマクロブロックデータを最終的に選択する。

第一選択部１３ａ、比較部１３ｂおよび第二選択部１３ｃによって、このように選択されることで、実施例１に係る符号化装置１０は、例えば、図３に示すように、２番目のピクチャを構成する２行３列のマクロブロックをインターマクロブロックとして、図３の１番目のピクチャを構成するマクロブロックから予測する時に、１番目のピクチャの内、イントラマクロブロックとして未だ選択されていない３〜６行目のマクロブロック（例えば、４行３列のマクロブロック）から予測しようとする場合には、当該予測に替えて、２行３列のマクロブロックをイントラマクロブロックに置き換えて、イントラマクロブロックとして符号化する。

なお、図３の３番目のピクチャを構成する２行３列のマクロブロックが黒い四角で表現されているのは、２番目のピクチャを符号化する際に、当該マクロブロックがイントラマクロブロックに置き換えられて符号化されたことを示すものである。

［実施例１に係る符号化装置による処理の手順］
次に、図４〜７を用いて、実施例１に係る符号化装置による処理の手順を説明する。図４は、イントラスライスカウンタ部による処理の手順を示すフローチャートであり、図５は、第一選択部による処理の手順を示すフローチャートであり、図６は、比較部による処理の手順を示すフローチャートであり、図７は、第二選択部による処理の手順を示すフローチャートである。

図４に示すように、イントラスライスカウンタ部１２は、まず、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する（ステップＳ４０１）。イントラスライスカウンタ部１２は、マクロブロックの座標を受け付けていない場合には（ステップＳ４０１否定）、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する処理に戻る。

一方、イントラスライスカウンタ部１２は、処理の対象となるマクロブロックの座標を受け付けると（ステップＳ４０１肯定）、「イントラスライスの境界を示す情報」（例えば、イントラスライスの行番号など）を比較部１３ｂに送信する（ステップＳ４０２）。

次に、イントラスライスカウンタ部１２は、ステップＳ４０１において受け付けた座標のマクロブロックを、イントラマクロブロックとして選択するか否か（イントラスライスか否か）を判定する（ステップＳ４０３）。イントラマクロブロックとして選択しない場合には（ステップＳ４０３否定）、イントラスライスカウンタ部１２は、処理を終了する。

一方、イントラスライスカウンタ部１２は、イントラマクロブロックとして選択する場合には（ステップＳ４０３肯定）、「イントラマクロブロックとして選択することを示す情報」を第一選択部１３ａに送信する（ステップＳ４０４）。

次に、図５に示すように、第一選択部１３ａは、まず、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する（ステップＳ５０１）。第一選択部１３ａは、マクロブロックの座標を受け付けていない場合には（ステップＳ５０１否定）、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する処理に戻る。

一方、第一選択部１３ａは、処理の対象となるマクロブロックの座標を受け付けると（ステップＳ５０１肯定）、次に、イントラスライスカウンタ部１２から、「イントラマクロブロックとして選択することを示す情報」を受け付けたか否かを判定する（ステップＳ５０２）。

受け付けていない場合には（ステップＳ５０２否定）、第一選択部１３ａは、インターマクロブロック生成部１４によって生成されたインターマクロブロックデータの符号発生量と、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータの符号発生量とを比較し（ステップＳ５０３）、符号発生量が小さい方を選択し（ステップＳ５０４）、その後、選択したマクロブロックデータを第二選択部１３ｃに送信する（ステップＳ５０５）。

一方、第一選択部１３ａは、イントラスライスカウンタ部１２から、「イントラマクロブロックとして選択することを示す情報」を受け付けた場合には（ステップＳ５０２肯定）、イントラマクロブロック生成部１５によって生成されたイントラマクロブロックデータを選択し（ステップＳ５０６）、その後、選択したイントラマクロブロックデータを第二選択部１３ｃに送信する（ステップＳ５０５）。

次に、図６に示すように、比較部１３ｂは、まず、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する（ステップＳ６０１）。比較部１３ｂは、マクロブロックの座標を受け付けていない場合には（ステップＳ６０１否定）、処理の対象となるマクロブロックの座標を受け付けたか否かを判定する処理に戻る。

一方、比較部１３ｂは、処理の対象となるマクロブロックの座標を受け付けると（ステップＳ６０１肯定）、次に、インターマクロブロック生成部１４から、予測にあたり参照したマクロブロックとのベクトル情報を受け付けたか否かを判定する（ステップＳ６０２）。比較部１３ｂは、予測にあたり参照したマクロブロックとのベクトル情報を受け付けていない場合には（ステップＳ６０２否定）、予測にあたり参照したマクロブロックとのベクトル情報を受け付けたか否かを判定する処理に戻る。

一方、比較部１３ｂは、予測にあたり参照したマクロブロックとのベクトル情報を受け付けると（ステップＳ６０２肯定）、次に、イントラスライスカウンタ部１２から、「イントラスライスの境界を示す情報」（例えば、イントラスライスの行番号など）を受け付けたか否かを判定する（ステップＳ６０３）。比較部１３ｂは、「イントラスライスの境界を示す情報」を受け付けていない場合には（ステップＳ６０３否定）、「イントラスライスの境界を示す情報」を受け付けたか否かを判定する処理に戻る。

一方、比較部１３ｂは、「イントラスライスの境界を示す情報」を受け付けると（ステップＳ６０３肯定）、次に、マクロブロックの座標で特定されるマクロブロックが、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとしているか否かを判定する（ステップＳ６０４）。

イントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとしていると判定された場合には（ステップＳ６０４肯定）、比較部１３ｂは、「イントラマクロブロックとして符号化することを指示する情報」を第二選択部１３ｃに送信する（ステップＳ６０５）。一方、イントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとしていないと判定された場合には（ステップＳ６０４否定）、比較部１３ｂは、そのまま処理を終了する。

次に、図７に示すように、第二選択部１３ｃは、まず、第一選択部１３ａからマクロブロックデータを受け付けたか否かを判定する（ステップＳ７０１）。第二選択部１３ｃは、第一選択部１３ａからマクロブロックデータを受け付けていない場合には（ステップＳ７０１否定）、第一選択部１３ａからマクロブロックデータを受け付けたか否かを判定する処理に戻る。

一方、第二選択部１３ｃは、第一選択部１３ａからマクロブロックデータを受け付けると（ステップＳ７０１肯定）、次に、イントラマクロブロック生成部１５からイントラマクロブロックデータを受け付けたか否かを判定する（ステップＳ７０２）。第二選択部１３ｃは、イントラマクロブロック生成部１５からイントラマクロブロックデータを受け付けていない場合には（ステップＳ７０２否定）、イントラマクロブロック生成部１５からイントラマクロブロックデータを受け付けたか否かを判定する処理に戻る。

一方、第二選択部１３ｃは、イントラマクロブロック生成部１５からイントラマクロブロックデータを受け付けると（ステップＳ７０２肯定）、次に、比較部１３ｂから、「イントラマクロブロックとして符号化することを指示する情報」を受け付けたか否かを判定する（ステップＳ７０３）。

第二選択部１３ｃは、「イントラマクロブロックとして符号化することを指示する情報」を受け付けた場合には（ステップＳ７０３肯定）、イントラマクロブロック生成部１５から受け付けたイントラマクロブロックデータを最終的に選択し（ステップＳ７０４）、その後、選択したイントラマクロブロックデータをストリームとして転送するなどする。

一方、第二選択部１３ｃは、「イントラマクロブロックとして符号化することを指示する情報」を受け付けていない場合には（ステップＳ７０３否定）、第一選択部１３ａから受け付けたマクロブロックデータを最終的に選択し（ステップＳ７０５）、その後、選択したマクロブロックデータをストリームとして転送するなどする。

［実施例１の効果］
上記してきたように、実施例１によれば、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたはイントラマクロブロックとして符号化し、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する符号化装置であって、その他のマクロブロックを非イントラマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化するので、画質の劣化を回避することが可能になる。

また、実施例１によれば、その他のマクロブロックを非イントラマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとする場合には、予測に替えてイントラマクロブロックとして符号化するので、イントラマクロブロックとして既に選択されたマクロブロックから予測するように予測に制限を設ける手法に比較して、簡易な実装で、画質の劣化を回避することが可能になる。

さて、これまで本発明の実施例について説明してきたが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。以下では、実施例２に係る符号化装置として、その他の実施例について説明する。

［予測に制限］
実施例１においては、符号化装置が、マクロブロックをインターマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとする場合には、当該予測に替えて、イントラマクロブロックとして符号化する手法について説明してきたが、本発明はこれに限られるものではない。符号化装置が、マクロブロックをインターマクロブロックとして符号化する時に、一定の周期の中でイントラマクロブロックとして既に選択されたマクロブロックから予測するように符号化する手法にも、本発明を同様に適用することができる。

例えば、図８に示すように、実施例２に係る符号化装置は、２番目のピクチャを構成する２行３列のマクロブロックを、インターマクロブロックとして、図８の１番目のピクチャを構成するマクロブロックから予測する時に、１番目のピクチャの内、イントラマクロブロックとしてすでに選択された１〜２行目のマクロブロックから予測するように、予測に制限を加える。

［イントラカラム］
また、実施例１においては、符号化装置が、ピクチャを構成するマクロブロックの内、イントラマクロブロックとしてイントラスライスを選択して符号化する手法について説明してきたが、本発明はこれに限られるものではない。符号化装置が、イントラマクロブロックとしてイントラカラムを選択して符号化する手法にも、本発明を同様に適用することができる。

例えば、図９に示すように、実施例２に係る符号化装置は、２番目のピクチャを構成する３行２列のマクロブロックを、インターマクロブロックとして、図９の１番目のピクチャを構成するマクロブロックから予測する時に、１番目のピクチャの内、イントラマクロブロックとして未だ選択されていない３〜６列目のマクロブロック（例えば、４行４列のマクロブロック）から予測しようとする場合には、当該予測に替えて、３行２列のマクロブロックをイントラマクロブロックに置き換えて、イントラマクロブロックとして符号化する。

なお、図９の３番目のピクチャを構成する３行２列のマクロブロックが黒い四角で表現されているのは、２番目のピクチャを符号化する際に、当該マクロブロックがイントラマクロブロックに置き換えられて符号化されたことを示すものである。

また、例えば、図１０に示すように、実施例２に係る符号化装置は、２番目のピクチャを構成する３行２列のマクロブロックを、インターマクロブロックとして、図１０の１番目のピクチャを構成するマクロブロックから予測する時に、１番目のピクチャの内、イントラマクロブロックとしてすでに選択された１〜２列目のマクロブロックから予測するように、予測に制限を加える。

［符号化方法］
また、実施例１においては、第一選択部１３ａが、通常、インターマクロブロックデータの符号発生量とイントラマクロブロックデータの符号発生量とを比較し、符号発生量が小さい方を選択する事例について説明したが、本発明はこれに限られるものではない。例えば、第一選択部１３ａが、イントラマクロブロックデータとして選択することをイントラスライスカウンタ部１２から指示されていない場合には、常に、インターマクロブロックデータを選択する事例など、第一選択部１３ａが、イントラマクロブロックデータを強制的に選択すべき時以外にどのようにマクロブロックデータを選択するかなどについては、実装に適した形態であれば、いずれでもよい。

［システム構成等］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順（例えば、図４〜７など）、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（例えば、図２など）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

なお、本実施例で説明した符号化方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る符号化装置、符号化プログラムおよび符号化方法は、複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、所定のピクチャを構成するその他のマクロブロックについては所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたはイントラマクロブロックとして符号化し、ピクチャを符号化するごとにイントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化することに有用であり、特に、画質の劣化を回避することに適する。

実施例１に係る符号化装置の概要および特徴を説明するための図である。 実施例１に係る符号化装置の構成を示すブロック図である。 実施例１における符号化を説明するための図である。 イントラスライスカウンタ部による処理の手順を示すフローチャートである。 第一選択部による処理の手順を示すフローチャートである。 比較部による処理の手順を示すフローチャートである。 第二選択部による処理の手順を示すフローチャートである。 実施例２における符号化を説明するための図である。 実施例２における符号化を説明するための図である。 実施例２における符号化を説明するための図である。 画面走査について説明するための図である。 ピクチャ構造について説明するための図である。 従来技術について説明するための図である。 従来技術について説明するための図である。 予測符号化の方式について説明するための図である。 予測符号化の方式について説明するための図である。 リフレッシュについて説明するための図である。 従来技術について説明するための図である。

符号の説明

１０ 符号化装置
１１ マクロブロックカウンタ部
１２ イントラスライスカウンタ部
１３ａ 第一選択部
１３ｂ 比較部
１３ｃ 第二選択部
１４ インターマクロブロック生成部
１５ イントラマクロブロック生成部

Claims (5)

1. 複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化し、前記ピクチャを符号化するごとに前記イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する符号化装置であって、
   前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化する符号化手段を備えたことを特徴とする符号化装置。
2. 前記符号化手段は、前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして既に選択されたマクロブロックから予測するように符号化することを特徴とする請求項１に記載の符号化装置。
3. 前記符号化手段は、前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しようとする場合には、当該予測に替えて前記イントラマクロブロックとして符号化することを特徴とする請求項１または２に記載の符号化装置。
4. 複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化し、前記ピクチャを符号化するごとに前記イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する方法をコンピュータに実行させる符号化プログラムであって、
   前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化する符号化手順をコンピュータに実行させることを特徴とする符号化プログラム。
5. 複数のマクロブロックで構成されているピクチャが時系列に従って複数連続している一連の画像データを符号化するにあたり、前記画像データの内の所定のピクチャを構成するマクロブロックの内、所定の個数のマクロブロックについては予測しないイントラマクロブロックとして選択して符号化し、前記所定のピクチャを構成するその他のマクロブロックについては当該所定のピクチャに対して時系列で一つ前にあたるピクチャを構成するマクロブロックから予測する非イントラマクロブロックまたは前記イントラマクロブロックとして符号化し、前記ピクチャを符号化するごとに前記イントラマクロブロックの選択を変更することで、複数のピクチャについて符号化する一定の周期の中で、ピクチャを構成するマクロブロックをイントラマクロブロックとして一度ずつ選択するように符号化する符号化方法であって、
   前記その他のマクロブロックを前記非イントラマクロブロックとして符号化する時に、前記一定の周期の中で前記イントラマクロブロックとして未だ選択されていないマクロブロックから予測しないように符号化する符号化工程を含んだことを特徴とする符号化方法。

Images