JP2008154187A - 動画像符号化装置およびその方法 - Google Patents

Abstract

【課題】第１の符号化方式を第２の符号化方式に変換する際、参照画像の探索範囲が不要に広がることを回避することができる動画像符号化装置および方法を提供する。
【解決手段】動画像を符号化する動画像符号化装置であって、第１の符号化方式によって符号化された画像データを復号する復号部１０１と、第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する検出部１１１と、検出部１１１によって前記制約情報が検出された場合、その制約に従った参照関係を決定する決定部１１２と、決定部１１２によって決定された前記参照関係に基づいて、復号部１０１によって復号された復号画像データを第２の符号化方式によって符号化する符号化部１０３とを備えることを特徴とする。
【選択図】図１

Description

本発明は、動画像符号化装置およびその方法に関し、特に、第１の符号化方式で符号化された画像を第２の符号化方式で再符号化を行なう動画像符号化装置および方法に関する。

近年、アナログ式のテレビ放送をデジタル化し、さらに圧縮符号化して、例えば、ハードディスク（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＤＶＤ−ＲＡＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の光ディスクに記録するデジタル式のビデオレコーダが普及している。さらに衛星放送、または地上波放送におけるデジタル式のハイビジョンテレビ放送を記録可能なデジタル式ビデオレコーダが商品化されはじめている。

デジタル式のハイビジョンテレビ放送では、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２規格で符号化されたストリーム（以下、ＭＰＥＧ２ストリームと記載）が送信されている。

デジタル式のハイビジョンテレビ放送を記録する時には、送信されたＭＰＥＧ２ストリームのままで記録する方法、あるいは、ＭＰＥＧ２ストリームを復号した画像を、ＤＶＤ規格で規定された画像サイズに変換し、ＭＰＥＧ２規格で再符号化して記録する方法が一般的である。また、ＭＰＥＧ２ストリームを復号した画像を、ＭＰＥＧ２よりも符号化効率が高いＨ．２６４規格で、再符号化して記録する方法もある。その場合には、デジタル式のハイビジョンテレビの画像サイズをビットレートを下げて記録したとしても、画質の劣化を抑えて記録できる。Ｈ．２６４規格では、動き補償を行うときに、最大１６ピクチャを参照することが許されている。ＭＰＥＧ２規格で参照できるのは最大２フレーム（４フィールド）なので、Ｈ．２６４規格のほうがより精度の高い動きベクトルを検出することが可能となる。しかしながら、Ｈ．２６４規格において、全ての参照ピクチャに対して動きベクトル検出を行うと、ＭＰＥＧ２規格に対して８倍の処理量が必要となってしまう。すなわち、Ｈ．２６４規格で符号化する場合、動き補償の自由度が高く参照可能な画像が多いため処理量が膨大なものになるという問題がある。そこで、参照する画像数を減らし、精度の良い動きベクトルを検出して符号化する方法が提案されている（例えば、特許文献１）。

上記特許文献１の画像符号化方法では、スライス単位でフレーム予測あるいはフィールド予測のいずれかを禁止する。また、Ｂフレームで奇数フィールドから偶数フィールドへの予測を禁止し、前方予測の参照フレームの奇数フィールドからの予測を禁止することで参照する画像数を減らしている。
特開平６−７８２８９号公報

ところで、ＭＰＥＧ２規格では、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ） ｈｅａｄｅｒに含まれるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」に設定されていれば、ＧＯＰ境界を越えて動き補償を行うことができない（このｃｌｏｓｅｄ＿ｇｏｐフラグが「１」に設定されたＧＯＰをクローズドＧＯＰといい、「１」に設定されていないＧＯＰをオープンＧＯＰという）。ここで、ＧＯＰは、独立再生ができるようにした何枚かの画面データのひとまとまりである。ｃｌｏｓｅｄ＿ｇｏｐフラグは、ＧＯＰのシーケンス・ヘッダにエンコード時に立てられるフラグであり、ＧＯＰの最初のいくつかのＢピクチャが以前のＧＯＰに依存する（順方向予測を使う）か否かを示すものである。

一方、Ｈ．２６４規格ではＧＯＰの概念がない。そのため、クローズドＧＯＰであるＭＰＥＧ２ストリームを一旦復号した後、単純にＨ．２６４規格で再符号化すると、本来参照する必要のない画像まで参照することになる。すなわち、参照画像の探索範囲を不要に広げることになり、動きベクトル検出の処理量が増えてしまうという問題がある。

しかしながら、上記特許文献１では、上記の課題に対する考慮まではされていない。
そこで、本発明は上記の事情に鑑みてなされたものであり、第１の符号化方式を第２の符号化方式に変換する際、参照画像の探索範囲が不要に広がることを回避することができる動画像符号化装置および方法を提供することを目的とする。

上記目的を達成するために、本発明の動画像符号化装置は、動画像を符号化する動画像符号化装置であって、第１の符号化方式によって符号化された画像データを復号する復号手段と、第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する検出手段と、前記検出手段によって前記制約情報が検出された場合、前記制約に従った参照関係を決定する決定手段と、前記決定手段によって決定された前記参照関係に基づいて、前記復号手段によって復号された復号画像データを第２の符号化方式によって符号化する符号化手段とを備えることを特徴とする。

この構成により、第１の符号化方式を第２の符号化方式に変換する際、第１の符号化方式の制約を考慮して動き補償用の参照関係が決定されるので、参照画像の探索範囲が不要に広がらない。そのため、動きベクトル検出の処理量が増えてしまう問題を回避することが可能である。

このとき、前記決定手段は、動きベクトルを検出するための前記参照関係を示すパラメータを決定してもよい。

これにより、第１の符号化方式、例えばＭＰＥＧ２規格での制約に従い、第２の符号化方式、例えば、Ｈ．２６４規格におけるシンタックス上のパラメータの設定を行うことにより、第２の符号化方式で符号化する際にも第１の符号化方式の制約を考慮して動き補償用の参照関係を決定することができる。

また、前記決定手段は、一つのまとまりとされる画像群において符号化順で先頭の画像をＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャと決定してもよい。

これにより、一つのまとまりとされる画像群であるＧＯＰ内において符号化順で先頭の画像であるＩピクチャはＩＤＲピクチャとして決定されるので、第２の符号化方式、例えば、Ｈ．２６４規格で符号化する際にも第１の符号化方式、例えばＭＰＥＧ２規格での制約を考慮して、動き補償用の参照関係を決定することができる。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明によれば、第１の符号化方式を第２の符号化方式に変換する際、第１の符号化方式の制約を考慮して動き補償用の参照関係が決定されるので、参照画像の探索範囲が不要に広がらない。そのため、動きベクトル検出の処理量が増えてしまうという問題を回避することが可能である動画像符号化装置および方法を実現することができる。

（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。

図１は、本発明の実施の形態１における動画像符号化装置１００の構成を示すブロック図である。この図１に示されるように、動画像符号化装置１００は、動画像を符号化する動画像符号化装置であって、復号部１０１と、ストリーム情報保持部１０２と、符号化部１０３と、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１と、参照画像決定部１１２とを備えている。

復号部１０１は、本発明に係る復号手段に相当し、第１の符号化方式によって符号化された画像データを復号する。具体的には、第１の符号化方式で符号化されたＭＰＥＧ２ストリームが入力されると、ＭＰＥＧ２規格のシンタックスに沿って復号する。ここで、シンタックスとは、ＭＰＥＧ２規格のデータ列の規則のことを表す。また、復号部１０１は、ＭＰＥＧ２ストリームから抽出したストリーム情報に基づいて復号画像を生成する。ここで用いるストリーム情報は、例えば、Ｓｅｑｕｅｎｃｅ ｈｅａｄｅｒ等のシーケンス全体の情報や、ＧＯＰ ｈｅａｄｅｒ等のＧＯＰに関する情報や、Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ等のピクチャ情報や、Ｓｌｉｃｅのスライス情報や、Ｍａｃｒｏｂｌｏｃｋ ｍｏｄｅｓ等のマクロブロック情報などである。

ストリーム情報保持部１０２は、抽出されたストリーム情報を保持する。ここで用いるストリーム情報は、例えば、ビットレート、画像サイズ、走査方式、符号化構造等のシーケンス情報や、ピクチャタイプや、動きベクトル情報や、量子化値等の情報である。

ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、本発明に係る検出手段に相当し、第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する。具体的には、ストリーム情報保持部１０２に保持されたストリーム情報からｃｌｏｓｅｄ＿ｇｏｐフラグを見てクローズドＧＯＰであるか否かを判断する。

図２は、ＧＯＰ ｈｅａｄｅｒの内部構成例を示す図である。Ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅｓ＿ｈｅａｄｅｒの３行目に示されるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」に設定されていれば、クローズドＧＯＰであることを意味している。一方ｃｌｏｓｅｄ＿ｇｏｐフラグが「１」に設定されていないときは、オープンＧＯＰであることを意味している。

ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、クローズドＧＯＰであると判断した場合には、クローズドＧＯＰであることの情報（ｃｌｏｓｅｄ＿ｇｏｐフラグの情報）とストリーム情報保持部１０２からのストリーム情報とを参照画像決定部１１２に出力する。クローズドＧＯＰでない場合には、ストリーム情報保持部１０２からのストリーム情報を参照画像決定部１１２を介さずに符号化部１０３に出力する。

参照画像決定部１１２は、本発明に係る決定手段に相当し、前記検出手段によって前記制約情報が検出された場合、前記制約に従った参照関係を決定する。具体的には、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１からのｃｌｏｓｅｄ＿ｇｏｐフラグの情報とストリーム情報とから、動き補償用の参照画像を決定する。

符号化部１０３は、本発明に係る符号化手段に相当し、前記決定手段によって決定された前記参照関係に基づいて、前記復号手段によって復号された復号画像データを第２の符号化方式によって符号化する。具体的には、復号部１０１によって復号され生成された復号画像を第２の符号化方式であるＨ．２６４規格で符号化する。

ここで、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１がクローズドＧＯＰでないと判断した場合は、従来のように、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１からのストリーム情報と符号化部１０３の符号化パラメータとから参照画像を決定し、復号画像を第２の符号化方式で符号化する。

一方、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１がクローズドＧＯＰであると判断した場合には、参照画像決定部１１２は、ＧＯＰ ｈｅａｄｅｒ内にあるｃｌｏｓｅｄ＿ｇｏｐフラグを用いて、シンタックス上のパラメータの設定を行い動き補償の参照画像を決定する。決定された動き補償用の参照画像と、ストリーム情報とに基づいて、符号化部１０３は、符号化パラメータから参照画像を決定し、復号画像を第２の符号化方式であるＨ．２６４規格で符号化する。これにより、第２の符号化方式であるＨ．２６４規格で符号化する際にもＧＯＰ境界を越えて動きベクトル検出を行わないようにすることができる。

次に、第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報が検出された場合に、この制約に従った参照関係を決定する処理について、具体的に説明する。

図３は、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１がｃｌｏｓｅｄ＿ｇｏｐフラグを見てクローズドＧＯＰであると判断した場合とそうでないと判断した場合の処理を説明するためのフローチャートである。

まず、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、ストリーム情報保持部１０２から出力されたストリーム情報からクローズドＧＯＰであるかどうかを判断する（Ｓ１０１）。

ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、クローズドＧＯＰであると判断した場合には、ｃｌｏｓｅｄ＿ｇｏｐフラグの情報とストリーム情報保持部１０２からのストリーム情報とを参照画像決定部１１２に出力する（Ｓ１０１のＹｅｓの場合）。

次に、参照画像決定部１１２は、ｃｌｏｓｅｄ＿ｇｏｐフラグの情報とストリーム情報とから、シンタックス上のパラメータの設定を行うことで、動き補償用の参照関係を決定する（Ｓ１０２）。

次に、符号化部１０３は、参照画像決定部１１２からの走査方式や符号化構造などのストリーム情報と、ｃｌｏｓｅｄ＿ｇｏｐフラグの情報とを用いて、シンタックス上のパラメータの設定を行い、動き補償用の参照関係を決定する。そして、決定された動き補償用の参照関係に基づいて、符号化パラメータから参照画像を決定し、復号画像を第２の符号化方式で符号化する（Ｓ１０３）。

また、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、ｃｌｏｓｅｄ＿ｇｏｐフラグを見てクローズドＧＯＰでないと判断した場合、従来通り、参照画像決定部１１２を介さずに符号化部１０３にストリーム情報保持部１０２からのストリーム情報を出力する（Ｓ１０１のＮｏの場合）。

続いて、符号化部１０３は、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１からの走査方式や符号化構造などのストリーム情報に基づいて、復号画像を第２の符号化方式で符号化する。（Ｓ１０３）。

以下、具体例を示しながら、本発明の実施の形態を更に詳しく説明する。
まず、ＭＰＥＧ２規格とＨ．２６４規格のピクチャタイプについて説明する。ＭＰＥＧ２規格では、画面内符号化を行うＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、画面内符号化と前方予測を行うＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、画面内符号化に加えて前方／後方／双方向予測を行うＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）の３種類のピクチャタイプが規定されている。一方、Ｈ．２６４規格では、画面内符号化を行うＩピクチャ、ＩＤＲピクチャ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ ｐｉｃｔｕｒｅ）、画面内符号化と前方予測（規格ではＬ０予測と言う。Ｌ０：Ｌｉｓｔ ０ Ｐｒｅｄｉｃｔｉｏｎ）を行うＰピクチャ、画面内符号化に加えて前方（Ｌ０）／後方（Ｌ１：Ｌｉｓｔ １ Ｐｒｅｄｉｃｔｉｏｎ）／双方向予測を行うＢピクチャ、Ｂｒピクチャの５種類が規定されている。ＩＤＲピクチャを挿入すると、復号時に必要な状態がリセットされるため、符号化順でこのピクチャを越えて動き補償を行うことができなくなる。この点がＩＤＲピクチャとＩピクチャとの違いである。また、ＭＰＥＧ２規格では、ＢピクチャはＢピクチャを参照することができないが、Ｈ．２６４規格では、参照画像として用いることのできるＢピクチャがＢｒピクチャとして規定されている。

図４は、オープンＧＯＰについて説明するための図であり、ＭＰＥＧ２規格で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされていない場合の参照関係について概念的に示した図である。ＧＯＰ ｈｅａｄｅｒ内にあるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされていない場合、ＧＯＰ境界を越えて動き補償を行うことができる。すなわち、図４において、ｎ番目のピクチャであるＩｎピクチャより表示順で前にある２つのＢピクチャは、ＧＯＰ境界を越えてＰピクチャを参照することができる。このようなＧＯＰがオープンＧＯＰである。

図５は、クローズドＧＯＰについて説明するための図であり、ＭＰＥＧ２規格で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合の参照関係について概念的に示した図である。ＧＯＰ ｈｅａｄｅｒ内にあるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合、ＧＯＰ境界を越えて動き補償を行うことができない。すなわち、図５において、Ｂｎ＋１ピクチャおよびＢｎ＋２ピクチャの２つのＢピクチャは、ＧＯＰ境界を越えてＰピクチャを参照することができないという制約が加わる。このようなＧＯＰがクローズドＧＯＰである。

本発明における動画像符号化装置１００では、このＭＰＥＧ２規格での制約をＨ．２６４規格でも符号化する際に考慮している。これにより、本来参照する必要のない画像を参照することがなくなるので、参照画像の探索範囲が不要に広がらない。そのため、動きベクトルを検出する処理量が増えてしまうという問題を回避することが可能である。

図６は、ＭＰＥＧ２ストリームをＨ．２６４規格のフレーム構造で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図である。オープンＧＯＰの場合（図３のＳ１０１からＮｏのフローの場合）、Ｂｎ＋１、Ｂｎ＋２の２つのピクチャはＰｎ−１ピクチャとＩｎピクチャの双方を参照することが可能である。しかし、クローズドＧＯＰの場合（図３のＳ１０１からＹｅｓのフローの場合）、Ｂｎ＋１およびＢｎ＋２の２つのピクチャは、Ｐｎ−１ピクチャを参照できず、Ｉｎピクチャのみを参照することになる。具体的には、参照画像決定部１１２は、シンタックス上のパラメータの設定を次のように変更する。ここでは、参照ピクチャ番号をＰｎ−１が０で、Ｉｎが１の場合を例とする。例えば、Ｈ．２６４規格で符号化する際は、第１のステップとして、シンタックス上のＰｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔにあるｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１とｒｅｆ＿ｉｄｘ＿ｌ１＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の二つのパラメータに０を設定する。それにより、前方予測（Ｌ０）、後方予測（Ｌ１）とも１フレームの画像を参照画像とすることができる。第２のステップとして、前方（Ｌ０）予測で用いる参照画像にＲｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ ｒｅｏｒｄｅｒｉｎｇ ｓｙｎｔａｘのｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ＿ｆｌａｇ＿ｌ０をセットし、Ｐｎ−１の参照画像番号を１にするため、ｒｅｏｒｄｅｒｉｎｇ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃを１に、ａｂｓ＿ｄｉｆｆ＿ｐｉｃ＿ｎｕｍ＿ｍｉｎｕｓ１を０に設定する。さらに、Ｉｎの参照画像番号を０にするため、ｒｅｏｒｄｅｒｉｎｇ＿ｏｆ＿ｐｉｃ＿ｎｕｍｓ＿ｉｄｃを０に、ａｂｓ＿ｄｉｆｆ＿ｐｉｃ＿ｎｕｍ＿ｍｉｎｕｓ１を０に設定する。これにより、参照画像番号が小さいＩｎピクチャのみを参照するようにする。このように、クローズドＧＯＰの場合、符号化部１０３は、実際の動きベクトル検出では、Ｐｎ−１ピクチャを参照画像とせずに動きベクトル検出を行う。

上記のように、シンタックス上のパラメータを設定することで、Ｈ．２６４の規格に準拠しながらも、符号化時にＧＯＰ境界を越えて動きベクトル検出を行わないようにすることができる。すなわち、参照画面の探索範囲が不要に広がらないようにすることができる。

図７は、ＭＰＥＧ２ストリームをＨ．２６４規格のフレーム構造で符号化する場合のＢｒピクチャとＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図である。オープンＧＯＰの場合（図３のＳ１０１からＮｏのフローの場合）、Ｂｒｎ＋１ピクチャおよびＢｎ＋２ピクチャの２つのピクチャはＰｎ−１ピクチャとＩｎピクチャの双方を参照することが可能である。しかし、クローズドＧＯＰの場合（図３のＳ１０１からＹｅｓのフローの場合）、Ｂｒｎ＋１ピクチャは、Ｐｎ−１ピクチャを参照できず、Ｉｎピクチャのみを参照することになる。そのとき、ＢピクチャはＢｒピクチャを参照可能であるので、Ｂｎ＋２ピクチャは、ＩｎピクチャとＢｒｎ＋１ピクチャとが参照可能となる。具体的には、参照画像決定部１１２は、シンタックス上のパラメータの設定を次のように変更する。Ｂｎ＋２ピクチャに関しては、前方予測（Ｌ０）時のパラメータｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１に１をセットして２フレーム参照できるようにする。Ｂｎ＋２ピクチャを符号化するときには、Ｓｌｉｃｅ ｈｅａｄｅｒ ｓｙｎｔａｘにあるｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｏｖｅｒｒｉｄｅ＿ｆｌａｇをセットし、ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の値を０に変更することで、Ｂｎ＋２ピクチャのＬ０参照画像数を１枚に設定することができる。また、上記の図６の場合と同様にパラメータを設定することで参照画像の参照関係を設定できる。クローズドＧＯＰの場合、符号化部１０３は、実際の動きベクトル検出では、Ｐｎ−１ピクチャを参照画像とせずに動きベクトル検出を行う。

上記のように、シンタックス上のパラメータを設定することで、Ｈ．２６４の規格に準拠しながらも、符号化時にＧＯＰ境界を越えて動きベクトル検出を行わないようにすることができる。すなわち、参照画面の探索範囲が不要に広がらないようにすることができる。

次に他の例として、ＭＰＥＧ２ストリームをＨ．２６４規格のフィールド構造で符号化する場合について図８と図９を用いて説明する。

図８は、ＭＰＥＧ２ストリームをＨ．２６４規格のフィールド構造で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図である。

フィールド構造の場合、フィールド単位で参照画像を設定できるため、前方予測（Ｌ０）、後方予測（Ｌ１）とも２フィールドずつ参照画像を設定できる。オープンＧＯＰの場合（図３のＳ１０１からＮｏのフローの場合）、Ｂｎ＋２フィールドは、Ｐｎ−２フィールド、Ｐｎ−１フィールド、Ｉｎフィールド、Ｐｎ＋１フィールドの４フィールドを参照できる。しかし、クローズドＧＯＰの場合（図３のＳ１０１からＹｅｓのフローの場合）、ＧＯＰ境界を越えてＰｎ−２フィールドとＰｎ−１フィールドを参照しないようにフィールド毎にシンタックス上の各パラメータを変更する。クローズドＧＯＰの場合、符号化部１０３は、実際の動きベクトル検出では、ＩｎフィールドおよびＰｎ＋１フィールドのみを参照して動きベクトル検出を行う。

上記のように、シンタックス上のパラメータを設定することで、Ｈ．２６４の規格に準拠しながらも、符号化時にＧＯＰ境界を越えて動きベクトル検出を行わないようにすることができる。すなわち、参照画面の探索範囲が不要に広がらないようにすることができる。

図９は、ＭＰＥＧ２ストリームをＨ．２６４規格のフィールド構造で符号化する場合のＢｒピクチャとＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図であり、トップフィールドのＢフィールドをＢｒフィールドとした場合の参照関係を示す図である。Ｂｒｎ＋２フィールドは４フィールドを参照できるが、ＢフィールドはＢｒフィールドを参照できるので、Ｂｒｎ＋３フィールドはこの４フィールドにＢｒｎ＋２フィールドを加えて５フィールドを参照できる。また、Ｂｎ＋４フィールド、Ｂｎ＋５フィールドは上述の４フィールドにＢｒｎ＋２フィールドとＢｒｎ＋３フィールドとを加えて６フィールドを参照することができる。クローズドＧＯＰの場合（図３のＳ１０１からＹｅｓのフローの場合）、ＧＯＰ境界を越えてＰｎ−１フィールドとＰｎ−２フィールドを参照しないようにシンタックス上の各パラメータをフィールド毎に変更する。クローズドＧＯＰの場合、符号化部１０３は、実際の動きベクトル検出では、Ｉｎフィールド、Ｐｎ＋１フィールド、Ｂｒｎ＋２フィールドおよびＢｒｎ＋３フィールドのみを参照して動きベクトル検出を行うようになる。

上記のように、シンタックス上のパラメータに設定することで、Ｈ．２６４の規格に準拠しながらも、符号化時にＧＯＰ境界を越えて動きベクトル検出を行わないようにすることができる。

ここで、図８および図９において、トップフィールドをファーストフィールドとして説明したが、ボトムフィールドがファーストフィールドの場合でも同様の設定が可能である。また、ＩフィールドとペアのボトムフィールドをＰフィールドとしているが、Ｉフィールドとしてもよい。

以上より、本発明の実施の形態１において、ＭＰＥＧ２で設定されたＧＯＰ境界を越えて動きベクトル検出を行わないようにして、参照画面の探索範囲を不要に広がらないようにすることができる。すなわち、Ｈ．２６４規格におけるシンタックス上のパラメータの設定を行うことにより、Ｈ．２６４規格で符号化する際にＭＰＥＧ２で設定されたＧＯＰ境界に対する制約を考慮して、動き補償用の参照関係を決定することができ、不要な動きベクトル検出を省くことができる。それにより、動きベクトル検出の処理量が増えてしまうという問題を回避することができる。

（実施の形態２）
次に、本発明の実施の形態２について、図面を用いて説明する。

実施の形態１では、シンタックス上のパラメータの設定を行い動き補償用の参照関係を決定したが、本実施の形態２では、クローズドＧＯＰの符号化順で先頭のピクチャをＩＤＲピクチャとすることにより符号化する。それにより、実施の形態１で考慮した参照関係と同様の参照関係を決定できる。

図１０は、本発明の実施の形態２における動画像符号化装置１００の構成を示すブロック図である。この動画像符号化装置１００は、動画像を符号化する動画像符号化装置であって、復号部１０１と、ストリーム情報保持部１０２と、符号化部１０３と、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１と、ピクチャタイプ決定部１１３とを備えている。

復号部１０１は、本発明に係る復号手段に相当し、第１の符号化方式によって符号化された画像データを復号する。具体的には、第１符号化方式で符号化されたＭＰＥＧ２ストリームが入力されると、ＭＰＥＧ２規格のシンタックスに沿って復号する。ここで、シンタックスとは、ＭＰＥＧ２規格のデータ列の規則のことを表す。また、復号部１０１は、ＭＰＥＧ２ストリームから抽出したストリーム情報に基づいて復号画像を生成する。ここで用いるストリーム情報は、例えば、Ｓｅｑｕｅｎｃｅ ｈｅａｄｅｒ等のシーケンス全体の情報や、ＧＯＰ ｈｅａｄｅｒ等のＧＯＰに関する情報や、Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ等のピクチャ情報や、Ｓｌｉｃｅのスライス情報や、Ｍａｃｒｏｂｌｏｃｋ ｍｏｄｅｓ等のマクロブロック情報などである。

ストリーム情報保持部１０２は、抽出されたストリーム情報を保持する。ここで用いるストリーム情報は、例えば、ビットレート、画像サイズ、走査方式、符号化構造等のシーケンス情報や、ピクチャタイプや、動きベクトル情報や、量子化値等の情報である。

ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、本発明に係る検出手段に相当し、第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する。具体的には、ストリーム情報保持部１０２に保持されたストリーム情報からｃｌｏｓｅｄ＿ｇｏｐフラグを見てクローズドＧＯＰであるか否かを判断する。

図２は、ＧＯＰ ｈｅａｄｅｒの内部構成例を示す図である。Ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅｓ＿ｈｅａｄｅｒの３行目に示されるようにＣｌｏｓｅｄ＿ＧＯＰとして「１」が設定されていれば、クローズドＧＯＰであることを意味している。

ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、クローズドＧＯＰであると判断した場合には、クローズドＧＯＰであることの情報とストリーム情報保持部１０２からのストリーム情報とをピクチャタイプ決定部１１３に出力する。クローズドＧＯＰでない場合には、ストリーム情報保持部１０２からのストリーム情報をピクチャタイプ決定部１１３を介さずに符号化部１０３に出力する。

ピクチャタイプ決定部１１３は、本発明に係る決定手段に相当し、前記検出手段によって前記制約情報が検出された場合、前記制約に従った参照関係を決定する。具体的には、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１からのｃｌｏｓｅｄ＿ｇｏｐフラグの情報とストリーム情報とから、ＭＰＥＧ２ビットスリームでＧＯＰと定められ、そのＧＯＰ内でのＩピクチャをＩＤＲピクチャとすることで、動き補償用の参照画像を決定する。

符号化部１０３は、本発明に係る符号化手段に相当し、前記決定手段によって決定された前記参照関係に基づいて、前記復号手段によって復号された復号画像データを第２の符号化方式によって符号化する。具体的には、復号部１０１によって復号され生成された復号画像を第２の符号化方式であるＨ．２６４規格で符号化する。

ここで、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１がクローズドＧＯＰでないと判断した場合、従来のように、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１からのストリーム情報と符号化部１０３の符号化パラメータとから参照画像を決定し、復号画像を第２の符号化方式で符号化する。

一方、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１がクローズドＧＯＰであると判断した場合には、ピクチャタイプ決定部１１３は、ＧＯＰ ｈｅａｄｅｒ内にあるｃｌｏｓｅｄ＿ｇｏｐフラグを用いて、シンタックス上の符号化パラメータの設定を行いＧＯＰ内でのＩピクチャをＩＤＲピクチャとすることで、動き補償用の参照関係を決定する。決定された動き補償用の参照画像と、ストリーム情報とに基づいて、符号化部１０３は、符号化パラメータから参照画像を決定し、復号画像を第２の符号化方式であるＨ．２６４規格で符号化する。これにより、第２符号化方式であるＨ．２６４規格で符号化する際にもＧＯＰ境界を越えて動きベクトル検出を行わないようにすることができる。

次に、第１の符号化方式によって符号化された画像データの一部から、ＧＯＰ境界を越えて画像データを参照しないように参照関係を制約する制約情報が検出された場合に、前記制約に従った参照関係を決定する処理について、具体的に説明する。

図３は、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１がｃｌｏｓｅｄ＿ｇｏｐフラグを見てクローズドＧＯＰであると判断した場合とそうでない場合の処理を説明するためのフローチャートである。

まず、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、ストリーム情報保持部１０２から出力されたストリーム情報からクローズドＧＯＰであるかどうかを判断する（Ｓ１０１）。

ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、クローズドＧＯＰであると判断した場合には、検出したｃｌｏｓｅｄ＿ｇｏｐフラグの情報とストリーム情報保持部１０２からのストリーム情報とをピクチャタイプ決定部１１３に出力する（Ｓ１０１のＹｅｓの場合）。

次に、ピクチャタイプ決定部１１３は、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１からのｃｌｏｓｅｄ＿ｇｏｐフラグの情報とストリーム情報とから、シンタックス上の符号化パラメータの設定を行うことで、動き補償用の参照画像を決定するピクチャタイプを決定する（Ｓ１０２）。

次に、符号化部１０３は、ピクチャタイプ決定部１１３からの走査方式や符号化構造などのストリーム情報と、シンタックス上の符号化パラメータの設定を行い、決定された動き補償用の参照関係を決定するピクチャタイプとに基づいて、符号化パラメータ（ここでは、Ｈ．２６４規格で規定された符号化パラメータ）から参照画像を決定することにより、復号画像を第２の符号化方式で符号化する（Ｓ１０３）。

また、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１は、ｃｌｏｓｅｄ＿ｇｏｐフラグを見てクローズドＧＯＰでないと判断した場合には、ピクチャタイプ決定部１１３を介さずに符号化部にストリーム情報保持部１０２からのストリーム情報を出力する（Ｓ１０１のＮｏの場合）。

そして、符号化部１０３は、ｃｌｏｓｅｄ−ＧＯＰ検出部１１１からの走査方式や符号化構造などのストリーム情報に基づいて、復号画像を第２の符号化方式で符号化する（Ｓ１０３）。

以下、具体例を示しながら、本発明の実施の形態を更に詳しく説明する。
図６および図７におけるＩピクチャをＩＤＲピクチャとする。ここで、図中では括弧内にＩＤＲと表記している。Ｈ．２６４規格ではＩＤＲピクチャが挿入されると復号時に必要な状態がリセットされる。つまり、符号化順でＩＤＲピクチャ以降のピクチャはＩＤＲピクチャより前に符号化されたピクチャの情報がなくても復号することが可能となる。この機能を利用して、クローズドＧＯＰの境界で符号化順で先頭に来るピクチャをＩＤＲピクチャとすることでＩＤＲピクチャより前のピクチャを使用せずに動き補償を行う。図６では表示順にＰｎ−１ピクチャと、Ｂｎ＋１ピクチャと、Ｂｎ＋２ピクチャと、ＩＤＲｎピクチャとが並んでいるが、符号化順ではＰｎ−１ピクチャと、ＩＤＲｎピクチャと、Ｂｎ＋１ピクチャと、Ｂｎ＋２ピクチャとになるため、Ｂｎ＋１ピクチャおよびＢｎ＋２ピクチャはＨ．２６４規格の制約よりＰｎ−１ピクチャを参照できなくなる。つまり、ピクチャタイプ決定部１１３において、ＭＰＥＧ２ビットスリームで定められたＧＯＰ内でのＩピクチャをＩＤＲピクチャとすることにより、ＭＰＥＧ２規格での制約、すなわち、ＭＰＥＧ２規格で設定されたＧＯＰ境界をＨ．２６４規格で符号化する際に考慮できる。つまり、ＭＰＥＧ２で設定されたＧＯＰ境界を越えて動きベクトル検出を行わないようにすることで、参照画像の探索範囲を不要に広げることなく動きベクトルを検出できる。

また、本発明の実施の形態２では、シンタックス上のパラメータに参照画像の設定を行う必要はなく、符号化順でＧＯＰに対応する画像列の符号化順に先頭のピクチャをＩＤＲピクチャと設定することだけでクローズドＧＯＰとなる。具体的にはピクチャタイプ決定部１１３は、符号化パラメータの設定を次のように変更する。すなわち、ＮＡＬ ｕｎｉｔ ｓｙｎｔａｘのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを５にすることでＩＤＲピクチャのスライスデータであると設定できる。図７においてＢｒピクチャを使った場合も同様である。

図８および図９のようなフィールド構造の場合、符号化順でこのＧＯＰに対応する画像列の符号化順に先頭のフィールドをＩＤＲピクチャとすることで、クローズドＧＯＰとなる。この場合の符号化順序はＰｎ−２フィールドと、Ｐｎ−１フィールドと、ＩＤＲｎフィールドと、Ｐｎ＋１フィールドと、Ｂｎ＋２フィールドと、Ｂｎ＋３フィールドと、Ｂｎ＋４フィールドと、Ｂｎ＋５フィールドとなるため、Ｐｎ＋１フィールド以降のフィールドはＰｎ−１フィールドおよびＰｎ−２フィールドを参照せずに動き補償する。シンタックス上の設定としては、上述の通り、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを５にすることでＩＤＲピクチャのスライスデータであると設定できる。したがって、ＭＰＥＧ２で設定されたＧＯＰ境界を越えて動きベクトル検出を行わないようにすることができる。図９においてＢｒフィールドを用いた場合も同様である。

図８および図９では、トップフィールドをファーストフィールドとして説明したが、ボトムフィールドがファーストフィールドの場合でも同様の設定が可能であり、本実施の形態に限定されない。また、ＩフィールドとペアのボトムフィールドをＰピクチャとしているが、Ｉピクチャ、ＩＤＲピクチャのいずれに設定してもよい。

以上より、本発明の実施の形態２において、ＭＰＥＧ２で設定されたＧＯＰ境界を越えて動きベクトル検出を行わないようにして、参照画面の探索範囲を不要に広がらないようにすることができる。これは、ＭＰＥＧ２スリームでと定められたＧＯＰ内でのＩピクチャをＩＤＲピクチャとすることで実現される。それにより、動きベクトル検出の処理量が増えてしまうという問題を回避することができる。

以上、本発明の動画像符号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、動画像符号化装置およびその方法に利用でき、特に、ハイビジョンテレビ放送等の高精細な画像をＨ．２６４規格などの符号化効率の高い符号化方式で録画を行うデジタル式ビデオレコーダ等の動画像符号化装置に利用することができる。

本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。 本発明の実施の形態におけるＧＯＰ ｈｅａｄｅｒなどのＧＯＰに関するストリーム情報の一例を示す図である。 本発明の実施の形態１におけるクローズドＧＯＰである場合とそうでない場合の処理を説明するためのフローチャートである。 オープンＧＯＰについて説明するための図であり、ＭＰＥＧ２規格で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされていない場合の参照関係について概念的に示した図である。 クローズドＧＯＰについて説明するための図であり、ＭＰＥＧ２規格で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合の参照関係について概念的に示した図である。 本発明の実施の形態において、ＭＰＥＧ２ストリームをＨ．２６４規格のフレーム構造で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図である。 本発明の実施の形態において、ＭＰＥＧ２ストリームをＨ．２６４規格のフレーム構造で符号化する場合のＢｒピクチャとＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図である。 本発明の実施の形態において、ＭＰＥＧ２ストリームをＨ．２６４規格のフィールド構造で符号化する場合のＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図である。 本発明の実施の形態において、ＭＰＥＧ２ストリームをＨ．２６４規格のフィールド構造で符号化する場合のＢｒピクチャとＢピクチャの画像の参照関係を示す概念図であり、ＭＰＥＧ２規格におけるｃｌｏｓｅｄ＿ｇｏｐフラグが「１」にセットされている場合（クローズドＧＯＰ）の参照関係について概念的に示した図である。 本発明の実施の形態２における動画像符号化装置の構成を示すブロック図である。

符号の説明

１００ 動画像符号化装置
１０１ 復号部
１０２ ストリーム情報保持部
１０３ 符号化部
１１１ ｃｌｏｓｅｄ−ＧＯＰ検出部
１１２ 参照画像決定部
１１３ ピクチャタイプ決定部

Claims (7)

1. 動画像を符号化する動画像符号化装置であって、
   第１の符号化方式によって符号化された画像データを復号する復号手段と、
   第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する検出手段と、
   前記検出手段によって前記制約情報が検出された場合、前記制約に従った参照関係を決定する決定手段と、
   前記決定手段によって決定された前記参照関係に基づいて、前記復号手段によって復号された復号画像データを第２の符号化方式によって符号化する符号化手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記決定手段は、動きベクトルを検出するための前記参照関係を示すパラメータを決定することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記決定手段は、一つのまとまりとされる画像群において符号化順で先頭の画像をＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャとすることを決定する
   ことを特徴とする請求項１に記載の動画像符号化装置。
4. 前記第１の符号化方式は、ＭＰＥＧ２方式に準拠しており、前記第２の符号化方式はＨ．２６４方式に準拠している
   ことを特徴とする請求項１に記載の動画像符号化装置。
5. 動画像を符号化する方法であって、
   第１の符号化方式によって符号化された画像データを復号する復号ステップと、
   第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する検出ステップと、
   前記検出ステップにおいて前記制約情報が検出された場合、前記制約に従った参照関係を決定する決定ステップと、
   前記決定ステップにおいて決定された前記参照関係に基づいて、前記復号ステップにおいて復号された復号画像データを第２の符号化方式によって符号化する符号化ステップと
   を含むことを特徴とする動画像符号化方法。
6. 動画像を符号化するためのプログラムであって、
   第１の符号化方式によって符号化された画像データを復号する復号ステップと、
   第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する検出ステップと、
   前記検出ステップにおいて前記制約情報が検出された場合、前記制約に従った参照関係を決定する決定ステップと、
   前記決定ステップにおいて決定された前記参照関係に基づいて、前記復号ステップにおいて復号された復号画像データを第２の符号化方式によって符号化する符号化ステップと
   をコンピュータに実行させるためのプログラム。
7. 動画像を符号化する集積回路であって、
   第１の符号化方式によって符号化された画像データを復号する復号手段と、
   第１の符号化方式によって符号化された画像データの一部から、一つのまとまりとされる画像群を超えて画像データを参照しないように参照関係を制約する制約情報を検出する検出手段と、
   前記検出手段によって前記制約情報が検出された場合、前記制約に従った参照関係を決定する決定手段と、
   前記決定手段によって決定された前記参照関係に基づいて、前記復号手段によって復号された復号画像データを第２の符号化方式によって符号化する符号化手段と
   を備えることを特徴とする集積回路。

Images