JP2004048497A - 画像符号化装置、画像復号化装置 - Google Patents
画像符号化装置、画像復号化装置 Download PDFInfo
- Publication number
- JP2004048497A JP2004048497A JP2002204715A JP2002204715A JP2004048497A JP 2004048497 A JP2004048497 A JP 2004048497A JP 2002204715 A JP2002204715 A JP 2002204715A JP 2002204715 A JP2002204715 A JP 2002204715A JP 2004048497 A JP2004048497 A JP 2004048497A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- predetermined
- encoding
- image encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ＭＰＥＧ−４次世代ビデオ符号化規格において、復号化装置でランダムアクセスが容易になる画像符号化装置の提供。
【解決手段】符号化した画像フレームを入力し（Ｓ４０１）、符号化タイプがイントラである場合（Ｓ４０３）、スライスデータのＮＡＬユニットの出力（Ｓ４０７）に先だってパラメータセットを含むＮＡＬユニットを生成出力し（Ｓ４０４）、さらに絶対時刻情報を含むＮＡＬユニットを生成出力する（Ｓ４０５）。一方イントラ以外の場合（Ｓ４０３）、相対時刻情報を含むＮＡＬユニットを生成出力する（Ｓ４０６）。
【選択図】 図４
【解決手段】符号化した画像フレームを入力し（Ｓ４０１）、符号化タイプがイントラである場合（Ｓ４０３）、スライスデータのＮＡＬユニットの出力（Ｓ４０７）に先だってパラメータセットを含むＮＡＬユニットを生成出力し（Ｓ４０４）、さらに絶対時刻情報を含むＮＡＬユニットを生成出力する（Ｓ４０５）。一方イントラ以外の場合（Ｓ４０３）、相対時刻情報を含むＮＡＬユニットを生成出力する（Ｓ４０６）。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＳＯ国際標準規格ＭＰＥＧ４等の画像符号化データを生成出力する画像符号化装置に関するものであり、特にＭＰＥＧ−４次世代ビデオ符号化（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に関する。
【０００２】
【従来の技術】
近年、移動体通信やインターネットにおける画像伝送が一般に普及している。１９９９年に制定されたＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ ４）は、数十キロビット／秒程度の低ビットレートにおいて最高の符号化効率を謳われてきた。また、これよりさらに符号化効率の高い符号化方式として、ＭＰＥＧ４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準規格策定が、２００１年に開始された。ＡＶＣは、従来のＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４と異なり、符号化ストリーム中にスタートコードがない。スタートコードは３２ビットであり、各スライスの先頭やピクチャヘッダ、シーケンスヘッダの先頭に配置され、これらのデータの開始を示すために使用されていた。現在標準化中のＡＶＣ規格では、これらのデータは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットとして単位化される。図６に示すように、ＮＡＬユニット８ビットのヘッダ６０１、８ビットの倍数であるペイロードで構成される。ヘッダ６０１は、エラー指示フラグ６０１１、ＮＡＬユニットタイプ６０１２、ピクチャヘッダフラグ６０１３、破棄可能フラグ６０１４からなる。ＮＡＬユニットタイプは、ペイロード６０２が含むデータのタイプを示す識別子である。ＮＡＬユニットタイプにより、ＡＶＣで規定されるスライス、パラメータセット、補助情報などのデータを識別可能である。またスライスの場合、イントラスライスか、インタースライスかの判別も可能である。パラメータセットはＭＰＥＧ２におけるシーケンスヘッダに相当し、画像サイズ、アスペクト比など、画像シーケンス全体に関わる情報を含む。補助情報としては、ＭＰＥＧ２のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）に相当する、画像フレームの絶対時刻情報を与えるタイムクロックと、画像フレーム間の相対時刻を与えるテンポラルリファレンスの２つが定義されている。また、ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、あるいはＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）上にＮＡＬユニットを多重化する際は、各ＮＡＬユニットの前に１６進数の０００００１（２３ビットの’０’と１ビットの’１’）を付与した拡張ＮＡＬユニットとする。
【０００３】
【発明が解決しようとする課題】
以上のようにＮＡＬユニットの構造と種類について定義されているが、各ＮＡＬユニットをどのような順番で伝送するか規定がなく、またどのような場合にパラメータセットや補助情報を送るかの規則もなく、ＡＶＣ符号化データを復号する画像復号化装置においてランダムアクセスが確実に行えない、表示時刻情報を確実に取得できない等の課題があった。
【０００４】
【課題を解決するための手段】
本発明の請求項１による画像符号化装置は、画像符号化パラメータと画像データを入力し、前記符号化パラメータに従って画像データを符号化して出力する画像符号化装置であって、前記入力した画像データから１枚の画像フレームを入力し、前記符号化パラメータに従ってＮ個（Ｎは１以上の整数）のスライスデータユニットに符号化する画像符号化手段と、画像フレーム間の表示時刻の相対値を示す情報を含む第１のデータユニットを生成出力し、前記画像符号化手段により符号化されたＮ個のスライスデータユニットを出力するフォーマット手段とを備え、前記フォーマット手段は、予め定めた第１の条件に合致する際は前記第１のデータユニットを出力する前に、画像フレームのサイズやアスペクト比等、画像データ全体に関するパラメータを含む第２のデータユニットを生成出力するものである。
【０００５】
本発明の請求項２による画像符号化装置は、請求項１に記載の画像符号化装置において、前記フォーマット手段は、予め定めた第２の条件に合致する際は前記第２のデータユニットを生成出力する前に、前記入力した画像フレームの表示時刻の絶対値を示す情報を含む第３のデータユニットを生成出力するものである。
【０００６】
本発明の請求項３による画像符号化装置は、請求項１に記載の画像符号化装置において、前記予め定めた第１の条件は、予め定めた第１の時間間隔が経過したかどうかとするものである。
【０００７】
本発明の請求項４による画像符号化装置は、請求項２に記載の画像符号化装置において、前記予め定めた第２の条件は、予め定めた第２の時間間隔が経過したかどうかとするものである。
【０００８】
本発明の請求項５による画像符号化装置は、請求項１あるいは２に記載の画像符号化装置において、前記予め定めた第１の条件、および前記予め定めた第２の条件は、前記Ｎ個のスライスデータユニットがイントラ符号化されたスライスであるかどうかとするものである。
【０００９】
さらに、本発明の請求項６による画像復号化装置は、請求項１〜５に記載の画像符号化装置が出力する画像符号化データを入力して復号化するものである。
【００１０】
【発明の実施の形態】
（実施の形態１）
本発明にかかる画像符号化装置の実施の形態１について、図１〜５を用いて説明する。
図１は、画像符号化装置の構成の概略を示す機能ブロック図である。画像符号化装置１００は、画像符号化手段１０１、フォーマット手段１０２で構成される。次に動作を図２のフローチャートを用いて説明する。
【００１１】
まず、Ｓ２０１において外部から入力される符号化パラメータ１ａによりフォーマット手段１０２が初期化される。符号化パラメータ１ａの一例としては、図３（ａ）に示すように、目標符号化ビットレー１ａ０１、目標フレームレート１ａ０２、初期バッファリング時間１ａ０３、イントラフレームの頻度１ａ０４、目標スライスサイズ１ａ０５などが可能である。イントラフレームの頻度とは、何フレーム毎にイントラフレームとして符号化するかを指定するものである。なお、初期化であるＳ２０１は最低最初の１回だけ行う。後の処理Ｓ２０２以降は、画像フレームを入力する度、繰り返し実行される。
【００１２】
画像符号化装置１００の初期化後、フォーマット手段１０２には、Ｓ２０２に示すように１枚の原画像フレーム１ｂが入力される。原画像フレームは、赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）の３色がそれぞれ８ビットで表されるＲＧＢ２４フォーマットや、輝度成分（Ｙ）、色差成分（Ｕ、Ｖ）がそれぞれ８ビットで表されるＹＵＶフォーマットなどが可能である。
【００１３】
次にＳ２０３において、フォーマット手段１０２は、入力した原画像フレームデータ１ｂを符号化する際のパラメータを決定し、原画像フレームデータとともに画像符号化手段１０１に出力する。なお、フォーマット手段は、入力した原画像フレーム１ｂが、所定のフォーマット以外の場合、所定のフォーマット１ｂ’に変換してから画像符号化手段１０１に出力する。所定のフォーマットは、例えば、Ｙ成分に比べてＵ、Ｖ成分が１／２の情報量となるＹＵＶ４２０フォーマットとする。また、入力画像フレーム１ｂの符号化パラメータ１ｃの一例としては、図３（ｂ）に示すように、フレーム符号化タイプ１ｃ０１、目標フレームデータサイズ１ｃ０２、目標スライスサイズ１ｃ０３などが可能である。これらのパラメータ値は、外部入力パラメータ１ａに従って計算の上、設定される。例えば、目標符号化ビットレート１ａ０１になるように、各画像フレーム毎に、目標フレームサイズ１ｃ０２は異なる。また、イントラフレームの頻度１ａ０４に従って、フレームタイプ１ｃ０１はイントラか、インターかを決定する。なお、インターの場合、端方向予測、双方向予測のいずれも可能である。フォーマット手段１０２からの原画像フレーム１ｂ’、符号化タパラメータ１ｃの入力を受け、画像符号化手段１０１は、原画像フレームを符号化し、サイド情報１ｄと符号化結果であるスライスデータ１ｅを出力する。１枚の原画像フレーム１ｂ’は符号化パラメータ１ｃの設定によって１個あるいは複数個のスライスとして符号化される。サイド情報１ｄは、図３（ｃ）に示す例のように、スライス数１ｄ０１、および生成符号化された各スライスのサイズ１ｄ０２１〜１ｄ０２Ｎからなる。また、図（ｄ）に示す例のように、スライスデータ１ｅは、複数のＮＡＬユニット１ｅ０１〜１ｅ０Ｎからなる。各ＮＡＬユニットは、ヘッダとペイロードからなり、ペイロードは符号化スライスデータである。なお、サイド情報１ｄとスライスデータ１ｅの出力形式は特に規定するものではなく、自由に組み合わせることができる。例えば、スライス長１ｄ０１〜１ｄ０Ｎとスライスデータ１ｅ０１〜１ｅ０Ｎを交互にインタリーブした出力形式であってもよい。
【００１４】
ステップＳ２０４において、フォーマット手段は、画像符号化手段の出力であるサイド情報１ｄ及びスライスデータ１ｅを入力する。次にステップＳ２０５において、入力したスライスデータに補助情報などを付加したデータを出力する。これについて、図４のフローチャートで詳述する。
【００１５】
まず、Ｓ４０１においてサイド情報１ｄ、スライスデータ１ｅを入力する。次にＳ４０２において先頭のスライスを含むＮＡＬユニット１ｅ０１のヘッダ１ｅ０１１のＮＡＬユニットタイプ（ＮＵＴ）６０１２を解析し、Ｓ４０３にてＮＵＴがイントラスライスを示しているかどうか判定する。まず、ＮＵＴがイントラスライスを示している場合、Ｓ４０４においてパラメータセットを含むＮＡＬユニットを出力し、次にＳ４０５においてクロックタイムスタンプとテンポラルリファレンスを含むＮＡＬユニットを生成出力する。そして、Ｓ４０７において、スライスデータを含むＮＡＬユニット１ｅ０１〜１ｅ０Ｎを出力する。一方、ＮＵＴがイントラスライス以外を示している場合、Ｓ４０６においてテンポラルリファレンスを含む１つのＮＡＬユニットを生成出力し、Ｓ４０７において、ＮＡＬユニット１ｅ０１〜１ｅ０Ｎを出力する。なお、Ｓ４０３では、ＮＵＴが先頭のＮＡＬユニット１ｅ０１がイントラであるかどうかを判定条件としたが、これに限るものではない。例えば、先頭のＮＡＬユニットのＮＵＴが、これ以降、以前に符号化した画像フレームを参照することがないことを示すＩＤＥＲである場合を条件としても良い。また、ＩＤＥＲで符号化するかどうかも符号化時のパラメータ１ｃに指定することもできる。また、Ｓ４０３の条件として、一定時間経過したことを条件としてもよい。例えば、５秒経過毎に条件判定を真としてＳ４０４〜Ｓ４０５の処理に入るようにしても良い。また、Ｓ４０５において、クロックタイムスタンプとテンポラルリファレンスを含む１つのＮＡＬユニットを生成出力するとしたが、それぞれ異なるＮＡＬユニットとしてもよい。
【００１６】
また図５（ａ）に示すように、各ＮＡＬユニットの先頭に固定長１６進数の０００００１（２３ビットの’０’と１ビットの’１’）を付与した拡張ＮＡＬユニット５００とて出力する。図４のフローチャートに示す処理の結果、イントラフレームとして符号化した場合の出力１ｆは５０２に示すような構造となり、イントラフレーム以外では、出力１ｆは５０６に示すような構造となる。一般的に、イントラフレームを１枚符号化した後は、複数回インターフレームとして符号化するから、符号化画像データのシーケンスは、５０８に示す構成となる。
【００１７】
以上のように、本実施の形態１による画像符号化装置は、符号化フレームのタイプや、あるいは一定時間経過したかどうかなどの条件に応じて、出力データ１ｆを５０２あるいは５０６のいずれかの構成で出力する。
【００１８】
なお、本実施の形態１では、イントラフレームの場合、クロックタイムスタンプを含むＮＡＬユニットを生成出力することとしたが、これを省略することも可能である。また、イントラフレームの場合、必ずパラメータセットを含むＮＡＬユニットを生成することとしたが、これも数枚のイントラフレームに対して１回とするなど任意に設定可能である。また、テンポラルリファレンスは補助情報のＮＡＬユニットの一部として出力することとしたが、これに限るものではなく、スライスデータの中に含めることとしてもよい。
【００１９】
また、本実施の形態１では、符号化装置をハードウェアで実現する場合について説明したが、これらの処理はＣＰＵ（Ｃｅｎｔｒａｌ ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）に組み込まれたソフトウェアプログラムとして実行することも可能である。
【００２０】
【発明の効果】
本発明の請求項１による画像符号化装置は、画像符号化パラメータと画像データを入力し、前記符号化パラメータに従って画像データを符号化して出力する画像符号化装置であって、前記入力した画像データから１枚の画像フレームを入力し、前記符号化パラメータに従ってＮ個（Ｎは１以上の整数）のスライスデータユニットに符号化する画像符号化手段と、画像フレーム間の表示時刻の相対値を示す情報を含む第１のデータユニットを生成出力し、前記画像符号化手段により符号化されたＮ個のスライスデータユニットを出力するフォーマット手段とを備え、前記フォーマット手段は、予め定めた第１の条件に合致する際は前記第１のデータユニットを出力する前に、画像フレームのサイズやアスペクト比等、画像データ全体に関するパラメータを含む第２のデータユニットを生成出力するものであって、予め定めた条件に合致する場合にパラメータセットを出力し、また各フレームに画像フレーム間の相対時刻に関する情報を出力するため、復号化装置におけるランダムアクセスが確実に行え、表示時刻の相対値を確実に取得可能となる。
【００２１】
本発明の請求項２による画像符号化装置は、請求項１に記載の画像符号化装置において、前記フォーマット手段は、予め定めた第２の条件に合致する際は前記第２のデータユニットを生成出力する前に、前記入力した画像フレームの表示時刻の絶対値を示す情報を含む第３のデータユニットを生成出力するため、表示時刻の絶対値を確実に出力可能となる。
【００２２】
本発明の請求項３による画像符号化装置は、請求項１に記載の画像符号化装置において、前記予め定めた第１の条件は、予め定めた第１の時間間隔が経過したかどうかとするため、一定時間間隔で確実にランダムアクセスに必要なパラメータを出力可能となる。
【００２３】
本発明の請求項４による画像符号化装置は、請求項２に記載の画像符号化装置において、前記予め定めた第２の条件は、予め定めた第２の時間間隔が経過したかどうかとするため、一定時間感覚で確実に表示時刻の絶対値に関する情報を出力可能となる。
【００２４】
本発明の請求項５による画像符号化装置は、請求項１あるいは２に記載の画像符号化装置において、前記予め定めた第１の条件、および前記予め定めた第２の条件は、前記Ｎ個のスライスデータユニットがイントラ符号化されたスライスであるかどうかとするため、単独で復号化が可能なイントラ符号化フレームの直前にランダムアクセスに必要なパラメータを出力可能となる。
【００２５】
本発明の請求項６による画像復号化装置は、請求項１〜５に記載の画像符号化装置が出力する画像符号化データを入力して復号するため、一定間隔ごと、あるいは単独で復号化可能なイントラ符号化フレームの入力時にランダムアクセスに必要なデータを確実に取得可能となる。また、各画像フレームの表示時刻の情報を確実に取得可能となり、符号化時と同じタイミングで各フレームの表示が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像符号化装置の機能ブロック図である。
【図２】画像符号化装置の動作を説明するフローチャートである。
【図３】画像符号化装置内の入出力データの一例を示すデータ構成図である。
【図４】フォーマット手段における出力データ生成時の動作を説明するフローチャートである。
【図５】画像符号化装置の出力する符号化データの構成の一例を示すデータ構成図である。
【図６】ＮＡＬユニットのデータ構造図である。
【符号の説明】
１００ 画像符号化装置
１０１ 画像符号化手段
１０２ フォーマット手段
１ａ 外部より与えられる符号化パラメータ
１ｂ 外部より与えられる原画像フレームデータ
１ｂ’ フォーマット手段により形式変換された原画像フレームデータ
１ｃ フォーマット手段が生成した符号化パラメータ
１ｄ 画像符号化手段が出力するスライスデータのサイド情報
１ｅ 画像符号化手段が出力するスライスデータ
１ｆ 出力画像符号化データ
５００ 拡張ＮＡＬユニット
５０２ イントラフレームにおける出力画像符号化データ
５０６ イントラフレーム以外における出力画像符号化データ
【発明の属する技術分野】
本発明は、ＩＳＯ国際標準規格ＭＰＥＧ４等の画像符号化データを生成出力する画像符号化装置に関するものであり、特にＭＰＥＧ−４次世代ビデオ符号化（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に関する。
【０００２】
【従来の技術】
近年、移動体通信やインターネットにおける画像伝送が一般に普及している。１９９９年に制定されたＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ ４）は、数十キロビット／秒程度の低ビットレートにおいて最高の符号化効率を謳われてきた。また、これよりさらに符号化効率の高い符号化方式として、ＭＰＥＧ４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準規格策定が、２００１年に開始された。ＡＶＣは、従来のＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４と異なり、符号化ストリーム中にスタートコードがない。スタートコードは３２ビットであり、各スライスの先頭やピクチャヘッダ、シーケンスヘッダの先頭に配置され、これらのデータの開始を示すために使用されていた。現在標準化中のＡＶＣ規格では、これらのデータは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットとして単位化される。図６に示すように、ＮＡＬユニット８ビットのヘッダ６０１、８ビットの倍数であるペイロードで構成される。ヘッダ６０１は、エラー指示フラグ６０１１、ＮＡＬユニットタイプ６０１２、ピクチャヘッダフラグ６０１３、破棄可能フラグ６０１４からなる。ＮＡＬユニットタイプは、ペイロード６０２が含むデータのタイプを示す識別子である。ＮＡＬユニットタイプにより、ＡＶＣで規定されるスライス、パラメータセット、補助情報などのデータを識別可能である。またスライスの場合、イントラスライスか、インタースライスかの判別も可能である。パラメータセットはＭＰＥＧ２におけるシーケンスヘッダに相当し、画像サイズ、アスペクト比など、画像シーケンス全体に関わる情報を含む。補助情報としては、ＭＰＥＧ２のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）に相当する、画像フレームの絶対時刻情報を与えるタイムクロックと、画像フレーム間の相対時刻を与えるテンポラルリファレンスの２つが定義されている。また、ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、あるいはＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）上にＮＡＬユニットを多重化する際は、各ＮＡＬユニットの前に１６進数の０００００１（２３ビットの’０’と１ビットの’１’）を付与した拡張ＮＡＬユニットとする。
【０００３】
【発明が解決しようとする課題】
以上のようにＮＡＬユニットの構造と種類について定義されているが、各ＮＡＬユニットをどのような順番で伝送するか規定がなく、またどのような場合にパラメータセットや補助情報を送るかの規則もなく、ＡＶＣ符号化データを復号する画像復号化装置においてランダムアクセスが確実に行えない、表示時刻情報を確実に取得できない等の課題があった。
【０００４】
【課題を解決するための手段】
本発明の請求項１による画像符号化装置は、画像符号化パラメータと画像データを入力し、前記符号化パラメータに従って画像データを符号化して出力する画像符号化装置であって、前記入力した画像データから１枚の画像フレームを入力し、前記符号化パラメータに従ってＮ個（Ｎは１以上の整数）のスライスデータユニットに符号化する画像符号化手段と、画像フレーム間の表示時刻の相対値を示す情報を含む第１のデータユニットを生成出力し、前記画像符号化手段により符号化されたＮ個のスライスデータユニットを出力するフォーマット手段とを備え、前記フォーマット手段は、予め定めた第１の条件に合致する際は前記第１のデータユニットを出力する前に、画像フレームのサイズやアスペクト比等、画像データ全体に関するパラメータを含む第２のデータユニットを生成出力するものである。
【０００５】
本発明の請求項２による画像符号化装置は、請求項１に記載の画像符号化装置において、前記フォーマット手段は、予め定めた第２の条件に合致する際は前記第２のデータユニットを生成出力する前に、前記入力した画像フレームの表示時刻の絶対値を示す情報を含む第３のデータユニットを生成出力するものである。
【０００６】
本発明の請求項３による画像符号化装置は、請求項１に記載の画像符号化装置において、前記予め定めた第１の条件は、予め定めた第１の時間間隔が経過したかどうかとするものである。
【０００７】
本発明の請求項４による画像符号化装置は、請求項２に記載の画像符号化装置において、前記予め定めた第２の条件は、予め定めた第２の時間間隔が経過したかどうかとするものである。
【０００８】
本発明の請求項５による画像符号化装置は、請求項１あるいは２に記載の画像符号化装置において、前記予め定めた第１の条件、および前記予め定めた第２の条件は、前記Ｎ個のスライスデータユニットがイントラ符号化されたスライスであるかどうかとするものである。
【０００９】
さらに、本発明の請求項６による画像復号化装置は、請求項１〜５に記載の画像符号化装置が出力する画像符号化データを入力して復号化するものである。
【００１０】
【発明の実施の形態】
（実施の形態１）
本発明にかかる画像符号化装置の実施の形態１について、図１〜５を用いて説明する。
図１は、画像符号化装置の構成の概略を示す機能ブロック図である。画像符号化装置１００は、画像符号化手段１０１、フォーマット手段１０２で構成される。次に動作を図２のフローチャートを用いて説明する。
【００１１】
まず、Ｓ２０１において外部から入力される符号化パラメータ１ａによりフォーマット手段１０２が初期化される。符号化パラメータ１ａの一例としては、図３（ａ）に示すように、目標符号化ビットレー１ａ０１、目標フレームレート１ａ０２、初期バッファリング時間１ａ０３、イントラフレームの頻度１ａ０４、目標スライスサイズ１ａ０５などが可能である。イントラフレームの頻度とは、何フレーム毎にイントラフレームとして符号化するかを指定するものである。なお、初期化であるＳ２０１は最低最初の１回だけ行う。後の処理Ｓ２０２以降は、画像フレームを入力する度、繰り返し実行される。
【００１２】
画像符号化装置１００の初期化後、フォーマット手段１０２には、Ｓ２０２に示すように１枚の原画像フレーム１ｂが入力される。原画像フレームは、赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）の３色がそれぞれ８ビットで表されるＲＧＢ２４フォーマットや、輝度成分（Ｙ）、色差成分（Ｕ、Ｖ）がそれぞれ８ビットで表されるＹＵＶフォーマットなどが可能である。
【００１３】
次にＳ２０３において、フォーマット手段１０２は、入力した原画像フレームデータ１ｂを符号化する際のパラメータを決定し、原画像フレームデータとともに画像符号化手段１０１に出力する。なお、フォーマット手段は、入力した原画像フレーム１ｂが、所定のフォーマット以外の場合、所定のフォーマット１ｂ’に変換してから画像符号化手段１０１に出力する。所定のフォーマットは、例えば、Ｙ成分に比べてＵ、Ｖ成分が１／２の情報量となるＹＵＶ４２０フォーマットとする。また、入力画像フレーム１ｂの符号化パラメータ１ｃの一例としては、図３（ｂ）に示すように、フレーム符号化タイプ１ｃ０１、目標フレームデータサイズ１ｃ０２、目標スライスサイズ１ｃ０３などが可能である。これらのパラメータ値は、外部入力パラメータ１ａに従って計算の上、設定される。例えば、目標符号化ビットレート１ａ０１になるように、各画像フレーム毎に、目標フレームサイズ１ｃ０２は異なる。また、イントラフレームの頻度１ａ０４に従って、フレームタイプ１ｃ０１はイントラか、インターかを決定する。なお、インターの場合、端方向予測、双方向予測のいずれも可能である。フォーマット手段１０２からの原画像フレーム１ｂ’、符号化タパラメータ１ｃの入力を受け、画像符号化手段１０１は、原画像フレームを符号化し、サイド情報１ｄと符号化結果であるスライスデータ１ｅを出力する。１枚の原画像フレーム１ｂ’は符号化パラメータ１ｃの設定によって１個あるいは複数個のスライスとして符号化される。サイド情報１ｄは、図３（ｃ）に示す例のように、スライス数１ｄ０１、および生成符号化された各スライスのサイズ１ｄ０２１〜１ｄ０２Ｎからなる。また、図（ｄ）に示す例のように、スライスデータ１ｅは、複数のＮＡＬユニット１ｅ０１〜１ｅ０Ｎからなる。各ＮＡＬユニットは、ヘッダとペイロードからなり、ペイロードは符号化スライスデータである。なお、サイド情報１ｄとスライスデータ１ｅの出力形式は特に規定するものではなく、自由に組み合わせることができる。例えば、スライス長１ｄ０１〜１ｄ０Ｎとスライスデータ１ｅ０１〜１ｅ０Ｎを交互にインタリーブした出力形式であってもよい。
【００１４】
ステップＳ２０４において、フォーマット手段は、画像符号化手段の出力であるサイド情報１ｄ及びスライスデータ１ｅを入力する。次にステップＳ２０５において、入力したスライスデータに補助情報などを付加したデータを出力する。これについて、図４のフローチャートで詳述する。
【００１５】
まず、Ｓ４０１においてサイド情報１ｄ、スライスデータ１ｅを入力する。次にＳ４０２において先頭のスライスを含むＮＡＬユニット１ｅ０１のヘッダ１ｅ０１１のＮＡＬユニットタイプ（ＮＵＴ）６０１２を解析し、Ｓ４０３にてＮＵＴがイントラスライスを示しているかどうか判定する。まず、ＮＵＴがイントラスライスを示している場合、Ｓ４０４においてパラメータセットを含むＮＡＬユニットを出力し、次にＳ４０５においてクロックタイムスタンプとテンポラルリファレンスを含むＮＡＬユニットを生成出力する。そして、Ｓ４０７において、スライスデータを含むＮＡＬユニット１ｅ０１〜１ｅ０Ｎを出力する。一方、ＮＵＴがイントラスライス以外を示している場合、Ｓ４０６においてテンポラルリファレンスを含む１つのＮＡＬユニットを生成出力し、Ｓ４０７において、ＮＡＬユニット１ｅ０１〜１ｅ０Ｎを出力する。なお、Ｓ４０３では、ＮＵＴが先頭のＮＡＬユニット１ｅ０１がイントラであるかどうかを判定条件としたが、これに限るものではない。例えば、先頭のＮＡＬユニットのＮＵＴが、これ以降、以前に符号化した画像フレームを参照することがないことを示すＩＤＥＲである場合を条件としても良い。また、ＩＤＥＲで符号化するかどうかも符号化時のパラメータ１ｃに指定することもできる。また、Ｓ４０３の条件として、一定時間経過したことを条件としてもよい。例えば、５秒経過毎に条件判定を真としてＳ４０４〜Ｓ４０５の処理に入るようにしても良い。また、Ｓ４０５において、クロックタイムスタンプとテンポラルリファレンスを含む１つのＮＡＬユニットを生成出力するとしたが、それぞれ異なるＮＡＬユニットとしてもよい。
【００１６】
また図５（ａ）に示すように、各ＮＡＬユニットの先頭に固定長１６進数の０００００１（２３ビットの’０’と１ビットの’１’）を付与した拡張ＮＡＬユニット５００とて出力する。図４のフローチャートに示す処理の結果、イントラフレームとして符号化した場合の出力１ｆは５０２に示すような構造となり、イントラフレーム以外では、出力１ｆは５０６に示すような構造となる。一般的に、イントラフレームを１枚符号化した後は、複数回インターフレームとして符号化するから、符号化画像データのシーケンスは、５０８に示す構成となる。
【００１７】
以上のように、本実施の形態１による画像符号化装置は、符号化フレームのタイプや、あるいは一定時間経過したかどうかなどの条件に応じて、出力データ１ｆを５０２あるいは５０６のいずれかの構成で出力する。
【００１８】
なお、本実施の形態１では、イントラフレームの場合、クロックタイムスタンプを含むＮＡＬユニットを生成出力することとしたが、これを省略することも可能である。また、イントラフレームの場合、必ずパラメータセットを含むＮＡＬユニットを生成することとしたが、これも数枚のイントラフレームに対して１回とするなど任意に設定可能である。また、テンポラルリファレンスは補助情報のＮＡＬユニットの一部として出力することとしたが、これに限るものではなく、スライスデータの中に含めることとしてもよい。
【００１９】
また、本実施の形態１では、符号化装置をハードウェアで実現する場合について説明したが、これらの処理はＣＰＵ（Ｃｅｎｔｒａｌ ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）に組み込まれたソフトウェアプログラムとして実行することも可能である。
【００２０】
【発明の効果】
本発明の請求項１による画像符号化装置は、画像符号化パラメータと画像データを入力し、前記符号化パラメータに従って画像データを符号化して出力する画像符号化装置であって、前記入力した画像データから１枚の画像フレームを入力し、前記符号化パラメータに従ってＮ個（Ｎは１以上の整数）のスライスデータユニットに符号化する画像符号化手段と、画像フレーム間の表示時刻の相対値を示す情報を含む第１のデータユニットを生成出力し、前記画像符号化手段により符号化されたＮ個のスライスデータユニットを出力するフォーマット手段とを備え、前記フォーマット手段は、予め定めた第１の条件に合致する際は前記第１のデータユニットを出力する前に、画像フレームのサイズやアスペクト比等、画像データ全体に関するパラメータを含む第２のデータユニットを生成出力するものであって、予め定めた条件に合致する場合にパラメータセットを出力し、また各フレームに画像フレーム間の相対時刻に関する情報を出力するため、復号化装置におけるランダムアクセスが確実に行え、表示時刻の相対値を確実に取得可能となる。
【００２１】
本発明の請求項２による画像符号化装置は、請求項１に記載の画像符号化装置において、前記フォーマット手段は、予め定めた第２の条件に合致する際は前記第２のデータユニットを生成出力する前に、前記入力した画像フレームの表示時刻の絶対値を示す情報を含む第３のデータユニットを生成出力するため、表示時刻の絶対値を確実に出力可能となる。
【００２２】
本発明の請求項３による画像符号化装置は、請求項１に記載の画像符号化装置において、前記予め定めた第１の条件は、予め定めた第１の時間間隔が経過したかどうかとするため、一定時間間隔で確実にランダムアクセスに必要なパラメータを出力可能となる。
【００２３】
本発明の請求項４による画像符号化装置は、請求項２に記載の画像符号化装置において、前記予め定めた第２の条件は、予め定めた第２の時間間隔が経過したかどうかとするため、一定時間感覚で確実に表示時刻の絶対値に関する情報を出力可能となる。
【００２４】
本発明の請求項５による画像符号化装置は、請求項１あるいは２に記載の画像符号化装置において、前記予め定めた第１の条件、および前記予め定めた第２の条件は、前記Ｎ個のスライスデータユニットがイントラ符号化されたスライスであるかどうかとするため、単独で復号化が可能なイントラ符号化フレームの直前にランダムアクセスに必要なパラメータを出力可能となる。
【００２５】
本発明の請求項６による画像復号化装置は、請求項１〜５に記載の画像符号化装置が出力する画像符号化データを入力して復号するため、一定間隔ごと、あるいは単独で復号化可能なイントラ符号化フレームの入力時にランダムアクセスに必要なデータを確実に取得可能となる。また、各画像フレームの表示時刻の情報を確実に取得可能となり、符号化時と同じタイミングで各フレームの表示が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像符号化装置の機能ブロック図である。
【図２】画像符号化装置の動作を説明するフローチャートである。
【図３】画像符号化装置内の入出力データの一例を示すデータ構成図である。
【図４】フォーマット手段における出力データ生成時の動作を説明するフローチャートである。
【図５】画像符号化装置の出力する符号化データの構成の一例を示すデータ構成図である。
【図６】ＮＡＬユニットのデータ構造図である。
【符号の説明】
１００ 画像符号化装置
１０１ 画像符号化手段
１０２ フォーマット手段
１ａ 外部より与えられる符号化パラメータ
１ｂ 外部より与えられる原画像フレームデータ
１ｂ’ フォーマット手段により形式変換された原画像フレームデータ
１ｃ フォーマット手段が生成した符号化パラメータ
１ｄ 画像符号化手段が出力するスライスデータのサイド情報
１ｅ 画像符号化手段が出力するスライスデータ
１ｆ 出力画像符号化データ
５００ 拡張ＮＡＬユニット
５０２ イントラフレームにおける出力画像符号化データ
５０６ イントラフレーム以外における出力画像符号化データ
Claims (6)
- 画像符号化パラメータと画像データを入力し、前記符号化パラメータに従って画像データを符号化して出力する画像符号化装置であって、
前記入力した画像データから１枚の画像フレームを入力し、前記符号化パラメータに従ってＮ個（Ｎは１以上の整数）のスライスデータユニットに符号化する画像符号化手段と、
画像フレーム間の表示時刻の相対値を示す情報を含む第１のデータユニットを生成出力し、前記画像符号化手段により符号化されたＮ個のスライスデータユニットを出力するフォーマット手段とを備え、
前記フォーマット手段は、予め定めた第１の条件に合致する際は前記第１のデータユニットを出力する前に、画像フレームのサイズやアスペクト比等、画像データ全体に関するパラメータを含む第２のデータユニットを生成出力することを特徴とする画像符号化装置。 - 前記フォーマット手段は、予め定めた第２の条件に合致する際は前記第２のデータユニットを生成出力する前に、前記入力した画像フレームの表示時刻の絶対値を示す情報を含む第３のデータユニットを生成出力することを特徴とする、請求項１に記載の画像符号化装置。
- 前記予め定めた第１の条件は、予め定めた第１の時間間隔が経過したかどうかとすることを特徴とする、請求項１に記載の画像符号化装置。
- 前記予め定めた第２の条件は、予め定めた第２の時間間隔が経過したかどうかとすることを特徴とする、請求項２に記載の画像符号化装置。
- 前記予め定めた第１の条件、および前記予め定めた第２の条件は、前記Ｎ個のスライスデータユニットがイントラ符号化されたスライスであるかどうかとすることを特徴とする、請求項１あるいは２に記載の画像符号化装置。
- 請求項１〜５のいずれか１項に記載の画像符号化装置が出力する画像符号化データを入力して復号する画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002204715A JP2004048497A (ja) | 2002-07-12 | 2002-07-12 | 画像符号化装置、画像復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002204715A JP2004048497A (ja) | 2002-07-12 | 2002-07-12 | 画像符号化装置、画像復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004048497A true JP2004048497A (ja) | 2004-02-12 |
Family
ID=31710239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002204715A Pending JP2004048497A (ja) | 2002-07-12 | 2002-07-12 | 画像符号化装置、画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004048497A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009530881A (ja) * | 2006-03-17 | 2009-08-27 | テールズ | 追加的なネットワーク抽象化層（ｎａｌ）を用いるマルチメディア・データの保護方法 |
| CN102868881A (zh) * | 2011-07-05 | 2013-01-09 | 富士通株式会社 | 视频编码系统和方法 |
-
2002
- 2002-07-12 JP JP2002204715A patent/JP2004048497A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009530881A (ja) * | 2006-03-17 | 2009-08-27 | テールズ | 追加的なネットワーク抽象化層（ｎａｌ）を用いるマルチメディア・データの保護方法 |
| CN102868881A (zh) * | 2011-07-05 | 2013-01-09 | 富士通株式会社 | 视频编码系统和方法 |
| CN102868881B (zh) * | 2011-07-05 | 2015-04-15 | 富士通株式会社 | 视频编码系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI279742B (en) | Method for coding sequences of pictures | |
| US10999575B2 (en) | Reference picture list handling | |
| US8160157B2 (en) | Video H.264 encryption preserving synchronization and compatibility of syntax | |
| US7720096B2 (en) | RTP payload format for VC-1 | |
| KR101345015B1 (ko) | 비디오 데이터 코딩 장치, 방법, 시스템 및 비디오 데이터디코딩 방법 | |
| CN1361991A (zh) | 视频编码 | |
| US9516331B2 (en) | Data substream de-encapsulation method for plural symmetrical substreams and corresponding computer programs | |
| US5767799A (en) | Low power high speed MPEG video variable length decoder | |
| US20140092995A1 (en) | Electronic devices for signaling a random access point picture message | |
| WO2001095637A1 (en) | Image processing apparatus, and image processing method | |
| JP2019511865A (ja) | ディスプレイストリーム圧縮のためのベクトルベースエントロピーコード化のための装置および方法 | |
| US7675872B2 (en) | System, method, and apparatus for displaying pictures | |
| JP2004048497A (ja) | 画像符号化装置、画像復号化装置 | |
| WO2016022920A1 (en) | System and method for reordering of prefixes and suffixes in variable length coding to increase throughput | |
| US7920630B2 (en) | Buffer descriptor data structure for communication link between decode and display processes in MPEG decoders | |
| CN112073822B (zh) | 一种宽带集群通信中的媒体变更方法和系统 | |
| CN110691212A (zh) | 数据编解码的方法和系统 | |
| US20230080223A1 (en) | Systems and methods for data partitioning in video encoding | |
| US20230079859A1 (en) | Systems and methods for streaming extensions for video encoding | |
| US20240121401A1 (en) | Systems and methods of rate control for multiple pass video encoding | |
| JPH11187379A (ja) | 画像セキュリティシステム | |
| JP2004056234A (ja) | 画像符号化装置および画像符号化方法 | |
| WO2004114666A1 (en) | Constant stream compression processing method | |
| JPH11215494A (ja) | 画像伝送システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090120 |