JP2004228680A - 多重化装置、多重化方法及びプログラム - Google Patents
多重化装置、多重化方法及びプログラム Download PDFInfo
- Publication number
- JP2004228680A JP2004228680A JP2003011211A JP2003011211A JP2004228680A JP 2004228680 A JP2004228680 A JP 2004228680A JP 2003011211 A JP2003011211 A JP 2003011211A JP 2003011211 A JP2003011211 A JP 2003011211A JP 2004228680 A JP2004228680 A JP 2004228680A
- Authority
- JP
- Japan
- Prior art keywords
- priority
- data
- multiplexing
- encoded data
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】多重化に際して、復号側で好適に復号、合成される多重化装置、多重化方法及びプログラムを提供することを目的とする。
【解決手段】出力先で１画面を構成するための複数の符号化データをバッファメモリ４、５へ入力し、優先順位判定器８で前記符号化データの優先順位を決定し、整形器１１で前記優先順位に従って、前記符号化データを多重化し、前記多重化されたデータを記憶装置１２に出力する。
【選択図】 図１
【解決手段】出力先で１画面を構成するための複数の符号化データをバッファメモリ４、５へ入力し、優先順位判定器８で前記符号化データの優先順位を決定し、整形器１１で前記優先順位に従って、前記符号化データを多重化し、前記多重化されたデータを記憶装置１２に出力する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、多重化装置、多重化方法及びプログラムに関し、特に複数オブジェクトの符号化データの多重化に関するものである。
【０００２】
【従来の技術】
近年、動画像の新しい符号化手段として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）−４の標準化が進められている。これは従来のＭＰＥＧ−２に代表される動画像符号化ではフレームあるいはフィールドを単位としていたが、コンテンツの再利用や編集を実現するために、ＭＰＥＧ−４では映像データやオーディオ・データをオブジェクト（物体）として扱う。さらに映像データに含まれる物体も独立して符号化され、それぞれもオブジェクトとして扱うことができる。
【０００３】
このＭＰＥＧ−４の標準化により、オブジェクトを別々に作成し、その配置やタイミングを調整して組み合わせることにより、様々なシーケンスを作成することが出来るようになった。これらを１つのストリームにまとめるために一般的に多重化が行われる。例えば、オブジェクトデータを時間情報に基づいて同期を取って多重化する方式に関しては、基準になるオブジェクトの時間情報に基づいた基準クロックで多重化している（例えば特許文献１参照）。また、スケーラビリティのあるオブジェクトデータの多重化に関して、オブジェクトのレイヤ毎に関連するデータを多重化した後に全体を多重化される（例えば特許文献２参照）。
【０００４】
【特許文献１】
特開平１０−２３４０１（第４頁 図３）
【特許文献２】
特開平１０−４５３９（第５頁 図１）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧ−２などの多重化では複数のオブジェクトの再生と合成までは対応していないという問題点が生じる。また、上記で開示されている技術において、オブジェクト間の多重化の順番等に関して記述されていない。ただオブジェクトのデータをならべただけでは復号の時間や合成の順番に合致しないため、正しく画像が構成されないといった問題が生じる。例えば、図５（Ａ）のように背景となるオブジェクト１００１に人のオブジェクト１００２が合成されて１画面を構成する場合、オブジェクト１００１のデータがオブジェクト１００２のデータよりも順番が遅く多重化されると、オブジェクト１００１が大きいためにタイムスタンプの時間までに再生が間に合わないという問題が生じる。
【０００６】
図９（Ａ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも後に多重化された場合の様子を示す。時間１１００ａはオブジェクト１００２の第１フレームの符号化データを伝送するのに必要な時間を表し、時間１１０１ａはオブジェクト１００１の第１フレームの符号化データを伝送するのに必要な時間を表し、以下、時間１１０２ａ、時間１１０３ａはオブジェクト１００２、１００１の第２フレームの符号化データを伝送する時間を表す。
【０００７】
時間１１０４ａ、１１０６ａはオブジェクト１００２の符号化データを復号するのに必要な時間を、時間１１０５ａ、１１０７ａはオブジェクト１００１の符号化データを復号するのに必要な時間を表す。オブジェクト１００１は大きいので復号に多くの時間を必要とする。時間１１０５ａの終わりにオブジェクト１００２と１００１の第１フレームのデータが揃うが、オブジェクト１００２の第２フレームが表示可能になるまでの時間が短く、非常に短時間表示されるか、データの転送時間等を考慮すると表示されない。時間１１０８ａは第１フレームが表示されない時間を表す。時間１００９ａにはオブジェクト１０００の第１フレームオブジェクトと１００１の第２フレームが合成されて表示される。
【０００８】
従って、本発明は前記課題を考慮して、多重化に際して、復号側で好適に復号、合成される多重化装置、多重化方法及びプログラムを提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記課題を解決するために本発明の多重化装置は、出力先で１画面を構成するための複数の符号化データを入力する入力手段と、前記符号化データの優先順位を決定する優先順位決定手段と、前記優先順位に従って、前記符号化データを多重化する多重化手段と、前記多重化されたデータを出力する出力手段とを有することを特徴とする。
【００１０】
上記課題を解決するために本発明の多重化方法は、出力先で１画面を構成するための複数の符号化データを入力する入力工程と、前記入力工程で入力された符号化データの優先順位を決定する優先順位決定工程と、前記優先順位決定工程で決定した優先順位に従って、前記符号化データを多重化する多重化工程と、前記多重化工程で多重化されたデータを出力する出力工程とを有することを特徴とする。
【００１１】
【発明の実施の形態】
〈第１実施例〉
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００１２】
図１は本発明を適用する多重化システムの構成を示すブロック図である。図１において、１は本発明に基づく多重化装置である。２、３は画像を入力して符号化する符号化器である。符号化器２はＭＰＥＧ−４符号化方式で任意形状符号化を扱うＣｏｒｅ Ｐｒｏｆｉｌｅの符号化を行なうものとするがこれに限定されない。ここでは図５（Ａ）のオブジェクト１００２を符号化するものとする。符号化器３はＭＰＥＧ−４符号化方式で矩形符号化を扱うＳｉｍｐｌｅ Ｐｒｏｆｉｌｅの符号化を行なうものとするがこれに限定されない。ここでは図５（Ａ）のオブジェクト１００１を符号化するものとする。４、５はバッファメモリであり、符号化データを格納する。６、７は符号の一部を解析する解析器、８は解析器６，７からの出力によって多重化の優先順位を決定する優先順位判定器である。９、１０は選択器であり、優先順位判定器８の出力によって、入力を後段に出力する。１１は整形器であり、入力された符号化データを多重化の書式に整え、ビットストリームとして出力する。ここではその書式としてＭＰＥＧ−４符号化方式のファイルフォーマットＭＰ４とする。１２は出力されたビットストリームを蓄積する記憶装置である。１３は符号化器２、３に対して優先順位を設定する優先順位設定器であり、符号化器２、３は符号化時にＶＯＬヘッダにあるｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙ符号にその値を設定して符号化する。ここでは背景を符号化する符号化器３の優先順位を１に、内包されるオブジェクトを符号化する符号化器２に０をセットする。
【００１３】
上記のように構成された多重化システムにおける画像の符号化データの多重化動作を以下で説明する。
【００１４】
処理に先立ち、各部を初期化する。バッファメモリ４、５は０でクリアされ、記憶装置１２では書き込みのために所定の領域を確保する。符号化器２はＭＰＥＧ−４符号化方式に従って、各フレームの符号化データの先立って付与されるヘッダデータを生成する。このヘッダデータはｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｔａｒｔ＿ｃｏｄｅから始まり、ＶｉｓｕａｌＯｂｊｅｃｔレイヤ、ＶＯＬ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）のレイヤの符号を生成する。符号化器２はＶｉｓｕａｌＯｂｊｅｃｔレイヤのｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙを０としておく。生成されたヘッダデータはバッファメモリ４に入力される。同様に符号化器３でもヘッダデータを生成する。符号化器２はＶｉｓｕａｌＯｂｊｅｃｔレイヤのｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙを１としておき、バッファメモリ５に入力される。
【００１５】
解析器６，７はそれぞれ、バッファメモリ４，５からヘッダデータを読み出し、ｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙの内容を抽出する。この結果を優先順位判定器８に入力する。優先順位判定器８はｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙが大きい方が優先順位が高いと判定して、選択器１０の出力を整形器１１に開放し、バッファメモリ５の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器９の出力を整形器１１に開放し、バッファメモリ４の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００１６】
続いて、符号化器２、３とも同じフレームレートで画像を符号化する。符号化器２は任意形状の画像データをＭＰＥＧ−４符号化方式のＣｏｒｅ Ｐｒｏｆｉｌｅに従って符号化して符号化データをバッファメモリ４に格納する。同時に、符号化器３は矩形の画像データをＭＰＥＧ−４符号化方式のＳｉｍｐｌｅ Ｐｒｏｆｉｌｅに従って符号化して符号化データをバッファメモリ５に格納する。
【００１７】
優先順位判定器８はまず、選択器１０の出力を整形器１１に開放し、バッファメモリ５の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器９の出力を整形器１１に開放し、バッファメモリ４の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００１８】
以後、この順で最後まで多重化を行ない、全てのフレームの処理が終われば全体の処理を終了する。
【００１９】
以上、符号化データの蓄積までの処理の簡単な流れを、図６を用いて説明する。図６は、第１の実施例における多重化動作を示すフローチャート図である。
【００２０】
まずステップＳ１にて、各符号化器において、符号化ヘッダを生成する。ステップＳ２にて、符号化ヘッダの中からｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙ符号を抽出する。ステップＳ３にて、符号の値の大きさに基づいて優先順位を決定し、選択器を制御する。ステップＳ４にて、優先順位の上位からヘッダデータを書式に従って記述・整形して出力する。ステップＳ５にて、処理の終了判断を行なう。
【００２１】
ステップＳ６では、各符号化器でフレーム（ＭＰＥＧ−４ではＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ））を符号化する。ステップＳ７にて、各符号化器のフレームの符号化データの処理の終了判断を行なう。ステップＳ８にて、選択器を制御してフレームの符号化データを優先順位上位から読み出し、書式に従って記述・整形して出力する。ステップＳ７で、フレームデータの出力処理が終わればステップＳ５に戻る。ステップＳ５で、符号化処理が終了すれば、全体の処理を終了する。
【００２２】
このような一連の選択動作により、オブジェクトの優先順位を反映してオブジェクト毎に多重化の優先順位を付けることができ、復号側でオブジェクトに付与された優先順位に従って復号を開始することができるようになる。また、図９（Ｂ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも先に多重化された場合の様子を示す。図９（Ｂ）に示すように、第１フレームが表示されない時間１００８ｂは図９（Ａ）の時間１００８ａに比べて短縮され、時間１００９ｂにはオブジェクト１００２と１００１の第１フレームが正しく合成されて表示される。
【００２３】
〈第２実施例〉
図２は本発明の第２の実施例としての多重化システムの構成を示す図である。なお、前述の実施例の図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００２４】
図２において、５１は本発明に基づく多重化装置である。５２はビデオ符号化器であり、ＭＰＥＧ―４符号化方式で符号化するものとして説明するが、これに限定されない。ここでは説明を容易にするため、Ｃｏｒｅ Ｐｒｏｆｉｌｅの符号化を行なうものとし、図５（Ａ）のオブジェクト１００２を符号化するものとして説明する。５３はビデオ符号化器であり、ＭＰＥＧ―２符号化方式で符号化するものとして説明するが、これに限定されない。なお、ここでは図５（Ａ）のオブジェクト１００１を符号化するものとして説明する。５４はオーディオ符号化器であり、入力されたオーディオデータを符号化する。ここではＭＰＥＧ−４符号化方式のＨＶＸＣ（Ｈａｒｍｏｎｉｃ Ｖｅｃｔｏｒ Ｅｘｃｉｔａｔｉｏｎ Ｃｏｄｉｎｇ）符号化方式を例に取るがこれに限定されない。５５はオーディオ符号化器であり、入力されたオーディオデータを符号化する。ここではＭＰＥＧ−２符号化方式のＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）符号化方式を例に取るがこれに限定されない。５６、５７はバッファメモリであり、オーディオ符号化データを格納する。ここでは説明を容易にするため、それぞれビデオ１フレームと同じ間隔の符号化データを格納するものとする。５８、５９は符号の一部を解析する解析器であり、画像のサイズを検出する。６０は解析器５８，５９からの出力によって多重化の優先順位を決定する優先順位判定器である。６１、６２は選択器であり、優先順位判定器６０の出力によって、入力を後段に出力する。
【００２５】
上記のように構成された多重化システムにおける画像の符号化データの多重化動作を以下で説明する。
【００２６】
処理に先立ち、各部を初期化する。バッファメモリ４、５、５６、５７は０でクリアされ、記憶装置１２では書き込みのために所定の領域を確保する。ビデオ符号化器５２は第１の実施例の図１記載の符号化器２または３と同様にＭＰＥＧ−４符号化方式に従って、各フレームの符号化データの先立って付与されるヘッダデータを生成する。生成されたヘッダデータはバッファメモリ４に入力される。ビデオ符号化器５２はＶｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒレイヤのｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｗｉｄｔｈ符号とｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｈｅｉｇｈｔ符号によって画像サイズを符号化している。また、Ｃｏｒｅ Ｐｒｏｆｉｌｅなどの任意形状を扱う場合は各フレームにオブジェクトの幅を表すｖｏｐ＿ｗｉｄｔｈ符号と高さを表すｖｏｐ＿ｈｅｉｇｈｔ符号が含まれている。
【００２７】
ビデオ符号化器５３はＭＰＥＧ−２符号化方式に従って、各フレームの符号化データの先立って付与されるヘッダデータを生成する。生成されたヘッダデータはバッファメモリ５に入力される。ビデオ符号化器５３はシーケンスレイヤのＨｏｒｉｚｏｎｔａｌ Ｓｉｚｅ Ｖａｌｕｅ符号とＶｅｒｔｉｃａｌ Ｓｉｚｅ
Ｖａｌｕｅ符号によって画像サイズを符号化している。
【００２８】
各ビデオ符号化器がヘッダを生成する間にオーディオ符号化器５４、５５も同様に符号化ヘッダを作成する。オーディオ符号化器５４はＨＶＸＣ符号化の、オーディオ符号化器５５はＡＡＣの符号化ヘッダをそれぞれ作成し、バッファメモリ５６、５７に格納する。
【００２９】
解析器５８，５９はそれぞれ、バッファメモリ４，５からヘッダデータを読み出し、画像サイズを表す符号の内容を抽出する。解析器５８はｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｗｉｄｔｈ符号とｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｈｅｉｇｈｔ符号を抽出し、画像サイズとして出力する。解析器５８において、抽出した符号を復号し、画像サイズを得る。Ｃｏｒｅ Ｐｒｏｆｉｌｅの場合は各フレーム毎に画像サイズを出力する。解析器５９はＨｏｒｉｚｏｎｔａｌＳｉｚｅ Ｖａｌｕｅ符号とＶｅｒｔｉｃａｌ Ｓｉｚｅ Ｖａｌｕｅ符号を抽出して画像サイズとして出力する。
【００３０】
この結果を優先順位判定器６０に入力する。優先順位判定器６０はそれぞれ縦、横のサイズを積算して面積をそれぞれ算出し、面積が大きい方を優先順位が高いと判定する。解析器５８からは内包されるオブジェクトの大きさが入力され、解析器５９からは背景の大きさが入力されるので、背景の大きさがオブジェクトの大きさより大きい場合は、まず、選択器６２の出力を整形器１１に開放し、バッファメモリ５及びバッファメモリ５７の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器６１の出力を整形器１１に開放し、バッファメモリ４及びバッファメモリ５６の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００３１】
続いて、ビデオ符号化器５２、５３とオーディオ符号化器５４、５５はとも同じフレームレートで画像を符号化する。ビデオ符号化器５２は任意形状の画像データをＭＰＥＧ−４符号化方式のＣｏｒｅ Ｐｒｏｆｉｌｅに従って符号化し、符号化データをバッファメモリ４に格納する。同時に、ビデオ符号化器５３は画像データをＭＰＥＧ−２符号化方式に従って符号化し、符号化データをバッファメモリ５に格納する。ここで、解析器５８は各ＶＯＰのヘッダデータを解析し、ｖｏｐ＿ｗｉｄｔｈ符号とｖｏｐ＿ｈｅｉｇｈｔ符号から各ＶＯＰの大きさを抽出し、優先順位判定器６０に入力する。優先順位判定器６０はヘッダの時と同様にして、画像の大きさを判定して、選択器６１、６２を制御する。
【００３２】
図５（Ａ）のようにオブジェクト１００２が小さければ、まず、選択器６２の出力を整形器１１に開放し、バッファメモリ５及びバッファメモリ５７の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器６１の出力を整形器１１に開放し、バッファメモリ４及びバッファメモリ５６の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００３３】
図５（Ｂ）のようにオブジェクト１００２が大きくなり、オブジェクト１００１の大きさを超えるようになった場合、まず、選択器６１の出力を整形器１１に開放し、バッファメモリ４及びバッファメモリ５６の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器６２の出力を整形器１１に開放し、バッファメモリ５及びバッファメモリ５７の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００３４】
以後、このようにして最後のフレームまで多重化を行ない、全てのフレームの処理が終われば全体の処理を終了する。
【００３５】
以上、符号化データの蓄積までの処理の簡単な流れを、図７を用いて説明する。図７は、第２の実施例における多重化動作を示すフローチャート図である。
【００３６】
まずステップＳ５１にて、各符号化器において、符号化ヘッダを生成する。ステップＳ５２にて、符号化ヘッダの中から画像の大きさを表す符号を抽出する。ステップＳ５３にて、画像の大きさに基づいて優先順位を決定し、選択器を制御する。ステップＳ５４にて、ヘッダデータを優先順位上位から読み出し、書式に従って記述・整形して出力する。ステップＳ５５にて、処理の終了判断を行なう。
【００３７】
ステップＳ５６では、各ビデオ符号化器でフレーム（ＭＰＥＧ−４ではＶＯＰ、ＭＰＥＧ−２ではピクチャ）を、各オーディオ符号化器で所定長のオーディオデータを符号化する。ステップＳ５７にて、符号化ヘッダの中から画像の大きさを表す符号を抽出する。ステップＳ５８にて、画像の大きさに基づいて優先順位を決定し、選択器を制御する。
【００３８】
ステップＳ５９にて、各符号化器からのフレーム単位の符号化データの処理の終了判断を行なう。ステップＳ６０にて、選択器を制御してフレームの符号化データを優先順位上位から読み出し、書式に従って記述・整形して出力する。ステップＳ５９でフレームデータの出力処理が終わればステップＳ５５に戻る。ステップＳ５５で符号化処理が終了すれば、全体の処理を終了する。
【００３９】
このような一連の選択動作により、オブジェクトの大きさを反映してオブジェクト毎に多重化の優先順位を付けることができ、復号側で大きな画像から復号を開始することができるようになる。一般的に大きな画像が背景であり、先に復号しておくことで、重畳による合成処理を好適に行なうことが出来るようになる。
【００４０】
また、ビデオデータだけではなく、オーディオデータも関連付けられて同じように多重化することが可能になる。
【００４１】
さらには、各フレーム毎で優先順位を判断して適宜変更することで、画像の変化にも容易に対応できる効果もある。
【００４２】
〈第３実施例〉
図３は、本発明の第３の実施に係る多重化システムの構成を示すブロック図である。図３において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【００４３】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。３０３は装置の起動、各種条件の設定、再生の指示を行なうための端末である。３０４はソフトウェアを蓄積する記憶装置である。３０５は画像データを蓄積する記憶装置、３０６は画像を撮像するカメラである。記憶装置３０４および、３０５はシステムから切り離して移動できるメディアで構成することも出来る。３０７は画像を表示するモニタであり、３０８は通信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回線３０８を介して画像データを送受信する通信インターフェースである。
【００４４】
このような構成において、画像データの多重化処理について説明する。ここでは、カメラ３０６で撮像された画像データをＭＰＥＧ−２符号化方式で符号化し、合成する動画像データとして記憶装置３０５からＭＰＥＧ−４符号化方式のＣｏｒｅ Ｐｒｏｆｉｌｅで符号化された任意形状の符号化データを読み出して同期させて多重化し、通信インターフェース３０９から送信する例をもって説明する。
【００４５】
処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００４６】
図４は実施例４におけるメモリ３０１のメモリの使用、格納状況を示す。
【００４７】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、符号化を行なうソフトウェア、多重化を行なうソフトウェア、データを送受信する通信ソフトウェアが格納されている。
【００４８】
また、符号化の際に画像データを格納する画像エリア、生成したり読み出した符号化データを格納する符号エリア、各種演算や各フレームの符号長等のパラメータ等を格納しておくワーキングエリアが存在する。
【００４９】
このような構成において、処理に先立ち、端末３０３から動画像の入力をカメラ３０６からとする。また記憶装置３０５から符号化データを読み出すために読み出し位置を調整する。
【００５０】
次に、ＣＰＵ３００による動画像データの符号化動作を図８に示すフローチャートに従って説明する。図８は、第３の実施例における多重化動作を示すフローチャート図である。
【００５１】
まず、ステップＳ１０１では、カメラ３０６からの符号化に先立ち、メモリ３０１上の符号化ソフトウェアによって、符号化ヘッダを生成し、符号エリア１に格納してステップＳ１０２に進む。続いて、ステップＳ１０２にて、記憶装置３０５よりＭＰＥＧ−４符号化されたデータの符号化ヘッダを読み出し、符号エリア２に格納してステップＳ１０３に進む。ステップＳ１０３にて、符号化ヘッダの符号長を算出して、ステップＳ１０４に進む。
【００５２】
ステップＳ１０４にて、それぞれの符号長に基づいて優先順位を決定し、符号長が大きいものを優先順位が高いものと判定する。ここでは、カメラ３０６から入力されてＭＰＥＧ−２符号化されるデータの方が大きいとして説明する。但し、記憶装置３０５から読み出されるデータの方が大きくても全く問題はない。
【００５３】
ステップＳ１０５にて、記憶装置３０５からヘッダデータを優先順位上位から読み出し、メモリ３０１上の多重化ソフトウェアによって書式に従って記述・整形し、通信ソフトウェアによって通信インターフェース３０９より通信回線３０８に出力してステップＳ１０６に進む。
【００５４】
ステップＳ１０６にて、カメラ３０６からの入力が続いていて、かつ記憶装置３０５上に符号化データがあるならばステップＳ１０７に進み、処理を続け、どちらかが無くなれば処理が終了したと判断し、全体の処理を終了する。
【００５５】
ステップＳ１０７では、カメラ３０６から入力された１フレームをメモリ３０１上の画像エリアに格納し、符号化ソフトウェアを動作させて１フレーム分の符号化データを生成し、符号エリア１に格納して、ステップＳ１０８に進む。
【００５６】
ステップＳ１０８にて、記憶装置３０５よりＭＰＥＧ−４符号化されたデータの１フレーム分の符号化データを読み出し、符号エリア２に格納してステップＳ１０９に進む。ステップＳ１０９にて、符号エリア１と符号エリア２に格納されている符号化データのそれぞれの符号長を算出して、ステップＳ１１０に進む。
ステップＳ１１０にて、それぞれの符号長に基づいて優先順位を決定し、ステップＳ１１１に進む。ステップＳ１１１にて、フレーム単位の各符号化データがすべて多重化処理されたかを判断し、終了していればステップＳ１０６に進み、そうでなければステップＳ１１２に進む。
【００５７】
ステップＳ１１２にて、優先順位に従って、上位から該当する符号化データの符号エリアからフレームの符号化データを読み出し、書式に従って記述・整形して通信ソフトウェアによって通信インターフェース３０９より通信回線３０８に出力し、読み出した符号エリアのデータをクリアする。ステップＳ１１１に戻る。ステップＳ１１１では各符号エリアの内容がクリアされているか否かを調べることでデータの有無を確認できる。
【００５８】
このような一連の選択動作により、データの大きさを反映してオブジェクト毎に多重化の優先順位を付けることができ、復号側でデータ量の大きなデータから復号を開始することができるようになる。一般的にデータ量の大きなデータは復号に時間が掛かるため、先に復号を開始することにより、パラレル処理等を行なった場合に合成までの時間を確保でき、復号・合成処理を好適に行なうことが出来るようになる。
【００５９】
また、本実施例ではビデオデータを例にとって説明したが、これに限定されず、オーディオデータ等でも同じように多重化することが可能になる。
さらには、各フレーム毎で優先順位を判断して適宜変更することで、画像の変化にも容易に対応できる効果もある。
【００６０】
また、オブジェクトに関連するオーディオとビデオのデータの符号長を合計したものによって優先順位を決定してももちろんかまわない。
【００６１】
また、多重化されたビットストリームを記憶装置３０５に蓄積してももちろんかまわない。
【００６２】
＜その他の実施形態＞
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【００６３】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行ない、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
また、上記実施例において、動画像の符号化方式をＭＰＥＧ−４としたがこれに限定されず、他の符号化方式、たとえば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）でももちろん構わない。また、出力のファイルフォーマットもこれに限定されない。
【００６６】
さらに、上記実施例ではオブジェクトが２つの場合について説明したが、これに限定されない。必要なバッファメモリや解析器、または、符号エリアをオブジェクトの数に合わせて追加することで任意の数のオブジェクトに対応できることは明らかである。
【００６７】
また、上記実施例では、多重化の優先順位を入力される符号化データから自動的に得ることにより、多重化に関する外部からの制御等を省略でき、装置の小型化、処理の軽減を行なう効果もある。
【００６８】
【発明の効果】
以上の説明から明らかなように、本発明では、多重化に際して、符号化データを優先順位に従って多重化することにより、復号側での復号、合成等の処理を好適に行なうことができる。
【図面の簡単な説明】
【図１】第１の実施例としての本発明にかかる多重化システムの構成を示すブロック図である。
【図２】第２の実施例としての本発明にかかる多重化システムの構成を示すブロック図である。
【図３】第３の実施例としての本発明にかかる多重化システムの構成を示すブロック図である。
【図４】本発明の第３の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図５】復号側での画像の合成の様子を表す図である。
【図６】本発明の第１の実施例における多重化動作を示すフローチャート図である。
【図７】本発明の第２の実施例における多重化動作を示すフローチャート図である。
【図８】本発明の第３の実施例における多重化動作を示すフローチャート図である。
【図９】（Ａ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも後に多重化された場合の説明図である。（Ｂ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも先に多重化された場合の説明図である。
【発明の属する技術分野】
本発明は、多重化装置、多重化方法及びプログラムに関し、特に複数オブジェクトの符号化データの多重化に関するものである。
【０００２】
【従来の技術】
近年、動画像の新しい符号化手段として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）−４の標準化が進められている。これは従来のＭＰＥＧ−２に代表される動画像符号化ではフレームあるいはフィールドを単位としていたが、コンテンツの再利用や編集を実現するために、ＭＰＥＧ−４では映像データやオーディオ・データをオブジェクト（物体）として扱う。さらに映像データに含まれる物体も独立して符号化され、それぞれもオブジェクトとして扱うことができる。
【０００３】
このＭＰＥＧ−４の標準化により、オブジェクトを別々に作成し、その配置やタイミングを調整して組み合わせることにより、様々なシーケンスを作成することが出来るようになった。これらを１つのストリームにまとめるために一般的に多重化が行われる。例えば、オブジェクトデータを時間情報に基づいて同期を取って多重化する方式に関しては、基準になるオブジェクトの時間情報に基づいた基準クロックで多重化している（例えば特許文献１参照）。また、スケーラビリティのあるオブジェクトデータの多重化に関して、オブジェクトのレイヤ毎に関連するデータを多重化した後に全体を多重化される（例えば特許文献２参照）。
【０００４】
【特許文献１】
特開平１０−２３４０１（第４頁 図３）
【特許文献２】
特開平１０−４５３９（第５頁 図１）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧ−２などの多重化では複数のオブジェクトの再生と合成までは対応していないという問題点が生じる。また、上記で開示されている技術において、オブジェクト間の多重化の順番等に関して記述されていない。ただオブジェクトのデータをならべただけでは復号の時間や合成の順番に合致しないため、正しく画像が構成されないといった問題が生じる。例えば、図５（Ａ）のように背景となるオブジェクト１００１に人のオブジェクト１００２が合成されて１画面を構成する場合、オブジェクト１００１のデータがオブジェクト１００２のデータよりも順番が遅く多重化されると、オブジェクト１００１が大きいためにタイムスタンプの時間までに再生が間に合わないという問題が生じる。
【０００６】
図９（Ａ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも後に多重化された場合の様子を示す。時間１１００ａはオブジェクト１００２の第１フレームの符号化データを伝送するのに必要な時間を表し、時間１１０１ａはオブジェクト１００１の第１フレームの符号化データを伝送するのに必要な時間を表し、以下、時間１１０２ａ、時間１１０３ａはオブジェクト１００２、１００１の第２フレームの符号化データを伝送する時間を表す。
【０００７】
時間１１０４ａ、１１０６ａはオブジェクト１００２の符号化データを復号するのに必要な時間を、時間１１０５ａ、１１０７ａはオブジェクト１００１の符号化データを復号するのに必要な時間を表す。オブジェクト１００１は大きいので復号に多くの時間を必要とする。時間１１０５ａの終わりにオブジェクト１００２と１００１の第１フレームのデータが揃うが、オブジェクト１００２の第２フレームが表示可能になるまでの時間が短く、非常に短時間表示されるか、データの転送時間等を考慮すると表示されない。時間１１０８ａは第１フレームが表示されない時間を表す。時間１００９ａにはオブジェクト１０００の第１フレームオブジェクトと１００１の第２フレームが合成されて表示される。
【０００８】
従って、本発明は前記課題を考慮して、多重化に際して、復号側で好適に復号、合成される多重化装置、多重化方法及びプログラムを提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記課題を解決するために本発明の多重化装置は、出力先で１画面を構成するための複数の符号化データを入力する入力手段と、前記符号化データの優先順位を決定する優先順位決定手段と、前記優先順位に従って、前記符号化データを多重化する多重化手段と、前記多重化されたデータを出力する出力手段とを有することを特徴とする。
【００１０】
上記課題を解決するために本発明の多重化方法は、出力先で１画面を構成するための複数の符号化データを入力する入力工程と、前記入力工程で入力された符号化データの優先順位を決定する優先順位決定工程と、前記優先順位決定工程で決定した優先順位に従って、前記符号化データを多重化する多重化工程と、前記多重化工程で多重化されたデータを出力する出力工程とを有することを特徴とする。
【００１１】
【発明の実施の形態】
〈第１実施例〉
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００１２】
図１は本発明を適用する多重化システムの構成を示すブロック図である。図１において、１は本発明に基づく多重化装置である。２、３は画像を入力して符号化する符号化器である。符号化器２はＭＰＥＧ−４符号化方式で任意形状符号化を扱うＣｏｒｅ Ｐｒｏｆｉｌｅの符号化を行なうものとするがこれに限定されない。ここでは図５（Ａ）のオブジェクト１００２を符号化するものとする。符号化器３はＭＰＥＧ−４符号化方式で矩形符号化を扱うＳｉｍｐｌｅ Ｐｒｏｆｉｌｅの符号化を行なうものとするがこれに限定されない。ここでは図５（Ａ）のオブジェクト１００１を符号化するものとする。４、５はバッファメモリであり、符号化データを格納する。６、７は符号の一部を解析する解析器、８は解析器６，７からの出力によって多重化の優先順位を決定する優先順位判定器である。９、１０は選択器であり、優先順位判定器８の出力によって、入力を後段に出力する。１１は整形器であり、入力された符号化データを多重化の書式に整え、ビットストリームとして出力する。ここではその書式としてＭＰＥＧ−４符号化方式のファイルフォーマットＭＰ４とする。１２は出力されたビットストリームを蓄積する記憶装置である。１３は符号化器２、３に対して優先順位を設定する優先順位設定器であり、符号化器２、３は符号化時にＶＯＬヘッダにあるｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙ符号にその値を設定して符号化する。ここでは背景を符号化する符号化器３の優先順位を１に、内包されるオブジェクトを符号化する符号化器２に０をセットする。
【００１３】
上記のように構成された多重化システムにおける画像の符号化データの多重化動作を以下で説明する。
【００１４】
処理に先立ち、各部を初期化する。バッファメモリ４、５は０でクリアされ、記憶装置１２では書き込みのために所定の領域を確保する。符号化器２はＭＰＥＧ−４符号化方式に従って、各フレームの符号化データの先立って付与されるヘッダデータを生成する。このヘッダデータはｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｔａｒｔ＿ｃｏｄｅから始まり、ＶｉｓｕａｌＯｂｊｅｃｔレイヤ、ＶＯＬ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）のレイヤの符号を生成する。符号化器２はＶｉｓｕａｌＯｂｊｅｃｔレイヤのｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙを０としておく。生成されたヘッダデータはバッファメモリ４に入力される。同様に符号化器３でもヘッダデータを生成する。符号化器２はＶｉｓｕａｌＯｂｊｅｃｔレイヤのｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙを１としておき、バッファメモリ５に入力される。
【００１５】
解析器６，７はそれぞれ、バッファメモリ４，５からヘッダデータを読み出し、ｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙの内容を抽出する。この結果を優先順位判定器８に入力する。優先順位判定器８はｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙが大きい方が優先順位が高いと判定して、選択器１０の出力を整形器１１に開放し、バッファメモリ５の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器９の出力を整形器１１に開放し、バッファメモリ４の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００１６】
続いて、符号化器２、３とも同じフレームレートで画像を符号化する。符号化器２は任意形状の画像データをＭＰＥＧ−４符号化方式のＣｏｒｅ Ｐｒｏｆｉｌｅに従って符号化して符号化データをバッファメモリ４に格納する。同時に、符号化器３は矩形の画像データをＭＰＥＧ−４符号化方式のＳｉｍｐｌｅ Ｐｒｏｆｉｌｅに従って符号化して符号化データをバッファメモリ５に格納する。
【００１７】
優先順位判定器８はまず、選択器１０の出力を整形器１１に開放し、バッファメモリ５の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器９の出力を整形器１１に開放し、バッファメモリ４の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００１８】
以後、この順で最後まで多重化を行ない、全てのフレームの処理が終われば全体の処理を終了する。
【００１９】
以上、符号化データの蓄積までの処理の簡単な流れを、図６を用いて説明する。図６は、第１の実施例における多重化動作を示すフローチャート図である。
【００２０】
まずステップＳ１にて、各符号化器において、符号化ヘッダを生成する。ステップＳ２にて、符号化ヘッダの中からｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｐｒｉｏｒｉｔｙ符号を抽出する。ステップＳ３にて、符号の値の大きさに基づいて優先順位を決定し、選択器を制御する。ステップＳ４にて、優先順位の上位からヘッダデータを書式に従って記述・整形して出力する。ステップＳ５にて、処理の終了判断を行なう。
【００２１】
ステップＳ６では、各符号化器でフレーム（ＭＰＥＧ−４ではＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ））を符号化する。ステップＳ７にて、各符号化器のフレームの符号化データの処理の終了判断を行なう。ステップＳ８にて、選択器を制御してフレームの符号化データを優先順位上位から読み出し、書式に従って記述・整形して出力する。ステップＳ７で、フレームデータの出力処理が終わればステップＳ５に戻る。ステップＳ５で、符号化処理が終了すれば、全体の処理を終了する。
【００２２】
このような一連の選択動作により、オブジェクトの優先順位を反映してオブジェクト毎に多重化の優先順位を付けることができ、復号側でオブジェクトに付与された優先順位に従って復号を開始することができるようになる。また、図９（Ｂ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも先に多重化された場合の様子を示す。図９（Ｂ）に示すように、第１フレームが表示されない時間１００８ｂは図９（Ａ）の時間１００８ａに比べて短縮され、時間１００９ｂにはオブジェクト１００２と１００１の第１フレームが正しく合成されて表示される。
【００２３】
〈第２実施例〉
図２は本発明の第２の実施例としての多重化システムの構成を示す図である。なお、前述の実施例の図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００２４】
図２において、５１は本発明に基づく多重化装置である。５２はビデオ符号化器であり、ＭＰＥＧ―４符号化方式で符号化するものとして説明するが、これに限定されない。ここでは説明を容易にするため、Ｃｏｒｅ Ｐｒｏｆｉｌｅの符号化を行なうものとし、図５（Ａ）のオブジェクト１００２を符号化するものとして説明する。５３はビデオ符号化器であり、ＭＰＥＧ―２符号化方式で符号化するものとして説明するが、これに限定されない。なお、ここでは図５（Ａ）のオブジェクト１００１を符号化するものとして説明する。５４はオーディオ符号化器であり、入力されたオーディオデータを符号化する。ここではＭＰＥＧ−４符号化方式のＨＶＸＣ（Ｈａｒｍｏｎｉｃ Ｖｅｃｔｏｒ Ｅｘｃｉｔａｔｉｏｎ Ｃｏｄｉｎｇ）符号化方式を例に取るがこれに限定されない。５５はオーディオ符号化器であり、入力されたオーディオデータを符号化する。ここではＭＰＥＧ−２符号化方式のＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）符号化方式を例に取るがこれに限定されない。５６、５７はバッファメモリであり、オーディオ符号化データを格納する。ここでは説明を容易にするため、それぞれビデオ１フレームと同じ間隔の符号化データを格納するものとする。５８、５９は符号の一部を解析する解析器であり、画像のサイズを検出する。６０は解析器５８，５９からの出力によって多重化の優先順位を決定する優先順位判定器である。６１、６２は選択器であり、優先順位判定器６０の出力によって、入力を後段に出力する。
【００２５】
上記のように構成された多重化システムにおける画像の符号化データの多重化動作を以下で説明する。
【００２６】
処理に先立ち、各部を初期化する。バッファメモリ４、５、５６、５７は０でクリアされ、記憶装置１２では書き込みのために所定の領域を確保する。ビデオ符号化器５２は第１の実施例の図１記載の符号化器２または３と同様にＭＰＥＧ−４符号化方式に従って、各フレームの符号化データの先立って付与されるヘッダデータを生成する。生成されたヘッダデータはバッファメモリ４に入力される。ビデオ符号化器５２はＶｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒレイヤのｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｗｉｄｔｈ符号とｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｈｅｉｇｈｔ符号によって画像サイズを符号化している。また、Ｃｏｒｅ Ｐｒｏｆｉｌｅなどの任意形状を扱う場合は各フレームにオブジェクトの幅を表すｖｏｐ＿ｗｉｄｔｈ符号と高さを表すｖｏｐ＿ｈｅｉｇｈｔ符号が含まれている。
【００２７】
ビデオ符号化器５３はＭＰＥＧ−２符号化方式に従って、各フレームの符号化データの先立って付与されるヘッダデータを生成する。生成されたヘッダデータはバッファメモリ５に入力される。ビデオ符号化器５３はシーケンスレイヤのＨｏｒｉｚｏｎｔａｌ Ｓｉｚｅ Ｖａｌｕｅ符号とＶｅｒｔｉｃａｌ Ｓｉｚｅ
Ｖａｌｕｅ符号によって画像サイズを符号化している。
【００２８】
各ビデオ符号化器がヘッダを生成する間にオーディオ符号化器５４、５５も同様に符号化ヘッダを作成する。オーディオ符号化器５４はＨＶＸＣ符号化の、オーディオ符号化器５５はＡＡＣの符号化ヘッダをそれぞれ作成し、バッファメモリ５６、５７に格納する。
【００２９】
解析器５８，５９はそれぞれ、バッファメモリ４，５からヘッダデータを読み出し、画像サイズを表す符号の内容を抽出する。解析器５８はｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｗｉｄｔｈ符号とｖｉｄｅｏ＿ｏｂｊｅｃｔ＿ｌａｙｅｒ＿ｈｅｉｇｈｔ符号を抽出し、画像サイズとして出力する。解析器５８において、抽出した符号を復号し、画像サイズを得る。Ｃｏｒｅ Ｐｒｏｆｉｌｅの場合は各フレーム毎に画像サイズを出力する。解析器５９はＨｏｒｉｚｏｎｔａｌＳｉｚｅ Ｖａｌｕｅ符号とＶｅｒｔｉｃａｌ Ｓｉｚｅ Ｖａｌｕｅ符号を抽出して画像サイズとして出力する。
【００３０】
この結果を優先順位判定器６０に入力する。優先順位判定器６０はそれぞれ縦、横のサイズを積算して面積をそれぞれ算出し、面積が大きい方を優先順位が高いと判定する。解析器５８からは内包されるオブジェクトの大きさが入力され、解析器５９からは背景の大きさが入力されるので、背景の大きさがオブジェクトの大きさより大きい場合は、まず、選択器６２の出力を整形器１１に開放し、バッファメモリ５及びバッファメモリ５７の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器６１の出力を整形器１１に開放し、バッファメモリ４及びバッファメモリ５６の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００３１】
続いて、ビデオ符号化器５２、５３とオーディオ符号化器５４、５５はとも同じフレームレートで画像を符号化する。ビデオ符号化器５２は任意形状の画像データをＭＰＥＧ−４符号化方式のＣｏｒｅ Ｐｒｏｆｉｌｅに従って符号化し、符号化データをバッファメモリ４に格納する。同時に、ビデオ符号化器５３は画像データをＭＰＥＧ−２符号化方式に従って符号化し、符号化データをバッファメモリ５に格納する。ここで、解析器５８は各ＶＯＰのヘッダデータを解析し、ｖｏｐ＿ｗｉｄｔｈ符号とｖｏｐ＿ｈｅｉｇｈｔ符号から各ＶＯＰの大きさを抽出し、優先順位判定器６０に入力する。優先順位判定器６０はヘッダの時と同様にして、画像の大きさを判定して、選択器６１、６２を制御する。
【００３２】
図５（Ａ）のようにオブジェクト１００２が小さければ、まず、選択器６２の出力を整形器１１に開放し、バッファメモリ５及びバッファメモリ５７の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器６１の出力を整形器１１に開放し、バッファメモリ４及びバッファメモリ５６の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００３３】
図５（Ｂ）のようにオブジェクト１００２が大きくなり、オブジェクト１００１の大きさを超えるようになった場合、まず、選択器６１の出力を整形器１１に開放し、バッファメモリ４及びバッファメモリ５６の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。続いて、選択器６２の出力を整形器１１に開放し、バッファメモリ５及びバッファメモリ５７の内容を整形器１１に入力する。整形器１１はＭＰ４ファイルフォーマットの書式に従って記述し、記憶装置１２の所定の位置に蓄積する。
【００３４】
以後、このようにして最後のフレームまで多重化を行ない、全てのフレームの処理が終われば全体の処理を終了する。
【００３５】
以上、符号化データの蓄積までの処理の簡単な流れを、図７を用いて説明する。図７は、第２の実施例における多重化動作を示すフローチャート図である。
【００３６】
まずステップＳ５１にて、各符号化器において、符号化ヘッダを生成する。ステップＳ５２にて、符号化ヘッダの中から画像の大きさを表す符号を抽出する。ステップＳ５３にて、画像の大きさに基づいて優先順位を決定し、選択器を制御する。ステップＳ５４にて、ヘッダデータを優先順位上位から読み出し、書式に従って記述・整形して出力する。ステップＳ５５にて、処理の終了判断を行なう。
【００３７】
ステップＳ５６では、各ビデオ符号化器でフレーム（ＭＰＥＧ−４ではＶＯＰ、ＭＰＥＧ−２ではピクチャ）を、各オーディオ符号化器で所定長のオーディオデータを符号化する。ステップＳ５７にて、符号化ヘッダの中から画像の大きさを表す符号を抽出する。ステップＳ５８にて、画像の大きさに基づいて優先順位を決定し、選択器を制御する。
【００３８】
ステップＳ５９にて、各符号化器からのフレーム単位の符号化データの処理の終了判断を行なう。ステップＳ６０にて、選択器を制御してフレームの符号化データを優先順位上位から読み出し、書式に従って記述・整形して出力する。ステップＳ５９でフレームデータの出力処理が終わればステップＳ５５に戻る。ステップＳ５５で符号化処理が終了すれば、全体の処理を終了する。
【００３９】
このような一連の選択動作により、オブジェクトの大きさを反映してオブジェクト毎に多重化の優先順位を付けることができ、復号側で大きな画像から復号を開始することができるようになる。一般的に大きな画像が背景であり、先に復号しておくことで、重畳による合成処理を好適に行なうことが出来るようになる。
【００４０】
また、ビデオデータだけではなく、オーディオデータも関連付けられて同じように多重化することが可能になる。
【００４１】
さらには、各フレーム毎で優先順位を判断して適宜変更することで、画像の変化にも容易に対応できる効果もある。
【００４２】
〈第３実施例〉
図３は、本発明の第３の実施に係る多重化システムの構成を示すブロック図である。図３において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【００４３】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。３０３は装置の起動、各種条件の設定、再生の指示を行なうための端末である。３０４はソフトウェアを蓄積する記憶装置である。３０５は画像データを蓄積する記憶装置、３０６は画像を撮像するカメラである。記憶装置３０４および、３０５はシステムから切り離して移動できるメディアで構成することも出来る。３０７は画像を表示するモニタであり、３０８は通信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回線３０８を介して画像データを送受信する通信インターフェースである。
【００４４】
このような構成において、画像データの多重化処理について説明する。ここでは、カメラ３０６で撮像された画像データをＭＰＥＧ−２符号化方式で符号化し、合成する動画像データとして記憶装置３０５からＭＰＥＧ−４符号化方式のＣｏｒｅ Ｐｒｏｆｉｌｅで符号化された任意形状の符号化データを読み出して同期させて多重化し、通信インターフェース３０９から送信する例をもって説明する。
【００４５】
処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【００４６】
図４は実施例４におけるメモリ３０１のメモリの使用、格納状況を示す。
【００４７】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、符号化を行なうソフトウェア、多重化を行なうソフトウェア、データを送受信する通信ソフトウェアが格納されている。
【００４８】
また、符号化の際に画像データを格納する画像エリア、生成したり読み出した符号化データを格納する符号エリア、各種演算や各フレームの符号長等のパラメータ等を格納しておくワーキングエリアが存在する。
【００４９】
このような構成において、処理に先立ち、端末３０３から動画像の入力をカメラ３０６からとする。また記憶装置３０５から符号化データを読み出すために読み出し位置を調整する。
【００５０】
次に、ＣＰＵ３００による動画像データの符号化動作を図８に示すフローチャートに従って説明する。図８は、第３の実施例における多重化動作を示すフローチャート図である。
【００５１】
まず、ステップＳ１０１では、カメラ３０６からの符号化に先立ち、メモリ３０１上の符号化ソフトウェアによって、符号化ヘッダを生成し、符号エリア１に格納してステップＳ１０２に進む。続いて、ステップＳ１０２にて、記憶装置３０５よりＭＰＥＧ−４符号化されたデータの符号化ヘッダを読み出し、符号エリア２に格納してステップＳ１０３に進む。ステップＳ１０３にて、符号化ヘッダの符号長を算出して、ステップＳ１０４に進む。
【００５２】
ステップＳ１０４にて、それぞれの符号長に基づいて優先順位を決定し、符号長が大きいものを優先順位が高いものと判定する。ここでは、カメラ３０６から入力されてＭＰＥＧ−２符号化されるデータの方が大きいとして説明する。但し、記憶装置３０５から読み出されるデータの方が大きくても全く問題はない。
【００５３】
ステップＳ１０５にて、記憶装置３０５からヘッダデータを優先順位上位から読み出し、メモリ３０１上の多重化ソフトウェアによって書式に従って記述・整形し、通信ソフトウェアによって通信インターフェース３０９より通信回線３０８に出力してステップＳ１０６に進む。
【００５４】
ステップＳ１０６にて、カメラ３０６からの入力が続いていて、かつ記憶装置３０５上に符号化データがあるならばステップＳ１０７に進み、処理を続け、どちらかが無くなれば処理が終了したと判断し、全体の処理を終了する。
【００５５】
ステップＳ１０７では、カメラ３０６から入力された１フレームをメモリ３０１上の画像エリアに格納し、符号化ソフトウェアを動作させて１フレーム分の符号化データを生成し、符号エリア１に格納して、ステップＳ１０８に進む。
【００５６】
ステップＳ１０８にて、記憶装置３０５よりＭＰＥＧ−４符号化されたデータの１フレーム分の符号化データを読み出し、符号エリア２に格納してステップＳ１０９に進む。ステップＳ１０９にて、符号エリア１と符号エリア２に格納されている符号化データのそれぞれの符号長を算出して、ステップＳ１１０に進む。
ステップＳ１１０にて、それぞれの符号長に基づいて優先順位を決定し、ステップＳ１１１に進む。ステップＳ１１１にて、フレーム単位の各符号化データがすべて多重化処理されたかを判断し、終了していればステップＳ１０６に進み、そうでなければステップＳ１１２に進む。
【００５７】
ステップＳ１１２にて、優先順位に従って、上位から該当する符号化データの符号エリアからフレームの符号化データを読み出し、書式に従って記述・整形して通信ソフトウェアによって通信インターフェース３０９より通信回線３０８に出力し、読み出した符号エリアのデータをクリアする。ステップＳ１１１に戻る。ステップＳ１１１では各符号エリアの内容がクリアされているか否かを調べることでデータの有無を確認できる。
【００５８】
このような一連の選択動作により、データの大きさを反映してオブジェクト毎に多重化の優先順位を付けることができ、復号側でデータ量の大きなデータから復号を開始することができるようになる。一般的にデータ量の大きなデータは復号に時間が掛かるため、先に復号を開始することにより、パラレル処理等を行なった場合に合成までの時間を確保でき、復号・合成処理を好適に行なうことが出来るようになる。
【００５９】
また、本実施例ではビデオデータを例にとって説明したが、これに限定されず、オーディオデータ等でも同じように多重化することが可能になる。
さらには、各フレーム毎で優先順位を判断して適宜変更することで、画像の変化にも容易に対応できる効果もある。
【００６０】
また、オブジェクトに関連するオーディオとビデオのデータの符号長を合計したものによって優先順位を決定してももちろんかまわない。
【００６１】
また、多重化されたビットストリームを記憶装置３０５に蓄積してももちろんかまわない。
【００６２】
＜その他の実施形態＞
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【００６３】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行ない、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００６４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
また、上記実施例において、動画像の符号化方式をＭＰＥＧ−４としたがこれに限定されず、他の符号化方式、たとえば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）でももちろん構わない。また、出力のファイルフォーマットもこれに限定されない。
【００６６】
さらに、上記実施例ではオブジェクトが２つの場合について説明したが、これに限定されない。必要なバッファメモリや解析器、または、符号エリアをオブジェクトの数に合わせて追加することで任意の数のオブジェクトに対応できることは明らかである。
【００６７】
また、上記実施例では、多重化の優先順位を入力される符号化データから自動的に得ることにより、多重化に関する外部からの制御等を省略でき、装置の小型化、処理の軽減を行なう効果もある。
【００６８】
【発明の効果】
以上の説明から明らかなように、本発明では、多重化に際して、符号化データを優先順位に従って多重化することにより、復号側での復号、合成等の処理を好適に行なうことができる。
【図面の簡単な説明】
【図１】第１の実施例としての本発明にかかる多重化システムの構成を示すブロック図である。
【図２】第２の実施例としての本発明にかかる多重化システムの構成を示すブロック図である。
【図３】第３の実施例としての本発明にかかる多重化システムの構成を示すブロック図である。
【図４】本発明の第３の実施例におけるメモリ３０１のメモリの使用、格納状況を表す図である。
【図５】復号側での画像の合成の様子を表す図である。
【図６】本発明の第１の実施例における多重化動作を示すフローチャート図である。
【図７】本発明の第２の実施例における多重化動作を示すフローチャート図である。
【図８】本発明の第３の実施例における多重化動作を示すフローチャート図である。
【図９】（Ａ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも後に多重化された場合の説明図である。（Ｂ）は、図５（Ａ）において、オブジェクト１００１のデータがオブジェクト１００２のデータよりも先に多重化された場合の説明図である。
Claims (9)
- 出力先で１画面を構成するための複数の符号化データを入力する入力手段と、
前記符号化データの優先順位を決定する優先順位決定手段と、
前記優先順位に従って、前記符号化データを多重化する多重化手段と、
前記多重化されたデータを出力する出力手段とを有することを特徴とする多重化装置。 - 前記優先順位決定手段は、符号化データに記述されている優先順位により優先順位を決定することを特徴とする請求項１に記載の多重化装置。
- 前記優先順位決定手段は、符号化データに記述されているサイズにより優先順位を決定することを特徴とする請求項１に記載の多重化装置。
- 前記優先順位決定手段は、符号化データの大きさにより優先順位を決定することを特徴とする請求項１に記載の多重化装置。
- 出力先で１画面を構成するための複数の符号化データを入力する入力工程と、
前記入力工程で入力された符号化データの優先順位を決定する優先順位決定工程と、
前記優先順位決定工程で決定した優先順位に従って、前記符号化データを多重化する多重化工程と、
前記多重化工程で多重化されたデータを出力する出力工程とを有することを特徴とする多重化方法。 - 前記優先順位決定工程は、符号化データに記述されている優先順位により優先順位を決定することを特徴とする請求項５に記載の多重化方法。
- 前記優先順位決定工程は、符号化データに記述されているサイズにより優先順位を決定することを特徴とする請求項５に記載の多重化方法。
- 前記優先順位決定工程は、符号化データの大きさにより優先順位を決定することを特徴とする請求項５に記載の多重化方法。
- 請求項５〜８の何れか１項に記載の多重化方法の処理手順をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003011211A JP2004228680A (ja) | 2003-01-20 | 2003-01-20 | 多重化装置、多重化方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003011211A JP2004228680A (ja) | 2003-01-20 | 2003-01-20 | 多重化装置、多重化方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004228680A true JP2004228680A (ja) | 2004-08-12 |
Family
ID=32900182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003011211A Withdrawn JP2004228680A (ja) | 2003-01-20 | 2003-01-20 | 多重化装置、多重化方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004228680A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7590294B2 (en) | 2004-11-29 | 2009-09-15 | Sony Corporation | Image compression apparatus and method, and program and recording medium |
| US7720295B2 (en) | 2004-06-29 | 2010-05-18 | Sanyo Electric Co., Ltd. | Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality |
| KR100971834B1 (ko) * | 2004-10-29 | 2010-07-22 | 산요덴키가부시키가이샤 | 화상 부호화 방법 및 장치 |
| JP2011045138A (ja) * | 2010-11-18 | 2011-03-03 | Sanyo Electric Co Ltd | 画像復号方法 |
| US8005309B2 (en) | 2004-02-09 | 2011-08-23 | Sanyo Electric Co., Ltd. | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
-
2003
- 2003-01-20 JP JP2003011211A patent/JP2004228680A/ja not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8005309B2 (en) | 2004-02-09 | 2011-08-23 | Sanyo Electric Co., Ltd. | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
| US8326058B2 (en) | 2004-02-09 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
| US7720295B2 (en) | 2004-06-29 | 2010-05-18 | Sanyo Electric Co., Ltd. | Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality |
| KR100971834B1 (ko) * | 2004-10-29 | 2010-07-22 | 산요덴키가부시키가이샤 | 화상 부호화 방법 및 장치 |
| KR100971835B1 (ko) * | 2004-10-29 | 2010-07-22 | 산요덴키가부시키가이샤 | 화상 복호 방법 및 장치 |
| KR100971833B1 (ko) * | 2004-10-29 | 2010-07-22 | 산요덴키가부시키가이샤 | 화상 부호화 방법 및 장치 |
| US8150173B2 (en) | 2004-10-29 | 2012-04-03 | Sanyo Electric Co., Ltd. | Image coding method and apparatus, and image decoding method and apparatus |
| US8208738B2 (en) | 2004-10-29 | 2012-06-26 | Sanyo Electric Co., Ltd. | Image coding method and apparatus, and image decoding method and apparatus |
| US7590294B2 (en) | 2004-11-29 | 2009-09-15 | Sony Corporation | Image compression apparatus and method, and program and recording medium |
| JP2011045138A (ja) * | 2010-11-18 | 2011-03-03 | Sanyo Electric Co Ltd | 画像復号方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI414183B (zh) | Information processing apparatus and method and non-temporary computer-readable recording medium | |
| JP4270230B2 (ja) | 撮像装置および方法、画像処理装置および方法、並びにプログラム | |
| KR20080066408A (ko) | 3차원 영상 처리 장치 및 방법 | |
| JP2010206593A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR20060051064A (ko) | 기록 장치 및 기록 방법, 재생 장치 및 재생 방법, 및프로그램 | |
| JP2004180052A (ja) | 映像信号記録送信装置および監視システムならびに監視装置 | |
| US6845214B1 (en) | Video apparatus and re-encoder therefor | |
| JP4174960B2 (ja) | 信号処理装置及び方法並びにファイル生成方法 | |
| JP2004228680A (ja) | 多重化装置、多重化方法及びプログラム | |
| JP4262139B2 (ja) | 信号処理装置 | |
| WO2003036967A1 (fr) | Appareil et procede de traitement de signaux video, programme et moyen d'enregistrement | |
| JP2004158913A (ja) | 音声画像処理装置 | |
| JPH10210465A (ja) | 符号列編集装置、画像符号化信号復号化装置、および、動画符号化信号復号化装置 | |
| US20040208481A1 (en) | Apparatus and method for image processing, and image processing system using the same and program | |
| JP4767916B2 (ja) | 動画像符号化データ変換装置 | |
| JP2007036468A (ja) | 動画像符号化装置 | |
| JP2004080094A (ja) | 情報処理装置及び情報処理方法並びにプログラム及びコンピュータ読み取り可能な記録媒体 | |
| JP2000152235A (ja) | データ処理装置及びその方法、及びデータ処理システム | |
| JP4136403B2 (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
| JP2004165800A (ja) | 画像処理装置 | |
| JP2001218208A (ja) | 画像復号装置及びその方法 | |
| JP2002094996A (ja) | 受信装置 | |
| JP3880597B2 (ja) | マルチメディア情報編集装置 | |
| JP3716977B2 (ja) | 動画像ファイル生成装置 | |
| JP2004032573A (ja) | 動画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060404 |