JP2004320302A - メディア情報処理方法 - Google Patents
メディア情報処理方法 Download PDFInfo
- Publication number
- JP2004320302A JP2004320302A JP2003110094A JP2003110094A JP2004320302A JP 2004320302 A JP2004320302 A JP 2004320302A JP 2003110094 A JP2003110094 A JP 2003110094A JP 2003110094 A JP2003110094 A JP 2003110094A JP 2004320302 A JP2004320302 A JP 2004320302A
- Authority
- JP
- Japan
- Prior art keywords
- media information
- predetermined
- stuffing
- data
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
Abstract
【課題】メディア情報を効率よく多重化するメディア処理方法、及び装置を提案する。
【解決手段】入力されたメディア情報を符号量制御信号に応じて符号化し、符号化メディア情報を出力する符号化手段と、前記符号化メディア情報から第１の符号量を検出する第１の符号量検出手段と、前記第１の符号量とスタッフィング量に応じて前記符号量制御信号を決定する符号量制御手段と、前記符号化メディア情報から第２の符号量を検出する第２の符号量検出手段と、前記第２の符号量に基づき前記スタッフィング量を決定する補填量制御手段と、前記スタッフィング量に応じて前記符号化メディア情報にスタッフィングデータを挿入する補填手段と、前記スタッフィングデータを挿入された符号化メディア情報を所定の長さのパケットに分割して出力するパケット分割手段とから構成されるメディア情報処理装置。
【選択図】 図１
【解決手段】入力されたメディア情報を符号量制御信号に応じて符号化し、符号化メディア情報を出力する符号化手段と、前記符号化メディア情報から第１の符号量を検出する第１の符号量検出手段と、前記第１の符号量とスタッフィング量に応じて前記符号量制御信号を決定する符号量制御手段と、前記符号化メディア情報から第２の符号量を検出する第２の符号量検出手段と、前記第２の符号量に基づき前記スタッフィング量を決定する補填量制御手段と、前記スタッフィング量に応じて前記符号化メディア情報にスタッフィングデータを挿入する補填手段と、前記スタッフィングデータを挿入された符号化メディア情報を所定の長さのパケットに分割して出力するパケット分割手段とから構成されるメディア情報処理装置。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、メディア情報を効率よく固定長パケット化するメディア情報処理方法、及び装置に関する。
【０００２】
【従来の技術】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ ： Ｉｎｔｅｇｒｅｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００６】
ビデオやオーディオなどのメディア情報（以下、マルチメディア情報と呼ぶ）は、同時並行して発生する。マルチメディア情報を通信チャネルで伝送し受信側で再現するためには、同期情報とともに１本のストリームに多重化する必要がある。このような多重化を実現する国際標準のひとつに、ＭＰＥＧ−２システムのＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、以下ＭＰＥＧ−２ ＴＳと呼ぶ）がある。ＭＰＥＧ−２ ＴＳでは、符号化されたメディア情報を個々のメディアごとに適当な単位でパケット化して可変長のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを構成し、さらに固定長のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケット単位に分割した後に多重化する。
【０００７】
１ＴＳパケットを構成して送信するためには、１ＴＳパケットを構成するための符号化済みデータが揃っている必要があるため、特に低ビットレートの符号化においてはパケット化の処理遅延が問題となる。この処理遅延を小さくするため、従来の多重化方法は、１ＴＳパケットを構成するのに不足しているデータ量と同量の冗長データ（スタッフィングデータ）を多重化層において挿入し、符号化済みデータとあわせて１ＴＳパケットを構成する（例えば、特許文献１参照）。ＰＥＳパケットは可変長であるため、スタッフィングデータ量は一定にはならない。
【０００８】
通信チャネルのビットレートが固定である場合、個々のメディア情報毎、或いは複数のメディア情報毎に固定ビットレートとなるようにビットレート制御する必要がある。上記従来の多重化方法により、固定ビットレートＢＲ０で符号化されたメディア情報を、ＴＳパケットのような多重化のための固定長パケットに分割すると、スタッフィングデータ量が一定でないために、パケット化後のメディア情報は可変ビットレートとなってしまう。パケット化後のメディア情報のビットレートを固定にする方法として、ビットレートの揺らぎ分以上の余裕を持たせたビットレートを該メディア情報に割当てて、パケット化後のビットレートが割当てられたビットレートに対して不足している場合には、ＮＵＬＬパケットと呼ばれるメディア情報に対して意味を持たない無効なパケットをメディア情報のパケットと多重化することで、固定ビットレートになるようにデータ量を制御する方法がある。ビットレートの揺らぎ分は、発生し得る最大のスタッフィングデータ（ＭＰＥＧ−２ ＴＳの場合、最大で１８３バイト）が連続して発生した場合のスタッフィングデータのビットレートＢＲ１に相当し、１回のスタッフィングデータの最大発生量と１秒あたりのスタッフィング発生回数の積で求められる。このビットレートＢＲ１分の余裕を持たせておけば、パケット化後のメディア情報が割当てられたビットレートを超えないことを保証できる。
【０００９】
図１５は、上記パケット化を用いた多重化データのデータ構造の一例を表しており、１つのビデオ信号と１つのオーディオ信号を多重化する例である。一般的には、同期のための情報等の付加情報も多重化されるが、この例においては簡単のため省略している。図において、ビデオやオーディオは所定の処理単位毎に、固定長パケット化可能なデータサイズになるように多重化層においてスタッフィングされている。最大のスタッフィングビット数が連続しない場合は、所定ビットレート（ＢＲ０＋ＢＲ１）にデータ量が満たないため、ＮＵＬＬパケットが挿入される。なお、上記所定の処理単位としては、ビデオの場合は、ｎ枚（ｎは１以上の整数）のフレーム毎や、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）やＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｏｐｓ）毎などの方法が考えられる。また、オーディオの場合は、ｍ個（ｍは１以上の整数）のＡＤＴＳフレーム（ＡｕｄｉｏＤａｔａ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）毎などの方法が考えられる。
【００１０】
図１６は、上記の方法によりパケット化後のメディア情報のビットレートを固定にする従来のメディア情報処理装置の一例を示すブロック図である。
【００１１】
上記従来のメディア情報処理装置は、メディア情報１０１をフィードバック制御によりビットレート制御しながら符号化し、符号化メディア情報１０３ａを出力する符号化装置２０１ｄと、所定の処理単位毎にスタッフィングしながら符号化メディア情報１０３ａをパケット化するパケット化装置２０２ｄと、ＮＵＬＬパケット１１７を生成するＮＵＬＬパケット生成手段１１６と、複数チャネルのパケット化された符号化メディア情報ＣＨ−１〜ＣＨ−ｎとＮＵＬＬパケット１１７を所定の方法により多重化し、多重化データ１１８を出力する多重化手段１１５から構成されている。
【００１２】
符号化装置２０１ｄは、符号量制御信号１０７に応じてメディア情報１０１を符号化し、符号化メディア情報１０３ａを出力する符号化手段１０２と、符号化メディア情報１０３ａから所定の符号化処理単位毎の符号量を検出し、符号量１０５を出力する符号量検出手段１０４と、符号量１０５に基づき符号化メディア情報１０３ａの符号量を制御する符号量制御信号１０７を出力する符号量制御手段１０６ｃから構成されている。符号化メディア情報１０３ａは、固定ビットレートＢＲ０で伝送された符号化メディア情報１０３ａを復号する復号器の受信バッファが、オーバーフロー或いはアンダーフローしないように、図１７に示すような受信バッファモデルの占有量推移を想定して符号化される。時刻ｔ０〜ｔ３は、符号化メディア情報１０３ａの復号、或いは再生・表示のタイミングを表している。この想定においては、固定ビットレートＢＲ０で受信バッファにデータが流入し、復号、或いは再生・表示のタイミングで消費される符号化メディア情報１０３ａの符号量ＢＦが瞬間的に受信バッファから抜き取られる。
【００１３】
パケット化装置２０２ｄは、符号化メディア情報１０３ａから所定のパケット化処理単位毎の符号量を検出し、符号量１０９を出力する符号量検出手段と１０８と、符号量１０９から所定のパケットサイズに分割するのに必要なスタッフィング量１１１ａを決定する補填量制御手段と、スタッフィング量１１１ａに応じて符号化メディア情報１０３ａにスタッフィングビットを挿入する補填手段１１２と、スタッフィングされた符号化メディア情報１１３をパケットに分割するパケット分割手段１１４から構成されている。
【００１４】
多重化手段１１５は、パケット化された符号化メディア情報ＣＨ−１〜ＣＨ−ｎのそれぞれに対し、データ量が所定のビットレート（ＢＲ０＋ＢＲ１）に足りているか否かをチェックし、足りていない場合はＮＵＬＬパケット１１７を挿入しながらＣＨ−１〜ＣＨ−ｎを多重化する。
【００１５】
以上のようにして、従来の方法では、符号化されたマルチメディア情報を多重化することが可能である。
【００１６】
【特許文献１】
特開平９−７４５４６号公報（第４−７頁、第１図）
【００１７】
【発明が解決しようとする課題】
図１８は、１つのビデオ信号、及び１つのオーディオ信号を従来の方法により多重化した場合の伝送帯域内訳を表している。従来の方法では、全体のビットレートを守るために、スタッフィングデータの最大値を保証するための帯域ＢＲ１を、符号化ビデオ情報や符号化オーディオ情報などの符号化メディア情報の帯域ＢＲ０に対して付加する必要がある。しかしながら、実際には、スタッフィングデータ量はランダムな事象であるため、帯域ＢＲ１の半分程度しか統計的に発生せず、帯域ＢＲ１の半分程度に相当する残りの帯域はＮＵＬＬパケットが多重化されている。すなわち、従来の方法には、全体のビットレートを保証するために、メディア情報に対して意味を持たない無効なパケットを送信する帯域が必要となる非効率さがあった。
【００１８】
本発明は以上の点を考慮してなされたもので、メディア情報を効率よく多重化するメディア情報処理方法、及び装置を提案しようとするものである。
【００１９】
【課題を解決するための手段】
この課題を解決するために、第１の発明は、メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報と前記パケット化のために挿入される多重化層のスタッフィングデータを合わせたデータ量が所定のビットレートになるように、前記符号化メディア情報の符号量を第３の所定の方法により制御することを特徴とするメディア情報処理方法である。
【００２０】
第２の発明は、メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報の所定の処理単位分のデータサイズを、前記パケット化の所定のデータサイズの整数倍を超えない最大のデータサイズに、第３の所定の方法により所定の精度にて合わせることを特徴とするメディア情報処理方法である。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
【００２２】
（実施の形態１）
図１は、本発明の実施の形態１のメディア情報処理装置の一例を表すブロック図である。従来のメディア情報処理装置とは、スタッフィング量１１１ａがパケット化装置２０２ａから符号化装置２０１ａの符号量制御手段１０６ａへ出力されている点が異なり、これ以外の構成は同じである。
【００２３】
以下、従来のメディア情報処理装置により、メディア情報を帯域ＢＲ０で符号化して多重化した場合に必要となる帯域（ＢＲ０＋ＢＲ１）において、本発明の実施の形態１のメディア情報処理装置によりメディア情報を符号化して多重化した場合の例について説明する。なお、上記ＢＲ１は、従来のメディア情報処理装置による多重化の際に必要となる、多重化層のスタッフィングデータの最大値を保証するために必要な帯域である。
【００２４】
本発明の実施の形態１のメディア情報処理装置によれば、スタッフィング量１１１ａを考慮して符号化メディア情報１０３ａのビットレートを制御することができるので、スタッフィング量１１１ａが少ない場合は符号化メディア情報１０３ａのビットレートを上げ、スタッフィング量１１１ａが多い場合は符号化メディア情報１０３ａのビットレートを下げることで、パケット化された符号化メディア情報ＣＨ−１を固定ビットレート（ＢＲ０＋ＢＲ１）にすることができる。よって、従来のメディア情報処理装置では、スタッフィング量１１１ａの変動を吸収するために必要であったＮＵＬＬパケット挿入が、本実施の形態１のメディア情報処理装置では不要となる。
【００２５】
図２は、本実施の形態１のメディア情報処理装置による多重化データのデータ構造の一例を表している。この例は、１つのビデオ信号と１つのオーディオ信号を多重化した例であり、一般的には、同期のための情報等の付加情報も多重化されるが、この例においては簡単のため省略している。図において、ビデオやオーディオは所定の処理単位毎に、固定長パケット化可能なデータサイズになるように多重化層においてスタッフィングされている。スタッフィングビット数に応じて所定ビットレートに合うように符号化データ量を制御するため、図１５に示される従来のメディア情報処理装置による多重化データのデータ構造と異なり、ＮＵＬＬパケットが挿入されていない。
【００２６】
スタッフィング量１１１ａはランダムな事象のため、多重化層のスタッフィングデータの最大値を保証するために必要な帯域ＢＲ１の半分程度しか統計的に発生しない。従来のメディア情報処理装置では、図１８に示すように、帯域ＢＲ１の半分程度に相当する残りの帯域にＮＵＬＬパケットを挿入する必要があったが、図３に示すように、本実施の形態１のメディア情報処理装置ではＮＵＬＬパケットを挿入する必要が無いため、ＢＲ１の半分程度に相当する残りの帯域は余剰帯域となり、符号化メディア情報１０３ａに割当てることが可能となる。すなわち、符号化メディア情報１０３ａの実効的なビットレートをＢＲ０より高めることができ、その結果、メディア情報の再生品質を向上、或いは情報量を増加させることができる。
【００２７】
なお、上記余剰帯域は、必ずしも上記符号化メディア情報１０３ａに割当てる必要は無く、一緒に多重化される他のメディア情報へ割当てたり、一緒に多重化される他のメディア情報と上記符号化メディア情報１０３ａへ分配して割当てたりしても構わない。
【００２８】
次に、本発明の実施の形態１のメディア情報処理装置の動作について、従来のメディア情報処理装置と異なる点についてのみ説明する。
【００２９】
符号量制御手段１０６ａは、符号量１０５とスタッフィング量１１１ａに基づき、ピークレートが（ＢＲ０＋ＢＲ１）である可変ビットレートにて、符号化メディア情報１０３ａの符号量を制御する符号量制御信号１０７を出力する。
【００３０】
図４の実線は、本実施の形態１のメディア情報処理装置において想定している受信バッファモデルにおける、符号化メディア情報１０３ａの占有量推移を示す図である。時刻ｔ０〜ｔ３は、符号化メディア情報１０３ａの復号、或いは再生・表示のタイミングを表している。図中の実線で表されるバッファ占有量の推移においては、可変ビットレートで受信バッファにデータが流入し、復号、或いは再生・表示のタイミングで消費される符号化メディア情報１０３ａの符号量ＢＦが瞬間的に受信バッファから抜き取られる。各瞬間における流入データ量は、ピークレート（ＢＲ０＋ＢＲ１）でバッファリングしたデータ量から、実際に発生したスタッフィングデータ量ＢＳＳを減算した量となる。具体的には、時刻ｔ０からｔ１の流入データ量は、｛（ＢＲ０＋ＢＲ１）×（ｔ１−ｔ０）−ＢＳＳ（ｔ０）｝で表される。なお、パケット化のタイミングでない符号化メディア情報１０３ａの復号（或いは再生・表示）のタイミングや、符号化メディア情報１０３ａが、ちょうどパケットに分割できたタイミングにおいては、スタッフィングデータは発生しないので、瞬間のビットレートはピークレート（ＢＲ０＋ＢＲ１）となる。逆に、最大のスタッフィングデータが発生した場合には、帯域ＢＲ１がスタッフィングデータにより使用されるので、瞬間のビットレートは従来のメディア情報処理装置によるメディア情報用の帯域ＢＲ０と等しくなる。
【００３１】
以上のように、本発明の実施の形態１のメディア情報処理装置によれば、従来のメディア情報処理装置と比べて、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができる。
【００３２】
なお、図５に示すメディア情報処理装置によっても、本実施の形態１のメディア情報処理装置と同様に、従来のメディア情報処理装置と同じ帯域において、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができるという効果が得られる。図１のメディア情報処理装置は、パケット化装置２０２ａの補填量制御手段１１０ａから出力されるスタッフィング量１１１ａを用いて、符号化装置２０１ａの符号量制御手段１０６ａは可変ビットレートにて符号化メディア情報１０３ａの符号量制御を行うが、図５のメディア情報処理装置は、補填量制御手段１１０ａと同様の方法によりスタッフィング量を決定し出力する補填量制御手段１１０ｂを符号化装置２０１ｂ内部に備え、補填量制御手段１１０ｂから出力されるスタッフィング量１１１ｂを用いて、符号量制御手段１０６ａは可変ビットレートにて符号化メディア情報１０３ａの符号量制御を行う点が異なっている。図５のメディア情報処理装置の上記以外の構成、及び動作については、図１のメディア情報処理装置と同様であるので説明を省略する。図５の構成によれば、パケット化装置２０２ｂから符号化装置２０１ｂへスタッフィング量を出力する必要が無いので、符号装置２０１ｂとパケット化装置２０２ｂの独立性が高められ、保守性が高められるという効果も得られる。
【００３３】
（実施の形態２）
図６は、本発明の実施の形態２のメディア情報処理装置の一例を表すブロック図である。従来のメディア情報処理装置とは、符号化装置２０１ｃの内部構成が異なっている。具体的には、符号化装置２０１ｃは、補填量制御手段１１０ａと同様の方法により、符号量１０５から所定のパケットサイズに分割するのに必要なスタッフィング量１１１ｂを決定し出力する補填量制御手段１１０ｂと、スタッフィング量１１１ｂに応じて符号化メディア情報１０３ａに符号化メディア情報層のスタッフィングビットを挿入する補填手段１１９と、符号量１０５とスタッフィング量１１１ｂに基づいて符号化メディア情報１０３ｂが固定ビットレートとなるように符号化メディア情報１０３ａの符号量を制御する符号量制御手段１０６ｂを備える点が異なり、上記以外は従来の符号化装置と同様の構成、動作である。
【００３４】
以下、従来のメディア情報処理装置により、メディア情報を帯域ＢＲ０で符号化して多重化した場合に必要となる帯域（ＢＲ０＋ＢＲ１）において、本発明の実施の形態２のメディア情報処理装置によりメディア情報を符号化して多重化した場合の例について説明する。なお、上記ＢＲ１は、従来のメディア情報処理装置による多重化の際に必要となる、多重化層のスタッフィングデータの最大値を保証するために必要な帯域である。
【００３５】
本発明の実施の形態２のメディア情報処理装置によれば、スタッフィング量１１１ｂに応じて補填手段１１９において符号化メディア情報層にスタッフィングビットを挿入するので、符号化メディア情報層のスタッフィングビットにより符号化メディア情報１０３ｂが任意サイズに調整可能な場合は、図７のビデオ処理単位１のように固定長パケットのデータサイズの整数倍のデータサイズに調整できるため、補填手段１１２における多重化層のスタッフィングビットは不要となる。しかしながら、一般的に符号化メディア情報は１バイト（８ビット）単位で扱われるが、ＭＰＥＧ−４ビデオ（符号化メディア情報）の場合、スタッフィングを行える最小単位が９ビットから３２ビットと１バイトを超えるため、固定長パケットのデータサイズの整数倍となるデータサイズにうまく符号量を調整できない場合がある。このような場合には、図７のビデオ処理単位２のように、符号化メディア情報のデータサイズが固定長パケットのデータサイズの整数倍を超えない最大のサイズになるまで、符号化メディア情報層のスタッフィングデータを挿入すればよい。このようにすれば、多重化層のスタッフィングデータ量の最大値を符号化メディア情報層のスタッフィングデータの最小単位より小さく抑えることができる。以上のようにして、本発明の実施の形態２のメディア情報処理装置の構成によれば、１回の多重化層のスタッフィングデータ量の最大値を、符号化メディア情報層のスタッフィングデータの最小単位より小さく抑制することができるため、本発明の実施の形態２のメディア情報処理装置による多重化層のスタッフィングデータの最大値を保証するための帯域ＢＲ２は、従来のメディア情報処理装置による多重化層のスタッフィングデータの最大値を保証するための帯域ＢＲ１よりも小さくすることができる。具体的には、ＭＰＥＧ−２ ＴＳでＭＰＥＧ−４ビデオを多重化する場合は、従来のメディア情報処理装置による多重化層のスタッフィングデータ量の最大値とＭＰＥＧ−４ビデオのスタッフィングデータ量の最小値から、ＢＲ２／ＢＲ１＝１／１８３〜３／１８３となる。なお、図７のデータ構造は、１つのビデオ信号と１つのオーディオ信号を多重化した例であり、一般的には、同期のための情報等の付加情報も多重化されるが、この例においては簡単のため省略している。
【００３６】
本実施の形態２のメディア情報処理装置によれば、符号化メディア情報層のスタッフィング量１１１ｂはランダムな事象のため、従来のメディア情報処理装置による多重化層のスタッフィングデータの最大値を保証するために必要な帯域ＢＲ１の半分程度しか統計的に発生しない。また、本実施の形態２のメディア情報処理装置によれば、多重化層のスタッフィングデータの最大値を保証するための帯域ＢＲ２は、上記の例のように帯域ＢＲ１の１／１８３〜３／１８３程度しか発生しないので、おおよそＢＲ１の半分が余剰帯域となる。よって、本実施の形態２のメディア情報処理装置によれば、図８に示すように、（ＢＲ０＋ＢＲ１）の帯域で多重化することができる符号化メディア情報の帯域を、実効的にはおおよそ（ＢＲ０＋ＢＲ１／２−ＢＲ２）にすること、すなわち従来のメディア情報処理装置により多重化可能な符号化メディア情報の帯域ＢＲ０よりも（ＢＲ１／２−ＢＲ２）程度実効的に大きくすることができる。
【００３７】
なお、上記余剰帯域は、必ずしも上記符号化メディア情報１０３ａに割当てる必要は無く、一緒に多重化される他のメディア情報へ割当てたり、一緒に多重化される他のメディア情報と上記符号化メディア情報１０３ａへ分配して割当てたりしても構わない。
【００３８】
次に、本実施の形態２のメディア情報処理装置の符号量制御手段１０６ｂにおける、符号量制御方法について説明する。
【００３９】
図９は、本実施の形態２のメディア情報処理装置において想定している受信バッファモデルにおける、符号化メディア情報１０３ｂの占有量推移を示す図である。時刻ｔ０〜ｔ３は、符号化メディア情報１０３ａ（１０３ｂ）の復号、或いは再生・表示のタイミングを表している。図中の実線で表されるバッファ占有量の推移においては、固定ビットレート（ＢＲ０＋ＢＲ１−ＢＲ２）で受信バッファにデータが流入し、復号、或いは再生・表示のタイミングで消費される符号化メディア情報１０３ｂの符号量（ＢＦ＋ＢＳＭ）が瞬間的に受信バッファから抜き取られる。符号化メディア情報１０３ｂの符号量は、符号化メディア情報１０３ａの符号量ＢＦに、各復号（或いは再生・表示）タイミングにおいて挿入される符号化メディア情報層のスタッフィングデータ量ＢＳＭを加算したものである。符号化メディア層のスタッフィングデータ量ＢＳＭはランダムな事象であるので、符号化メディア情報１０３ｂは固定ビットレートとなるが、符号化メディア情報１０３ａは可変ビットレートとなる。具体的には、パケット化のタイミングでない符号化メディア情報１０３ａ（１０３ｂ）の復号（或いは再生・表示）のタイミングや、符号化メディア情報１０３ａが、ちょうどパケットに分割できたタイミングにおいては、スタッフィングデータは発生しないので、ＢＳＭ＝０となり、符号化メディア情報１０３ａの瞬間的なビットレートは（ＢＲ０＋ＢＲ１−ＢＲ２）となる。逆に、最大のスタッフィングデータが発生した場合には、帯域ＢＲ１がスタッフィングデータにより使用されるので、瞬間のビットレートは帯域（ＢＲ０−ＢＲ２）となる。
【００４０】
以上のように、本発明の実施の形態１のメディア情報処理装置によれば、従来のメディア情報処理装置に比べ、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができる。
【００４１】
また、パケット化装置２０２ｃから符号化装置２０１ｃへスタッフィング量を出力する必要が無いので、符号装置２０１ｃとパケット化装置２０２ｃの独立性が高められ、保守性が高められるという効果も得られる。
【００４２】
（実施の形態３）
さらに、上記各実施の形態で示したメディア情報処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００４３】
図１０は、上記上記各実施の形態のメディア情報処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００４４】
図１０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割当てられた領域に、上記プログラムが記録されている。
【００４５】
また、図１０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。メディア情報処理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムによりメディア情報処理方法を実現する上記メディア情報処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００４６】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００４７】
（実施の形態４）
さらにここで、上記実施の形態で示したメディア情報処理方法の応用例とそれを用いたシステムを説明する。
【００４８】
図１１は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【００４９】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００５０】
しかし、コンテンツ供給システムｅｘ１００は図１１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【００５１】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【００５２】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【００５３】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様にメディア情報処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記メディア情報処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００５４】
このシステムを構成する各機器のメディア情報処理には上記各実施の形態で示したメディア情報処理装置を用いるようにすればよい。
【００５５】
その一例として携帯電話について説明する。
【００５６】
図１２は、上記実施の形態で説明したメディア情報処理方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【００５７】
さらに、携帯電話ｅｘ１１５について図１３を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【００５８】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【００５９】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００６０】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【００６１】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【００６２】
画像符号化部ｅｘ３１２及び多重分離部ｅｘ３０８は、本願発明で説明したメディア情報処理装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示したメディア情報処理装置に用いたメディア情報処理方法によって圧縮符号化、及びパケット化することによりパケット化された符号化画像データに変換する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【００６３】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【００６４】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【００６５】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【００６６】
次に、画像復号化部ｅｘ３０９は、符号化画像データを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００６７】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１４に示すようにディジタル放送用システムにも上記実施の形態のメディア情報処理装置を組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、再生装置ｅｘ４０３は、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取って復号化し、再生された映像信号をモニタｅｘ４０４に表示する。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【００６８】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１３に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００６９】
このように、上記実施の形態で示したメディア情報処理方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００７０】
【発明の効果】
以上の様に、本発明のメディア情報処理方法によれば、従来のメディア情報処理装置に比べ、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができ、その実用的価値が高い。
【図面の簡単な説明】
【図１】本発明のメディア情報処理装置のブロック図
【図２】本発明のメディア情報処理方法によるデータ構造の一例を示す図
【図３】本発明のメディア情報処理方法による帯域内訳の一例を示す図
【図４】本発明のメディア情報処理方法における受信バッファ占有量推移の一例を示す図
【図５】本発明のメディア情報処理装置のブロック図
【図６】本発明のメディア情報処理装置のブロック図
【図７】本発明のメディア情報処理方法によるデータ構造の一例を示す図
【図８】本発明のメディア情報処理方法による帯域内訳の一例を示す図
【図９】本発明のメディア情報処理方法における受信バッファ占有量推移の一例を示す図
【図１０】上記各実施の形態のメディア情報処理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図
【図１１】コンテンツ供給システムの全体構成を示すブロック図
【図１２】メディア情報処理方法を用いた携帯電話の例を示す図
【図１３】携帯電話のブロック図
【図１４】ディジタル放送用システムの例を示す図
【図１５】従来のメディア情報処理方法によるデータ構造の一例を示す図
【図１６】従来のメディア情報処理装置のブロック図
【図１７】従来のメディア情報処理方法における受信バッファ占有量推移の一例を示す図
【図１８】従来のメディア情報処理方法による帯域内訳の一例を示す図
【符号の説明】
１０１ メディア情報
１１１ａ，１１１ｂ スタッフィング量
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ
１０２ 符号化手段
１０３ａ 符号化メディア情報
１０４ 符号化検出手段
１０５ 符号量
１０６ａ 補填量制御手段
１０７ 符号量制御信号
１０８ 符号量検出手段
１０９ 符号量
１１０ａ 補填量制御手段
１１２ 補填手段
１１３ 符号化メディア情報
１１４ パケット分割手段
１１５ 多重化手段
１１６ ＮＵＬＬパケット生成手段
１１７ ＮＵＬＬパケット
１１８ 多重化データ
２０１ａ 符号化装置
２０２ａ パケット化装置
【発明の属する技術分野】
本発明は、メディア情報を効率よく固定長パケット化するメディア情報処理方法、及び装置に関する。
【０００２】
【従来の技術】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ ： Ｉｎｔｅｇｒｅｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００６】
ビデオやオーディオなどのメディア情報（以下、マルチメディア情報と呼ぶ）は、同時並行して発生する。マルチメディア情報を通信チャネルで伝送し受信側で再現するためには、同期情報とともに１本のストリームに多重化する必要がある。このような多重化を実現する国際標準のひとつに、ＭＰＥＧ−２システムのＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、以下ＭＰＥＧ−２ ＴＳと呼ぶ）がある。ＭＰＥＧ−２ ＴＳでは、符号化されたメディア情報を個々のメディアごとに適当な単位でパケット化して可変長のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを構成し、さらに固定長のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケット単位に分割した後に多重化する。
【０００７】
１ＴＳパケットを構成して送信するためには、１ＴＳパケットを構成するための符号化済みデータが揃っている必要があるため、特に低ビットレートの符号化においてはパケット化の処理遅延が問題となる。この処理遅延を小さくするため、従来の多重化方法は、１ＴＳパケットを構成するのに不足しているデータ量と同量の冗長データ（スタッフィングデータ）を多重化層において挿入し、符号化済みデータとあわせて１ＴＳパケットを構成する（例えば、特許文献１参照）。ＰＥＳパケットは可変長であるため、スタッフィングデータ量は一定にはならない。
【０００８】
通信チャネルのビットレートが固定である場合、個々のメディア情報毎、或いは複数のメディア情報毎に固定ビットレートとなるようにビットレート制御する必要がある。上記従来の多重化方法により、固定ビットレートＢＲ０で符号化されたメディア情報を、ＴＳパケットのような多重化のための固定長パケットに分割すると、スタッフィングデータ量が一定でないために、パケット化後のメディア情報は可変ビットレートとなってしまう。パケット化後のメディア情報のビットレートを固定にする方法として、ビットレートの揺らぎ分以上の余裕を持たせたビットレートを該メディア情報に割当てて、パケット化後のビットレートが割当てられたビットレートに対して不足している場合には、ＮＵＬＬパケットと呼ばれるメディア情報に対して意味を持たない無効なパケットをメディア情報のパケットと多重化することで、固定ビットレートになるようにデータ量を制御する方法がある。ビットレートの揺らぎ分は、発生し得る最大のスタッフィングデータ（ＭＰＥＧ−２ ＴＳの場合、最大で１８３バイト）が連続して発生した場合のスタッフィングデータのビットレートＢＲ１に相当し、１回のスタッフィングデータの最大発生量と１秒あたりのスタッフィング発生回数の積で求められる。このビットレートＢＲ１分の余裕を持たせておけば、パケット化後のメディア情報が割当てられたビットレートを超えないことを保証できる。
【０００９】
図１５は、上記パケット化を用いた多重化データのデータ構造の一例を表しており、１つのビデオ信号と１つのオーディオ信号を多重化する例である。一般的には、同期のための情報等の付加情報も多重化されるが、この例においては簡単のため省略している。図において、ビデオやオーディオは所定の処理単位毎に、固定長パケット化可能なデータサイズになるように多重化層においてスタッフィングされている。最大のスタッフィングビット数が連続しない場合は、所定ビットレート（ＢＲ０＋ＢＲ１）にデータ量が満たないため、ＮＵＬＬパケットが挿入される。なお、上記所定の処理単位としては、ビデオの場合は、ｎ枚（ｎは１以上の整数）のフレーム毎や、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）やＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｏｐｓ）毎などの方法が考えられる。また、オーディオの場合は、ｍ個（ｍは１以上の整数）のＡＤＴＳフレーム（ＡｕｄｉｏＤａｔａ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）毎などの方法が考えられる。
【００１０】
図１６は、上記の方法によりパケット化後のメディア情報のビットレートを固定にする従来のメディア情報処理装置の一例を示すブロック図である。
【００１１】
上記従来のメディア情報処理装置は、メディア情報１０１をフィードバック制御によりビットレート制御しながら符号化し、符号化メディア情報１０３ａを出力する符号化装置２０１ｄと、所定の処理単位毎にスタッフィングしながら符号化メディア情報１０３ａをパケット化するパケット化装置２０２ｄと、ＮＵＬＬパケット１１７を生成するＮＵＬＬパケット生成手段１１６と、複数チャネルのパケット化された符号化メディア情報ＣＨ−１〜ＣＨ−ｎとＮＵＬＬパケット１１７を所定の方法により多重化し、多重化データ１１８を出力する多重化手段１１５から構成されている。
【００１２】
符号化装置２０１ｄは、符号量制御信号１０７に応じてメディア情報１０１を符号化し、符号化メディア情報１０３ａを出力する符号化手段１０２と、符号化メディア情報１０３ａから所定の符号化処理単位毎の符号量を検出し、符号量１０５を出力する符号量検出手段１０４と、符号量１０５に基づき符号化メディア情報１０３ａの符号量を制御する符号量制御信号１０７を出力する符号量制御手段１０６ｃから構成されている。符号化メディア情報１０３ａは、固定ビットレートＢＲ０で伝送された符号化メディア情報１０３ａを復号する復号器の受信バッファが、オーバーフロー或いはアンダーフローしないように、図１７に示すような受信バッファモデルの占有量推移を想定して符号化される。時刻ｔ０〜ｔ３は、符号化メディア情報１０３ａの復号、或いは再生・表示のタイミングを表している。この想定においては、固定ビットレートＢＲ０で受信バッファにデータが流入し、復号、或いは再生・表示のタイミングで消費される符号化メディア情報１０３ａの符号量ＢＦが瞬間的に受信バッファから抜き取られる。
【００１３】
パケット化装置２０２ｄは、符号化メディア情報１０３ａから所定のパケット化処理単位毎の符号量を検出し、符号量１０９を出力する符号量検出手段と１０８と、符号量１０９から所定のパケットサイズに分割するのに必要なスタッフィング量１１１ａを決定する補填量制御手段と、スタッフィング量１１１ａに応じて符号化メディア情報１０３ａにスタッフィングビットを挿入する補填手段１１２と、スタッフィングされた符号化メディア情報１１３をパケットに分割するパケット分割手段１１４から構成されている。
【００１４】
多重化手段１１５は、パケット化された符号化メディア情報ＣＨ−１〜ＣＨ−ｎのそれぞれに対し、データ量が所定のビットレート（ＢＲ０＋ＢＲ１）に足りているか否かをチェックし、足りていない場合はＮＵＬＬパケット１１７を挿入しながらＣＨ−１〜ＣＨ−ｎを多重化する。
【００１５】
以上のようにして、従来の方法では、符号化されたマルチメディア情報を多重化することが可能である。
【００１６】
【特許文献１】
特開平９−７４５４６号公報（第４−７頁、第１図）
【００１７】
【発明が解決しようとする課題】
図１８は、１つのビデオ信号、及び１つのオーディオ信号を従来の方法により多重化した場合の伝送帯域内訳を表している。従来の方法では、全体のビットレートを守るために、スタッフィングデータの最大値を保証するための帯域ＢＲ１を、符号化ビデオ情報や符号化オーディオ情報などの符号化メディア情報の帯域ＢＲ０に対して付加する必要がある。しかしながら、実際には、スタッフィングデータ量はランダムな事象であるため、帯域ＢＲ１の半分程度しか統計的に発生せず、帯域ＢＲ１の半分程度に相当する残りの帯域はＮＵＬＬパケットが多重化されている。すなわち、従来の方法には、全体のビットレートを保証するために、メディア情報に対して意味を持たない無効なパケットを送信する帯域が必要となる非効率さがあった。
【００１８】
本発明は以上の点を考慮してなされたもので、メディア情報を効率よく多重化するメディア情報処理方法、及び装置を提案しようとするものである。
【００１９】
【課題を解決するための手段】
この課題を解決するために、第１の発明は、メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報と前記パケット化のために挿入される多重化層のスタッフィングデータを合わせたデータ量が所定のビットレートになるように、前記符号化メディア情報の符号量を第３の所定の方法により制御することを特徴とするメディア情報処理方法である。
【００２０】
第２の発明は、メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報の所定の処理単位分のデータサイズを、前記パケット化の所定のデータサイズの整数倍を超えない最大のデータサイズに、第３の所定の方法により所定の精度にて合わせることを特徴とするメディア情報処理方法である。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
【００２２】
（実施の形態１）
図１は、本発明の実施の形態１のメディア情報処理装置の一例を表すブロック図である。従来のメディア情報処理装置とは、スタッフィング量１１１ａがパケット化装置２０２ａから符号化装置２０１ａの符号量制御手段１０６ａへ出力されている点が異なり、これ以外の構成は同じである。
【００２３】
以下、従来のメディア情報処理装置により、メディア情報を帯域ＢＲ０で符号化して多重化した場合に必要となる帯域（ＢＲ０＋ＢＲ１）において、本発明の実施の形態１のメディア情報処理装置によりメディア情報を符号化して多重化した場合の例について説明する。なお、上記ＢＲ１は、従来のメディア情報処理装置による多重化の際に必要となる、多重化層のスタッフィングデータの最大値を保証するために必要な帯域である。
【００２４】
本発明の実施の形態１のメディア情報処理装置によれば、スタッフィング量１１１ａを考慮して符号化メディア情報１０３ａのビットレートを制御することができるので、スタッフィング量１１１ａが少ない場合は符号化メディア情報１０３ａのビットレートを上げ、スタッフィング量１１１ａが多い場合は符号化メディア情報１０３ａのビットレートを下げることで、パケット化された符号化メディア情報ＣＨ−１を固定ビットレート（ＢＲ０＋ＢＲ１）にすることができる。よって、従来のメディア情報処理装置では、スタッフィング量１１１ａの変動を吸収するために必要であったＮＵＬＬパケット挿入が、本実施の形態１のメディア情報処理装置では不要となる。
【００２５】
図２は、本実施の形態１のメディア情報処理装置による多重化データのデータ構造の一例を表している。この例は、１つのビデオ信号と１つのオーディオ信号を多重化した例であり、一般的には、同期のための情報等の付加情報も多重化されるが、この例においては簡単のため省略している。図において、ビデオやオーディオは所定の処理単位毎に、固定長パケット化可能なデータサイズになるように多重化層においてスタッフィングされている。スタッフィングビット数に応じて所定ビットレートに合うように符号化データ量を制御するため、図１５に示される従来のメディア情報処理装置による多重化データのデータ構造と異なり、ＮＵＬＬパケットが挿入されていない。
【００２６】
スタッフィング量１１１ａはランダムな事象のため、多重化層のスタッフィングデータの最大値を保証するために必要な帯域ＢＲ１の半分程度しか統計的に発生しない。従来のメディア情報処理装置では、図１８に示すように、帯域ＢＲ１の半分程度に相当する残りの帯域にＮＵＬＬパケットを挿入する必要があったが、図３に示すように、本実施の形態１のメディア情報処理装置ではＮＵＬＬパケットを挿入する必要が無いため、ＢＲ１の半分程度に相当する残りの帯域は余剰帯域となり、符号化メディア情報１０３ａに割当てることが可能となる。すなわち、符号化メディア情報１０３ａの実効的なビットレートをＢＲ０より高めることができ、その結果、メディア情報の再生品質を向上、或いは情報量を増加させることができる。
【００２７】
なお、上記余剰帯域は、必ずしも上記符号化メディア情報１０３ａに割当てる必要は無く、一緒に多重化される他のメディア情報へ割当てたり、一緒に多重化される他のメディア情報と上記符号化メディア情報１０３ａへ分配して割当てたりしても構わない。
【００２８】
次に、本発明の実施の形態１のメディア情報処理装置の動作について、従来のメディア情報処理装置と異なる点についてのみ説明する。
【００２９】
符号量制御手段１０６ａは、符号量１０５とスタッフィング量１１１ａに基づき、ピークレートが（ＢＲ０＋ＢＲ１）である可変ビットレートにて、符号化メディア情報１０３ａの符号量を制御する符号量制御信号１０７を出力する。
【００３０】
図４の実線は、本実施の形態１のメディア情報処理装置において想定している受信バッファモデルにおける、符号化メディア情報１０３ａの占有量推移を示す図である。時刻ｔ０〜ｔ３は、符号化メディア情報１０３ａの復号、或いは再生・表示のタイミングを表している。図中の実線で表されるバッファ占有量の推移においては、可変ビットレートで受信バッファにデータが流入し、復号、或いは再生・表示のタイミングで消費される符号化メディア情報１０３ａの符号量ＢＦが瞬間的に受信バッファから抜き取られる。各瞬間における流入データ量は、ピークレート（ＢＲ０＋ＢＲ１）でバッファリングしたデータ量から、実際に発生したスタッフィングデータ量ＢＳＳを減算した量となる。具体的には、時刻ｔ０からｔ１の流入データ量は、｛（ＢＲ０＋ＢＲ１）×（ｔ１−ｔ０）−ＢＳＳ（ｔ０）｝で表される。なお、パケット化のタイミングでない符号化メディア情報１０３ａの復号（或いは再生・表示）のタイミングや、符号化メディア情報１０３ａが、ちょうどパケットに分割できたタイミングにおいては、スタッフィングデータは発生しないので、瞬間のビットレートはピークレート（ＢＲ０＋ＢＲ１）となる。逆に、最大のスタッフィングデータが発生した場合には、帯域ＢＲ１がスタッフィングデータにより使用されるので、瞬間のビットレートは従来のメディア情報処理装置によるメディア情報用の帯域ＢＲ０と等しくなる。
【００３１】
以上のように、本発明の実施の形態１のメディア情報処理装置によれば、従来のメディア情報処理装置と比べて、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができる。
【００３２】
なお、図５に示すメディア情報処理装置によっても、本実施の形態１のメディア情報処理装置と同様に、従来のメディア情報処理装置と同じ帯域において、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができるという効果が得られる。図１のメディア情報処理装置は、パケット化装置２０２ａの補填量制御手段１１０ａから出力されるスタッフィング量１１１ａを用いて、符号化装置２０１ａの符号量制御手段１０６ａは可変ビットレートにて符号化メディア情報１０３ａの符号量制御を行うが、図５のメディア情報処理装置は、補填量制御手段１１０ａと同様の方法によりスタッフィング量を決定し出力する補填量制御手段１１０ｂを符号化装置２０１ｂ内部に備え、補填量制御手段１１０ｂから出力されるスタッフィング量１１１ｂを用いて、符号量制御手段１０６ａは可変ビットレートにて符号化メディア情報１０３ａの符号量制御を行う点が異なっている。図５のメディア情報処理装置の上記以外の構成、及び動作については、図１のメディア情報処理装置と同様であるので説明を省略する。図５の構成によれば、パケット化装置２０２ｂから符号化装置２０１ｂへスタッフィング量を出力する必要が無いので、符号装置２０１ｂとパケット化装置２０２ｂの独立性が高められ、保守性が高められるという効果も得られる。
【００３３】
（実施の形態２）
図６は、本発明の実施の形態２のメディア情報処理装置の一例を表すブロック図である。従来のメディア情報処理装置とは、符号化装置２０１ｃの内部構成が異なっている。具体的には、符号化装置２０１ｃは、補填量制御手段１１０ａと同様の方法により、符号量１０５から所定のパケットサイズに分割するのに必要なスタッフィング量１１１ｂを決定し出力する補填量制御手段１１０ｂと、スタッフィング量１１１ｂに応じて符号化メディア情報１０３ａに符号化メディア情報層のスタッフィングビットを挿入する補填手段１１９と、符号量１０５とスタッフィング量１１１ｂに基づいて符号化メディア情報１０３ｂが固定ビットレートとなるように符号化メディア情報１０３ａの符号量を制御する符号量制御手段１０６ｂを備える点が異なり、上記以外は従来の符号化装置と同様の構成、動作である。
【００３４】
以下、従来のメディア情報処理装置により、メディア情報を帯域ＢＲ０で符号化して多重化した場合に必要となる帯域（ＢＲ０＋ＢＲ１）において、本発明の実施の形態２のメディア情報処理装置によりメディア情報を符号化して多重化した場合の例について説明する。なお、上記ＢＲ１は、従来のメディア情報処理装置による多重化の際に必要となる、多重化層のスタッフィングデータの最大値を保証するために必要な帯域である。
【００３５】
本発明の実施の形態２のメディア情報処理装置によれば、スタッフィング量１１１ｂに応じて補填手段１１９において符号化メディア情報層にスタッフィングビットを挿入するので、符号化メディア情報層のスタッフィングビットにより符号化メディア情報１０３ｂが任意サイズに調整可能な場合は、図７のビデオ処理単位１のように固定長パケットのデータサイズの整数倍のデータサイズに調整できるため、補填手段１１２における多重化層のスタッフィングビットは不要となる。しかしながら、一般的に符号化メディア情報は１バイト（８ビット）単位で扱われるが、ＭＰＥＧ−４ビデオ（符号化メディア情報）の場合、スタッフィングを行える最小単位が９ビットから３２ビットと１バイトを超えるため、固定長パケットのデータサイズの整数倍となるデータサイズにうまく符号量を調整できない場合がある。このような場合には、図７のビデオ処理単位２のように、符号化メディア情報のデータサイズが固定長パケットのデータサイズの整数倍を超えない最大のサイズになるまで、符号化メディア情報層のスタッフィングデータを挿入すればよい。このようにすれば、多重化層のスタッフィングデータ量の最大値を符号化メディア情報層のスタッフィングデータの最小単位より小さく抑えることができる。以上のようにして、本発明の実施の形態２のメディア情報処理装置の構成によれば、１回の多重化層のスタッフィングデータ量の最大値を、符号化メディア情報層のスタッフィングデータの最小単位より小さく抑制することができるため、本発明の実施の形態２のメディア情報処理装置による多重化層のスタッフィングデータの最大値を保証するための帯域ＢＲ２は、従来のメディア情報処理装置による多重化層のスタッフィングデータの最大値を保証するための帯域ＢＲ１よりも小さくすることができる。具体的には、ＭＰＥＧ−２ ＴＳでＭＰＥＧ−４ビデオを多重化する場合は、従来のメディア情報処理装置による多重化層のスタッフィングデータ量の最大値とＭＰＥＧ−４ビデオのスタッフィングデータ量の最小値から、ＢＲ２／ＢＲ１＝１／１８３〜３／１８３となる。なお、図７のデータ構造は、１つのビデオ信号と１つのオーディオ信号を多重化した例であり、一般的には、同期のための情報等の付加情報も多重化されるが、この例においては簡単のため省略している。
【００３６】
本実施の形態２のメディア情報処理装置によれば、符号化メディア情報層のスタッフィング量１１１ｂはランダムな事象のため、従来のメディア情報処理装置による多重化層のスタッフィングデータの最大値を保証するために必要な帯域ＢＲ１の半分程度しか統計的に発生しない。また、本実施の形態２のメディア情報処理装置によれば、多重化層のスタッフィングデータの最大値を保証するための帯域ＢＲ２は、上記の例のように帯域ＢＲ１の１／１８３〜３／１８３程度しか発生しないので、おおよそＢＲ１の半分が余剰帯域となる。よって、本実施の形態２のメディア情報処理装置によれば、図８に示すように、（ＢＲ０＋ＢＲ１）の帯域で多重化することができる符号化メディア情報の帯域を、実効的にはおおよそ（ＢＲ０＋ＢＲ１／２−ＢＲ２）にすること、すなわち従来のメディア情報処理装置により多重化可能な符号化メディア情報の帯域ＢＲ０よりも（ＢＲ１／２−ＢＲ２）程度実効的に大きくすることができる。
【００３７】
なお、上記余剰帯域は、必ずしも上記符号化メディア情報１０３ａに割当てる必要は無く、一緒に多重化される他のメディア情報へ割当てたり、一緒に多重化される他のメディア情報と上記符号化メディア情報１０３ａへ分配して割当てたりしても構わない。
【００３８】
次に、本実施の形態２のメディア情報処理装置の符号量制御手段１０６ｂにおける、符号量制御方法について説明する。
【００３９】
図９は、本実施の形態２のメディア情報処理装置において想定している受信バッファモデルにおける、符号化メディア情報１０３ｂの占有量推移を示す図である。時刻ｔ０〜ｔ３は、符号化メディア情報１０３ａ（１０３ｂ）の復号、或いは再生・表示のタイミングを表している。図中の実線で表されるバッファ占有量の推移においては、固定ビットレート（ＢＲ０＋ＢＲ１−ＢＲ２）で受信バッファにデータが流入し、復号、或いは再生・表示のタイミングで消費される符号化メディア情報１０３ｂの符号量（ＢＦ＋ＢＳＭ）が瞬間的に受信バッファから抜き取られる。符号化メディア情報１０３ｂの符号量は、符号化メディア情報１０３ａの符号量ＢＦに、各復号（或いは再生・表示）タイミングにおいて挿入される符号化メディア情報層のスタッフィングデータ量ＢＳＭを加算したものである。符号化メディア層のスタッフィングデータ量ＢＳＭはランダムな事象であるので、符号化メディア情報１０３ｂは固定ビットレートとなるが、符号化メディア情報１０３ａは可変ビットレートとなる。具体的には、パケット化のタイミングでない符号化メディア情報１０３ａ（１０３ｂ）の復号（或いは再生・表示）のタイミングや、符号化メディア情報１０３ａが、ちょうどパケットに分割できたタイミングにおいては、スタッフィングデータは発生しないので、ＢＳＭ＝０となり、符号化メディア情報１０３ａの瞬間的なビットレートは（ＢＲ０＋ＢＲ１−ＢＲ２）となる。逆に、最大のスタッフィングデータが発生した場合には、帯域ＢＲ１がスタッフィングデータにより使用されるので、瞬間のビットレートは帯域（ＢＲ０−ＢＲ２）となる。
【００４０】
以上のように、本発明の実施の形態１のメディア情報処理装置によれば、従来のメディア情報処理装置に比べ、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができる。
【００４１】
また、パケット化装置２０２ｃから符号化装置２０１ｃへスタッフィング量を出力する必要が無いので、符号装置２０１ｃとパケット化装置２０２ｃの独立性が高められ、保守性が高められるという効果も得られる。
【００４２】
（実施の形態３）
さらに、上記各実施の形態で示したメディア情報処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００４３】
図１０は、上記上記各実施の形態のメディア情報処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００４４】
図１０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割当てられた領域に、上記プログラムが記録されている。
【００４５】
また、図１０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。メディア情報処理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムによりメディア情報処理方法を実現する上記メディア情報処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００４６】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００４７】
（実施の形態４）
さらにここで、上記実施の形態で示したメディア情報処理方法の応用例とそれを用いたシステムを説明する。
【００４８】
図１１は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【００４９】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００５０】
しかし、コンテンツ供給システムｅｘ１００は図１１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【００５１】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【００５２】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【００５３】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様にメディア情報処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記メディア情報処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００５４】
このシステムを構成する各機器のメディア情報処理には上記各実施の形態で示したメディア情報処理装置を用いるようにすればよい。
【００５５】
その一例として携帯電話について説明する。
【００５６】
図１２は、上記実施の形態で説明したメディア情報処理方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【００５７】
さらに、携帯電話ｅｘ１１５について図１３を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【００５８】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【００５９】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００６０】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【００６１】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【００６２】
画像符号化部ｅｘ３１２及び多重分離部ｅｘ３０８は、本願発明で説明したメディア情報処理装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示したメディア情報処理装置に用いたメディア情報処理方法によって圧縮符号化、及びパケット化することによりパケット化された符号化画像データに変換する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【００６３】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【００６４】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【００６５】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【００６６】
次に、画像復号化部ｅｘ３０９は、符号化画像データを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００６７】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１４に示すようにディジタル放送用システムにも上記実施の形態のメディア情報処理装置を組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、再生装置ｅｘ４０３は、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取って復号化し、再生された映像信号をモニタｅｘ４０４に表示する。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【００６８】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１３に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００６９】
このように、上記実施の形態で示したメディア情報処理方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００７０】
【発明の効果】
以上の様に、本発明のメディア情報処理方法によれば、従来のメディア情報処理装置に比べ、符号化メディア情報の帯域を実効的に広げることが可能となり、その結果メディア情報の再生品質を向上、或いは情報量を増加させることができ、その実用的価値が高い。
【図面の簡単な説明】
【図１】本発明のメディア情報処理装置のブロック図
【図２】本発明のメディア情報処理方法によるデータ構造の一例を示す図
【図３】本発明のメディア情報処理方法による帯域内訳の一例を示す図
【図４】本発明のメディア情報処理方法における受信バッファ占有量推移の一例を示す図
【図５】本発明のメディア情報処理装置のブロック図
【図６】本発明のメディア情報処理装置のブロック図
【図７】本発明のメディア情報処理方法によるデータ構造の一例を示す図
【図８】本発明のメディア情報処理方法による帯域内訳の一例を示す図
【図９】本発明のメディア情報処理方法における受信バッファ占有量推移の一例を示す図
【図１０】上記各実施の形態のメディア情報処理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図
【図１１】コンテンツ供給システムの全体構成を示すブロック図
【図１２】メディア情報処理方法を用いた携帯電話の例を示す図
【図１３】携帯電話のブロック図
【図１４】ディジタル放送用システムの例を示す図
【図１５】従来のメディア情報処理方法によるデータ構造の一例を示す図
【図１６】従来のメディア情報処理装置のブロック図
【図１７】従来のメディア情報処理方法における受信バッファ占有量推移の一例を示す図
【図１８】従来のメディア情報処理方法による帯域内訳の一例を示す図
【符号の説明】
１０１ メディア情報
１１１ａ，１１１ｂ スタッフィング量
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ
１０２ 符号化手段
１０３ａ 符号化メディア情報
１０４ 符号化検出手段
１０５ 符号量
１０６ａ 補填量制御手段
１０７ 符号量制御信号
１０８ 符号量検出手段
１０９ 符号量
１１０ａ 補填量制御手段
１１２ 補填手段
１１３ 符号化メディア情報
１１４ パケット分割手段
１１５ 多重化手段
１１６ ＮＵＬＬパケット生成手段
１１７ ＮＵＬＬパケット
１１８ 多重化データ
２０１ａ 符号化装置
２０２ａ パケット化装置
Claims (8)
- メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報と前記パケット化のために挿入される多重化層のスタッフィングデータを合わせたデータ量が所定のビットレートになるように、前記符号化メディア情報の符号量を第３の所定の方法により制御することを特徴とするメディア情報処理方法。
- 請求項１記載のメディア情報処理方法であって、前記第３の所定の方法は、前記所定のビットレートを最高ビットレートとする可変ビットレートにて前記符号化メディア情報の符号量を制御する方法であることを特徴とするメディア情報処理方法。
- メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報の所定の処理単位分のデータサイズを、前記パケット化の所定のデータサイズの整数倍を超えない最大のデータサイズに、第３の所定の方法により所定の精度にて合わせることを特徴とするメディア情報処理方法。
- 請求項３記載のメディア情報処理方法であって、前記第３の所定の方法は、データサイズが不足する場合に符号化メディア情報層のスタッフィングデータを挿入する方法であり、前記所定の精度は、前記符号化メディア情報層のスタッフィングデータの最小サイズより小さいことを特徴とするメディア情報処理方法。
- メディア情報を入力とし、前記メディア情報が符号化された符号化メディア情報を、所定のデータサイズにパケット化して出力するメディア情報処理装置であって、入力されたメディア情報を符号量制御信号に応じて符号化し、符号化メディア情報を出力する符号化手段と、前記符号化メディア情報から第１の符号量を検出する第１の符号量検出手段と、前記第１の符号量とスタッフィング量に応じて前記符号量制御信号を決定する符号量制御手段と、前記符号化メディア情報から第２の符号量を検出する第２の符号量検出手段と、前記第２の符号量に基づき前記スタッフィング量を決定する補填量制御手段と、前記スタッフィング量に応じて前記符号化メディア情報にスタッフィングデータを挿入する補填手段と、前記スタッフィングデータを挿入された符号化メディア情報を所定の長さのパケットに分割して出力するパケット分割手段とで構成されることを特徴とするメディア情報処理装置。
- メディア情報を入力とし、前記メディア情報が符号化された符号化メディア情報を、所定のデータサイズにパケット化して出力するメディア情報処理装置であって、入力されたメディア情報を符号量制御信号に応じて符号化し、符号化メディア情報を出力する符号化手段と、前記符号化メディア情報から第１の符号量を検出する第１の符号量検出手段と、前記第１の符号量から第１のスタッフィング量を決定する第１の補填量制御手段と、前記第１のスタッフィング量と前記第１の符号量に応じて前記符号量制御信号を決定する符号量制御手段と、前記第１のスタッフィング量に応じて前記符号化メディア情報に第１のスタッフィングデータを挿入する第１の補填手段と、前記第１のスタッフィングデータを挿入された符号化メディア情報から第２の符号量を検出する第２の符号量検出手段と、前記第２の符号量から第２のスタッフィング量を決定する第２の補填量制御手段と、前記第２のスタッフィング量に応じて前記第１のスタッフィングデータを挿入された符号化メディア情報に第２のスタッフィングデータを挿入する第２の補填手段と、前記第２のスタッフィングデータが挿入された符号化メディア情報を所定の長さのパケットに分割して出力するパケット分割手段とで構成されることを特徴とするメディア情報処理装置。
- コンピュータにより、請求項１記載のメディア情報処理方法を行うためのプログラムであって、
前記プログラムはコンピュータに、
メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報と前記パケット化のために挿入される多重化層のスタッフィングデータを合わせたデータ量が所定のビットレートになるように、前記符号化メディア情報の符号量を第３の所定の方法により制御することを特徴とするメディア情報処理方法
を、行わせるものであることを特徴とするプログラム。 - コンピュータにより、請求項３記載のメディア情報処理方法を行うためのプログラムであって、
前記プログラムはコンピュータに、
メディア情報を第１の所定の方法により符号化した符号化メディア情報を、第２の所定の方法により所定のデータサイズにパケット化するメディア情報処理方法であって、前記符号化メディア情報の所定の処理単位分のデータサイズを、前記パケット化の所定のデータサイズの整数倍を超えない最大のデータサイズに、第３の所定の方法により所定の精度にて合わせることを特徴とするメディア情報処理方法
を、行わせるものであることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003110094A JP4214816B2 (ja) | 2003-04-15 | 2003-04-15 | メディア情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003110094A JP4214816B2 (ja) | 2003-04-15 | 2003-04-15 | メディア情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004320302A true JP2004320302A (ja) | 2004-11-11 |
| JP4214816B2 JP4214816B2 (ja) | 2009-01-28 |
Family
ID=33471046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003110094A Expired - Fee Related JP4214816B2 (ja) | 2003-04-15 | 2003-04-15 | メディア情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4214816B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006254044A (ja) * | 2005-03-10 | 2006-09-21 | Fujitsu Ltd | 中継装置 |
| JP2007243545A (ja) * | 2006-03-08 | 2007-09-20 | Nec Corp | 多重化スイッチング回路及び多重化スイッチング方法 |
| US20110164177A1 (en) * | 2010-01-05 | 2011-07-07 | Qualcomm Incorporated | Application layer modification to enable transmission gaps |
| JP2012532568A (ja) * | 2009-07-02 | 2012-12-13 | クゥアルコム・インコーポレイテッド | 送信機静穏化および低減レート符号化 |
| JP2013516909A (ja) * | 2010-01-05 | 2013-05-13 | クゥアルコム・インコーポレイテッド | 送信ギャップを使用可能にするためのトランスポートレイヤ修正 |
| JP2013516910A (ja) * | 2010-01-05 | 2013-05-13 | クゥアルコム・インコーポレイテッド | 送信ギャップを使用可能にするためのアプリケーションレイヤ修正 |
| US8537772B2 (en) | 2009-07-02 | 2013-09-17 | Qualcomm Incorporated | Transmitter quieting during spectrum sensing |
| WO2013157220A1 (ja) * | 2012-04-16 | 2013-10-24 | 株式会社ソニー・コンピュータエンタテインメント | サーバ、クライアント装置、データ配信方法、およびデータ配信システム |
| US8780982B2 (en) | 2009-07-02 | 2014-07-15 | Qualcomm Incorporated | Transmitter quieting and different encoding rates for portions of a set of frames |
| US8958475B2 (en) | 2009-07-02 | 2015-02-17 | Qualcomm Incorporated | Transmitter quieting and null data encoding |
| US9112618B2 (en) | 2009-07-02 | 2015-08-18 | Qualcomm Incorporated | Coding latency reductions during transmitter quieting |
| WO2015194395A1 (ja) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | 送信装置および送信方法、並びに受信装置および受信方法 |
| US9319737B2 (en) | 2010-01-05 | 2016-04-19 | Qualcomm Incorporated | Transport layer modification to enable transmission gaps |
| CN108353183A (zh) * | 2015-09-30 | 2018-07-31 | 沃高公司 | 用于基于图片组(gop)对视频数据流进行编码的方法 |
| US10069591B2 (en) | 2007-01-04 | 2018-09-04 | Qualcomm Incorporated | Method and apparatus for distributed spectrum sensing for wireless communication |
| JP2020022087A (ja) * | 2018-08-01 | 2020-02-06 | 日本放送協会 | 映像／パケット変換装置、パケット／映像変換装置、及びプログラム |
| JP2022069536A (ja) * | 2014-09-12 | 2022-05-11 | パナソニックＩｐマネジメント株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
-
2003
- 2003-04-15 JP JP2003110094A patent/JP4214816B2/ja not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006254044A (ja) * | 2005-03-10 | 2006-09-21 | Fujitsu Ltd | 中継装置 |
| JP2007243545A (ja) * | 2006-03-08 | 2007-09-20 | Nec Corp | 多重化スイッチング回路及び多重化スイッチング方法 |
| US10069591B2 (en) | 2007-01-04 | 2018-09-04 | Qualcomm Incorporated | Method and apparatus for distributed spectrum sensing for wireless communication |
| US8902995B2 (en) | 2009-07-02 | 2014-12-02 | Qualcomm Incorporated | Transmitter quieting and reduced rate encoding |
| JP2012532568A (ja) * | 2009-07-02 | 2012-12-13 | クゥアルコム・インコーポレイテッド | 送信機静穏化および低減レート符号化 |
| US9112618B2 (en) | 2009-07-02 | 2015-08-18 | Qualcomm Incorporated | Coding latency reductions during transmitter quieting |
| US8537772B2 (en) | 2009-07-02 | 2013-09-17 | Qualcomm Incorporated | Transmitter quieting during spectrum sensing |
| US8958475B2 (en) | 2009-07-02 | 2015-02-17 | Qualcomm Incorporated | Transmitter quieting and null data encoding |
| JP2015029298A (ja) * | 2009-07-02 | 2015-02-12 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | 送信機静穏化および低減レート符号化 |
| US8780982B2 (en) | 2009-07-02 | 2014-07-15 | Qualcomm Incorporated | Transmitter quieting and different encoding rates for portions of a set of frames |
| JP2013516909A (ja) * | 2010-01-05 | 2013-05-13 | クゥアルコム・インコーポレイテッド | 送信ギャップを使用可能にするためのトランスポートレイヤ修正 |
| JP2013516910A (ja) * | 2010-01-05 | 2013-05-13 | クゥアルコム・インコーポレイテッド | 送信ギャップを使用可能にするためのアプリケーションレイヤ修正 |
| US9942606B2 (en) * | 2010-01-05 | 2018-04-10 | Qualcomm Incorporated | Application layer modification to enable transmission gaps |
| US9319737B2 (en) | 2010-01-05 | 2016-04-19 | Qualcomm Incorporated | Transport layer modification to enable transmission gaps |
| US20110164177A1 (en) * | 2010-01-05 | 2011-07-07 | Qualcomm Incorporated | Application layer modification to enable transmission gaps |
| JP2013223089A (ja) * | 2012-04-16 | 2013-10-28 | Sony Computer Entertainment Inc | サーバ、クライアント装置、データ配信方法、およびデータ配信システム |
| WO2013157220A1 (ja) * | 2012-04-16 | 2013-10-24 | 株式会社ソニー・コンピュータエンタテインメント | サーバ、クライアント装置、データ配信方法、およびデータ配信システム |
| US9549223B2 (en) | 2012-04-16 | 2017-01-17 | Sony Corporation | Server, client apparatus, data distribution method, and data distribution system |
| WO2015194395A1 (ja) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | 送信装置および送信方法、並びに受信装置および受信方法 |
| JPWO2015194395A1 (ja) * | 2014-06-20 | 2017-04-20 | ソニー株式会社 | 送信装置および送信方法、並びに受信装置および受信方法 |
| US10349099B2 (en) | 2014-06-20 | 2019-07-09 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
| US10863214B2 (en) | 2014-06-20 | 2020-12-08 | Saturn Licensing Llc | Transmission device, transmission method, reception device, and reception method |
| JP2022069536A (ja) * | 2014-09-12 | 2022-05-11 | パナソニックＩｐマネジメント株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
| JP7361288B2 (ja) | 2014-09-12 | 2023-10-16 | パナソニックＩｐマネジメント株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
| CN108353183A (zh) * | 2015-09-30 | 2018-07-31 | 沃高公司 | 用于基于图片组(gop)对视频数据流进行编码的方法 |
| JP2018536325A (ja) * | 2015-09-30 | 2018-12-06 | ヴォゴＶｏｇｏ | 画像群（ｇｏｐ）に基づいてビデオデータのストリームを符号化するための方法 |
| CN108353183B (zh) * | 2015-09-30 | 2021-02-09 | 沃高公司 | 用于基于图片组(gop)对视频数据流进行编码的方法 |
| JP2020022087A (ja) * | 2018-08-01 | 2020-02-06 | 日本放送協会 | 映像／パケット変換装置、パケット／映像変換装置、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4214816B2 (ja) | 2009-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100950388B1 (ko) | 화상 부호화 방법 및 화상 복호화 방법 | |
| JP4214816B2 (ja) | メディア情報処理方法 | |
| JP5355807B2 (ja) | 符号化データ配信方法および配信システム | |
| JP4749516B2 (ja) | 復号化システム | |
| JP2010283878A (ja) | 画像復号化方法及び画像復号化装置 | |
| JP5171662B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP2005101860A (ja) | メディア情報処理方法 | |
| JP2004260236A (ja) | 動画像の符号化方法および復号化方法 | |
| JP4197641B2 (ja) | 画像符号化方法 | |
| JP4481612B2 (ja) | 画像復号化装置及びその方法 | |
| JP2004120138A (ja) | 動画像符号化方法および動画像復号化方法 | |
| JP4481970B2 (ja) | 画像符号化装置及びその方法 | |
| JP2004120710A (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラム、及び動画像符号化データ構造 | |
| JP2004166116A (ja) | 動画像符号化装置 | |
| JP2004088135A (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060119 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |