JP2004193989A

JP2004193989A - 符号化伝送装置及び符号化伝送方法

Info

Publication number: JP2004193989A
Application number: JP2002359726A
Authority: JP
Inventors: Hideki Nabesako; 英輝鍋迫; Keisuke Aoki; 敬介青木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-12-11
Filing date: 2002-12-11
Publication date: 2004-07-08
Anticipated expiration: 2022-12-11
Also published as: US10812789B2; US20190222831A1; US8699527B2; DE60325270D1; EP1571769A1; WO2004054148A1; JP3800170B2; US7940810B2; EP1571769A4; US9843798B2; US20170332081A1; KR20050085391A; EP1571769B1; US20110185255A1; US20140169482A1; US20060023753A1; KR101013421B1; US10264251B2

Abstract

【課題】伝送路の負荷が増大した場合でも適切なレート制御を行う。
【解決手段】符号化伝送装置１は、ネットワークの状態を監視する外部出力要求判定部１６を備える。外部出力要求判定部１６は、ネットワーク状態が悪化すると多重化出力部１５の多重化処理を停止し、ネットワークの状態が良好になると、多重化処理を再開する。画像符号化部１１及び音声符号化部１２は、多重化出力部１５の動作に関わらず符号化処理を継続し、画像符号化データ記憶部１３及び音声符号化データ記憶部１４の符号化データ占有量が所定の値を超えると符号化処理を停止し、符号化データ占有量が充分低くなるまで待機する。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化伝送装置及び符号化伝送方法に関し、特に、テレビ会議システム、テレビ電話システム、放送システム、マルチメディアデータベースシステム等のように伝送路を介して送信側から受信側に動画像データを伝送し、伝送した動画像データを受信側で実時間再生（ストリーミング）する場合に好適な符号化伝送装置及び符号化伝送方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際に、画像情報特有の冗長性を利用して、効率の高い情報の伝送及び蓄積を実現した画像情報変換方法が放送局と一般家庭との間の情報配信において普及している。
【０００３】
このような画像情報変換方法には、例えば、ＭＰＥＧ−４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｐｅ）によって標準化されている画像符号化方式がある。この画像符号化方式は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ１４４９６に定義されており、プロフェッショナル用途からコンシューマ用途まで広範なアプリケーションに用いられている。
【０００４】
ＭＰＥＧ−４は、動画像データを圧縮する方式である。ＭＰＥＧ−４規格は、特に、テレビ会議システム、テレビ電話システム、放送システム、マルチメディアデータベースシステムのように、動画像データを実時間再生（以下、ストリーミングと記す。）するための方式を提供している。ＭＰＥＧ−４に準じて、符号化及び伝送処理をした場合、受信側のシステムは、誤り訂正処理やインターリーブ処理などを行っているが、伝送路のトラフィック状態によっては、パケット喪失やデータエラーは避けられない。そのため、ネットワーク上でストリーミングを行う際、出力するデータのビットレートを制御し、伝送路を通過するデータの伝送量を制御する必要がある。
【０００５】
図９は、従来の符号化伝送装置１００の構成を示している。従来の画像情報出力装置１００は、ネットワークの状況を判定するネットワーク状況判定部１０５を備える。ネットワーク状況判定部１０５は、通信している相手からのパケットロス等の情報を受信し、ネットワークの負荷が重いと判定した場合には、画像符号化部１０１及び音声符号化部１０２を制御し、符号化ビットレートを下げる処理を行っている。
【０００６】
また、符号化ビットレートを制御する他の方法として、符号化データを格納する符号化データ記憶部のバッファ占有量を基に、画像符号化部及び音声符号化部の符号化ビットレートを下げる処理を行う符号化伝送装置もある（例えば、特許文献１参照。）。
【０００７】
【特許文献１】
特開平１１−４１６０８号公報
【０００８】
【発明が解決しようとする課題】
しかし、通信相手からの応答をもとに符号化ビットレートを制御する場合、ネットワークの輻輳が起こるような状態では、通信している相手からの応答を受けることも困難になり、ネットワーク状況判定部がネットワークの状況を判定することができず、適切なレート制御ができなくなるおそれがある。また、バッファ占有量を監視するのみでは、ネットワークの状態に応じたレート制御を行うことはできない。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、伝送路の負荷が増大した場合でも適切なレート制御を行う符号化伝送装置及び符号化伝送方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決するため、本発明に係る符号化伝送装置は、データを入力する入力手段と、入力したデータを符号化する符号化手段と、符号化手段によって生成された符号化データを記憶する記憶手段と、記憶手段に記憶している符号化データを多重化し、ネットワークを介して接続された所定の受信装置に多重化したデータを伝送する多重化手段と、ネットワークの状態を監視する監視手段とを備え、多重化手段は、監視手段が検出したネットワークの状態に応じて、多重化するレートを制御する。
【００１１】
また、本発明に係る符号化伝送方法は、データを入力する入力工程と、入力したデータを符号化する符号化工程と、符号化工程によって生成された符号化データを記憶手段に記憶させる記憶工程と、記憶手段に記憶している符号化データを多重化し、ネットワークを介して接続された所定の受信装置に多重化したデータを伝送する多重化工程とを有し、多重化工程では、ネットワークの状態を入力し、入力したネットワークの状態に応じて、多重化するレートを制御する。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明を適用した符号化伝送装置について説明する。本発明を適用した符号化伝送装置は、ストリーミングデータを符号化し、外部に出力する符号化伝送装置であり、次々と入力される画像や音声を復号化し外部に出力する。
【００１３】
符号化伝送装置１は、図１に示すように、入力した画像データを符号化する画像符号化部１１と、入力した音声データを符号化する音声符号化部１２と、符号化した画像データを記憶する画像符号化データ記憶部１３と、符号化した音声データを記憶する音声符号化データ記憶部１４と、符号化された画像データ及び音声データを多重化して出力する多重化出力部１５と、ネットワークを監視し、出力要求を判定する外部出力要求判定部１６を備える。
【００１４】
画像符号化部１１には、ストリーム配信される画像データが次々と入力されている。画像符号化部１１は、入力した画像データをＭＰＥＧ−４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐｅ）などの符号化規則に従って符号化する。画像符号化部１１により符号化された画像符号化データは、画像符号化データ記憶部１３に記憶される。
【００１５】
画像符号化部１１は、画像データを符号化するとともに、多重化出力部１５からの多重化完了信号を受信する。多重化完了信号は、多重化出力部１５が多重化を完了した際に出力する信号であり、多重化した符号化データを識別するための情報が格納されている。画像符号化部１１は、多重化完了情報の記載をもとに、画像符号化データ記憶部１３に記憶された画像符号化データを解放させる。なお、解放とは、ある符号化データが占有していた記憶領域を他の符号化データでも使えるようにする処理である。
【００１６】
また、画像符号化部１１は、多重化完了信号に記述されている情報に基づき、画像符号化データ記憶部１３から多重化出力部１５により読み出された符号化データを判断する。
【００１７】
画像符号化部１１は、その判断結果に基づき、現在画像符号化データ記憶部１３に記憶されているデータを管理して、画像符号化データ記憶部１３のデータ占有量を判断する。
【００１８】
すなわち、画像符号化部１１は、符号化した画像データの容量と多重化した符号化画像データの容量との差から、画像符号化データ記憶部１３の符号化データ占有量を計算する。そして、画像符号化部１１は、符号化データ占有量に応じて、符号化処理を中断若しくは続行する。
【００１９】
音声符号化部１２には、次々と音声データが入力されている。音声符号化部１２は、入力された音声データをＭＰＥＧなどの符号化規則に従って符号化する、音声符号化部１２により符号化された音声符号化データは、音声符号化データ記憶部１４に記憶される。音声符号化部１２は、多重化出力部１５からの多重化完了信号を入力し、この信号に従い、多重化された音声符号化データを音声符号化データ記憶部１４から解放する。
【００２０】
また、音声符号化部１２は、音声データを符号化するとともに、符号化した音声データの容量と多重化した符号化データの容量との差から音声符号化データ記憶部１４の符号化データ占有量を計算し、音声符号化データ記憶部１４の符号化データ占有量に応じて、符号化処理を中断若しくは続行する。
【００２１】
多重化出力部１５は、画像符号化データ記憶部１３及び音声符号化データ記憶部１４に記憶されたデータを読み出し、画像符号化データ及び音声符号化データを多重化して、ネットワークに出力する。多重化出力部１５は、画像符号化データ及び音声符号化データを多重化すると、多重化完了信号を生成する。
【００２２】
多重化完了信号は、多重化した画像符号化データを識別するための信号である。画像符号化部１１や音声符号化部１２は、多重化完了信号に従い、多重化が完了した符号化データを画像符号化データ記憶部１３や音声符号化データ記憶部１４などのメモリから解放させる。
【００２３】
外部出力要求判定部１６は、ネットワークの状態を監視し、ネットワークの状態が悪化した場合には、多重化出力部１５の多重化処理を停止させる多重化停止命令を出力する。
【００２４】
次に、図２〜図４を参照し、上記のような構成を有する符号化伝送装置１が、画像データをネットワークに出力する際の動作を説明する。なお、以下の説明では、まず、画像データの伝送処理についてのみ説明し、音声データの伝送処理については後述する。
【００２５】
伝送処理において、画像符号化部１１の動作と、多重化出力部１５の動作と、多重出力要求判定部の動作は並行して行われる。
【００２６】
まず、画像符号化部１１の動作について説明する。画像符号化部１１は、画像データが入力されると、入力された画像データを符号化し、画像符号化データを生成する。画像符号化部１１は、画像符号化データを画像符号化データ記憶部１３に出力し、画像符号化データ記憶部１３は、入力した画像符号化データを次々に記憶していく。
【００２７】
画像符号化部１１は、画像データを符号化する毎に画像符号化データ記憶部１３の符号化データ占有量をチェックする。符号化データ占有量のチェック方法は、様々あるが、例えば、符号化したデータ容量と多重化したデータの差をもとに算出される。
【００２８】
そして、図２に示すように、画像符号化データ記憶部１３の空き容量が充分に残っている場合、画像符号化部１１は、入力される画像データを符号化し、画像符号化データ記憶部１３に蓄積していく。
【００２９】
また、図３に示すように、画像符号化データ記憶部１３の空き容量が充分に残っていない場合、画像符号化部１１は、入力される画像データの符号化処理を停止する。この際、入力される画像データは符号化されないため、画像データのコマ落ちが発生する。
【００３０】
次に、多重化出力部１５の動作について説明する。多重化出力部１５は、画像符号化部１１の符号化処理と並行して、画像符号化データ記憶部１３に記憶されたデータを多重化し、ネットワークに出力する。多重化出力部１５は、符号化データを多重化すると、画像符号化部１１に多重化完了信号を出力する。画像符号化部１１は、多重化完了信号を受信すると、多重化された画像符号化データの記憶領域を解放する。
【００３１】
このように、画像符号化部１１は、入力された画像データを符号化し、多重化出力部１５は、画像符号化データを多重化しネットワークに出力する。画像符号化データ記憶部１３の符号化データ占有量は、画像符号化データを記憶するごとに増加し、画像符号化データを解放するごとに減少する。
【００３２】
次に、外部出力要求判定部１６の動作について説明する。外部出力要求判定部１６は、画像符号化部１１及び多重化出力部１５の処理と並行して、ネットワークの状態を常に監視し、ネットワークの状態が悪化すると多重化出力部１５に対して、多重化停止命令を出力する。
【００３３】
多重化出力部１５は、多重化停止命令を入力すると、この命令に従い、多重化処理を停止する。画像符号化部１１は、多重化処理が停止しても、入力された画像データを符号化していくため、画像符号化データ記憶部１３には、符号化データが蓄積されていく。画像符号化部１１の符号化処理は、記憶可能容量が充分に少なくなるまで継続し、記憶可能容量が不足した時点で完了する。
【００３４】
次に、図４を参照して、符号化伝送装置１の動作を具体的に説明する。図４は、符号化伝送装置１の動作を示す模式図である。図４の（ａ）は、入力される画像データ、画像符号化データ記憶部１３に記憶された画像符号化データ、ネットワークに出力された画像符号化データの関係を示す図である。図４の（ａ）において、Ｉｎ（ｉ）は入力された画像データを示し、ＥＳ（ｉ）は符号化画像データを示し、Ｏｕｔ（ｉ）は出力された符号化画像データ（以下、出力データを記す。）を示す。ここで、Ｉｎ（ｉ）、Ｅｓ（ｉ），Ｏｕｔ（ｉ）に付けられた添え字「ｉ」は、それぞれのデータが関連することを示す。
【００３５】
図４の（ａ）において、画像データＩｎ（ｉ）から符号化データＥｓ（ｉ）への矢印は画像データＩｎ（ｉ）が符号化されたことを示し、符号化データＥｓ（ｉ）から出力データＯｕｔ（ｉ）への矢印は符号化データＥｓ（ｉ）が多重化されたことを示し、出力データＯｕｔ（ｉ）から符号化データＥｓ（ｉ）は符号化データＥｓ（ｉ）を記憶した領域に対して、解放要求が出力されたことを示している。
【００３６】
また、図４の（ｂ）は、符号化伝送装置１の状態が変化する時点を示す図である。図４の（ｂ）において、時点Ａはネットワーク状態の悪化により多重化停止命令が出力された時点を示し、時点Ｂは画像符号化データ記憶部１３の符号化データ占有量が所定の値を超えた時点を示し、時点Ｃはネットワーク状態が回復し多重化開始命令が出力された時点を示し、時点Ｄは多重化により、符号化データが解放され、符号化データ占有量が所定の値より低くなった時点を示している。
【００３７】
さらに、図４の（ｃ）は、画像符号化データ記憶部１３の符号化データ占有量の推移を示す図である。この図では、横軸を時間とし、縦軸を画像符号化データ記憶部１３の符号化データ占有量としている。
【００３８】
まず、入力される画像データＩｎ（ｉ）について説明する。本実施の形態における符号化伝送装置１は、ストリームデータを伝送するための装置であるため、符号化伝送装置１には、一定の速度で次々と画像データＩｎ（０），Ｉｎ（１），…，Ｉｎ（ｎ＋４）が入力される。
【００３９】
画像符号化部１１は、入力された画像データＩｎ（０），Ｉｎ（１），Ｉｎ（２），Ｉｎ（３）を次々に符号化していき、画像符号化データＥｓ（０），Ｅｓ（１），Ｅｓ（２），Ｅｓ（３）を生成し、生成した画像符号化データを画像符号化データ記憶部１３に格納する。多重化出力部１５は、画像符号化データＥｓ（０），Ｅｓ（１），Ｅｓ（２），Ｅｓ（３）を多重化し、出力データＯｕｔ（０），Ｏｕｔ（１），Ｏｕｔ（２），Ｏｕｔ（３）をネットワークに出力する。
【００４０】
多重化出力部１５は、画像符号化データＥｓ（０），Ｅｓ（１），Ｅｓ（２），Ｅｓ（３）を多重化するごとに多重化完了信号を画像符号化部１１に出力する。画像符号化部１１は、入力した多重化完了信号をもとに、多重化された画像符号化データを解放する。
【００４１】
このような動作の間、画像符号化データ記憶部１３の記憶可能容量は、図４の（ｃ）に示すように、画像データが符号化されるごとに減少し、画像符号化データが多重化されるごとに増加する。この間、符号化と多重化のバランスが取られているので、記憶可能容量は安定している。
【００４２】
次に、時点Ａにおいて、ネットワーク状態が悪化する。外部出力要求判定部１６は、ネットワーク状態の悪化を検出すると、多重化出力部１５に多重化停止命令を出力する。多重化出力部１５は、多重化停止命令に応じて多重化処理を停止する。
【００４３】
多重化処理を停止した後も、画像符号化部１１には、画像データＩｎ（５），Ｉｎ（６），…，Ｉｎ（ｎ−１）が次々と入力される。画像符号化部１１は、多重化処理を停止した後も、入力される画像データＩｎ（５），Ｉｎ（６），…，Ｉｎ（ｎ−１）を符号化し、画像符号化データＥｓ（５），Ｅｓ（６），…，Ｅｓ（ｎ−１）を生成する。
【００４４】
画像符号化部１１は、画像符号化データを記憶させる前に、画像符号化データ記憶部１３の符号化データ占有量を計算し、符号化データ占有量が所定の値に達するまでは入力された画像データを符号化する。ここで、多重化出力部１５の動作は停止しており、画像符号化データ記憶部１３の符号化データ占有量は増加するのみとなる。
【００４５】
そして、時点Ｂで符号化データ占有量が所定の量を超える。画像符号化部１１は、画像符号化データ記憶部１３の符号化データ占有量が所定の量を超えると、符号化処理を停止する。
【００４６】
ここで、所定の量とは、ある画像を符号化するときに必要となる容量である。これは、例えば、複雑な画像データをＩピクチャに符号化したときの容量や低ビットレートで符号化した画像データの容量などがある。
【００４７】
また、符号化のビットレートを変更する場合には、画像符号化部１１は、画像符号化データ記憶部１３の空き容量に応じて、レート制御を行い、空き容量が大きくなるにつれて、画像のビットレートを上げる制御を行うことができる。このような制御により、画質が多少落ちたとしても、フレーム落ちの少ない画像を配信することができる。
【００４８】
画像符号化部１１が画像符号化処理を停止しても、画像符号化部１１には、画像データＩｎ（ｎ），Ｉｎ（ｎ＋１），Ｉｎ（ｎ＋２）が入力されるが、画像符号化部１１は、符号化処理を行わない。従って、入力された画像データＩｎ（ｎ），Ｉｎ（ｎ＋１），Ｉｎ（ｎ＋２）は破棄される。
【００４９】
次いで、時点Ｃにおいて、ネットワークの状態が回復すると、外部出力要求判定部１６は、多重化出力部１５に多重化開始命令を出力する。多重化出力部１５は、多重化開始命令を入力すると、画像符号化データ記憶部１３に記憶された画像符号化データのうち、最初に符号化された画像符号化データＥｓ（４）を読み出して多重化し、ネットワークに出力する。このとき、ネットワークの状態は、回復しているので、出力データＯｕｔ（４）はスムーズに伝送される。
【００５０】
また、多重化出力部１５は、画像符号化データＥｓ（４）を多重化すると、画像符号化部１１に多重化完了信号を出力する。画像符号化部１１は、多重化完了信号に従い、画像符号化データＥｓ（４）が記憶されていた領域を解放する。
【００５１】
画像符号化データの解放すると、画像符号化データ記憶部１３の符号化データ占有量が減少する。符号化データ占有量が減少すると、画像符号化部１１は、符号化処理を再開し、次に入力された画像データＩｎ（ｎ＋４）を符号化して、画像符号化データＥｓ（ｎ＋４）を生成する。
【００５２】
多重化出力部１５は、画像符号化データＥｓ（４），Ｅｓ（５），…，Ｅｓ（ｎ−１）を符号化された順に多重化し、ネットワークに出力する。画像符号化データ記憶部１３の符号化データ占有量は、画像符号化データが多重化されるごとに減少し、画像データが符号化されるごとに増加する。この間、符号化と多重化のバランスが取られているので、記憶可能容量は、安定している。
【００５３】
上述したように、本発明に係る符号化伝送装置１は、外部出力要求判定部１６に常にネットワークの状態を監視させ、外部出力要求判定部１６の判定結果によって、データの伝送処理を停止するか、再開するかを判断する。
【００５４】
本発明に係る符号化伝送装置１において、ネットワークの状態を監視する外部出力要求判定部１６は、ネットワーク上になく、通信相手からの応答がなくても、外部出力判定部からの出力をもとに、ネットワークの状態を確認することができる。
【００５５】
また、上記動作説明では、画像データのみについて説明したが、音声データを処理する動作も画像データと略同一であり、画像データ符号化部１１を音声データ符号化部１２、画像符号化データ記憶部１３を音声符号化データ記憶部１４に置き換えればよい。そのため、音声データを処理する動作については、説明を省略する。
【００５６】
次に、第２の実施の形態における符号化伝送装置２について説明する。第２の実施の形態における符号化伝送装置２は、図５に示すように、音声符号化部２２の前段にフィルタ２７を設けた点を特徴とする。
【００５７】
このフィルタ２７は、音声のフェードイン及びフェードアウトを行うフィルタ２７である。
【００５８】
フィルタ２７は、例えば、音声符号化部２２によって制御される。音声符号化部２２のフィルタ２７を制御する例について説明する。上述したように、音声符号化部２２は、音声データの符号化を開始するごとに、音声符号化データ記憶部２４の符号化データ占有量をチェックする。このとき、符号化データ占有量が大きく、音声データが符号化できなくなりそうな場合には、フィルタ２７を制御し、次に符号化する音声データをフェードアウトさせる。また、画像符号化データ記憶部２４の符号化データ占有量が小さくなり、音声データの符号化を再開する場合には、音声符号化部２２は、フィルタ２７を稼動し、次に符号化する音声データをフェードインさせる。
【００５９】
第２の実施の形態では、音声データのフレーム落ちによる違和感を解消するためにフィルタ２７を設けている。すなわち、音声データの符号化を停止すると、音声データのフレーム落ちが生じ、音声が不連続になる。そのため、フィルタ２７を介して音声のフェードイン、フェードアウトを行うことにより、有音部分から無音部分に滑らかに移行させ、かつ無音部分から有音部分に滑らかに復帰させることができる。
【００６０】
次に、本発明を適用した符号化伝送装置３の第３の実施の形態について説明する。図６は、第３の実施の形態における符号化伝送装置３の構成を示している。第３の実施の形態における符号化伝送装置３は、多重化出力部３５がシェーピング機能を備えたことを特徴とする。
【００６１】
画像データは、その画像の複雑さや動きの激しさ、及び符号化データの種類に応じて情報の発生量が変動する。シェーピング機能は、符号化データ記憶部に蓄積された符号化データを一定の伝送速度でネットワークに出力する機能である。
【００６２】
例えば、画像データをＭＰＥＧの符号化規則に従い符号化すると、画像は、Ｉピクチャ、Ｂピクチャ、Ｐピクチャなどに変換される。Ｉピクチャは、Ｂピクチャ及びＰピクチャの基本となる画像であり、Ｂピクチャ及びＰピクチャよりデータ量が大きい。また、Ｐピクチャは、Ｂピクチャの基本となる画像であり、Ｂピクチャよりデータ量が大きい。そのため、画像データをどのピクチャタイプに符号化するかによって、符号化データのデータ量を変化していく。シェーピング機能は、このようなデータ量の変化による、データ伝送量の変化を抑える。
【００６３】
図７は、第３の実施の形態における、符号化伝送装置３の伝送動作を示す図である。図７の（ａ）は、図４と同様に、入力される画像データをＩｎ（ｉ）、符号化された画像データをＥｓ（ｉ）、ネットワークに出力される画像データをＯｕｔ（ｉ）で表す。
【００６４】
また、図７の（ｂ）は、符号化伝送装置３の状態が変化する時点を示す図である。図７の（ｂ）において、時点Ｏは画像符号化データ記憶部３３の符号化データ占有量が所定の値を超えた時点を示し、時点Ｐは多重化により、符号化データが解放され、符号化データ占有量が所定の値より低くなった時点を示している。
【００６５】
さらに、図７の（ｃ）は、画像符号化データ記憶部３３の符号化データ占有量の推移を示す図である。この図は、横軸を時間とし、縦軸を画像符号化データ記憶部３３の符号化データ占有量としている。
【００６６】
ここで、図７を参照して、符号化伝送装置３の伝送動作について説明する。符号化伝送装置３は、ストリーミングデータを符号化及び伝送する装置であるため、符号化伝送装置３には、画像データＩｎ（０），Ｉｎ（１），Ｉｎ（２），…が次々と入力されている。
【００６７】
画像符号化部３１は、入力された画像データＩｎ（０），Ｉｎ（１），Ｉｎ（２），…を次々に符号化していく。初めに入力された画像データＩｎ（０）は、画像符号化データＥｓ（０）に変換される。この画像符号化データＥｓ（０）はＩピクチャであり、データ量が大きくなる。
【００６８】
そして、画像符号化部３１は、次に入力された画像データＩｎ（１）を画像符号化データＥｓ（１）に変換する。この画像符号化データＥｓ（１）はＰピクチャ又はＢピクチャであり、初めに符号化した画像符号化データＥｓ（０）よりは小さなデータ量となる。
【００６９】
多重化出力部３５は、予め最大データ伝送量を記憶しており、最大データ伝送量を超えないように、画像符号化データ記憶部３３から画像符号化データを読み出す。そして、多重化出力部３５は、読み出した画像符号化データを適当なブロックに分割して多重化し、ネットワークに出力する。
【００７０】
上述したように、画像符号化データＥｓ（０），Ｅｓ（１），Ｅｓ（２），…のデータ量は異なる。多重化出力部３５は、画像符号化データを適当なブロックに分割する。ここでは、Ｅｓ（０）を４つのブロック、Ｅｓ（１）、Ｅｓ（２）を２つのブロックに分割し、分割したブロックを多重化してネットワークに出力する。
【００７１】
このように、Ｅ（０）を複数のブロックに分割して、徐々に伝送するため、画像データの符号化のタイミングと画像符号化データの伝送のタイミングにはずれが生じる。
【００７２】
図７の例では、Ｅｓ（０）を全て伝送した時点では、Ｅｓ（１），Ｅｓ（２），Ｅｓ（３）が符号化され、画像符号化データ記憶部３３に記憶される。このように、符号化データが一定の割合で伝送されるので、符号化画像データのデータ量が大きいと、データ量の画像データを伝送するまでに、後の符号化画像データが画像符号化データ記憶部３３に蓄積されていく。そして、時点Ｏで画像符号化データ記憶部３３の符号化データ占有量が所定の値を超えてしまう。
【００７３】
画像符号化部３１は、符号化データ占有量が所定の値を超えると、符号化処理を停止する。そのため、時点Ｏ以降に入力された画像データＩｎ（４），Ｉｎ（５）は、符号化されずに破棄される。
【００７４】
多重化出力部３５は、画像符号化部３１が符号化処理を停止している間も画像符号化データを多重化し、ネットワークに出力していく。多重化出力部３１は、符号化画像データをブロックに分割し、分割したブロックごとにネットワークに出力する。そして、多重化出力部３５は、各ブロックを出力するごとに、画像符号化部３１に対して、多重化完了信号を出力する。
【００７５】
画像符号化部３１は、多重化完了信号を受信すると、画像符号化データの記憶領域を解放する。そして、画像符号化部３１は、画像データが入力されるごとに、符号化データ占有量をチェックする。図７の例では、時点Ｐで符号化データ占有量が所定の値より低くなり、符号化処理を再開する。
【００７６】
画像符号化部３１は、画像データＩｎ（７），Ｉｎ（８），…と次々に符号化し、画像符号化データＥｓ（７），Ｅｓ（８），…を画像符号化データ記憶部３３に記憶する。多重化出力部３５は、画像符号化データＥｓ（７），Ｅｓ（８），…をブロックに分割しながら多重化し、ネットワークに出力する。多重化出力部３５は、ブロックを多重化するごとに、画像符号化部３１に多重化完了信号を出力する。また、ネットワーク状態が悪化した場合には、外部出力要求判定部３６は、多重化停止命令を多重化出力部３５に出力し、多重化処理を停止させる。
【００７７】
このように、シェーピング機能を備えた符号化伝送装置３は、符号化処理を制御する。符号化伝送装置３は、シェーピング機能を備えたため、データの伝送量が制御できるとともに、ネットワーク状態が悪化した場合には、フレームレートを制御することができる。
【００７８】
なお、この第３の実施の形態についての説明では、画像データについてのみ説明したが、音声データを符号化する場合も画像データと同様である。すなわち、多重化出力部は、最高伝送データ量を超えないように、音声データを分割するシェーピング処理と、多重化出力要求判定部から多重化停止命令が出力されると、多重化処理を停止する制御と、音声符号化データ記憶部の空き容量が小さくなると、符号化処理を停止する制御とを並行して実行すればよい。
【００７９】
次に、第４の実施の形態について説明する。第４の実施の形態における符号化伝送装置４は、図８に示すように、複数の番組を含むストリームデータを出力する。符号化伝送装置４は、番組の個数と同じ個数の画像符号化部４１、音声符号化部４２、画像符号化データ記憶部４３、音声符号化データ記憶部４４を備えている。
【００８０】
ある番組の画像データと音声データは、番組に対応する画像符号化部４１及び音声符号化部４２に出力される。多重化出力部４５は、全ての画像符号化部４１及び音声符号化部４２と接続されている。多重化出力部４５は、各画像符号化部４１及び音声符号化部４２から読み出した画像符号化データ及び音声符号化データを１つのストリームデータに多重化する。
【００８１】
第４の実施の形態における符号化伝送装置４では、画像符号化部４１、音声符号化部４２、画像符号化データ記憶部４３、音声符号化データ記憶部４４は、第１の実施の形態における符号化伝送装置４と略同様の動作を行うが、多重化出力部４５は、第１の実施の形態における符号化伝送装置４とは、異なる動作を行う。
【００８２】
すなわち、多重化出力部４５は、複数の画像符号化データ記憶部４３及び音声符号化データから読み出したデータを多重化する際、どの画像符号化データ記憶部４３及び音声符号化データ記憶部４４からデータを読み出したかを記憶し、データを読み出した番組の画像符号化部４１及び音声符号化部４２に多重化完了信号を出力する。
【００８３】
また、多重化出力部４５は、第２の実施の形態における符号化伝送装置４と同様にシェーピング機能を有し、画像符号化データ記憶部４３及び音声符号化データ記憶部４４に記憶したデータをブロックに分割し、所定のデータ伝送量を超えない範囲でデータを出力するようにしてもよい。
【００８４】
このように、第４の実施の形態に係る符号化伝送装置４は、どの番組のどのデータを多重化したかを多重化出力が記憶し、その番組の画像符号化部４１及び音声符号化部４２に対して多重化完了信号を出力するような構成となっている。このような構成とすることにより、複数の番組と含むストリームデータを配信する符号化伝送装置４にも、本発明を適用することができる。
【００８５】
上述したように、本発明を適用した符号化伝送装置は、ネットワークの状態を判定する外部出力要求判定部を設けたことにより、通信している相手からの応答が返信されない場合でも、ネットワークの状態を把握し、適当なレート制御を実行することができる。
【００８６】
また、本発明は、シェーピング機能を有する符号化伝送装置や複数の番組を有する符号化伝送装置にも適用することができる。
【００８７】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を含む変形及び改良は本発明に含まれるものとする。例えば、上記実施の形態に記載した符号化伝送装置は、ストリームデータを出力するものとしたが、出力するデータはストリームデータに限らず、一時的に符号化データ記憶部に記憶される画像から構成されるデータを出力する符号化伝送装置は、本発明に含まれるものとする。
【００８８】
また、多重化出力部は、ネットワークの状態が悪化すると多重化処理を停止するとしたが、ネットワークの状態に応じて、多重化のビットレートを低下及び高上するような制御を行ってもよい。
【００８９】
さらに、画像符号化部及び音声符号化部は、符号化データ占有量が大きくなると、符号化処理を停止するとしたが、符号化のビットレートを低下及び高上するような制御を行ってもよい。
【００９０】
【発明の効果】
上述したように、本発明は、ネットワークの状態を監視し、ネットワークの状態に応じて、多重化レートを制御する。ネットワークの状態を監視する監視手段は、符号化伝送装置に組み込まれており、通信相手からの受信情報を受け取ることのできない状態でも伝送制御を行うことができる。
【００９１】
また、本発明では、通信相手からの受信情報を待機しなくてもリアルタイムで伝送制御を行うことができる。
【００９２】
また、本発明では、ネットワークを介しての情報を受け取ることなく伝送制御を行うため、ネットワークの負荷を低減させることができる。
【００９３】
さらに、符号化手段が多重化手段からの伝送信号を直接受け取るため、符号化手段は、記憶手段の状態を把握することができる。
【図面の簡単な説明】
【図１】第１の実施の形態における符号化伝送装置の構成を示す図である。
【図２】画像符号化データ記憶部の符号化データ占有量が小さい状態を示す図である。
【図３】画像符号化データ記憶部の符号化データ占有量が大きい状態を示す図である。
【図４】第１の実施の形態における符号化伝送装置の動作を示す図である。
【図５】第２の実施の形態における符号化伝送装置の構成を示す図である。
【図６】第３の実施の形態における符号化伝送装置の構成を示す図である。
【図７】第３の実施の形態における符号化伝送装置の動作を示す図である。
【図８】第４の実施の形態における符号化伝送装置の構成を示す図である。
【図９】従来の符号化伝送装置の構成を示す図である。
【符号の説明】
１符号化伝送装置、１１画像符号化部、１２音声符号化部、１３音声符号化部、１４画像符号化データ記憶部、１５多重化出力部、１６外部出力要求判定部、２７フィルタ

Claims

データを入力する入力手段と、
入力したデータを符号化する符号化手段と、
上記符号化手段によって生成された符号化データを記憶する記憶手段と、
上記記憶手段に記憶している符号化データを多重化し、ネットワークを介して接続された所定の受信装置に多重化したデータを伝送する多重化手段と、
ネットワークの状態を監視する監視手段とを備え、
上記多重化手段は、上記監視手段が検出したネットワークの状態に応じて、多重化するレートを制御することを特徴とする符号化伝送装置。
上記符号化手段は、
上記多重化手段が伝送した符号化データを示す伝送情報を入力し、上記伝送情報に基づき上記記憶手段のデータ占有量を算出し、上記記憶手段のデータ占有量が所定の値より大きい場合には符号化処理を停止し、上記記憶手段のデータ占有量が所定の値より小さい場合には符号化処理を行うことを特徴とする請求項１記載の符号化伝送装置。
上記データには音声データが含まれ、上記符号化手段を停止する手前に符号化する音声データをフェードアウトし、上記符号化手段を再開したときに符号化する音声データをフェードインする音声出力制御手段を有することを特徴とする請求項１記載の符号化伝送装置。
上記伝送手段が伝送できるデータ量の範囲を記憶し、上記伝送手段のデータ伝送量を制御するデータ伝送量制御手段を有すること特徴とする請求項１記載の符号化伝送装置。
上記データは、複数の番組データを含み、
上記符号化手段は、上記複数の番組データを独立に符号化し、
上記記憶手段は、上記複数の番組データの符号化データを独立に記憶し、
上記多重化手段は、上記複数の番組データの符号化データを多重化し、１つの出力データを生成することを特徴とする請求項１記載の符号化伝送装置。
データを入力する入力工程と、
入力したデータを符号化する符号化工程と、
上記符号化工程によって生成された符号化データを記憶手段に記憶させる記憶工程と、
上記記憶手段に記憶している符号化データを多重化し、ネットワークを介して接続された所定の受信装置に多重化したデータを伝送する多重化工程とを有し、
上記多重化工程では、ネットワークの状態を入力し、入力したネットワークの状態に応じて多重化するレートを制御することを特徴とする符号化伝送方法。
上記符号化工程では、上記多重化工程において伝送された符号化データを示す伝送情報を入力し、上記伝送情報に基づき、上記記憶手段のデータ占有量を算出し、上記記憶手段のデータ占有量が所定の値より大きい場合には、符号化処理を停止し、上記記憶手段のデータ占有量が所定の値より小さい場合には符号化処理を行うことを特徴とする請求項６記載の符号化伝送方法。
上記データには、音声データが含まれ、上記符号化手段を停止する手前に符号化する音声データをフェードアウトし、上記符号化手段を再開したときに符号化する音声データをフェードインする音声出力制御手段を有することを特徴とする請求項６記載の符号化伝送方法。
上記データは複数の番組データを含み、
上記符号化工程では、上記複数の番組データを独立に符号化し、
上記記憶工程では、上記複数の番組データの符号化データを独立した記憶手段に記憶し、
上記多重化工程では、上記記憶手段に記憶された複数の番組データの符号化データを多重化し、１つの出力データを生成することを特徴とする請求項６記載の符号化伝送方法。