JP2002534936A - マルチメディア装置におけるビットレート制御 - Google Patents
マルチメディア装置におけるビットレート制御Info
- Publication number
- JP2002534936A JP2002534936A JP2000593107A JP2000593107A JP2002534936A JP 2002534936 A JP2002534936 A JP 2002534936A JP 2000593107 A JP2000593107 A JP 2000593107A JP 2000593107 A JP2000593107 A JP 2000593107A JP 2002534936 A JP2002534936 A JP 2002534936A
- Authority
- JP
- Japan
- Prior art keywords
- multimedia terminal
- terminal device
- bit stream
- bit rate
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
- H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
- Communication Control (AREA)
- Television Systems (AREA)
Abstract
(57)【要約】
マルチメディア端末装置が、第１のビットレートを有し、第１の媒体タイプの第１のビット・ストリーム(１０７)を生成する第１のエンコーダ(１００)と；第２のビットレートを有し、第２の媒体タイプの第２のビット・ストリーム(１１２)を生成する第２のエンコーダ(１１０)と；少なくとも前記第１のビット・ストリーム(１０６)と前記第２のビット・ストリーム(１１２)とを組み合わせて第３のビット・ストリーム(１２３)に変えるマルチプレクサ(１２０)と、を有する。端末装置は、第１のエンコーダ(１００)と第２のエンコーダ(１１０)とに接続される優先順位情報(１３１)を受信する入力素子(１３０)を有し、優先順位情報(１３１)が、第３のビット・ストリーム内での第１および第２の媒体タイプの好適な組み合わせを示し、第１および第２のビットレートに影響を与える。したがって、伝送容量はさらに最適化されて利用され、様々な媒体タイプの比率が情報転送の目的に従ってより好適に調整される。
Description
【０００１】 本発明はマルチメディア端末装置に関し、特に、第１のビットレートを有し、
第１の媒体タイプの第１のビット・ストリームを生成するために第１の信号を符
号化する第１のエンコーダと、第２のビットレートを有し、第２の媒体タイプの
第２のビット・ストリームを生成するために第２の信号を符号化する第２のエン
コーダと、少なくとも上記第１および第２のビット・ストリームを組み合わせて
第３のビット・ストリームに変えるマルチプレクサと、を有するマルチメディア
端末装置に関する。
第１の媒体タイプの第１のビット・ストリームを生成するために第１の信号を符
号化する第１のエンコーダと、第２のビットレートを有し、第２の媒体タイプの
第２のビット・ストリームを生成するために第２の信号を符号化する第２のエン
コーダと、少なくとも上記第１および第２のビット・ストリームを組み合わせて
第３のビット・ストリームに変えるマルチプレクサと、を有するマルチメディア
端末装置に関する。
【０００２】 マルチメディア伝送では、送信側の様々な媒体ソース(ビデオ、音声、データ
、および、制御信号など)から個々に符号化されたビット・ストリームが多重化
されて単一のビット・ストリームに変換され、受信端においてこのビット・スト
リームは再び逆多重化され、様々なマルチメディア・ストリームに変換されて適
切に復号化が行われる。図１のブロック図は、テレビ電話端末装置内の符号化さ
れた音声データ・ストリームとビデオ・データ・ストリームとを組み合わせるた
めの、従来技術の解決策による多重化原理を例示する図である。端末装置はビデ
オ・エンコーダ１００と音声エンコーダ１１０とを有する。音声入力信号１１４
とビデオ入力信号１０６とは、対応する個々のエンコーダへ出力され、そこでこ
れらの信号は符号化アルゴリズムを用いて処理される。この結果得られる符号化
ビット・ストリーム１１２、１０７はエンコーダの関連するビット・ストリーム
・バッファ１１１、１０１へ出力される。ビデオ・ビット・ストリーム・バッフ
ァからのビット・ストリーム１０５と、音声ビット・ストリーム・バッファから
のビット・ストリーム１１３とはマルチプレクサ１２０へ入力され、マルチプレ
クサ１２０はこれら別々のビット・ストリームを組み合わせて１つの合成ビット
・ストリーム１２３に変換する。この合成されたビット・ストリーム１２３はマ
ルチメディア端末装置の伝送手段へ転送される。
、および、制御信号など)から個々に符号化されたビット・ストリームが多重化
されて単一のビット・ストリームに変換され、受信端においてこのビット・スト
リームは再び逆多重化され、様々なマルチメディア・ストリームに変換されて適
切に復号化が行われる。図１のブロック図は、テレビ電話端末装置内の符号化さ
れた音声データ・ストリームとビデオ・データ・ストリームとを組み合わせるた
めの、従来技術の解決策による多重化原理を例示する図である。端末装置はビデ
オ・エンコーダ１００と音声エンコーダ１１０とを有する。音声入力信号１１４
とビデオ入力信号１０６とは、対応する個々のエンコーダへ出力され、そこでこ
れらの信号は符号化アルゴリズムを用いて処理される。この結果得られる符号化
ビット・ストリーム１１２、１０７はエンコーダの関連するビット・ストリーム
・バッファ１１１、１０１へ出力される。ビデオ・ビット・ストリーム・バッフ
ァからのビット・ストリーム１０５と、音声ビット・ストリーム・バッファから
のビット・ストリーム１１３とはマルチプレクサ１２０へ入力され、マルチプレ
クサ１２０はこれら別々のビット・ストリームを組み合わせて１つの合成ビット
・ストリーム１２３に変換する。この合成されたビット・ストリーム１２３はマ
ルチメディア端末装置の伝送手段へ転送される。
【０００３】 上記符号化アルゴリズムによってデータは効率的に圧縮されるものの、この処
理の制限要因、特に、無線インターフェースを介して作動する端末装置における
制限要因として伝送容量がある。したがってこの限られた資源の利用の最適化は
非常に重要である。テレビ電話による解決策では、ビデオ・エンコーダ出力スト
リームのビットレート制御が一般に可能であり、この事実を利用して、多重化デ
ータ・フローの様々な媒体タイプ間で、限られた伝送資源の分割が行われてきた
。
理の制限要因、特に、無線インターフェースを介して作動する端末装置における
制限要因として伝送容量がある。したがってこの限られた資源の利用の最適化は
非常に重要である。テレビ電話による解決策では、ビデオ・エンコーダ出力スト
リームのビットレート制御が一般に可能であり、この事実を利用して、多重化デ
ータ・フローの様々な媒体タイプ間で、限られた伝送資源の分割が行われてきた
。
【０００４】 文献ＩＴＵ電気通信セクタ“ビデオ用コーデック・テストモデル”(最近版８(
ＴＭＮ８)、文献Ｑ１５−Ａ−５９、ポートランド、１９９７年６月２４−２７
日)には、音声エンコーダの一定のビット・ストリームがまず定義され、その後
、ビデオ符号化の空間分解能を調整することにより、可変レートのビデオ・エン
コーダ出力ストリームを残り容量に適合させるようなっている、典型的従来技術
によるテレビ電話アプリケーションについての記載がある。所定の目標が満たさ
れた場合、ビデオ・エンコーダによって一定のビットレートでビット・ストリー
ムが作成される。少なくとも１つの機能(音声符号化など)、あるいは、さらに多
くの機能(信号設定など)に対して可変ビットレートを設ける状況にとって、上記
調整方式はあまりに厳しすぎて、最適に利用可能な伝送能力を利用することがで
きない。なぜなら、マルチプレクサ・バッファ内に空間が未使用のまま残されて
いるかもしれないからである。
ＴＭＮ８)、文献Ｑ１５−Ａ−５９、ポートランド、１９９７年６月２４−２７
日)には、音声エンコーダの一定のビット・ストリームがまず定義され、その後
、ビデオ符号化の空間分解能を調整することにより、可変レートのビデオ・エン
コーダ出力ストリームを残り容量に適合させるようなっている、典型的従来技術
によるテレビ電話アプリケーションについての記載がある。所定の目標が満たさ
れた場合、ビデオ・エンコーダによって一定のビットレートでビット・ストリー
ムが作成される。少なくとも１つの機能(音声符号化など)、あるいは、さらに多
くの機能(信号設定など)に対して可変ビットレートを設ける状況にとって、上記
調整方式はあまりに厳しすぎて、最適に利用可能な伝送能力を利用することがで
きない。なぜなら、マルチプレクサ・バッファ内に空間が未使用のまま残されて
いるかもしれないからである。
【０００５】 さらに、様々な媒体ソースの利用と重要性は、接続の目的と環境に応じて非常
に大きく変動する。従来、他の種類の媒体よりも音声の方に明らかな優先順位が
与えられてきた。端末装置が改善され、端末装置の使用状況が多様化するにつれ
て、様々な状況での優先順位もまた変動する。音声の方がビデオより優先される
場合もあるが、場合によっては、ビデオの良い品質での伝送の方が重要であると
考えられる場合もある。時として、伝送条件に対して調整されるこれら２つの間
の適当な妥協が好適である場合もある。したがって、多重化されたマルチメディ
ア・データ・ストリームの伝送容量の利用の最適化を図りたいという本来の要望
に加えて、ユーザーの目的と状況や使用中の送信リンクの条件に応じて、異なる
データ・ストリーム間でのトレードオフを調整したいという要望が増大している
。
に大きく変動する。従来、他の種類の媒体よりも音声の方に明らかな優先順位が
与えられてきた。端末装置が改善され、端末装置の使用状況が多様化するにつれ
て、様々な状況での優先順位もまた変動する。音声の方がビデオより優先される
場合もあるが、場合によっては、ビデオの良い品質での伝送の方が重要であると
考えられる場合もある。時として、伝送条件に対して調整されるこれら２つの間
の適当な妥協が好適である場合もある。したがって、多重化されたマルチメディ
ア・データ・ストリームの伝送容量の利用の最適化を図りたいという本来の要望
に加えて、ユーザーの目的と状況や使用中の送信リンクの条件に応じて、異なる
データ・ストリーム間でのトレードオフを調整したいという要望が増大している
。
【０００６】 現在、マルチメディア端末装置およびマルチメディア端末装置における利用方
法が発明され、これらを利用して、提示された欠点を減らすことが可能となり、
これらの新しい目的を満たす可能性が拡張されている。本発明の第１の態様によ
れば、マルチメディア端末装置と、第１のビットレートを有し、第１の媒体タイ
プの第１のビット・ストリームを生成するために第１の信号を符号化する第１の
エンコーダと、第２のビットレートを有し、第２の媒体タイプの第２のビット・
ストリームを生成するために第２の信号を符号化する第２のエンコーダと、少な
くとも上記第１および第２のビット・ストリームを組み合わせて第３のビット・
ストリームに変えるマルチプレクサと、が提供される。この端末装置は、上記第
１のエンコーダおよび第２のエンコーダと接続された、優先順位情報を受信する
入力素子を有し、上記第３のビット・ストリームの中で、前記優先順位情報が上
記第１および第２の媒体タイプの好適な組み合わせを示し、上記第１および第２
のビットレートに影響を与えることを特徴とする。
法が発明され、これらを利用して、提示された欠点を減らすことが可能となり、
これらの新しい目的を満たす可能性が拡張されている。本発明の第１の態様によ
れば、マルチメディア端末装置と、第１のビットレートを有し、第１の媒体タイ
プの第１のビット・ストリームを生成するために第１の信号を符号化する第１の
エンコーダと、第２のビットレートを有し、第２の媒体タイプの第２のビット・
ストリームを生成するために第２の信号を符号化する第２のエンコーダと、少な
くとも上記第１および第２のビット・ストリームを組み合わせて第３のビット・
ストリームに変えるマルチプレクサと、が提供される。この端末装置は、上記第
１のエンコーダおよび第２のエンコーダと接続された、優先順位情報を受信する
入力素子を有し、上記第３のビット・ストリームの中で、前記優先順位情報が上
記第１および第２の媒体タイプの好適な組み合わせを示し、上記第１および第２
のビットレートに影響を与えることを特徴とする。
【０００７】 本発明では、目標ビットレートがリアルタイムでインターラクティブに定義さ
れ、異なるエンコーダの符号化機能に影響を与える制御情報によって制御される
。上記端末装置には、多重化されたビット・ストリーム内の様々な媒体タイプ間
の優先順位を示す情報を受信する手段が設けられる。受信された優先順位情報は
符号化処理時に制御情報として使用される。したがって、伝送容量はさらに最適
化されて利用され、様々な媒体タイプの比率が情報転送の目的に従ってより好適
に調整される。
れ、異なるエンコーダの符号化機能に影響を与える制御情報によって制御される
。上記端末装置には、多重化されたビット・ストリーム内の様々な媒体タイプ間
の優先順位を示す情報を受信する手段が設けられる。受信された優先順位情報は
符号化処理時に制御情報として使用される。したがって、伝送容量はさらに最適
化されて利用され、様々な媒体タイプの比率が情報転送の目的に従ってより好適
に調整される。
【０００８】 本発明の第２の態様によれば、第１のマルチメディア端末装置と第２のマルチ
メディア端末装置との間に通信用プロトコルが提供される。前記第１のマルチメ
ディア端末装置は、第１のビットレートを有し、第１の媒体タイプの第１のビッ
ト・ストリームを生成するために第１の信号を符号化する第１のエンコーダと、
第２のビットレートを有し、第２の媒体タイプの第２のビット・ストリームを生
成するために第２の信号を符号化する第２のエンコーダと、上記第１および第２
のビット・ストリームを組み合わせて第３のビット・ストリームに変えるマルチ
プレクサと、を有し、前記プロトコルは第１および第２のマルチメディア端末装
置間で情報を転送するためのフォーマットされた信号を有する。該プロトコルは
、第１のマルチメディア端末装置によって受信される優先順位情報に従って第１
および第２のビットレートを制御する第１のマルチメディア端末装置の能力を示
すメッセージを有し、前記優先順位情報が、第３のビット・ストリーム内での第
１および第２の媒体タイプの好適な組み合わせを示し、上記第１および第２のビ
ットレートに影響を与えることを特徴とする。
メディア端末装置との間に通信用プロトコルが提供される。前記第１のマルチメ
ディア端末装置は、第１のビットレートを有し、第１の媒体タイプの第１のビッ
ト・ストリームを生成するために第１の信号を符号化する第１のエンコーダと、
第２のビットレートを有し、第２の媒体タイプの第２のビット・ストリームを生
成するために第２の信号を符号化する第２のエンコーダと、上記第１および第２
のビット・ストリームを組み合わせて第３のビット・ストリームに変えるマルチ
プレクサと、を有し、前記プロトコルは第１および第２のマルチメディア端末装
置間で情報を転送するためのフォーマットされた信号を有する。該プロトコルは
、第１のマルチメディア端末装置によって受信される優先順位情報に従って第１
および第２のビットレートを制御する第１のマルチメディア端末装置の能力を示
すメッセージを有し、前記優先順位情報が、第３のビット・ストリーム内での第
１および第２の媒体タイプの好適な組み合わせを示し、上記第１および第２のビ
ットレートに影響を与えることを特徴とする。
【０００９】 本発明の第３の態様によれば、マルチメディア伝送の多重化を制御する方法が
提供される。該方法は、第１のビットレートを有し、第１の媒体タイプの第１の
ビット・ストリームを生成するために第１の信号を符号化するステップと、第２
のビットレートを有し、第２の媒体タイプの第２のビット・ストリームを生成す
るために第２の信号を符号化するステップと、少なくとも第１および第２のビッ
ト・ストリームを組み合わせて第３のビット・ストリームに変えるステップと、
を有する。上記方法は、優先順位情報であって、第３のビット・ストリーム内の
、第１および第２の媒体タイプの好適な組み合わせを示す前記優先順位情報を受
信し、該受信された優先順位情報に従って上記第１および第２のビットレートを
調整することを特徴する。
提供される。該方法は、第１のビットレートを有し、第１の媒体タイプの第１の
ビット・ストリームを生成するために第１の信号を符号化するステップと、第２
のビットレートを有し、第２の媒体タイプの第２のビット・ストリームを生成す
るために第２の信号を符号化するステップと、少なくとも第１および第２のビッ
ト・ストリームを組み合わせて第３のビット・ストリームに変えるステップと、
を有する。上記方法は、優先順位情報であって、第３のビット・ストリーム内の
、第１および第２の媒体タイプの好適な組み合わせを示す前記優先順位情報を受
信し、該受信された優先順位情報に従って上記第１および第２のビットレートを
調整することを特徴する。
【００１０】 本発明をさらによく理解するために、また、同発明を実施できる方法を示すた
めに、例として添付図面を参照する。
めに、例として添付図面を参照する。
【００１１】 本発明には他の形式のものも存在するが、マルチメディア通信端末装置のため
のＨ.３２４およびその他の関連する勧告の用語と関連して、また、それらの用
語を用いて本発明の好適な実施例について説明する。図２の機能ブロック図は、
汎用Ｈ.３２４マルチメディア・テレビ電話システムを例示する。このシステム
は、端末ユニット２０と、インターフェース・ユニット２１と、ＧＳＴＮ(一般
電話交換網)ネットワーク２２と、マルチポイント制御ユニット(ＭＣＵ)２３と
、から構成される。Ｈ.３２４を用いる実現装置は各機能素子を備える必要がな
い。移動端末装置には、インターフェース・ユニット２１として任意の適切な無
線インターフェースを設けることができる(Ｈ.３２４添付書類Ｃ)。
のＨ.３２４およびその他の関連する勧告の用語と関連して、また、それらの用
語を用いて本発明の好適な実施例について説明する。図２の機能ブロック図は、
汎用Ｈ.３２４マルチメディア・テレビ電話システムを例示する。このシステム
は、端末ユニット２０と、インターフェース・ユニット２１と、ＧＳＴＮ(一般
電話交換網)ネットワーク２２と、マルチポイント制御ユニット(ＭＣＵ)２３と
、から構成される。Ｈ.３２４を用いる実現装置は各機能素子を備える必要がな
い。移動端末装置には、インターフェース・ユニット２１として任意の適切な無
線インターフェースを設けることができる(Ｈ.３２４添付書類Ｃ)。
【００１２】 ＭＣＵ２３は、ＧＳＴＮネットワーク２２内での情報の流れを集中的に方向づ
けるブリッジとして機能し、いくつかの端末ユニット２０間の通信を可能にする
。インターフェース２１は、同期多重化されたビット・ストリームを変換して、
ＧＳＴＮ上で伝送可能な信号に変え、受信信号を同期ビット・ストリームに変換
する。この同期ビット・ストリームは端末装置２０の多重化／逆多重化プロトコ
ル・ユニット２０１へ送られる。多重化プロトコルは、伝送されたビデオ、音声
、データ、および、制御信号ストリームを多重化して単一のビット・ストリーム
に変え、また、受信したビット・ストリームを逆多重化して様々なマルチメディ
ア・ストリームに変換する。さらに、多重化プロトコルは、各媒体タイプにとっ
て適切となるように、論理フレーミング、シーケンス番号化、誤り訂正を再送な
どによって行う。システム制御２０６の制御プロトコル２０２は、マルチメディ
ア端末装置の操作を行うための終端間信号設定を行い、他のすべての終端間シス
テム機能の信号設定を行う。制御プロトコル２０２は、能力の交換と、コマンド
と指示の信号設定と、論理チャネルのコンテンツを開きかつ完全に記述するメッ
セージを与える。データ・プロトコル２０３は、電子ホワイトボード、静止画像
転送、ファイル交換、データベース・アクセス、音声画像(audiographics)会議
、遠隔装置制御、ネットワーク・プロトコルなどのようなデータ・アプリケーシ
ョン２０７をサポートする。音声用コーデック２０４は、音声用Ｉ/Ｏ装置２０
８からの可聴信号を伝送用に符号化し、また、符号化された音声ストリームの復
号化を行う。この復号化された可聴信号は音声用Ｉ／Ｏ装置を用いて再生される
。ビデオ用コーデック２０５は、ビデオ用Ｉ／Ｏ装置２０９から発するビデオ・
ストリームの符号化を行い、また、表示を行うために、符号化されたビデオ・ス
トリームの復号化を行う。
けるブリッジとして機能し、いくつかの端末ユニット２０間の通信を可能にする
。インターフェース２１は、同期多重化されたビット・ストリームを変換して、
ＧＳＴＮ上で伝送可能な信号に変え、受信信号を同期ビット・ストリームに変換
する。この同期ビット・ストリームは端末装置２０の多重化／逆多重化プロトコ
ル・ユニット２０１へ送られる。多重化プロトコルは、伝送されたビデオ、音声
、データ、および、制御信号ストリームを多重化して単一のビット・ストリーム
に変え、また、受信したビット・ストリームを逆多重化して様々なマルチメディ
ア・ストリームに変換する。さらに、多重化プロトコルは、各媒体タイプにとっ
て適切となるように、論理フレーミング、シーケンス番号化、誤り訂正を再送な
どによって行う。システム制御２０６の制御プロトコル２０２は、マルチメディ
ア端末装置の操作を行うための終端間信号設定を行い、他のすべての終端間シス
テム機能の信号設定を行う。制御プロトコル２０２は、能力の交換と、コマンド
と指示の信号設定と、論理チャネルのコンテンツを開きかつ完全に記述するメッ
セージを与える。データ・プロトコル２０３は、電子ホワイトボード、静止画像
転送、ファイル交換、データベース・アクセス、音声画像(audiographics)会議
、遠隔装置制御、ネットワーク・プロトコルなどのようなデータ・アプリケーシ
ョン２０７をサポートする。音声用コーデック２０４は、音声用Ｉ/Ｏ装置２０
８からの可聴信号を伝送用に符号化し、また、符号化された音声ストリームの復
号化を行う。この復号化された可聴信号は音声用Ｉ／Ｏ装置を用いて再生される
。ビデオ用コーデック２０５は、ビデオ用Ｉ／Ｏ装置２０９から発するビデオ・
ストリームの符号化を行い、また、表示を行うために、符号化されたビデオ・ス
トリームの復号化を行う。
【００１３】 本発明に準拠する可変レート・ビット・ストリームの制御を例示するために、
ビデオビット・ストリームおよび音声ビット・ストリームの制御を意図する本発
明の実施例について本明細書で説明する。他の媒体タイプから成るいくつかのビ
ット・ストリームの対応する実施例の生成が可能である。図１に例示されている
従来技術のテレビ電話用アプリケーションでは、音声エンコーダ１１０は一定の
ビットレートで作動し、当業者には既に公知のように、おそらく音声アクティビ
ティ検出(ＶＡＤ)とサイレンス・フレームとが利用される。音声エンコーダのビ
ット・ストリーム１１２は、まず、音声エンコーダ用ビット・ストリーム・バッ
ファ１１１へ入力され、そこから、バッファされたビット・ストリーム１１３が
マルチプレクサ１２０へ入力される。ビデオ・エンコーダ１００の作動は、いく
つかのビデオ・エンコーダ制御用パラメータ１０２に従ってビットレート制御素
子１０３によって制御される。一般に、利用可能なマルチプレクサ・バッファ１
２１からの割振り(音声データ、制御データ、多重化オーバーヘッドなど)が行わ
れ、次いで、ビデオ・エンコーダ用の利用可能な総ビット・ストリームが、マル
チプレクサ・バッファの、割振り後の利用可能な部分から計算される。利用可能
なビットレートが与えられると、ビデオ・エンコーダ１００は、与えられたビッ
トレートの範囲内で、ビデオ符号化アルゴリズムの性能についての従来の情報に
基づいて、目標フレーム・レートの計算を行うことができる。簡単に説明すれば
、上記オペレーションは、所定のビットレートの範囲に対して適正な空間品質を
可能にするフレーム・レートの選択に対応する。利用可能なビットレートと目標
フレーム・レートとが与えられると、ビデオ・エンコーダ１００は、各フレーム
について使用可能なビット数の計算を行うことができる(フレーム当たりビット
ｂｐｆ)。ビデオ・エンコーダ１００はその空間分解能を調整して、ビデオ・フ
レーム内部のその量子化を増減することにより、ｂｐｆ要件を満たすようにする
ことができる。ビデオ・エンコーダは、その時間分解能を調整して、以前のもの
と比較して多くの変更があるビデオ画像が現れたとき、いくつかのフレームを落
として、さらに多くの符号化を容易にすることなどにより、ｂｐｆ要件を満たす
ようにすることも可能である。
ビデオビット・ストリームおよび音声ビット・ストリームの制御を意図する本発
明の実施例について本明細書で説明する。他の媒体タイプから成るいくつかのビ
ット・ストリームの対応する実施例の生成が可能である。図１に例示されている
従来技術のテレビ電話用アプリケーションでは、音声エンコーダ１１０は一定の
ビットレートで作動し、当業者には既に公知のように、おそらく音声アクティビ
ティ検出(ＶＡＤ)とサイレンス・フレームとが利用される。音声エンコーダのビ
ット・ストリーム１１２は、まず、音声エンコーダ用ビット・ストリーム・バッ
ファ１１１へ入力され、そこから、バッファされたビット・ストリーム１１３が
マルチプレクサ１２０へ入力される。ビデオ・エンコーダ１００の作動は、いく
つかのビデオ・エンコーダ制御用パラメータ１０２に従ってビットレート制御素
子１０３によって制御される。一般に、利用可能なマルチプレクサ・バッファ１
２１からの割振り(音声データ、制御データ、多重化オーバーヘッドなど)が行わ
れ、次いで、ビデオ・エンコーダ用の利用可能な総ビット・ストリームが、マル
チプレクサ・バッファの、割振り後の利用可能な部分から計算される。利用可能
なビットレートが与えられると、ビデオ・エンコーダ１００は、与えられたビッ
トレートの範囲内で、ビデオ符号化アルゴリズムの性能についての従来の情報に
基づいて、目標フレーム・レートの計算を行うことができる。簡単に説明すれば
、上記オペレーションは、所定のビットレートの範囲に対して適正な空間品質を
可能にするフレーム・レートの選択に対応する。利用可能なビットレートと目標
フレーム・レートとが与えられると、ビデオ・エンコーダ１００は、各フレーム
について使用可能なビット数の計算を行うことができる(フレーム当たりビット
ｂｐｆ)。ビデオ・エンコーダ１００はその空間分解能を調整して、ビデオ・フ
レーム内部のその量子化を増減することにより、ｂｐｆ要件を満たすようにする
ことができる。ビデオ・エンコーダは、その時間分解能を調整して、以前のもの
と比較して多くの変更があるビデオ画像が現れたとき、いくつかのフレームを落
として、さらに多くの符号化を容易にすることなどにより、ｂｐｆ要件を満たす
ようにすることも可能である。
【００１４】 ビデオ・エンコーダのこの適合性に起因して、マルチメディア端末装置のレー
ト制御は一般にマルチプレクサ・バッファ空間によって決定され、ビデオ・エン
コーダの作動に最大の影響を与えてきた。この状況は、２以上の可変レート・ビ
ット・ストリームが使用される状況では変化する。
ト制御は一般にマルチプレクサ・バッファ空間によって決定され、ビデオ・エン
コーダの作動に最大の影響を与えてきた。この状況は、２以上の可変レート・ビ
ット・ストリームが使用される状況では変化する。
【００１５】 図３は、可変レートの音声エンコーダの平均ビットレート制御システムを例示
する図である。制御を目的として、音声エンコーダ１１０から出力されるビット
・ストリーム１１２のビットレートはモニターされ、フィードバック・フィルタ
３０６へ出力され、そこで該ビットレートは平均されビットレート内の短期間の
変動が平滑化される。実際の平均ビットレート３０７は音声エンコーダ１１０の
目標ビットレート３０７から減じられて(３０８)、誤差信号３０３が得られ、こ
の誤差信号３０３は制御装置３０４へ出力され、この制御装置３０４によって音
声エンコーダ１１０のための制御情報３０５が生成される。音声エンコーダ内で
用いられるアルゴリズムは制御装置３０４から受信されたこの制御情報に従って
調整される。制御装置３０４内では、任意の制御アルゴリズムあるいは論理回路
の使用が可能である。例えば、一般に当業者に公知のＰＩ(比例積分)タイプの制
御が可能である。
する図である。制御を目的として、音声エンコーダ１１０から出力されるビット
・ストリーム１１２のビットレートはモニターされ、フィードバック・フィルタ
３０６へ出力され、そこで該ビットレートは平均されビットレート内の短期間の
変動が平滑化される。実際の平均ビットレート３０７は音声エンコーダ１１０の
目標ビットレート３０７から減じられて(３０８)、誤差信号３０３が得られ、こ
の誤差信号３０３は制御装置３０４へ出力され、この制御装置３０４によって音
声エンコーダ１１０のための制御情報３０５が生成される。音声エンコーダ内で
用いられるアルゴリズムは制御装置３０４から受信されたこの制御情報に従って
調整される。制御装置３０４内では、任意の制御アルゴリズムあるいは論理回路
の使用が可能である。例えば、一般に当業者に公知のＰＩ(比例積分)タイプの制
御が可能である。
【００１６】 制御ループの機能は実質的には、実際の平均ビットレート３０１を駆動して、
所定の目標ビットレート３０７を追求することであり、入力音声信号７１４は制
御ループに対する外乱とみなすことができる。例えば、ソース制御エンコーダの
場合、ビットレートは適応型の閾値を用いて選択される。音声エンコーダ１１０
用適応型閾値の選択用同調係数として制御装置３０４からの入力信号３０５を使
用することができる。ビットレートを制御するための適応型閾値の具体的利用に
ついては、文献“Toll quality variable rate speech codec”(Pasi Ojala, 音
響、音声及び信号処理に関するＩＥＥＥ国際会議会報、ミュンヘン、ドイツ、１
９９７年４月)にさらに詳細な記載がある。平均ビットレートの制御に加えて、
最大ビットレートを必要とするコードブックの使用を限定することにより、音声
エンコーダの最大ビットレートの制御を行うことも可能である。音声エンコーダ
の平均ビットレートと最大ビットレートの制御を利用して、エンコーダからのビ
ットレート１１２を所定の目標レベルに設定することができる。
所定の目標ビットレート３０７を追求することであり、入力音声信号７１４は制
御ループに対する外乱とみなすことができる。例えば、ソース制御エンコーダの
場合、ビットレートは適応型の閾値を用いて選択される。音声エンコーダ１１０
用適応型閾値の選択用同調係数として制御装置３０４からの入力信号３０５を使
用することができる。ビットレートを制御するための適応型閾値の具体的利用に
ついては、文献“Toll quality variable rate speech codec”(Pasi Ojala, 音
響、音声及び信号処理に関するＩＥＥＥ国際会議会報、ミュンヘン、ドイツ、１
９９７年４月)にさらに詳細な記載がある。平均ビットレートの制御に加えて、
最大ビットレートを必要とするコードブックの使用を限定することにより、音声
エンコーダの最大ビットレートの制御を行うことも可能である。音声エンコーダ
の平均ビットレートと最大ビットレートの制御を利用して、エンコーダからのビ
ットレート１１２を所定の目標レベルに設定することができる。
【００１７】 図４には、音声エンコーダについての平均ビットレート制御実験から得られる
結果が例示されている。図４では、目標ビットレートとエンコーダの実際のビッ
トレートとがおよそ１５００個の連続フレームの中で検討されている。時間Ｐ１
(フレーム１００−３００)中では最大ビットレートは６Ｋｂｉｔ／秒に設定され
ており、時間Ｐ２(フレーム３００−５５０)中では最大ビットレートは８Ｋｂｉ
ｔ／秒に設定されている。時間Ｐ３(フレーム５５０−１０００)では、最大ビッ
トレートは１０Ｋｂｉｔ／秒に設定されており、目標平均ビットレートはより低
いレベル(６Ｋｂｉｔ／秒と９Ｋｂｉｔ／秒)に設定されている。図４からわかる
ように、音声エンコーダに対する平均ビットレートと最大ビットレート制御の影
響は相対的に効果的である。
結果が例示されている。図４では、目標ビットレートとエンコーダの実際のビッ
トレートとがおよそ１５００個の連続フレームの中で検討されている。時間Ｐ１
(フレーム１００−３００)中では最大ビットレートは６Ｋｂｉｔ／秒に設定され
ており、時間Ｐ２(フレーム３００−５５０)中では最大ビットレートは８Ｋｂｉ
ｔ／秒に設定されている。時間Ｐ３(フレーム５５０−１０００)では、最大ビッ
トレートは１０Ｋｂｉｔ／秒に設定されており、目標平均ビットレートはより低
いレベル(６Ｋｂｉｔ／秒と９Ｋｂｉｔ／秒)に設定されている。図４からわかる
ように、音声エンコーダに対する平均ビットレートと最大ビットレート制御の影
響は相対的に効果的である。
【００１８】 音声エンコーダとビデオ・エンコーダ双方のビットレートが制御可能なテレビ
電話用アプリケーションが確かに存在するが、様々な媒体タイプのビットレート
は一般にマルチプレクサ・バッファ空間によって個々に制御される。このような
解決策が、例えば、参考文献：Takahiro Unno, Thomas P. Bamwell, Mark A. Cl
ements著“The multimodal multipulse excitation vocoder”(ICASSP 97, ドイ
ツ、ミュンヘン、１９９７年４月２１−２４日)に記載されている。いずれにせ
よ、マルチプレクサ・バッファの状態は多重化処理の短期間の状況を示すものに
すぎず、したがって、ビット・ストリームの長期の振舞いに関する情報を示すこ
とはできない。音声内の無音時に起因してバッファ空間の一時的増加が生じるが
、その状況の持続時間に関するさらなる情報が存在しないため、このような状況
に対するいずれのエンコーダの適合化も役に立たない。(オーバーフローの危険
がある場合などの)状況によっては、時間分解能の短期間の減少は必要であるが
、さらなる多重化機能と、特に、異なるビット・ストリームの比率間の調整の長
期の最適化とに対しては、さらに双方向の制御操作が必要となる。
電話用アプリケーションが確かに存在するが、様々な媒体タイプのビットレート
は一般にマルチプレクサ・バッファ空間によって個々に制御される。このような
解決策が、例えば、参考文献：Takahiro Unno, Thomas P. Bamwell, Mark A. Cl
ements著“The multimodal multipulse excitation vocoder”(ICASSP 97, ドイ
ツ、ミュンヘン、１９９７年４月２１−２４日)に記載されている。いずれにせ
よ、マルチプレクサ・バッファの状態は多重化処理の短期間の状況を示すものに
すぎず、したがって、ビット・ストリームの長期の振舞いに関する情報を示すこ
とはできない。音声内の無音時に起因してバッファ空間の一時的増加が生じるが
、その状況の持続時間に関するさらなる情報が存在しないため、このような状況
に対するいずれのエンコーダの適合化も役に立たない。(オーバーフローの危険
がある場合などの)状況によっては、時間分解能の短期間の減少は必要であるが
、さらなる多重化機能と、特に、異なるビット・ストリームの比率間の調整の長
期の最適化とに対しては、さらに双方向の制御操作が必要となる。
【００１９】 図５の実施例は、本発明に準拠するマルチメディア端末装置内での制御機能を
例示する。ビデオ・エンコーダ１００は、入力側制御情報に応じてビデオ・エン
コーダ１００の作動を制御するビデオ・ビットレート制御素子１０３を備えてい
る。これに対応して、音声エンコーダ１１０は、入力側制御情報に応じて音声エ
ンコーダ１１０の作動を制御する音声ビットレート制御素子１１５を備えている
。図１の従来技術による解決策に加えて、端末装置は、多重化されたビット・ス
トリーム１２３内に在る様々な媒体タイプ間の好適な比率を定義する優先順位情
報１３１を転送する入力素子１３０を有する。この情報は、エンコーダの制御素
子１１５、１０３へ直接的、間接的に入力される制御情報１３２に好適に変換さ
れる。
例示する。ビデオ・エンコーダ１００は、入力側制御情報に応じてビデオ・エン
コーダ１００の作動を制御するビデオ・ビットレート制御素子１０３を備えてい
る。これに対応して、音声エンコーダ１１０は、入力側制御情報に応じて音声エ
ンコーダ１１０の作動を制御する音声ビットレート制御素子１１５を備えている
。図１の従来技術による解決策に加えて、端末装置は、多重化されたビット・ス
トリーム１２３内に在る様々な媒体タイプ間の好適な比率を定義する優先順位情
報１３１を転送する入力素子１３０を有する。この情報は、エンコーダの制御素
子１１５、１０３へ直接的、間接的に入力される制御情報１３２に好適に変換さ
れる。
【００２０】 入力素子１３０へ出力される優先順位情報１３１は多くの様々なソースから発
している可能性がある。この入力は、入力素子が端末装置のユーザー・インター
フェースの一部である送信用端末のユーザーから着信する場合もある。このこと
は、例えば、キーボードと、スクリーンと、ユーザーが出したコマンドを、フォ
ーマットされた優先順位を示す指示に変換する、適切なソフトウェアとの組合せ
を意味する。スライド・スイッチなどの助けを借りてこのような解決策での優先
順位の調整も可能である。その場合、一方の端へのスイッチのスライドは高品質
の音声を表す１００％の優先順位を意味し、また、反対側の端へのスイッチのス
ライドは高画質のビデオを表す１００％の優先順位を意味する。両端の間のどこ
かへのスイッチのスライドは音声とビデオ間のトレードオフを示す。上記入力は
何らかの外部ソース(受信側ユーザーなど)から着信する場合もある。その場合、
入力素子は端末装置の受信機能の一部分である。このアプローチについては、本
発明の実施例と関連して後程さらに詳細に考察することにする。
している可能性がある。この入力は、入力素子が端末装置のユーザー・インター
フェースの一部である送信用端末のユーザーから着信する場合もある。このこと
は、例えば、キーボードと、スクリーンと、ユーザーが出したコマンドを、フォ
ーマットされた優先順位を示す指示に変換する、適切なソフトウェアとの組合せ
を意味する。スライド・スイッチなどの助けを借りてこのような解決策での優先
順位の調整も可能である。その場合、一方の端へのスイッチのスライドは高品質
の音声を表す１００％の優先順位を意味し、また、反対側の端へのスイッチのス
ライドは高画質のビデオを表す１００％の優先順位を意味する。両端の間のどこ
かへのスイッチのスライドは音声とビデオ間のトレードオフを示す。上記入力は
何らかの外部ソース(受信側ユーザーなど)から着信する場合もある。その場合、
入力素子は端末装置の受信機能の一部分である。このアプローチについては、本
発明の実施例と関連して後程さらに詳細に考察することにする。
【００２１】 図５の実施例では、平均ビットレートの制御と最大ビットレートの制御を利用
して、エンコーダ１００、１１０の作動制御が行われる。優先順位の指示１３１
によって、多重化されたビット・ストリーム内でのビット・ストリームの好適な
組み合わせが示され、その可能なオプションの中には、１つのビット・ストリー
ムに対する最小の優先順位(０％)から最大の優先順位(１００％)までの任意の組
合せが含まれ、その間の任意のトレードオフの組合せが含まれる。この優先順位
情報は、本実施例では、最大ビットレートと平均ビットレートの目標値を含む制
御情報１３２に変換される。前記制御情報１３２は音声およびビデオ・ビットレ
ート制御ユニット１０３、１１５に入力される。音声ビットレート制御ユニット
１１５とビデオ・ビットレート制御ユニット１０３とは、優先順位の指示によっ
て設定された好適な比率に従って符号化の目標ビットレートを調整するように構
成される。この後、エンコーダは前記目標ビットレート・レベルで作動するよう
に構成される。本実施例では、優先順位が高い音声品質に関するものである場合
、入力素子１３０は、音声エンコーダ用として相対的に高い平均ビットレート値
と最大ビットレート値を有し、ビデオ・エンコーダ用としては相対的に低い目標
ビットレート値と最大ビットレート値とを有する制御情報１３２を出力する。優
先順位が、高いビデオ品質にある場合には、入力素子１３０によって、相対的に
低い平均ビットレート値と最大ビットレート値が音声エンコーダ１１０に対して
出力され、また、相対的に高い平均ビットレートと最大ビットレートがビデオ・
エンコーダ１００に対して出力される。音声エンコーダ１１０は、前述のように
、量子化精度の調整やコードブックの選択などによって、ビットレートの調整が
できるように構成される。ビデオ・エンコーダ１００は、当業者には公知の方法
でその空間分解能および時間分解能を調整し、前述したように優先順位の指示に
従って設定された目標ビットレートを満たすように構成される。
して、エンコーダ１００、１１０の作動制御が行われる。優先順位の指示１３１
によって、多重化されたビット・ストリーム内でのビット・ストリームの好適な
組み合わせが示され、その可能なオプションの中には、１つのビット・ストリー
ムに対する最小の優先順位(０％)から最大の優先順位(１００％)までの任意の組
合せが含まれ、その間の任意のトレードオフの組合せが含まれる。この優先順位
情報は、本実施例では、最大ビットレートと平均ビットレートの目標値を含む制
御情報１３２に変換される。前記制御情報１３２は音声およびビデオ・ビットレ
ート制御ユニット１０３、１１５に入力される。音声ビットレート制御ユニット
１１５とビデオ・ビットレート制御ユニット１０３とは、優先順位の指示によっ
て設定された好適な比率に従って符号化の目標ビットレートを調整するように構
成される。この後、エンコーダは前記目標ビットレート・レベルで作動するよう
に構成される。本実施例では、優先順位が高い音声品質に関するものである場合
、入力素子１３０は、音声エンコーダ用として相対的に高い平均ビットレート値
と最大ビットレート値を有し、ビデオ・エンコーダ用としては相対的に低い目標
ビットレート値と最大ビットレート値とを有する制御情報１３２を出力する。優
先順位が、高いビデオ品質にある場合には、入力素子１３０によって、相対的に
低い平均ビットレート値と最大ビットレート値が音声エンコーダ１１０に対して
出力され、また、相対的に高い平均ビットレートと最大ビットレートがビデオ・
エンコーダ１００に対して出力される。音声エンコーダ１１０は、前述のように
、量子化精度の調整やコードブックの選択などによって、ビットレートの調整が
できるように構成される。ビデオ・エンコーダ１００は、当業者には公知の方法
でその空間分解能および時間分解能を調整し、前述したように優先順位の指示に
従って設定された目標ビットレートを満たすように構成される。
【００２２】 このようにビット・ストリームを制御することにより、現在の接続目的と接続
状況に合わせてエンコーダの操作の調整が可能である。また、従来技術による解
決策と比較して、限られた伝送容量がより最適に利用される。このことは、典型
的な従来技術による解決策では、目標ビットレートと目標フレーム・レートが満
たされる場合はいつでも、ビデオ・エンコーダが一定レベルで符号化を行うよう
に構成されるという事実に起因する。従来技術によるビデオ・エンコーダは、音
声エンコーダの振舞いに関する情報を手元に全く有していず、したがってどの位
の期間バッファ内で空間が利用可能な状態のままになるを知らないために、従来
技術のビデオ・エンコーダにはその時間分解能または空間分解能の変更を行うだ
けの価値がない。本発明に準拠する端末装置では、音声エンコーダ１１０は、制
御用パラメータによって設定された制限によって束縛される。したがって利用可
能な伝送容量をさらに余すところなく利用することが可能となる。音声ビット・
ストリームとビデオ・ビット・ストリームとをジョイントしたこの制御に起因し
て、バッファ・オーバーフローの危険が減り、その結果、最適の場合、バッファ
空間を少なくすることができ、それによって伝送遅延を減らすことが可能となる
。
状況に合わせてエンコーダの操作の調整が可能である。また、従来技術による解
決策と比較して、限られた伝送容量がより最適に利用される。このことは、典型
的な従来技術による解決策では、目標ビットレートと目標フレーム・レートが満
たされる場合はいつでも、ビデオ・エンコーダが一定レベルで符号化を行うよう
に構成されるという事実に起因する。従来技術によるビデオ・エンコーダは、音
声エンコーダの振舞いに関する情報を手元に全く有していず、したがってどの位
の期間バッファ内で空間が利用可能な状態のままになるを知らないために、従来
技術のビデオ・エンコーダにはその時間分解能または空間分解能の変更を行うだ
けの価値がない。本発明に準拠する端末装置では、音声エンコーダ１１０は、制
御用パラメータによって設定された制限によって束縛される。したがって利用可
能な伝送容量をさらに余すところなく利用することが可能となる。音声ビット・
ストリームとビデオ・ビット・ストリームとをジョイントしたこの制御に起因し
て、バッファ・オーバーフローの危険が減り、その結果、最適の場合、バッファ
空間を少なくすることができ、それによって伝送遅延を減らすことが可能となる
。
【００２３】 例えば、ビデオ映像の中にイントラ(INTRA)フレームとして符号化を行う必要
がある場面のカットが含まれる場合、大きなビデオ・バーストが生じる可能性が
ある。これは、目標とされているフレームより５〜１０倍多くのフレーム当たり
のビットを必要とする。さらなる本発明の実施例では、異なるエンコーダ間でマ
ルチプレクサ・バッファ・オーバーフローを妨げる必要があるアクションを双方
向に分割する手段が端末装置に設けられる。音声エンコーダ・ビットレート・フ
ィードバック・ループ１２４と、ビデオ・エンコーダ・ビットレート・フィード
バック・ループ１０４とが、マルチプレクサ・バッファ１２１から音声およびビ
デオ・ビットレート制御ユニット１１５、１０３へそれぞれ情報を配信するよう
に構成される。オプションとして、音声用バッファ１１１から音声ビットレート
制御素子１１５へのフィードバック・ループと、ビデオ・バッファ１０１からビ
デオ・ビットレート制御ユニット１０３へのフィードバック・ループとを設ける
ことも可能である。図６は、１つの実施例で使用されるレベルを例示する図であ
る。この実施例では、マルチプレクサ・バッファ・オーバーフローを防止するた
めに適切なアクションを選択する手段に対して、マルチプレクサ・バッファ１２
１の占有レベルの異なる閾値Ａ、Ｂ、Ｃが設けられる。元のパラメータ値は、入
力された優先順位情報に従って閾値ＡとＢとの間にバッファ内容を保持するよう
に設定される。バッファ占有レベルが(例えば大きなビデオ・バーストに起因し
て)Ｂを超えた場合、この状況を補償するアクションが必要となる。本明細書に
記載の実施例では、音声エンコーダ・ビットレート制御素子１１５は、マルチプ
レクサ・バッファ１２１からの音声ビットレート・フィードバック・ループ１２
４から受信した情報に従って、音声エンコーダの目標ビットレート(平均ビット
レート、最大ビットレートあるいはその双方など)を一時的に減らすように構成
される。このようにして音声エンコーダのビットレートを調整してビデオ・エン
コーダからの突然のバーストを受け入れることがあり得るが、伝送される音声の
音質の著しい低下を伴わずにこれを行うには一定の限界がある。ビデオ・エンコ
ーダの場合には、この限界を越えていくつかのアクションを行う必要がある。バ
ッファ占有レベルが閾値Ｃを超えた場合、ビデオ・エンコーダ１００は、マルチ
プレクサ・バッファ１２１から出るビデオ・ビットレート・フィードバック・ル
ープ１０４から受信した情報に従っていくつかのフレームをスキップすることに
よりその時間分解能を調整するように構成される。バースト処理後、目標ビット
レートは復元されて所定の優先順位と一致するように成される。
がある場面のカットが含まれる場合、大きなビデオ・バーストが生じる可能性が
ある。これは、目標とされているフレームより５〜１０倍多くのフレーム当たり
のビットを必要とする。さらなる本発明の実施例では、異なるエンコーダ間でマ
ルチプレクサ・バッファ・オーバーフローを妨げる必要があるアクションを双方
向に分割する手段が端末装置に設けられる。音声エンコーダ・ビットレート・フ
ィードバック・ループ１２４と、ビデオ・エンコーダ・ビットレート・フィード
バック・ループ１０４とが、マルチプレクサ・バッファ１２１から音声およびビ
デオ・ビットレート制御ユニット１１５、１０３へそれぞれ情報を配信するよう
に構成される。オプションとして、音声用バッファ１１１から音声ビットレート
制御素子１１５へのフィードバック・ループと、ビデオ・バッファ１０１からビ
デオ・ビットレート制御ユニット１０３へのフィードバック・ループとを設ける
ことも可能である。図６は、１つの実施例で使用されるレベルを例示する図であ
る。この実施例では、マルチプレクサ・バッファ・オーバーフローを防止するた
めに適切なアクションを選択する手段に対して、マルチプレクサ・バッファ１２
１の占有レベルの異なる閾値Ａ、Ｂ、Ｃが設けられる。元のパラメータ値は、入
力された優先順位情報に従って閾値ＡとＢとの間にバッファ内容を保持するよう
に設定される。バッファ占有レベルが(例えば大きなビデオ・バーストに起因し
て)Ｂを超えた場合、この状況を補償するアクションが必要となる。本明細書に
記載の実施例では、音声エンコーダ・ビットレート制御素子１１５は、マルチプ
レクサ・バッファ１２１からの音声ビットレート・フィードバック・ループ１２
４から受信した情報に従って、音声エンコーダの目標ビットレート(平均ビット
レート、最大ビットレートあるいはその双方など)を一時的に減らすように構成
される。このようにして音声エンコーダのビットレートを調整してビデオ・エン
コーダからの突然のバーストを受け入れることがあり得るが、伝送される音声の
音質の著しい低下を伴わずにこれを行うには一定の限界がある。ビデオ・エンコ
ーダの場合には、この限界を越えていくつかのアクションを行う必要がある。バ
ッファ占有レベルが閾値Ｃを超えた場合、ビデオ・エンコーダ１００は、マルチ
プレクサ・バッファ１２１から出るビデオ・ビットレート・フィードバック・ル
ープ１０４から受信した情報に従っていくつかのフレームをスキップすることに
よりその時間分解能を調整するように構成される。バースト処理後、目標ビット
レートは復元されて所定の優先順位と一致するように成される。
【００２４】 図７のフローチャートは、本発明に準拠するマルチメディア端末装置における
符号化操作を制御する、発明された方法の実施例を例示する。ステップ７１では
、優先順位情報１３１が入力素子１３０で受信され、ステップ７２では、音声ビ
デオ・ビットレート１１２およびビデオ・ビットレート１０７用の目標値が、受
信された優先順位情報に従って調整される。次いで、端末装置が目標ビットレー
トに従って作動する(ステップ７３)。マルチプレクサ・バッファ１２１内に利用
可能な空間がありそうな(すなわちマルチプレクサ・バッファが満たされていな
い)場合(ステップ７４)には、受信された優先順位情報１３１にそのまま従って
、音声ビットレートとビデオ・ビットレート１１２、１０７の目標値が再調整さ
れる。この再調整には、或る所定の方式に好適に従ってエンコーダ１００、１１
０のいずれかあるいは双方のパラメータを含むことができる。すなわち、ビデオ
の方に高い優先順位がある場合には、ビデオの符号化の目標値の方を増加し、音
声の方に高い優先順位がある場合には、音声の符号化の目標値の方を増加するよ
うにする。マルチプレクサ・バッファが十分に満たされ、かつ、オーバーフロー
が検知されない場合(ステップ７５)、端末装置は現在の目標ビットレートに従っ
て作動する。オーバーフローが検知された場合には、その状況を処理する或る所
定の方式に従う。好適には、前記方式が優先順位情報１３１に従って機能し、さ
らにこの方式が優先順位情報１３１から決定できることが望ましい。本実施例で
は、音声用バッファが所定の最低レベルで既に作動しているかどうかを判定する
チェックが行われる(ステップ７６)。この最低レベルに達するまで、音声用ビッ
トレートの目標値は調整される(ステップ７８)。この最低レベルに達した後、１
以上のフレームをスキップすることなどにより、ビデオ・ビットレートの目標値
の調整が行われる(ステップ７７)。オーバーフロー状況が続くかぎりこの調整が
続けられる(ステップ７９)。オーバーフローが終了したとき、現在の優先順位情
報に従って音声およびビデオ制御用パラメータが再調整される(ステップ７２)。
符号化操作を制御する、発明された方法の実施例を例示する。ステップ７１では
、優先順位情報１３１が入力素子１３０で受信され、ステップ７２では、音声ビ
デオ・ビットレート１１２およびビデオ・ビットレート１０７用の目標値が、受
信された優先順位情報に従って調整される。次いで、端末装置が目標ビットレー
トに従って作動する(ステップ７３)。マルチプレクサ・バッファ１２１内に利用
可能な空間がありそうな(すなわちマルチプレクサ・バッファが満たされていな
い)場合(ステップ７４)には、受信された優先順位情報１３１にそのまま従って
、音声ビットレートとビデオ・ビットレート１１２、１０７の目標値が再調整さ
れる。この再調整には、或る所定の方式に好適に従ってエンコーダ１００、１１
０のいずれかあるいは双方のパラメータを含むことができる。すなわち、ビデオ
の方に高い優先順位がある場合には、ビデオの符号化の目標値の方を増加し、音
声の方に高い優先順位がある場合には、音声の符号化の目標値の方を増加するよ
うにする。マルチプレクサ・バッファが十分に満たされ、かつ、オーバーフロー
が検知されない場合(ステップ７５)、端末装置は現在の目標ビットレートに従っ
て作動する。オーバーフローが検知された場合には、その状況を処理する或る所
定の方式に従う。好適には、前記方式が優先順位情報１３１に従って機能し、さ
らにこの方式が優先順位情報１３１から決定できることが望ましい。本実施例で
は、音声用バッファが所定の最低レベルで既に作動しているかどうかを判定する
チェックが行われる(ステップ７６)。この最低レベルに達するまで、音声用ビッ
トレートの目標値は調整される(ステップ７８)。この最低レベルに達した後、１
以上のフレームをスキップすることなどにより、ビデオ・ビットレートの目標値
の調整が行われる(ステップ７７)。オーバーフロー状況が続くかぎりこの調整が
続けられる(ステップ７９)。オーバーフローが終了したとき、現在の優先順位情
報に従って音声およびビデオ制御用パラメータが再調整される(ステップ７２)。
【００２５】 図８は、本発明に準拠するマルチメディア端末装置用の或る実施例の機能モジ
ュールを例示する。中央演算処理装置８１は、メモリ(ＭＥＭ)８２、無線周波数
ブロック(ＲＦ)８３、ユーザー・インターフェース(ＵＩ)８４、インターフェー
ス・ユニット(ＩＵ)８５などの、移動局の様々な機能に責任を負うブロックを制
御する。ＣＰＵには、典型的には、１以上の機能的に内部作動するマイクロプロ
セッサが設けられる。メモリはＲＯＭ(リード・オンリー・メモリ)、ＲＡＭ(ラ
ンダム・アクセス・メモリ)を好適に備え、ＳＩＭユーザー識別モジュールが設
けられメモリによって一般に補足される。マイクロプロセッサは、そのプログラ
ムに従って、無線経路で信号を送受信するＲＦブロック８３を利用する。ユーザ
ーとの通信は、典型的には、スピーカー、ディスプレイ、キーボードを有するＵ
Ｉ８４を介して処理される。インターフェース・ユニット８５はデータ処理エン
ティティとリンクし、ＣＰＵ８１によって制御される。データ処理エンティティ
は、統合型データ・プロセッサあるいは外部データ処理装置などであってもよい
。本発明に準拠する移動端末装置は、少なくとも２つのコーデック８６、８７を
有し、１つはビデオ(８６)用、１つは音声データ(８７)用である。コーデックと
は、データの符号化と復号化を行うエンコーダとデコーダとを好適に備える装置
である。移動端末装置はマルチプレクサ８８も具有し、該マルチプレクサ８８は
、異なるエンコーダによって出力された別個のビット・ストリームと、制御情報
とを有する合成ビット・ストリームを生成し、受信ビット・ストリームから、異
なるデコーダ用の分解されたビット・ストリームを生成する。マルチプレクサは
、符号化された多重化ビット・ストリームをマルチプレクサ・バッファの中へ出
力するように構成される。コーデック８６、８７は制御手段を有し、図５と関連
して説明したように符号化処理オペレーションを制御する制御データ・フィード
バックループによって接続される。図８には２つのビット・ストリームしか示さ
れていないが、３つ以上のビット・ストリーム(制御データ、データ・アプリケ
ーション用データなど、図２参照)を含むこともできる。次いで、各ビット・ス
トリームの目標値が、端末装置によって受信された優先順位情報に従って設定さ
れ、マルチプレクサ・バッファ・オーバーフローが生じた場合に目標値の調整を
行うためのポリシーが前述の方法で定義される。
ュールを例示する。中央演算処理装置８１は、メモリ(ＭＥＭ)８２、無線周波数
ブロック(ＲＦ)８３、ユーザー・インターフェース(ＵＩ)８４、インターフェー
ス・ユニット(ＩＵ)８５などの、移動局の様々な機能に責任を負うブロックを制
御する。ＣＰＵには、典型的には、１以上の機能的に内部作動するマイクロプロ
セッサが設けられる。メモリはＲＯＭ(リード・オンリー・メモリ)、ＲＡＭ(ラ
ンダム・アクセス・メモリ)を好適に備え、ＳＩＭユーザー識別モジュールが設
けられメモリによって一般に補足される。マイクロプロセッサは、そのプログラ
ムに従って、無線経路で信号を送受信するＲＦブロック８３を利用する。ユーザ
ーとの通信は、典型的には、スピーカー、ディスプレイ、キーボードを有するＵ
Ｉ８４を介して処理される。インターフェース・ユニット８５はデータ処理エン
ティティとリンクし、ＣＰＵ８１によって制御される。データ処理エンティティ
は、統合型データ・プロセッサあるいは外部データ処理装置などであってもよい
。本発明に準拠する移動端末装置は、少なくとも２つのコーデック８６、８７を
有し、１つはビデオ(８６)用、１つは音声データ(８７)用である。コーデックと
は、データの符号化と復号化を行うエンコーダとデコーダとを好適に備える装置
である。移動端末装置はマルチプレクサ８８も具有し、該マルチプレクサ８８は
、異なるエンコーダによって出力された別個のビット・ストリームと、制御情報
とを有する合成ビット・ストリームを生成し、受信ビット・ストリームから、異
なるデコーダ用の分解されたビット・ストリームを生成する。マルチプレクサは
、符号化された多重化ビット・ストリームをマルチプレクサ・バッファの中へ出
力するように構成される。コーデック８６、８７は制御手段を有し、図５と関連
して説明したように符号化処理オペレーションを制御する制御データ・フィード
バックループによって接続される。図８には２つのビット・ストリームしか示さ
れていないが、３つ以上のビット・ストリーム(制御データ、データ・アプリケ
ーション用データなど、図２参照)を含むこともできる。次いで、各ビット・ス
トリームの目標値が、端末装置によって受信された優先順位情報に従って設定さ
れ、マルチプレクサ・バッファ・オーバーフローが生じた場合に目標値の調整を
行うためのポリシーが前述の方法で定義される。
【００２６】 移動端末装置内の入力素子１３０は、図５で説明したように、ユーザー・イン
ターフェース８４を介して優先順位情報を受信するように構成することが可能で
ある。移動端末装置内の入力素子１３０は、２つの端末エンティティ間で使用さ
れる通信プロトコルが出力する制御信号を用いて交信している端末装置から優先
順位情報を受信するように構成することが可能である。一般に、プロトコルとは
、２つまたはそれ以上の機能間での通信を確保するために採用される処理手順の
公式の記述である。ＩＴＵ−Ｔ Ｈ.３２４とＨ.３２３等の最新のＩＴＵ−Ｔ(
ＩＴＵ通信標準化セクタ)電気通信テレビ電話規格では、接続の初期化(論理チャ
ネルのオープンや能力セットの交換など)のためのＨ.２４５制御プロトコルが用
いられる。この制御プロトコルを用いて、コマンドと指示とを接続中に送信する
こともできる。図９は、受信用端末から、本発明に準拠する制御入力を容易にす
るために前記プロトコル内で使用可能な制御信号の一例を示す。この信号設定は
、送信端末ＭＳＡと受信端末ＭＳＢ間のネットワーク・エレメントに対して実質
的に透過的であるため、端末装置だけしか本図には示されてない。
ターフェース８４を介して優先順位情報を受信するように構成することが可能で
ある。移動端末装置内の入力素子１３０は、２つの端末エンティティ間で使用さ
れる通信プロトコルが出力する制御信号を用いて交信している端末装置から優先
順位情報を受信するように構成することが可能である。一般に、プロトコルとは
、２つまたはそれ以上の機能間での通信を確保するために採用される処理手順の
公式の記述である。ＩＴＵ−Ｔ Ｈ.３２４とＨ.３２３等の最新のＩＴＵ−Ｔ(
ＩＴＵ通信標準化セクタ)電気通信テレビ電話規格では、接続の初期化(論理チャ
ネルのオープンや能力セットの交換など)のためのＨ.２４５制御プロトコルが用
いられる。この制御プロトコルを用いて、コマンドと指示とを接続中に送信する
こともできる。図９は、受信用端末から、本発明に準拠する制御入力を容易にす
るために前記プロトコル内で使用可能な制御信号の一例を示す。この信号設定は
、送信端末ＭＳＡと受信端末ＭＳＢ間のネットワーク・エレメントに対して実質
的に透過的であるため、端末装置だけしか本図には示されてない。
【００２７】 接続の確立時に、Ｈ.２４５能力交換処理手順を用いて、第１の端末装置ＭＳ
Ａはその端末能力セットをＭＳＢへ送信する。この端末能力セットの中には、音
声ビット・ストリームとビデオ・ビット・ストリームとの間で本発明に準拠して
トレードオフを変更する指示を行うフィールドが含まれる。第２の端末ＭＳＢに
は、端末ＭＳＢのユーザーが、前述したような音声ビット・ストリームとビデオ
・ビット・ストリーム間の自分の優先順位を示すことを可能にするユーザー・イ
ンターフェースが含まれる。これらの優先順位は、整数値１...Ｎなどの範囲と
対応づけられ、音声に対する優先順位は一方の端の値によって示され、ビデオに
対する優先順位はもう一方の端の値によって示される。優先順位の変更を望むと
きはいつでも、端末ＭＳＢのユーザーはユーザー・インターフェースを介して端
末装置へ指示を与え、端末ＭＳＢは、この優先順位を整数値などに変換し、前記
整数値を有するAudioVideoTradeoffコマンドを端末装置ＭＳＡへ送信するように
構成される(信号９.１)。第１の端末装置ＭＳＡは、このコマンドを受信し、前
述したように音声エンコーダとビデオ・エンコーダの制御パラメータとを調整し
、オプションとして、端末装置ＭＳＡの端(信号９.２)で使用される現在の優先
順位を示す、第２の端末ＭＳＢへの確認応答(Ｈ.２４５指示)を生成するように
構成される。このタイプの実施例では、端末ＭＳＢのユーザーには、ユーザーが
送信している信号、並びに、受信している信号と関連して優先順位を調整する可
能性がある。
Ａはその端末能力セットをＭＳＢへ送信する。この端末能力セットの中には、音
声ビット・ストリームとビデオ・ビット・ストリームとの間で本発明に準拠して
トレードオフを変更する指示を行うフィールドが含まれる。第２の端末ＭＳＢに
は、端末ＭＳＢのユーザーが、前述したような音声ビット・ストリームとビデオ
・ビット・ストリーム間の自分の優先順位を示すことを可能にするユーザー・イ
ンターフェースが含まれる。これらの優先順位は、整数値１...Ｎなどの範囲と
対応づけられ、音声に対する優先順位は一方の端の値によって示され、ビデオに
対する優先順位はもう一方の端の値によって示される。優先順位の変更を望むと
きはいつでも、端末ＭＳＢのユーザーはユーザー・インターフェースを介して端
末装置へ指示を与え、端末ＭＳＢは、この優先順位を整数値などに変換し、前記
整数値を有するAudioVideoTradeoffコマンドを端末装置ＭＳＡへ送信するように
構成される(信号９.１)。第１の端末装置ＭＳＡは、このコマンドを受信し、前
述したように音声エンコーダとビデオ・エンコーダの制御パラメータとを調整し
、オプションとして、端末装置ＭＳＡの端(信号９.２)で使用される現在の優先
順位を示す、第２の端末ＭＳＢへの確認応答(Ｈ.２４５指示)を生成するように
構成される。このタイプの実施例では、端末ＭＳＢのユーザーには、ユーザーが
送信している信号、並びに、受信している信号と関連して優先順位を調整する可
能性がある。
【００２８】 図１０は、少なくとも音声、ビデオ、および、その他の種類のデータ伝送が可
能な、本発明に準拠するマルチメディア端末装置の優先順位情報のソースを例示
する。入力素子１３０は、図５と関連して説明したように端末装置のユーザーか
ら優先順位情報の受信を行うことができる。入力素子は、図９と関連して説明し
たように外部ソースから情報を受信することができる。外部ソースＳは、端末装
置と統計データを交換するコンピュータを含む任意の外部ソースであってもよい
。このような場合、コンピュータはデータの１００％の優先順位を自動的に示す
ことも可能であり、それによって音声ビット・ストリームとビデオ・ビット・ス
トリームに対する不要な割振りが回避される。この優先順位情報は、より一般的
な端末制御操作から生じた結果または副産物として、端末装置の制御ユニットＣ
ＰＵ８１から着信する場合もある。
能な、本発明に準拠するマルチメディア端末装置の優先順位情報のソースを例示
する。入力素子１３０は、図５と関連して説明したように端末装置のユーザーか
ら優先順位情報の受信を行うことができる。入力素子は、図９と関連して説明し
たように外部ソースから情報を受信することができる。外部ソースＳは、端末装
置と統計データを交換するコンピュータを含む任意の外部ソースであってもよい
。このような場合、コンピュータはデータの１００％の優先順位を自動的に示す
ことも可能であり、それによって音声ビット・ストリームとビデオ・ビット・ス
トリームに対する不要な割振りが回避される。この優先順位情報は、より一般的
な端末制御操作から生じた結果または副産物として、端末装置の制御ユニットＣ
ＰＵ８１から着信する場合もある。
【００２９】 好適な実施例に関して本発明を例示し説明してきたが、当業者であれば、以下
に請求されているように、本発明の範囲から逸脱することなく、この好適な実施
例に対して改変を行うことができることを認識するであろう。
に請求されているように、本発明の範囲から逸脱することなく、この好適な実施
例に対して改変を行うことができることを認識するであろう。
【図１】 従来技術によるテレビ電話用アプリケーションを例示する。
【図２】 汎用Ｈ.３２４マルチメディアテレビ電話システムを例示する。
【図３】 可変レートの音声エンコーダ用平均ビットレート制御システムを例示する。
【図４】 音声エンコーダ用平均ビットレート制御実験から得られた結果を例示する。
【図５】 本発明に準拠するマルチメディア端末装置内の制御機能を例示する。
【図６】 本発明の１つの実施例で閾値として用いられるレベルを例示する。
【図７】 本発明に準拠する方法を例示する。
【図８】 本発明に準拠するマルチメディア端末装置用の実施例の機能モジュールを例示
する。
する。
【図９】 受信端末からの本発明に準拠する制御入力を容易にするために使用可能な信号
設定の一例を例示する。
設定の一例を例示する。
【図１０】 優先順位情報のための様々なソースを例示する。
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１３年２月１２日（２００１．２．１２）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｒ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ， ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，Ｓ Ｋ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 オヤラ，パシ フィンランド国，エフイーエン−33880 レンパーラ，ラウリンティエ ４ デー Ｆターム(参考） 5C059 KK34 KK35 MC11 RB01 SS07 SS30 TA46 TA75 TC36 UA02 UA05 UA32 5C063 AB03 AB07 AC01 AC05 CA11 CA12 CA20
Claims (18)
- 【請求項１】 第１のビットレートを有し、第１の媒体タイプの第１のビッ
ト・ストリーム(１０７)を生成するために第１の信号(１０６)を符号化する第１
のエンコーダ(１００)と、 第２のビットレートを有し、第２の媒体タイプの第２のビット・ストリーム(
１１２)を生成するために第２の信号(１１４)を符号化する第２のエンコーダ(１
１０)と、 少なくとも前記第１のビット・ストリーム(１０６)と前記第２のビット・スト
リーム(１１２)とを組み合わせて第３のビット・ストリーム(１２３)に変えるマ
ルチプレクサ(１２０)と、を有するマルチメディア端末装置において、 優先順位情報(１３１)を受信する入力素子(１３０)が前記第１のエンコーダ(
１００)と前記第２のエンコーダ(１１０)とに接続されており、前記優先順位情
報(１３１)が、前記第３のビット・ストリーム内での前記第１および第２の媒体
タイプの好適な組み合わせを示して前記第１および第２のビットレートに影響を
与えることを特徴とするマルチメディア端末装置。 - 【請求項２】 請求項１に記載のマルチメディア端末装置において、前記第
１のエンコーダ(１００)は、第１の制御情報(１３２)を受信し、前記第１の制御
情報に従って前記第１のビットレートを制御する第１の制御素子(１０３)を備え
ており、 前記第２のエンコーダ(１１０)は、第１の制御情報(１３２)を受信し、前記第
１の制御情報に従って前記第２のビットレートを制御する第２の制御素子(１１
５)を備えており、 前記入力素子(１３０)は、前記優先順位情報(１３１)に従って生成される前記
第１の制御情報(１３２)を、前記第１の制御素子(１０３)と前記第２の制御素子
(１１５)とに出力するように構成されていることを特徴とするマルチメディア端
末装置。 - 【請求項３】 請求項１に記載のマルチメディア端末装置において、前記第
２の制御素子(１１５)が、第１のフィードバック・ループ(３０１、３０６)と、
比較手段(３０８)と、制御装置(３０４)と、を有しており、 前記第１のフィードバック・ループ(３０１、３０６)は前記第２のビット・ス
トリームの実際の平均ビットレート(３０１)に関する情報を前記比較手段(３０
８)に転送するように構成されており、 前記比較手段(３０８)に目標平均ビットレート(３０７)が供給され、前記第２
のビット・ストリームの前記実際の平均ビットレート(３０１)と前記目標平均ビ
ット・レート(３０７)との間の差分(３０３)を計算し、前記計算された差分(３
０３)を前記制御装置へ出力するように構成されており、 前記制御装置(３０４)は、前記計算された差分(３０３)の受信に対する応答と
して、前記第２のエンコーダ(１１０)に制御信号(３０５)を出力するように構成
されており、 前記第２のエンコーダ(１１０)は、前記制御装置(３０４)からの前記受信され
た制御信号(３０５)に従って前記第２のビット・ストリーム(１１２)のビットレ
ートを調整するように構成されていることを特徴とするマルチメディア端末装置
。 - 【請求項４】 請求項１に記載のマルチメディア端末装置において、 伝送用マルチプレクサ(１２０)からデータを格納するマルチプレクサ・バッフ
ァ(１２１)を有しており、 前記マルチプレクサ・バッファ(１２１)は、前記マルチプレクサ・バッファ(
１２１)の占有レベルに関する情報を転送するように構成される第２のフィード
バック・ループ(１０４、１２４)と接続されており、前記占有レベルが前記バッ
ファ内に格納されているデータの現在量を示すことを特徴とするマルチメディア
端末装置。 - 【請求項５】 請求項４に記載のマルチメディア端末装置において、前記第
２の制御素子(１１５)は、前記第２のフィードバック・ループ(１０４、１２４)
から受信されるフィードバック情報に従って、前記第２のビット・ストリームの
ビットレートをさらに調整するように構成されていることを特徴とするマルチメ
ディア端末装置。 - 【請求項６】 請求項４に記載のマルチメディア端末装置において、前記第
１の制御素子(１０３)は、前記第２のフィードバック・ループ(１０４、１２４)
から受信されるフィードバック情報に従って、前記第１のビット・ストリームの
ビットレートをさらに調整するように構成されていることを特徴とするマルチメ
ディア端末装置。 - 【請求項７】 請求項１乃至６のいずれか１項に記載のマルチメディア端末
装置において、前記第１のエンコーダ(１００)はビデオ・エンコーダであって、
前記第１の制御素子(１０３)は、前記入力素子(１３０)から受信される前記制御
情報(１３２)に従って、ビデオ符号化の空間分解能を調整するように構成されて
いることを特徴とするマルチメディア端末装置。 - 【請求項８】 請求項７に記載のマルチメディア端末装置において、前記第
１の制御素子(１０３)は、前記第２のフィードバック・ループ(１０４、１２４)
から受信されるフィードバック情報に従って、ビデオ符号化の時間分解能を調整
するように構成されていることを特徴とするマルチメディア端末装置。 - 【請求項９】 請求項８に記載のマルチメディア端末装置において、前記マ
ルチプレクサ・バッファ(１２１)に対して第１の閾値(Ｂ)が設けられ、前記第１
の閾値(Ｂ)を超える前記マルチプレクサ・バッファ(１２１)の占有レベルに対す
る応答として、前記第１の制御素子(１０３)と前記第２の制御素子(１０３、１
１５)のいずれかが、対応するビット・ストリームのビットレートを調整するよ
うに構成されていることを特徴とするマルチメディア端末装置。 - 【請求項１０】 請求項９に記載のマルチメディア端末装置において、前記
第２のエンコーダ(１１０)は音声エンコーダであって、前記第１の閾値(Ｂ)を超
える前記マルチプレクサ・バッファ(１２１)占有レベルに対する応答として、前
記第２の制御手段(１１５)が、前記第２のビット・ストリームのビットレートを
調整するように構成されることを特徴とするマルチメディア端末装置。 - 【請求項１１】 請求項１０に記載のマルチメディア端末装置において、前
記マルチプレクサ・バッファ(１２１)に対して、マルチプレクサ・バッファ占有
レベルを示す第２の閾値(Ｃ)が設けられ、前記第２の閾値の方が前記第１の閾値
(Ｂ)より高くなるように設けられ、さらに、前記第１の制御手段(１０３)が、前
記第２の閾値(Ｃ)を超える前記マルチプレクサ・バッファ(１２１)占有レベルに
対する応答として、前記第１のビット・ストリームのビットレートを調整するよ
うに構成されていることを特徴とするマルチメディア端末装置。 - 【請求項１２】 請求項１乃至９のいずれか１項に記載のマルチメディア端
末装置において、前記端末装置は、ビデオ用コーデック(８６)および音声用コー
デック(８７)、ならびに、移動通信網と通信を行うための手段(８３)を有するこ
とを特徴とするマルチメディア端末装置。 - 【請求項１３】 請求項１２に記載のマルチメディア端末装置において、前
記優先順位情報(１３１)を入力するためのユーザー・インターフェース(８４)を
有することを特徴とするマルチメディア端末装置。 - 【請求項１４】 請求項１３に記載のマルチメディア端末装置において、前
記ユーザー・インターフェース(８４)はスライド式スイッチを有することを特徴
とするマルチメディア端末装置。 - 【請求項１５】 請求項１２に記載のマルチメディア端末装置において、移
動通信網から優先順位情報(１３１)を受信する手段(８１、８３)を有することを
特徴とするマルチメディア端末装置。 - 【請求項１６】 第１のマルチメディア端末装置(ＭＳＡ)と第２のマルチメ
ディア端末装置(ＭＳＢ)との間で通信を行うためのプロトコルであって、前記第
１のマルチメディア端末装置(ＭＳＡ)は、 第１のビットレートを有し、第１の媒体タイプの第１のビット・ストリーム(
１０７)を生成するために第１の信号(１０６)を符号化する第１のエンコーダ(１
００)と、 第２のビットレートを有し、第２の媒体タイプの第２のビット・ストリーム(
１１２)を生成するために第２の信号(１１４)を符号化する第２のエンコーダ(１
１０)と、 前記第１のビット・ストリーム(１０７)と前記第２の(１１２)ビット・ストリ
ームとを組み合わせて第３のビット・ストリーム(１２３)に変えるマルチプレク
サ(１２０)と、を有し、 前記第１のマルチメディア端末(ＭＳＡ)と前記第２のマルチメディア端末装置
(ＭＳＢ)との間で情報を転送するためのフォーマットされた信号を有する前記プ
ロトコルにおいて、 第１のマルチメディア端末装置(ＭＳＡ)によって受信された優先順位情報に従
って、前記第１ビットレートと前記第２のビットレートとを制御する、前記第１
のマルチメディア端末装置(ＭＳＡ)の能力を示すメッセージを有し、前記優先順
位情報(１３１)が、前記第３のビット・ストリーム内での、前記第１の媒体タイ
プと第２の媒体タイプとの好適な組み合わせを示し、前記第１および第２のビッ
トレートに影響を与えるように構成されていることを特徴とするプロトコル。 - 【請求項１７】 請求項１６に記載のプロトコルにおいて、前記第２のマル
チメディア端末装置(ＭＳＢ)から前記第１のマルチメディア端末装置(ＭＳＡ)へ
前記優先順位情報(１３１)を配信するメッセージ(９.１)をさらに有することを
特徴とするプロトコル。 - 【請求項１８】 第１のビットレートを有し、第１の媒体タイプの第１のビ
ット・ストリーム(１０７)を生成するために第１の信号(１０６)を符号化するス
テップと、 第２のビットレートを有し、第２の媒体タイプの第２のビット・ストリーム(
１１２)を生成するために第２の信号(１１４)を符号化するステップと、 少なくとも前記第１のビット・ストリーム(１０７)と前記第２のビット・スト
リーム(１１２)とを組み合わせて第３のビット・ストリーム(１２３)に変えるス
テップと、を有する方法において、 優先順位情報(１３１)であって、第３のビット・ストリーム内での第１および
第２の媒体タイプの好適な組み合わせを示す前記優先順位情報(１３１)を受信す
るステップと、 前記受信された優先順位情報に従って前記第１のビットレートと前記第２のビ
ットレートとを調整するステップとを有することを特徴とするマルチメディア伝
送の多重化制御方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI990073A FI106998B (fi) | 1999-01-15 | 1999-01-15 | Bittinopeuden ohjaus multimedialaitteessa |
| FI990073 | 1999-01-15 | ||
| PCT/FI1999/001023 WO2000041483A2 (en) | 1999-01-15 | 1999-12-09 | Bit-rate control in a multimedia device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002534936A true JP2002534936A (ja) | 2002-10-15 |
Family
ID=8553371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000593107A Pending JP2002534936A (ja) | 1999-01-15 | 1999-12-09 | マルチメディア装置におけるビットレート制御 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6704281B1 (ja) |
| EP (1) | EP1147666A2 (ja) |
| JP (1) | JP2002534936A (ja) |
| AU (1) | AU1662900A (ja) |
| FI (1) | FI106998B (ja) |
| WO (1) | WO2000041483A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005252752A (ja) * | 2004-03-05 | 2005-09-15 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7373413B1 (en) * | 2000-06-28 | 2008-05-13 | Cisco Technology, Inc. | Devices and methods for minimizing start up delay in transmission of streaming media |
| FI109393B (fi) | 2000-07-14 | 2002-07-15 | Nokia Corp | Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite |
| JP2002152730A (ja) * | 2000-11-08 | 2002-05-24 | Nec Corp | マルチメディア信号符号化装置、出力符号量制御方法、及びそのプログラムを記録した記録媒体 |
| JP2002209195A (ja) * | 2001-01-11 | 2002-07-26 | Mitsubishi Electric Corp | 通信サービスユニットおよびマルチメディア通信方式 |
| US6909745B1 (en) * | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
| US6968006B1 (en) | 2001-06-05 | 2005-11-22 | At&T Corp. | Method of content adaptive video decoding |
| US7773670B1 (en) * | 2001-06-05 | 2010-08-10 | At+T Intellectual Property Ii, L.P. | Method of content adaptive video encoding |
| US6810086B1 (en) | 2001-06-05 | 2004-10-26 | At&T Corp. | System and method of filtering noise |
| US6970513B1 (en) | 2001-06-05 | 2005-11-29 | At&T Corp. | System for content adaptive video decoding |
| EP1271926B1 (en) * | 2001-06-18 | 2015-08-12 | Canon Kabushiki Kaisha | Image processing method, apparatus and computer program for compression-encoding |
| CN1320809C (zh) * | 2001-08-29 | 2007-06-06 | 佳能株式会社 | 图像处理装置与方法 |
| KR100420601B1 (ko) | 2001-11-22 | 2004-03-02 | 에스케이 텔레콤주식회사 | 비디오 데이터 스트리밍 서비스 방법 |
| US7106909B2 (en) * | 2001-12-25 | 2006-09-12 | Canon Kabushiki Kaisha | Method and apparatus for encoding image data in accordance with a target data size |
| JP4029630B2 (ja) * | 2002-02-27 | 2008-01-09 | ソニー株式会社 | インタリーブ処理装置とインタリーブ処理方法及びインタリーブ処理プログラム |
| US7313520B2 (en) * | 2002-03-20 | 2007-12-25 | The Directv Group, Inc. | Adaptive variable bit rate audio compression encoding |
| US8204079B2 (en) * | 2002-10-28 | 2012-06-19 | Qualcomm Incorporated | Joint transmission of multiple multimedia streams |
| US7630612B2 (en) * | 2003-02-10 | 2009-12-08 | At&T Intellectual Property, I, L.P. | Video stream adaptive frame rate scheme |
| US7548585B2 (en) * | 2003-02-10 | 2009-06-16 | At&T Intellectual Property I, L.P. | Audio stream adaptive frequency scheme |
| GB0321093D0 (en) * | 2003-09-09 | 2003-10-08 | Nokia Corp | Multi-rate coding |
| TWI353759B (en) * | 2004-05-13 | 2011-12-01 | Qualcomm Inc | Synchronization of audio and video data in a wirel |
| WO2006044476A2 (en) * | 2004-10-12 | 2006-04-27 | Robert Vernon Vanman | Method of and system for mobile surveillance and event recording |
| US7672742B2 (en) * | 2005-02-16 | 2010-03-02 | Adaptec, Inc. | Method and system for reducing audio latency |
| US7974193B2 (en) | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
| US7676591B2 (en) * | 2005-09-22 | 2010-03-09 | Packet Video Corporation | System and method for transferring multiple data channels |
| US8477840B2 (en) * | 2005-09-29 | 2013-07-02 | Thomson Research Funding Corporation | Method and apparatus for constrained variable bit rate (VBR) video encoding |
| US8982944B2 (en) * | 2005-10-12 | 2015-03-17 | Enforcement Video, Llc | Method and system for categorized event recording of images in multiple resolution levels |
| US8582905B2 (en) * | 2006-01-31 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for rate control within an encoding device |
| US8553757B2 (en) * | 2007-02-14 | 2013-10-08 | Microsoft Corporation | Forward error correction for media transmission |
| US8599368B1 (en) | 2008-01-29 | 2013-12-03 | Enforcement Video, Llc | Laser-based speed determination device for use in a moving vehicle |
| US20090046157A1 (en) * | 2007-08-13 | 2009-02-19 | Andrew Cilia | Combined wide-angle/zoom camera for license plate identification |
| MY162861A (en) | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
| WO2009097449A1 (en) | 2008-01-29 | 2009-08-06 | Enforcement Video, Llc | Omnidirectional camera for use in police car event recording |
| US20090213218A1 (en) * | 2008-02-15 | 2009-08-27 | Andrew Cilia | System and method for multi-resolution storage of images |
| US20100150245A1 (en) * | 2008-12-15 | 2010-06-17 | Sony Ericsson Mobile Communications Ab | Multimedia Stream Selection |
| EP2403248B1 (en) * | 2009-02-27 | 2018-07-04 | Fujitsu Limited | Moving picture encoding device, moving picture encoding method, and moving picture encoding computer program |
| DE102009046362A1 (de) * | 2009-11-03 | 2011-05-05 | Tesa Se | Haftklebestoff aus einem vernetzbaren Polyolefin und einem Klebharz |
| US8736680B1 (en) | 2010-05-18 | 2014-05-27 | Enforcement Video, Llc | Method and system for split-screen video display |
| US9276989B2 (en) * | 2012-03-30 | 2016-03-01 | Adobe Systems Incorporated | Buffering in HTTP streaming client |
| US8947499B2 (en) * | 2012-12-06 | 2015-02-03 | Tangome, Inc. | Rate control for a communication |
| US11553211B2 (en) * | 2013-01-03 | 2023-01-10 | Disney Enterprises, Inc. | Heuristic detection of potential digital media artifacts and defects in digital media assets |
| US10225814B2 (en) * | 2015-04-05 | 2019-03-05 | Qualcomm Incorporated | Conference audio management |
| US10341605B1 (en) | 2016-04-07 | 2019-07-02 | WatchGuard, Inc. | Systems and methods for multiple-resolution storage of media streams |
| US10972726B2 (en) * | 2017-09-29 | 2021-04-06 | Whatsapp Inc. | Techniques to dynamically select a video encoder for streaming video encoding |
| US11128869B1 (en) | 2018-10-22 | 2021-09-21 | Bitmovin, Inc. | Video encoding based on customized bitrate table |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5945279B2 (ja) | 1977-03-15 | 1984-11-05 | 日本電信電話株式会社 | 時間ジヤンパを使用した可変多重分離形時分割通話路方式 |
| US5392284A (en) * | 1990-09-20 | 1995-02-21 | Canon Kabushiki Kaisha | Multi-media communication device |
| US5285276A (en) * | 1991-03-12 | 1994-02-08 | Zenith Electronics Corp. | Bi-rate high definition television signal transmission system |
| JPH0591081A (ja) | 1991-09-27 | 1993-04-09 | Fujitsu Ltd | 交換機における転送制御方法およびその装置 |
| US5475686A (en) | 1992-12-28 | 1995-12-12 | Motorola, Inc. | Method and apparatus for transferring data in a communication system |
| US5512939A (en) * | 1994-04-06 | 1996-04-30 | At&T Corp. | Low bit rate audio-visual communication system having integrated perceptual speech and video coding |
| US5534937A (en) * | 1994-04-14 | 1996-07-09 | Motorola, Inc. | Minimum-delay jitter smoothing device and method for packet video communications |
| US5506844A (en) * | 1994-05-20 | 1996-04-09 | Compression Labs, Inc. | Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth |
| JP2596388B2 (ja) * | 1994-10-28 | 1997-04-02 | 日本電気株式会社 | ディジタルコードレス電話システム |
| US5734677A (en) * | 1995-03-15 | 1998-03-31 | The Chinese University Of Hong Kong | Method for compression of loss-tolerant video image data from multiple sources |
| EP0784409A3 (en) * | 1996-01-11 | 2001-11-14 | Sony Corporation | Video coding and multiplexing |
| EP0905935A1 (en) * | 1997-01-21 | 1999-03-31 | Sony Corporation | Coded signal transmission method and device |
| US6384862B1 (en) * | 1997-03-12 | 2002-05-07 | Telefoaktiebolaget L M Ericsson | Imaging system and method for interactive control of image quality |
| US6091776A (en) * | 1998-05-26 | 2000-07-18 | C-Cube Microsystems, Inc. | Delay balanced video encoder system |
-
1999
- 1999-01-15 FI FI990073A patent/FI106998B/fi active
- 1999-12-09 JP JP2000593107A patent/JP2002534936A/ja active Pending
- 1999-12-09 AU AU16629/00A patent/AU1662900A/en not_active Abandoned
- 1999-12-09 WO PCT/FI1999/001023 patent/WO2000041483A2/en not_active Application Discontinuation
- 1999-12-09 EP EP99959464A patent/EP1147666A2/en not_active Withdrawn
-
2000
- 2000-01-13 US US09/483,143 patent/US6704281B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005252752A (ja) * | 2004-03-05 | 2005-09-15 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| FI990073A (fi) | 2000-07-16 |
| WO2000041483A2 (en) | 2000-07-20 |
| FI990073A0 (fi) | 1999-01-15 |
| EP1147666A2 (en) | 2001-10-24 |
| AU1662900A (en) | 2000-08-01 |
| FI106998B (fi) | 2001-05-15 |
| WO2000041483A3 (en) | 2000-11-09 |
| US6704281B1 (en) | 2004-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002534936A (ja) | マルチメディア装置におけるビットレート制御 | |
| US7072366B2 (en) | Method for scalable encoding of media streams, a scalable encoder and a terminal | |
| US7680099B2 (en) | Jitter buffer adjustment | |
| CA2811040A1 (en) | Delivery of information over a communication channel | |
| US5500672A (en) | Multi-media communication apparatus for transmitting audio information, video information and character information simultaneously | |
| US7522665B2 (en) | Mobile terminal with camera | |
| US6567428B1 (en) | Method and system for using low data rate vocorder packets to multiplex signaling packets into a CDMA traffic channel for high quality CDMA voice transmission | |
| KR100300688B1 (ko) | 무선통신시스템에서다자간음성접속을제공하기위한방법및장치 | |
| JP2001352326A (ja) | 通信装置、通信制御装置および通信方法 | |
| KR20090125556A (ko) | 영상 코덱 방법, 영상 코덱 장치 및 그 영상 서비스 시스템 | |
| JP3327240B2 (ja) | 画像・音声符号化装置 | |
| JP5006975B2 (ja) | 背景雑音情報の復号化方法および背景雑音情報の復号化手段 | |
| JP3913726B2 (ja) | 多地点テレビ会議制御装置及び多地点テレビ会議システム | |
| US6567392B1 (en) | Method and system for using vocorder rate determination for high quality CDMA voice transmission | |
| US20040107092A1 (en) | Digital circuit transmission device | |
| JP3554999B2 (ja) | 多地点テレビ会議システム | |
| JP2002152181A (ja) | マルチメディアデータ通信方法およびマルチメディアデータ通信装置 | |
| EP0766900B1 (en) | Transcoding and channel coding arrangement for a digital communications system | |
| JP2004080625A (ja) | パケット型音声通信端末 | |
| JP2006041869A (ja) | 多重伝送方法、多重伝送装置、そのプログラム及び記録媒体 | |
| JP2001346177A (ja) | テレビ会議端末装置 | |
| JPH11177436A (ja) | データ通信装置 | |
| JP2001333401A (ja) | テレビ会議端末装置 | |
| JP2007013771A (ja) | 画像符号化装置及び画像符号化方法 | |
| KR20000003717A (ko) | 음성 인식/합성을 이용한 음성 통신 방법 및 그 장치 |