JP2006041869A

JP2006041869A - 多重伝送方法、多重伝送装置、そのプログラム及び記録媒体

Info

Publication number: JP2006041869A
Application number: JP2004218293A
Authority: JP
Inventors: Kenichi Haga; 顕一芳賀
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-07-27
Filing date: 2004-07-27
Publication date: 2006-02-09
Also published as: US20060034332A1

Abstract

【課題】制御情報を送信するための伝送帯域を優先的に確保しながら、それによる他のメディア情報の伝送品質が低下することを最小限に抑制することができる多重伝送方法、多重伝送装置、そのプログラム及び記録媒体を提供する。
【解決手段】制御情報を、その応答待ちタイマの満了値と分割サイズが逆相関となるように分割する制御情報分割部１３と、制御情報の分割サイズを除いた範囲内でメディア情報が最大の転送効率となる符号化方式を選択する符号化方式選択部１４とを備えることで、緊急度の高い制御情報の送信時は分割サイズを大きくして伝送遅延を抑制する一方、緊急度の低い制御情報の送信時は分割サイズを小さくして伝送遅延を許容し、その分だけメディア情報の品質を向上させることができる。
【選択図】図１

Description

本発明は、音声・画像等複数のメディア情報及び制御情報を多重化して伝送するテレビ電話システム及びテレビ電話装置に好適な多重伝送方法、多重伝送装置、そのプログラム及び記録媒体に関する。

Ｗ−ＣＤＭＡ方式携帯電話などで提供されるテレビ電話サービスでは、サービスを実現するための仕様として非特許文献１に記載の勧告を適用している。上記勧告に準拠したテレビ電話装置では、複数の装置間で制御情報を交換するための仕様として非特許文献２に記載の勧告を、音声・画像などのメディア情報及び制御情報を多重伝送するための仕様として非特許文献３に記載の勧告を適用している。

非特許文献２に記載の勧告で規定されている制御情報には、端末能力情報（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）、論理チャネル開設要求（ＯｐｅｎＬｏｇｉｃａｌＣｈａｎｎｅｌ）等のように対局からの応答を要するものがある。これらの制御情報の送信側は、送信と同時に対局からの応答を監視するためのタイマを起動し、それが満了するまでに応答を受信しなければならないので、タイマ満了による異常処理を回避するため、音声・画像などのメディア情報よりも優先的に伝送帯域を確保して多重伝送することで伝送遅延を軽減する必要がある。

ここで、特定のメディア情報を、他のメディア情報より優先的に伝送帯域を確保して多重伝送する方法及び装置に関して、従来では特許文献１に記載されているような発明がなされている。その発明では、伝送周期あたりに送信される多重化フレームの全情報量と、伝送周期あたりに送信される優先度が高いメディアの情報量との差分を求め、優先度が低いメディアは情報量が上記差分の範囲内となるように多重伝送している。

また、特許文献２には、外乱などで伝送路全体の帯域が変動した場合の多重伝送方法に関する発明が記載されており、全メディアの情報量の合計が伝送路全体の帯域に収まるように各メディア情報の符号化方式を切り替え、変更後の符号化方式を示す制御情報をメディア情報と一緒に多重化して伝送している。ここで、制御情報を帯域変動の要因と見なして他のメディア情報に特許文献２に記載の発明を適用すれば、制御情報のための帯域を優先的に確保して多重伝送することができる。

特開２００３‐２５０１３３号公報特開平１１‐３１３０４８号公報ＩＴＵ‐ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．３２４ＩＴＵ‐ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２４５ＩＴＵ‐ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２２３

しかしながら、制御情報の伝送帯域を優先的に確保するために上記特許文献に記載の方法を適用しようとすると、下記のような問題点が発生することが予想される。

特許文献１では、優先度の高いメディア情報として伝送周期が規定されたもの（音声）を扱っているため、伝送周期が規定されていない制御情報の伝送帯域を優先的に確保するために特許文献１に記載の方法をそのまま適用しようとすると、図９に示すように、送信すべき制御情報が存在しないときに多重化フレーム内に無駄な空き領域が生じ、伝送帯域が効率的に活用されないことが予想される。

すなわち、図９（ａ）に示す制御情報を優先的に伝送するために、図９（ｂ）に示す多重化フレーム１，２，３に高優先情報用領域を確保すると、多重化フレーム２，３の網掛け部分に示すように、送信すべき制御情報が存在しないときに伝送帯域に無駄な空き領域が生じてしまう。

一方、特許文献２に記載の発明を適用すれば、上記のような多重化フレーム内の無駄な空き領域が生じなくなることが期待できるが、送信すべき制御情報が生じる度にメディア情報の伝送帯域が変動するので変更後の符号化方式を示す制御情報が追加で多重化されることとなり、その分だけ音質・画質などメディア情報の伝送帯域が圧迫されることとなる。

特に図１０に示すように、変更後の符号化方式を示す制御情報が複数の多重化フレームにまたがって送信される場合、受信側では上記制御情報に基づいて復号化方式を切り替えるので、一緒に多重化されたメディア情報は、上記複数の多重化フレーム全てを受信する所要時間分だけ滞留し品質が低下することとなる。

すなわち、図１０（ｂ）に示す切り替え後の符号化方式を表す制御情報２が、図１０（ａ）に示す制御情報１と一緒に多重化される場合は、図１０（ｃ）に示すように、後続する３つの多重化フレームに制御情報２が追加で多重化される。このため、多重化フレームにそのための領域を確保しなければならず、メディア情報の帯域が圧迫される。また、切り替え後の符号化方式が対局に伝わるのに３伝送周期かかるため、３伝送周期分のメディア情報が滞留し品質が低下する。

本発明は、上記従来の事情に鑑みてなされたものであって、制御情報を送信するための伝送帯域を優先的に確保しながら、それによる他のメディア情報の伝送品質が低下することを最小限に抑制することができる多重伝送方法、多重伝送装置、そのプログラム及び記録媒体を提供することを目的としている。

本発明の多重伝送方法は、メディア情報及び制御情報を多重化して伝送するテレビ電話の多重伝送方法であって、前記制御情報を、応答待ちタイマの満了値に基づいて分割するステップと、多重化フレーム内に、前記制御情報の分割サイズ分の領域を優先的に確保するステップと、前記多重化フレームから前記制御情報の分割サイズ分の領域を差引いた範囲内で、前記メディア情報が最も高い転送効率で送信される符号化方式を選択するステップとを有することを特徴とする。

本発明の多重伝送方法によれば、制御情報を応答待ちタイマの満了値に基づいて分割し、多重化フレーム内に制御情報の分割サイズ分の領域を優先的に確保するので、制御情報を送信するための伝送帯域を優先的に確保しながら、それによる他のメディア情報の伝送品質が低下することを最小限に抑制することができる。

また、本発明の多重伝送方法は、前記制御情報の応答待ちタイマの満了値が小さいときは、前記制御情報の分割サイズを大きくして、前記メディア情報が高圧縮率・低伝送レートとなる前記符号化方式を選択し、前記制御情報の応答待ちタイマの満了値が大きいときは、前記制御情報の分割サイズを小さくして、前記メディア情報が低圧縮率・高伝送レートとなる前記符号化方式を選択することを特徴とする。

本発明の多重伝送方法によれば、応答待ちタイマの満了値が小さい制御情報は早急な応答を要すると見なし、制御情報の分割サイズを大きくするので、制御情報の伝送遅延を低減することができる。一方、応答待ちタイマの満了値が大きい制御情報はそれほど早急な応答を要さないと見なし、制御情報の分割サイズを小さくするので、その分だけメディア情報の伝送帯域を広く確保することができ、音声・画像の品質への影響を最小限に抑えることができる。

また、本発明の多重伝送方法は、送信する制御情報が対局から受信した制御情報に対する応答である場合は、送信する前記制御情報の分割サイズを大きくし、送信する前記制御情報が対局からの応答を必要としない情報である場合は、送信する前記制御情報の分割サイズを小さくすることを特徴とする。

本発明の多重伝送方法によれば、送信する制御情報が対局から受信した制御情報に対する応答である場合は、制御情報の分割サイズを大きくするので、制御情報の伝送遅延を低減することができる。一方、送信する制御情報が対局からの応答を必要としない情報である場合は、制御情報の分割サイズを小さくするので、その分だけメディア情報の伝送帯域を広く確保することができ、音声・画像の品質への影響を最小限に抑えることができる。

また、本発明の多重伝送方法は、送信側において、前記メディア情報の符号化部が使用し得る前記符号化方式の全種類を前記制御情報内に設定し、発着信中に対局に通知するステップと、受信側において、受信した前記多重化フレームにおける前記メディア情報の比率が、前回受信した前記多重化フレームにおける前記メディア情報の比率と異なる場合に、前記メディア情報の逆多重化及び復号化を保留するステップと、今回得られた前記メディア情報の比率をもとに、発着信中に対局から通知された前記符号化方式に対応する復号化方式を選択するステップと、前記復号化方式により前記メディア情報の逆多重化及び復号化を再開するステップとを有することを特徴とする。

本発明の多重伝送方法によれば、受信した多重化フレームにおけるメディア情報の比率が、前回受信した多重化フレームにおけるメディア情報の比率と異なる場合に、今回得られたメディア情報の比率をもとに、発着信中に対局から通知された符号化方式に対応する復号化方式を選択するので、制御情報の伝送遅延を低減するとともに、メディア情報の伝送品質が低下することを最小限に抑制することができる。

また、本発明の多重伝送装置は、メディア情報及び制御情報を多重化して伝送するテレビ電話の多重伝送装置であって、前記メディア情報及び前記制御情報を符号化する符号化部と、前記制御情報及び応答待ちタイマの満了値を生成する制御情報作成部と、前記制御情報作成部から前記制御情報及び前記応答待ちタイマの満了値が供給され、前記制御情報を前記応答待ちタイマの満了値に基づいて分割する制御情報分割部と、前記制御情報分割部から前記制御情報の分割サイズが供給され、多重化フレームから前記制御情報の分割サイズ分の領域を差引いた範囲内で、前記メディア情報が最も高い転送効率で送信される符号化方式を選択して前記符号化部に通知する符号化方式選択部と、前記符号化方式選択部が選択した前記符号化方式によって符号化された前記メディア情報及び分割された前記制御情報を多重化して通信網に送信する多重化部とを備えることを特徴とする。

本発明の多重伝送装置によれば、制御情報を応答待ちタイマの満了値に基づいて分割し、多重化フレーム内に制御情報の分割サイズ分の領域を優先的に確保するので、制御情報を送信するための伝送帯域を優先的に確保しながら、それによる他のメディア情報の伝送品質が低下することを最小限に抑制することができる。

また、本発明の多重伝送装置において、前記制御情報分割部は、前記制御情報の応答待ちタイマの満了値が小さいときは、前記制御情報の分割サイズを大きくし、前記制御情報の応答待ちタイマの満了値が大きいときは、前記制御情報の分割サイズを小さくし、前記符号化方式選択部は、前記制御情報分割部から供給された前記制御情報の分割サイズが、前回供給された前記制御情報の分割サイズよりも大きいときは、前記メディア情報が高圧縮率・低伝送レートとなる前記符号化方法を選択し、前記制御情報分割部から供給された前記制御情報の分割サイズが前回入力された前記制御情報の分割サイズよりも小さいときは、前記メディア情報が低圧縮率・高伝送レートとなる前記符号化方法を選択することを特徴とする。

本発明の多重伝送装置によれば、応答待ちタイマの満了値が小さい制御情報は早急な応答を要すると見なし、制御情報の分割サイズを大きくするので、制御情報の伝送遅延を低減することができる。一方、応答待ちタイマの満了値が大きい制御情報はそれほど早急な応答を要さないと見なし、制御情報の分割サイズを小さくするので、その分だけメディア情報の伝送帯域を広く確保することができ、音声・画像の品質への影響を最小限に抑えることができる。

また、本発明の多重伝送装置において、前記制御情報作成部は、前記制御情報分割部に供給する制御情報が対局から受信した制御情報に対する応答である場合は、送信する前記制御情報が大きいサイズで分割されるように前記応答待ちタイマの満了値を小さくし、前記制御情報分割部に供給する前記制御情報が対局からの応答を必要としない情報である場合は、前記制御情報が小さいサイズで分割されるように前記応答待ちタイマの満了値を大きくすることを特徴とする。

本発明の多重伝送装置によれば、送信する制御情報が対局から受信した制御情報に対する応答である場合は、制御情報の分割サイズを大きくするので、制御情報の伝送遅延を低減することができる。一方、送信する制御情報が対局からの応答を必要としない情報である場合は、制御情報の分割サイズを小さくするので、その分だけメディア情報の伝送帯域を広く確保することができ、音声・画像の品質への影響を最小限に抑えることができる。

また、本発明の多重伝送装置において、前記符号化方式選択部は、発着信中に、前記符号化部が使用し得る前記符号化方式の全種類を前記制御情報作成部に通知し、前記制御情報作成部は、前記符号化方式の全種類を前記制御情報内に設定して前記制御情報分割部に供給することを特徴とする。

本発明の多重伝送装置によれば、符号化部が使用し得る符号化方式の全種類を制御情報内に設定するので、受信側では、受信した制御情報から符号化部が使用した符号化方式とそれに対応する復号化方式を認識することができる。

また、本発明の多重伝送装置は、前記通信網を介して対局から前記多重化フレームを受信して逆多重化する逆多重化部と、前記逆多重化部から供給される分割されている前記制御情報を、１つの制御情報に結合する制御情報結合部と、前記制御情報結合部で結合された前記制御情報を解析し、発着信中に、前記制御情報に設定された前記符号化方式及びそれに対応する復号化方式の種類を検出する制御情報解析部と、前記逆多重化部から供給された前記多重化フレームのヘッダ情報から前記メディア情報の比率を求め、求めた比率が前回求めた比率と異なる場合は、今回求めた比率をもとに、前記メディア情報に適用する復号化方式を、前記制御情報解析部が解析した前記復号化方式の中から選択するとともに、前記逆多重化部に対して前記メディア情報の逆多重化を保留させ、前記復号化部で実行される復号化方式を、選択した前記復号化方式に切り替えさせた上で、前記逆多重化部に前記メディア情報の逆多重化を再開させる復号化方式選択部と、前記メディア情報及び前記制御情報を復号化する復号化部とを備えることを特徴とする。

本発明の多重伝送装置によれば、受信した多重化フレームにおけるメディア情報の比率が、前回受信した多重化フレームにおけるメディア情報の比率と異なる場合に、今回得られたメディア情報の比率をもとに、発着信中に対局から通知された符号化方式に対応する復号化方式を選択するので、制御情報の伝送遅延を低減するとともに、メディア情報の伝送品質が低下することを最小限に抑制することができる。

本発明によれば、早急な応答を要する制御情報の送信時は、分割数を少なくして伝送遅延を低減し、かつ制御情報の大きさが伝送遅延に与える影響を低減することができる。

一方、早急な応答が不要な制御情報の送信時、もしくは送信すべき制御情報がないときは、多重化フレーム内で制御情報が占める割合が低いので、符号化方式の切り替えによりその分だけ伝送品質を向上させることができる。

以下、本発明を実施するための最良の形態に係る多重伝送装置について図面を参照しながら詳細に説明する。

図１は、本実施形態に係る多重伝送装置の概略構成を示す。本実施形態に係る多重伝送装置は、各種メディア情報及び制御情報を符号化・多重化して通信網３０を介し対局に送信する送信側装置１０と、通信網３０を介し対局からの各種メディア情報及び制御情報を逆多重化・復号化する受信側装置２０とを備えている。

送信側装置１０は、マイク・カメラ等から入力された音声・画像・その他のメディア情報を指定された符号化方式に基づいて符号化する符号化部１１と、制御情報を作成して出力する制御情報作成部１２と、制御情報を分割する制御情報分割部１３と、多重化フレーム長及び制御情報の分割長をもとに音声・画像・その他のメディア情報の最適な符号化方法を選択する符号化方式選択部１４と、符号化された音声・画像・その他のメディア情報及び分割された制御情報を多重化して通信網３０を介し対局に送信する多重化部１５とを備えている。

ここで、制御情報分割部１３は、非特許文献１のＡｎｎｅｘＣ．８．１（ＣｏｎｔｒｏｌＣｈａｎｎｅｌＳｅｇｍｅｎｔａｔｉｏｎａｎｄＲｅａｓｓｅｍｂｌｙＬａｙｅｒ）に準拠するものとする。

一方、受信側装置２０は、通信網３０を介し対局から受信した各種メディア情報及び制御情報を逆多重化する逆多重化部２１と、逆多重化された制御情報を１つの完全な制御情報に結合する制御情報結合部２２と、逆多重化された各種メディア情報を復号化するために適切な方法を選択する復号化方式選択部２３と、結合された制御情報の内容を解析しその内容に応じた処理を行う制御情報解析部２４と、指定された復号化方法に基づいて各種メディア情報を復号化しスピーカー・ＬＣＤ等に出力する復号化部２５とを備えている。

上記のような構成の多重伝送装置による各種メディア情報及び制御情報の多重伝送方法を、具体例を挙げながら説明する。図２は送信側装置１０の処理の流れを示し、図３は受信側装置２０の処理の流れを示す。ここでの具体例では、簡単のため、取扱うメディア情報は音声・画像の２種類のみとする。

〔発着信時における送信側装置の処理の流れ〕
まず、発着信時に、符号化方式選択部１４は、同時に使用し得る音声・画像の符号化方式とそれぞれの伝送レートの組合せ全てを制御情報作成部１２に通知する（図２のステップＳＴ１）。制御情報作成部１２は、符号化方式選択部１４から通知された音声・画像の符号化方式とそれぞれの伝送レートの組合せを端末能力情報交換用の制御情報（非特許文献２で規定されているＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔに相当）内に設定し（図２のステップＳＴ２）、制御情報分割部１３及び多重化部１５を介して対局に送信する（制御情報分割部１３及び多重化部１５の具体的な処理内容については後述する）。

〔発着信時における受信側装置の処理の流れ〕
一方、対局側の制御情報受信部２４は、逆多重化部２１及び制御情報結合部２２を介して端末能力情報交換用の制御情報を受信したら（逆多重化部２１及び制御情報結合部２２の具体的な処理内容については後述する）、制御情報内に設定されている音声・画像の符号化方式とそれぞれの伝送レートの組合せ全てを復号化方式選択部２３に通知する（図３のステップＳＴ５）。復号化方式選択部２３は、制御情報受信部２４から通知された組合せを全て、終話時まで記憶しておく。

〔符号化方式と伝送レートの組合せ〕
ここで、音声・画像の符号化方式と伝送レートの組合せの一例を図４に示す。図４に示す音声符号化方式Ａ、Ｂは、例えば３Ｇ−ＡＭＲ、Ｇ．７２３．１などがこれらに相当する。また、画像符号化方式Ｃ、Ｄは、例えばＭＰＥＧ−４やＨ．２６３などがこれらに相当する。

通話中の各メディア情報と制御情報の多重伝送は、発着信時に上記の手順で自局・対局の間で交換した音声・画像の符号化方式とそれぞれの伝送レートの組合せをもとに、下記手順で行われる。

〔通話中における送信側装置の処理の流れ〕
通話中における送信側装置１０の処理の流れを以下に説明する。制御情報作成部１２は、制御情報を作成（図２のステップＳＴ２）し終えると、当該制御情報をその応答待ちタイマの満了値と一緒に制御情報分割部１３に対し出力する（図２のステップＳＴ３及びステップＳＴ４）。非特許文献２にて規定されている制御情報を例に挙げると、ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔを送信するときはＴ１０１の満了値を、ＯｐｅｎＬｏｇｉｃａｌＣｈａｎｎｅｌを送信するときはＴ１０３の満了値をそれぞれ当該制御情報と一緒に制御情報分割部１３に対し出力する。

〔送信する制御情報が応答である場合〕
応答待ちタイマが規定されていない制御情報については以下のように扱う。送信する制御情報が直前に受信した制御情報に対する応答そのものである場合（非特許文献２にて規定されている制御情報を例に挙げると、ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔＡｃｋやＯｐｅｎＬｏｇｉｃａｌＣｈａｎｎｅｌＡｃｋなどがこれに相当する）、制御情報分割部１３に出力するタイマの値は取り得る最小値とする。

例えば、本発明に係る多重伝送装置が、応答待ちタイマが８ビット幅で表現されて最小値が１となるように実装されている場合には、制御情報分割部１３にはタイマの値として０ｘ０１が出力される。そうすることで、後述するように当該制御情報は伝送遅延が最小となるように分割される。

〔送信する制御情報が応答を必要としない場合〕
送信する制御情報が対局からの応答を必要としない通知や命令として使用される場合（非特許文献２にて規定されている制御情報を例に挙げると、Ｈ２２３ＳｋｅｗＩｎｄｉｃａｔｉｏｎやＥｎｄＳｅｓｓｉｏｎＣｏｍｍａｎｄなどがこれに相当する）、制御情報分割部１３に出力するタイマの値は取り得る最大値とする。

例えば、本発明に係る多重伝送装置が、応答待ちタイマが８ビット幅で表現されて最大値が６５５３５となるように実装されている場合には、制御情報分割部１３にはタイマの値として０ｘＦＦが出力される。そうすることで、後述するように当該制御情報は伝送遅延が最大（その分音声・画像の品質への影響が最小限に抑えられる）となるように分割される。

〔制御情報の分割サイズを決定〕
制御情報分割部１３は、制御情報作成部１２から制御情報及びその応答待ちタイマの満了値を入力されると、応答待ちタイマの満了値をもとに制御情報の分割サイズを決定（図２のステップＳＴ５）してから制御情報を分割する。分割した制御情報は、多重化フレームの送信周期と同じ周期で１つずつ多重化部１５に出力される（図２のステップＳＴ１２）。

〔タイマの満了値と分割サイズの関係〕
図５に示すように、制御情報はタイマの満了値が小さければ小さいほど分割サイズが大きく（図５（ａ））、タイマの満了値が大きければ大きいほど分割サイズが小さくなるように分割される（図５（ｂ））。即ち、制御情報分割部１３は、応答待ちタイマの満了値が小さい制御情報は早急な応答を要する（もしくは上述のように、受信した制御情報に対する応答そのものである）と見なし、伝送遅延が低減されるように分割する。

一方、応答待ちタイマの満了値が大きい制御情報はそれほど早急な応答を要さない（もしくは上述のように、対局からの応答を必要としない通知や命令である）と見なし、伝送遅延が許容されるように分割する。

〔発着信中の制御情報の分割〕
尚、発着信中はメディア情報の送受信が行われないので、多重化フレームの全体を、制御情報を送信するための領域として利用することができる。従って制御情報分割部１３は、発着信時の制御情報のサイズが多重化フレームのサイズを超える場合、多重化フレームと等しいサイズとするように分割する。従って、上述の端末能力情報は、（多重化フレームのサイズより大きい場合は）多重化フレームのサイズと等しくなるように分割される。

また、制御情報分割部１３は、分割した制御情報のうち先頭の1個を多重化部１５に出力する前に分割サイズを符号化方式選択部１４に出力する。さらに、制御情報分割部１３は、分割した制御情報を全て多重化部１５に出力し終えると（図２のステップＳＴ１３）、分割サイズ＝０を符号化方式選択部１４に出力する（図２のステップＳＴ１４）。

〔符号化方式及び伝送レートの組合せを選択〕
符号化方式選択部１４は、制御情報の分割サイズを制御情報分割部１３から入力されると（図２のステップＳＴ６）、多重化フレームのサイズから制御情報の分割サイズを差引いた範囲内で音声・画像を最大の転送効率で伝送できるような符号化方式及び伝送レートの組合せを、発着信時に対局に通知した組合せの中から選択（図２のステップＳＴ７及びステップ１５）し、符号化部１１に対し選択した符号化方式に切り替えるように指示する（図２のステップＳＴ８及びステップ１６）。

符号化部１１はそのとき、現在使用中の符号化方式によるメディア情報の符号化を中断（図２のステップＳＴ９及びステップ１７）し、符号化方式選択部１４から指示された通りの符号化方式に切り替えて（図２のステップＳＴ１０及びステップ１８）からメディア情報の符号化を再開する（図２のステップＳＴ１１及びステップ１９）。

なお、上記の符号化方式の切り替え処理（図２のＳＴ８からＳＴ１１までの各ステップ及びＳＴ１６からＳＴ１９までの各ステップ）は、符号化部１１が現在使用中のものと異なる符号化方式を符号化方式選択部１４が選択した場合に限り実施される。また、制御情報の分割サイズの出力から符号化方式の切り替えに至るまでの一連の処理（図２のＳＴ６からＳＴ１１までの各ステップ及びＳＴ１４からＳＴ１９までの各ステップ）は、通話中（即ち、符号化・多重化及び対局に送信できるメディア情報が存在するとき）に限り実施される。

多重化部１５は、制御情報分割部１３から入力された制御情報と、符号化部１１から入力された各メディア情報とを多重化し、ヘッダ情報を付加して（ヘッダ情報には、後述の多重化テーブルの識別番号が設定される）から通信網３０を介して対局に送信する。

〔符号化方式の切り替え及び多重化処理の具体例〕
上記の一連の符号化方式の切り替え及び多重化の処理手順を、具体例を挙げながら説明する。図６は、送信される多重化フレームの構造を示す。ここでは、図６（ｂ）に示すように、１伝送周期が１０ミリ秒で、１伝送周期あたりに送信される多重化フレームのサイズが８０バイトの環境で、発着信時に図４に示した符号化方式及び伝送レートの組合せを対局に通知した場合を考える。

上記のような環境で送信すべき制御情報が存在しないときは、８０バイト長の多重化フレーム全体を音声・画像の送信に使用することができる（図６（ｂ）のｆ１）。図４に示されている中で、１０ミリ秒あたり８０バイト長の範囲内で情報量が最大となるのはＮｏ．１の符号化方式及び伝送レートの組合せとなるので、送信すべき制御情報が存在しないとき、音声は符号化方式Ａ（１６ｋｂｐｓ）で、画像は符号化方式Ｃ（４８ｋｂｐｓ）で符号化されている。

ここで、図６（ａ）に示すように、制御情報作成部１２が６０バイト長の制御情報を作成し、制御情報分割部１３が上記制御情報を２０バイト長で分割（即ち、６０÷２０＝３分割）した場合を考える（図６（ｂ）のｆ２，ｆ３，ｆ４）。制御情報分割部１３は、３分割された制御情報の最初の１個目を多重化部１５に出力する前に、分割サイズ＝２０バイトを符号化方式選択部１４に出力する。

符号化方式選択部１４はそのとき、多重化フレーム中で音声・画像の送信に使用可能な領域は８０−２０＝６０バイト長と見なし、その範囲内で音声・画像の情報量が最大となるような符号化方式及び伝送レートの組合せを選択する。

図４に示されている中では、１０ミリ秒あたり６０バイト長の範囲内で情報量が最大となるのはＮｏ．２の符号化方式及び伝送レートの組合せとなるので、このとき符号化方式選択部１４は音声の符号化方式としてＡ（１６ｋｂｐｓ）、画像の符号化方式としてＤ（３２ｋｂｐｓ）を選択し、符号化部１１に対し上記の符号化方式に切り替えるよう指示する。

また、制御情報分割部１３は、３分割された制御情報の最後の３個目を多重化部１５に出力し終えると、分割サイズ＝０バイトを符号化方式選択部１４に出力するので、符号化方式選択部１４はそのとき、送信すべき制御情報が存在しないときの音声符号化方式Ａ（１６ｋｂｐｓ）及び画像符号化方式Ｃ（４８ｋｂｐｓ）を選択し、符号化部１１に切り替えを指示する。そうすることで、制御情報の送信完了後は、８０バイト長の多重化フレーム全体が音声・画像の送信に使用することができるようになる（図６（ｂ）のｆ５）。

なお、後述するように、受信側装置２０では受信した多重化フレームを逆多重化し、かつ逆多重化したメディア情報を復号化するために、当該多重化フレームに付加されたヘッダ情報を利用しているので、特許文献２に記載の方法のように、音声・画像の符号化方式もしくは伝送レートが変動したときに変更後の符号化方式を示す制御情報を追加で多重化する必要がない。

〔通話中における受信側装置の処理の流れ〕
通話中における受信側装置２０の処理の流れを以下に説明する。逆多重化部２１は、通信網３０を介して多重化フレームを対局から受信すると（図３のステップＳＴ１）、当該多重化フレームに付加されたヘッダ情報をもとに、当該多重化フレームに含まれる音声・画像・制御情報の情報量の比率を求める（図３のステップＳＴ２）。

非特許文献３に記載の勧告に準拠のテレビ電話装置では、多重化フレームに含まれる音声・画像・制御情報の比率を表す多重化テーブルと呼ばれる情報に対応付けられた識別番号を、送信側装置が音声・画像・制御情報を多重化する際に、ヘッダ情報に設定して付加する。上記の多重化テーブル及び識別番号に関する情報は、非特許文献２に記載の勧告で規定されているＭｕｌｔｉｐｌｅｘＥｎｔｒｙＳｅｎｄと呼ばれる制御情報によって対局との間で交換される。

〔分割されている制御情報を結合〕
逆多重化部２１は次に、当該多重化フレームを逆多重化してメディア情報を復号化部２５に出力する。その際、当該多重化フレームに制御情報が含まれていた場合、分割された状態の当該制御情報を制御情報結合部２２に出力する（図３のステップＳＴ３）。制御情報結合部２２は、逆多重化部２１から入力された、分割された状態の当該制御情報を保持し、１つの完全な制御情報に結合して制御情報解析部２４に出力する（図３のステップＳＴ４）。

非特許文献１のＡｎｎｅｘＣ．８．１に準拠したテレビ電話装置では、分割された状態の制御情報にはＬａｓｔＳｅｇｍｅｎｔＦｉｅｌｄと呼ばれる１バイト長の領域が付加されており、全てのビットが１に設定されていれば当該制御情報を構成する最後の要素と見なされるので、制御情報結合部２２は、上記ＬａｓｔＳｅｇｍｅｎｔＦｉｅｌｄの全てのビットが１に設定されていることを検出したのを契機に、制御情報を構成する全ての要素が揃ったと見なし、分割された状態の制御情報を逆多重化部２１から入力された順番に結合して制御情報解析部２４に出力すればよい。

〔復号化方式の切り替え処理〕
また、図３のステップＳＴ２にて、今回受信した多重化フレームに含まれる各メディア情報量が、前回受信した多重化フレームに含まれていた各メディア情報量と異なると判明した場合は、対局の送信側装置でこれらメディア情報の符号化方式の切り替えが発生したと見なしてメディア情報の復号化部２５への出力を保留して（図３のステップＳＴ６）、以下のような復号化方式切り替え処理を行う。

逆多重化部２１は、制御情報以外の各メディア情報の情報量を復号化方式選択部２３に出力する（図３のステップＳＴ７）。復号化方式選択部２３は、逆多重化部２１から各メディア情報の情報量を入力されるのを契機に、各メディア情報を復号化するのに適切な復号化方式を選択する（図３のステップＳＴ８）。

次に、復号化部２５に対し、現在使用中の復号化方式から選択した復号化方式に切り替えるように指示する（図３のステップＳＴ９）。復号化部２５は、復号化方式選択部２３に指示された通りの復号化方式に切り替えが完了すると（図３のステップＳＴ１０）、切り替え完了の通知を復号化方式選択部２３に対し出力する（図３のステップＳＴ１１）。

復号化方式選択部２３は、全メディア情報の復号化部から切り替え完了の通知を入力されたのを契機に、逆多重化したメディア情報を正しく復号化する準備が完了したと見なし、メディア情報の復号化部２５への出力を再開するよう、逆多重化部２１に対し指示する（図３のステップＳＴ１２）。

〔復号化方式の選択及び切り替えの具体例〕
例として、多重化フレームの伝送周期が１０ミリ秒で、かつ発着信時に図４のような符号化方式及び伝送レートの組合せが対局から通知されている場合に復号化方式の選択及び切り替えが具体的にどのように行われるか説明する。

逆多重化部２１が前回対局から受信した多重化フレームには音声が２０バイト・画像が６０バイトの比率で含まれていて、今回対局から受信した多重化フレームには制御情報が２０バイト・音声が２０バイト・画像が４０バイトの比率で含まれていた場合、メディア情報量が変動したと判断し、復号化方式選択部２３はこれらメディア情報を復号化するのに適した復号化方式を選択する。

１０ミリ秒の間に伝送される音声が２０バイト、画像が４０バイトとなるのは、対局の送信側装置で図４のＮｏ．２の符号化方式及び伝送レートの組合せが選択されたときなので、復号化方式選択部２３は音声を復号化するための方式としてＡ（１６ｋｂｐｓ）、画像を復号化するための方式としてＤ（３２ｋｂｐｓ）を選択し、復号化部２５に対し切り替えを指示する。

受信側装置２０は、上記のような方法で受信した多重化フレームを逆多重化・メディア情報を復号化するため、特許文献２に記載の方法のように、変更後の符号化方式を示す制御情報を送信側装置１０にて追加で多重化しなくても逆多重化・復号化を正しく行うことができる。

以下、本発明を実施するための最良の形態に係るプログラムについて図面を参照しながら詳細に説明する。図７は本実施形態に係るプログラムの送信側の処理を表すフローチャート、図８は本実施形態に係るプログラムの受信側の処理を表すフローチャートである。

〔送信側処理のフローチャート〕
送信側の処理を、図７を参照しながら説明する。本実施形態に係るプログラムの送信側は、何らかの契機で対局に制御情報を送信する必要が生じると、適切な制御情報を作成する（図７のステップＳＴ１）。ここで、特に発着信時において、通話中に使用し得るメディア情報の符号化方式及び伝送レートの組合せを対局に未だ報知していない状態であれば、これらメディア情報の符号化方式及び伝送レートの組合せを全て、端末能力情報を示す制御情報（非特許文献２で規定されているＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔに相当）内に設定する。

〔応答待ちタイマの満了値を変数Ｔに格納〕
次に、作成した制御情報の種別に応じて（図７のステップＳＴ２）、以下のように応答待ちタイマの満了値を変数Ｔに格納する。作成した制御情報が対局からの応答を要するものであれば、制御情報の種別毎に対応付けられたタイマ（非特許文献２にて規定されている制御情報を例に挙げると、ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔを作成したときはＴ１０１、ＯｐｅｎＬｏｇｉｃａｌＣｈａｎｎｅｌを作成したときはＴ１０３）の満了値を変数Ｔに格納する（図７のステップＳＴ３）。

〔作成した制御情報が応答である場合〕
作成した制御情報が、受信した制御情報に対する応答そのもの（非特許文献２にて規定されている制御情報を例に挙げると、ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔＡｃｋやＯｐｅｎＬｏｇｉｃａｌＣｈａｎｎｅｌＡｃｋなど）である場合は、変数Ｔが取り得る最小の値Ｔｍｉｎを格納する（図７のステップＳＴ４）。そうすることで、後述するように当該制御情報は伝送遅延が最小となるように分割される。

〔作成した制御情報が応答を必要としない場合〕
作成した制御情報が、対局からの応答を必要としない通知や命令（非特許文献２にて規定されている制御情報を例に挙げると、Ｈ２２３ＳｋｅｗＩｎｄｉｃａｔｉｏｎやＥｎｄＳｅｓｓｉｏｎＣｏｍｍａｎｄなどがこれに相当する）として使用される場合は、変数Ｔが取り得る最大の値Ｔｍａｘを格納する（図７のステップＳＴ５）。そうすることで、後述するように当該制御情報は伝送遅延が最大（その分だけ、音声・画像の品質への影響が最小限に抑えられる）となるように分割される。

〔通話中の制御情報の分割サイズを決定〕
次に、発着信中か通話中かによって、制御情報の分割サイズＳｓｅｇを下記のように求める（図７のステップＳＴ６）。通話中の場合、変数Ｔに格納されたタイマ満了値と逆相関の関係となるような、制御情報の分割サイズＳｓｅｇを求める（図７のステップＳＴ７）。ここでＧ（Ｔ）は変数Ｔと逆相関の値を出力する処理を表す。

〔応答待ちタイマの満了値と分割サイズの関係〕
図５に示すように、制御情報はタイマの満了値が小さければ小さいほど分割サイズが大きく、タイマの満了値が大きければ大きいほど分割サイズが小さくなるように分割される。即ち、制御情報分割部１３は、応答待ちタイマの満了値が小さい制御情報は早急な応答を要する（もしくは上述のように、受信した制御情報に対する応答そのものである）と見なし、伝送遅延が低減されるように分割する。

〔発着信中の分割サイズは多重化フレームと等しくする〕
発着信中の場合は、メディア情報の送受信が行われないので、多重化フレームの全体が制御情報を送信するための領域として利用することができる。従って制御情報の分割サイズＳｓｅｇは、多重化フレームと等しいサイズＳｍｕｘとする（図７のステップＳＴ８）。作成された制御情報は、上記で求めた分割サイズに従って、Ｓｓｅｇバイト長に分割される。ここで、分割数は変数Ｎに格納する（図７のステップＳＴ９）。

〔メディア情報の符号化方式の切り替え〕
制御情報を多重化すると多重化フレーム内でメディア情報の領域が縮小されるので、制御情報を分割後、メディア情報の符号化方式の切り替えを下記のように行う。尚、メディア情報が対局との間で送受信されるのは通話中のみであるので、通話中か発着信中かの状態によって処理を分岐し（図７のステップＳＴ１１）、符号化方式の切り替えは通話中のときに限り行うこととする。ここで、制御情報の分割サイズＳｓｅｇが多重化フレームのサイズＳｍｕｘと異なる場合に通話中と見なす。

通話中の場合、多重化フレームのサイズＳｍｕｘから制御情報の分割サイズＳｓｅｇを差引き、多重化フレーム内でメディア情報を送信するために使用可能な領域のサイズＳｍｅｄを求める（図７のステップＳＴ１４）。次にＳｍｅｄの範囲内で音声・画像を最大の転送効率で伝送できるような符号化方式及び伝送レートの組合せを、発着信時に対局に通知した組合せの中から選択し（図７のステップＳＴ１５）、現在使用中の符号化方式による各メディア情報の符号化を中断する（図７のステップＳＴ１６）。符号化を中断したら、選択した符号化方式及び伝送レートに切り替えて（図７のステップＳＴ１７）符号化を再開する（図７のステップＳＴ１８）。

メディア情報の符号化方式切り替えが完了すると、Ｎ個に分割された制御情報を、多重化フレームの伝送周期毎に1つずつメディア情報と多重化して送信する（図７のステップＳＴ２０からステップＳＴ２２）。ここでｎは分割された制御情報の送信カウンタで、分割された制御情報を１つ多重化する毎に１ずつ加算され（図７のステップＳＴ２２）、上記の符号化方式切り替え（図７のステップＳＴ１１からステップＳＴ１８）前に０に初期化される（図７のステップＳＴ１０）。

Ｎ個に分割された制御情報を全て多重化し終えると（図７のステップＳＴ２０でＮｏに分岐。即ち、カウンタｎの値がＮに達する）、多重化フレーム内でメディア情報の領域が拡大するので、上記の（図７のステップＳＴ１１からステップＳＴ１８までの）符号化方式切り替え処理が再度行われる。

通話中の場合（図７のステップＳＴ１１でＹｅｓに分岐）、カウンタｎの値はＮに達している（図７のステップＳＴ１２でＮｏに分岐。即ち、制御情報送信完了）ので、制御情報の分割サイズＳｓｅｇを０とし（図７のステップＳＴ１３）、更新された分割サイズＳｓｅｇの値をもとに符号化方式及び伝送レートの切り替えが再度行われ、その結果、メディア情報の伝送品質が制御情報の送信前と同等に戻る。

〔符号化方式の選択と切り替えの具体例〕
例えば、多重化フレームの伝送周期が１０ミリ秒で、１伝送周期あたりに送信される多重化フレームのサイズが８０バイトの環境で、発着信時に図４のような符号化方式及び伝送レートの組合せを対局に通知していて、６０バイト長の制御情報を作成し２０バイト長で分割（即ち、６０÷２０＝３分割）した場合、本発明に係る多重伝送装置の送信側装置の例で説明したのと同様、音声の符号化方式としてＡ（１６ｋｂｐｓ）、画像の符号化方式としてＤ（３２ｋｂｐｓ）を選択し切り替えることとなる。

３分割された制御情報を全て多重化・送信し終えた後も、本発明に係る多重伝送装置の送信側装置の例で説明したのと同様、音声の符号化方式としてＡ（１６ｋｂｐｓ）、画像の符号化方式としてＣ（４８ｋｂｐｓ）を選択し切り替えることとなる。上記例のように送信された多重化フレームの構造も同様に、図６に示す通りとなる。

なお、後述するように、本実施形態に係るプログラムの受信側では、受信した多重化フレームを逆多重化し、かつ逆多重化したメディア情報を復号化するために、当該多重化フレームに付加されたヘッダ情報を利用しているので、特許文献２に記載の方法のように、音声・画像の符号化方式もしくは伝送レートが変動したときに変更後の符号化方式を示す制御情報を追加で多重化する必要がない。

〔受信側処理のフローチャート〕
受信側の処理を、図８を参照しながら説明する。本実施形態に係るプログラムの受信側は、通信網を介して対局から多重化フレームを受信すると、ヘッダ情報から各メディアの情報量を算出し配列Ｓｍｅｄ［１］，・・・Ｓｍｅｄ［Ｎ］に格納する（図８のステップＳＴ１）。ここで、Ｓｍｅｄ［ｎ］はメディア情報ｎの情報量を格納するための配列要素を表す。

〔ＬＳＦの全ビットが１の場合、全制御情報を結合〕
当該多重化フレームに制御情報が含まれていた場合（図８のステップＳＴ２でＹｅｓに分岐）、下記に示すような制御情報の受信処理に移行する。当該制御情報に付加されている、非特許文献１のＡｎｎｅｘＣ．８．１に記載のＬａｓｔＳｅｇｍｅｎｔＦｉｅｌｄの全ビットが１に設定されていた場合（図８のステップＳＴ３でＹｅｓに分岐）、１つの完全な制御情報を構成する全ての要素が揃ったと見なし、保持していた分割された状態の制御情報を全て結合（図８のステップＳＴ４）して制御情報の内容に応じた処理を行う（図８のステップＳＴ６からステップＳＴ８）。

特に発着信中の状態で、かつ制御情報が対局の端末能力情報を表す場合（図８のステップＳＴ６でＹｅｓに分岐）は、当該情報に設定された符号化方式・伝送レートの組合せを全て終話時まで保持しておく（図８のステップＳＴ７）。後述するように、逆多重化した各メディア情報の復号化方式選択及び切り替えのときは、これらの符号化方式・伝送レートの組合せを参照する。

〔ＬＳＦの全ビットが１でない場合、分割されている制御情報を保持〕
逆多重化した当該制御情報に付加されている、非特許文献１のＡｎｎｅｘＣ．８．１に記載のＬａｓｔＳｅｇｍｅｎｔＦｉｅｌｄの全ビットが１に設定されていない場合（図８のステップＳＴ３でＮｏに分岐）は、１つの完全な制御情報を構成する全ての要素が未だ揃っていないと見なし、ＬａｓｔＳｅｇｍｅｎｔＦｉｅｌｄの全ビットが１の制御情報を受信するまで当該制御情報を保持しておく（図８のステップＳＴ５）。

〔発着信中か通話中かを判断〕
上記のような制御情報の受信処理（図８のステップＳＴ３からステップＳＴ８）が終了、もしくは受信した多重化フレームに制御情報が含まれていなかった場合（図８のステップＳＴ２でＮｏに分岐）は、発着信中か通話中か状態に応じて処理を分岐し、発着信中であれば（多重化フレームにメディア情報が含まれていなければ発着信中と見なす。図８のステップＳＴ９でＹｅｓに分岐）そのまま処理を終了する。通話中であれば（多重化フレームにメディア情報が含まれていれば通話中と見なす。図８のステップＳＴ９でＮｏに分岐）下記に示すような復号化方式の選択・切り替え処理に移行する。

〔復号化方式の選択・切り替え処理〕
受信側は各メディア情報を逆多重化すると、現在使用中の復号化方式でそのまま当該メディア情報を正しく復号化できるか調べるために、前回受信した情報量と今回受信した情報量をメディア情報１から順番に比較する（図８のステップＳＴ１０からステップ１３）。ここで、Ｓｍｅｄ’［ｎ］は前回受信したメディア情報ｎの情報量を格納するための配列要素を表す。

〔メディア情報が前回受信したものと同じ場合〕
全てのメディア情報について、今回受信した情報量と前回受信した情報量を比較した結果が同じであった場合（図８のステップＳＴ１１でＹｅｓに分岐）、対局の送信側ではメディア情報の符号化方式切り替えが発生していない（即ち、受信側でも復号化方式を切り替える必要がない）と判断しそのまま処理を終了、メディア情報の復号化はそのまま継続する。

〔メディア情報が前回受信したものと異なる場合〕
比較の結果、今回受信した情報量と前回受信した情報量が異なるメディア情報があれば（図８のステップＳＴ１２でＹｅｓに分岐）、対局の送信側でメディア情報の符号化方式切り替えが発生した（即ち、受信側でも復号化方式を切り替える必要がある）と判断し復号化を保留させ（図８のステップＳＴ１４）、今回逆多重化した各メディア情報の情報量Ｓｍｅｄ［１］，・・・Ｓｍｅｄ［Ｎ］をもとに適切な復号化方式及び伝送レートの組合せを、発着信中に対局から通知された復号化方式及び伝送レートの組合せの中から選択する（図８のステップＳＴ１５）。次に復号化方式及び伝送レートを選択したものに切り替え（図８のステップＳＴ１６）、切り替えが完了したら復号化を再開させ（図８のステップＳＴ１７）処理を終了する。

前回対局から受信した多重化フレームには音声が２０バイト・画像が６０バイトの比率で含まれていて、今回対局から受信した多重化フレームには制御情報が２０バイト・音声が２０バイト・画像が４０バイトの比率で含まれていた場合、本発明に係る多重伝送装置の受信側装置の例で説明したのと同様、復号化方式選択部２３は音声を復号化するための方式としてＡ（１６ｋｂｐｓ）、画像を復号化するための方式としてＤ（３２ｋｂｐｓ）を選択し、切り替えを行う。

本実施形態に係るプログラムの受信側は、上記のような方法で受信した多重化フレームを逆多重化・メディア情報を復号化するため、特許文献２に記載の方法のように、変更後の符号化方式を示す制御情報を送信側にて追加で多重化しなくても逆多重化・復号化を正しく行うことができる。

本発明の多重伝送方法、多重伝送装置、そのソフトウェア及び記録媒体は、制御情報の緊急度に応じてその伝送遅延を調整できる制御情報分割部、及び制御情報を除く範囲内で伝送帯域を最大限に有効活用する符号化方式選択部を有し、テレビ電話において、例えば通話中のメディア情報の追加・削除や画質の調整などによって制御情報が頻繁に発生するような状況においても音質・画質などメディア情報の品質をできるだけ高く維持するために有用である。また、本発明に係るテレビ電話における多重伝送方法及び装置は、テレビ電話と同様の勧告に準拠したテレビ会議システム等の用途にも応用できる。

本発明の実施形態を説明するための多重伝送装置の概略構成を示すブロック図本発明の実施形態を説明するための多重伝送装置における送信側装置の処理の流れを表すシーケンス図本発明の実施形態を説明するための多重伝送装置における受信側装置の処理の流れを表すシーケンス図本発明の実施形態を説明するための多重伝送装置において、同時に使用し得る音声・画像の符号化方式と伝送レートの組合せの一例を示す図本発明の実施形態を説明するための多重伝送装置において、応答待ちタイマと制御情報の分割サイズの関係を示す図本発明の実施形態を説明するための多重伝送装置において、生成される多重化フレームの構造の一例を示す図本発明を実施するための最良の形態に係るプログラムにおける送信側の処理を表すフローチャート本発明を実施するための最良の形態に係るプログラムにおける受信側の処理を表すフローチャート制御情報を優先的に多重化・送信するために、特許文献１に記載の方法を適用しようとした場合に想定される問題点を説明するための図制御情報を優先的に多重化・送信するために、特許文献２に記載の方法を適用しようとした場合に想定される問題点を説明するための図

符号の説明

１０送信側装置
１１符号化部
１２制御情報作成部
１３制御情報分割部
１４符号化方式選択部
１５多重化部
２０受信側装置
２１逆多重化部
２２制御情報結合部
２３復号化方式選択部
２４制御情報解析部
２５復号化部
３０通信網

Claims

メディア情報及び制御情報を多重化して伝送するテレビ電話の多重伝送方法であって、
前記制御情報を応答待ちタイマの満了値に基づいて分割するステップと、
多重化フレーム内に前記制御情報の分割サイズ分の領域を優先的に確保するステップと、
前記多重化フレームから前記制御情報の分割サイズ分の領域を差引いた範囲内で前記メディア情報を最も高い転送効率で送信できる符号化方式を選択するステップと、
を有する多重伝送方法。
前記制御情報の応答待ちタイマの満了値が小さいときは、前記制御情報の分割サイズを大きくして、前記メディア情報が高圧縮率・低伝送レートとなる符号化方式を選択し、
前記制御情報の応答待ちタイマの満了値が大きいときは、前記制御情報の分割サイズを小さくして、前記メディア情報が低圧縮率・高伝送レートとなる符号化方式を選択する請求項１記載の多重伝送方法。
送信する制御情報が対局から受信した制御情報に対する応答である場合は、送信する前記制御情報の分割サイズを大きくし、
送信する前記制御情報が対局からの応答を必要としない情報である場合は、送信する前記制御情報の分割サイズを小さくする請求項２記載の多重伝送方法。
送信側において、前記メディア情報の符号化部が使用し得る符号化方式の全種類を前記制御情報内に設定して発着信中に対局に通知するステップと、
受信側において、受信した多重化フレームにおける前記メディア情報の比率が、前回受信した多重化フレームにおける前記メディア情報の比率と異なる場合に、前記メディア情報の逆多重化及び復号化を保留するステップと、
今回得られた前記メディア情報の比率をもとに、発着信中に対局から通知された符号化方式に対応する復号化方式を選択するステップと、
前記復号化方式により前記メディア情報の逆多重化及び復号化を再開するステップと、を有する請求項１記載の多重伝送方法。
メディア情報及び制御情報を多重化して伝送するテレビ電話の多重伝送装置であって、
前記メディア情報及び前記制御情報を符号化する符号化部と、
前記制御情報及び応答待ちタイマの満了値を生成する制御情報作成部と、
前記制御情報作成部から前記制御情報及び前記応答待ちタイマの満了値が供給され、前記制御情報を前記応答待ちタイマの満了値に基づいて分割する制御情報分割部と、
前記制御情報分割部から前記制御情報の分割サイズが供給され、多重化フレームから前記制御情報の分割サイズ分の領域を差引いた範囲内で、前記メディア情報を最も高い転送効率で送信できる符号化方式を選択して前記符号化部に通知する符号化方式選択部と、
前記符号化方式選択部が選択した符号化方式によって符号化された前記メディア情報及び分割された前記制御情報を多重化して通信網に送信する多重化部と、
を備える多重伝送装置。
前記制御情報分割部は、前記制御情報の応答待ちタイマの満了値が小さいときは、前記制御情報の分割サイズを大きくし、前記制御情報の応答待ちタイマの満了値が大きいときは、前記制御情報の分割サイズを小さくし、
前記符号化方式選択部は、前記制御情報分割部から供給された前記制御情報の分割サイズが、前回供給された前記制御情報の分割サイズよりも大きいときは、前記メディア情報が高圧縮率・低伝送レートとなる符号化方法を選択し、
前記制御情報分割部から供給された前記制御情報の分割サイズが前回入力された前記制御情報の分割サイズよりも小さいときは、前記メディア情報が低圧縮率・高伝送レートとなる符号化方法を選択する、
請求項５記載の多重伝送装置。
前記制御情報作成部は、前記制御情報分割部に供給する制御情報が対局から受信した制御情報に対する応答である場合は、送信する制御情報が大きいサイズで分割されるように前記応答待ちタイマの満了値を小さくし、
前記制御情報分割部に供給する前記制御情報が対局からの応答を必要としない情報である場合は、前記制御情報が小さいサイズで分割されるように前記応答待ちタイマの満了値を大きくする請求項６記載の多重伝送装置。
前記符号化方式選択部は、発着信中に、前記符号化部が使用し得る符号化方式の全種類を前記制御情報作成部に通知し、
前記制御情報作成部は、前記符号化方式の全種類を前記制御情報内に設定して前記制御情報分割部に供給する請求項５記載の多重伝送装置。
通信網を介して対局から前記多重化フレームを受信して逆多重化する逆多重化部と、
前記逆多重化部から供給される分割されている前記制御情報を１つの制御情報に結合する制御情報結合部と、
前記制御情報結合部で結合された前記制御情報を解析し、発着信中に、前記制御情報に設定された符号化方式及びそれに対応する復号化方式の種類を検出する制御情報解析部と、
前記逆多重化部から供給された多重化フレームのヘッダ情報から前記メディア情報の比率を求め、求めた比率が前回求めた比率と異なる場合は、今回求めた比率をもとに、前記メディア情報に適用する復号化方式を、前記制御情報解析部が解析した前記復号化方式の中から選択するとともに、前記逆多重化部に対して前記メディア情報の逆多重化を保留させ、前記復号化部で実行される復号化方式を、選択した前記復号化方式に切り替えさせた上で、前記逆多重化部に前記メディア情報の逆多重化を再開させる復号化方式選択部と、
前記メディア情報及び前記制御情報を復号化する復号化部と、
を備える請求項８記載の多重伝送装置。
コンピュータに、請求項１ないし４のいずれか１項記載の各ステップを実行させるための多重伝送プログラム。
請求項１０記載の多重伝送プログラムを格納するための記録媒体。