JP2005130150A - 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 通信データから選択した非優先データを簡易処理し、優先データを高品質化することを可能とした通信処理装置および方法を提供する。
【解決手段】 通信データを監視し、監視結果に基づいて通信データの処理態様の変更を実行する。通信データから選択された非優先処理データの簡易処理として、ＣＰＵやメモリなどの通信処理装置内のリソースの抑制使用、あるいは送信データの符号化ビットレートの低減、パケットサイズの低減などを実行する。この結果、優先処理データに対するリソースの配分率を高め、通信帯域の広帯域化などが可能となり、優先処理データの通信および出力データの高品質化が可能となる。
【選択図】 図４

Description

本発明は、通信処理装置、および通信処理方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、例えば、視聴用のマルチメディアコンテンツのデータストリームと、コミュニケーション用のデータなど、複数の通信データの処理を伴う構成において、通信データや再生データの高品質化を実現する通信処理装置、および通信処理方法、並びにコンピュータ・プログラムに関する。

最近、ＩＰ(Internet Protocol)電話やインスタントメッセンジャー等、文字、音声、映像等を用いて、個人間で手軽にコミュニケーションをとる手法が確立されつつあり、その一部はＴＶ電話アプリケーションとしてすでにビジネスとしても展開されている。今後、ネットワークの広帯域化、低価格化にともなって、これら個人間でのコミュニケーション手段も一段と整備され、広範囲に使用されるようになることが予想される。

音声と映像を同時に用いた双方向ビジュアルコミュニケーションの実現方法のひとつとして、ＡＶストリーミングを使った、ＴＶ電話のようなアプリケーションがある。すなわち、パーソナルコンピュータ、あるいは携帯情報端末や携帯電話等の通信処理装置によって構成されるコミュニケーション用端末（以下、コミュニケーション端末と称する）に、マイクとカメラ、スピーカと映像ディスプレイを装備し、コミュニケーション参加者の音声／映像をリアルタイムで相互に送受信することにより、相手の音声／映像を視聴しながらコミュニケーションをとるという形態である。

図１を参照して、従来の通信方法による双方向ビジュアルコミュニケーションの構成例について説明する。

端末Ａ１１０のユーザ（ユーザＡ）と端末Ｂ１２０のユーザ（ユーザＢ）は、ネットワーク１３０を介して接続しており、ビジュアルコミュニケーションをしている状態にある。ここでは、それぞれの端末がネットワークを介して接続状態になるまでの手順は、発明の本質とは離れるので、説明は省略する。

端末Ａ１１０において、ユーザＡの音声および映像は、カメラＡ１１２、マイクＡ１１１からなる映像および音声取得部から端末Ａ１１０に取り込まれる。これらの音声／映像データは、送信部Ａ１１５において符号化、パケット化等、所定の処理をした後、端末Ａ１１０からネットワーク１３０に送信される。端末Ｂ１２０は、ネットワーク１３０を介して端末Ａ１１０からの音声／映像データを受信する。

端末Ｂ１２０は、データ受信後、受信部Ｂ１２６においてユーザＡの音声／映像データを格納したパケットからのデータ取得および復号等、所定の処理を実行した後、ディスプレイＢ１２４、スピーカＢ１２３を介して画像および音声データを出力してユーザＢに提示する。なお、各端末の送信部、受信部における具体的処理については後述する。

双方向データ通信においては、端末Ａ１１０から端末Ｂ１２０に対するデータ送信に並行して、端末Ｂ１２０から端末Ａ１１０に対するデータ送信も行われる。端末Ｂ１２０では、ユーザＢの音声／映像を、カメラＢ１２２、マイクＢ１２１を用いて取得し、取得データは、端末Ａ１１０の場合と同様、送信部Ｂ１２５において所定の処理をした後、ネットワーク１３０に送信される。端末Ａ１１０は、上述したようにユーザＡの音声／映像データをネットワーク１３０に送信すると同時に、端末Ｂ１２０からネットワーク１３０に送信されたユーザＢの音声／映像データを受信し、受信部Ａ１１６において所定の処理をした後、端末Ａ１１０上のディスプレイＡ１１４、スピーカＡ１１３を介して画像および音声データを出力してユーザＡに提示する。

通常、双方向ビジュアルコミュニケーションでは、ネットワークの帯域を効率よく使用するために、音声／映像のデータは、それぞれの端末に設けられたコーデックを用いて数分の一から数十分の一にデータ圧縮（符号化）された後、ネットワークに送信される。例えばＭＰＥＧ（Moving Picture experts Group）、ＡＴＲＡＣ(Adaptive Transform Acoustic Coding)等の符号化処理がなされる。

また、ネットワークにデータを出力する際には、符号化されたデータをそのまま流すのではなく、ネットワーク送受信に適したプロトコルでパケット化したものを使用する。たとえばＴＣＰ(Transmission Control Protocol)や、ＵＤＰ(User Datagram Protocol)に従ったパケットを生成して生成パケットをネットワークに出力する。各端末の送信部、受信部は、これらの処理を行っている。

送信部および受信部の構成例を図２、図３に示す。図２に示すように、送信データ処理部２１０は、マイク２０１から取得した音声データをオーディオ符号化器２１１に入力し、ＡＴＲＡＣ等の所定フォーマットに従ったデータ符号化処理を行って、オーディオパケット生成部２１２において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケットを生成してネットワーク送出部２１５を介してネットワーク２２０に送出する。

映像データはカメラ２０２によって取得され、ビデオ符号化器２１３に入力し、ＭＰＥＧ等の所定フォーマットに従ったデータ符号化処理を行って、ビデオパケット生成部２１４において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケットを生成してネットワーク送出部２１５を介してネットワーク２２０に送出する。

これらのパケットを受信する端末における受信データ処理部の処理について図３を参照して説明する。ネットワーク３０１を介して受信データ処理部３１０のネットワーク受信部３１１が受信したパケットは、オーディオパケット復号部３１２およびビデオパケット復号部３１７に入力されて、各パケットからの符号化データの取り出し、各パケットから取得した符号化データの再配列等の処理を実行した後、それぞれのパケットに格納された符号化データ態様に対応した復号処理を実行する復号化部を選択するため、受信データ判断部３１３、３１８に送られる。この受信データ判断部３１３、３１８において、受信したオーディオデータ、ビデオデータの符号化態様、例えばＡＴＲＡＣ、ＭＰＥＧなど、各種の符号化データ態様に対応した復号処理を実行する適切な復号化器を復号化器１〜３（３１４，３１５，３１６，３１９，３２０，３２１）から選択し、選択した復号化器１〜３（３１４，３１５，３１６，３１９，３２０，３２１）に受信オーディオデータおよび受信ビデオデータをそれぞれ入力して、それぞれＡＴＲＡＣ、ＭＰＥＧ等の復号シーケンスに従った復号処理を実行して、元の音声／映像データを生成する。復号されたデータは、スピーカ３３０、ディスプレイ３３１において出力されユーザによる視聴が可能となる。

なお、図３の例では、復号化器が音声／映像でそれぞれ３種類ずつある例を示したが、実際にはこれに限るわけではなく、１種類だけのものや、さらに多くの復号化器をもつ端末も存在し得る。

このように、双方向ビジュアルコミュニケーションの参加者が使用するコミュニケーション端末では、そのツールを使用する者の音声／映像を符号化しネットワークに送信する送信部の処理と、コミュニケーションに参加している他者からネットワークを通じて送られてくる音声／映像データの復号化を行う受信部の処理、さらに復号化されたそれら音声／映像データをスピーカ、ディスプレイを用いて出力する処理を、リアルタイムで同時に行う必要がある。

ところで、こういった双方向でのコミュニケーションでは、単に会話をするのみではなく、自分の所有している音楽、あるいはビデオ映像などのマルチメディアコンテンツ（以下、マルチメディアコンテンツ）を、会話中にも同時に双方で視聴して楽しみたい、あるいは会話の話題にしたいという欲求がある。なお、双方向コミュニケーション時におけるマルチメディアコンテンツの同時視聴構成については、例えば特許文献１、特許文献２に開示されている。

また、マルチメディアコンテンツの視聴以外にも、デジタルカメラで撮影した画像データや、あるいはビジネスシーンにおけるプレゼン資料データなどのファイルを、双方でコミュニケーションしながら同時に送り合い、共有したいという欲求がある。

双方向コミュニケーション時に、コミュニケーションデータとは別のマルチメディアコンテンツを同時視聴するためには、コミュニケーションに使用されているチャネルに、マルチメディアコンテンツのデータもミックスして流すようにするか、あるいは、マルチメディアコンテンツ送受信用のチャネルを新たに開き、双方向コミュニケーション用のチャネルと並列にデータの送受信を行うという方法がある。

しかしながらこれらの方法では、視聴用のマルチメディアコンテンツのデータストリームとコミュニケーション用のデータストリームを独立かつ並列に扱うため、それぞれのストリームの再生に、処理の優先順位をつけることはできなかった。

しかし、通信処理を行なう通信処理装置、すなわちＰＣ、携帯端末等の通信処理装置は限られたリソース、具体的には、端末に備えられたＣＰＵパワーや使用可能なメモリ量に限りがあり、そのため、コミュニケーション中にマルチメディアコンテンツ同時視聴を行うと、処理速度が低減し、オーディオ、ビデオの符号化／復号化処理の遅れが顕著にあらわれ、マルチメディアコンテンツ、コミュニケーションの両方のストリーミング品質が劣化してしまうという問題があった。

また、例えば無線ＬＡＮなどネットワーク帯域のリソースが限られている環境では、コミュニケーションデータとマルチメディアコンテンツデータの送受信を同時に行うと、ネットワークリソースを大量に消費するため、ネットワークの混雑に起因するパケット落ち、パケット遅延が双方に生じ、この場合もストリーミング品質が劣化するという問題があった。このことは、画像データファイルなど、サイズの大きなファイルをコミュニケーション中に送受信する場合にも同様の問題がある。
特表２００３−５１６０４５ 特開２００３−６３４８

本発明は、このような状況に鑑みてなされたものであり、処理能力の低いシステムを使用したコミュニケーション端末や、ネットワークリソースが限られている環境においても、実用上のストリーミング品質を下げないで、コミュニケーション中におけるマルチメディアコンテンツの視聴やファイル転送を実現するコミュニケーションを可能とした通信処理装置、および通信処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
符号化データの送受信処理を実行する通信処理装置であり、
送信データの符号化処理を実行する送信データ処理部と、
受信データの復号化処理を実行する受信データ処理部と、
送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドを出力する通信データ監視部と、
前記通信データ監視部からのコマンドを入力し、送信データまたは受信データの少なくともいずれかのデータ処理態様を変更するデータ処理制御部と、
を有することを特徴とする通信処理装置にある。

さらに、本発明の通信処理装置の一実施態様において、前記通信データ監視部は、複数の異なる受信データの監視処理を実行し、予め設定されたモードに応じて、一方の受信データを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記通信データ監視部は、複数の異なる通信データとして、他の通信端末とのコミュニケーションデータと、サーバからの受信データとしてのマルチメディアコンテンツデータの複数の通信における複数の受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたはマルチメディアコンテンツデータのいずれか一方のデータを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記データ処理制御部は、前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、通信処理装置内のリソースの抑制使用によるデータ処理を実行させる制御を行う構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記リソースは、通信処理装置内のＣＰＵまたはメモリの少なくともいずれかを含むものであることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記データ処理制御部は、前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、送信データの符号化ビットレートを低減した送信パケットの生成処理を実行させる制御を行う構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記データ処理制御部は、前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、データ送信元に対して、送信データの符号化ビットレートを低減させるためのコマンド格納パケットの送信処理を実行させる制御を行う構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記通信処理装置は、さらに、前記送信データ処理部および受信データ処理部において処理されるコミュニケーションデータの有無を判定するコミュニケーションデータ有無判断部を有し、前記通信データ監視部は、前記コミュニケーションデータ有無判断部におけるコミュニケーションデータ有りの判断情報に基づいて、コミュニケーションデータの優先処理を実行するコミュニケーション優先モードの設定に基づく処理を実行し、前記コミュニケーションデータ有無判断部におけるコミュニケーションデータなしの判断情報に基づいて、マルチメディアコンテンツデータの優先処理を実行するマルチメディアコンテンツデータ優先モードの設定に基づく処理を実行する構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記通信データ監視部は、優先処理データの受信検出を、受信パケットの設定情報であるペイロード情報としてのデータタイプまたはアドレス情報に基づいて実行する構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記通信データ監視部は、他の通信端末とのコミュニケーションデータとして送受信する送信データおよび受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたは、通信処理装置から送信するデータファイルのいずれか一方のデータを優先処理データとして設定するとともに、予め定められた条件を満足する優先処理データの検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、前記通信データ監視部は、コミュニケーションデータ優先モードにおいて、コミュニケーションデータの音声パワー検出処理を実行し、該音声パワーが予め定められた閾値以上である場合に、非優先処理データであるデータファイルの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする。

さらに、本発明の通信処理装置の一実施態様において、 前記データ処理制御部は、前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、非優先処理データであるデータファイルの送信データのパケットサイズを削減した送信パケット生成処理を実行させる制御を行う構成であることを特徴とする。

さらに、本発明の第２の側面は、
符号化データの送受信処理における通信データの制御を実行する通信処理方法であり、
送信データの符号化処理を実行する送信データ処理ステップと、
受信データの復号化処理を実行する受信データ処理ステップと、
送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドをデータ処理制御部に出力する通信データ監視ステップと、
前記通信データ監視ステップにおいて出力するコマンドを入力し、送信データまたは受信データの少なくともいずれかのデータ処理態様を変更するデータ処理制御ステップと、
を有することを特徴とする通信処理方法にある。

さらに、本発明の通信処理方法の一実施態様において、前記通信データ監視ステップは、複数の異なる受信データの監視処理を実行し、予め設定されたモードに応じて、一方の受信データを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力することを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記通信データ監視ステップは、複数の異なる通信データとして、他の通信端末とのコミュニケーションデータと、サーバからの受信データとしてのマルチメディアコンテンツデータの複数の通信における複数の受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたはマルチメディアコンテンツデータのいずれか一方のデータを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドをデータ処理制御部に出力することを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記データ処理制御ステップは、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、通信処理装置内のリソースの抑制使用によるデータ処理を実行させる制御を行うステップであることを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記リソースは、通信処理装置内のＣＰＵまたはメモリの少なくともいずれかを含むものであることを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記データ処理制御ステップは、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、送信データの符号化ビットレートを低減した送信パケットの生成処理を実行させる制御を行うステップであることを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記データ処理制御ステップは、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、データ送信元に対して、送信データの符号化ビットレートを低減させるためのコマンド格納パケットの送信処理を実行させる制御を行うステップであることを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記通信処理方法は、さらに、前記送信データ処理ステップおよび受信データ処理ステップにおいて処理されるコミュニケーションデータの有無を判定するコミュニケーションデータ有無判断ステップを有し、前記通信データ監視ステップは、前記コミュニケーションデータ有無判断ステップにおいて生成されるコミュニケーションデータ有りの判断情報に基づいて、コミュニケーションデータの優先処理を実行するコミュニケーション優先モードの設定に基づく処理を実行し、前記コミュニケーションデータ有無判断部におけるコミュニケーションデータなしの判断情報に基づいて、マルチメディアコンテンツデータの優先処理を実行するマルチメディアコンテンツデータ優先モードの設定に基づく処理を実行することを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記通信データ監視ステップは、優先処理データの受信検出を、受信パケットの設定情報であるペイロード情報としてのデータタイプまたはアドレス情報に基づいて実行することを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記通信データ監視ステップは、他の通信端末とのコミュニケーションデータとして送受信する送信データおよび受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたは、通信処理装置から送信するデータファイルのいずれか一方のデータを優先処理データとして設定するとともに、予め定められた条件を満足する優先処理データの検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力することを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記通信データ監視ステップは、コミュニケーションデータ優先モードにおいて、コミュニケーションデータの音声パワー検出処理を実行し、該音声パワーが予め定められた閾値以上である場合に、非優先処理データであるデータファイルの簡易処理実行設定コマンドを前記データ処理制御部に出力することを特徴とする。

さらに、本発明の通信処理方法の一実施態様において、前記データ処理制御ステップは、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、非優先処理データであるデータファイルの送信データのパケットサイズを削減した送信パケット生成処理を実行させる制御を行うステップであることを特徴とする。

さらに、本発明の第３の側面は、
符号化データの送受信処理における通信データの制御を実行するコンピュータ・プログラムであり、
送信データの符号化処理を実行する送信データ処理ステップと、
受信データの復号化処理を実行する受信データ処理ステップと、
送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドをデータ処理制御部に出力する通信データ監視ステップと、
前記通信データ監視ステップにおいて出力するコマンドを入力し、送信データまたは受信データの少なくともいずれかのデータ処理態様を変更するデータ処理制御ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記録媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、符号化データの送受信処理を実行する通信処理装置において、送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドをデータ処理制御部に出力して、非優先処理データの簡易処理、例えばＣＰＵやメモリなどの通信処理装置内のリソースの抑制使用、あるいは送信データの符号化ビットレートの低減、あるいは送信データファイルのパケットサイズの低減などを実行する構成としたので、優先処理データに対するリソースの配分率を高め、またデータ通信における使用帯域の広帯域化などが可能となり、優先処理データの通信および出力データを高品質化することが可能となる。

さらに、本発明の構成によれば、複数の異なる通信データとして、他の通信端末とのコミュニケーションデータと、サーバからの受信データとしてのマルチメディアコンテンツデータの複数の通信における複数の受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたはマルチメディアコンテンツデータのいずれか一方のデータを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理を実行する構成としたので、モードに応じて、マルチメディアコンテンツデータ、またはコミュニケーションデータを高品質データとして送受信し、出力することが可能となる。

さらに、本発明の構成によれば、他の通信端末とのコミュニケーションデータとして送受信する送信データおよび受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータを優先処理データ、通信処理装置から送信するデータファイルを非優先処理データとして検出し、非優先処理データの簡易処理を実行する構成としたので、コミュニケーションデータを高品質データとして送受信し、出力することが可能となる。

本発明の構成によれば、特に、音声および映像のストリーミングを利用したコミュニケーション中、同時に映画等のマルチメディアコンテンツをストリーミング再生し視聴する場合などにおいて、コミュニケーションデータとマルチメディアコンテンツデータのどちらか、優先順位の低いデータの処理を簡易化し、処理量を減らす構成としたので、減らした分のＣＰＵパワーを、優先的に処理すべきデータの処理のために割り当てることが可能となる。これにより、優先順位の低いデータのストリーミング品質を体感上、問題ないレベルにとどめながら、優先的に処理すべきデータを高品質で視聴することができる。

また、本発明の構成によれば、優先順位の低いデータの符号化のビットレートを下げることにより、単位時間当たりにネットワークに流れるデータ量を減らし、ネットワークリソースの消費を低減させることができ、これにより、優先処理すべきデータの転送を優先でき、パケット落ちやパケット遅延のない、高品質な視聴が可能となる。さらに、コミュニケーション中のファイル転送という状況下では、コミュニケーション音声のパワーを監視し、会話がなされて、音声パワーがある閾値以上となったときに、ファイル転送のパケットサイズを小さくし、ファイル転送のために消費していたネットワークリソースを低減させる構成としたので、ファイル転送中も、コミュニケーションデータの転送を優先でき、パケット落ちやパケット遅延のない、高品質なコミュニケーションが可能となる。

以下、図面を参照しながら、本発明の通信処理装置、および通信処理方法、並びにコンピュータ・プログラムの詳細について説明する。

本発明の通信処理装置、すなわち通信ネットワークを介したコミュニケーションを実行する端末の第１実施例の構成をブロック図として図４に示す。

通信処理装置４００は、通信ネットワーク４０１を介して接続された通信相手の端末４０２とのコミュニケーションを実行するとともに、映画、音楽等の様々なコンテンツであるマルチメディアコンテンツを格納したデータベース４０４を有するマルチメディアコンテンツサーバ４０３と接続している。

通信処理装置４００および通信相手の端末４０２は、双方でマルチメディアコンテンツサーバ４０３と接続して、同じ映画などを視聴しながら、同時に音声および画像を伴うコミュニケーション、すなわち、ＴＶ電話等の音声および画像を伴う双方向ビジュアルコミュニケーションを実行する。

このように、双方向ビジュアルコミュニケーションを実行し、かつマルチメディアコンテンツを同時にストリーミングで視聴する場合、
ａ）コミュニケーションが主体で、会話のＢＧＭやＢＧＶとしてマルチメディアコンテンツを使用する［コミュニケーション優先モード］と、
ｂ）コンテンツを主に鑑賞しながら、ごくたまにその内容に関する簡単な会話をするか、あるいは会話がほとんどなされていないか、など、マルチメディアコンテンツの視聴を主体とする［マルチメディアコンテンツ優先モード］の、それぞれの状態が想定される。

通信処理装置は、これらの各モード状態において、通信処理装置の限られたリソース（ＣＰＵ、メモリなど）を最適なリソース配分の下に制御して利用することが望ましい。

なお、「リソース」とは、双方向ビジュアルコミュニケーションの処理を行うのに必要となる通信処理装置の制御部（例えばＣＰＵ）や、あるいは使用するメモリなどである。

双方向ビジュアルコミュニケーションを実行し、また、マルチメディアコンテンツを受信し、再生するためには、それぞれの通信データの処理としてデータの符号化処理、復号処理、パケット生成、パケット解析などの処理を実行することが必要となる。これらの処理は、通信処理装置のＣＰＵ、メモリなどの限られたリソースを適用して実行することが必要となる。

［コミュニケーション優先モード］と、［マルチメディアコンテンツ優先モード］のいずれのモードにおいても、コミュニケーションデータ、マルチメディアコンテンツデータのうち、優先して再生すべきデータの視聴には高品質な画質、音質が求められるが、一方、優先しないほうのデータの視聴に関しては、その内容はその時点で双方にとってあまり重要ではないため、高い品質は必要とされない。

すなわち、［コミュニケーション優先モード］では、
コミュニケーションデータ＝優先処理データ
マルチメディアコンテンツデータ＝非優先処理データ
として設定可能であり、
［マルチメディアコンテンツ優先モード］においては、
コミュニケーションデータ＝非優先処理データ
マルチメディアコンテンツデータ＝優先処理データ
として設定することができる。

従って、優先度の低いデータの処理に、優先して再生すべきデータの処理と同程度のシステムリソース（例えばＣＰＵパワー）を使用することは、無駄であるばかりではなく、優先して再生すべきデータの処理、優先度の低いデータの処理、双方で、リソース不足による処理遅れなどが発生し、その結果、画像の乱れやノイズ、音切れなど、再生品質の劣化を、双方に引き起こす場合が多い。

そこで本発明では、優先度の低いデータの処理を簡易化することにより、システムリソースの消費を抑え、その分のリソースを、優先して再生すべきデータの処理のために利用できるようにすることにより、優先度の低いデータのクォリティを実用上問題ないレベルに維持させつつ、優先処理すべきデータに対する通信処理装置のリソース配分を高める制御を実行する。

この制御に基づいて、優先処理すべき画像データや、音声データを特定し、これらのデータの高品質化を実現し、データクオリティの高いマルチメディアコンテンツの視聴または、コミュニケーションデータの視聴を可能とする。

図４を参照して、本発明の通信処理装置の構成および処理について説明する。本発明の通信処理装置４００は、ネットワーク４０１を介して受信したデータの処理を実行する受信データ処理部４１０、受信データ処理部における処理後のデータを出力するディスプレイ４２０、スピーカ４２１、ネットワークに出力するユーザの音声および映像データを取得するマイク４５０、カメラ４５１、取得したデータに基づく送信データを生成する送信データ処理部４４０を有する。

受信データ処理部４１０には、ネットワーク４０１を介して通信相手の端末４０２からのコミュニケーションデータの受信処理を実行するネットワーク受信部１，４１１と、マルチメディアコンテンツを格納したデータベース４０４を有するマルチメディアコンテンツサーバ４０３からのマルチメディアコンテンツデータの受信処理を実行するネットワーク受信部２，４１７とを有する。

通信データ監視部４１４は、ネットワーク受信部１，４１１、ネットワーク受信部２，４１７の受信データを入力し、受信データに応じて符号化器／復号化器制御部４３１に対してコマンドを出力するとともに、受信データを後段のデータ処理部、すなわちビデオパケット復号部４１２およびオーディオパケット復号部４１３に入力する。通信データ監視部４１４の処理の詳細については、後述する。

ビデオパケット復号部４１２およびオーディオパケット復号部４１３は、入力パケットからの符号化データの取り出し、各パケットから取得した符号化データの再配列等の処理を実行し、処理データをそれぞれビデオ復号化器４１５、オーディオ復号化器４１６に入力する。ビデオ復号化器４１５、オーディオ復号化器４１６では、それぞれ例えばＭＰＥＧ、ＡＴＲＡＣ等の所定の符号化データの復号シーケンスに従った復号処理を実行し、復号データをそれぞれディスプレイ４２０、スピーカ４２１を介して出力する。

送信データ処理部４４０では、マイク４５０から取得した音声データをオーディオ符号化器４４４に入力し、ＡＴＲＡＣ等の所定フォーマットに従ったデータ符号化処理を行って、オーディオパケット化部４４２において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケットを生成してネットワーク送信部４４１を介してネットワーク４０１に送出する。パケットは、ネットワーク送信に適した所定のプロトコル、例えばＲＴＰ： Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）に従ったパケット構成として設定される。

映像データはカメラ４５１によって取得し、ビデオ符号化器４４５に入力し、ＭＰＥＧ等の所定フォーマットに従ったデータ符号化処理を行って、ビデオパケット化部４４３において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケット（例えばＲＴＰパケット）を生成してネットワーク送信部４４１を介してネットワーク４０１に送出する。

本発明の通信処理装置は、上述したように、受信データ処理部４１０、送信データ処理部４４０の他に、データ処理制御部として機能する符号化器／復号化器制御部４３１、符号化プリプロセス部４３２、および復号化プリプロセス部４３０を備える。

なお、コミュニケーションを開始するにあたって、［コミュニケーション優先モード］と、［マルチメディアコンテンツ優先モード］のどちらの再生モードを適用するかは、あらかじめ決められているものとする。このモード設定は、例えばユーザが通信処理装置に備えられた入力部（図示せず）を介して、モード設定情報を通信データ監視部４１４に入力する。通信データ監視部４１４は入力されて設定されたモードに基づく制御を実行する。

通信データ監視部４１４は、ネットワーク受信部１，４１１、ネットワーク受信部２，４１７が受信したコミュニケーションデータ、およびマルチメディアコンテンツデータの各通信データパケットを監視する。

通信データ監視部４１４は、あらかじめ設定されたモード（［コミュニケーション優先モード］か［マルチメディアコンテンツ優先モード］）に従って、受信したパケットが優先すべきデータのパケットかどうかを、受信パケットに設定されたペイロード情報、送信元情報などに基づいて判定する。

通信データ監視部４１４が、ネットワーク受信部１，４１１、ネットワーク受信部２，４１７が受信したコミュニケーションデータ、およびマルチメディアコンテンツデータの各データパケットに基づいて、優先処理すべきどうかを判断する際に参照する優先処理データ決定テーブル例を図５に示す。

図５に示す例では、
コミュニケーションデータとして、
音声データ：Ｇ．７１１、
映像データ：ＭＰＥＧ４、
の各データタイプを使用し、
マルチメディアコンテンツデータとして、
音声データ：ＡＡＣ、
映像データ：ＭＰＥＧ２
の各データタイプを使用している場合、［コミュニケーション優先モード］か［マルチメディアコンテンツ優先モード］の各モードにおいて、通信データ監視部４１４が、優先処理するデータを決定するために適用する優先処理データ決定テーブルである。

この優先処理データ決定テーブルは、通信データ監視部４１４内のメモリ、あるいは、通信データ監視部４１４がアクセス可能な通信処理装置４００内の記憶部に格納され、通信データ監視部４１４は、受信パケットに設定されたペイロード情報に基づいてテーブルを参照して受信データが優先処理データであるか非優先処理データであるかを判定して、判定結果情報、あるいは判定結果情報に基づくコマンドをデータ処理制御部として機能する符号化器／復号化器制御部４３１に出力する。

図５に示す優先処理データ決定テーブルの設定において、通信データ監視部４１４は、
Ａ．［コミュニケーション優先モード］に設定されている場合は、
受信パケットのペイロード情報に基づいて、
ビデオデータタイプが［ＭＰＥＧ４］、または、
オーディオデータタイプが［Ｇ７１１］
である場合、
受信データは、コミュニケーションデータであり、優先処理データであると判定する。
また、受信パケットのペイロード情報に基づいて、
ビデオデータタイプが［ＭＰＥＧ２］、または、
オーディオデータタイプが［ＡＡＣ］
である場合、
受信データは、マルチメディアコンテンツデータであり、非優先処理データであると判定する。

Ｂ．［マルチメディアコンテンツ優先モード］に設定されている場合は、
受信パケットのペイロード情報に基づいて、
ビデオデータタイプが［ＭＰＥＧ２］、または、
オーディオデータタイプが［ＡＡＣ］
である場合、
受信データは、マルチメディアコンテンツデータであり、優先処理データであると判定する。
また、受信パケットのペイロード情報に基づいて、
ビデオデータタイプが［ＭＰＥＧ４］、または、
オーディオデータタイプが［Ｇ７１１］
である場合、
受信データは、コミュニケーションデータであり、非優先処理データであると判定する。

なお、図５に示す例は、通信データ監視部４１４が優先処理データであるか否かを判定するためのテーブルの一例であり、このテーブルに限らず、その他のデータタイプに基づく判定や、パケットに設定されている送信元アドレス情報に基づいて優先処理データであるか否かを判定するなど、様々なパケット設定情報に基づく優先処理データ判定が可能である。

通信データ監視部４１４は、ネットワーク受信部１，４１１、ネットワーク受信部２，４１７を介して、入力するパケットに基づいて入力パケットが優先処理すべきデータパケットであるか否かを判定する。例えば優先処理すべきデータパケットのデータ処理の実行中に、非優先処理データを受信した場合は、通信データ監視部４１４は、優先度の低いデータの処理を簡易化を指示するコマンドを符号化／復号化機器制御部４３１に出力する。

なお、通信データ監視部４１４は、ネットワーク受信部１，４１１、ネットワーク受信部２，４１７が優先処理すべきデータパケットを受信しておらず、優先処理すべきデータパケットのデータ処理が実行されていない間に、非優先処理データを受信した場合は、通信データ監視部４１４は、簡易化処理への移行は実行しない。もし、それまで優先度の低いデータの簡易処理を行っていた場合は、そのデータの簡易処理を通常処理に戻す指示を出す。

このように、通信データ監視部４１４は、受信データの状況に応じた最適なリソース適用処理を可能とするために、符号化／復号化機器制御部４３１に各種のコマンド（指示）を出力する。

本発明の通信処理装置において実行する受信データのデータ処理簡易化制御処理シーケンスについて図６のフローチャートを参照して説明する。

ステップＳ１０１において、ネットワーク受信部１，４１１、ネットワーク受信部２，４１７がパケットを受信する。パケットは、図４に示す通信相手の端末４０２からのコミュニケーションデータ、またはマルチメディアコンテンツサーバ４０３からのマルチメディアコンテンツデータを格納したパケットである。

ステップＳ１０２において、通信データ監視部４１４は、パケットを入力し、パケットに設定された情報、例えばペイロードタイプとしてのパケット情報や、パケットに設定された送信元アドレス情報など、予め優先処理データ判定条件として設定された情報をパケットから抽出する。抽出した情報に基づいて、例えば先に図５を参照して説明した優先処理データ決定テーブルを参照し、受信データが優先処理データであるか非優先処理データであるかを判定する。

受信したデータが優先処理データであると判定した場合は、ステップＳ１０３に進み、受信データ処理部４１０におけるビデオ復号化器４１５、オーディオ復号化器４１６が非優先処理データを簡易処理として実行する設定、すなわち、［簡易処理実行設定］となっているか否かを判定する。

なお、［簡易処理実行設定］の場合は、
優先処理データ→高パフォーマンスデータ処理
非優先処理データ→簡易化データ処理
の２態様に区別して処理を実行する。
高パフォーマンスデータ処理は、通信処理装置内のＣＰＵ、メモリ等のリソースを優先的に配分した処理であり、簡易化データ処理は、通信処理装置内のＣＰＵ、メモリ等のリソースを抑制して利用した処理として実行する。

［簡易処理実行設定］となっていない場合は、
優先処理データ→通常処理
非優先処理データ→通常処理
として、各データとも区別することのないリソース適用処理を実行する。

通信データ監視部４１４から符号化／復号化機器制御部４３１に対して出力されるコマンドによって、［簡易処理実行設定］とするか、あるいは［簡易処理実行設定］の解除が実行される。

ステップＳ１０３において、［簡易処理実行設定］となっていると判定した場合は、その設定を維持したまま処理を終了する。

この結果として、
優先処理データ→高パフォーマンスデータ処理
非優先処理データ→簡易化データ処理
が実行されることになる。

また、ステップＳ１０３の判定において、［簡易処理実行設定］となっていないと判定した場合は、ステップＳ１０４に進み、非優先処理データの処理として簡易化処理を実行する設定とするため、通信データ監視部４１４は、データ処理制御部として機能する符号化／復号化機器制御部４３１にコマンド［簡易処理実行設定］コマンドを出力し、非優先処理データの処理として簡易化処理を実行する設定への変更を指示する。符号化／復号化機器制御部４３１は、コマンドに応じて優先度の低いデータ（非優先処理データ）の簡易化データ処理を開始する制御を実行する。

この制御の結果として、上述と同様、
優先処理データ→高パフォーマンスデータ処理
非優先処理データ→簡易化データ処理
が実行されることになる。

また、ステップＳ１０２において、通信データ監視部４１４が、受信したデータについて、非優先処理データであると判定した場合は、ステップＳ１０５に進み、［簡易処理実行設定］となっているか否かを判定し、［簡易処理実行設定］となっている場合は、ステップＳ１０６に進み、［簡易処理実行設定］の解除を実行する。すなわち、通信データ監視部４１４から符号化／復号化機器制御部４３１に対して［簡易処理実行設定］の解除コマンドを出力して、［簡易処理実行設定］の解除を実行する。

この結果、［簡易処理実行設定］が解除され、
優先処理データ→通常処理
非優先処理データ→通常処理
として、各データとも区別することのないリソース適用処理を実行する。
この場合は、非優先処理データに対する処理が、簡易化データ処理から通常処理に変更されることになり、簡易化データ処理に比較すると、より高品質のデータが出力可能となる。

ステップＳ１０５において、［簡易処理実行設定］となっていないと判定した場合は、そのまま処理を終了する。この場合も、上記処理態様、すなわち、
優先処理データ→通常処理
非優先処理データ→通常処理
として、各データとも区別することのないリソース適用処理が実行される。

なお、音声データや映像データの簡易処理の例としては以下のようなものがある。まず音声の処理の場合は、低域のみを再生し高域の再生を省略する。これにより、高域を処理するために必要なリソースを節約できる。また映像の処理の場合は、フレームレートを落とす。これにより、フレームレートが高い場合に比べて、レートを落とした分の処理をするために必要なリソースを節約できる。

通信データ監視部４１４から簡易処理の指示、すなわち、［簡易処理実行設定］への移行コマンドを受けた符号化器／復号化器制御部４３１は、オーディオの狭帯域化、映像の低フレームレート化など、簡易処理の内容を決定し、それに関する指示を符号化プリプロセス部４３２、復号化プリプロセス部４３０に対して出力する。

符号化プリプロセス部４３２は符号化器／復号化器制御部４３１から、簡易処理の指示を受け取ると、音声データの処理帯域を低域のみに制限し、また映像データのフレームレートを落として符号化するように、音声／映像の各符号化器４４４、４４５を設定する。同様に、復号化プリプロセス部４３０は、簡易処理の指示を受け取ると、音声データの処理帯域を低域のみに制限し、映像データのフレームレートを落として復号化するように、音声／映像の各復号化器４１６、４１５を設定する。

例えば、復号化プリプロセス部４３０が、符号化器／復号化器制御部４３１からの制御命令として簡易処理実行命令を入力すると、例えばビデオ復号化器４１５に対して復号処理における復号映像データのフレームレートを低下させる処理変更命令を出力し、ビデオ復号化器４１５は処理変更命令に応じて復号フレームレートを低下させる。この結果、処理負荷が減少され、通信処理装置のリソース（ＣＰＵ、メモリ等）を他の処理に優先的に適用することが可能となる。すなわち、ビデオ復号化器４１３は、リソース適用率を減少させた処理、すなわち、ＣＰＵの処理時間およびメモリの使用率を減少させた処理を行う。

さらに、復号化プリプロセス部４３０は、符号化器／復号化器制御部４３１からの制御命令として簡易処理実行命令を入力すると、オーディオ復号化器４１６に対して、音声データの復号帯域を削減し狭帯域化するなどの処理変更命令を出力し、オーディオ復号化器４１６は、処理変更命令に従って復号処理態様の変更、すなわち音声データの復号帯域を削減し狭帯域化するなどリソース適用率を減少させた処理を実行し、音声データ復号処理の負荷を低下させる。この結果、処理負荷が減少され、通信処理装置のリソース（ＣＰＵ、メモリ等）を他の処理に優先的に適用することが可能となる。

一方、符号化プリプロセス部４３２が、符号化器／復号化器制御部４３１からの制御命令として簡易処理実行命令を入力すると、ビデオ符号化器４４５に対して符号化処理における符号化映像データのフレームレートを減少させる処理変更命令を出力し、ビデオ符号化器４４５は処理変更命令に応じて符号化フレームレートを減少させる。

さらに、符号化プリプロセス部４３２は、符号化器／復号化器制御部４３１からの制御命令として簡易処理実行命令を入力すると、オーディオ符号化器４４４に対して、音声データの符号化帯域を狭帯域化するなどの処理変更命令を出力し、オーディオ符号化器４４４は、処理変更命令に従って符号化処理態様の変更を実行し、音声データの符号化データの品質を低下させる処理を実行する。

なお、オーディオ、ビデオの符号化器および復号化器において負荷を変動させるための処理態様の変更としては、例えば上記したように、オーディオの場合は処理帯域の変更、ビデオデータの場合はフレームレートの変更がある。具体的には、オーディオデータの処理負荷を軽減したい場合は、高音域をカットして低域だけの符号化あるいは復号化を実行することにより、高音域の処理に必要だったリソースの軽減が可能となる。またビデオデータの符号化または復号化において処理負荷を軽減したい場合は、フレームレートを落とすことにより、１秒あたりに必要なビデオデータの符号化および復号化処理のリソースを軽減することが可能である。

なお、通信処理装置の動作モードが［コミュニケーション優先モード］の場合、簡易処理すべきデータはマルチメディアコンテンツデータとなるが、マルチメディアコンテンツデータの簡易処理対象データは、受信データのみであり、受信データ処理部４１０における処理のみを制御すればよく、この場合、符号化器／復号化器制御部４３１から符号化プリプロセス部４３２への、符号化簡易化指示は出力しない。

図７および図８に本発明の通信処理装置に構成されるオーディオ符号化器、復号化器と、ビデオ符号化器とビデオ復号化器の詳細構成を示す。

図７は、（ａ）オーディオ符号化器と、（ｂ）オーディオ復号化器の構成を示している。（ａ）に示すオーディオ符号化器４４４は、ＡＴＲＡＣ等のオーディオデータの符号化処理を実行するオーディオ符号化部コア５１１と、オーディオ符号化部コア５１１に対して符号化処理態様、具体的には例えば符号化帯域の設定処理を行うオーディオ符号化帯域制御部５１２とを有する。

オーディオ符号化帯域制御部５１２は、符号化プリプロセス部４３２から、音声データの符号化帯域を可能な範囲で広帯域化あるいは狭帯域化等を指示する処理変更命令を入力する。オーディオ符号化帯域制御部５１２は、入力命令に基づいて符号化帯域の設定情報をオーディオ符号化部コア５１１に出力し、オーディオ符号化部コア５１１では設定された帯域に従った符号化処理を実行する。

（ｂ）に示すオーディオ復号化器４１６は、ＡＴＲＡＣ等のオーディオデータの復号処理を実行するオーディオ復号化部コア５４１と、オーディオ復号化部コア５４１に対して復号化処理態様、具体的には例えば復号帯域の設定処理を行うオーディオ復号化帯域制御部５４２とを有する。

オーディオ復号化帯域制御部５４２は、復号化プリプロセス部４３０から、音声データの復号帯域を可能な範囲で広帯域化あるいは狭帯域化等を指示する処理変更命令を入力する。オーディオ復号化帯域制御部５４２は、入力命令に基づいて復号帯域の設定情報をオーディオ復号化部コア５４１に出力し、オーディオ復号化部コア５４１では設定された帯域に従った復号化処理を実行する。

このように、オーディオ符号化器４４４、およびオーディオ復号化器４１６では、符号化あるいは復号化帯域の設定を変更して処理負荷を適宜変更し、使用するリソースの変更を行う。

図８は、（ｃ）ビデオ符号化器と、（ｄ）ビデオ復号化器の構成を示している。（ｃ）に示すビデオ符号化器４４５は、ＭＰＥＧ等のビデオデータの符号化処理を実行するビデオ符号化部コア５７１と、ビデオ符号化部コア５７１に対して符号化処理態様、具体的には例えば符号化フレームレートの設定処理を行うビデオ符号化フレームレート制御部５７２とを有する。

ビデオ符号化フレームレート制御部５７２は、符号化プリプロセス部４３２から、ビデオデータの符号化フレームレートを高く、あるいは低くする等の処理変更命令を入力する。ビデオ符号化フレームレート制御部５７２は、入力命令に基づいて符号化フレームレートの設定情報をビデオ符号化部コア５７１に出力し、ビデオ符号化部コア５７１では設定されたフレームレートに従った符号化処理を実行する。

（ｄ）に示すビデオ復号化器４１５は、ＭＰＥＧ等のビデオデータの復号処理を実行するビデオ復号化部コア５８１と、ビデオ復号化部コア５８１に対して復号化処理態様、具体的には例えば復号フレームレートの設定処理を行うビデオ復号化フレームレート制御部５８２とを有する。

ビデオ復号化フレームレート制御部５８２は、復号化プリプロセス部４３０から、ビデオデータの復号フレームレートの高低を指示した処理変更命令を入力する。ビデオ復号化フレームレート制御部５８２は、入力命令に基づいて復号フレームレートの設定情報をビデオ復号化部コア５８１に出力し、ビデオ復号化部コア５８１では設定されたフレームレートに従った復号化処理を実行する。

このように、ビデオ符号化器４４５、およびビデオ復号化器４１５では、符号化あるいは復号化フレームレートの設定を変更して処理負荷を適宜変更し、使用するリソースの変更を行う。

上述したように、本発明の構成においては、［コミュニケーション優先モード］と、［マルチメディアコンテンツ優先モード］とのいずれかのモードを設定し、通信データ監視部４１４において受信データパケットの設定情報（データタイプ、アドレスなど）に基づいて、優先処理データと、非優先処理データとを判別し、優先処理データの受信時には、通信処理装置のリソースを優先使用した処理を実行し、非優先処理データの受信時には、通信処理装置のリソースを抑制して利用した処理としたので、優先処理データの音声および映像データが優先的に処理され高品質なデータとして出力されることになる。

例えば、［コミュニケーション優先モード］では、コミュニケーションデータとしての音声および映像データを高品質なデータとして視聴できるため、コミュニケーション相手の会話者の細かい表情の変化や小さな声なども認識可能となる。

［マルチメディアコンテンツ優先モード］では、マルチメディアコンテンツサーバ４０３から受信する映像や、音声データを高品質データとして視聴することが可能となる。

なお、非優先モードに設定されたデータは、リソース減少によって、ある程度低品質のデータとして出力再生されることになるが、例えばビデオデータの処理における最低フレームレート、オーディオデータの処理における最低処理帯域を設定し、リソース減少時においても、これらの最低ラインを下回ることのない処理を実行する設定とし、データの劣化限度を設定する構成としてもよい。

なお、図４に示す通信処理装置においては、音声データ（オーディオ）と映像データ（ビデオ）に対する符号化器、復号化器をそれぞれ１個のみ示してあるが、送受信するデータ形式に応じた符号化処理、復号処理を実行する複数のデバイスを個別に設定した構成としてもよい。

また、通信データ監視部４１４において、優先データパケットの検出がなされたことを条件として、その検出毎に優先度の低いデータの処理の簡易化設定を、逐次実行する構成とすると、非常に短い時間間隔で簡易処理と通常処理が交互に入れ替わる状態が存在することが想定される。従って、実装上は、いったん簡易処理モードに入ったときは、受信するデータパケットの優先度に関わらず、それまで簡易処理されていたデータに関しては、ある一定時間の間はそのまま簡易処理を持続し、また、簡易処理モードを解除した場合にも、一定時間継続した処理を実行する設定として、この問題を回避する構成としてもよい。

すなわち、頻繁なデータ処理態様の切り替えが発生しないように、一定の切り替え最小閾値時間を設定し、一旦、データ処理態様の切り替えが発生した後は、切り替え最小閾値時間の経過までは、一定のデータ処理態様を継続し、簡易処理と、通常処理との切り替えが頻繁に発生することを防止する設定としてもよい。

なお、上述の実施例においては、［コミュニケーション優先モード］か［マルチメディアコンテンツ優先モード］かを、予めユーザの入力情報などに基づいて、固定的に設定しておく構成として説明したが、コミュニケーションデータの音声の有無を判別し、コミュニケーションデータの音声の有無によって、［コミュニケーション優先モード］か［マルチメディアコンテンツ優先モード］を動的に切り替える構成としてもよい。

図９に示すように、コミュニケーションデータ有無判断部４７０を設定し、受信データ処理部４１０のオーディオ復号器４１６から、コミュニケーションデータの出力があるか否かの検出信号を受領し、また、送信データ処理部４４０のオーディオ符号化器４４４から、マイク４５０から入力されたコミュニケーションデータがあるか否かの検出信号を受領する。

オーディオ復号器４１６または、オーディオ符号化器４４４のいずれかから、コミュニケーションデータの存在を示す信号が入力されている間は［コミュニケーション優先モード］として、いずれからも、コミュニケーションデータの存在を示す信号が入力されていない間は、［マルチメディアコンテンツ優先モード］とし、各モード情報を通信データ監視部４１４に入力し、通信データ監視部４１４においては、入力モード情報に応じて、設定モードを［コミュニケーション優先モード］、または、［マルチメディアコンテンツ優先モード］に変更し、各モードに応じた処理を実行する構成とする。

コミュニケーションデータ有無判断部４７０は、常にコミュニケーション音声データを監視しており、音声パワーがある閾値を超えると、コミュニケーションが開始したと判断する。すなわち、コミュニケーション優先モードに設定されている場合、コミュニケーションデータの音声パワーが閾値以下になったときは、会話がなされていないものとして、コミュニケーションデータの処理を簡易化する。会話が始まって、コミュニケーションデータの音声パワーが閾値を超えたら、コミュニケーションデータの処理を優先して処理し、マルチメディアデータのほうを簡易処理するように変更する。

なお、この処理を実行する場合にも、頻繁なモード切り替えが発生しないように、一定のモード切り替え最小閾値時間を設定し、一旦、モード切替が発生した後は、切り替え最小閾値時間の経過までは、一定のモードを継続するといった設定としてもよい。

上述したように、本発明の通信処理装置においては、他の通信処理装置とのコミュニケーションデータと、例えばコンテンツサーバからのマルチメディアコンテンツの受信処理が並行して実行される通信処理装置において、［コミュニケーション優先モード］と、［マルチメディアコンテンツ優先モード］とのいずれかのモードを設定し、通信データ監視部４１４において受信データパケットの設定情報（データタイプ、アドレスなど）に基づいて、優先処理データと、非優先処理データとを判別し、優先処理データの受信時には、通信処理装置のリソースを優先使用した処理を実行し、非優先処理データの受信時には、通信処理装置のリソースを抑制して利用した処理としたので、
優先処理データ→高パフォーマンスデータ処理
非優先処理データ→簡易化データ処理
が実行されることになり、高パフォーマンスデータ処理のなされた優先処理データは、高品質データとして出力されることになる。

非優先処理データは、簡易化データ処理がなされ、オーディオの狭帯域化、映像の低フレームレート化などの簡易処理が実行され、多くのリソースを適用することのない処理が可能となる。一方、その結果利用可能となったリソースが優先処理データに割り当てられ、高パフォーマンスデータ処理が可能となり、オーディオの広帯域化、映像の高フレームレト化などが可能となり、高品質データとしての出力が可能となる。

結果として、［コミュニケーション優先モード］では、コミュニケーションデータを、高品質データとして出力し、［マルチメディアコンテンツ優先モード］では、マルチメディアコンテンツデータを高品質データとして出力することが可能となる。

本発明によれば、優先度の低いデータの処理を簡易化したことによって余ったリソースを優先処理すべきデータの処理用に割り当てることができるため、優先処理データの品質を劣化させることなく出力することが可能となる。

上述した本発明の第１実施例では、処理の優先度に応じて配分を変更するシステムリソースとしてＣＰＵ、メモリなどの通信処理装置内のリソースを調整する構成を説明した。以下、説明する本発明の第２実施例では、システムリソースとしてネットワーク帯域を取り上げ、通信データに応じて帯域の調整を実行する構成例について説明する。

コミュニケーションデータとマルチメディアデータの同時ストリーミングを行っている場合、継続的にそれぞれのデータがネットワークに流れるため、ネットワークの帯域を大量に消費する。従って、ネットワークの混雑に起因するパケット落ちやパケット遅延が双方に生じ、ストリーミング品質の低下を招いていた。

そこで本発明では、双方向コミュニケーション中のマルチメディアコンテンツ同時ストリーミング時に、優先処理すべきデータ（優先処理データ）がネットワークリソースを優先的に利用できるようにするため、優先度が低いデータ（非優先処理データ）を構成する音声データや映像データの符号化時のビットレートを下げてデータ量を減らす構成とした。

処理優先度の低いデータのビットレートを下げることにより、ネットワークに流れるデータ量が減り、その分、優先処理データが利用できるネットワークリソースが増え、優先処理データのストリーミングの品質低下を防ぐことができる。

まず、モードを、［マルチメディアコンテンツ優先モード］に設定した場合の処理について述べる。このモードでは、優先して再生すべきデータは「マルチメディアコンテンツデータ」であり、優先度の低いデータは「コミュニケーションデータ」である。

図１０を参照して、［マルチメディアコンテンツ優先モード］に設定した場合の通信処理装置において実行する処理について説明する。図１０において、実施例１と同様の構成については、同一の参照符号を付しており、これらのブロックの処理は、実施例１とほぼ同様であるので説明を省略する。

ネットワーク受信部２，４１７で優先処理すべきマルチメディアコンテンツデータを受信すると、通信データ監視部４１４が、マルチメディアコンテンツデータの受信を認識する。この認識は、受信パケットの設定情報、例えばデータタイプやアドレス情報に基づいて実行される。

通信データ監視部４１４が、マルチメディアコンテンツデータの受信を認識した場合、通信データ監視部４１４は、符号化器制御部６３１に符号化時のビットレートを下げるように指示する。指示を受けた符号化器制御部６３１は、符号化プリプロセス部４３２により、オーディオ符号化器４４４、ビデオ符号化器４４５のそれぞれに対して、符号化のビットレートを下げる設定を行う。

この結果、通信処理装置４００から通信相手の端末４０２に対して送信されるコミュニケーションデータのビットレートが削減され、コミュニケーションデータの通信において利用するネットワーク帯域を減少させることができ、優先処理データであるマルチメディアコンテンツデータの利用可能な帯域を増加させることが可能となり、優先処理データのストリーミングの品質低下を防ぐことができる。

この通信データに応じた帯域制御を実行する際に、通信処理装置の実行する処理シーケンスを図１１に示すフローチャートを参照して説明する。

ステップＳ２０１において、ネットワーク受信部１，４１１、またはネットワーク受信部２，４１７がパケットを受信する。パケットは、図１０に示す通信相手の端末４０２からのコミュニケーションデータ、またはマルチメディアコンテンツサーバ４０３からのマルチメディアコンテンツデータを格納したパケットである。

ステップＳ２０２において、通信データ監視部４１４は、パケットを入力し、パケットに設定された情報、例えばペイロードタイプとしてのパケット情報や、パケットに設定された送信元アドレス情報など、予め優先処理データ判定条件として設定された情報をパケットから抽出する。抽出した情報に基づいて、受信データが優先処理データであるマルチメディアコンテンツデータを格納したパケットであるか否かを判定する。

受信したデータがマルチメディアコンテンツデータを格納したパケットであると判定した場合は、ステップＳ２０３に進み、送信データ処理部４４０におけるビデオ符号化器４４５、オーディオ符号化器４４４が、コミュニケーションデータを簡易処理として実行する設定、すなわち、ビットレートを削減したデータとして出力する［簡易処理実行設定］となっているか否かを判定する。

なお、［簡易処理実行設定］の場合は、
非優先処理データ（コミュニケーションデータ）→低ビットレートでのデータ送信
を実行する。
この結果、優先処理データ（マルチメディアコンテンツデータ）は、ネットワークにおける利用可能な帯域を増加させることが可能となり、優先処理データのストリーミングの品質低下が防止される。

ステップＳ２０３において、［簡易処理実行設定］となっていると判定した場合は、その設定を維持したまま処理を終了する。

この結果として、
非優先処理データ（コミュニケーションデータ）→低ビットレートでのデータ送信
が継続して実行されることになる。

また、ステップＳ２０３の判定において、［簡易処理実行設定］となっていないと判定した場合は、ステップＳ２０４に進み、非優先処理データ（コミュニケーションデータ）のビットレート低減を実行する設定とするため、通信データ監視部４１４は、符号化器制御部６３１にコマンド［簡易処理実行設定］コマンドを出力し、非優先処理データ（コミュニケーションデータ）の処理として簡易化処理としてのビットレート低減を開始させる。

このコマンド出力に応じて、送信データ処理部４４０において、上述と同様、
非優先処理データ（コミュニケーションデータ）→低ビットレートでのデータ送信
が実行されることになる。

また、ステップＳ２０２において、通信データ監視部４１４が、受信したデータについて、非優先処理データ（コミュニケーションデータ）であると判定した場合は、ステップＳ２０５に進み、［簡易処理実行設定］となっているか否かを判定し、［簡易処理実行設定］となっている場合は、ステップＳ２０６に進み、［簡易処理実行設定］の解除を実行する。すなわち、通信データ監視部４１４から符号化器制御部６３１に対して［簡易処理実行設定］の解除コマンドを出力して、［簡易処理実行設定］の解除を実行する。

この結果、［簡易処理実行設定］が解除され、
コミュニケーションデータ→通常ビットレートでのデータ送信
が実行されることになる。
この場合は、非優先処理データ（コミュニケーションデータ）に対する処理が、簡易化データ処理から通常処理に変更されることになり、簡易化データ処理に比較すると、より高品質のデータが出力可能となる。

ステップＳ２０５において、［簡易処理実行設定］となっていないと判定した場合は、そのまま処理を終了する。この場合も、上記処理態様、すなわち、
コミュニケーションデータ→通常ビットレートでのデータ送信
が実行されることになる。

上述したように、コミュニケーションデータの符号化ビットレートを下げることにより、コミュニケーションデータが占めていたネットワークリソースの消費が軽減され、その分を、優先処理すべきマルチメディアコンテンツに配分することができるようになり、パケット遅延、パケットロスなどに起因していた、マルチメディアコンテンツの品質劣化を防ぐことができる。

次に、処理モードが［コミュニケーション優先モード］の場合について述べる。このモードでは、優先処理により高品質化を実行すべきデータは「コミュニケーションデータ」であり、優先度の低いデータは「マルチメディアコンテンツデータ」である。

コミュニケーション優先モードで、ネットワークリソースの消費を軽減させるためには、マルチメディアコンテンツデータの符号化ビットレートを下げればよい。この処理を実行する通信処理装置のブロック図を図１２に示す。実施例１と同様の構成については、同一の参照符号を付しており、これらのブロックの処理は、実施例１とほぼ同様であるので説明を省略する。

［コミュニケーション優先モード］で動作する場合、マルチメディアコンテンツの符号化ビットレートを下げる処理をするためには、マルチメディアコンテンツサーバ４０３に対して、マルチメディアコンテンツの符号化ビットレートを下げるための指示を出す必要がある。これを実現するために本実施例では、通信プロトコルとしてＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を使う。

ネットワーク受信部１，４１１で、優先処理すべきコミュニケーションデータを受信し、通信データ監視部４１４でそれを認識したら、通信データ監視部４１４は、マルチメディアコンテンツサーバ４０３に対して、マルチメディアコンテンツデータの符号化ビットレートを下げるためのコマンドを送信するため、送信データ処理部４４０内のパケット作成部６４１にＲＴＣＰに基づくコマンドパケットを作成するように指示を出す。

ＲＴＣＰによるコマンドパケットは、例えばＲＴＣＰのＡＰＰ（Ａｐｐｌｉｃａｔｉｏｎ−ｄｅｆｉｎｅｄ ＲＴＣＰ ｐａｃｋｅｔ）パケットを用いて、"ａｐｐｌｉｃａｔｉｏｎ−ｄｅｐｅｎｄｅｎｔ ｄａｔａ"エリアに、あらかじめ決められた「符号化ビットレート低減化」を示す記号を設定するなどのパケット設定とすることにより、既存のシステムに影響を与えることなく、本発明によるシステムのみに適用可能なコマンドを実現できる。

パケット作成部６４１では、通信データ監視部４１４からの指示を受けて、ＲＴＣＰによりマルチメディアコンテンツサーバ４０３へのコマンドパケットを作成し、ネットワーク送信部２，６４２から、マルチメディアコンテンツサーバ４０３に対して、ビットレート低減コマンドパケット（例えばＲＴＣＰのＡＰＰパケット）を送信する。

符号化ビットレートの低減コマンドを受信したマルチメディアコンテンツサーバ４０３は、コンテンツがライブ配信の場合は符号化のビットレートを下げて送信する処理をし、ファイルに格納されているコンテンツの配信の場合は、一旦データを復号化し、低ビットレートに符号化する処理をして、ネットワーク４０１に送出する。

なお本実施例では、マルチメディアコンテンツサーバへのコマンドを伝えるプロトコルとしてＲＴＣＰのＡＰＰパケットを使用したが、本発明はこれに限らず、その他のプロトコルを用いるようにしてもよい。

以上の処理により、マルチメディアコンテンツデータによるネットワークのリソース消費が抑制され、その分、優先処理すべきコミュニケーションデータのためにネットワークリソースを利用できるようになり、コミュニケーションデータのストリーミングを、品質を劣化させることなく行うことが可能となる。

この通信データに応じた帯域制御を実行する際に、通信処理装置の実行する処理シーケンスを図１３に示すフローチャートを参照して説明する。

ステップＳ３０１において、ネットワーク受信部１，４１１、またはネットワーク受信部２，４１７がパケットを受信する。パケットは、図１２に示す通信相手の端末４０２からのコミュニケーションデータ、またはマルチメディアコンテンツサーバ４０３からのマルチメディアコンテンツデータを格納したパケットである。

ステップＳ３０２において、通信データ監視部４１４は、パケットを入力し、パケットに設定された情報、例えばペイロードタイプとしてのパケット情報や、パケットに設定された送信元アドレス情報など、予め優先処理データ判定条件として設定された情報をパケットから抽出する。抽出した情報に基づいて、受信データが優先処理データであるコミュニケーションデータを格納したパケットであるか否かを判定する。

受信したデータがコミュニケーションデータを格納したパケットであると判定した場合は、ステップＳ３０３に進み、送信データ処理部４４０において簡易処理実行中か、すなわち、既にマルチメディアコンテンツサーバ４０３に対して、ビットレート低減コマンドパケット（例えばＲＴＣＰのＡＰＰパケット）を送信済みか否かを判定する。

なお、［ビットレート低減コマンドパケット］を送信済みの場合は、
非優先処理データ（マルチメディアコンテンツデータ）→低ビットレートでのデータ送信
が実行されている状態である。
この結果、優先処理データ（コミュニケーションデータ）は、ネットワークにおける利用可能な帯域を増加させることが可能となり、コミュニケーションデータの品質低下が防止される。

ステップＳ３０３において、［簡易処理実行設定］となっていると判定した場合は、その設定を維持したまま処理を終了する。

この結果として、
非優先処理データ（マルチメディアコンテンツデータ）→低ビットレートでのデータ送信
が継続して実行されることになる。

また、ステップＳ３０３の判定において、［簡易処理実行設定］となっていないと判定した場合は、ステップＳ３０４に進み、非優先処理データ（マルチメディアコンテンツデータ）のビットレート低減を実行する設定とするため、通信データ監視部４１４は、マルチメディアコンテンツサーバ４０３に対して、マルチメディアコンテンツデータの符号化ビットレートを下げるためのコマンドを送信するため、送信データ処理部４４０内のパケット作成部６４１にＲＴＣＰに基づくコマンドパケットを作成するように指示を出す。

符号化ビットレートの低減コマンドを受信したマルチメディアコンテンツサーバ４０３は、送信データの符号化ビットレートを下げる処理を実行する。この結果、上述と同様、
非優先処理データ（マルチメディアコンテンツデータ）→低ビットレートでのデータ送信
が実行されることになる。

また、ステップＳ３０２において、通信データ監視部４１４が、受信したデータについて、非優先処理データ（マルチメディアコンテンツデータ）であると判定した場合は、ステップＳ３０５に進み、［簡易処理実行設定］、すなわち、既にマルチメディアコンテンツサーバ４０３に対して、ビットレート低減コマンドパケット（例えばＲＴＣＰのＡＰＰパケット）を送信済みか否かを判定する。

［簡易処理実行設定］となっている場合は、ステップＳ３０６に進み、［簡易処理実行設定］の解除を実行する。すなわち、非優先処理データ（マルチメディアコンテンツデータ）のビットレート低減を解除するため、通信データ監視部４１４は、マルチメディアコンテンツサーバ４０３に対して、マルチメディアコンテンツデータの符号化ビットレートの低減処理を解除させるためのコマンドを送信するため、送信データ処理部４４０内のパケット作成部６４１にＲＴＣＰに基づく処理解除コマンドパケットを作成するように指示を出す。

符号化ビットレートの低減解除コマンドを受信したマルチメディアコンテンツサーバ４０３は、送信データの符号化ビットレート低減処理を停止する。この結果、
マルチメディアコンテンツデータ→通常ビットレートでのデータ送信
が実行されることになる。
この場合は、非優先処理データ（マルチメディアコンテンツデータ）に対する処理が、簡易化データ処理から通常処理に変更されることになり、簡易化データ処理に比較すると、より高品質のデータを受信することが可能となる。

ステップＳ３０５において、［簡易処理実行設定］となっていないと判定した場合は、そのまま処理を終了する。この場合も、上記処理態様、すなわち、
マルチメディアコンテンツデータ→通常ビットレートでのデータ送信
が実行されることになる。

上述したように、マルチメディアコンテンツデータの符号化ビットレートを下げることにより、マルチメディアコンテンツデータが占めていたネットワークリソースの消費が軽減され、その分を、優先処理すべきコミュニケーションデータに配分することができるようになり、コミュニケーションデータの品質向上が実現される。

なお、先に、図１０、図１１を参照して説明した［マルチメディアコンテンツ優先モード］における通信処理では、通信処理装置側から出力する送信データのみのビットレートの調整を行う構成として説明したが、上述の［コミュニケーション優先モード］において、マルチメディアコンテンツサーバに送信したコマンドパケットを、図１４に示すように、通信相手の端末４０２に対して送信して、通信相手の端末４０２からの送信データのビットレートを低減させる構成としてもよい。

すなわち、［マルチメディアコンテンツ優先モード］における通信処理において、図１４に示す通信データ監視部４１４が、マルチメディアコンテンツデータを受信したことを検出した場合に、パケット作成部６４１に対して、送信データの符号化ビットレートの低減の実行コマンドを格納したパケット、例えば、ＲＴＣＰのＡＰＰ（Ａｐｐｌｉｃａｔｉｏｎ−ｄｅｆｉｎｅｄ ＲＴＣＰ ｐａｃｋｅｔ）パケットを生成させ、これを通信相手の端末４０２に送信し、通信相手の端末４０２からの送信データのビットレートを低減させる構成としてもよい。

以上、実施例１では、通信処理装置内部のリソースの適用態様を処理データに応じて変更する構成例を説明し、実施例２では、データ通信に利用する帯域の制御を行う構成例を説明した。これらの処理は、個別に実行する構成としても、あるいは２つの処理を並列に実行する構成としてもよい。

次に、本発明におけるコミュニケーション端末の、第３実施例について説明する。第３実施例では、通信処理装置において、コミュニケーションを実行中の通信相手の端末から受信するコミュニケーションデータ、およびマルチメディアコンテンツサーバから受信するマルチメディアコンテンツデータの受信方法が、上述した第１、第２の実施例とは異なっている。

第３の実施例について、図１５を参照して説明する。上述した第１、第２の実施例では、コミュニケーションデータとマルチメディアコンテンツデータを、通信処理装置の別々のネットワーク受信部で受信し、通信処理装置内で、独立したデータストリームとして扱っていたが、第３の実施例においては、図１５に示す通り、受信データはまずミキサ７０１に入力され、音声データ、映像データのそれぞれにおいて、コミュニケーションデータとマルチメディアコンテンツデータがひとつのストリームとなるようにミキシングされた後、通信処理装置４００のネットワーク受信部７０２へ入力される。なお、図１５において、実施例１と同様の構成については、同一の参照符号を付しており、これらのブロックの処理は、実施例１とほぼ同様であるので説明を省略する。

ミキサ７０１において、コミュニケーションデータとマルチメディアコンテンツデータが音声データ、映像データのそれぞれひとつのストリームとなるようにミキシングされた後、通信処理装置４００のネットワーク受信部７０２へ入力されたストリームデータは、通信データ監視部４１４に送られる。通信データ監視部４１４では、受け取ったパケットの情報を調べ、そのパケットで送られてきたデータのフォーマットや送信元の情報から、そのパケットがコミュニケーションデータかマルチメディアコンテンツデータかを判断する。

これらの判別処理は、実施例１と同様、パケット設定データとしてのＭＰＥＧ２等のデータタイプ、またはアドレス情報に基づく処理として実行される。通信データ監視部４１４において、受信パケットが、そのときの設定モードにおける優先処理データであると判定した場合、通信データ監視部４１４は、第１実施例と同様、その受信データに対する処理を優先処理として実行させる。

すなわち、通信処理装置のリソースとしてのＣＰＵパワー、メモリ領域を最大限に割り当てたデータ処理を実行させる。この優先処理を実行するため、通信データ監視部４１４は、処理優先度の低いデータの処理を簡易化するように、符号化器／復号化器制御部４３１にコマンドを出力する。

また、第２実施例と同様、ネットワークの帯域を優先処理すべきデータに割り当てるため、優先度の低いほうのデータの符号化ビットレートを下げるように、符号化器／復号化器制御部４３１にコマンドを出力する。

本実施例において、通信データ監視部４１４から、符号化器／復号化器制御部４３１に出力するコマンド、すなわち、［簡易処理実行設定］コマンドは、
ａ．処理優先度の低いデータの処理の簡易化処理、すなわち、処理優先度の低いデータに対するデータ処理において、通信処理装置のリソースとしてのＣＰＵパワー、メモリ領域を抑制して利用した処理として実行する符号化／復号化制御。
ｂ．処理優先度の低いデータの送信データを符号化ビットレートを下げたデータとして生成して送信する送信パケット制御。
上記、ａ，ｂの２つの制御を含むものとなる。

本実施例の通信処理装置において実行するデータ制御処理シーケンスについて図１６のフローチャートを参照して説明する。

ステップＳ４０１において、ミキサ７０１において、コミュニケーションデータとマルチメディアコンテンツデータが音声データ、映像データのそれぞれひとつのストリームとなるようにミキシングされた後、通信処理装置４００のネットワーク受信部７０２へ入力されたストリームデータは、通信データ監視部４１４に送られる。ステップＳ４０２において、受け取ったパケットの情報を調べ、そのパケットで送られてきたデータのフォーマットや送信元の情報から、そのパケットがコミュニケーションデータかマルチメディアコンテンツデータかを判断し、その時点の設定モード、すなわち、
［マルチメディアコンテンツ優先モード］
［コミュニケーション優先モード］
のいずれのモードであるかに基いて、受信データが優先処理データであるか非優先処理データであるかを判定する。

受信したデータが優先処理データであると判定した場合（ステップＳ４０３：Ｙｅｓ）は、ステップＳ４０４に進み、［簡易処理実行設定］が設定ずみか否かを判定する。なお、本実施例において、［簡易処理実行設定］の場合は、
非優先処理データについて、上述したように、
ａ．通信処理装置のリソースとしてのＣＰＵパワー、メモリ領域等を抑制して利用した簡易化処理。
ｂ．送信データを符号化ビットレートを下げたデータとして生成して送信する送信パケット制御。
の２つの処理が有効に設定されていることを意味する。

通信データ監視部４１４から符号化／復号化機器制御部４３１に対して出力されるコマンドによって、［簡易処理実行設定］とするか、あるいは［簡易処理実行設定］の解除が実行される。

ステップＳ４０４において、［簡易処理実行設定］となっていると判定した場合は、その設定を維持したまま処理を終了する。

この結果として、
非優先処理データについて、上述したように、
ａ．通信処理装置のリソースとしてのＣＰＵパワー、メモリ領域等を抑制して利用した簡易化処理。
ｂ．送信データを符号化ビットレートを下げたデータとして生成して送信する送信パケット制御。
の２つの処理が実行され、優先処理データに対する高パフォーマンスデータ処理および広帯域データ通信が可能となる

また、ステップＳ４０４の判定において、［簡易処理実行設定］となっていないと判定した場合は、ステップＳ４０５、ステップＳ４０６において、非優先処理データの処理として簡易化処理を実行する設定とするため、通信データ監視部４１４は、符号化／復号化機器制御部４３１にコマンド［簡易処理実行設定］コマンドを出力し、非優先処理データの処理として簡易化処理を実行する設定への変更を指示する。

この変更の結果として、上述と同様、非優先処理データについて、
ａ．通信処理装置のリソースとしてのＣＰＵパワー、メモリ領域等を抑制して利用した簡易化処理。
ｂ．送信データを符号化ビットレートを下げたデータとして生成して送信する送信パケット制御。
の２つの処理が実行され、優先処理データに対する高パフォーマンスデータ処理および広帯域データ通信が可能となる

また、ステップＳ４０３において、通信データ監視部４１４が、受信したデータについて、非優先処理データであると判定した場合は、ステップＳ４０７に進み、［簡易処理実行設定］となっているか否かを判定し、［簡易処理実行設定］となっている場合は、ステップＳ４０８、ステップＳ４０９において、［簡易処理実行設定］の解除を実行する。すなわち、通信データ監視部４１４から符号化／復号化機器制御部４３１に対して［簡易処理実行設定］の解除コマンドを出力して、［簡易処理実行設定］の解除を実行する。

この結果、［簡易処理実行設定］が解除され、
ａ．通信処理装置のリソースとしてのＣＰＵパワー、メモリ領域等を抑制して利用した簡易化処理。
ｂ．送信データを符号化ビットレートを下げたデータとして生成して送信する送信パケット制御。
の２つの処理の解除が実行される。

この場合は、非優先処理データに対する処理が、簡易化データ処理から通常処理に変更されることになり、簡易化データ処理に比較すると、より高品質のデータが出力可能となる。また送信データについても、低ビットレートの符号化処理から通常ビットレートの符号化処理が行なわれ送信されることになる。ステップＳ４０７において、［簡易処理実行設定］となっていないと判定した場合は、そのまま処理を終了する。

なお、図１５に示す通信処理装置においては、音声データ（オーディオ）と映像データ（ビデオ）に対する符号化器、復号化器をそれぞれ１個のみ示してあるが、送受信するデータ形式に応じた符号化処理、復号処理を実行する複数のデバイスを個別に設定した構成としてもよい。

また、通信データ監視部４１４において、優先データパケットの検出がなされたことを条件として、その検出毎に優先度の低いデータの処理の簡易化設定を、逐次実行する構成とすると、非常に短い時間間隔で簡易処理と通常処理が交互に入れ替わる状態が存在することが想定される。従って、実装上は、いったん簡易処理モードに入ったときは、受信するデータパケットの優先度に関わらず、それまで簡易処理されていたデータに関しては、ある一定時間の間はそのまま簡易処理を持続し、また、簡易処理モードを解除した場合にも、一定時間継続した処理を実行する設定として、この問題を回避する構成としてもよい。

すなわち、頻繁なデータ処理態様の切り替えが発生しないように、一定の切り替え最小閾値時間を設定し、一旦、データ処理態様の切り替えが発生した後は、切り替え最小閾値時間の経過までは、一定のデータ処理態様を継続し、簡易処理と、通常処理との切り替えが頻繁に発生することを防止する設定としてもよい。

次に、本発明におけるコミュニケーション端末の、第４実施例について説明する。第４の実施例では、第１、第２、第３の実施例のように、コミュニケーション中にマルチメディアコンテンツを同時視聴するのではなく、コミュニケーション中にデジタルカメラの画像データファイルを交換する場合など、コミュニケーションしている一方が持つデータファイルを他方にファイル転送するような場合の処理を改善した構成例である。

コミュニケーション中に、コミュニケーション端末（通信処理装置）間で大きなサイズのファイルの転送が同時に行われると、ネットワークリソースを大量に消費してしまい、コミュニケーションデータの送受信が円滑に行われなくなってしまう。そこで本実施例では、コミュニケーション端末がコミュニケーションデータの有無を監視し、コミュニケーションデータの送受信がある場合は、転送するファイルのパケットサイズを小さくし、ネットワークリソースの消費を抑えるような処理を行う。

図１７に示すブロック図は、本発明の第４の実施例における、転送ファイル送信側のコミュニケーション端末のブロック図である。なお、図１７において、実施例１と同様の構成については、同一の参照符号を付しており、これらのブロックの処理は、実施例１とほぼ同様であるので説明を省略する。

通信処理装置４００を使用中のユーザは、ネットワーク４０１を通して、通信相手の端末４０２を持つユーザと双方向コミュニケーションを行っている。コミュニケーション相手の通信相手の端末４０２からの音声／映像データは、ネットワーク受信部４１１により受信される。そして、通信データ監視部４１４を介して、映像／音声のそれぞれのパケット復号部４１２、４１３に入力されて、パケットが復号され、それぞれのコーデック復号化器４１５、４１６で復号されて、ディスプレイ４２０、スピーカ４２１から出力する。通信データ監視部４１４の動作は、後述する。

通信処理装置４００は、上述の受信データの処理と同時に、マイク４５０、カメラ４５１から取り込まれた音声／映像データを、オーディオ符号化器４４４、ビデオ符号化器４４５において符号化し、パケット化部４４２，４４３により所定のプロトコルでパケット化を行い、通信データ監視部４１４を介してネットワーク送信部１，４４１からネットワーク４０１に送信される。

これらコミュニケーションデータの送受信と同時にこの通信処理装置４００では、通信処理装置４００内のハードディスクなどの記憶部に所有しているデータファイル７４３を、ハードディスクドライブ等のデータ読み出し部７４２により読み出し、データパケット化部７４１において、所定のプロトコルでパケット化したのち、ネットワーク送信部２，７５０からネットワーク４０１に送信される。

コミュニケーションデータの監視を実行する通信データ監視部４１４は、コミュニケーションデータがネットワーク帯域を有効に使えるようにするために、コミュニケーションデータの有無を監視している。具体的には、送受信するコミュニケーションデータの音声パワーを監視する。

通信データ監視部４１４は、常にコミュニケーションデータの音声パワーを監視し、所定のレベル以上の音声パワーが入力されたときは、コミュニケーションデータの送信データあるいは受信データがあったものとみなす。

通信データ監視部４１４において、コミュニケーションデータが確認されたら、同時に進行しているデータファイル７４３の転送処理について、ネットワークリソースの消費を低減させるための処理を行う。すなわち、通信データ監視部４１４は、データパケット化部７４１に対して、パケットサイズを小さくするようにコマンドを出力する。

パケットサイズを小さくする指示を受けたデータパケット化部７４１では、ネットワークリソースに与えるインパクトができるだけ小さくなるようにパケットサイズを決定する。なお、具体的なパケットサイズは、個々の環境に依存するパラメータに従って決定されるものであり、環境によって異なるサイズとなる。本実施例においても、この状態を「コミュニケーション優先モード」と称する。

サイズを小さくして生成されたパケットは、ネットワーク送信部２，７５０から送信される。データパケットサイズが小さくなっているので、コミュニケーションデータに、より多くのネットワークリソースを割り当てることができるようになり、コミュニケーションデータの送受信が円滑に行われるようになる。

本実施例の通信処理装置において実行するデータ制御処理シーケンスについて図１８のフローチャートを参照して説明する。

ステップＳ５０１において、ネットワーク受信部４１１がパケットを受信し、通信データ監視部４１４に送られる。ステップＳ５０２において、通信データ監視部４１４は、コミュニケーションデータの有無監視処理を実行し、送受信するコミュニケーションデータの音声パワーを監視する。送受信するコミュニケーションデータの音声パワーが予め設定された閾値より大であると判定した場合は、ステップＳ５０３に進み、現在の設定モードが［コミュニケーション優先モード］であるかを判定し、［コミュニケーション優先モード］でない場合にはそのまま処理を終了する。

［コミュニケーション優先モード］である場合には、ステップＳ５０４に進み、通信データ監視部４１４は、同時に進行しているデータファイル７４３の転送処理について、ネットワークリソースの消費を低減させるための処理として、データパケット化部７４１に対して、パケットサイズを小さくするようにコマンドを出力する。コマンドを受けたデータパケット化部７４１は、ネットワークリソースに与えるインパクトができるだけ小さくなるようにパケットサイズを削減して決定する。

ステップＳ５０２において、送受信するコミュニケーションデータの音声パワーが予め設定された閾値より小であると判定した場合は、ステップＳ５０５に進み、データファイル７４３の転送パケットサイズを小さくするコマンドが出力済みか否かを判定する。コマンドが出力されていない場合は、そのまま処理を終了する。

コマンドが出力されている場合は、ステップＳ５０６に進み、データパケット化部７４１に対して、パケットサイズの削減処理を解除して元に戻すようにコマンドを出力する。コマンドを受けたデータパケット化部７４１は、パケットサイズの削減処理を停止し、通常のパケット生成処理を実行して、データファイル７４３を送信する。

この処理の結果として、［コミュニケーション優先モード］である場合、
送受信するコミュニケーションデータの音声パワーが予め設定された閾値より大であると判定した場合は、データファイル７４３の送信パケットサイズが小さく設定されて、コミュニケーションデータのデータ処理、使用可能帯域が増加し、高品質なコミュニケーションデータの送受信が可能となる。

なお、以上、説明した第１〜第４の実施例では２端末間の例を示したが、３端末以上の場合でも、マルチメディアコンテンツの視聴や同時データ転送に関する要求は同じであり、本発明の方法は、多端末間における双方向ビジュアルコミュニケーション時にも容易に応用することができる。

上述の実施例で述べた一連の通信処理装置における処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたデータ処理装置内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えば汎用のコンピュータやマイクロコンピュータ等にインストールされる。

図１９に、上述の実施例で述べた一連の処理を実行する通信処理装置のハードウェア構成例を示す。上述したように送受信データは、符号化データであり、データ送信の場合にはエンコード（符号化）処理が実行され、受信データについてはデコード（復号）処理が実行される。符号化されたデータはパケットとしてネットワークを介して送受信する。そのため、データ送信側では、パケット生成（パケタイズ処理）を実行し、データ受信側ではパケット展開および解析（デパケタイズ処理）を実行する。

図１９に示す例えばＰＣ等の通信処理装置８５０において、エンコード（符号化）処理、デコード（復号）処理は、ＣＰＵ８５６、またはコーデック８５１において実行される。なお、これらの処理において、リソースの配分処理、符号化ビットレートの設定処理、パケットサイズの調整処理などの処理は、ＣＰＵ８５６が、メモリ８５７に格納されたプログラムに基づいて実行する。メモリ８５７は、上述した処理を実行するプログラムを格納する領域および処理において発生する中間データ等を格納するメモリ領域を有し、符号化、復号化に適用するメモリ領域についても、前述のリソースの配分処理等に基づいて適宜変更設定される。

通信処理装置８５０は、さらに、通信ネットワークとのインタフェースとして機能するネットワークインタフェース８５２、マウス８３７、キーボード８３６等の入力機器、これら入力機器に対する入力インタフェース８５３、ビデオカメラ８３３、マイク８３４、スピーカ８３５等のＡＶデータ入出力機器、これらＡＶデータ入出力機器からのデータ入出力を行なうＡＶインタフェース８５４、ディスプレイ８３２に対するデータ出力インタフェースとしてのディスプレイインタフェース８５５を有する。

ＣＰＵ８５６は、各データ入出力インタフェース、コーデック８５１、ネットワークインタフェース８５２間のデータ転送制御、その他各種プログラム制御を実行する。メモリ８５７は、ＣＰＵ８５６により実行される各種プログラム、各種処理データ、ＣＰＵ８５６のワークエリアとして機能するＲＡＭ、ＲＯＭからなる。ＨＤＤ８５８は、データ格納、プログラム格納用の記憶媒体として機能する。これら各構成要素は、ＰＣＩバス８５９に接続され、相互のデータ送受信が可能な構成を持つ。

送信データとしての符号化データは、ＣＰＵ８５６の制御の下にパケット生成処理（パケタイズ）を実行し、最終的に符号化データをペイロードとしたパケットをＰＣＩバス８５９上に出力し、ネットワークインタフェース８５２を介してネットワークに出力して、パケットのヘッダに設定された宛先アドレスに配信される。

一方、ネットワークを介して入力するパケット化されたデータは、ネットワークインタフェース８５２を介して、ＣＰＵ８５６の制御の下、パケット展開処理（デパケタイズ）を実行し、さらにコーデック８５１あるいはＣＰＵ８５６の実行するデコードプログラムに従って復号処理を実行して、ディスプレイ８３２、スピーカ８３５において再生、出力する。

通信データ監視部における通信データの監視、監視結果に基づくコマンド出力、データ処理制御部としての符号化器／復号化器制御部における具体的な処理は、ネットワークインタフェース８５２を介して入出力する通信データをＣＰＵ８５６の実行する監視プログラムに従って監視し、監視プログラムに設定された条件に従って簡易化処理実行設定コマンド、または簡易化処理実行設定解除コマンド等を生成し、生成コマンドに従って、簡易化処理を実行するデータ処理プログラムの起動、通常処理プログラムの起動など、データ処理プログラムを適宜変更する処理が行なわれることになる。

なお、通信処理装置間におけるコミュニケーション通信を行うデータ、送受信するデータファイルには、例えば、カメラから入力する画像データや、カメラ以外の入力機器、例えばスキャナ等のデータ入力装置、あるいはフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体から入力したデータなど、様々なデータが含まれる。

以上、説明したように、本発明では、例えば、音声／映像のストリーミングを利用したコミュニケーション中、同時に映画等のマルチメディアコンテンツをストリーミング再生し視聴するような構成において、コミュニケーションデータとマルチメディアコンテンツデータのどちらか、優先順位の低いデータの処理を簡易化し、処理量を減少させた簡易化処理を実行させ、減少させた分のＣＰＵパワーなどのリソースを、優先的に処理すべきデータの処理のために割り当てることができる。これにより、優先順位の低いデータのストリーミング品質を体感上、問題ないレベルにとどめながら、優先的に処理すべきデータを高品質で視聴することができる。

また同様に、優先順位の低いデータの符号化のビットレートを下げることにより、単位時間当たりにネットワークに流れるデータ量を減らし、ネットワークリソースの消費を低減させる。これにより、優先処理すべきデータの転送を優先でき、パケット落ちやパケット遅延のない、高品質な視聴が可能となる。

さらに、コミュニケーション中のファイル転送という状況下では、コミュニケーション音声のパワーを監視し、会話がなされて、音声パワーがある閾値以上となったときに、ファイル転送のパケットサイズを小さくし、ファイル転送のために消費していたネットワークリソースを低減させる。これにより、ファイル転送中も、コミュニケーションデータの転送を優先でき、パケット落ちやパケット遅延のない、高品質なコミュニケーションが可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、符号化データの送受信処理を実行する通信処理装置において、送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドをデータ処理制御部に出力して、非優先処理データの簡易処理、例えばＣＰＵやメモリなどの通信処理装置内のリソースの抑制使用、あるいは送信データの符号化ビットレートの低減、あるいは送信データファイルのパケットサイズの低減などを実行する構成としたので、優先処理データに対するリソースの配分率を高め、またデータ通信における使用帯域の広帯域化などが可能となり、優先処理データの通信および出力データを高品質化することが可能となる。従って、負荷の高い通信を行なう要請がありながら、リソースの少ない通信処理装置に、本発明の処理を適用することで、高品質データの通信を実現することができる。

さらに、本発明の構成によれば、複数の異なる通信データとして、他の通信端末とのコミュニケーションデータと、サーバからの受信データとしてのマルチメディアコンテンツデータの複数の通信における複数の受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたはマルチメディアコンテンツデータのいずれか一方のデータを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理を実行する構成としたので、モードに応じて、マルチメディアコンテンツデータ、またはコミュニケーションデータを高品質データとして送受信し、出力することが可能となる。従って、複数の通信を行なう要請がありながら、リソースの少ない通信処理装置に、本発明の処理を適用することで、高品質データの通信を実現することができる。

さらに、本発明の構成によれば、他の通信端末とのコミュニケーションデータとして送受信する送信データおよび受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータを優先処理データ、通信処理装置から送信するデータファイルを非優先データとして検出し、非優先処理データの簡易処理を実行する構成としたので、コミュニケーションデータを高品質データとして送受信し、出力することが可能となる。従って、コミュニケーションに加え、データファイルなど高容量のデータ通信を行なう要請がありながら、リソースの少ない通信処理装置に、本発明の処理を適用することで、高品質データの通信を実現することができる。

本発明の構成によれば、特に、音声および映像のストリーミングを利用したコミュニケーション中、同時に映画等のマルチメディアコンテンツをストリーミング再生し視聴する場合などにおいて、コミュニケーションデータとマルチメディアコンテンツデータのどちらか、優先順位の低いデータの処理を簡易化し、処理量を減らす構成としたので、減らした分のＣＰＵパワーを、優先的に処理すべきデータの処理のために割り当てることが可能となる。これにより、優先順位の低いデータのストリーミング品質を体感上、問題ないレベルにとどめながら、優先的に処理すべきデータを高品質で視聴することができる。従って、音声および映像のストリーミングを利用したコミュニケーション通信を行なう要請がありながら、リソースの少ない通信処理装置に、本発明の処理を適用することで、高品質データの通信を実現することができる。

また、本発明の構成によれば、優先順位の低いデータの符号化のビットレートを下げることにより、単位時間当たりにネットワークに流れるデータ量を減らし、ネットワークリソースの消費を低減させることができ、これにより、優先処理すべきデータの転送を優先でき、パケット落ちやパケット遅延のない、高品質な視聴が可能となる。さらに、コミュニケーション中のファイル転送という状況下では、コミュニケーション音声のパワーを監視し、会話がなされて、音声パワーがある閾値以上となったときに、ファイル転送のパケットサイズを小さくし、ファイル転送のために消費していたネットワークリソースを低減させる構成としたので、ファイル転送中も、コミュニケーションデータの転送を優先でき、パケット落ちやパケット遅延のない、高品質なコミュニケーションが可能となり、リソースの少ない通信処理装置に、本発明の処理を適用することで、高品質データの通信を実現することができる。

符号化データの通信処理構成を説明する図である。 符号化データの通信処理を実行する通信処理装置における送信データ処理部の構成を示す図である。 符号化データの通信処理を実行する通信処理装置における受信データ処理部の構成を示す図である。 本発明の第１実施例に係る通信処理装置の構成を示す図である。 本発明の通信処理装置において、設定されるモードおよび各モードにおける優先処理データの選択判定に適用する優先処理データ決定テーブルの例を示す図である。 本発明の第１実施例に係る通信処理装置の処理シーケンスを説明するフローチャートである。 本発明の通信処理装置のオーディオ符号化器および復号化器の構成を示す図である。 本発明の通信処理装置のビデオ符号化器および復号化器の構成を示す図である。 本発明の第１実施例に係る通信処理装置の変形例であり、コミュニケーションデータの有無の判定に基づいてモード設定を行なう構成を示す図である。 本発明の第２実施例に係る通信処理装置の構成を示す図である。 本発明の第２実施例に係る通信処理装置の処理シーケンスを説明するフローチャートである。 本発明の第２実施例に係る通信処理装置変形例であり、マルチメディアコンテンツサーバにコマンドパケットを送信する構成を示す図である。 本発明の第２実施例に係る通信処理装置の処理シーケンスを説明するフローチャートである。 本発明の第２実施例に係る通信処理装置の変形例であり、通信相手の端末にコマンドパケットを送信する構成を示す図である。 本発明の第３実施例に係る通信処理装置の構成を示す図である。 本発明の第３実施例に係る通信処理装置の処理シーケンスを説明するフローチャートである。 本発明の第４実施例に係る通信処理装置の構成を示す図である。 本発明の第４実施例に係る通信処理装置の処理シーケンスを説明するフローチャートである。 本発明の通信処理装置のハードウェア構成例を示す図である。

符号の説明

１１０ 端末Ａ
１１１ マイクＡ
１１２ カメラＡ
１１３ スピーカＡ
１１４ ディスプレイＡ
１１５ 送信部Ａ
１１６ 受信部Ａ
１２０ 端末Ｂ
１２１ マイクＢ
１２２ カメラＢ
１２３ スピーカＢ
１２４ ディスプレイＢ
１２５ 送信部Ｂ
１２６ 受信部Ｂ
１３０ ネットワーク
２０１ マイク
２０２ カメラ
２１０ 送信データ処理部
２１１ オーディオ符号化器
２１２ オーディオパケット生成部
２１３ ビデオ符号化器
２１４ ビデオパケット生成部
２１５ ネットワーク送出部
２２０ ネットワーク
３０１ ネットワーク
３１０ 受信部
３１１ ネットワーク受信部
３１２ オーディオパケット復号部
３１３ オーディオ受信データ判断部 ３１４ オーディオ復号化器１
３１５ オーディオ復号化器２
３１６ オーディオ復号化器３
３１７ ビデオパケット復号部
３１８ ビデオ受信データ判断部
３１９ ビデオ復号化器１
３２０ ビデオ復号化器２
３２１ ビデオ復号化器３
３３０ スピーカ
３３１ ディスプレイ
４００ 通信処理装置
４０１ ネットワーク
４０２ 通信相手の端末
４０３ マルチメディアコンテンツサーバ
４０４ データ記憶部
４１０ 受信データ処理部
４１１ ネットワーク受信部１
４１２ ビデオパケット復号部
４１３ オーディオパケット復号部
４１４ 通信データ監視部
４１５ ビデオ復号化器
４１６ オーディオ復号化器
４１７ ネットワーク受信部２
４２０ ディスプレイ
４２１ スピーカ
４３０ 復号化プリプロセス部
４３１ 符号化器／復号化器制御部
４３２ 符号化プリプロセス部
４４０ 送信データ処理部
４４１ ネットワーク送信部
４４２ オーディオパケット化部
４４３ ビデオパケット化部
４４４ オーディオ符号化部
４４５ ビデオ符号化部
４５０ マイク
４５１ カメラ
４７０ コミュニケーションデータ有無判断部
５１１ オーディオ符号化部コア
５１２ オーディオ符号化帯域制御部
５４１ オーディオ復号化部コア
５４２ オーディオ復号化帯域制御部
５７１ ビデオ符号化部コア
５７２ ビデオ符号化フレームレート制御部
５８１ ビデオ復号化部コア
５８２ ビデオ復号化フレームレート制御部
６３１ 符号化器制御部
６４１ パケット作成部
６４２ ネットワーク送信部２
７０１ ミキサ
７０２ ネットワーク受信部
７４０ 送信データ処理部２
７４１ データパケット化部
７４２ データ読み出し部
７４３ データファイル
８０９ ＰＣＩバス
８３２ ディスプレイ
８３３ ビデオカメラ
８３４ マイク
８３５ スピーカ
８３７ マウス
８３６ キーボード
８５０ データ送受信装置
８５１ コーデック
８５２ ネットワークインタフェース
８５３ 入力インタフェース
８５４ ＡＶインタフェース
８５５ ディスプレイインタフェース
８５６ ＣＰＵ
８５７ メモリ
８５８ ＨＤＤ
８５９ ＰＣＩバス

Claims (25)

1. 符号化データの送受信処理を実行する通信処理装置であり、
   送信データの符号化処理を実行する送信データ処理部と、
   受信データの復号化処理を実行する受信データ処理部と、
   送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドを出力する通信データ監視部と、
   前記通信データ監視部からのコマンドを入力し、送信データまたは受信データの少なくともいずれかのデータ処理態様を変更するデータ処理制御部と、
   を有することを特徴とする通信処理装置。
2. 前記通信データ監視部は、複数の異なる受信データの監視処理を実行し、予め設定されたモードに応じて、一方の受信データを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする請求項１に記載の通信処理装置。
3. 前記通信データ監視部は、複数の異なる通信データとして、他の通信端末とのコミュニケーションデータと、サーバからの受信データとしてのマルチメディアコンテンツデータの複数の通信における複数の受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたはマルチメディアコンテンツデータのいずれか一方のデータを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする請求項１に記載の通信処理装置。
4. 前記データ処理制御部は、
   前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、通信処理装置内のリソースの抑制使用によるデータ処理を実行させる制御を行う構成であることを特徴とする請求項２または３に記載の通信処理装置。
5. 前記リソースは、通信処理装置内のＣＰＵまたはメモリの少なくともいずれかを含むものであることを特徴とする請求項４に記載の通信処理装置。
6. 前記データ処理制御部は、
   前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、送信データの符号化ビットレートを低減した送信パケットの生成処理を実行させる制御を行う構成であることを特徴とする請求項２または３に記載の通信処理装置。
7. 前記データ処理制御部は、
   前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、データ送信元に対して、送信データの符号化ビットレートを低減させるためのコマンド格納パケットの送信処理を実行させる制御を行う構成であることを特徴とする請求項２または３に記載の通信処理装置。
8. 前記通信処理装置は、さらに、前記送信データ処理部および受信データ処理部において処理されるコミュニケーションデータの有無を判定するコミュニケーションデータ有無判断部を有し、
   前記通信データ監視部は、
   前記コミュニケーションデータ有無判断部におけるコミュニケーションデータ有りの判断情報に基づいて、コミュニケーションデータの優先処理を実行するコミュニケーション優先モードの設定に基づく処理を実行し、
   前記コミュニケーションデータ有無判断部におけるコミュニケーションデータなしの判断情報に基づいて、マルチメディアコンテンツデータの優先処理を実行するマルチメディアコンテンツデータ優先モードの設定に基づく処理を実行する構成であることを特徴とする請求項３に記載の通信処理装置。
9. 前記通信データ監視部は、優先処理データの受信検出を、受信パケットの設定情報であるペイロード情報としてのデータタイプまたはアドレス情報に基づいて実行する構成であることを特徴とする請求項２または３に記載の通信処理装置。
10. 前記通信データ監視部は、他の通信端末とのコミュニケーションデータとして送受信する送信データおよび受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたは、通信処理装置から送信するデータファイルのいずれか一方のデータを優先処理データとして設定するとともに、予め定められた条件を満足する優先処理データの検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする請求項１に記載の通信処理装置。
11. 前記通信データ監視部は、コミュニケーションデータ優先モードにおいて、コミュニケーションデータの音声パワー検出処理を実行し、該音声パワーが予め定められた閾値以上である場合に、非優先処理データであるデータファイルの簡易処理実行設定コマンドを前記データ処理制御部に出力する構成であることを特徴とする請求項１０に記載の通信処理装置。
12. 前記データ処理制御部は、
    前記通信データ監視部から、前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、非優先処理データであるデータファイルの送信データのパケットサイズを削減した送信パケット生成処理を実行させる制御を行う構成であることを特徴とする請求項１０に記載の通信処理装置。
13. 符号化データの送受信処理における通信データの制御を実行する通信処理方法であり、
    送信データの符号化処理を実行する送信データ処理ステップと、
    受信データの復号化処理を実行する受信データ処理ステップと、
    送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドをデータ処理制御部に出力する通信データ監視ステップと、
    前記通信データ監視ステップにおいて出力するコマンドを入力し、送信データまたは受信データの少なくともいずれかのデータ処理態様を変更するデータ処理制御ステップと、
    を有することを特徴とする通信処理方法。
14. 前記通信データ監視ステップは、複数の異なる受信データの監視処理を実行し、予め設定されたモードに応じて、一方の受信データを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力することを特徴とする請求項１３に記載の通信処理方法。
15. 前記通信データ監視ステップは、複数の異なる通信データとして、他の通信端末とのコミュニケーションデータと、サーバからの受信データとしてのマルチメディアコンテンツデータの複数の通信における複数の受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたはマルチメディアコンテンツデータのいずれか一方のデータを優先処理データとして、その受信を検出し、該優先処理データの受信検出を条件として、非優先処理データの簡易処理実行設定コマンドをデータ処理制御部に出力することを特徴とする請求項１３に記載の通信処理方法。
16. 前記データ処理制御ステップは、
    前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、通信処理装置内のリソースの抑制使用によるデータ処理を実行させる制御を行うステップであることを特徴とする請求項１４または１５に記載の通信処理方法。
17. 前記リソースは、通信処理装置内のＣＰＵまたはメモリの少なくともいずれかを含むものであることを特徴とする請求項１６に記載の通信処理方法。
18. 前記データ処理制御ステップは、
    前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、送信データの符号化ビットレートを低減した送信パケットの生成処理を実行させる制御を行うステップであることを特徴とする請求項１４または１５に記載の通信処理方法。
19. 前記データ処理制御ステップは、
    前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、データ送信元に対して、送信データの符号化ビットレートを低減させるためのコマンド格納パケットの送信処理を実行させる制御を行うステップであることを特徴とする請求項１４または１５に記載の通信処理方法。
20. 前記通信処理方法は、さらに、前記送信データ処理ステップおよび受信データ処理ステップにおいて処理されるコミュニケーションデータの有無を判定するコミュニケーションデータ有無判断ステップを有し、
    前記通信データ監視ステップは、
    前記コミュニケーションデータ有無判断ステップにおいて生成されるコミュニケーションデータ有りの判断情報に基づいて、コミュニケーションデータの優先処理を実行するコミュニケーション優先モードの設定に基づく処理を実行し、
    前記コミュニケーションデータ有無判断部におけるコミュニケーションデータなしの判断情報に基づいて、マルチメディアコンテンツデータの優先処理を実行するマルチメディアコンテンツデータ優先モードの設定に基づく処理を実行することを特徴とする請求項１５に記載の通信処理方法。
21. 前記通信データ監視ステップは、
    優先処理データの受信検出を、受信パケットの設定情報であるペイロード情報としてのデータタイプまたはアドレス情報に基づいて実行することを特徴とする請求項１４または１５に記載の通信処理方法。
22. 前記通信データ監視ステップは、
    他の通信端末とのコミュニケーションデータとして送受信する送信データおよび受信データの監視処理を実行し、予め設定されたモードに応じて、コミュニケーションデータまたは、通信処理装置から送信するデータファイルのいずれか一方のデータを優先処理データとして設定するとともに、予め定められた条件を満足する優先処理データの検出を条件として、非優先処理データの簡易処理実行設定コマンドを前記データ処理制御部に出力することを特徴とする請求項１３に記載の通信処理方法。
23. 前記通信データ監視ステップは、
    コミュニケーションデータ優先モードにおいて、コミュニケーションデータの音声パワー検出処理を実行し、該音声パワーが予め定められた閾値以上である場合に、非優先処理データであるデータファイルの簡易処理実行設定コマンドを前記データ処理制御部に出力することを特徴とする請求項２２に記載の通信処理方法。
24. 前記データ処理制御ステップは、
    前記簡易処理実行設定コマンドを入力し、非優先処理データに対する簡易処理として、非優先処理データであるデータファイルの送信データのパケットサイズを削減した送信パケット生成処理を実行させる制御を行うステップであることを特徴とする請求項２２に記載の通信処理方法。
25. 符号化データの送受信処理における通信データの制御を実行するコンピュータ・プログラムであり、
    送信データの符号化処理を実行する送信データ処理ステップと、
    受信データの復号化処理を実行する受信データ処理ステップと、
    送信データまたは受信データの少なくともいずれかの通信データを監視し、監視結果に基づいて通信データの処理態様の変更設定指示コマンドをデータ処理制御部に出力する通信データ監視ステップと、
    前記通信データ監視ステップにおいて出力するコマンドを入力し、送信データまたは受信データの少なくともいずれかのデータ処理態様を変更するデータ処理制御ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images