JP2014526827A - ネットワーク状態に依存した信号処理モジュールの選択 - Google Patents

Abstract

無線通信ネットワークを通じて確立されたチャネルを介してリモートデバイスとパケットベースの通話を行うモバイルデバイス、方法、及びコンピュータプログラム製品である。モバイルデバイスは、無線通信ネットワークにアクセスするように構成された無線アクセス回路と、通信クライアントアプリケーションを実行して無線通信ネットワークを通じて確立されたチャネルを介してリモートデバイスとパケットベースの通話を行う、実行する手段であり、通信クライアントアプリケーションは少なくとも１つのネットワークパラメータを監視するように構成される、手段と、処理機能を実施するように選択的に動作可能なハードウェア処理モジュールと、上記処理機能を実施するように選択的に実行可能なソフトウェア処理モジュールと、少なくとも１つの監視されたネットワークパラメータに基づいて、ハードウェア処理モジュール及びソフトウェア処理モジュールのうち１つに通話を供給する選択メカニズムと、を含む

Description

本発明は、モバイルデバイスにおいて行われる通話中の信号処理に関する。

いくつかの通信システムは、パーソナルコンピュータなどのデバイスのユーザが、インターネットなどのパケットベースのコンピュータネットワークを通じて音声通話又ビデオ通話を行うことを可能にする。上記のような通信システムには、インターネットプロトコルを通じた音声又はビデオ（ＶｏＩＰ）システムを含む。これらのシステムは、しばしば従来の固定回線又はモバイルセルラーネットワークよりもかなり低コストであるため、ユーザにとって有益である。これは、長距離通信について、特に当てはまるであろう。ＶｏＩＰシステムを利用するために、ユーザは、ユーザ自身のデバイス上にクライアントソフトウェアをインストールし、それを実行する。クライアントソフトウェアは、登録及び認証などの他の機能を提供するとともに、ＶｏＩＰ接続をセットアップする。音声通信に加えて、上記クライアントはさらに、インスタントメッセージング（“ＩＭ”）、ＳＭＳメッセージング、ファイル転送、及びボイスメールなどの他の通信媒体のための接続をセットアップすることもできる。

モバイル帯域幅の増加とともに、インターネット接続可能なモバイルフォンなどのモバイルデバイス上で実行するクライアントアプリケーションを介した、パケットベースのビデオ通話を提供することへの関心が高まっている。これらのモバイルデバイスは、無線アクセスポイント（例えば、ＷＬＡＮネットワークのＷｉ−Ｆｉアクセスポイントなど）を介してインターネットへアクセスする１つ又は複数の免許不要帯域において動作する短距離ＲＦトランシーバ、及び／又はＧＰＲＳ（General Packet Radio Service）若しくはＨＳＰＡ（High Speed Packet Access）などのセルラーネットワークのパケットベースのサービスを介してインターネットにアクセスする１つ又は複数の要免許帯域において動作するセルラートランシーバなどの、トランシーバを含む。

図１は、通信システム１００の概略図であり、通信システム１００は、インターネットなどのパケットベースのネットワーク１０１とモバイルセルラーネットワーク１０３とを含む。モバイルセルラーネットワーク１０３は、複数の基地局１０４（３ＧＰＰ用語において時にノードＢと呼ばれる）を含む。それぞれの基地局１０４は、セルラーネットワーク１０３の対応するセルを扱うように構成される。さらに、パケット交換ネットワーク１０１は、インターネットにアクセスするＷｉ−Ｆｉアクセスポイントなどの複数の無線アクセスポイント１０６を含む。これらは、１つ又は複数の無線ローカルエリアネットワーク（ＷＬＡＮ）のアクセスポイントであってよい。

複数のユーザ端末１０２が、ネットワーク１０１及び／又は１０３を通じて通信するように構成される。ユーザターミナル１０２のうち少なくとも１つが、インターネット接続可能なモバイルフォンなどのモバイルデバイスを含み、他のユーザ端末１０２には、例えばデスクトップＰＣ又はラップトップＰＣを含んでよい。

例示的なモバイルデバイス１０２ａを、図２ａ及び図２ｂに概略的に示す。モバイルデバイス１０２ａは、通信クライアントアプリケーションを記憶するメモリ２１３に接続された１つ又は複数のプロセッサユニット（ＣＰＵ）２１１の形態の処理装置を含む。プロセッサ２１１は、さらに、マイクロフォン２０２、スピーカ２０３、カメラ２０５、電源２０６、１つ又は複数のＲＦトランシーバ２０７、キーパッド２０９、及びディスプレイ２１２に接続される。

１つ又は複数のトランシーバ２０７は、モバイルデバイス１０２ａが、１つ又は複数のネットワーク１０１及び／又は１０３にアクセスすることを可能にする。例えば、モバイルデバイス１０２ａは、基地局１０４を介してモバイルセルラーネットワーク１０３にアクセスするセルラー無線トランシーバ、及び／又はインターネット１０１にアクセスする有線若しくは無線のモデムを含んでよい。無線モデムの場合、これは典型的には、無線アクセスポイント１０６を介してインターネット１０１にアクセスする短距離無線トランシーバ（例えば、Ｗｉ−Ｆｉ）を含む。

インターネット１０１へのアクセスは、さらに、ＧＰＲＳ（General Packet Radio Service）又はＨＳＰＡ（High Speed Packet Access）などの他の手段によっても達成されるであろう。セルラー階層のより高いレベルにおいて、セルラーネットワーク１０３は、複数のセルラーコントローラステーション１０５を含み、セルラーコントローラステーション１０５のそれぞれは、複数の基地局１０４に接続される。コントローラステーション１０５は、モバイルセルラーネットワーク１０３の従来の回線交換部分に接続されるが、さらにインターネット１０１にも接続される。コントローラステーション１０５は、したがって、インターネット１０１へのアクセスを含む、基地局１０４を介したパケットベース通信へのアクセスを可能にするように配置される。コントローラステーション１０５を、例えば、ＧＳＭ（登録商標）／ＥＤＧＥ用語において基地局コントローラ（Base Station Controller；ＢＳＣ）と呼ぶ場合があり、あるいはＵＳＴＭ又はＨＳＰＡ用語において無線ネットワークコントローラ（Radio Network Controller；ＲＮＣ）と呼ぶ場合がある。

メモリ２１３には、プロセッサ２１１に接続された電子的消去可能プログラマブルメモリ（ＥＥＰＲＯＭ、又は「フラッシュ」メモリ）などの不揮発性メモリを含んでよい。メモリは、プロセッサ上で実行されるように配置され、実行されたときにインターネット１０１及び／又はセルラーネットワーク１０３を通じて通信に従事するように構成された通信コードを記憶する。通信コードは、短距離無線トランシーバ２０７及び無線アクセスポイント１０６を介して、かつ／あるいは上述したようなセルラーネットワーク１０３のセルラー無線トランシーバ２０７、基地局１０４及びコントローラステーション１０５を介して、インターネット１０１を通じて他のユーザ端末１０２と音声又はビデオ通話などの通信を行う通信クライアントアプリケーションを好ましくは含む。しかしながら、関連するユーザ端末１０２のうち１つ又は複数は、代替的に、例えばモバイル端末とデスクトップＰＣとの間の通話の場合などにおいて、有線モデムを介して通信するであろう。

この方法において、モバイルデバイス１０２ａは、インターネット１０１（又は他のパケットベースのネットワーク）を介して、別の、リモート端末１０２ｂと通話を確立するように構成される。図示の例において、リモート端末１０２ｂはデスクトップコンピュータであるが、他の実施形態において、別のモバイルデバイスであってもよい。

具体的に、ビデオ通話機能がユーザにより有効にされている場合、上記通話は、モバイルデバイス１０２ａと１０２ｂとにおけるライブビデオ通話を含む。ビデオ通話は、デバイス１０２ａ及び１０２ｂによりリアルタイムで捕捉され、インターネット１０１を介してＩＰパケットの形式で送信される信号の交換を含む。

交換される信号には、着信（incoming）ビデオ信号及び発信（outgoing）ビデオ信号の双方を含むことができるが、代替的に、ビデオ通話は、双方向性である必要はなく、ユーザデバイス１０２のうち１つだけから１方向だけに送信されるビデオを含んでよい。

交換される信号には、モバイルデバイス１０２ａのカメラ２０５により捕捉される「生の」（エンコードされていない）発信ビデオ信号を含むことができる。上記の発信ビデオ信号は、アナログ・デジタル・コンバータ（ＡＤＣ）２１５によりデジタル信号へと変換され、ブロック２１７においてクライアントによりエンコードされる。

実行されると、エンコーダ２１７は、ビデオ信号をより低いビットレートストリームへと圧縮するようにビデオ信号をエンコードし、トランシーバ２０７とネットワーク１０１、１０３とを介してリモートデバイス１０２ｂに送信するために、エンコードされた信号を出力する。

交換される信号には、リモート端末１０２ｂからの着信エンコード済ビデオ信号を含むことができる。上記着信エンコード済ビデオ信号は、クライアントアプリケーションによりモバイルデバイス１０２ａ上でデコーダ２１９においてデコードされる。デコードされたビデオ信号は、次いで、デジタル・アナログ・コンバータ（ＤＡＣ）２２１を用いてアナログ信号へと変換され、ディスプレイ２１２に出力されることができる。

交換される信号には、さらに、モバイルデバイス１０２ａ上でスピーカ２０３を介して出力するための、リモートデバイス１０２ｂからの着信エンコード済オーディオ信号、及び／又はリモートデバイス１０２ｂへ送信するための、モバイルデバイス１０２ａ上のマイクロフォン２０２により捕捉された、発信の「生の」（エンコードされていない）オーディオ信号を含むことができる。エンコーダ及び／又はデコーダを示すために用いる場合がある総称が、コーデックである。

現代の「スマートフォン」において、Ｈ．２６４に従うソフトウェアベースの符号化が実装されており、それは良好な品質の符号化を提供するが、バッテリ寿命を減らす。

本発明の第１の態様に従い、無線通信ネットワークにアクセスするように構成された無線アクセス回路と、通信クライアントアプリケーションを実行して上記無線通信ネットワークを通じて確立されたチャネルを介してリモートデバイスとパケットベースの通話を行う、実行する手段であり、上記通信クライアントアプリケーションは少なくとも１つのネットワークパラメータを監視するように構成される、手段と、処理機能を実施するように選択的に動作可能なハードウェア処理モジュールと、上記処理機能を実施するように選択的に実行可能なソフトウェア処理モジュールと、上記の少なくとも１つの監視されたネットワークパラメータに基づいて、上記ハードウェア処理モジュール及び上記ソフトウェア処理モジュールのうち１つに上記通話を供給する選択メカニズムと、を含むモバイルデバイスが提供される。

好ましくは、上記処理機能は、ビデオ通話又はオーディオ通話のうち１つにおけるコーデック機能である。

好ましくは、上記少なくとも１つの監視されたネットワークパラメータは、チャネルビットレート、チャネルエンドツーエンド送信遅延、チャネルパケット損失率、及びチャネルパケット損失バースト性のうちの少なくとも１つである。

上記選択メカニズムは、さらに、上記リモートデバイスの能力に応じて上記ハードウェア処理モジュールと上記ソフトウェア処理モジュールとにおいて選択することができる。好ましくは、上記選択メカニズムは、入力信号を受け取るように構成された切り替え手段と、上記少なくとも１つの監視されたネットワークパラメータを受け取り、上記切り替え手段に制御信号を供給するように構成された制御手段であり、上記制御信号は上記少なくとも１つの監視されたネットワークパラメータに基づき、上記制御信号は上記ハードウェア処理モジュール又は上記ソフトウェア処理モジュールのいずれかに処理すべき上記入力信号を出力するように上記切り替え手段を制御する、制御手段と、を含む。

上記ソフトウェア処理モジュールは、上記通信クライアントアプリケーションを実行する手段において実行されるコードにより実施することができる。

好ましくは、上記少なくとも１つのネットワークパラメータを監視するステップは、上記通信クライアントアプリケーションを実行する手段により実行されるトランスポート層機能とアプリケーション層機能とのうち少なくとも１つである。

上記ハードウェア処理モジュールと上記ソフトウェア処理モジュールとは、双方とも、ビデオエンコーダ及びビデオデコーダを含むことができる。上記モバイルデバイスは、さらに、リアルタイムビデオデータを捕捉する手段を含むことができ、上記手段はエンコードされていないビデオ信号の形式で上記入力信号を供給することができる。代替的に、上記入力信号は、上記リモートデバイスにより上記チャネルを介して上記モバイルデバイスに送信されるエンコードされたビデオ信号であってよい。

上記ハードウェア処理モジュールと上記ソフトウェア処理モジュールとは、双方とも、オーディオエンコーダ及びオーディオデコーダを含むことができる。上記モバイルデバイスは、さらに、オーディオデータを捕捉する手段を含むことができ、上記手段はエンコードされていないオーディオ信号の形式で上記入力信号を供給することができる。代替的に、上記入力信号は、上記リモートデバイスにより上記チャネルを介して上記モバイルデバイスに送信されるエンコードされたオーディオ信号であってよい。

いくつかの実施形態において、上記処理機能はセキュリティ機能である。

好ましくは、上記無線通信ネットワークはインターネットである。

好ましくは、上記モバイルデバイスは、インターネット接続可能なモバイル電話、携帯型ゲーム機、パーソナル・デジタル・アシスタント（ＰＤＡ）、タブレットコンピュータ、及びラップトップコンピュータのうちの１つである。

本発明の第２の態様に従い、無線通信ネットワークを通じて確立されたチャネルを介してリモートデバイスとパケットベースの通話を行う方法が提供される。当該方法は、通信クライアントアプリケーションを実行して上記通話を行い、少なくとも１つのネットワークパラメータを監視する、実行するステップと、前記の少なくとも１つの監視されたネットワークパラメータに基づいて、処理機能を実施するように動作可能なハードウェア処理モジュール、又は前記処理機能を実施するように実行可能なソフトウェア処理モジュールのうち１つに前記通話を選択的に供給するステップと、を含む。

好ましくは、当該方法は、上記ハードウェア処理モジュール又は上記ソフトウェア処理モジュールに上記通話を供給するように構成された選択メカニズムに、上記少なくとも１つの監視されたネットワークパラメータを供給するステップをさらに含む。

好ましくは、当該方法は、上記選択メカニズムの切り替え手段において入力信号を受け取るステップと、上記選択メカニズムの制御手段において上記少なくとも１つの監視されたネットワークパラメータを受け取るステップと、上記制御手段から上記切り替え手段へ制御信号を供給するステップであり、上記制御信号は上記少なくとも１つの監視されたネットワークパラメータに基づき、上記制御信号は上記ハードウェア処理モジュール又は上記ソフトウェア処理モジュールのいずれかに処理すべき上記入力信号を出力するように上記切り替え手段を制御する、ステップと、をさらに含む。

好ましくは、当該方法は、複数のネットワークパラメータの論理分析を実行するステップをさらに含む。

上記制御手段は、チャネルビットレートが所定ビットレート閾値以上であり、かつチャネルエンドツーエンド送信遅延が所定遅延閾値未満であり、かつチャネルパケット損失率が所定パケット損失率閾値未満であるとき、上記ハードウェア処理モジュールに処理すべき上記入力信号を出力するように上記切り替え手段を制御することができる。

上記制御手段は、上記チャネルビットレートが上記所定ビットレート閾値未満であるとき、上記ソフトウェア処理モジュールに処理すべき上記入力信号を出力するように上記切り替え手段を制御することができる。

上記制御手段は、上記チャネルエンドツーエンド送信遅延が上記所定遅延閾値以上であるとき、上記ソフトウェア処理モジュールに処理すべき上記入力信号を出力するように上記切り替え手段を制御することができる。

上記制御手段は、上記チャネルパケット損失率が上記所定パケット損失率閾値以上であるとき、上記ソフトウェア処理モジュールに処理すべき上記入力信号を出力するように上記切り替え手段を制御することができる。

当該方法は、構成モードを選択するためのユーザ入力を受け取るステップであり、上記構成モードは一定閾値のセットに対応し、上記制御手段は一定閾値の上記セットを用いて上記切り替え手段を制御する、ステップ、をさらに含むことができる。

好ましくは、当該方法は、電源の電源レベルを監視するステップと、上記電源レベルに基づいて上記選択メカニズムの動作を調整するステップと、をさらに含む。上記の閾値は上記電源の上記電源レベルに従って変更することができる。

好ましくは、上記制御手段は、上記モバイルデバイスが外部電力源に接続されていることを上記電源の上記電源レベルが示すとき、一定閾値の第１のセットを用いて上記切り替え手段を制御する。

好ましくは、上記制御手段は、上記電源の上記電源レベルが所定電源閾値以上であるとき、一定閾値の第２のセットを用いて上記切り替え手段を制御し、上記制御手段は、上記電源の上記電源レベルが上記所定電源閾値未満であるとき、一定閾値の第３のセットを用いて上記切り替え手段を制御する。

本発明の第３の態様に従い、コンピュータ読取可能媒体上に具体化され、モバイルデバイスにおいて実行されたときに上述した方法のステップのいずれかを行うように構成されたコードを含む、コンピュータプログラム製品が提供される。

本発明をより理解するため、及び本発明をどのように実施することができるかを示すため、ここで例示として以下の添付図面を参照する。
通信システムの略図である。 既知のモバイル端末の略図である。 既知のモバイル端末の略ブロック図である。 本発明によるモバイル端末の略ブロック図である。 信号処理モジュールの略図である。 プロトコルスタックの略図である。 ソフトウェアコーデックを実施すべきか又はハードウェアコーデックを実施すべきかを決定する方法を図示する。 図６の方法において使用するパラメータを決定する方法を図示する。

本発明によるモバイルデバイス１０２ａを、図３に概略的に示す。

図３に示すモバイルデバイス１０２ａは、ＣＰＵ３１１（ソフトウェアコーデックを実施し、他の信号処理機能を実行する）とハードウェアコーデックとを含む信号処理モジュール３２０を含む。ハードウェアコーデックは、専用チップ上に実装することができ、あるいはＣＰＵ３１１と同一のダイ上に物理的に位置付けることができる。

信号処理モジュール３２０は、図２ａ及び図２ｂを参照しながら上述した既知のモバイルデバイス内に存在するものと同じデバイスに接続される。すなわち、信号処理モジュール３２０は、通信クライアントアプリケーションを記憶するメモリ３１３に接続される。信号処理モジュール３２０は、さらに、マイクロフォン３０２、スピーカ３０３、カメラ３０５、電源３０６、１つ又は複数のＲＦトランシーバ３０７、キーパッド３０９、及びディスプレイ３１２に接続される。

信号処理モジュール３２０は、さらに、電源３０６を監視する電源レベル監視ブロック３０８に接続される。電源レベル監視ブロック３０８は、電源３０６の電圧レベルを読み出し、これを信号処理モジュール３２０が読み出すことができるデジタルデータに変換するアナログ・デジタル・コンバータの形態をとることができる。

ここから、信号処理モジュール３２０を、図４を参照しながらより詳細に説明していく。信号処理モジュール３２０を使用して入力信号をエンコードして、音声又はビデオ通話中にネットワーク１０１、１０３を通じてリモートデバイス１０２ｂへ送信することができる。

入力信号が、エンコーダスイッチ４０４へのライン４０２において供給される。動作において、入力信号はマイクロフォン３０２からのオーディオ信号出力であってよく、かつ／あるいは入力信号はカメラ３０５により捕捉されたリアルタイムビデオ信号であってよい。

エンコーダスイッチ４０４は、さらに、制御ブロック４３０から制御信号４１２を受け取る。エンコーダスイッチ４０４は、制御信号４１２に依存して、ハードウェアコーデック４０５へのライン４０６か又はソフトウェアコーデック４１０へのライン４０８かのいずれかに、受け取った入力信号を出力するように動作する。ハードウェアコーデック４０５とソフトウェアコーデック４１０とのうち選択された１つが、エンコードされた出力信号をライン４１４に与える。エンコードされた出力信号４１４を、ネットワークインタフェース２０７に供給して、ネットワーク１０１、１０３を通じてリモートデバイス１０２ｂに送信することができる。

例示目的で別個のブロックとして示しているが、点線が示すように、ソフトウェアコーデック４１０は、ＣＰＵ３１１（図４に図示せず）上でプログラムコードを実行することによって実施される。ハードウェアコーデック４０５は、専用回路を用いて実施される。

ハードウェアコーデックは、ソフトウェアコーデックよりも使用する電力が少なく、したがってバッテリ寿命を延ばすことができる。しかしながら、ソフトウェアコーデックは、いくつかの状況においてより良好な品質結果をもたらすことができ、より容易にアップデートすることができる。上述の実施形態は、制御ブロック４３０の動作を通じて環境に依存して最適なコーデックを選択することを可能にする。制御ブロック４３０は、ＣＰＵ３１１上でコードを実行することにより実施され、このコードは、メモリ３１３内に、又は図３に示していない別個のメモリ内に記憶することができる。制御ブロック４３０は、ビットレート４４２、送信遅延４４４、パケット損失率４４６、及びリモートデバイス１０２ｂの能力４４８を含む、監視されたネットワークパラメータを受け取り、これらの監視されたネットワークパラメータに基づいて制御信号４１２を出力して、エンコーダスイッチ４０４を制御する。リモートデバイス１０２ｂの能力４４８には、例えば、リモートデバイス１０２ｂの画面解像度、又はリモートデバイス１０２ｂのＣＰＵ能力を含むことができる。点線で伝えられているように、パラメータ４４２〜４４８は、ＣＰＵ３１１上で通信クライアントアプリケーションを実行することによって監視される。制御ブロック４３０がどのように制御信号４１２を生成するかの説明を、図６を参照しながら以下に与える。

さらに、信号処理モジュール３２０を使用して入力信号をデコードして、音声又はビデオ通話中にモバイルデバイス１０２ａのユーザ１０８ａに対して出力することができる。

入力信号は、デコーダスイッチ４２４へのライン４２２上に供給される。動作において、入力信号は、ネットワーク１０１、１０３を通じてリモートデバイス１０２ｂから受信する、エンコードされたオーディオ信号及び／又はエンコードされたビデオ信号であってよい。

デコーダスイッチ４２４は、さらに、制御ブロック４３０から制御信号４３２を受け取る。制御ブロック４３０がどのように制御信号４３２を生成するかの説明を、図６を参照しながら以下に与える。デコーダスイッチ４２４は、制御信号４３２に依存して、ハードウェアコーデック４０５へのライン４２６か、又はソフトウェアコーデック４１０へのライン４２８かのいずれかに、受信した入力信号を出力するように動作する。ハードウェアコーデック４０５とソフトウェアコーデック４１０とのうち選択された１つが、デコードされた出力信号をライン４３４に与える。デコードされた出力信号４３４を、スピーカ２０３又はディスプレイ２１２により出力することが可能なアナログ信号へと変換することができる。

ハードウェアコーデック４０５及びソフトウェアコーデック４１０は、ビデオエンコーダ及び／又はビデオデコーダを含むビデオコーデックか、あるいはオーディオエンコーダ及び／又はオーディオデコーダを含むオーディオコーデックかのいずれかであってよいことが、十分理解されるであろう。エンコーダとデコーダとを、エンコーダスイッチ４０４とデコーダスイッチ４２４とを用いて互いに独立して切り替えることができる。

パラメータ４４２〜４４８をどのように監視するかを説明するために、ここで図５を参照する。当業者によく知られているであろうように、ユーザデバイスがインターネットなどのネットワークを通じて通信することができるための基本的なメカニズムを、（各ユーザデバイス上で実行されるソフトウェアにおいて具体化される）プロトコルスタックと考えることができる。通信の種類に依存して、複数の種々のプロトコルスタックが存在するが、１つを代表として図５に示す。

このスタックにおいて、最下層は、デバイス１０２ａ及び１０２ｂ間のＲＦリンクにわたってビットを伝える責任を負う、リンク層５１６である。リンク層５１６は、搬送周波数上へと変調された、（典型的にはエンコードされた）ビットの形式におけるＲＦトラフィックを伝える責任を負う。

インターネット層５１４は、すぐ後のパケットルーティングの責任を負うパケットプロトコルである。データのパケットはヘッダ部分とペイロードとの双方を含むことを、当業者は理解するであろう。ヘッダは、宛先ユーザデバイスのインターネットワークアドレス（例えば、ＩＰアドレス）を含み、ペイロードは、通信クライアントアプリケーションにより所望される送信すべき実際のユーザデータを含む。ルーティングノードがパケットを受信するとき、そのＩＰ層ソフトウェアが、ＩＰアドレスを調べ、パケットを送るべき次の隣接するルーティングノード（又は、宛先デバイスが隣接している場合はエンドユーザ端末デバイス）を決定する。

トランスポート層５１２は、ＩＰヘッダの上部にラップされるさらなるヘッダ情報を追加して、ポート番号付け、輻輳制御、及びパケット受信の肯定応答などのサービスを提供する。

最後に、アプリケーション層５１０は、パケットペイロード内に含まれるユーザ情報、例えば、音声若しくはビデオ通話のオーディオ若しくはビデオコンテンツ、又はＩＭメッセージのためのユーザテキストなどに関連する。クライアントアプリケーションは、当のアプリケーションに対して適切としてペイロード内に望むいかなるコンテンツも自由に含むことができる。

プロセッサ３１１上で実行される通信クライアントアプリケーションは、トランスポート層５１２において動作して、エンドツーエンド送信遅延４４４とパケット損失率４４６とを監視することができる。通信クライアントアプリケーションは、タイムスタンプを用いて送信遅延を監視することができる。パケット損失は、パケットのシーケンス番号における欠落を用いて決定することができる。例えば、より低い層においてネットワーク機器を用いるなどの、この情報を監視するための他の方法を利用できることが、十分理解されるであろう。これらのパラメータをアプリケーション層５１０において通信クライアントアプリケーションが使用して、オーディオ／ビデオストリームに対して使用することができる利用可能なネットワーク帯域幅を推定することができる。さらに、通信クライアントアプリケーションは、リモートデバイス１０２ｂの能力４４８に関する情報を受信することができ、これは、モバイルデバイス１０２ａによる要求に応じて、又はリンク層を通じて行われる通話の確立の一部として受信することができる。

通信クライアントアプリケーションは、制御ブロック４３０に対して、監視したパラメータ４４２〜４４８を与え、次いで、制御ブロックが、監視されたパラメータ４４２〜４４８を評価して、入力信号４０２、４２２を処理するためにハードウェアコーデック４０５を実施すべきか、あるいはソフトウェアコーデック４１０を実施すべきかを決定することができる。

ハードウェアコーデック４０５を実施すべきか、あるいはソフトウェアコーデック４１０を実施すべきかを決定するときに制御ブロック４３０が実施するロジックを、発明者らは開発した。入力信号が送信用にエンコードされなければならないときに使用されるロジックを、図６に図示する。ロジックの構築において、発明者らは以下を仮定している。

第１に、リアルタイムビデオ信号を処理する場合、ハードウェアコーデック４０５は、ソフトウェアコーデック４１０が実施されるＣＰＵ３１１の制約に起因して、ソフトウェアコーデック４１０よりも高い解像度で入力を処理することができる。

第２に、ソフトウェアコーデック４１０は、アップデートすることがより容易であり、ゆえにハードウェアコーデック４０５よりもさらに技術的に先行した特徴を有する可能性がある。ゆえに、低ビットレートの、遅延の大きい、パケット損失の多い状態において、ハードウェアコーデック４０５よりも良好に機能することができる。

最後に、ハードウェアコーデック４０５は、ソフトウェアコーデック４１０よりも電源３０６から消費する電力がより少ない。

ステップ６０２において、制御ブロック４３０は、監視されたパラメータ４４２〜４４８を受け取る。

ステップ６０４において、制御ブロック４３０は、ビットレート４４２が所定閾値Ａ以上であるどうかを決定する。ビットレート４４２がＡ未満である場合、ステップ６１４において、制御ブロック４３０は、エンコーダスイッチ４０４を制御する制御信号４１２を出力して、ライン４０２上の入力をソフトウェアコーデック４１０へ供給する。所定閾値Ａは、実際のハードウェアコーデックの実装に合わせるべきである。一例が、５００ｋｂｐｓである。

ステップ６０４において、ビットレート４４２がＡ以上であることが決定された場合、制御ブロック４３０はステップ６０６へと進む。ステップ６０６は、エンドツーエンド送信遅延４４４が所定閾値Ｂ以上であるかどうかを決定する。遅延４４４がＢ以上である場合、次いで、制御ブロック４３０はステップ６１４へと進み、上述のとおり動作する。再びになるが、所定閾値Ｂは、実際のハードウェアコーデックの実装に合わせるべきである。一例のシナリオにおいて、５００ｍｓのエンドツーエンド遅延が要求される場合であって、ハードウェアコーデック４０５がライン４０２上の入力をエンコードするために４００ｍｓを必要とする場合、ネットワーク遅延は１００ｍｓ未満でなければならない。ゆえに、この例において、閾値Ｂは１００ｍｓであるように選択されるであろう。

ステップ６０６において、遅延４４４がＢ未満であることが決定された場合、制御ブロック４３０はステップ６０８へと進む。ステップ６０８は、パケット損失率４４６が所定閾値Ｃより大きいかどうかを決定する。パケット損失率４４６がＣより大きい場合、次いで、制御ブロック４３０はステップ６１４へと進み、上述したとおりに動作する。一例のシナリオにおいて、パケット損失がまったく存在しない場合に限りハードウェアコーデック４０５が使用されるように、所定閾値Ｃが０％であってよい。

パケット損失率４４６がＣ以下である場合、制御ブロック４３０はステップ６１０へと進む。ステップ６１０は、リモートデバイス能力４４８が所定閾値Ｄ以上であるかどうかを決定する。リモートデバイス能力４４８がＤ未満である場合、次いで、制御ブロック４３０はステップ６１４へと進み、上述したとおりに動作する。一例のシナリオにおいて、ハードウェアエンコーダ４０５がＶＧＡ以上の解像度に対して合わせられる場合、次いで、ステップ６１０において、本処理は、ハードウェアコーデック４０５が適用される前に、リモートデバイス１０２ｂのＣＰＵがＶＧＡ解像度を扱うことができるかどうかを確認する。

パケット損失に言及しているが、バースト性などの、パケット損失の他の評価基準を使用してもよいことが十分理解されるであろう。

ステップ６１０において、リモートデバイス能力がＤ以上であることが決定された場合、ステップ６１４において、制御ブロック４３０は、エンコーダスイッチ４０４を制御する制御信号４１２を出力して、ライン４０２上の入力をハードウェアコーデック４０５に供給する。

したがって、ハードウェアコーデック４０５は、ビットレート４４２がＡ以上であり、遅延４４４がＢ未満であり、パケット損失４４６がＣ以下であり、かつリモートデバイス能力４４８がＤ以上であるときに限り使用され、これらの状態に合致しない場合、ソフトウェアコーデック４１０が使用される。ゆえに、ハードウェアコーデック４０５は、ネットワークの状態が良好であってリモートデバイス１０２ｂが高解像度を扱うことができるときに使用される。

分かりやすくするため、図４において、ハードウェアコーデック４０５とソフトウェアコーデック４１０との間に明確な区別を示している。しかしながら、いくつかの実装において、例えば、処理の一部がグラフィック処理ユニット（ＧＰＵ）上で実行されるところのハイブリッド構造を使用する場合、このような明確な区別が存在しなくてよい。しかしながら、これらの実装において、図６を参照しながら上述した切り替えアルゴリズムはなお適用される。

エンコードされた入力信号をデコードしなければならないときに制御ブロック４３０により実施されるロジックは、リモートデバイス能力４４８を考慮しないことが、十分理解されるであろう。ゆえに、復号処理において、ハードウェアコーデック４０５は、ネットワークの状態が良好であるときに使用される。すなわち、ハードウェアコーデック４０５は、ビットレート４４２がＡ以上であり、遅延４４４がＢ未満であり、かつパケット損失４４６がＣ以下であるときに使用され、これらの状態に合致しない場合、ソフトウェアコーデック４１０が使用される。

ネットワークパラメータは常に変化するため、図６において使用されるロジックは、ハードウェアコーデック４０５とソフトウェアコーデック４１０との間で頻繁に切り替わることになる可能性がある。これは、頻繁なコーデック切り替えが（切り替えにより引き起こされる）遅延とビットレートのオーバヘッドとをもたらすため、望ましくない。種々の異なる方法を用いて、頻繁なコーデック切り替えを回避することができる。例えば、制御ブロック４３０は、直前のコーデック切り替えからＸ秒超経過している場合にのみコーデック切り替えを適用するように制御信号４１２、４３２を出力することができ、Ｘの一例の値は１０秒である。別の例において、監視されたパラメータ４４２〜４４８について、期間Ｙにわたって平均値を求めることができ、Ｙの一例は５秒である。さらに別の例において、期間Ｙにわたって監視されたネットワークパラメータに対して、統計的メトリクスを適用することができ、例えば、期間Ｙにわたって監視されたネットワークパラメータの最悪値を、制御ブロック４３０に送ることができる。

図６に示すロジックにおいて使用される所定閾値Ａ、Ｂ、Ｃ、Ｄを、電源３０６のステータス、すなわち電源レベルに従って適合させることができる。図４に示すように、電源レベル監視ブロック３０８は、電源３０６の電源レベルを制御ブロック４３０に提供することができる。制御ブロックがこの情報をどのように利用して図６において使用される閾値Ａ、Ｂ、Ｃ、Ｄを適応的に変化させるのかを、ここから図７を参照しながら説明していく。

ステップ７０２において、制御ブロック４３０は、電源レベル監視ブロック３０８から電源３０６の電源レベルを受け取る。

ステップ７０４において、制御ブロック４３０は、電力が電源２０６に供給されるように電力ケーブルがモバイルデバイス１０２ａに接続されているかどうかを決定する（すなわち、モバイルデバイスの電源が充電中であるかどうかを決定する）。電力が電源３０６に供給されるように電力ケーブルがモバイルデバイス１０２ａに接続されている場合、コーデックの電力利用は重要ではなく、次いで、ステップ７０８に示すように、第１の構成が図６の処理において使用される。すなわち、値Ａ１、Ｂ１、Ｃ１、Ｄ１を、図６の処理において使用する。この第１の構成を使用して、可能な限り多くソフトウェアコーデック４１０を使用するように制御ブロック４３０を偏らせる。ビデオ通話中、ハードウェアコーデック４０５への切り替えは、リモートデバイス１０２ｂが高解像度ビデオを受信する能力があるときにのみ可能となるであろう。ほんの一例として、第１の構成におけるパラメータは、Ａ１＝１５００ｋｂｐｓ、Ｂ１＝１００ｍｓ、Ｃ１＝０％、Ｄ１＝ＨＤ可能という値をとることができる。

ステップ７０４において、電力が電源３０６に供給されていないことが決定された場合、次いで、ステップ７０６において、制御ブロック４３０は、電源３０６の電源レベルが容量の６０％以上であるかどうかを決定する。電源３０６の電源レベルが容量の６０％以上である場合、次いで、ステップ７１０において示すように、第２の構成が図６の処理において使用される。すなわち、値Ａ２、Ｂ２、Ｃ２、Ｄ２を、図６の処理において使用する。電源３０６の電源レベルが容量の６０％以上であるとき、ソフトウェアコーデック４１０が大抵のシナリオにおいてなお好適となる。ゆえに、ビデオ通話中、第２の構成におけるパラメータは、Ａ２＝５００ｋｂｐｓ、Ｂ２＝２００ｍｓ、Ｃ２＝１％、Ｄ２＝ＱＶＧＡ可能という値をとることができる。これらの値はいずれにせよ単に例示であり限定ではないことが、十分理解されるであろう。

ステップ７０６において、電源３０６の電源レベルが容量の６０％より低いことが決定された場合、次いで、ステップ７１２において示すように、第３の構成が図６の処理において使用される。この第３の構成を使用して、ハードウェアコーデック４０５を使用するように制御ブロック４３０を偏らせる。すなわち、値Ａ３、Ｂ３、Ｃ３、Ｄ３が図６の処理において用いられる。ゆえに、ビデオ通話中、第２の構成におけるパラメータは、Ａ２＝５００ｋｂｐｓ、Ｂ２＝２００ｍｓ、Ｃ２＝１％、Ｄ２＝ＱＶＧＡ可能という値をとることができる。これらの値はいずれにせよ単に例示であり限定ではないことが、十分理解されるであろう。

電源の６０％という閾値はいずれにせよ単に例示であり限定ではないことが、十分理解されるであろう。さらに、さらなる電源閾値がさらなる閾値の構成と関連付けて用いられうることが、十分理解されるであろう。

Ａ、Ｂ、Ｃ、Ｄは、いつハードウェアコーデック４０５を使用すべきであり、あるいはいつソフトウェアコーデック４１０を使用すべきであるかを判断するために使用される一定の値であり、Ａ１、Ａ２、Ａ３は異なる一定値である（Ｂ１、Ｂ２、Ｂ３と、Ｃ１、Ｃ２、Ｃ３と、Ｄ１、Ｄ２、Ｄ３とも同様である）ことに留意することが重要である。すべての値は、種々のデバイス、種々のカメラ、種々のマイクロフォンに対して別々に合わせることができ、種々のユーザ（震えているビデオ、又は語り手の顔のビデオ）などに適するように合わせることができる。

図６及び図７に図示する方法を実施することにより、ネットワーク及びバッテリの状態の変化に応じて、ハードウェアコーデック４０５を使用するか、あるいはソフトウェアコーデック４１０を使用するかをその場で決定することが可能となる。

所定閾値のＡ１、Ｂ１、Ｃ１、Ｄ１と、Ａ２、Ｂ２、Ｃ２、Ｄ２と、Ａ３、Ｂ３、Ｃ３、Ｄ３とを選択することにより、電源３０６の電源レベルに基づいて、ハードウェア実装されたコーデック４０５か、又はソフトウェアコーデック４１０かのいずれかに、優先順位を与えることができる。

電源３０６の電源レベルが低いとき、バッテリの使用がより少ないハードウェアコーデック４０５に対して優先順位を与えるべきであり、同様にして、モバイルデバイスが外部電力源に接続されている（すなわち、モバイルデバイスが充電中である）とき、ソフトウェアコーデック４１０に対して優先順位を与えるべきである。この優先順位付けを実施するために、一定の閾値を以下のように、すなわち、
Ａ１≧Ａ２≧Ａ３
Ｂ３≧Ｂ２≧Ｂ１
Ｃ３≧Ｃ２≧Ｃ１
Ｄ１≧Ｄ２≧Ｄ３
のように設定することができる。

したがって、例としてビットレート閾値Ａ１、Ａ２、Ａ３をとると、モバイルデバイスが外部電力源に接続されていて、ソフトウェアコーデック４１０に対して優先順位が与えられるべきであるとき、ソフトウェアコーデック４１０は低ビットレートのチャネル状態においてより良好に機能することができるため、最も高い閾値Ａ１がステップ６０４において使用される。対照的に、電源３０６の電源レベルが低く、ハードウェアコーデック４０５に対して優先順位が与えられるべきであるとき、最も低い閾値Ａ３がステップ６０４において使用される。

上述したように、図６及び図７に図示する方法は、本発明が最良の形態の動作を自動的に選択することを可能にする。本発明の別の実施形態において、モバイルデバイス１０２ａが受け取るユーザ入力が、制御ブロック４３０の自動的な判断を上書きすることができる。このユーザ入力は、モバイルデバイス１０２ａにおける入力手段、例えばマイクロフォン３０２又はキーパッド３０９において受け取ることができる。

この実施形態において、ユーザは、所定閾値のセットにそれぞれ対応する構成モードを選択することができる。例えば、「パフォーマンス最優先（Best Performance）」の構成モードが所定閾値Ａ１、Ｂ１、Ｃ１、Ｄ１に対応してよく、「バッテリやや優先（Better Battery）」の構成モードが所定閾値Ａ２、Ｂ２、Ｃ２、Ｄ２に対応してよく、「バッテリ最優先（Best Battery）」の構成モードが所定閾値Ａ３、Ｂ３、Ｃ３、Ｄ３に対応してよい。構成モードはここで上述した所定閾値以外の所定閾値に対応してよいことが、十分理解されるであろう。

一例のシナリオにおいて、モバイルデバイス１０２ａのユーザ１０８ａが重要な通話を行いたく、ゆえに高いレベルの通話品質を望む場合がある。ユーザ１０８ａは、電源３０６の電源レベルが低い（すなわち、６０％未満である）ことと、電源３０６がある残り時間、すなわち３０分、モバイルデバイスに電力を提供することができるであろうこととを知ることができる。このシナリオにおいて、図７に図示する方法は、所定閾値Ａ３、Ｂ３、Ｃ３、Ｄ３を自動的に使用するであろう（ステップ７０６、７１２を参照）。しかしながら、ユーザ１０８ａは、上記の重要な通話は２０分しか続かないであろうことを分かる場合がある。すなわち、電源３０６は、通話の時間に対して十分な電力を有する。ゆえに、ユーザ１０８ａは、「パフォーマンス最優先」の構成モードを選択して制御ブロック４３０の自動的な機能性を上書きし、所定閾値Ａ１、Ｂ１、Ｃ１、Ｄ１を選択することができ、それにより最良の通話品質を達成することができる。

別の例のシナリオにおいて、モバイルデバイス１０２ａのユーザ１０８ａが、非常に長時間になるであろう通話を行いたい場合がある。ユーザ１０８ａは、電源３０６の電源レベルが高い（すなわち、６０％超である）ことを知ることができる。このシナリオにおいて、図７に図示する方法は、所定閾値Ａ２、Ｂ２、Ｃ２、Ｄ２を自動的に使用するであろう（ステップ７０６、７１０を参照）。ユーザ１０８ａは、「バッテリ最優先」の構成モードを選択して制御ブロック４３０の自動的な機能性を上書きし、所定閾値Ａ３、Ｂ３、Ｃ３、Ｄ３を選択することができ、それにより最良のバッテリ性能を達成して通話中に十分な電力を提供することができる。

本発明の実施形態は、ハードウェアとソフトウェアとにおける設計及び製造工程中に、トレードオフを行う必要性を回避する。従来、モバイルデバイス１０２ａの設計工程中に、最良の通話品質、セキュリティ、又はバッテリ性能を達成するために、多くのトレードオフを行うことが必要とされた。モバイルデバイスは、モバイルデバイスのバッテリ性能を向上するために、ハードウェア補助チップを備えるであろう。しかしながら、ハードウェア実装は、時代遅れとなる可能性があり、アップデートすることがより容易であろうソフトウェアベースの実装により達成される通話品質のレベルを達成しない。

ソフトウェア実装とハードウェア実装とにおける使用中の（live）選択を可能にすることにより、このトレードオフはもはや設計段階において行う必要がなくなる。上記で論じられたビデオコーデックに加えて、本発明は、オーディオコーデック、セキュリティ関連機能、又は他のバッテリ強化機能に対して適用することができる。

本発明の実施形態を、ビデオ通話及び／又は音声通話と特に関連させて論じたが、本発明の用途はライブストリーミング及びビデオメールなどの他のモバイルビデオの活用に拡張することができることが、十分理解されるであろう。

本発明を好適な実施形態に関連させて具体的に図示及び説明したが、別記の請求項により定義される本発明の範囲から逸脱することなく、形式及び詳細において種々の変更を行うことができることを、当業者は理解するであろう。

Claims (10)

1. 無線通信ネットワークを通じて確立されたチャネルを介してリモートデバイスとパケットベースの通話を行う方法であって、
   通信クライアントアプリケーションを実行して上記通話を行い、少なくとも１つのネットワークパラメータを監視する、実行するステップと、
   前記の少なくとも１つの監視されたネットワークパラメータに基づいて、処理機能を実施するように動作可能なハードウェア処理モジュール、又は前記処理機能を実施するように実行可能なソフトウェア処理モジュールのうち１つに前記通話を選択的に供給するステップと、
   を含む方法。
2. 前記少なくとも１つの監視されたネットワークパラメータは、
   チャネルビットレート、
   チャネルエンドツーエンド送信遅延、
   チャネルパケット損失率、及び
   チャネルパケット損失バースト性
   のうち少なくとも１つである、請求項１に記載の方法。
3. 選択メカニズムの切り替え手段において入力信号を受け取るステップと、
   前記選択メカニズムの制御手段において前記少なくとも１つの監視されたネットワークパラメータを受け取るステップと、
   前記制御手段から前記切り替え手段へ制御信号を供給するステップであり、前記制御信号は前記少なくとも１つの監視されたネットワークパラメータに基づき、前記制御信号は前記ハードウェア処理モジュール又は前記ソフトウェア処理モジュールのいずれかに処理すべき前記入力信号を出力するように前記切り替え手段を制御する、ステップと、
   をさらに含む請求項２に記載の方法。
4. 複数のネットワークパラメータの論理分析を実行するステップ
   をさらに含む請求項３に記載の方法。
5. 前記制御手段は、
   前記チャネルビットレートが所定ビットレート閾値以上であり、かつ
   前記チャネルエンドツーエンド送信遅延が所定遅延閾値未満であり、かつ
   前記チャネルパケット損失率が所定パケット損失率閾値未満であるとき、
   前記ハードウェア処理モジュールに処理すべき前記入力信号を出力するように前記切り替え手段を制御し、
   かつ／あるいは、前記制御手段は、
   前記チャネルビットレートが前記所定ビットレート閾値未満であるとき、又は
   前記チャネルエンドツーエンド送信遅延が前記所定遅延閾値以上であるとき、又は
   前記チャネルパケット損失率が前記所定パケット損失率閾値以上であるとき、
   前記ソフトウェア処理モジュールに処理すべき前記入力信号を出力するように前記切り替え手段を制御する、
   請求項４に記載の方法。
6. 構成モードを選択するためのユーザ入力を受け取るステップであり、前記構成モードは一定閾値のセットに対応し、前記制御手段は一定閾値の前記セットを用いて前記切り替え手段を制御する、ステップ
   をさらに含む請求項５に記載の方法。
7. 電源の電源レベルを監視するステップと、
   前記電源レベルに基づいて前記選択メカニズムの動作を調整するステップと、
   をさらに含む請求項５に記載の方法。
8. 前記の閾値は前記電源の前記電源レベルに従って変更され、前記制御手段は、モバイルデバイスが外部電力源に接続されていることを前記電源の前記電源レベルが示すとき、一定閾値の第１のセットを用いて前記切り替え手段を制御し、前記制御手段は、前記電源の前記電源レベルが所定電源閾値以上であるとき、一定閾値の第２のセットを用いて前記切り替え手段を制御し、前記制御手段は、前記電源の前記電源レベルが前記所定電源閾値未満であるとき、一定閾値の第３のセットを用いて前記切り替え手段を制御する、
   請求項７に記載の方法。
9. モバイルデバイスに請求項１乃至８のうちいずれか１項に記載の方法を実行させるように構成されたコードを含むコンピュータプログラム。
10. 請求項１乃至８のうちいずれか１項に記載の方法を実施することに適したモバイルデバイスであって、
    無線通信ネットワークにアクセスするように構成された無線アクセス回路と、
    通信クライアントアプリケーションを実行して前記無線通信ネットワークを通じて確立されたチャネルを介してリモートデバイスとパケットベースの通話を行う、実行する手段であり、前記通信クライアントアプリケーションは少なくとも１つのネットワークパラメータを監視するように構成される、手段と、
    処理機能を実施するように選択的に動作可能なハードウェア処理モジュールと、
    前記処理機能を実施するように選択的に実行可能なソフトウェア処理モジュールと、
    前記の少なくとも１つの監視されたネットワークパラメータに基づいて、前記ハードウェア処理モジュール及び前記ソフトウェア処理モジュールのうち１つに前記通話を供給する選択メカニズムと、
    を含むモバイルデバイス。

Images