JP2006115476A - モバイル装置における多感覚応用の音声強調のための方法および装置 - Google Patents

Abstract

【課題】多感覚応用の強調された音声信号を提供できるモバイル装置の提供。
【解決手段】モバイル装置は、気導マイクロホンおよび音声に関する情報を含む電子補助センサ信号を供給する補助センサを含む。モバイル装置は、複数のタイプの通信を許容する通信インターフェイスによって、他のモバイル装置と直接通信することができる。
【選択図】 図１３

Description

本発明はモバイル装置に関する。より詳細には、本発明は多感覚応用の音声強調（ｍｕｌｔｉ−ｓｅｎｓｏｒｙ ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ）のためのモバイル装置に関する。

電話機能を提供したり、音声入力を受け付けたりする携帯電話やＰＤＡ（携帯情報端末）などのモバイルハンドヘルド装置は、にぎやかな通り、レストラン、空港、車などの劣悪な雑音環境で使用されることが多い。こうした環境における激しい周囲雑音は、ユーザの音声を不明瞭にし、人が何を話しているかをわかりにくくする可能性がある。さらに、音声認識の精度を極度に低下させる。

雑音のモデルに基づいて雑音の除去を試みるノイズフィルタリングシステムが開発されているが、こうしたシステムは、すべての雑音を除去することはできない。特に、こうしたシステムの多くは、背景での他の人の話から成る雑音を除去するのが困難であることがわかっている。その１つの理由は、マイクロホンによって受信された音声信号がモバイル装置を使用している人以外の誰かによって発せられたことを、このようなシステムが判断することは、不可能でないにしても、極端に難しいからである。

ユーザの頭または耳の上にヘッドセットをかけることによって、ユーザの頭の所定の位置に保持される電話ヘッドセットの場合には、ヘッドセットの追加型センサに依存することによって、より頑強なノイズフィルタリングを提供するシステムが開発されている。一例では、骨伝導センサは、ヘッドセットの一端に配置されており、ヘッドセットの弾力によってユーザの頭蓋骨、耳、または下顎を覆う皮膚に圧接される。骨伝導センサは、ユーザが話をするときに生じる頭蓋骨、耳、または下顎の振動を検出する。このシステムは、骨伝導センサからの信号を使用して、ユーザが話をしているときを、よりよく識別することができ、その結果、音声信号内の雑音をよりよく除去することができる。

こうしたシステムはヘッドセットの場合はよく働くが、ヘッドセットは、電話への有線接続に沿った通信に限られている。したがって、広範な通信アプリケーションでの使用は限られている。さらに、ヘッドセットは、見た目が悪く（大きくかさばる）、一日中着用しているのは不快であり、その結果ユーザは、一日中ヘッドセットを所定の位置に着けたままにしておきたいという可能性は少ない。このことが、ヘッドセットの使用を扱いにくい、煩わしいものにしている。

気導マイクロホン、および音声を示す補助センサ信号を提供する補助センサを含むモバイル装置が提供される。モバイル装置は、通信インターフェイスによって、他のモバイル装置と直接通信することができる。

本発明の実施形態は、音声検出およびノイズフィルタリングに使用できる気導マイクロホンおよび補助センサを含むモバイル装置を提供する。本発明のモバイル装置の例は、セル電話(セル方式の携帯電話）、ＰＤＡ、宝飾品、および腕時計を含む。図１は、一実施形態の例を示しており、ここではモバイル装置（ｍｏｂｉｌｅ ｄｅｖｉｃｅ）は携帯電話(ｍｏｂｉｌｅ ｐｈｏｎｅ)１００である。携帯電話１００は、キーパッド１０２、ディスプレイ（表示画面）１０４、カーソルコントロール１０６、気導マイクロホン１０８、スピーカ１１０、２つの骨伝導マイクロホン１１２および１１４、およびオプションの近接センサ１１６を含む。携帯電話１００は、バッテリなどの電源、プロセッサ、全地球測位衛星信号検出器（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓａｔｅｌｌｉｔｅ ｓｉｇｎａｌ ｄｅｔｅｃｔｏｒ）およびプロセッサ（図示しない）も含んでおり、これらは電話の外部からは見えない。任意選択で、携帯電話１００は、脈拍センサ、酸素濃度センサ、体温センサ、およびビデオカメラを含んでいてもよい。

タッチパッド１０２は、ユーザが携帯電話に数字および文字を入力することを可能にする。他の実施形態では、タッチパッド１０２は、タッチ画面の形態でディスプレイ１０４と一体化している。カーソルコントロール１０６は、ユーザが、ディスプレイ１０４上の情報を強調表示し、選択したり、ディスプレイ１０４よりも大きい画像およびページをスクロールしたりすることを可能にする。

図２および図３で示すように、携帯電話１００が電話で話をする標準の位置に置かれているとき、スピーカ１１０は、ユーザの左耳２００または右耳３００の近くに配置されており、気導マイクロホン１０８は、ユーザの口２０２の近くに配置されている。図２のように電話がユーザの左耳の近くに配置されているとき、骨伝導マイクロホン１１４は、ユーザの頭蓋骨または耳に接し、気導マイクロホン１０８によって受信された音声信号から雑音を除去するために使用できる音声についての情報を提供する補助センサ信号を生成する。例えば、補助センサ信号で提供された情報は、ユーザが話をしているかどうか、およびユーザの音声に関連する低周波情報を含むことができる。図３のように電話がユーザの右耳の近くに配置されているとき、骨伝導マイクロホン１１２は、ユーザの頭蓋骨または耳に接し、音声信号から雑音を除去するために使用できる補助センサ信号を生成する。

オプションの近接センサ１１６は、電話（器）がユーザにどれだけ近いかを示す。下記で詳述するように、この情報は、クリーンな音声値を生成する際に骨伝導マイクロホンの寄与に重みを付けるために使用される。一般に、電話がユーザ隣接にしていることを近接検出器が検出した場合、電話がユーザから多少離れている場合よりも、骨伝導マイクロホン信号に重みがかけられる。この調整は、骨伝導マイクロホン信号は、電話がユーザに接しているとき、ユーザが話をしていることをより指示しているという事実を反映している。電話がユーザから離れているとき、周囲雑音であることがより多い。ユーザは常に頭に電話を押しつけたままであるとは限らないため、本発明のいくつかの実施形態では近接センサが使用されている。

図４は、本発明の骨伝導センサ４００の一実施形態を示している。センサ４００では、柔らかいエラストマのブリッジ（ｅｌａｓｔｏｍｅｒ ｂｒｉｄｇｅ）４０２が標準的な気導マイクロホン４０６の振動板４０４に接着されている。この柔らかいブリッジ４０２は、ユーザの皮膚接触部分４０８からマイクロホン４０６の振動板４０４に直接振動を伝導する。振動板４０４の動きは、マイクロホン４０６内のトランデューサ４１０によって電気信号に変換される。

図５は、本発明のハンドヘルドモバイル装置の代替の携帯電話の実施形態５００を示している。携帯電話５００は、キーパッド５０２、ディスプレイ５０４、カーソルコントロール５０６、気導マイクロホン５０８、スピーカ５１０、骨伝導マイクロホンと近接センサとの組合せ５１２を含む。

図６の断面図に示すように、骨伝導マイクロホンと近接センサとの組合せ５１２は、ユーザが電話を耳に当てたときにユーザに接するように設計されている外面６０２を有する柔らかい媒体（流体またはエラストマで）充填されたパッド６００から成る。パッド６００は、電話５００内の開口部または開口部のすぐ下に配置されているスピーカ５１０からの音声の通路を提供するその開口部の周りのリングを形成する。パッド６００はこの形状に限定されず、任意の形状のパッドを使用することができる。ただし、一般には、パッド６００がスピーカ５１０の左と右の部分を含んでおり、ユーザがどちらの耳に電話を当てるかに関係なく、パッド６００の少なくとも一部分がユーザに接するようにしてあると好ましい。パッドの部分は、外面的に連続していても、外面的には離れているが電話内で互いに滑らかに接続されていてもよい。

電子式圧力トランデューサ６０４は、パッド６００内の液体またはエラストマに油圧式に接続され、パッド６００内の液体の圧力を導線６０６上で電気信号に変換する。電子式圧力トランデューサ６０４の例には、ＭＥＭＳベースのトランデューサなどがある。一般に、圧力トランデューサ６０４は、高周波応答を有していなければならない。

導線６０６上の電気信号は、ＤＣ（直流）成分およびＡＣ（交流）成分の２つの成分を含む。ＤＣ成分は、近接センサ信号を提供する。というのは、パッド６００内の静圧は、電話がユーザの耳から多少離れているときより、ユーザの耳に押し当てられたときにより高くなるからである。電気信号のＡＣ成分は、骨伝導マイクロホン信号を提供する。というのは、ユーザの頭蓋骨、顎、または耳の骨の振動は、圧力トランデューサ６０４によってＡＣ電気信号に変換されるパッド６００内の圧力の変動を作り出すからである。一実施形態では、最低周波数を上回る信号のＤＣ成分およびＡＣ成分が通過するのを可能にするために、電気信号にフィルタがかけられる。

骨伝導センサの２つの例を上述したが、他の形態の骨伝導センサも本発明の範囲内に含まれる。

図７および図８は、本発明によるモバイル装置の代替実施形態の正面図および背面図を示している。図７および図８では、モバイル装置７００は、ネックレスまたはチョーカー（首の回りにぴったりする短い首飾り）７０２およびイヤーバッド（耳に差し込む小型イヤホン）７０４から成る。ネックレス７０２は、ひもまたはワイヤなどの首との接触部分（ｎｅｃｋ ｅｎｇａｇｉｎｇ ｐｉｅｃｅ）７０８からつり下げられている装飾用／飾りの円板またはペンダント７０６を含む。首との接触部分は、ユーザ上でモバイル装置を支え、ユーザの首の周りに取り付けられるようにデザインされている。装飾用の円板７０６は、マイクロホン開口孔７０９およびビデオ開口孔７１０を含む。

図８の背面図からわかるように、モバイル装置７００は、気導マイクロホン７１２に電力を供給するバッテリ７１０、補助センサ７１４、ビデオカメラ７１６、処理チップセット７１８、および全地球測位衛星（ＧＰＳ）受信機７２０を含む。処理チップセット７１８は、気導マイクロホン７１２、補助センサ７１４、ビデオカメラ７１６、およびＧＰＳ受信機７２０に接続されている。処理チップセット７１８は、プロセッサ、メモリ記憶装置、および入出力インターフェイスおよび通信インターフェイス（図示しない）を含む。通信インターフェイスは、プロセッサがイヤーバッド７０４内のプロセッサ（図示しない）と通信するのを可能にし、それによって処理チップセット７１８内のプロセッサが音響情報（音声情報）を表す電気信号をイヤーバッド７０４に送信するのを可能にする。また、処理チップセット７１８の通信インターフェイスは、ビデオディスプレイ、パーソナルコンピュータ、ルータ、および他のモバイル装置を含む他の装置の集まりと無線通信することもできる。これらの通信に使用されるプロトコルは、８０２．１１プロトコルの任意のバリエーションを含む任意の既知のプロトコルを含むことができる。

イヤーバッド７０４は、外側部分７３０、耳管部分７３２、およびスピーカ開口孔７３４を含む。イヤーバッド７０４は、処理チップセット７１８から信号を受信し、その信号を、イヤーバッド７０４内のスピーカを通して聴覚信号に変換する。この聴覚信号は、スピーカ開口孔７３４を通ってユーザの耳に入る。イヤーバッド７０４は、バッテリ（図示せず）、および処理チップセット７１８の通信インターフェイスとの通信を可能にする通信インターフェイスを含む。

図９に示すように、首との接触部分７０８は、ペンダント７０６が一般に「喉ぼとけ」と呼ばれる咽頭の甲状軟骨のやや下のユーザの首の前に接するように、ユーザの首９０４を周回する。イヤーバッド７０４は、外側部分７３０が外耳の耳珠９００と耳の裏９０２との間に延びるように、ユーザの耳に取り付けられる。

図１０は、本発明によるモバイル装置の別の実施形態の図を示している。図１０では、このモバイル装置は、腕時計またはブレスレット１０００およびイヤーバッド１００２を含む。腕時計１０００は、ユーザの手首の周りに固定されるようにデザインされている、バンドなどの手首との接触部分１００６に取り付けられるエンクロージャ（封入物）１００１を含む。エンクロージャ１００１は、バッテリ、プロセッサ、メモリ、通信インターフェイス、入出力インターフェイス、ＧＰＳ受信機、ビデオカメラ、スピーカ、気導マイクロホン、脈拍センサ、酸素濃度センサ、および体温センサを含む１組の電子装置を保持する内部を有する。これらの装置は、図１１でより詳しく説明している。通信インターフェイスは、プロセッサがイヤーバッド１００２内のプロセッサと通信し、それによって音響情報をイヤーバッド１００２に送信し、イヤーバッド１００２内の補助センサ１０１８からデータを受信するのを可能にする。さらに、通信インターフェイスは、ルータ、パーソナルコンピュータ、および他のモバイル装置のうちの１つまたは複数との無線通信を可能にする。エンクロージャ１００１は、脈拍および酸素濃度メータ１００８、気導マイクロホン１０１０、およびビデオカメラ１０１２を含むエンクロージャ内の電子装置の一部に対応する開口部分を含む。脈拍および酸素濃度メータ１００８は、ユーザが指をメータの上に置いたとき、ユーザの脈拍を測定するとともに、光源および光センサを使用してユーザの血液の酸素含有量も測定する。エンクロージャ１００１の片側の外部は、ディスプレイ１００４も含む。

イヤーバッド１００２は、ユーザの耳管に配置されるように設計されている耳部分１０１４およびスピーカ開口孔１０１６を含む。さらに、イヤーバッド１００２は、イヤーバッド１００２がユーザの耳管内にあるときにユーザの顎（あご）に支えられる補助センサ１０１８を含む。

図１１は、本発明のいくつかの実施形態によるモバイル装置１１００のブロック図である。モバイル装置１１００は、電源装置１１５２、マイクロプロセッサ１１０２、メモリ１１０４、入出力（Ｉ／Ｏ）インターフェイス１１０６、および遠隔地のコンピュータ（リモートコンピュータ）、通信ネットワーク、または他のモバイル装置と通信するための通信インターフェイス１１０８を含む。一実施形態では、上記の構成要素は、適切なバス１１１０を介して互いに通信するように結合されている。さらに、電力を必要とするすべての構成要素は、一般にバッテリである電源装置１１５２に接続される。図１１において、図を不必要に複雑にするのを避けるために、電源装置１１５２と残りの構成要素との間の接続は示していない。

メモリ１１０４は、モバイル装置１１００への全体の電源がシャットダウンされたときにメモリ１１０４に格納されている情報が失われないように、不揮発性電子メモリ、例えばバッテリバックアップモジュール（図示せず）を備えるランダムアクセスメモリ（ＲＡＭ）として実装される。あるいは、メモリ１１０４のすべてまたは一部は、揮発性または不揮発性の取り外し可能なメモリとすることができる。メモリ１１０４の一部分は、プログラムの実行用にアドレス指定可能なメモリとして割り当てられ、メモリ１１０４の別の部分は、ディスクドライブ上で記憶をシミュレートするなど、記憶用に使用されることが好ましい。

メモリ１１０４は、オペレーティングシステム１１１２、アプリケーションプログラム１１１４、およびオブジェクトストア１１１６を含む。動作中、オペレーティングシステム１１１２は、メモリ１１０４からプロセッサ１１０２によって実行されることが好ましい。オペレーティングシステム１１１２は、好ましい一実施形態では、マイクロソフトコーポレーションから市販されているＷＩＮＤＯＷＳ（登録商標）ＣＥブランドのオペレーティングシステムである。オペレーティングシステム１１１２は、好ましくは、モバイル装置用に設計され、公開されている１組のアプリケーションプログラミングインターフェイスおよびメソッドを介してアプリケーション１１１４によって使用することができるデータベース機能を実施する。オブジェクトストア１１１６内のオブジェクトは、公開されているアプリケーションプログラミングインターフェイスおよびメソッドに対する呼出しに少なくとも部分的に応答して、アプリケーション１１１４およびオペレーティングシステム１１１２によって維持される。

通信インターフェイス１１０８は、モバイル装置１１００が情報を送受信するのを可能にする多数の装置および技術を表す。一部の実施形態では、通信インターフェイス１１０８は、電話をかけ、受けるのを可能にするためにセル電話ネットワークと対話するセル電話ネットワークインターフェイスを含む。他のインターフェイスには、２、３例を挙げると、ＰＢｘ電話インターフェイス、８０２．１１およびそのバリエーションなどの無線プロトコルインターフェイス、衛星放送受信機および放送チューナなどがある。モバイル装置１１００は、データ交換を行うコンピュータに直接接続することもできる。このような場合、通信インターフェイス１１０８は、赤外線送受信装置でも、シリアルまたはパラレルの通信接続でもよく、これらはすべて、ストリーム情報を伝送することができる。

通信インターフェイス１１０８は、モバイル装置１１００が、他のモバイル装置への直接的な接続を含めて、外部サーバ１１５４および遠隔地の装置（リモート装置）１１５６と通信するのを可能にする。

本発明を実施するためにプロセッサ１１０２によって実行されるコンピュータ実行可能命令は、メモリ１１０４に格納したり、通信インターフェイス１１０８を介して受信したりすることができる。これらの命令は、それだけには限定されないが、コンピュータ記憶媒体および通信媒体を含み得るコンピュータ読み取り可能な媒体にある。

コンピュータ記憶媒体には、コンピュータ読取可能命令、データ構造、プログラムモジュール、他のデータなどの情報を格納するための任意の方法または技術で実施される揮発性および不揮発性の取外し可能および固定の媒体がある。コンピュータ記憶媒体には、それだけには限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報の格納に使用でき、アクセスできる他の任意の媒体などがある。

通信媒体は一般に、コンピュータ読取可能命令、データ構造、プログラムモジュール、または他のデータを搬送波やその他の搬送機構などの変調されたデータ信号に組み込む。これには任意の情報伝達媒体がある。「変調されたデータ信号」という用語は、信号内に情報を符号化するように１つまたは複数のその特性が設定または変更された信号を意味する。通信媒体には、それだけには限定されないが一例として、有線ネットワーク、直接配線された接続などの有線媒体、および音波、ＲＦ（無線周波数）、赤外線、その他の無線媒体などのワイヤレス媒体がある。また、上記のどんな組合せでもコンピュータ読み取り可能な媒体の範囲内に含まれるものとする。

入出力インターフェイス１１０６は、全地球測位衛星（ＧＰＳ）受信機１１４８、ビデオカメラ１１５０、スピーカ１１３０、指入力１１３２（１つまたは１組のボタン、タッチセンサ、トラックボール、マウスパッド、ローラ、またはユーザの指によって操作することができるこれらの構成要素の組合せなど）、ディスプレイ１１３４、気導マイクロホン１１３６、補助センサ１１３８、脈拍センサ１１４２、酸素濃度センサ１１４４および体温センサ１１４６を含む入力装置および出力装置の集まりとのインターフェイスを表す。一実施形態では、補助センサ１１３８は、骨伝導または喉伝導のマイクロホンである。上述した装置は、一例であり、モバイル装置１１００にすべてが所在している必要はない。さらに、本発明の範囲内で、他の入出力装置がモバイル装置１１００に取り付けられていたり、モバイル装置１１００に所在していたりしてもよい。

気導マイクロホンおよび補助センサを使用することによって、本発明の実施形態は、強調された音声信号を提供することができる。図１２は、強調された音声信号を提供する本発明の実施形態の音声処理システムの基本的なブロック図を示している。

図１２において、スピーカ１２００は、気導マイクロホン１２０４および補助センサ１２０６によって検出される音声信号１２０２を生成する。補助センサの例には、ユーザの顔の骨または頭蓋骨の上またはその付近（顎の骨など）、またはユーザの耳の中に配置され、ユーザによって発声された音声に対応する耳、頭蓋骨または顎の振動を感知する骨伝導センサがある。補助センサの別の例には、ユーザの口に向けられ、ユーザの口の動きを検出する赤外線センサがある。補助センサのさらに別の例には、ユーザによって発声された音声に対応するユーザの喉の振動を感知する喉センサがある。気導マイクロホン１２０４は、一般に音声音波（可聴周波の音波）を電気信号に変換するために使用されるマイクロホンの一種である。

また、気導マイクロホン１２０４は、１つまたは複数の雑音源１２１０によって生成された雑音１２０８も受ける。補助センサの種類および雑音のレベルによっては、雑音１２０８は、補助センサ１２０６によって検出することもできる。しかし、本発明のほとんどの実施形態では、補助センサ１２０６は通常、気導マイクロホン１２０４よりも周囲雑音に対して鈍感である。したがって、補助センサ１２０６によって生成された補助センサ信号１２１２は、一般に、気導マイクロホン１２０４によって生成された気導マイクロホン信号１２１４よりも少ない雑音を含む。

補助センサ信号１２１２および気導マイクロホン信号１２１４は、クリーン信号推定器１２１６に供給され、推定器１２１６は、補助センサ信号１２１２と気導マイクロホン信号１２１４とからクリーンな音声信号１２１８を推定する。クリーン信号推定値１２１８は、音声処理１２２０に供給される。クリーンな音声信号１２１８は、フィルタリングされた時間領域信号でも、特徴領域ベクトルでもよい。クリーン信号推定値１２１８が時間領域信号である場合、音声処理１２２０は、聞き手（リスナー）、セル電話送信器、音声符号化システム、音声認識システムの形をとることができる。クリーンな音声信号１２１８が特徴領域ベクトルである場合には、音声処理１２２０は、通常、音声認識システムである。

本発明は、気導マイクロホン信号１２１４および補助センサ信号１２１２を使用してクリーンな音声を推定するいくつかの方法およびシステムを用いる。あるシステムでは、ステレオトレーニング用データを使用して、補助センサ信号用の補正ベクトルをトレーニング（訓練）する。こうした補正ベクトルは、後でテスト用補助センサベクトルに加算されると、クリーンな信号ベクトルの推定値を提供する。このシステムの他の拡張の１つは、まず、時間によって変化するひずみを追跡し、次いでこの情報を補正ベクトルの計算およびクリーンな音声の推定に組み込むことである。

第２のシステムは、補正ベクトルによって生成されたクリーン信号推定値と、気導信号から気導テスト信号中の現在の雑音の推定値を減算することによって形成された推定値との間の補間を提供する。第３のシステムは、補助センサ信号を使用して音声信号のピッチを推定し、次いで推定されたピッチを使用して、クリーンな音声信号に対する推定値を特定する。第４のシステムは、補助センサ信号および気導信号を使用して、補助センサの１つまたは複数のチャネル応答を割出しする直接フィルタリングを使用する。次いでチャネル応答を使用して、クリーンな音声信号を推定する。

通信インターフェイス１１０８を使用すると、本発明のモバイル装置は、図１３のブロック図に示すように多数の異なるネットワークを介して多数の他の装置と通信することができる。図１３では、３つのモバイル装置１３００、１３０２、および１３０４を示している。これらのモバイル装置は、通信インターフェイス１１０８を介して互いに通信することができる。特定の一実施形態では、８０２．１１通信プロトコルを使用して、モバイル装置間の通信を行う。そのモバイル装置は、例えば、モバイル装置１３０４とは通信せずに、モバイル装置１３００と１３０２とだけが通信するなど、１対１ベースで互いに通信することができる。モバイル装置は、モバイル装置のうちの１つはその他のすべてのモバイル装置と通信するが、該その他のモバイル装置は互いに通信しない、１対多数の構成で通信することもできる。例えば、モバイル装置１３００はモバイル装置１３０２および１３０４と通信し、しかしモバイル装置１３０２はモバイル装置１３０４と通信しない。モバイル装置は、すべてのモバイル装置が互いに通信することができる多対多ベースで通信することもできる。

各モバイル装置は、セル電話ネットワーク１３０６、ＰＢｘ電話ネットワーク１３０８、およびローカルエリアネットワーク／ワイドエリアネットワーク（ＬＡＮ／ＷＡＮ）１３１０など、複数のネットワークのうちの１つまたは複数と通信することもできる。セル電話ネットワーク１３０６と通信するために、モバイル装置は、通信インターフェイス１１０８を介したセル電話塔（ｃｅｌｌ ｐｈｏｎｅ ｔｏｗｅｒ）への直接リンクを使用したり、８０２．１１などのローカルプロトコルを使用してセル電話と通信したりすることができる。次いでセル電話は、モバイル装置通信をセル電話ネットワーク１３０６のセル電話塔に中継する。

モバイル装置１３００、１３０２、および１３０４は、無線信号をＰＢｘ電話ネットワーク用のワイヤーライン信号に変換するＰＢｘハブを介してＰＢｘ電話ネットワーク１３０８と通信することができる。本発明では、こうしたハブに適した任意のプロトコルを使用することができる。モバイル装置は、ラップトップコンピュータ、パーソナルコンピュータ、ＬＡＮ／ＷＡＮの一部である無線ルータへの無線接続を通じてＬＡＮ／ＷＡＮ１３１０と通信することができる。

モバイル装置は、ネットワーク１３０６、１３０８、および１３１０を介して、装置１３１２および１３１４など他の装置と通信することができる。これらの他の装置は、モバイル装置にサービスを提供するラップトップコンピュータ、パーソナルコンピュータ、またはサーバを含み得る。こうしたサーバは、一部の実施形態では、音声信号および／またはある言語のテキストを別の言語のテキストまたは音声に翻訳する翻訳サーバからのテキストを識別する音声認識サーバを含む。サーバは、インスタントメッセージングを可能にし、ユーザが打ち合わせに参加可能であるかどうかなどのプレゼンス情報を追跡し、音声通信およびビデオ通信を含むライブ打ち合わせ中にドキュメント上でのリアルタイムの共同作業を可能にするように通信を調整するライブ通信サーバも含み得る。サーバは、対象の他のポイントに対するモバイル装置の位置を示す地図など、モバイル装置に関する位置情報を提供する位置ベースサーバも含み得る。

本発明のモバイル装置は、気導マイクロホンおよび補助センサを使用して音声信号を感知するため、いくつかのアプリケーションにおいて改善されたパフォーマンスを可能にする強調された音声信号を提供する。さらに、ＧＰＳ受信機、ビデオカメラ、ならびに脈拍センサ、酸素濃度センサ、および体温センサなどのヘルスセンサなどの他の装置とこれらのマイクロホンおよび補助センサとの組合せは、本発明のモバイル装置を複数のサーバとともに使用することを可能にし、複数の当事者間の通信を容易にする統合されたソリューションを提供する。

図１４は、モバイル装置を携帯している人を探し出し、打ち合わせ（会議）を行うことを要求するインスタントメッセージをモバイル装置に送って、ライブ通信サーバを使用して打ち合わせを開催する機能を提供する、サーバとモバイル装置との間の接続のブロック図を示している。

図１４では、モバイル装置１４００はＧＰＳ受信機を備えている。ＧＰＳ受信機からの情報を使用して、モバイル装置１４００は、自身の位置を、セル電話ネットワークやＬＡＮ／ＷＡＮなどのネットワーク接続１４０４を介して位置ベースサーバ１４０２に定期的に伝えている。これは、遠隔地のユーザが、その遠隔地のユーザのコンピューティング装置１４０６上の人物探索アプリケーション（ｌｏｃａｔｅ ｐｅｒｓｏｎ ａｐｐｌｉｃａｔｉｏｎ）１４０８を使用して、ネットワーク接続１４１０を介して位置ベースサーバ１４０２から、モバイル装置１４００についての位置情報を取得するのを可能にする。この位置情報は、住所、または地図上で位置を示すなど、モバイル装置の位置の図形表現を含み得る。

モバイル装置１４００は、ネットワーク通信１４０４を介して、ライブ（生）通信サーバ１４１２と通信することもできる。ネットワーク通信１４０４は、位置ベースサーバ１４０２への接続に使用される同じネットワーク接続でも、異なるネットワーク接続でもよい。この接続を通じて、ユーザが所持しているモバイル装置１４００は、自身が空きでオンラインであるかどうか、またオフィスにあるか、オッフィスの外にあるかを示すことができる。これは一般に、「プレゼンス（所在）」情報として知られている。

さらに、モバイル装置１４００は、ライブ通信サーバ１４１２を介してインスタントメッセージを送受信することができる。こうしたメッセージは、インスタントメッセージアプリケーション１４１４を使用してメッセージを送受信する遠隔地のユーザ装置１４０６との間でやりとりされる。これは、例えば、モバイル装置１４００のユーザがライブ（生）打ち合わせに参加することを遠隔地のユーザが要求することを可能にする。

遠隔地のユーザは、ライブ打ち合わせアプリケーション１４１８を使用してライブ打ち合わせを確立することができる。ライブ打ち合わせアプリケーション１４１８は、ライブ通信サーバ１４１２によって提供されるサービスを使用して、複数のクライアントが音声信号およびビデオ信号と通信し、モバイル装置１４００上で行われたドキュメントへの変更が遠隔地のユーザのコンピューティング装置１４０６のディスプレイにリアルタイムで表示されるように、共有ドキュメントを操作するのを可能にする。

モバイル装置１４００は、無線通信を使用して、ラップトップコンピュータ１４２０と通信することができる。モバイル装置１４００は、気導マイクロホン信号と補助センサ信号の両方を有することによって得られる強調された音声信号を使用して、ラップトップ１４２０へコマンドを表す音声信号を送信することができる。ラップトップ１４２０のコマンド／制御アプリケーション１４２２は、ネットワーク接続１４２６を介して音声信号を音声認識サーバ１４２４に転送する。音声認識サーバ１４２４は、音声信号をテキスト（文章）に変換し、テキストをコマンド／制御アプリケーション１４２２に戻す。認識されたコマンドに基づいて、コマンド／制御アプリケーション１４２２は、１つまたは複数のアプリケーション１４２８を開始し、その動作を制御する。

コマンド／制御ユニット１４２２を介して開始されるアプリケーションのうちの１つは、モバイル装置のユーザが遠隔地のユーザ１４０６によって引き起こされたライブ打ち合わせに参加するのを可能にするライブ打ち合わせアプリケーションを含み得る。ラップトップ１４２０は、ネットワーク接続１４３０を介してライブ通信サーバ１４１２と通信することができる。ユーザは、ラップトップ１４２０上で直接、またはモバイル装置１４００を介してラップトップ１４２０に音声コマンドを発行することによって、ライブ打ち合わせと対話することができる。さらに、ラップトップ１４２０は、モバイル装置１４００によって発声された音声信号を、ライブ通信サーバ１４１２を介して遠隔地のユーザ装置１４０６に中継し、それによってライブ打ち合わせの音声部分を提供することができる。モバイル装置のユーザは、ライブ打ち合わせアプリケーションを使用して、音声、ビデオ、およびドキュメントを遠隔地のユーザと共有することができる。これは、モバイル装置のユーザおよび遠隔地のユーザがリアルタイムで同じドキュメントを操作する機能を含む。

したがって、図１４のブロック図を使用して、遠隔地のユーザは、モバイル装置１４００を着用している人が、まだ飛行機に搭乗にしておらず、依然として空港にいることを割出しすることができる。次いで遠隔地のユーザは、インスタントメッセージをモバイル装置１４００の携帯者に送信して、モバイル装置の携帯者にライブ打ち合わせに参加するよう要求することができる。モバイル装置の携帯者は、打ち合わせに参加できるときには、自身のラップトップ（ノート型パソコン）１４２０をオンにし、モバイル装置１４００を介してコマンドを発行し、遠隔地のユーザ１４０６によって立ち上げられたライブ打ち合わせに参加することができる。打ち合わせ中、ユーザは、モバイル装置１４００を介して話をして、ライブ打ち合わせに音声入力を提供することができる。音声がモバイル装置１４００で強調されるため、ラップトップ１４２０に供給されたコマンドは、より効率よく確実に動作し、モバイル装置１４００によって送出された音声は、ライブ打ち合わせ中、より明瞭となる。

図１５は、本発明のモバイル装置を配車係（ディスパッチャ）が使用して、仕事を１人または複数の作業員に割り当て、作業員と対話して、仕事を実行するのに必要な情報を作業員に提供する代替実施形態を示している。特に、配車係は、図１５のモバイル装置１５００を着用している。配車係は、ＰＢｘ（構内交換機）基地局１５０２を介してモバイル装置１５００と通信するＰＢｘ電話ネットワーク１５０４を介して顧客から通話を受信する。特に、ＰＢｘ基地局１５０２は、無線通信をモバイル装置１５００に提供し、無線接続に従った通信を、ＰＢｘ電話ネットワーク１５０４で伝えることができるアナログ信号に変換する。

仕事の要求を受信した後、配車係は、複数の外勤のうちの誰が空いており、現場に最も近いかを割出し（判断）する。どの作業員が空いているかを割出しするために、配車係は、モバイル装置１５００に向かって声を出して、コマンド／制御ユニット１５０６に提供される音声コマンドを生成する。コマンド制御ユニット１５０６は、モバイル装置１５００内に所在していても、ラップトップまたはパーソナルコンピュータなどの別個の装置にあってもよい。コマンド／制御ユニット１５０６は、音声信号を１つまたは複数のコマンドに変換する。一実施形態で、コマンド／制御ユニット１５０６は、ネットワーク１５１０を介して音声信号を音声認識サーバ１５０８に渡すことによってこの変換を実行する。音声認識サーバ１５０８は、音声信号をコマンドを表すテキストに変換し、そのテキストをコマンド／制御ユニット１５０６に戻す。

作業員が空いているかどうかを割出しするために、コマンド制御ユニット１５０６に提供されたコマンドは、プレゼンスアプリケーション１５１２を使用して各作業員の「プレゼンス（所在）」状況をチェックする旨のコマンドとする。プレゼンスアプリケーションは、ネットワーク接続１５１６を介してライブ通信サーバ１５１４と通信する。ライブ通信サーバは、各作業員のプレゼンス状況を格納し、更新する。特に、各作業員は、ネットワーク接続１５２４を介してライブ通信サーバ１５１４に接続されるモバイル装置１５１８、１５２０、１５２２などのモバイル装置を持っている。図１５には単一のネットワーク接続１５２４しか示していないが、各モバイル装置は、異なるネットワーク接続、さらには異なるタイプのネットワーク接続を通じて接続することができることに留意されたい。モバイル装置１５１８、１５２０、および１５２２は、ネットワーク接続１５２４を介して、モバイル装置と一体の作業員のそれぞれの所在状態を更新することができる。

空いている作業員については、配車係は、モバイル装置１５００を使用して、音声コマンドをコマンド／制御１５０６に発行して人物探索アプリケーション１５３０を開くことによって各作業員の現在の位置を見つける。人物探索アプリケーション１５３０は、ネットワーク接続１５３２を介して位置ベースサーバ１５３４と通信する。位置ベースサーバ１５３４は、ネットワーク１５３６を介して位置情報を受信することによって、モバイル装置１５１８、１５２０、１５２２の位置を追跡する。ネットワーク１５３６は、セル電話ネットワークのどの塔によってモバイル装置が通信しているかによってモバイル装置の位置が割出しされるセル電話ネットワークを含むことができる。別の実施形態では、各モバイル装置１５１８、１５２０、および１５２２はＧＰＳ受信機を含むことができ、ＧＰＳ受信機によって割出しされた位置情報は、ネットワーク１５３６を介して位置ベースサーバ１５３４に伝えることができる。

人物探索アプリケーション１５３０による要求に応答して、位置ベースサーバ１５３４は、モバイル装置ごとに位置情報を提供することができる。この位置情報は、住所の形式、または各モバイル装置の位置が地図上に示される図形表示の形式とすることができる。

各作業員の位置に基づいて、配車係は、仕事を割り当てる作業員のうちの１人を選択する。一実施形態では、配車係は、コマンド／制御１５０６を介して音声コマンドを発行して、インスタントメッセージアプリケーション１５３８を開始し、ネットワーク１５１６、ライブ通信サーバ１５１４、ネットワーク１５２４を介してモバイル装置１５１８、１５２０、１５２２のうちの１つに届くように送られるインスタントメッセージを作成することによって、インスタントメッセージをその作業員に送信する。別の実施形態では、配車係は、モバイル装置１５００およびコマンド／制御１５０６を介してコマンドを発行して、連絡先データベース１５４２にアクセスして、作業員と一体のモバイル装置の電話番号を探し出すアシスタント（補助）アプリケーション１５４０を開始する。モバイル装置１５００は、この電話番号を使用して、セル電話ネットワーク１５４４を介して作業員のモバイル装置に接続する。配車係は、このセル電話接続を使用して、現場に向かうように作業員に指示する。

作業員が現場への道順を必要とする場合、配車係は、モバイル装置１５００を介して音声コマンドを発行して、道順アプリケーション１５４６のインスタンスを作成する。道順アプリケーションは、位置ベースサーバ１５３４を使用して、モバイル装置１５１８、１５２０、および１５２２を通じて作業員のうちの１人に道順を提供する。特に、位置ベースサーバ１５３４は、モバイル装置の位置、および配車係によってモバイル装置１５００を介して提供された作業場所を使用して、作業員の現在位置から作業現場の位置に至るまでの地図および運転道順を生成する。

作業員は、その位置に到着すると、モバイル装置１５１８、１５２０、および１５２２などそのモバイル装置を使用して、配車係とのライブ打ち合わせを立ち上げて、仕事の明細を受信することができる。これは、配車係にモバイル装置１５００を使用させてライブ打ち合わせアプリケーションを呼び出すことによって達成することができる。ライブ打ち合わせアプリケーションは、リアルタイムの共同作業およびプロジェクトの注文書や計画書などのドキュメントの共有を可能にするために、ライブ通信サーバ１５１４と通信する。

本発明の他の実施形態では、モバイル装置は、通信の様々なモード間の切り替えを行うことができる。例えば、図１６では、モバイル装置１６００は、１対多数ベースで最初に情報を直接他のモバイル装置１６０２および１６０４に一斉送信することができる。例えば、モバイル装置１６００は、音声、ビデオ、ＧＰＳ位置情報などの情報、ならびに脈拍、酸素濃度、および体温などの健康情報をモバイル装置１６０２および１６０４に提供することができる。この通信モード中、モバイル装置１６０４は、モバイル装置１６００からの位置情報を使用して、モバイル装置１６００の携帯者の位置の図形表現を取得することができる。特定の一実施形態で、モバイル装置１６０４は、ネットワーク１６１０への無線接続を通じてモバイル装置１６００から位置ベースサーバ１６０８に位置情報を提供することができる。次いで位置ベースサーバ１６０８は、位置情報を使用して、モバイル装置１６０４に戻される地図を生成する。こうした実施形態では、ネットワーク１６１０への無線接続は、ルータ、パーソナルコンピュータ、ラップトップコンピュータを介して行うことができる。

モバイル装置１６００は、上記のピアツーピア（ｐｅｅｒ―ｔｏ―ｐｅｅｒ）通信からネットワーク接続１６１２を介した１つまたは複数のサーバとの通信に切り替えることができる。例えば、モバイル装置１６００の携帯者が運動中に被害者に遭遇した場合、その携帯者は、モバイル装置１６００をモバイル装置との１対多数通信からネットワーク１６１２を介した通信に切り替えることができる。モバイル装置１６００の携帯者は、ネットワーク接続を使用して、ネットワーク１６１２に接続されているＷｅｂサーバ１６１４に格納されているＷｅｂページにアクセスして、救助隊（レスキュー隊）１６１６を探し出して通信することができる。

救助隊１６１６は、連絡を受けると、被害者の救助に役立たせるために、救助アプリケーション１６２０を開始して、モバイル装置１６００から情報を収集することができる。この情報は、ネットワーク１６１２を介してモバイル装置１６００から位置ベースサーバ１６１８に提供されたＧＰＳ位置情報を含み得る。救助アプリケーション１６２０は、位置ベースサーバ１６１８に、モバイル装置１６００の位置の図形表現を取得する旨の要求を送信することができ、それによって救助隊１６１６がモバイル装置の携帯者を探し出すことが容易になる。また、救助アプリケーション１６２０は、ライブ通信サーバ１６２２を使用して、救助隊の現在の位置、予想到着時刻、および被害者の手当の指示などの情報をモバイル装置１６００の携帯者と共有することもできる。これらの指示は、被害者の手当の方法を示すビデオ、およびモバイル装置１６００によってキャプチャー（捕捉）された被害者のビデオを含むことができる。

被害者もモバイル装置１６２４などのモバイル装置を着用している場合、モバイル装置が被害者についての健康情報を提供することができるように、そのモバイル装置をライブ通信サーバ１６２２を通じての打ち合わせに含めることができる。

重傷と思われる場合、救助隊は、遠隔地の（リモート）救急アプリケーション１６２８を使用して、病院１６２６の医療チームにライブ打ち合わせに参加するように要求することができる。この遠隔地の救急アプリケーションは、モバイル装置１６２４によって提供された健康状況情報を収集し、医療チームが音声による指示および視覚的な指示を救助隊１６１６に与えるのを可能にすることができる。また、遠隔地の救急アプリケーション１６２８は、医療チームが、診断用機器や手術室などの、患者を看護するのに必要な病院内のリソース（資源）のスケジュール設定を開始するのを可能にすることもできる。

本発明のモバイル装置をゲームのコンテキストに使用して、ユーザがチームのメンバおよびゲームの相手と通信することを可能にすることもできる。図１７に示すように、それぞれのモバイル装置１７０４および１７０６を着用しているプレイヤ１７００および１７０２などのプレイヤは、ゲーム基地局１７０８と対話する。

一実施形態で、遠隔地の（リモート）プレイヤ１７１０は、ネットワーク１７１６を介したモバイル装置１７０４とライブ通信サーバ１７１４との間の接続を通じてプレイヤ１７００の所在または利用できるかどうか（ａｖａｉｌａｂｉｌｉｔｙ）を割出しするために、ネットワーク接続１７１３を介してライブ通信サーバ１７１４に接続するプレイヤリストアプリケーション１７１２にアクセスすることによってそのプレイヤ１７００が空いているかどうかを割出しする。ライブ通信サーバ１７１４がそのプレイヤ１７００は空いていることを示す場合、プレイヤ１７１０は、ライブ通信サーバ１７１４を介してインスタントメッセージをモバイル装置１７０４に送信して、そのプレイヤがゲームに参加することを要求することができる。一実施形態では、このゲームは、ネットワーク１７２０を介してゲーム基地局１７０８に接続され、またネットワーク１７２２を介してプレイヤ１７１０に接続されるゲームサーバ１７１８によって制御される。

ゲーム中、プレイヤ１７００および１７０２からの音声およびビデオは、それぞれモバイル装置１７０４および１７０６によってキャプチャーされ、無線接続を通じてゲーム基地局／ＰＣ１７０８に提供される。この音声および／またはビデオは、ネットワーク接続１７２０を通じてゲームサーバ１７１８に提供され、ゲームサーバ１７１８によってプレイヤ１７１０に転送される。

一実施形態では、ネットワーク１７２０を介して分配される音声情報の帯域幅を低減するために、モバイル装置１７０４および１７０６は、モバイル装置と一体のプレイヤが話をしている間に生じていないすべての音を除去する。特に、モバイル装置の補助センサを使用することによって、モバイル装置は、プレイヤが実際に話をしているときを割出しすることができる。プレイヤが話をしていないとき、モバイル装置は、どんな音声データも送信しない。その結果、部屋にいる他のプレイヤからの音声信号、またはスピーカ１７２４を介してゲームステーションによって生成される音声信号は、モバイル装置１７０４および１７０６によって音声データとして出力されない。これによって、ゲーム基地局１７０８に送信される情報量が低減し、したがってネットワーク１７２０を介して渡される情報量が低減する。モバイル装置１７０４および１７０６によって出力される情報量を低減することによって、本発明は、不要な音声データをフィルタにかけ、一斉送信することをモバイル装置に求めないことによって、モバイル装置１７０４および１７０６の消費電力を低減する。消費電力を節約する別のより直接的な方法は、ユーザが話をしていないときに（マイクロホン内の）処理をオフにすることである。

また、本発明のモバイル装置は、後で調べることができるように、より良質の音声（特に音声信号）を記録し、格納することを可能にする。図１８は、音声データおよびビデオデータの格納および調査を可能にするシステムのブロック図を示している。

図１８では、モバイル装置１８００は、音声データおよびビデオデータを、音声／ビデオメモリ記憶装置１８０２にローカル(局所的)に格納する。パーソナルコンピュータ１８０４への無線接続を使用して、メモリ記憶装置１８０２に格納されている音声データおよびビデオデータをＰＣ１８０４にダウンロードして、ダウンロード済みデータ１８０６とすることができる。音声データおよびビデオデータが音声／ビデオ記憶装置１８０２に格納されているとき、モバイル装置１８００は、音声およびビデオがキャプチャーされた日時を示すタイムスタンプ、および音声データおよびビデオデータが収集されたときのモバイル装置１８００の位置を示す位置スタンプを含む。一実施形態では、タイムスタンプは、クロック１８０１から生成され、位置スタンプは、ＧＰＳ受信機１８０３によって生成される。タイムスタンプおよび位置スタンプは、それぞれの音声クリップおよびビデオクリップとともにダウンロードデータ１８０６にダウンロードされる。

時間ベースのオーガナイザ（ｔｉｍｅ−ｂａｓｅｄ ｏｒｇａｎｉｚｅｒ）１８０８は、タイムスタンプを使用して、時間に基づいてデータをまとめて時間別データ１８１０を編成する。位置ベースのオーガナイザ（ｌｏｃａｔｉｏｎ−ｂａｓｅｄ ｏｒｇａｎｉｚｅｒ）１８１２は、データに関連付けられた位置スタンプに基づいて音声データおよびビデオデータをまとめて位置別データ１８１４を編成する。次いでユーザは、パーソナルコンピュータ１８０４のディスプレイを使用して、時間別データ１８１０または位置別データ１８１４を調べる。

ダウンロード済みデータ１８０６内の音声データは、転写アプリケーション１８１６によって転写することもできる。音声データを転写するために、転写アプリケーション１８１６は、パーソナルコンピュータ１８０４にローカルに見つけることができる音声認識サーバ１８１８を使用しても、ネットワーク接続１８２０を介してパーソナルコンピュータ１８０４に接続してもよい。転写アプリケーション１８１６は、音声データをテキストに変換する音声認識サーバ１８１８に、音声信号を表す音声データを送信する。次いでそのテキストは転写アプリケーション１８１６に戻され、転写アプリケーション１８１６は、このテキストを使用して写し（ｔｒａｎｓｃｒｉｐｔｓ）１８２２を生成する。モバイル装置１８００は補助センサおよび気導マイクロホンを使用して音声データを収集するため、音声認識サーバ１８１８によって実行される認識がかなり改善され、写し１８２２は、モバイル装置１８００によって収集された実際の音声をよりよく反映する。

写し１８２２が形成されると、ユーザは、特定の会話を探し出すためのキーワードについて写し１８２２を検索することができる音声アプリケーション１８２４を呼び出すことができる。

本発明のモバイル装置を使用して、モバイル装置を身に付けている子供および老人を探し出し、子供および老人と通信することもできる。例えば、図１９では、モバイル装置１９００は、子供または老人の身に付けられている。そのモバイル装置は、ネットワーク１９０２を介して位置ベースサーバ１９０４にＧＰＳ位置情報を提供する。別のユーザは、パーソナルコンピュータ１９０６を使用して位置ベースサーバ１９０４に連絡して、モバイル装置１９００の携帯者（着用者）の位置情報を取得することができる。この位置情報は、住所、または地図内で携帯者の位置を示す地図の図形表現の形で提供されることができる。他のユーザは、モバイル装置１９００と通信する電話ネットワーク１９１０を介して、電話１９０８を使用してモバイル装置の携帯者に連絡することもできる。こうした電話ネットワークの一例には、セル電話ネットワークがある。補助センサおよび気導マイクロホンセンサを使用することによって、モバイル装置１９００は、電話ネットワーク１９１０を介して通信するためのより良い音声信号を提供する。これは、モバイル装置１９００の携帯者が子供または老人であるときは特に重要である。というのは、子供および老人の音声信号の振幅はかなり低い傾向があり、したがって騒がしい環境では見分けにくいからである。

本発明のモバイル装置は、自動翻訳サービスを向上させるために使用することもできる。例えば、図２０で、モバイル装置２０００は、モバイル装置の携帯者２００２および外国語の話者２００４からの音声入力を受信する。モバイル装置は携帯者２００２によって着用されているため、モバイル装置２０００は、携帯者２００２によって発声された音声と、外国語の話者２００４によって発声された音声とを区別することができる。したがって、外国語の話者２００４によって発声された音声を、自動的にモバイル装置２０００によって、ネットワーク接続２００８を通じて翻訳サーバ２００６に送ることができる。次いで翻訳サーバ２００６は、外国語の話者２００４によって発声された音声の翻訳された音声、または翻訳されたテキストを戻すことができる。したがって、モバイル装置２０００上のディスプレイまたはモバイル装置２０００上のスピーカを使用して、携帯者２００２は、外国語の話者２００４の音声の内容を理解することができる。モバイル装置２０００は２つの音声信号を自動的に分けることができるため、翻訳はより容易に得られる。

また、モバイル装置２０００は、外人の音声、翻訳された音声または翻訳されたテキスト、およびモバイル装置２０００によってキャプチャーされた外国語の話者のビデオを遠隔地のユーザ２０１０と共有することもできる。一実施形態では、この情報は、ネットワーク接続２０１４を介して遠隔地のユーザ２０１０に接続され、またネットワーク接続２００８を介してモバイル装置２０００に接続されるライブ通信サーバ２０１２を介して共有される。ライブ通信サーバ２０１２を介した接続を使用して、遠隔地のユーザ２０１０は、外国語の話者２００４と話をすることができ、またモバイル装置２０００上のディスプレイを介してビデオデータ（画像情報）を外国語の話者２００４に提供することができる。遠隔地のユーザ２０１０によって提供された音声を、モバイル装置２０００によって翻訳サーバ２００６に送って、外国語の話者の言語に翻訳することができる。この翻訳に基づく音声信号は、次いでモバイル装置２０００のスピーカを介して外国語の話者に提供される。

図２１は、自動翻訳サービスを向上させる本発明の代替実施形態を示している。図２１では、モバイル装置２１００は、モバイル装置２１０２の携帯者および外国語の話者２１０４から音声入力を受け取る。モバイル装置は携帯者２１０２によって着用されているため、モバイル装置２１００は、携帯者２１０２により発声された音声と、外国語の話者２１０４により発声された音声とを区別することができる。したがって外国語の話者２１０４によって発声された音声は、そのモバイル装置２１００と別のモバイル装置２１０５との間の通信において識別可能であり得る。モバイル装置２１０５は、識別された音声データをモバイル装置２１００によって外国語の話者から入ってくるものとみなし、それをネットワーク通信２１０８を介して翻訳サーバ２１０６に提供することができる。次いで翻訳サーバ２１０６は、外国語の話者２１０４によって発声された音声の翻訳された音声、または翻訳されたテキストを戻すことができる。したがって、モバイル装置２１００上のディスプレイまたはモバイル装置２１００上のスピーカを使用して、携帯者２１０２は、外国語の話者２１０４の音声の内容を理解することができる。モバイル装置２１００は２つの音声信号を自動的に分けることができるため、翻訳はより容易に得られる。

また、モバイル装置２１０５は、外人の音声、翻訳された音声または翻訳されたテキスト、およびモバイル装置２１００によってキャプチャーされた外国語の話者のビデオ（画像）を複数の遠隔地のユーザ２１１０、２１２０、２１３０と共有することもできる。一実施形態では、この情報は、ネットワーク接続２１１４を介して遠隔地のユーザ２１１０、２１２０、２１３０に接続され、またネットワーク接続２１０８を介してモバイル装置２１０５に接続されるライブ通信サーバ２１１２を介して共有される。遠隔地のユーザ２１１０、２１２０、および２１３０は、ライブ通信サーバ２１１２を介した接続を使用して、外国語の話者２１０４と話をすることができ、またモバイル装置２１００上のディスプレイを介してビデオデータを外国語の話者２１０４に提供することができる。遠隔地のユーザ２１１０、２１２０、２１３０によって提供された音声を、モバイル装置２１０５によって翻訳サーバ２１０６に送って、外国語の話者の言語に翻訳することができる。この翻訳に基づく音声信号は、次いでモバイル装置２１００のスピーカを介して外国語の話者に提供される。

本発明のモバイル装置は、ピアツーピアモードで、プリンタ、機器、メディアレコーダ、メディアプレイヤ、および自動車など、他の装置と通信することもできる。図２２は、装置２２０２、２２０４、２２０６など、他の装置と通信するモバイル装置２２００を示す図である。

特定の一実施形態では、８０２．１１通信プロトコルを使用して、モバイル装置と他の装置との間の通信を行う。モバイル装置は、例えば、装置２２０４および２２０６とは通信せずに、モバイル装置２２００と装置２２０２とだけが通信するなど、１対１ベースで他の装置と通信することができる。このモバイル装置は、モバイル装置またはその他の装置のうちの１つがモバイル装置およびその他のすべての装置と通信し、その他の装置は互いに通信しない１対多数の構成で通信することもできる。例えば、モバイル装置２２００は装置２２０２および２２０４と通信し、装置２２０２は装置２２０４と通信しない。装置は、すべての装置およびモバイル装置が互いに通信することができる多対多ベースで通信することもできる。

本発明は、特定の実施形態を参照して説明してきたが、本発明の趣旨および請求の範囲から逸脱することなく、それら形態および詳細に変更を加えることができることは、当業者であれば理解されよう。

本発明の一実施形態を示す透視図である。 図１の電話がユーザの頭部の左側にあるところを示す図である。 図１の電話がユーザの頭部の右側にあるところを示す図である。 骨伝導マイクロホンを示すブロック図である。 本発明の代替実施形態を示す透視図である。 本発明の一実施形態による代替の骨伝導マイクロホンを示す断面図である。 本発明のモバイル装置のネックレス型の具体例を示す正面図である。 図７のネックレス型の具体例を示す背面図である。 図７のネックレス型の具体例がユーザに着用されたところを示す図である。 本発明のモバイル装置のブレスレット／腕時計型の具体例を示す透視図である。 本発明の一実施形態によるモバイル装置を示すブロック図である。 本発明の一般の音声処理システムを示すブロック図である。 本発明のモバイル装置の考え得る通信接続を示すブロック図である。 打ち合わせを容易にするための本発明のモバイル装置との複数の通信接続を示すブロック図である。 作業命令の発送を容易にするための本発明のモバイル装置との複数の通信接続を示すブロック図である。 グループ通信を容易にし、救助に役立つ本発明のモバイル装置との複数の通信接続を示すブロック図である。 ゲームを容易にするための本発明のモバイル装置との複数の通信接続を示すブロック図である。 本発明のモバイル装置を使用してビデオおよび音声を格納し、整理し、調べる構成を示すブロック図である。 子供／老人を探し出し、子供／老人と通信することを容易にするための本発明のモバイル装置との複数の通信接続を示すブロック図である。 音声の翻訳を必要とする打ち合わせを容易にするための本発明のモバイル装置との複数の通信接続を示すブロック図である。 音声の翻訳を必要とする打ち合わせを容易にするための本発明のモバイル装置との複数の通信接続を示すブロック図である。 本発明のモバイル装置と他の装置との間の複数のピアツーピア通信接続を示すブロック図である。

符号の説明

１００，５００ 携帯電話
１０２，５０２ キーパッド
１０４，５０４，１００４，１１３４ ディスプレイ
１０６，５０６ カーソルコントロール
１０８，４０６，７１２，１０１０，１１３６，１２９４ 気導マイクロホン
１１０，５１０，１１３０，１２００，１７２４ スピーカ
１１２，１１４ 骨伝導マイクロホン
１１６ 近接センサ
２００ 左耳
２０２ 口
３００ 右耳
４００ 骨伝導センサ
４０２ エラストマのブリッジ
４０３ 振動板
４０８ 皮膚接触部分
４１０，６０４ トランデューサ
５１２ 骨伝導マイクロホンと近接センサの組み合わせ
６００ パッド
６０６ 導線
７００ モバイル装置
７０２ ネックレスまたはチョーカー
７０４，１００２ イヤーバッド
７０６ 円板
７０８ 首との接触部分
７０９ マイクロホン開口孔
７１０ バッテリ
７１４，１０１８，１１３８，１２０６ 補助センサ
７１６，１０１２ ビデオカメラ
７１８ 処理チップセット
７２０，１１４８，１８０３ ＧＰＳ受信機
７３０ 外側部分
７３２，１０１４ 耳管部分
７３４，１０１６ スピーカ開口孔
９００ 耳珠
９０２ 耳の裏
９０４ 首
１０００ ブレスレット
１００１ 封入物（エンクロージャ）
１００６ 手首はめ込み部分
１００８ 酸素濃度メータ
１１０２ プロセッサ
１１０４ メモリ
１１０８ 通信インターフェイス
１１１６ オブジェクトストア
１１３２ 指入力
１１４２ 脈拍センサ
１１４４ 酸素濃度センサ
１１４６ 体温センサ
１１５０ ビデオ
１１５２ 電力
１１５４ 外部サーバ
１１５６ 遠隔地の装置
１２０４ 気導マイクロホン
１２０６ 補助センサ
１２１０ 雑音
１２１６ クリーン信号推定器
１２２０ 音声処理
１３００，１３００，１３０２，１３０４，１４００，１５００，１５１８、１５２０、１５２２，１６００，１６０２，１６０４，１６２４，１７０４，１７０６，１８００，１９００，２０００，２１００，２１０５，２２００ モバイル装置
１３０６，１５４４ セル電話ネットワーク
１３０８，１５０４ ＰＢｘ電話ネットワーク
１３１２，１３１４ 他のユーザ／サーバ
１４０２，１６１８，１９０４ 位置ベースサーバ
１４０４，１４１０，１４１６，１４２６，１４３０，１５１０，１７１３，１７１６、１７２０，１７２４，１９０２ ネットワーク
１４０６，２０１０，２１１０，２１２０，２１３０ 遠隔地のユーザ装置
１４０８，１４０８，１５３０ 人物探索アプリケーション
１４１２，１５１４、１６２２、１７１４ ライブ通信サーバ
１４２０ ラップトップ
１４２２，１５０６ コマンド制御
１４２４，１５０８，１８１８ 音声認識サーバ
１５０２ ＰＢｘ基地局
１５１２ プレゼンス
１５４０ アシスタント
１５４２ 連絡先ＤＢ
１５４６ 道順
１５５０ ライブ打ち合わせ
１６１４ Ｗｅｂサーバ
１６１６ 救助隊
１６２０ 救助アプリケーション
１６２６ 病院
１６２８ 遠隔地の救急アプリケーション
１７００，１７０２，１７１０ プレイヤ
１７０８ ゲーム基地局／ＰＣ
１７１０ 遠隔地のプレイヤ
１７１２ プレイヤリストアプリケーション
１７１８ ゲームサーバ
１８０１ クロック
１８０２ 音声／ビデオ記憶装置
１８０６ ダウンロード済みデータ
１８０８ 時間ベースのオーガナイザ
１８１０ 時間別データ
１８１２ 位置ベースのオーガナイザ
１８１４ 位置別データ
１８１６ 転写アプリケーション
１８２２ 転写
１８２４ 音声アプリケーション
１９０８ 電話
１９１０ 電話ネットワーク
２００２，２１０２ 携帯者
２００４，２１０４ 外国語の話者
２００６，２１０６ 翻訳サーバ
２０１０，２１１０，２１２０，２１３０ 遠隔地のユーザ
２０１２，２１１２ ライブ通信
２２０２，２２０４，２２０６ 装置

Claims (34)

1. 音波を電子マイクロホン信号に変換する気導マイクロホンと、
   音声に関する情報を含む電子補助センサ信号を供給する補助センサと、
   当該モバイル装置が他のモバイル装置と直接通信するのを許容する通信インターフェイスと
   を具備することを特徴とするモバイル装置。
2. 前記通信インターフェイスは他のモバイル装置との複数のタイプの通信を許容することを特徴とする請求項１に記載のモバイル装置。
3. 前記複数のタイプの通信のうちの１つは、他の複数のモバイル装置が通信に応じられるときでさえ、他のモバイル装置の１つだけとする１対１通信を含むことを特徴とする請求項２に記載のモバイル装置。
4. 前記複数のタイプの通信のうちの１つは、他の複数のモバイル装置との１対多数通信を含むことを特徴とする請求項２に記載のモバイル装置。
5. 前記複数のタイプの通信のうちの１つは多対多通信を含むことを特徴とする請求項２に記載のモバイル装置。
6. 前記通信インターフェイスはネットワークへの通信をさらに許容することを特徴とする請求項１に記載のモバイル装置。
7. 前記通信インターフェイスはネットワーク上のサーバとの通信をさらに許容することを特徴とする請求項６に記載のモバイル装置。
8. 前記サーバとの前記通信は音声およびビデオを含むことを特徴とする請求項７に記載のモバイル装置。
9. 前記サーバとの通信は、他のコンピューティング装置と共有されるドキュメントの画像に対応するデータをさらに含むことを特徴とする請求項８に記載のモバイル装置。
10. 前記サーバとの通信は、前記ドキュメントを変更する指示をさらに含み、前記指示に基づいて、前記サーバは、前記ドキュメントを変更し、前記ドキュメントの変更に対応するデータを前記他のコンピューティング装置に提供することを特徴とする請求項９に記載のモバイル装置。
11. 前記モバイル装置は、該モバイル装置の位置を示す位置数値データ（ｐｏｓｉｔｉｏｎ ｖａｌｕｅ）を生成することができる全地球測位衛星受信機をさらに含むことを特徴とする請求項７に記載のモバイル装置。
12. サーバとの通信は、該サーバに前記位置数値データを提供するステップを含むことを特徴とする請求項１１に記載のモバイル装置。
13. 前記サーバは音声認識プログラムをホストし、該サーバと通信することは、該サーバに音声データを提供し、該サーバから認識されたテキストを受信することを含むことを特徴とする請求項７に記載のモバイル装置。
14. 前記サーバは翻訳プログラムをホストし、該サーバと通信することは、ある言語の内容を該サーバに提供し、該サーバから別の言語の翻訳を受信することを含むことを特徴とする請求項７に記載のモバイル装置。
15. 前記モバイル装置はセル電話（セル方式の携帯電話）を含むことを特徴とする請求項１に記載のモバイル装置。
16. 前記モバイル装置はＰＤＡを含むことを特徴とする請求項１に記載のモバイル装置。
17. 前記通信インターフェイスは別の装置への直接的な通信をさらに許容することを特徴とする請求項１に記載のモバイル装置。
18. 気導マイクロホン信号を受信するステップと、
    音声に関する情報を含む補助センサ信号を受信するステップと、
    前記気導マイクロホン信号および前記補助センサ信号に基づいて、強調したクリーン音声値を推定するステップと、
    前記強調したクリーン音声値を他のモバイル装置に直接提供するステップと
    を含むことを特徴とするモバイル装置における方法。
19. 前記強調したクリーン音声値を他のモバイル装置に直接提供するステップは、当該モバイル装置と前記他のモバイル装置との間の１対１通信中に前記強調したクリーン音声値を提供するステップを含むことを特徴とする請求項１８に記載の方法。
20. 前記強調したクリーン音声値を他のモバイル装置に直接提供するステップは、前記モバイル装置と複数の他のモバイル装置との間の１対多数通信中に前記強調したクリーン音声値を提供するステップを含むことを特徴とする請求項１８に記載の方法。
21. 前記強調したクリーン音声値を他のモバイル装置に直接提供するステップは、複数のモバイル装置間の多対多通信中に前記強調したクリーン音声値を提供するステップを含むことを特徴とする請求項１８に記載の方法。
22. 前記モバイル装置とコンピューティング装置のネットワークとの間の通信を行うステップをさらに含むことを特徴とする請求項１８に記載の方法。
23. 前記モバイル装置とコンピューティング装置の前記ネットワーク上のサーバとの間の通信を行うステップをさらに含むことを特徴とする請求項２２に記載の方法。
24. 前記モバイル装置と前記サーバとの間の通信を行うステップは、インスタントメッセージを通信するステップを含むことを特徴とする請求項２３に記載の方法。
25. 前記モバイル装置と前記サーバとの間の通信を行うステップは、前記サーバと通信する他のコンピューティング装置と共有される情報を通信するステップを含むことを特徴とする請求項２３に記載の方法。
26. 共有される前記情報は、前記モバイル装置および前記他のコンピューティング装置に表示されるオブジェクトへの変更を含むことを特徴とする請求項２５に記載の方法。
27. 共有される前記情報は音声情報をさらに含むことを特徴とする請求項２６に記載の方法。
28. 共有される前記情報はビデオ情報をさらに含むことを特徴とする請求項２７に記載の方法。
29. 前記モバイル装置の位置を割出しし、該モバイル装置の前記位置を該モバイル装置から前記サーバに伝えるステップをさらに含むことを特徴とする請求項２３に記載の方法。
30. 前記モバイル装置の前記位置を使用して地図を生成し、該地図を前記サーバから他のコンピューティング装置に伝えるステップをさらに含むことを特徴とする請求項２９に記載の方法。
31. 前記サーバにおいて翻訳サービスを使用して、前記モバイル装置から前記サーバに送信されたデータに基づいて、テキストをある言語から別の言語に翻訳するステップをさらに含むことを特徴とする請求項２３に記載の方法。
32. 前記テキストの前記翻訳を表す音声信号を表す値を前記サーバから前記モバイル装置に戻すステップをさらに含むことを特徴とする請求項３１に記載の方法。
33. 前記テキストの前記翻訳を表すテキストを前記サーバから前記モバイル装置に戻すステップをさらに含むことを特徴とする請求項３１に記載の方法。
34. 前記モバイル装置と他の装置との間の通信を行うステップをさらに含むことを特徴とする請求項１８に記載の方法。
    
    

Images