JP2008061241A

JP2008061241A - 周囲情報を連続的に記録する方法及び通信システム

Info

Publication number: JP2008061241A
Application number: JP2007216616A
Authority: JP
Inventors: Eric Lauper; エリック・ラウパー
Original assignee: Swisscom Mobile AG
Current assignee: Swisscom Mobile AG
Priority date: 2006-08-31
Filing date: 2007-08-23
Publication date: 2008-03-13
Also published as: EP1895745A1; CN101137155A; EP1895745B1; US8571529B2; US20080057911A1

Abstract

【課題】
方法は、モバイル装置（１１）によって周囲情報を連続的に記録するために開示されている。
【解決手段】
ユーザ（１）のモバイル装置（１１）が、周囲ノイズ又は周囲イメージデータのような周囲情報を連続的に記録する。そして少なくとも１つのファイル（７）が、記録から生成されてリモートサーバ（４）に送信される。このファイル又はこれらに由来するファイルが、データの内容及び／又はモバイル装置（１１）に関する外部イベント（ｅ₁，ｅ₂，ｅ₃）から生成されるメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）に応じて自動的に及び／又はユーザ（１）によって細分及び／又はインデックス付けされる。ユーザ（１）は、細分及び／又はインデックス付けされたファイル（７）を有利に検索する。その結果そのユーザ（１）は、記録された情報を容易に検索できる。
【選択図】図１

Description

本発明は、請求項１の上位概念に記載の光学エンコーダに関する。

本発明は、方法の独立請求項に記載のモバイル装置で周囲情報を連続的に記録する方法及び対応する通信システムに関する。
特開 2002-330223は、周囲雑音を連続的に記録してこれらの周囲雑音を遠隔サーバに送信することを開示する。特開 2003-249981は、周囲雑音を連続的に記録する特定な方法を開示する。周囲雑音が、緊急時に時間及び正確な位置と共に中央ユニットに対して再生され得る。

ドイツ連邦共和国特許出願公開第199 53 813号明細書は、公共の通信ネットワーク，音声認識用のアルゴリズム，データプロセッシングユニット，データを記録するデータベース，システムクロック及び端末から構成される装置を開示する。各人に回線リンクされた呼び出しプロトコルが確立されて記憶されるように、この装置は、音声認識アルゴリズムを通じて電話呼び出しを処理する。リモートディクテーションを配信することも可能です。会話内容上でのテーマ検索をユーザに許可するため、ノーマルテキスト処理システムのキーワード検索機能が言及されている。

米国特許出願公開第2005-0159959号明細書は、音声認識機能を有する中央ネットワークに基づく音声メモレコーダを開示する。この音声メモレコーダは、会話を記録し、音声メッセージを変換してテキストメッセージにする。ユーザは、このテキストメッセージを入手可能である。その結果ユーザは、会話のプロトコルを受け取る。アクティベーションが、特別なキー，メニュー又は音声コマンドを通じて発生する。

ヨーロッパ特許出願公開第 1 225 754号明細書は、音声メッセージ用の中央サーバを開示する。この中央サーバは、会話中のＧＳＭ又はインターネット端末からのストリングを開示し、自動音声認識並びに時間及びエモーションを含む追加のメタデータから構成される。しかしながら、これらのメッセージがオーディオファイルとして記憶されテキストとして記憶されない点が欠点である。

ドイツ連邦共和国特許出願公開第103 30 799号明細書は、ストリングメモ用の装置を開示する。この装置は、例えば台所の壁に掛けられている箱として又は移動電話として実現できる。この実施の形態は、離された内容をテキストに変換するための音声認識プログラムを含む。変換されたテキストは、表示されるか又は印刷されるか又はＳＭＳ又はＥメールとして転送される。しかしながら、データが中央で記憶されない点及び検索不可能である点が、開示されていないことが欠点である。

米国特許出願公開第6,029,063 号明細書は、通話中又は移動電話が待機モードにある場合の特にストリングボイスコンテンツ用のネットに基づく「音声スクラッチパッド」を開示する。米国特許出願公開第6,038,441 号明細書は、車内で使用するローカル記憶による音声メモの記録を開示する。外部からの伝言を記憶することも可能である。

国際特許出願公表第01/84815号明細書は、メモサーバに対する切り離し接続を有するネットに基づくメモディクテーション装置を開示する。米国特許第 6,671,353号明細書は、接続中に音声データを記録するための特別なキーを有する移動電話内のローカルディクテーション装置を開示する。
特開2002-330223 特開2003-249981 ドイツ連邦共和国特許出願公開第199 53 813号明細書米国特許出願公開第2005-0159959号明細書ヨーロッパ特許出願公開第1 225 754 号明細書ドイツ連邦共和国特許出願公開第103 30 799号明細書米国特許出願公開第 6,029,063号明細書米国特許出願公開第 6,038,441号明細書国際公開第01/84815号明細書米国特許第 6,671,353号明細書

本発明の課題は、従来の技術で知られている上述した実施の形態より有利に識別し、モバイル装置の連続的に記録された周囲情報を後の時点でユーザにとってより良好に検索可能にする方法及び通信システムを提供することにある。

さらに本発明の課題は、モバイル装置の連続的に記録された周囲情報に対して適切に欲しい信号だけを使用することによって、モバイル装置に負担をかけない方法及び通信システムを提供することにある。

この課題は、本発明により、モバイル装置による連続的に記録された周囲情報に対する以下の方法ステップを有する方法によって解決される：
（ａ）ユーザのモバイル装置が、周囲情報を連続的に記録し、データをリモートサーバに送信し、
（ｂ）これらのデータが、データの内容及び／又はモバイル装置に関する外部イベントから生成されるメタデータに応じて自動的に及び／又はユーザによって分類及び／又はインデックス付けされ、
（ｃ）これらの分類及び／又はインデックス付けされたデータが検索される。

この課題は、本発明により、独立した装置の請求項に記載の特徴を有する通信システム及びモバイル装置によっても解決される。

メタデータが、本発明によるデータと共に記憶されるので、ユーザが、これらからデータ又はファイルを有利に引き出せ、非常に前に発生したイベントでも容易に発見できる。連続的な記録の場合に生成された非常に大きくかつ統一されていないファイルが、本発明によって複数の部分又はサブファイルに分割される。これらの部分又はサブファイルは、そのユーザにとって意味を持ち、情報をより容易に検索することをそのユーザに許可する。有利には、そのユーザは、後の段階でデータ又はファイルを編集して細分でき、そのユーザ自身でメタデータを追加できる。

別の好適な実施の形態では、（夜中又はたくさんの雑音が存在する時に）有効で欲しい信号が受信されない時に、モバイル装置が、スリープモードに切り替わり、記録を実行しないことが有効である。この方法では、モバイル装置の電力消費を低減することだけではなくて、リモートサーバに送信されてそこに記憶されるデータ量も劇的に低減することも可能である。しかしながら、意味を持つオーディオ信号又はビデオ信号が受信される場合、モバイル装置が、記録を自動的に開始する。

これらのイベントは、ユーザ側ではモバイル装置内に記録され得るか又はネットワーク側では移動無線ネットワーク若しくはリモートサーバ内に記憶され得る。これらのイベントは、原理的には自動的に生成され得、予めプログラミングされ得及び／又はユーザによって個々にプリセットされ得る。外部イベントが、モバイル装置の位置又は移動を含み得る。会話の日付，日中の時間，開始時間又は期間が、このようなイベントになり得る。モバイル装置に接続されているセンサからのデータ，記録された会話又はユーザの特別な対話者のようなモバイル装置内のイベントも適する。ユーザの気分又は精神の状態も、メタデータとして使用され得る。多くの人の音声が認識される時に、システムが、その他の人からこれらの人を識別することができ、対応するインディケーションをメタデータとして記憶できる。ユーザは、人に名前を付けることもできる。そしてこのシステムは、問題になっている加入者がどのように呼び出されるのかを学習できる。

周囲情報は、好ましくは雑音データ又はイメージデータを含み得る。

さらなる有効な実施の形態は、従属請求項中に記載されている。

モバイル装置１１を通じて周囲情報を連続的に記録する方法が、本発明にしたがって開示されている。ユーザ１のモバイル装置１１の記録部が、連続的にスイッチをオンにし、組み込まれたマイクロフォンを通じてユーザの雑音，会話，電話の会話，会議等のような全ての周囲情報を記録する。別の実施の形態では、このような装置を会議室内に固定設置することも可能である。周囲情報は、雑音データの他に好ましくはモバイル装置１１又は接続されたカメラを通じて記録されるイメージデータを含んでもよい。
図１中に示された実施の形態では、通信ネットワーク３、例えば移動無線ネットワークに接続されているユーザ１は、移動電話，ＰＤＡ又は別のポータブルモバイル装置１１を備える。ＩＤモジュール１２が、通信ネットワーク３内のモバイル装置１１を身元確認するために提供される。示された例では、ＩＤモジュール１２は、移動無線ネットワーク内で身元確認するためのＳＩＭカードである。いろいろなモバイル無線ネットワークが、従来の技術、例えばＧＳＭ，ＧＰＲＳ，ＨＳＣＳＤ，ＥＤＧＥ，ＵＭＴＳ，ＣＤＭＡネットワーク，Ｗ−ＬＡＮ又はＩＰネットワークから知られている。データが、これらのネットワークを通じても送信され得る。同等な移動無線ネットワークも、本発明の範囲内で使用され得る。

リモートサーバ４が、ネットワーク側にある。このリモートサーバ４は、例えば移動無線ネットワーク３のオペレータによって又は別のサービスプロバイダによって操作される。このリモートサーバ４は、異なるユーザ１によって割り当てられ、これらのユーザ１によって使用されるメモリ領域４２を有する。身元確認に成功した各ユーザは、メモリ領域４２のそこに記憶されたそのユーザ自身の一部及びそのユーザのテキスト及びデータにアクセスできるか又はこのメモリ領域４２にそのユーザのテキスト及びデータを記憶できる。リモートサーバ４は、移動無線ネットワーク３にも接続されるか又はインターネット５を通じて移動無線ネットワーク３にも接続される。

ユーザのメモリ領域４２及びそのユーザのデータにアクセスするため又はテキストを記憶するため又は記憶されたデータ及びテキストを検索するため、しかしながらユーザ１は、第１ステップでリモートサーバ４によって身元確認される必要がある。リモートサーバ４によるこの身元確認は、モバイル装置１１のＩＤモジュール１２，コーラーＩＤ(Caller-Line-dentification CLI) ，バイオメトリックパラメータ（指紋，網膜スキャン等）及び／又はパスワードを通じて実行できる。ユーザがシステムと通信する時に、ユーザ１の音声がバイオメトリックパラメータとして使用され得ることも知られている。この方法では、例えば家族内で又は数人の人が会話する場合に、装置又はＩＤモジュールの幾人かのユーザ間で識別することが可能である。ユーザにリモートサーバ４及びそのユーザの個人のメモリ領域４２に対するさらなるアクセスを提供することが考えられるので、ユーザ１のＩＤは、使用される装置に依存する。図１中では、リモートサーバ４は、さらにインターネット５及びインターネット端末６に接続される。したがってリモートサーバ４によるユーザの身元確認が、装置１１，６に依存し、一実施の形態ではユーザ１によって個人設定で選択されて設定される。

本発明の方法の第１ステップでは、全ての周囲雑音が、モバイル装置１１によって連続的に記録され、記録された全データを有するファイル７が確立される。全ての周囲雑音をモバイル装置１１によって記録し、デジタル化し、そして圧縮し、ネットワーク３を通じてリモートサーバ４に連続的にストリームし、ファイル７をこのリモートサーバ４に確立することも考えられる。モバイル装置１１とリモートサーバ４との間のデータ転送は、好ましくは常時作動するＩＰ接続を通じて、例えばＷ−ＬＡＮ，ＧＰＲＳ又はＵＭＴＳネットワークで実行される。しかしながら、例えばｅメール，ＩＰパケット，ＭＭＳ等としての個々のファイルのデータ転送及び／又はスイッチ・ネットワークを通じたデータ転送も可能である。

例えば、モバイル装置がネットワーク３に接続されていないか又はリモートサーバとの常時の接続を回避するため、リモートサーバ４に転送する前のモバイル装置１１のメモリ内の受信した信号又はファイルの一部のローカル・バッファリングも可能である。モバイル装置のバッファメモリとリモートサーバとの間のデータの周期的な同期、例えば時間による同期又は日による同期も考えられる。

リモートサーバに送信されるデータ量を低減するため、オーディオデータが、モバイル装置１１内で圧縮され得る。例えば、ＭＰ３フォーマットへのデータ変換が可能である。以下でさらに説明するオーディオデータのテキストへの変換が、モバイル装置内で実行され、ネットワーク３内で実行されない場合、オーディオデータの圧縮を実行しないことが可能である；この場合、変換されたテキストだけが圧縮される。

送信されるオーディオデータ，ビデオデータ及び／又はテキストデータの機密性を保証するため、これらのデータの暗号化が提供され得る。

送信されるオーディオデータ，ビデオデータ又はテキストデータの認証を保証するため、モバイル装置１１を通じて証明書によってこれらのデータに署名することも提供され得る。

連続的な記録と同時に、モバイル装置１１及び／又はユーザ１に関連する個々の外部イベントｅ₁，ｅ₂，ｅ₃が記録される。これらのイベントｅ₁，ｅ₂，ｅ₃は、ユーザ側ではモバイル装置１１内に記録されるか又はネットワーク側では例えば移動無線ネットワーク３若しくはリモートサーバ４内に記録され、場合によっては関連する記録データに連結される。これらのイベントｅ₁，ｅ₂，ｅ₃は、個々にユーザ１によって基本的に自動的に生成され、プリプログラムされ及び／又は予め決定される。ユーザが、リモートサーバ４内のそのユーザ１に割り当てられたメモリ領域４２にログインする時に、そのユーザ１は、例えばそのユーザの選択で重要と考えるイベントｅ₁，ｅ₂，ｅ₃を示すことができる。別の実施の形態では、ユーザ１が、モバイル装置１１内のイベントｅ₁，ｅ₂，ｅ₃を示す。モバイル装置１１が、連続的にスイッチオンされ、全ての周囲雑音を記録するので、ユーザ１は、キーを押すことによって及び／又は音声命令によってこのようなイベントを生成でき、場合によっては同時にこのイベントのディスクリプションを入力又は記録できる。

これらのイベントｅ₁，ｅ₂，ｅ₃は、モバイル装置１１の位置又は位置の移動若しくは変化を構成できる。位置は、モバイル装置１１内に設けられているＧＰＳを通じて又は移動無線ネットワーク３内の信号を通じて確定され得る。移動は、モバイル装置１１内の移動センサによって記録され得る。データ，日中の時間又は会話の期間も、このようなイベントｅ₁，ｅ₂，ｅ₃になり得る。モバイル装置１１に接続されているセンサ１４からのデータ（外部温度，気体濃度，圧力，花粉等）と同様に、モバイル装置１１内のイベント（受信又は送信するＳＭＳ，ＭＭＳ，通話リスト，モバイル装置のログ機能，ブルートゥースを通じて確立された接続，画像の記録等）も適する。イベントは、（会議，買い物時，幼稚園での等の）記録された会話又はユーザ１の特別な対話者でもよい。場合によってはストレス，嘘等のような感情的な特徴と組み合わさったユーザ１の気分又は気持ちの状態が、テキストに追加して結合され得る。数人の音声が認識される場合（例えば、通話中の参加者）、システムは、これらの人を識別でき、対応するインディケーション（「参加者Ａが話す」、「参加者Ｂが応える」等）を記憶できる。ユーザは、これらの人を名指しで呼べ、システムは、対応する参加者がどのように呼ばれるのかを学習できる。又は反対に、人がしばらく又は所定の期間黙っていることが可能である。このことは、イベントとして記録される。記録が幾つかのマイクロフォンを通じて実行される場合、部屋の特徴及び部屋内の特色が、イベントとして定義され得る。

他方では、ファイルの内容を細分又はインデックス付けしてもよい。この場合、例えば、フットボールについての会話を専門的な会議から区別するため、これに応じてデータを作成し細分するため、システムは、話された内容を自動的に分析し、これらの内容をテーマにしたがって分類する。自動車の警笛，警報ベル，飛行機の雑音，テレビのジングル，ラジオのジングル等のような予め定義された雑音又は付近のその他の装置（ＰＤＡ，ＰＣ，テレビ受像機，ラジオ，アラーム時計，移動電話の鳴る音）からの雑音も、イベントとして使用され得る。

イベントｅ₁，ｅ₂，ｅ₃及び／又はファイル７の内容（12月2 日の日曜日の朝の８時のシュトゥットガルト内での自動車についてのＸＹとの会話等）の組み合わせが、当然に本発明の範囲内にある。

本発明によれば、メタデータＭ₁，Ｍ₂，Ｍ₃が、外部イベントｅ₁，ｅ₂，ｅ₃から生成される。そしてこれらのメタデータＭ₁，Ｍ₂，Ｍ₃が、外部イベントｅ₁，ｅ₂，ｅ₃にしたがって生成されたファイル７に一時的に結合されるか、又は、このファイル７が、メタデータＭ₁，Ｍ₂，Ｍ₃を通じて細分される。これらのメタデータＭ₁，Ｍ₂，Ｍ₃は、ファイル７と共に記憶され、ユーザ１がファイル７をより良好に検索することを可能にするために役立つ。したがって、「私は２年前にＸＹ氏と話し、私に幾つかの重要な情報を提供したが、私は彼が何を言ったのか覚えていない」又は「私が再び聞きたいスペインでの面白い会話を私がした時は、夏の最も暑い日でした」のような質問が、容易に解答され得る。したがって本発明では、連続記憶中に生成された非常に大きくかつ統一されていないファイル７が、ユーザにとって意味のありかつ重要な情報をより一層容易に再び発見することをそのユーザに許可するクション又はサブファイルに細分される。

メタデータＭ₁，Ｍ₂，Ｍ₃に結合された生成ファイル７の構成が、図２中に示されている。記憶されたデータを検索可能にするため、記録された会話を分析し、これらの会話をテキストに変換する音声認識システム１３，４１が、モバイル装置１１内又はリモートサーバ４内又は移動無線ネットワーク３の別の部分内に提供される。この方式で生成されたテキストが、ユーザ１に割り当てられたリモートサーバ４の記憶領域４２内に記憶される。音声ファイルに対応するテキストファイルがメタデータＭ₁，Ｍ₂，Ｍ₃を有するか、又は、このファイルがメタデータＭ₁，Ｍ₂，Ｍ₃を通じて細分されることが分かる。この細分は、各ファイルが対応するメタデータに連結されることによって異なるファイル内でも実行され得る。その結果、これらのファイルが、イベントにしたがって検索可能である。

使用される音声認識システム１３，４１は、先に生成されて中央に記憶されたユーザに依存する言語モデルを使用できる。ユーザ１があらゆる状況で身元確認されるので、記憶されてユーザに依存する言語モデルを使用することが可能である。ユーザ１の新しい会話を通じて、そのユーザ１に対して新しい言語モデルを確立することが可能である。ユーザを身元確認して話し手に依存する言語モデルを使用することによって、音声認識の信頼性が有利に向上できる。言語のこの自動認識が、使用言語又は方言に依存しない音声認識システム１３，４１の使用を同時に可能にする。

別の実施の形態では、ユーザ１がサービスを使用できる前に、そのユーザ１は、ジャヴァアプレット又は別の小さいプログラムをモバイル装置１１上にインストールする必要がある。サービスの異なる機能にアクセスするため、このプログラムは、ユーザ１にメニュー又は音声メニューを提供する。このプログラムは、全ての周囲ノイズの連続記録も制御し、これらの周囲雑音をリモートサーバ４に自動的に転送する。このリモートサーバ４は、以下で説明するスリープモードど同様に、ユーザ１がキーを押すことによる及び／又は音声命令による既に説明した機能＜イベントの手動生成＞も有する。

さらに、その他の実施の形態では、リモートサーバ４のメモリ領域４２内に又はユーザのモバイル装置に対してユーザに入手可能なさらなるデータを送信して記憶することも考えられる。このようなデータは、例えば送信若しくは受信された全てのＳＭＳ，ＭＭＳ，ｅメール, モバイル装置１１のカメラで撮られた写真，モバイル装置１１内のユーザ１の電話番号のコピーを含み又はモバイル装置１１内のカレンダーの記入も含む。モバイル装置の活動に関する報告（呼び込みコール又は呼び出しコールについての表示，これらの接続のコスト，ブルートゥースを通じて確立された接続）又は近い範囲でのインターフェース（ブルートゥース，赤外線等）を通じたモバイル装置１１により受信されたデータも、リモートサーバ４内に容易に記憶され得る。パーソナルネットワークに基づく音声メッセージボックス（ボイスメール）４３内のユーザ１用に記憶されたメッセージが、リモートサーバ４内に記憶され得るか又はリモートサーバ４に対して複写され得る。図１中には、ネットワークに基づく音声メッセージボックス４３も、リモートサーバ４内に設けられている。しかしながらこの音声メッセージボックス４３は、絶対に必要ではなくて、移動無線ネットワーク３のその他のどんな部分にあってもよいし又はユーザの装置１１の中にあってもよい。

ユーザ１は、コンピュータ６及びインターネット５を通じてもリモートサーバ４に接続できるので、コンピュータ６内に生成又は記憶されたデータが、原理的に自動的に又はユーザの確認と共にメモリ領域４２内に複写され得る。したがってこれらのデータは、メールプログラムのデータ（ｅメール，住所録，日記機能等），生成されたテキストドキュメントユーザ１のＶｏＩＰサービスからのデータ及び／又はインターネットチャット中に生成されたデータでもよい。

さらにビデオが、モバイル装置１１によって又はモバイル装置１１に接続された装置によって連続的に記録され得、データも、リモートサーバ４に送信され、細分され及び／又はインデックス付けされ得る。外部装置は、ブルートゥース若しくはその他の手段（ケーブル及びＵＳＢ，赤外線，近距離通信ＮＦＣ等）を通じて接続されたカメラ，スキャナー又は網膜投影ディスプレイ（ＶＲＤ）でもよい。したがって、ユーザが聞いたものだけではなくて、ユーザが見たものも送信することが可能である。ビジュアルコンテンツも分析され得、イベントがこれらのコンテンツに基づく細分／インデックス付けのために生成され得る。

ユーザ１が、アイトラッキングシステムを有する場合、そのユーザ１の視線方向が記録され得、イメージデータ記録装置が、この視線方向に対応するイメージデータを記録でき、その結果データ量を著しく低減する。周囲雑音が、視線方向に対して同じ原理にしたがって、例えば指向性のマイクロフォンによって記録され得る。

全てのテキスト及びデータを記録するため、いろいろな可能性が、本発明の範囲内で利用できる。第１の実施の形態では、全てのドキュメントが、モバイル装置又はリモートサーバ内で検索可能な例えばテキスト，ＸＭＬ若しくは音声ＸＭＬを含むフォーマットに又はデータベースフォーマットとして変換されて記憶される。その結果、情報の検索が容易である。同時に、テキストに属する結合されたオーディオファイル*.wav,*.mp3 が、メモリ領域４２内に記憶される。したがってユーザ１は、必要ならばドキュメントを後の段階でもう一度聞くことができる。別の実施の形態では、認識されたテキストの正確さに関して音声認識中に疑いがある場合に、結合されたオーディオファイルが、メモリ領域内だけに記憶される。同時に、イベントｅ₁，ｅ₂，ｅ₃のメタデータＭ₁，Ｍ₂，Ｍ₃が、記憶されたドキュメントに結合されてこれらのドキュメントと共に記憶される。

マークされたインデックスをオーディオファイル中に付加することも可能である。

追加で取り込まれた個々のファイルが、ウォーターマークでマークされ得る。このウォーターマークは、ドキュメントの検索をより容易にするか又はドキュメントの出所又は認証を証明できる。記憶されたテキスト及びユーザのモバイル装置１１又はＰＣ６からのデータを編集し、そのユーザが望むようにこれらのテキスト及びデータを分類若しくは細分する可能性が、そのユーザに対してさらに与えられる。したがってユーザは、後の段階で検索性を向上する追加のメタデータＭ₁，Ｍ₂，Ｍ₃をファイル７中に挿入できる。

有用な欲しい信号が受信されない場合、スリープモードに切り替えて周囲情報を記録しないことが、モバイル装置１１にとって有効である。理解できない雑音だけが記録される場合、又は、ユーザが明白な命令をこの効果に対して与える場合、このスリープモードは、ユーザ１が寝ている時の夜中に実行できる。この方法では、エネルギー消費を低減するだけではなくて、リモートサーバ４に送信されてそこに記憶されるデータ７の量も劇的に低減する。一方でモバイル装置１１は、有効なオーディオ信号が受信された時に新たな記録を開始する回路を有する。

いろいろな可能性が、スリープモードに対して存在する。モバイル装置１１は、全ての外部雑音をデジタルに記録し変換し分析する。これらの外部雑音が、モバイル装置１１によって意味を持つと認識されない場合、これらの外部雑音は、リモートサーバ４に転送されない。モバイル装置１１が全ての雑音を記録し、これらの雑音がデジタル変換前に意味を持たないと認識された時に、モバイル装置１１がスリープモードに切り替えることも考えられる。これらの幾つかのスリープモードが、同じモバイル装置内で例えば連続的に又は異なる状態に対する応答として使用され得る。

記録機能のスリープモードは、モバイル装置１１のスリープモードに依存しない。このことは、モバイル装置１１がスイッチオフにされ得、雑音が記録される時に、記録が開始され得ることを意味する。

スリープモードへの切り替え又はスリープモードからの再起動は、異なる要因に依存してもよい。例えば、雑音によって、イベントに依存して、ユーザによって、周期で自動的に又はリモートサーバ４によって自動的に起動され得ることがここでは挙げられる。モバイル装置１１が、スリープモードにある時に、イベントｅ₁，ｅ₂，ｅ₃が、リモートサーバ４に送信されてもよい。

説明した全ての実施の形態では、ユーザ１は、データの記憶に関連してそのユーザ１が希望する設定をユーザーのプロフィール中に表示する可能性を有する。ユーザは、特別なメタデータＭ₁，Ｍ₂，Ｍ₃でマークされたファイル７内の異なるテキスト，データ又は部分に異なる人又はグループに対する異なるアクセス権を提供してもよい。この方法では、ユーザが、そのユーザの家族，そのユーザの友達又はそのユーザの仕事仲間に記憶されたデータに対するアクセス権を選択的に与えることができる。これらの人は、移動無線ネットワーク３上のモバイル装置１１を通じて又はコンピュータ６及びインターネット５を通じてユーザ１と同じ方法でリモートサーバにログインできる。したがって、ユーザがそのユーザのモバイル装置１１を紛失した時でも又はモバイル装置１１が損傷された時でも、リモートサーバ４内のドキュメントに対するアクセスも常に可能である。ファイル７内の幾つかのドキュメント又はテキストの一部が、機密としてマークされてもよいし又はユーザ１に対してだけアクセスできるようにしてもよい。その結果、ユーザ１自身以外のその他の人は、これらのドキュメントにアクセスできない。

検索に対しては、いろいろな可能性が本発明にしたがって入手可能である。ユーザは、モバイル装置１１又はコンピュータ６によって検索エンジンを起動でき、そのユーザの記憶領域内のドキュメントをキーワードに基づいて検索できる。キーワードは、検索されるべき記憶されたドキュメントの内容だけを許容するのではなくて、これらのデータを特徴付けるメタデータＭ₁，Ｍ₂，Ｍ₃も許容する。検索エンジンは、好ましくはサーバのオペレータによって操作され、このサーバ内のドキュメントだけにインデックスを付ける。ユーザは、そのユーザの個人メモリ領域内に含まれているドキュメントだけ又は少なくともそのユーザが読み取りアクセス権を有するドキュメントを検索できる。

検索エンジンは、音声制御メニューを有してもよい。特にユーザ１によって使用され得る音声チャネルが入手可能である場合、この可能性は提供される。ユーザが、情報の特定の項目を検索する時に、データが、そのユーザによって選択された時点に手動でアクセスされる。アクセスは、自動的に又は半自動的に提供されてもよい。この場合、警報機能が、ユーザに締め切りについて気づかせてもよいし又はこの警報機能は、そのユーザによって予め設定された基準（例えば、位置又はイベント）でもよい。このアクセスは、例えばユーザのオプションでそのユーザによって表示され得る。別の実施の形態では、データが、ネットワークに基づく音声メッセージボックス４３でもアクセスされ得る。

アウトルックのようなカレンダープログラムのデータが、リモートサーバ４内に記憶され得る。このリモートサーバ４は、アウトルックのようなカレンダープログラムに同期され得る。記録されたドキュメントの位置が既知である場合、これらのドキュメントが、地理的に処理されて地図上に表示され得る。そして「私はクロイツベルクで何の会話を記録したか。私のカーデーベーのレシートはどこにありますか。ヴェニスでのコーヒーの値段はいくらでしたか。」のような質問が、地図の助けによってより容易に解答され得る。このようなカレンダー又は地理的なアプリケーション用のプログラムが、モバイル装置３，ユーザのコンピュータ及び／又はリモートサーバ４内で実行され得る。

ユーザ１は、ＳＭＳ等を送信することによってＷＰＡ機能の音声制御メニュー上のそのユーザ１のデータ及びブラウザを通じてそのユーザ１のデータ及びブラウザにモバイル装置１１からアクセスできる。それらの結果が、テキストとして受信され（ＷＡＰ，ＳＭＳ，ＵＳＳＤ等）、ユーザに対して表示され得る。オーディオファイルが入手可能である場合、ユーザ１は、最初に記録された情報を有するこのオリジナルファイルを再生できる。テキストが、ユーザの声又は別の場合によっては既知の声若しくは有名な声に同期され得る。コンピュータ６の使用は、追加の可能性を与える。ユーザが、インターネットのサイト上で検索結果にアクセスできるか、又は、検索結果が、ｅメールとしてそのユーザに送信され得る。原理的には、データは、ここでもテキストとして又は（入手可能であれば）オーディオファイルとして表示され得る。

ファイル７を記憶する個人メモリ領域４２を使用すると、料金が、サービスプロバイダによってユーザに請求され得る。コストの請求書が送られる方法は異なる。１つの可能性は、モバイル装置１１に対するユーザの月ぎめの契約の一部としてサービスを使用する包括的な料金から成る。データをストリング又は検査して再生する時に、使用されたメモリ空間にしたがって又は送信されたデータ量に対して料金を請求することが考えられる。ユーザのプロフィールに応じて、実行された１つ又は幾つかの検索にしたがって又は記憶されたテキストの内容若しくは記憶されたデータに応じて、別の実施の形態ではそのユーザに何かの広告を送信することが可能である。

この方法に加えて、本発明は、独立した装置の請求項に記載の特徴を有する通信システム及びモバイル装置にも関する。

本発明に対応する通信システムを示す。外部イベントにしたがって生成されたメタデータを有する本発明によりマークされた記録ファイルを示す。

符号の説明

１ユーザ
３移動無線ネットワーク
４リモートサーバ
５インターネット
６コンピュータ
７ファイル
１１モバイル装置
１２ＩＤモジュール
１３音声認識システム
１４センサ
４１音声認識システム
４２メモリ領域
４３音声メッセージボックス
Ｍ₁，Ｍ₂，Ｍ₃ メタデータ

Claims

モバイル装置（１１）による連続的に記録された周囲情報に対する以下の方法ステップを有する方法：
（ａ）ユーザ（１）のモバイル装置（１１）が、周囲情報を連続的に記録し、データをリモートサーバに送信し、
（ｂ）これらのデータが、データの内容及び／又はモバイル装置（１１）に関する外部イベント（ｅ₁，ｅ₂，ｅ₃）から生成されるメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）に応じて自動的に及び／又はユーザ（１）によって分類及び／又はインデックス付けされ、
（ｃ）これらの分類及び／又はインデックス付けされたデータが検索されることを特徴とする方法。
１つ又は複数のファイル（７）が、モバイル装置（１１）又はリモートサーバ（４）内で記録されたデータから生成されることを特徴とする請求項１に記載の方法。
以下のステップ：
ファイル（７）が、結合されたメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）にしたがって検索され得るように、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）が、外部イベント（ｅ₁，ｅ₂，ｅ₃）にしたがってこれらの外部イベント（ｅ₁，ｅ₂，ｅ₃）から生成されるか若しくは由来するファイル（７）に一時的に結合されるか、又は、このファイル（７）が、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）を通じて細分される請求項２に記載の方法。
モバイル装置（１１）は、移動無線ネットワーク（３）に接続された移動電話であり、全ての記録された周囲情報が、リモートサーバ（４）に送信され、ファイル（７）が、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）と共にユーザに割り当てられたメモリ領域（４２）内に記憶される請求項２又は３に記載の方法。
外部イベント（ｅ₁，ｅ₂，ｅ₃）は、自動的に記録され、予めプログラミングされ及び／又はユーザ（１）によって個々にセットされる請求項１〜４のいずれか１項に記載の方法。
データの内容及び外部イベント（ｅ₁，ｅ₂，ｅ₃）は、モバイル装置（１１）の位置若しくは変化又は部屋内の特徴，日付，時間，モバイル装置（１１）内のイベント又はモバイル装置（１１）に接続されたセンサからのデータ，付近で検出されるべきファイル内の予め決定された雑音及び／又は記録された会話又はユーザ（１）の対話者を含むことを特徴とする請求項１〜５のいずれか１項に記載の方法。
有効で欲しい信号が受信されない時に、モバイル装置（１１）は、スリープモードにあることを特徴とする請求項１〜６のいずれか１項に記載の方法。
モバイル装置（１１）は、全てのデータをデジタルに記録し変換し分析し、これらのデータが、意味を持つと認識されない場合、これらのデータは、リモートサーバ（４）に転送されないことを特徴とする請求項１〜７のいずれか１項に記載の方法。
モバイル装置（１１）が全てのデータを記録し、これらのデータがデジタル変換前に意味を持たないと認識された時に、このモバイル装置（１１）は、スリープモードに切り替えることを特徴とする請求項１〜７のいずれか１項に記載の方法。
記録機能のスリープモードは、モバイル装置（１１）のスリープモードに依存しないことを特徴とする請求項１〜９のいずれか１項に記載の方法。
スリープモードへの切り替え又はスリープモードからの再起動は、雑音若しくはイメージによって又は自動的にイベントに依存して又はユーザによって又は自動的に周期的に又はリモートサーバ４によって自動的に起動され得ることを特徴とする請求項１〜１０のいずれか１項に記載の方法。
モバイル装置（１１）が、スリープモードにある時に、イベント（ｅ₁，ｅ₂，ｅ₃）が、このモバイル装置（１１）によってリモートサーバ（４）に送信され得ることを特徴とする請求項１〜１１のいずれか１項に記載の方法。
リモートサーバ（４）に送信する前に、受信された信号又はファイルの一部が、モバイル装置（１１）のメモリ内にローカル・バッファリングされることを特徴とする請求項１〜１２のいずれか１項に記載の方法。
音声認識システム（１３，４１）が、記録されたデータをテキストファイルに変換し、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）が、外部イベント（ｅ₁，ｅ₂，ｅ₃）にしたがって生成されたテキストファイルに一時的に結合されることを特徴とする請求項１〜１３のいずれか１項に記載の方法。
音声認識システム（１３，４１）が、記録されたデータをテキストファイルに変換し、会話のうちの異なる会話部分を認識し、少なくとも一人の対話者の参加が、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）として使用されることを特徴とする請求項１〜１４のいずれか１項に記載の方法。
使用される音声認識システム（１３，４１）は、ユーザに依存する言語モードを使用する請求項１４又は１５に記載の方法。
新たな言語モードが、個々の対話者に対する新しい会話を通じて確立されることを特徴とする請求項１４〜１６のいずれか１項に記載の方法。
音声認識は、モバイル装置（１１）又はリモートサーバ（４）内でローカルに実行されることを特徴とする請求項１４〜１７のいずれか１項に記載の方法。
記録されたデータ及び／又はテキストファイルが、記憶されることを特徴とする請求項１４〜１８のいずれか１項に記載の方法。
データの認証を保証するため、リモートサーバ（４）に送信されるオーディオデータ，ビデオデータ又はテキストデータが、モバイル装置（１１）の証明書によって署名されることを特徴とする請求項１〜１９のいずれか１項に記載の方法。
ユーザ（１）は、さらなるデータを記録されたデータに追加することを特徴とする請求項１〜２０のいずれか１項に記載の方法。
記録されたデータは、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）と共に記録された後に後の段階でユーザによってマークされることを特徴とする請求項１〜２１のいずれか１項に記載の方法。
異なる人が、一定のメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）でマークされたデータの異なる部分に対してアクセス権を有することを特徴とする請求項１〜２２のいずれか１項に記載の方法。
ユーザ（１）は、インターネットサイト又はカレンダープログラムを通じてそのユーザ（１）のモバイル装置（１１）からの記録されたデータに対してアクセス権を有し、内容又はメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）にしたがってこれらのデータを検索することを特徴とする請求項１〜２３のいずれか１項に記載の方法。
検索は、音声コマンドを通じて実行されることを特徴とする請求項１〜２４のいずれか１項に記載の方法。
プログラム又はアプレットが、記録されるデータを連続的に記録して処理するモバイル装置（１１）に設けられていることを特徴とする請求項１〜２５のいずれか１項に記載の方法。
サービスプロバイダーが、モバイル装置（１１）のユーザ（１）に方法を提供し、対応するサービスの料金をユーザ（１）に請求することを特徴とする請求項１〜２６のいずれか１項に記載の方法。
ビデオが、モバイル装置（１１）又はモバイル装置（１１）に接続されている装置によって常に記録され、これらのデータが、リモートサーバ（４）にも送信されることを特徴とする請求項１〜２７のいずれか１項に記載の方法。
記録されたデータが、異なる変換への細分を実行するメイクアップ言語ファイル（ＸＭＬ，Ｖｏｉｃｅ，ＸＭＬ）への変換を通じて細分及び／又はインデックス付けされ、この場合、各ファイルは、メタデータに接続されるか又はマークされたインデックスを追加することによってオーディオファイルにされることを特徴とする請求項１〜２８のいずれか１項に記載の方法。
検索結果が、テキストとして又は合成音声として再生されることを特徴とする請求項１〜２９のいずれか１項に記載の方法。
（ａ）周囲情報を連続的に記録してデータをリモートサーバに送信するモバイル装置（１１），
（ｂ）モバイル装置（１１）に関する外部イベント（ｅ₁，ｅ₂，ｅ₃）から及び／又はユーザ（１）により生成されたデータの内容及び／又はメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）に依存するデータを自動的に分類及び／又はインデックス付けする手段，
（ｃ）これらの分類及び／又はインデックス付けされたデータを検索する手段を含む請求項１〜３０のいずれか１項に記載の方法を実施する通信システム。
モバイル装置（１１）又はリモートサーバ（４）内で記録されたデータから１つ又は複数のファイル（７）を生成する請求項３１に記載の通信システム。
ファイル（７）が、結合されたメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）にしたがって検索され得るように、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）を、外部イベント（ｅ₁，ｅ₂，ｅ₃）にしたがってこれらの外部イベント（ｅ₁，ｅ₂，ｅ₃）から生成されるか若しくは由来するファイル（７）に一時的に結合するか、又は、このファイル（７）をメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）を通じて細分することを特徴とする請求項３２に記載の通信システム。
モバイル装置（１１）は、移動無線ネットワーク（３）に接続された移動電話であり、リモートサーバ（４）は、移動無線ネットワーク（３）に接続されていて、データが、メタデータ（Ｍ₁，Ｍ₂，Ｍ₃）と共にリモートサーバ（４）のユーザ（１）に割り当てられたメモリ領域（４２）内に記憶され得ることを特徴とする請求項３１又は３２に記載の通信システム。
音声認識システム（１３，４１）が、記録されたデータをテキストファイルに変換し、手段が、外部イベント（ｅ₁，ｅ₂，ｅ₃）にしたがってメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）を生成されたテキストファイルに一時的に結合することを特徴とする請求項３１〜３４のいずれか１項に記載の通信システム。
使用される音声認識システム（１３，４１）は、ユーザに依存する言語モードを使用することを特徴とする請求項３１〜３５のいずれか１項に記載の通信システム。
一定のメタデータ（Ｍ₁，Ｍ₂，Ｍ₃）でマークされたデータの異なる部分に対する異なる人のためのアクセス権を特徴とする請求項３１〜３６のいずれか１項に記載の通信システム。
モバイル装置（１１）において、
周囲情報を連続的に記録する手段，
データをリモートサーバ（４）に送信する手段，及び
モバイル装置（１１）をスリープモードに切り替える手段から構成され、この場合、有効で欲しい信号が、周囲データ中で受信されない時に、周囲情報が記録されないことを特徴とするモバイル装置。