JP2000235475A - オーディオメッセージからデータを抽出するシステム及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 電話による音声メッセージを含むディジタル
オーディオメッセージからキー情報を抽出するシステム
及び方法を提供する。 【解決手段】 電話番号１３１８や発呼者の名前１３１
６などの情報を音声メッセージ１３１０から抽出して、
そのメッセージ内の情報に対するリンクの確立に使用す
る。これにより、音声メッセージ全体を再生せずに、電
話番号及び発呼者の名前を再生できる。電話番号及び発
呼者の名前は、情報データベースへのインデックスとし
ても使用できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、逐次（sequentia
l）データストリームに基づく情報管理のシステム及び
方法に関し、より詳細にはディジタル化されたオーディ
オメッセージからキー情報を抽出するシステム及び方法
に関する。

【０００２】

【従来の技術】今日、パーソナルコンピュータシステム
の一般的な設定は、依然としてオフィス向けである。２
０年以上前の普及開始以来、パーソナルコンピュータの
多くは、文書処理（及び他の文書準備）や財務計算、及
び他のオフィス関連のアプリケーションに使用されてい
る。そして、操作が簡単でないという理由で、ゲームや
移動オフィスタイプの機能を除いて、家庭環境には浸透
していない。

【０００３】この間、コンピュータとの相互作用に用い
られる主なユーザインターフェースの典型は、キーボー
ドと画面によるシステムであった。もちろん、この構成
も年々改良され洗練されてはいるが、本質的には長年コ
ンピュータに用いられてきた同一の構成であり、パーソ
ナルコンピュータの出現以前にも遠隔端末で用いられて
いたものである。

【０００４】キーボードと画面によるシステムにはいく
つかの利点がある。第一に、コンピュータシステムに一
般的に使用されるキーボードは、製造が安価である。キ
ーボードは約１００のキースイッチのみを含み、ここか
らの信号が符号化されてＣＰＵに送られる。さらに、キ
ーボードは、１００年以上にわたって機械式タイプライ
タのキーボードに使用されていた型をごくわずかに修正
したものであり、多くの人に違和感なく受け入れられ
る。さらには、タイプライタスタイルのキーボード（又
はそのバリエーション）は、たいていの西洋言語での情
報を明確に入力できる。

【０００５】しかしながら、多くの人にとって、キーボ
ードは効率的な入力形式とはいえない。すなわち、キー
ボードを有効に使用するには、訓練が必要である。必要
な訓練をもってしても、特に入力しようとする情報があ
る文書または他からの通信においてすでに明らかな場
合、キーボードによる情報の入力には時間と労力を要す
る。さらには、キーボードが引き起こしやすい問題とし
て、スペリングエラーや反復的なストレス症状（手根管
症候群及び腱鞘炎）がある。そして、どんな速度でも伝
統的なキーボードを使用するには両手が必要である。

【０００６】一方、パーソナル（及び他の）コンピュー
タシステムに一般的に使用されるディスプレイ画面（又
はモニタ）には、多くの利点がある。モニタは比較的安
いという利点に加え、長年にわたるテレビ及びコンピュ
ータの製造経験により、製造及びデザインの効率が高ま
り、品質も改良されてきた。

【０００７】しかしながら、改良されたとはいえ、ＣＲ
Ｔベースのディスプレイ画面は、依然としてかさばり、
重く、エネルギー効率が悪いのが一般的である。また、
比較的大量の熱を発生する。このような理由から、ＣＲ
Ｔディスプレイは他の環境の多くに統合が不可能であ
り、通常コンピュータ本体とディスプレイとはそれぞれ
が独立型のアイテムとして扱われる。他のディスプレイ
技術、例えば２つ例を挙げると、プラズマディスプレイ
及び液晶ディスプレイ（ＬＣＤ）も試みられているが、
ＣＲＴディスプレイに比べてコストが高く画質が劣るた
めに、成功しているとは言えない。それでも、ＬＣＤの
価格が近年下がってきており、このようなディスプレイ
が種々のアプリケーションで見られるようになってき
た。

【０００８】このようなキーボードと画面によるシステ
ムは、コンピュータとの相互作用のためのシステムとし
て、長期にわたり多くの意味で満足の得られるものとさ
れてきたが、かかるシステムでは簡単に解決できない問
題がいくつかある。例えば、画面上に表示されたデータ
とキーボードで入力されたデータとの間には相関がな
い。画面上で得られるフォーマッティングの情報は、キ
ーボード上での連続するキーストロークにより入力され
なければならないが、多くの場合これらの連続は直観的
ではない。さらに、画面上に見られる記号及びアイテム
の多くは、キーボードでは簡単に入力できない。

【０００９】一方で、他のユーザインターフェース方式
の利便性が近年高まってきている。例えば、平面パネル
ディスプレイ（ＬＣＤなど）が半透明の感圧性（又は他
のタッチセンシティブタイプの）表面上に設けられてい
るタッチスクリーンベースのシステムが人気を集めてい
る。このようなシステムの場合、ユーザはディスプレイ
に表示されている情報を直接操作することができる。例
えば、種々の動作をこの表面に対して行うことにより、
ディスプレイ上の情報をコピー、移動、注釈付け、又は
変更することができる。ところが、このシステムにおい
てはデータ入力に問題がある。すなわち、タッチスクリ
ーンに関連してキーボードがない場合、データはタッチ
センシティブ表面との相互作用により入力しなければな
らない。このため、場合により、ハンドライティングの
認識が必要になるが、その作業は完璧でない、コンピュ
ータ依存型の作業である。あるいは、視覚的に表示され
たキーボードを（スタイラス又は指先）で押したり、デ
ータ入力のためにデザインされた特殊なジェスチャ記号
を用いてデータを入力する。

【００１０】また、近年では、音声認識によるデータ入
力も進歩している。過去においては、音声認識システム
は主に実験的な環境で使用されていた。一般的に、エラ
ー率が非常に高く、リアルタイムの認識に要求されるコ
ンピュータリソースは極めて高かった。しかしながら、
近年ではいくつかの商用ソフトウェア製品により、家庭
で頻繁に使用されるタイプのパーソナルコンピュータに
おいてリアルタイムの音声認識が可能になった。ところ
が、このような音声認識システムは話者に依存している
ため、満足できる性能のレベル及び十分に低いエラー率
を得るには相当量の訓練が話者に要求される。さらに、
エラー（同音異義語及び固有名詞の認識におけるエラー
など）が発生した場合には、従来からのキーボードを使
って正しい言葉をタイプする方が、必要な音声コマンド
を発声し、システムのためにその言葉をつづってエラー
を正すより便利なことがしばしばある。よって、音声認
識は将来的には有望であるが、現時点ではパーソナルコ
ンピュータを操作し、入力を行うための方法としては実
用的でない。

【００１１】また、クロスプラットフォーム統合（プラ
ットフォーム間統合）（例えば、コンピュータとテレ
ビ、コンピュータテレフォニなど）には将来性が期待さ
れているが、パーソナルコンピュータのデータと、たい
ていの文書及び一般的な個人、オフィス、又は家族の周
辺に見られる、通信及び情報交換に使用される他のツー
ルとの間には、関連性がほとんどないのが一般的であ
る。例えば、一般的な家庭又はオフィスでは、電話機、
留守番電話装置（又はボイスメールシステム）、オーデ
ィオ機器（ステレオなど）、ファックス、テレビ、コン
ピュータ及びプリンタ、ホワイトボード又は黒板、種々
のメモ、リスト、カレンダー、郵便物、本及び他の文書
が見られるかもしれない。ところが、通常、これらのリ
ポジトリの１つ以上において、情報はそのレポジトリだ
けに限定されている。例えば、アドレス帳に書かれたア
ドレスは、ユーザがわざわざそのアドレス帳から関連す
る情報をコンピュータに手動で移動しない限りは、コン
ピュータのＥメールシステムにおいて簡単に使用できな
い。

【００１２】さらには、ともに作用すべくデザインされ
たシステムでさえ、システムのタイプが異なると互換性
に欠けることは良く知られている。例えば、１つのデー
タフォーマットから別のデータフォーマットに変換する
場合、フォーマッティング又は他の情報が損失する可能
性がある。また、光学式文字認識（ＯＣＲ）を用いてプ
リントされた文書を機械が読み取り可能な文書に変換す
る場合のように、エラーが変換先にまで及ぶこともあ
る。

【００１３】以上のような障害のために、家庭及びオフ
ィス環境においては、異なる複数のデータタイプ及びフ
ォーマットが依然として存在している。例えば、家庭に
おいて冷蔵庫の扉に付けられたメモは、役に立つ便利な
コミニュケーション手段であることが多い。台所は家族
が集まる場所、又は少なくとも、毎日数回家族の誰もが
訪れる場所である。したがって、家族の一人が直接会え
ないかもしれない別の家族とコミニュケーションをとり
たいときには、短いメモを書いて、例えばマグネットな
どでそれを冷蔵庫の扉に付ければよい。カレンダ、コン
ピュータのプリントアウト、ファックス、名簿リストな
どの他の文書も、冷蔵庫の扉に付けることができる。

【００１４】

【発明が解決しようとする課題】本発明は、従来技術の
上記課題に鑑み、直観的で、使用が容易で、強力（パワ
フル）で、他の伝統的な通信チャネルに組み込むことに
より相対的に広範囲に存在し、家庭及びオフィス環境で
役立つ、包括的な文書処理システム及び方法を提供す
る。

【００１５】

【課題を解決するための手段】本発明によれば、ソース
文書には構成的な変化を要求せずに、情報データベース
システムにおいて使用する情報を、最小限のアシストに
より抽出できる。本発明のシステム及び方法は、物理的
ドメイン及びディジタルドメインに存在する文書を含む
多数のソースからの入力、及び印刷文書、ハンドライテ
ィング、オーディオメッセージ及び電子メッセージを含
む多くの異なるタイプの媒体での入力を受け入れること
ができる。このため、本発明によるシステム及び方法
は、複数ソースからの情報の分析に依存し、必要であれ
ば限定されたユーザ入力を含む。最終的な結果として、
ディジタル形式でも物理的形式でも使用できる製品が提
供され、ディジタル文書と物理的文書との領域間の障壁
を取り除くことにより実質的にあらゆる種類の情報が最
小限の難易度で交換可能になる。

【００１６】本発明は、文書の内容よりも文書のジャン
ル構成の認識及び分析に依存する。文書のジャンルは有
益な情報の抽出をガイドする一方、各文書を全体的に認
識して解剖する必要を減らす。これにより、エラー及び
コンピュータコストが低減する。

【００１７】したがって、ディジタルデータストリーム
に含まれる情報を処理して管理する本発明による方法
は、ディジタルデータストリームを受信するステップ
と、データストリームのジャンル又は構成に関するガイ
ダンスを受信するステップと、データストリームを分析
して話し言葉を分離するステップと、前記ガイダンスを
用いてデータストリームに含まれる重要データ項目を識
別するステップと、この重要データ項目へのポインタを
保存するステップとを含む。この方法は、ユーザとの相
互作用の有無に関わらず機能する。

【００１８】

【発明の実施の形態】まず、図１には、情報を管理及び
共有するための、本発明による分散型ネットワークが概
略的に示されている。以下にさらに詳細に説明するよう
に、本発明は、紙、手書きのメモ、名刺、Ｅメールメッ
セージ、音声（オーディオ）メッセージなどを含む（た
だしこれらに限定されない）多種の文書に存在する重要
情報の抽出及び使用を簡便にするものである。ただし、
ここで、文書の内容又はフォーマットに関する相当の予
備知識は一切必要なく、文書の「ジャンル」またはコン
テクストの知識が多少あればよい。以下の説明から明ら
かなように、本発明のシステムは、分散型アクセス、及
び集中又は分散処理のいずれかに適合する。

【００１９】ここで用いる「文書」という用語は、任意
の持続的なコミニュケーション又は情報の集合を意味
し、有形の媒体（ハードコピーなど）に記録されたもの
でも電子的に保存されたものでもよく、また、機械読み
取りが可能な形式でも人間が解読できる形式でもよい。
文書の「ジャンル」は、文化的背景により決定された文
書カテゴリであり、その文書の解釈をガイドする。ジャ
ンルは、文書の本文（テキスト）ではなく、より大きい
文書環境（一目で区別できるような物理的媒体、写真、
タイトルなど。例えば、「ニューヨークタイムス社」か
らの「ナショナルエンクワイアラー」）により特定され
る。同じ情報でも２つの異なるジャンルにおいて示され
れば、２つの異なる解釈が生じる可能性がある。例え
ば、「明け方、通りは静かであった（At dawn the stre
et was peaceful...."）のくだりで始まる文書は、「タ
イムマガジン」の読者と小説の読者とでは、違った解釈
になる。以下（図７から図１２に関連して）、種々の一
覧表を説明するが、それぞれが異なる一覧表、例えばカ
レンダジャンルの例を表している。以下の説明から明ら
かなように、各文書タイプは、それに含まれる情報の理
解及び解釈をガイドする、容易に認識できる文化的背景
により定められたジャンル構成を有する。この構成を、
本発明の特定態様の基礎として使用する。

【００２０】各々がフラットパネルディスプレイを有す
る２つのユーザ端末１１０及び１１２、遠隔ＣＰＵ１１
４、従来からのパーソナルコンピュータ１１６、統合さ
れた電話応答装置（ＴＡＤ）機能を備えた電話機１１
８、文書スキャナ１２０、ファックス装置１２２、プリ
ンタ１２４、及び手書き入力プレート１２６は、すべて
通信ネットワーク１２８に接続されている。ネットワー
ク１２８は、イーサネットローカルエリアネットワーク
（ＬＡＮ）、無線ＬＡＮ（ＲＦまたは赤外線ＬＡＮ）、
広域ネットワーク（ＷＡＮ）などのいかなる種類の既知
のネットワークでもよく、インターネットでもよい。ま
た、ネットワーク１２８はピアトゥピアトポロジー（位
相）で接続された図示の装置のみを含んでもよいし、本
発明による動作用にデザインされているいないに関わら
ず、他の多くの異なる装置を含んでもよい。当業者にと
って明らかなように、他の多くのネットワークトポロジ
ー及びプロトコルを、本発明の範囲を逸脱することな
く、本発明の実施において使用することができる。しか
しながら、ここでは、例示された装置間の機能的な相互
操作についてを以下のように詳しく考慮する。

【００２１】図２は、図１に示した物理的コンポーネン
トによって実行される機能を示した機能的ブロック図で
ある。ネットワーク１２８（図１）は、二方向通信リン
ク２１０として設けられ、中央処理装置（ＣＰＵ）２１
２及びメモリが接続されている。ＣＰＵ２１２は本発明
の処理のほとんどを行うが、本発明の別の実施形態にお
いては、ネットワーク１２８に処理が分散されることも
ある。好ましくは、ＣＰＵ２１２はメモリ２１４に接続
される。メモリ２１４は、特に、以下に説明する文書分
析に使用されるジャンル規定、文字認識に使用される文
字モデル、言語認識に使用される音声モデル、ならびに
システムに使用される他のデータを記憶すべく用いるこ
とができる。

【００２２】ディスプレイ２１６がさらに設けられてい
る。ディスプレイ２１６は、ＣＰＵ２１２に対して局所
的（ローカル）でもよいし、ＣＰＵ２１２から遠隔にあ
ってもよい。また、携帯用に（パーソナルディジタルア
シスト（ＰＤＡ）の場合のように）ネットワーク１２８
から切り離し自在にしてもよい。ディスプレイ２１６の
例示的な実施形態を後にさらに詳しく説明する。後の使
用に備えて文書情報を保存する、本発明の情報データベ
ース用の長期記憶装置２１８がさらに設けられ、通信リ
ンク２１０に接続されている。キーボード２２０、ポイ
ンタ装置２２２（マウス、トラックボールまたはライト
ペンなど）手書きプレート２２４、及びスキャナ２２６
を含む種々の入力装置がリンク２１０に接続されてい
る。これらの装置は、受信した情報を処理するためにＣ
ＰＵ２１２に送る。

【００２３】ところが、ある文書タイプの場合には、上
記の入力装置のいずれによる入力も必要としない。例え
ば、ＰＣ１１６で受信したＥメールメッセージは、すで
に電子形式なので、ディジタルドメインに変換する必要
はない。ファクシミリメッセージも同様であるが、この
場合は、ビットマップを機械読み取り可能な符号に変換
する必要はあるかもしれない。

【００２４】マイクロフォン２２８及びスピーカ２３０
を含むオーディオインターフェースにより、オーディオ
文書（録音メモ）の入力及び使用が簡単になる。図１に
おいて提案されているように、マイクロフォン２２８と
スピーカ２３０は、電話機１１８又はネットワーク１２
８に接続されたこれ以外の便利な装置に統合してもよ
い。

【００２５】プリンタ２３２は、ハードコピー出力のた
めに設けられている。なお、前述の入力及び出力装置は
例示的に示したに過ぎず、多数の他の入力装置２３４及
び出力装置２３６を本発明に従って使用することができ
る。さらに、認識処理装置２３８または他の任意の処理
装置２４０などの付加的な処理装置を使用すれば、ＣＰ
Ｕ２１２の計算負荷をある程度軽減することもできる。
例えば、認識処理装置２３８は、マイクロフォン２２８
からの音声、プレート２２４からの手書き情報、又はス
キャナ２２６からの印刷文書の処理に使用されると考え
られる。いずれの場合でも、得られた入力は、機械読み
取り可能な対応データに変換される（例えば、話し言葉
は言語認識アルゴリズムを用いて、認識されたテキスト
に変換され、手書き情報は、手書き認識装置により認識
されたテキスト又はコマンドジェスチャに変換され、印
刷文書は光学式文字認識によりビットマップからテキス
トに変換される）。

【００２６】システム全体の基本的機能が図３にブロッ
ク図で示されている。データベース３１０（好ましく
は、図２の記憶装置２１８をホストとし、ＣＰＵ２１２
により管理される）は、文書情報、特にシステムにより
処理された文書において重要であるとされた情報のリポ
ジトリとして機能し、図２において機能的に例示された
入力出力サブシステム３１２に接続されている。入力出
力サブシステム３１２には、ディスプレイ２１６、キー
ボード２２０、ポインタ装置２２２、手書きプレート２
２４、スキャナ２２６、マイクロフォン及びスピーカ２
２８，２３０、プリンタ２３２、他の入力出力装置２３
４，２３６、ならびに認識処理装置２３８、任意の他の
処理装置２４０、及びＣＰＵ２１２の特定機能を含む、
上記装置の制御に用いられる論理装置のうち、全てを含
んでもよいし、あるいは一部を含んでもよい。入力出力
サブシステム３１２は、文書３１４、音声メッセージ３
１６、及び注釈３１８を、後述する詳細な方法にしたが
って処理することができる。

【００２７】データベース３１０への入出力は、１組の
ジャンル規定３２０（好ましくは図２のメモリ２１４内
に保存されている）が提供するガイダンスに援助され、
システムにより処理される。ジャンル規定３２０は、シ
ステムが処理する文書の、予想される性質、構成及び内
容についての情報を提供する。特に、入力文書の場合に
は、好ましくはこのジャンル規定３２０により、文書に
おいて特定データ項目の見つけやすい場所、それらデー
タ項目のフォーマット、及び情報抽出プロセスにおける
効率に関するその他の考察が示される。一方、出力文書
に関しては、ジャンル規定は、好ましくは、ユーザの期
待に添うように、いかにデータベース３１０からのデー
タを人間の読みとれる文書に合成するかを示す。このよ
うな相互作用の仕組みについては、複数の詳細例に関連
して以下にさらに考慮する。

【００２８】図１から図３に示した一般的システムの特
殊化されたアプリケーションを図４を参照して説明す
る。図４には、種々の文書からの予定や他の日時情報、
及びシステムへの入力を抽出し、その情報から作成した
カレンダによる一覧表を合成してデータベース３１０
（図３）に保存するための、システムにおいて実行され
るプロセスが示されている。

【００２９】カレンダ文書の一部として記憶された日付
及び注釈情報４１０が、この方法の入力となる。すなわ
ち、まず、データ及び注釈情報が受信される（ステップ
４１２）。上述のように、この入力操作は多数の方法の
うち任意の方法によって実行できる。例えば、給紙式ス
キャナ又は走査ペンにより１つ以上の紙による文書を走
査する方法、特定のＥメールメッセージ又はウェブペー
ジを処理対象として選択する方法、または、ボイス（音
声）メッセージの録音を提供する方法などである。１つ
以上のソース文書からなるコレクションがシステムに供
給される。したがって、ソース文書は、例えば紙又は他
の物理的文書でもよく、あるいは未認識の画像又は言語
データなど「生ビット（raw bits)」、またはＡＳＣＩ
ＩやＨＴＭＬなどのフォーマット化されたデータでもよ
い。各ソース文書は、システムによって認識可能なジャ
ンル構成を表すと仮定される。各ソース文書は、さら
に、１つ以上のキー情報を含むと仮定され、各キーが、
ユーザ（又はその他の人）が重要だとするメッセージに
関連している。例えば、ジャンルが（スケジュールなど
の）特定の種類のカレンダイベントに関連する場合、キ
ーは日付又は時間とすることができ、メッセージはこれ
らの日付又は時間に対応する計画されたイベントの知ら
せとすることができる。

【００３０】一般的に、かつ平均的なユーザにとって重
要であるが、ソース文書はディジタルよりも物理的な形
式でシステムに供給される。この場合、システムはその
文書を取り込んで、ディジタル形式に変換する。例え
ば、ペーパー文書は全ページ用スキャナ又は走査ペンで
光学的に走査することにより、未認識の画像データを生
成することができ、この画像データを、セグメント化
（分割）、光学式文字認識（ＯＣＲ）、スケッチ分析な
どによりさらに変換することができる。録音もディジタ
ル化することができ、その録音に言語が含まれる場合に
は言語認識装置によりその言語を認識できる。特定のシ
ステムに応じて、文書は、文字データ、グラフィックデ
ータ、絵によるデータ、音声又は画像データなど任意の
数のデータ形式を含んでよい。ディジタル文書よりも物
理的文書を入力として受け入れるシステムの能力が高ま
るほど、システムは日常的な習慣に違和感なく適合する
ことができる。

【００３１】文書の入力時には文書入力のジャンルは決
定的であり、ユーザはこれを見ることができる。文書の
ジャンルは、入力文書のさらなる処理を援助するために
用いられる特定の入力規定４１４の選択に使用される。
当業者には理解できるように、入力ジャンルを特定する
ために様々な手段が考えられるが、１つの例示的な方法
が図２７に関して以下に説明されている。また、特定の
ジャンルを有する文書を待機するようにシステムをプロ
グラムしてもよい。さらに、本発明によるシステムで
は、ユーザがさらに入力をしなくても入力文書のジャン
ルを発見的（heuristically）に決定する試みが可能で
ある。これは、異なるソースから異なる種類又はジャン
ルの文書が受信されている場合に特に有効である（例え
ば、Ｅメールメッセージは通常ある特定ジャンルを有
し、一方ファックスメッセージは異なる通常のジャンル
を持つかもしれない）。

【００３２】例えば、ある特定の入力文書は、カレンダ
のジャンルを表しているとする。このジャンルの特性
が、可能なジャンル規定のライブラリから選ばれた、選
択された入力規定４１４によって示される。なお、一般
的に言えば、本発明によるシステムは多くの異なる文書
ジャンルを処理することができるが、１つのシステムの
例を、例えばカレンダなどの単一のジャンルタイプのみ
を処理すべく構成してもよい。その場合でも、スケジュ
ール、予定帳など多くの異なる種類のカレンダが存在し
てもよく(これらのいくつかについては、後にさらに詳
しく説明する)、これらのすべては単一の入力規定４１
４または必要であれば複数の入力規定により定めること
ができる。説明の目的のため、カレンダジャンルに含ま
れる全文書は、上記のキー情報を含めて同様の構成を有
しているとする。

【００３３】入力規定４１４を用いて、入力を分析し
(ステップ４１６）、関心ある情報を識別する。この処
理は、自動的に行ってよいし(図５参照)、ユーザによる
多少の相互作用（対話）により半自動的に行ってもよい
(図６参照）。識別された情報(カレンダジャンルでは、
通常少なくとも日付、時間及びイベントの名前が含まれ
る）が抽出されて、これが、単一のイベントに対応する
記録に関連づけられる(ステップ４１８）。続いて、こ
の記録がデータベース３１０に統合される(図３）。

【００３４】あるいは、かつ好ましくは、入力文書全体
(または利用できる限り）をデータベース３１０に統合
し、その抽出された記録によりこれを索引づけして参照
する。これにより、必要に応じて、抽出されたイベント
をさらなる情報を得るために簡単に振り返ることができ
る。例えば、例示的な出力カレンダ(図１２参照)には１
つ以上の入力文書から得た情報の要約だけしか含まれな
いかもしれない。このような場合、ユーザにはイベント
を「選択する」機会が与えられ、これにより、そのイベン
トの抽出元である入力文書全体のディジタル化されたビ
ットマップを含む、更なる情報を示すことができる。こ
の能力により、有用な保護手段が得られ、システムによ
るエラーの可能性(及び衝撃)が低減する。

【００３５】ユーザが出力の作成を望む場合、出力規定
４２２が選択される。出力規定は、ユーザの所望する出
力ジャンルの特性を識別して示す。例えば、ユーザが、
１９９８年１２月の家族全員のイベントを含むカレンダ
の作成を望むとする。出力規定４２２には、この文書の
フォーマットが十分に示されるが、データベース３１０
からの情報はいずれも含まれない。したがって、データ
ベース３１０の情報と出力規定４２４とから文書が作成
され（ステップ４２４）、ユーザに出力される(ステッ
プ４２６）。

【００３６】文書情報を自動的又は半自動的に処理する
場合、例えば、システムが適切な日付及び時間の正確な
識別に失敗したということが大いにあり得る。したがっ
て、出力文書をチェックしてそれが正しいか否かをシス
テムに示す機会がユーザには与えられる（ステップ４２
８）。出力が正しくない場合には、分析を調整し（ステ
ップ４３０）、再度情報を抽出する。当業者には理解で
きるように、この調整はいくつかの手段によって行うこ
とができる。例えば（ただしこの例に限定されない）、
分析に使用されるパラメータを調整する方法、可能性の
重み付けリスト中の別の選択肢に戻る方法、又はユーザ
のガイダンスを受け入れる方法がある。分析の変更を簡
単にするために、データベース３１０は、ステップ４１
６から４１８において得られた分析情報に加え、全文書
例を継続して保有するのがよい。なお、ここでは調整ス
テップ４３０は、出力の生成後に行っているが、前述の
いかなる手段による分析調整も、任意の処理ステップに
おいて実行が可能であり、例えば、文字認識が行われた
直後でも、情報がデータベースに保存される前でもよ
い。

【００３７】図５には、図４における入力分析の自動バ
ージョンによる処理が示されている。まず、入力規定５
１０及び入力データ５１２が入力され、必要であれば、
文書を機械読み取り可能なフォーマットに変換するため
に、入力データ５１２に文字認識を行う（ステップ５１
４）。

【００３８】認識された入力から、関連部分が識別され
る（ステップ５１６）。当業者には理解できるように、
この識別には多数の方法がある。１つの方法は、単純に
数字を走査する方法であり、別の方法としては、数字、
月、曜日、「〜時」という表現など、潜在的に関連する
情報のタイプをすべて走査する方法がある。そして、シ
ステムはこの関連部分から、必要な日付（ステップ５１
８）、時間（ステップ５２０）、及びイベント名及びそ
の他の注釈（ステップ５２２）、さらに必要であれば、
対象となる人物（ステップ５２４）を抽出する。特に、
日付と時間は、システムによる識別を補助する、合理的
に十分に定められた構成を有している。これらの特性に
ついては、以下にさらに詳細に説明する（図１８，２
１，２２及び２３参照のこと）。家庭及びビジネスにお
いては、名前も（例えば、有効な名前のリストのチェッ
クによって）簡単に識別できる。

【００３９】図６には、図４の入力分析ステップの半自
動バージョンが示される。日付（ステップ６１０）、時
間（ステップ６１２）、イベント名（ステップ６１４）
及び人物（ステップ６１６）の全てがユーザによって識
別される。続いて、データ抽出及びデータベース３１０
での索引づけを簡単に行えるように、日付（６１０）、
時間（６１２）、イベント名（６１４）及び人物（６１
６）に対して文字認識が実行される（６１８）。

【００４０】任意の特定文書には、前記データ項目の少
なくとも一つが含まれないことがあるのは明らかであ
る。例えば、カレンダには、一日がかりのイベントの時
間は含まれないことがある。この場合、システムは、そ
の省かれたデータ項目を手動で入力することを許可して
もよいし、あるいはその項目なしで動作を続けてもよ
い。詳しく後述するように、ユーザによるデータ項目の
識別（ステップ６１０から６１６）は、ハードコピー文
書にガイド注釈を書く（これを後に走査する）方法、走
査ペンを使用して連続的にデータフィールドを入力する
方法、あるいは任意の他の同様な方法により行ってもよ
い。より自動化された別の実施形態では、識別のため
に、特定の項目の「指定」のみがユーザに要求され、シ
ステムが文字又はパターン認識によって、書き込まれた
データフィールドの範囲を決定する。

【００４１】上記の要求された手動による入力は、必要
な状況に応じて、キーボード、手書き認識、あるいはポ
インタ装置による単なる選択肢の選択によって実行する
ことができる。

【００４２】次に、カレンダ作成システムの動作の詳細
例を説明する。これにより、ユーザが１つの特定入力機
構、この場合はスマート走査ペン（その１実施形態を以
下に詳細に説明する）、を使用して、種々の文書ジャン
ルからのカレンダデータをいかに構造分析して統合でき
るかが示される。すでに説明したように、可能な入力手
段は走査ペンに限定されないが、ソース文書はその獲得
後に走査ペンによって処理される機会が多いため、発明
の説明を簡単にするために走査ペンを使用する。

【００４３】ここに説明する特定の実施形態において
は、ユーザは、単一のボタン又は他の任意のユーザコン
トロールを備えたスマート走査ペンと相互作用する（そ
の１実施形態を図２４に示す）。ボタンのクリックによ
り、新しいアポイントメント（予定）が入力されている
ことをシステムに示す。ボタンをクリックした後は、ユ
ーザの走査ペンに対する主な相互作用は、この走査ペン
により文書表面を横切って連続的に文書をなぞることで
ある。このように文書をなぞるごとに、テキストページ
のビットマップ部分が生成される。このビットマップ部
分が分析され、光学式文字認識（これは、システムへの
データ移送の一部としてペン自体で行ってもよいし、シ
ステムの別のコンポーネントによる処理として後に行っ
てもよい）によってディジタルテキストに変換され、さ
らにジャンル特有の発見的方法で分析される。

【００４４】走査されたイベントの組が、走査ペンの局
所記憶部からカレンダ作成システムに転送される。これ
を行うには、種々の標準的メカニズムを利用することが
できる。本発明の１実施形態においては、走査ペンは、
その走査先端部から最も離れた端部付近に赤外線（Ｉ
Ｒ）送信部を備える。ネットワーク１２８に接続された
ホストの方向にこのペンを「さっと動かす（又は素早く
その方向に向ける）」と、情報はホストに送信される
（ただし、ホストは前記情報を受信できるＩＲ受信部を
備えなければならない）。なお、ドッキングステーショ
ン又は直列ケーブルなど（ただしこれらに限定されな
い）、より古典的な手段も利用できる。

【００４５】図４に示したように動作するカレンダ作成
システムに用いられる走査ペンの一例を以下に示す。ペ
ンのボタンのクリックは、ＣＬＩＣＫとして示す。ま
た、テキストをなぞる場合には、その文字を『』で囲む
こととする。

【００４６】学校スケジュールの例が図７に示されてい
る。ここで、このスケジュールの構成は明白である。す
なわち、何か（この場合には学校）が「オンである（行
われている）」時間と「オフである（行われていな
い）」時間のスケジュールである。特定のサブグループ
（例えば、１年生から３年生）への応用または「オフ」
の特定形式（例えば、休暇）など、この構成の追加的な
改良もいくつか存在する。今、ユーザが毎日の下校時間
をシステムに入力したいとする。この場合の走査手順例
は以下の通りである。

【００４７】 −ＣＬＩＣＫ −『Regular Daily（平常日）』（７１０） −『Dismissals（下校）』（７１２） −『2:45 PM （午後２：４５）』（７１４） −ＣＬＩＣＫ −『Every Wednesday Starting September 3, 1997
（１９９７年９月３日より毎週水曜日）』（７１６） −『Dismissal for Grades 1-5 （１年生から５年生ま
での下校時間）』（７１８） −『1:30 PM （午後１：３０）』（７２０）

【００４８】最初のなぞり７１０『Daily（平常日）』
から、システムは、この予定時間は毎日繰り返されるこ
とを決定でき、第３のなぞり７１４によってこの時間が
午後２：４５であることが付け加えられる。システムは
第２のなぞり７１２をイベントの注釈として扱うが、こ
れはそのデータを日付とも時間とも認識できないからで
ある。

【００４９】第４のなぞり７１６により、システムは第
２の予定の頻度及び曜日を決定できる。第５のなぞり７
１８はその予定を注釈し、第６の最後のなぞり７２０に
より繰り返し時間が提供される。

【００５０】図８にはプログラムカレンダの例が示され
ている。このタイプのカレンダは、別のスケジュールが
記載されているという点で、上記の学校の例（図７）と
同様であるが、教会法に基づくカレンダではなく１２ヶ
月のカレンダである。ユーザが、９月の両イベント８１
６と８２２、及び１２月のハヌカー祭ブランチをシステ
ムに入力したいとする。走査手順は以下の通りである。

【００５１】 −ＣＬＩＣＫ −『ＭｉＤｏｒ Ｌ’Ｄｏｒ』（８１０） −『September（９月）』（８１２） −『１４』（８１４） −『KICK OFF PICNIC（キックオフピクニック）』（８
１６） −『12 noon-2 pm, with Shorashim, at Mitchell park
（正午１２から午後２時まで、Shorashimあり、ミッチ
ェル公園にて）』（８１８） −ＣＬＩＣＫ −『２０』（８２０） −『ＭｉＤｏｒ Ｌ’Ｄｏｒbegins（始業）』（８２
２） −ＣＬＩＣＫ −『ＭｉＤｏｒ Ｌ’Ｄｏｒ』（８１０） −『December （１２月）』（８２４） −『２１』（８２６） −『CHANUKAH BRUNCH (10am-12 noon, with Shorashim)
（ハヌカー祭ブランチ（午前１０から正午１２まで、Sh
orashimあり）（８２８）』

【００５２】最初の一連のなぞり、すなわち８１２，８
１４及び８１８には日付及び時間の情報が含まれる。な
ぞり８１０及び８１５はかかる情報を含まないため、イ
ベントの注釈として機能する。

【００５３】第２の一連のなぞりでは、日付情報は８２
０に含まれる『２０』のみである。これは日付の不完全
な一部であるので、月及び年が前のイベントから移され
る。なぞり８２２は、イベントの注釈として機能する。

【００５４】第３のなぞりの連続においては、８２４，
８２６及び８２８が日付情報を含んでいる。８１０及び
８２８はそれ以外の情報を含むので、イベントの注釈で
ある。なお、なぞり８２８は、日付と注釈情報のいずれ
をも含んでいる。

【００５５】第３のタイプのカレンダ、スナックスケジ
ュールが図９に示されている。これも、他のスケジュー
ル（図７及び図８）と同様である。ここで他のスケジュ
ールとの相違点は、ユーザに関連するのは１つの入力の
みである（特定人物のスナック指定日）という点であ
る。今、ユーザは１０月１８日のイベントを入力したい
とする。走査手順は以下の通りである。

【００５６】 −ＣＬＩＣＫ −『October 18 Rob Rudy（１０月１８日、ロブルーデ
ィ）』（９１０） −『Snack Schedule（スナックスケジュール）』（９１
２）

【００５７】前出の例と同様、１つのなぞり９１０に、
日付と注釈情報のいずれもが含まれている。第２のなぞ
り９１２には注釈情報だけが含まれる。よって、このイ
ベントは、１０月１８日の日付及び『Rob Rudy, Snack
Schedule（ロブルーディ、スナックスケジュール）』と
いう注釈とともに入力される。

【００５８】第４のタイプのカレンダ、ウェブページが
図１０に示されている。これもスケジュールではある
が、主にディジタルドメインに保持されるものである
（ただし、ハードコピーフォーマットにプリントするこ
とはできる）。ユーザが９月６日のイベントを入力した
いとすると、そのために走査手順は以下の通りである。

【００５９】 −ＣＬＩＣＫ −『Game Schedule-Team B606（試合スケジュール−チ
ームＢ６０６）』（１０１０） −『9/6 8:30 （９月６日、８：３０）』（１０１２） −『El Carmelo Elementary School（エルカルメロ小学
校）』（１０１４）

【００６０】第２のなぞり１０１２が完全に日付を特定
するべく機能し、それ以外の１０１０及び１０１４は注
釈として機能する。他のイベントと同様に、例えばこの
場合には学校への方角やどの児童がチームＢ６０６に属
するのかなど、文書にすでにプリントされている以外に
もさらに注釈を加えたい場合が考えられる。このような
注釈の追加は、処理の後の段階で、システムのユーザイ
ンターフェース（例えば、図１の端末１００と１１２の
いずれか）によって行うこともできるし、または別の実
施形態においては、走査ペンを読み取りだけではなく書
き込みもできるようにして、ユーザが追加の「なぞり」
テキストを自分で書き込んでもよい。

【００６１】図１０に示されるように、「Ｓａｍ」とい
う名前１０１６がカレンダに手書きされている。本発明
の１実施形態においては、このような手書きの注を使用
して９月６日の試合の記録にさらなる注釈を加えること
ができる。好ましくは、図１０のカレンダの他のデータ
を入力するために使用した走査ペンによって、ハードコ
ピー文書に書き込みができる（同時に手書きの注を構成
する物理的ジェスチャの記録も行いながら）か、あるい
はウェブページなどのディジタル文書の「マーク」がで
きるのが好ましい。あるいは、すでに手書きされている
注を走査して、走査ペンによるなぞりによってディジタ
ル化することもできる。いずれの場合にも、手書き認識
又は他のジェスチャ記号解剖手段によって機械読み取り
可能なフォーマットに変換されたこの手書き情報は、走
査された記録に関連づけられ、データベース３１０（図
３）に保存される。

【００６２】走査ペンをディジタル文書の「マーク」に
使用する場合には、文書がすでにディジタルドメインに
あるので、ペンでその下に位置するディジタル文書の情
報を実際に走査する必要はない。そのペンによって、下
部の情報の抽出もととなる各なぞりの位置をシステムに
示すだけで十分である。

【００６３】第５のタイプのカレンダ、結婚式の招待状
が図１１に示されている。ユーザがこのイベントをシス
テムに入力したい場合、走査手順は以下のようになる。

【００６４】 −ＣＬＩＣＫ −（２３）『Doctor Richard Roderick Burton（リチャ
ードロデリックバートン博士）』（１１１０） −（２４）『marriage（結婚式）』（１１１２） −（２５）『Sunday, the ninth of November（１１月
９日、日曜日）』（１１１４） −（２６）『Nineteen Hundred and ninety-seven（１
９９７年）』（１１１６） −（２７）『at one-thirty in the afternoon（午後１
時３０分）』（１１１８） −（２８）『Saint Andrew's Episcopal Church（聖ア
ンドリュー監督教会）』（１１２０） −（２９）『13601 Saratoga Avenue（サラトガアベニ
ュー１３６０１）』（１１２２） −（３０）『Saratoga, California（カリフォルニア
州、サラトガ）』（１１２４）

【００６５】なぞり１１１４，１１１６及び１１１８は
イベントの日時を特定し、１１１０，１１１２，１１２
２及び１１２４はイベントの注釈である。１１２０，１
１２２及び１１２４には住所が記載されている。この情
報は、注釈の一部のままにすることもできるし、以下に
説明するようにシステムによって抽出することもでき
る。なお、このさらなる情報は階層的に表示することが
でき、必要になるまで詳細が隠されている。さらに、本
発明の１実施形態においては、図１１の招待状全体（ま
たは少なくともその追加部分）を走査し、上述のように
イベントの注釈として抽出されて使用された情報に加え
て、画像としてデータベース３１０（図３）に保存す
る。このようなアプローチは次のような効果を有する。
すなわち、文書の追加的な情報（例えば、新婦の名前な
ど）にアクセスができ、たとえキーデータ項目を抽出す
るときには必要であると予想されないとしても、必要な
ときに情報が利用できる。

【００６６】図７から図１１から得られた情報に基づき
出力されたカレンダの例を以下に説明する。すでに説明
したように、このカレンダのフォーマットは出力規定４
２２（図４）に記載されており、ユーザの好み及び所望
する詳細のレベルに応じて変更することができる。

【００６７】 家族用カレンダ１９９７年９月 ６日 ［午前８：３０］試合スケジュール−チームＢ６０６ （エルカルメロ小学校） １４日 ＭｉＤｏｒＬ’Ｄｏｒキックオフピクニック （正午１２時から午後２時、Shorashimあり、ミッチェル公園にて ） ２０日 ＭｉＤｏｒＬ’Ｄｏｒ始業１９９７年１０月 １８日 ロブルーディ、スナックスケジュール１９９７年１１月 ９日 ［午後１：３０］結婚式 リチャードロデリックバートン博士 聖アンドリュー監督教会１９９７年１２月 ２１日 ＭｉＤｏｒＬ’Ｄｏｒハヌカー祭ブランチ （午前１０から正午１２時、Shorashimあり）

【００６８】１０月１８日の入力（「ロブルーディ、ス
ナックスケジュール」）など、入力によっては利用可能
な全情報により注釈される。すなわち、ソース文書から
抽出された情報は全てこの出力カレンダにおいて利用で
きる。しかしながら、本発明の別の実施形態において
は、ソース文書全体がディジタル化されてデータベース
３１０に保存されるので、例えば入力に関連するハイパ
ーリンクを選択することにより、出力カレンダをディジ
タル形式で見ることができる。逆に、１１月９日の入力
（「結婚式」）など、入力によっては、走査された情報
の一部しか見ることができない。例えば、１１月９日の
入力では、教会の住所が省略されている。ここでも、デ
ィジタル形式の出力カレンダにより、選択的なオプショ
ンを介してユーザは追加的な注釈（または入力された招
待状全体の像をも）見ることができる。また、イベント
によっては（例えば、９月６日及び１１月９日のイベン
ト）、関連する時間を有する。時間は、出力規定４２２
（図４）によって定められた方法で記載され、出力カレ
ンダによっては必要に応じてこの情報を省略してもよ
い。

【００６９】図１２には、出力カレンダの別の例１２１
０が、格子状のフォーマットで示されている。このフォ
ーマットも、出力規定４２２（図４）によって特定され
ている。カレンダ１２１０は、端末１１０（図１）に表
示できるタイプのカレンダであり、前述の例と同様に、
ハードコピーカレンダにはより多くの情報が含まれる。
特に、カレンダ１２１０は、少なくとも３人、すなわち
ジョン、ヘンリー、シルビアを含む家族のための月カレ
ンダのサンプルを示している。ジョンの歯医者の予約１
２１２が１９９８年１２月２１日に示されている。ディ
スプレイには、ジョンの名前、イベント名、すなわち
「歯医者の予約」ならびに予約時間「午前９：３０」が
示され、日付に関しては、予定１２１２をカレンダ１２
１０の該当位置に置くことにより示される。同様に、ヘ
ンリーの会合１２１４が、開始時間（午後１時）及び終
了時間（午後４時）とともに１２月１１に示されてい
る。１２月９には２つの予定が示されている。最初の予
定１２１６はシルビアの予定で、第２の予定１２１８は
ジョンの予定である。スペースが限定されるため、記号
「＞＞＞」によりさらなる情報が利用できることを示し
ている。追加的な情報には、イベント名、時間などにつ
いての情報を含んでもよい。カレンダ１２１０は電子的
に表示されるものであるので、ユーザは予定１２１６と
１２１８のいずれかを選択して追加的な情報を見ること
ができる。このカレンダのハードコピーバージョンに
は、この追加的なデータが示されている。

【００７０】本発明は、さらに、音声録音などのストリ
ームデータ文書を、その認識可能なジャンル構成に基づ
き分析し、例えばその文書の形式を一般的な使用により
適合しやすく変更する技術を含む。本発明のこの態様
は、多くのタイプの録音に適用可能であるが、以下に詳
細に説明する適用例は、留守番電話装置又はボイスメー
ルメッセージに関し、その文書構造は、メッセージ中の
特定情報、例えば名前や電話番号を決定できるものであ
る。本発明は、受信者により便利なように、キー情報を
要約し、抽出し、スキップし、又は再構成する。

【００７１】したがって、ここに示される技術は、他の
言語認識技術を補足するものとして使用することができ
る。例えば、これを用いて、長い音の流れを電話番号ま
でスキップしたり、あるいはメッセージを並び替えて挨
拶や電話番号をメッセージの最初に持ってきてこれにメ
ッセージ本文や終わりの挨拶が続くようにすることもで
きる。既存の電話番号抽出技術と組み合わせて使用する
場合には、メッセージの特定キー部分の「サニティチェ
ック（正確性のチェック）」として、かつ認識の全体精
度を支持するために、この技術をすでに理解された又は
文字化されたメッセージに適用することができる。より
特定的には、本発明の技術を用いて文書中のキー情報を
局所化し、より洗練されたまたは時間を要する信号処理
を文書中のその部分に行うことができる。

【００７２】ここで、関連媒体（すなわちストリームデ
ータ）の２つの側面に注目することが重要である。第１
に、媒体は線形であり、実質的に順アクセスのみを提供
できる。本発明の技術により、（例えば、ランダムアク
セスのためにメッセージを文字化するのではなく）メッ
セージを受信した同一の媒体においてメッセージの抽出
部分に継続的にアクセスできるという利点がある。ま
た、電話番号（または他の予想可能なジャンル特定情
報）も発呼者自身の声で保存することができる。これ
は、重要な文字化不能な情報を受信者に提供する音声ス
トリームの側面である。さらに、ジャンル構成によっ
て、発呼者と装置との相互作用が簡単になる（この効果
は、基本メッセージ構成が広範囲にわたって存在する場
合には明らかである。すなわち、電話メッセージが大き
く変わった時を記憶するのは簡単である）。しかしなが
ら、この同じ構成のために、最初の聞き取り以後のユー
ザの使用が不便になる。例えば、長い電話メッセージ
は、それに含まれる電話番号（短くて、メッセージの最
後に位置することが多い）を残すためだけに維持される
ことが多い。もちろん、文書構成は、その一部のみがジ
ャンルにより決定し、大半は自由な形式である。本発明
のこの態様では、予め定められたあるいは厳密な形式は
要求されない。

【００７３】音声メッセージなどのストリーム媒体デー
タを処理する、本発明によるシステムが、図１３のフロ
ーチャートに説明される。まず、音声内容１３１０（一
般的には、パルス符号変調など、任意の既知フォーマッ
トのディジタル化されたデータ列）がシステムによって
受信される（ステップ１３１２）。図１及び図２に示さ
れるように、この音声内容は、電話機、留守番電話装置
の録音、専用メモ録音機又は他のソースから受信するこ
とができる。

【００７４】次に、音声メッセージを分析して（ステッ
プ１３１４）、その構成部分を識別する。分析は、リア
ルタイム（例えばメッセージの受信中）で行うこともで
きるし、メッセージの保存後に行うこともできる。本発
明の１実施形態においては、メッセージに音声認識を行
い、発話された言葉の全てを分離して識別する。隠れマ
ルコフモデルを使用する方法を含め、これを実行するた
めの種々の技術が当業界では周知である。音声認識に用
いられるモデルは、ボキャブラリの大きい一般目的の認
識モデルでもよいし、好ましくは、単に数字や「キュー
となる単語」（例えば、「at」、「is」、「am」、「名
前」、「番号」など）の限定された語彙のみを識別でき
るものでよい。あるいは、分析ステップ（ステップ１３
１４）では、単に、メッセージ中の間（ポーズ）及びい
くつかの特徴的なキュー単語を識別する。この場合、よ
り簡易化された、コンピュータ依存の少ないパタン認識
技術によって分析が実行できる。

【００７５】本発明の好適な実施形態においては、メッ
セージ分析ステップはガイダンス１３１５により簡易に
なる。前述のカレンダ作成システム（図４）では入力分
析ステップが入力規定４１４によりガイドされたが、こ
の応用においても同様に、ガイダンス１３１５は一般的
な音声メッセージのモデルまたは規定として提供されて
いる。なお、メッセージ分析ステップ（ステップ１３１
４）が完全に自動化されていてもガイダンス１３１５は
提供される。すなわち、話し言葉の語彙、あるいは本発
明の好ましい実施形態では、間（ポーズ）及びキューワ
ードを認識できるプログラミング（アルゴリズム及び音
声モデルを限定的でなく含む）において、ガイダンスは
必須である。

【００７６】分析に続いて、少なくとも名前（ステップ
１３１６）及び電話番号（ステップ１３１８）が識別さ
れる。もちろん、メッセージによってはいずれの情報項
目も含まないものもあるが、（本発明の観点から）有用
なメッセージにはこれらがいずれも含まれる。さらに、
情報は、音声メッセージだけから抽出する必要はない。
例えば、オフィスのボイスメールシステムの音声メッセ
ージは、話者の名前及び電話内線番号を含む、ディジタ
ルデータとしてアクセス可能なメッセージヘッダを有す
ることがある。同様の情報、または少なくとも電話番号
は、電話システムが提供する「発呼者ＩＤ（識別）」デ
ータからも得ることができる。

【００７７】ガイダンス１３１５は、識別ステップ（ス
テップ１３１６）においても役立つ。これは、好適な実
施形態においては、ガイダンス１３１５が、データのフ
ォーマット（例えば図１８）及び位置（例えば図１４）
に関する情報を含む、音声メッセージに存在すると予想
される役立つデータのモデルを含むからである。識別プ
ロセスの仕組みならびにそのいくつかの例を以下に説明
する。

【００７８】名前及び電話番号が分離されると、それら
のデータへのポインタ（指標）が音声メッセージととも
に保存される（ステップ１３２０）。このポインタによ
り、メッセージ中の所望部分を簡単に探すことができ
る。例えば、相手に折り返し電話する必要があること
は、長いメッセージを全て聞くまで分からないかもしれ
ない。従来からのボイスメッセージシステムを使用する
場合、メッセージを巻き戻してどこか途中にある発呼者
の名前や電話番号を探すのは不便である。しかしなが
ら、発呼者の名前及び電話番号へのポインタがあれば、
メッセージの特定ポイント（例えば、発呼者の名前と電
話番号が話された場所）へのユーザのランダムアクセス
を許可するためのコマンドを提供することができる。

【００７９】したがって、ユーザが特定の機能１３２２
（例えば、発呼者の名前を探す）を所望すると、コマン
ドがシステムによって受信される（ステップ１３２
４）。このコマンドは、「全メッセージを再生する」
（ステップ１３２６）であっても、「発呼者の名前のみ
を再生する」（ステップ１３２８）でも、「発呼者の電
話番号のみを再生する」（ステップ１３３２）でもよ
い。ここで、音声認識技術（及びここに示される技術）
は絶対確実ではあり得ないので、メッセージの間違った
部分が選択された場合には、（例えば、図４に関してす
でに説明したように、パラメータの調節、別の選択肢の
選択、又はユーザ入力の受け入れにより）システムにメ
ッセージを再分析させるための機能が提供される。

【００８０】所望する場合には、メッセージとそのポイ
ンタをデータベース３１０（図３）の一部として保存す
ることもできるが、認識が完全に実行されていなけれ
ば、システムは、ユーザの介在なしにその情報を意味あ
る形で索引できない可能性が高い。メッセージ全体及び
関心あるデータへのポイントがデータベースに保存でき
るか、名前と電話番号のみ（例えば、ユーザがその正確
な抽出を確認した後）を選択してデータベースに統合で
きるかのいずれかである。よって、抽出が行われると、
抽出された番号は少なくとも３つの異なる方法で処理が
可能である。すなわち、抽出された番号を、完全な音声
ストリームとして保存し（ペンコンピュータが未認識の
手書きデータを保存するのと同様）、特定のメッセージ
を注釈する一時的な形式として保持してもよいし、また
は、（発呼者を識別する挨拶部分全体又はその一部とと
もに）番号をデータベースに保存してもよい。または、
数として認識し、適当なオーガナイザ（カレンダ又は電
子アドレス帳など）に統合することもできる。さらに、
この技術をアクセレータ（スピード機能）として使用
し、電話キーパッドのキーを使って、長いメッセージ内
に隠れている電話番号に直接スキップすることもでき
る。この構成においては、音声ストリームに変更がない
だけでなく、そのデータは同一媒体に維持されてアクセ
スされる。

【００８１】抽出された番号が、一時性の小さい受信者
の情報ベースの一部を構成する場合には、ボイスメール
構成中の音声キューを使って発呼者の名前を抽出するの
が適当である。この工程も、メッセージジャンル及び慣
習的な構造（例えば「Hi this is...returning your ca
ll」）に依存する発見的方法、及び既知の名前の音声リ
スト（及びそれをスペルアウトしたもの）を使用して自
動化が可能である。

【００８２】たいていの電話メッセージが半規則的なパ
タンに従っていることが認識されている。情報の抽出を
容易にするこのパタン又はモデル１４１０が図１４に示
されている。一般的には電話メッセージは通常、挨拶の
言葉１４１２（例えば、「もしもし、例の車の販売の件
でお電話しています」（"Hello, I'm calling aboutthe
car for sale"）で始まり、発呼者の名前１４１４
（「ジョンスミスです」"My name is John Smith"）、
メッセージ１４１６（例えば、「価格の交渉のことなん
ですが」"I'd like to know if you'd be willing to n
egotiate a lower price”）、電話番号１４１８（「こ
ちらの電話番号は、５５５−１２１２です。」"My numb
er is 555-1212"）、結びの言葉１４２０（例えば、
「よろしければ折り返しお電話ください」"please call
me back if you want to make a deal"）が続き、終わ
りの挨拶１４２２（例えば、「では失礼します」"By
e"）となる。

【００８３】すでに説明したカレンダ作成システムと同
様に、メッセージの分析（ステップ１３１４）は、自動
的、半自動的又はほぼ手動によって実行することができ
る。図１５に示される自動バージョンでは、メッセージ
の単語が認識され（ステップ１５１０）、分離され（ス
テップ１５１２）、音訳として保存される（ステップ１
５１４）。音訳された各単語（限定された語彙の認識モ
デルの場合には、オリジナルメッセージの全単語ではな
いこともある）の位置が音声メッセージに相関づけられ
る。すでに説明したように、この相関づけには、隠れマ
ルコフモデル音声認識方法を使用することができる。一
方、図１６に示される半自動バージョンでは、メッセー
ジ中のギャップ又は間が識別され（ステップ１６１
０）、キューワードが識別され（ステップ１６１２）、
キューワードの位置が保存される（ステップ１６１
４）。通常、名前及び電話番号がキューワードに続くの
で、各候補キューワードをさらに考慮することにより、
有効な情報が続くかどうかを決定することができる。さ
らに、図１７の手動バージョンにおいては、関心あるデ
ータの位置を示すユーザ入力１７１０が受信される（ス
テップ１７１２）。例えば、ユーザは、電話番号が話さ
れているのを聞いたときに「電話番号」ボタンを押し、
発呼者の名前が告げられたのを聞いたときに「名前」ボ
タンを押してもよい。これらの手動で生成されたキュー
がメッセージ内の位置に関連づけられ（ステップ１７１
４）、保存される（ステップ１７１６）。なお、ユーザ
は電話番号がほぼ完全に言われるまで、それに気づかず
「番号」ボタンを押さないかもしれないので、手動で生
成されたキューの位置を自動的に調節し、特定の長さを
有する最も近い沈黙の間まで、その位置を時間的に戻し
てもよい。

【００８４】次に、メッセージ構造のいくつかの詳細例
について考える。ここで、いくつかのサンプルボイスメ
ールメッセージを、実際のボイスメールボックスから書
き起こした。各メッセージは、名前を変更して、いくつ
かのキーワードを変えてあるが、メッセージの意味合い
及びその基本構造はそのままである。

【００８５】例１ 発信者：リーネゲッツ ＜電話録音採取＞ 送信日時：１０月２９日 午前９：３９ ＜自動時刻印
＞ 「Hello Cathy this is Leanne Goetz. Cathy, could y
ou give me a call please. I am trying to track dow
n...I had a copy of your presentation yesterday an
d I was trying to fax it to finance. Unfortunatel
y their fax waswrecked and they never actually rec
eived it and I made the mistake of giving that cop
y back to Arnold. So now I can't put my hands on i
t and it's likely that it might even be in his hom
e office or in his pack that heis carrying. But I
still need to get a copy of that to finance,Is th
atsomething that you could email to me or bring me
a hardcopy? Thanks Cathy. Bye-bye.」

【００８６】例２ （割り込みされた電話番号を含むメ
ッセージ） 送信日時：１０月３０日 午前１０：３０ ＜自動時刻
印＞ 「Hey Cathy, this is Mark Stott. I thought I'd cal
l and see what the story was with you and the meet
ing next Tuesday and all of that. Um. We finally m
anaged to get a copy of the agenda so we're actual
ly sort of uhhhfiguring out who's going to this.
So I thoght I'd -- gee maybe Cathy'sgoing -- so I
thought I'd call and check and see what the story
was. Give me a call if you get a chace. 4-1-5 --
so I'm local-- 5-5-5-3-4-5-6.Talk to you soon. By
e.」

【００８７】例３ （電話番号及び市外局番（エリアコ
ード）を含むメッセージ） 「Hi Cathy this is Chris Finch calling and I'm res
ponding to our emailsthat have been crossing and
I'm calling because my email umm at my SanFrancisc
o State address has been locked up and I'm uh just
trying to getit unlocked but in the meantime I ju
st wanted to see if we could possibly set somethin
g up. Ummm. I am actually free tomorrow which I kn
ow is very short notice and I'm not even taking th
at seriously but I just thought I'd throw it out t
here. Ummm. Not next week but the following week.
Umm. So I was hoping that ummm we can get somethin
g going.I would love tocome down and meet with yo
u. So if you could give me a call back at 4-1-5-5-
5-5-0-3-6-9 that would be terrific and I'll look f
orward to hearingfrom you. Thanks so much. Buh-b
ye.」

【００８８】例４ （曖昧な信号、すなわち「at」に続
く番号、を含むメッセージ） 送信日時：金曜日 午前９：５６ ＜自動時刻印＞ 「Hi Cathy it's Jennifer Stott um I'm just calling
about Denise's surprise party. It's tomorrow and
I know you had mentioned that you were possibly in
terested in contributing to one of the big gifts a
nd I talked to Jim Swift this morning and he was
gonna go out and pick something up sometime today.
Umm. And I had mentioned to him that you might b
e interested in contributing to that gift. So if y
ou have a chance and get this message ummm why do
n't you just give Jim a call. I don't have his pho
ne number but I know that he's also there at the l
ab so um I'm sure you havethat handy. Anyway if y
ou have questions, just give me a call Umm .Markan
d I are home kind of off and on all day today at 5
-5-5-0-8-6-4. Or Iguess we'll see you at the party
tomorrow at 4 o'clock. Bye-bye.」

【００８９】例５ （電話番号を含まないメッセージ） 発信者：フレッドトンプソン ＜電話録音採取＞ 送信日時：金曜日 午後６：１０ ＜自動時刻印＞ 「Hi Cathy this is Fred Thompson. I forgot to get
back to you yesterday. Uhh.. Both computers are
all fixed up .Boards removed. Uhh. Reloadedwith 4-
1-3. Cuz the machine I believe the name is uh.. do
es not have enough disk space to have any swap sp
ace. And...umm.. if you have any questions, let me
know on Monday. Thank you very much.」

【００９０】例６ （慣習的な内部メッセージ−「十分
に定型化されている」ことに注目） 送信時間：午前８：５５ ＜自動時刻印＞ 「Hi Cathy this is Alex Trebek. I just wanted to c
heck with you on uh the shipment of the SPARCstati
on uh computer ummm and to see if that had gone ou
t. I do need a copy of the shipper etc. Um. Give
me a call. I'm at 3-8-4-5 ane let me know what th
e status is. Thank you.」

【００９１】例７ （形式に従った内部メッセージ。特
別な番号が、複数の異なるキューによって内線番号とは
はっきり区別されていることに注目。第１に、年は２つ
の数字、「１９」と「９６」として話されている。第２
に、「at」というサインが用いられている。最後に、内
線番号はメッセージの最後にあり、定型の概念に従って
いる。） 発信者：マリアンブランチ ＜電話録音採取＞ 送信時間：午後４：１８ ＜自動時刻印＞ 「Cathy, this is Marian. Um I called because I'm l
ooking for a book thatwas checked out to somebody
who I believe was a summer student who wasworking
with you - he gave your name - in 19-96. Um. Flav
io Azevedo andthe name of the book is "Doing with
images makes symbols" by Alan Kay.Um. We are anxi
ous to get it back and of course I suspect the wor
st.Anyway. I'm at 5-9-0-8. Talk to you later. Than
ks. Bye.」

【００９２】例８ （電話番号が繰り返され、「is」で
紹介されている。第２の電話番号はメッセージ中に含ま
れるが、「電話番号は("number"）」と前置きがある。
長い結びのため、構造が多少異なっている。） 送信日時：昨日午後５：４５ ＜自動時刻印＞ 「Hi Cath it's Cynthia it's about um 5:45 and I ac
tually came to the Creekside. Um. I tried you ear
lier and you weren't there and besides I kind of w
anted to check in.So anyway I'm at the Creekside w
hich is 5-5-5-2-4-1-1. 5-5-5-2-4-1-1. I'm in room
1-15. Um. I'm going out to my car andget may bags.
And I'm also going to check my um other number 7
-8-9-0 tosee if you left a message there by chanc
e. Then I thought I actually would head toward Sta
ncey's it occurred tome that if you wanted to go t
o downtown Palo Alto I could just pick you up at P
ARC on my way. We could go and Icould take you bac
k to your bike later. Um. Or we could do whatever
you want to. Ummm. Anyway hope things are okay.
And I will check my number and I'll be here for a
little while and probably leave you moremessages.
Bye-bye. 」

【００９３】これらのメッセージの調査から、以下の特
性を認定することができる。第１に、メッセージは上述
のような一般的な形式に従っている。第２に、この一般
的形式の一部が欠けている場合もあるが、メッセージは
たいてい認識可能なジャンルの例である。第３に、メッ
セージ中に隠された電話番号はメッセージの終わり部分
近くにあり、「umm」や「uhh」などの音を含むことはま
れである。電話番号はたいて連続する数字であり、早口
で話され、間にポーズをはさむこともある。よく知られ
た長さを持つものが多い。上記のメッセージのうちの３
つの例において、電話番号は「at」と前置きされてい
る。「that's」または「number」など、比較的少数の他
のキューを使うこともある。第４に、メッセージは、メ
ッセージ中の電話番号の種類についての他の明確な手が
かりを含むこともある。例えば、内部メッセージと外部
メッセージの区別を可能にする定型のヘッダを含むこと
がある。最後に、メッセージが定型のヘッダを含む場合
には、このヘッダにより、一般的なタイプの数字情報
（すなわち、時間と日付）はメッセージ本文から分離さ
れる。ヘッダを含まない場合には、時間と日付は、メッ
セージ本文後ではなく、挨拶に含まれる可能性が高い。

【００９４】これらの例から観察できる複雑性の例とし
て以下が挙げられる。すなわち、電話番号を含まないメ
ッセージ（例えば、例５）、訂正されたまたは話者本人
が遮った電話番号（「4-1-5 -- so I'm local - 5-5-5-
0-8-6-4」）、及び電話番号以外の数情報を含むメッセ
ージ（「Reloaded with 4-1-3」）である。さらに、長
さが予測できない電話番号もある（外線番号は２から５
桁のものもあり、国際通話も入る可能性がある）。

【００９５】しかしながら、一般的には、十分に定型化
された電話番号１８１０は図１８のモデルに示されるよ
うに以下の特性を有することが多い。すなわち、十分に
定型化された電話番号は通常、「I'm at（私は・・・に
います）」、「my number is（こちらの番号は）」ある
いは単なる「at」や「is」などのキュー１８１２で始ま
る。キューに続いて、必要であれば米国のエリアコード
（市外局番）が示される。次にポーズ１８１６がおかれ
ることがよくあり、３桁の交換局番号１８１８、再びポ
ーズ１８２０、そして７桁の電話番号のうち残りの４桁
１８２２が続く。さらに内線番号がある場合には、再び
ポーズ１８２４をおいた後に別のキュー１８２６（「ex
tension（内線番号）」または「room number（部屋番
号)」など）、内線番号１８２８が続く。

【００９６】これらの特性が単独でまた組み合わせによ
り、発声された電話番号、特に伝統的な慣習に基づいた
電話番号の識別においてシステムをアシストする。

【００９７】文書は、物理的形式であれディジタル形式
であれ、社会的なコンテクストにおいてのみかつそれに
関係して存在するジャンルを有する。ジャンルの概念を
一般化することにより、強力な新しいコンピュータシス
テムの生成が可能になる。

【００９８】例えば、複数の異なるジャンルからかつ潜
在的には種々の異なる媒体からの文書を含む、既存の入
力文書の集合を想定する。この集合内の各文書は、種々
の情報を含んでいる。さらに、異なるジャンルにわたっ
て分散したこれらの情報の整合的な（coherent）部分集
合により、それ自体で一貫した整合的なジャンルを生成
でき、これを合成して新しい文書に統合することができ
る。この新しい文書は、特定のユーザ（又はユーザのグ
ループ）によって、特定の目的で、通常は特定の時間に
使用される。情報の合成方法は、その読み手、目的及び
時間に関連させることができる。さらに、この新しい文
書はそれ自身のジャンルを有し、情報をこの新しい文書
に合成する方法は、そのジャンルに依存する。

【００９９】このような一般化及び新しい概念化によっ
て、データベースシステムの考察が可能になる。かかる
データベースシステムは、入力文書の適当な重要情報の
自動化又は半自動化された認識を容易にし、これらの情
報を文書から抽出し、統一化されたコンピュータ表示又
はデータベースに統合又は合成する。そして、このコン
ピュータ表示を使用して、新しい文書を人間が解読可能
な形式（例えばディジタル表示又は物理的なプリントア
ウト）での出力として生成（再提示）できる。新しい文
書のジャンルは、文書が（中間的な）コンピュータ表示
で表されても、（最終的な）人間が解読可能な表示で表
されても同一である。これらの表示いずれもが局所化さ
れた表示であり、重要な全情報がディジタル又は物理的
のいずれかの形式で便宜的に１カ所に集められている。

【０１００】入力及び出力文書のジャンルに加え、未形
成の新しい文書のジャンルを考察することが、入力文書
から関連する情報を抽出して統一されたコンピュータ表
示に統合する前であっても、可能である。このような不
完全な形式の新しい文書は、出力のジャンルと同一のジ
ャンルでもなければ、同一のジャンルも持たない。むし
ろ、これは別の種類の文書ジャンルであり、他の、より
慣習的で社会的に不変的なジャンルの（かつ、例外もあ
るが一般的には複数の媒体における）複数の他の文書に
わたってのみ存在するジャンルであるという方が好まし
い。この新しい種類の文書ジャンル、すなわち分散した
入力ジャンルの集合にまたがって生成されたジャンル
を、「分散型（distributed）」ジャンル（「暗示的
な」および「合成的な」ジャンルという用語もかなり正
確な説明である）と呼ぶことにする。

【０１０１】ここで、少なくとも１つの特徴により、分
散型ジャンルの文書は、その入力を構成する原材料から
区別される。新しい出力の未完成形式は、複数の入力文
書に未だ存在する識別された情報の集合のみならず、こ
れらの情報を統合して新しい文書の分散した表示（これ
を後に局所化された表示に変換することができる）を供
給する「接着材」をも含んでいる。この「接着材」は、
２つの主要成分、すなわち社会的コンテクストとコンピ
ュータ計算から構成される。

【０１０２】社会的コンテクストは、出力文書の意図さ
れる読み手、聞き手、またはユーザ、文書の構成目的、
及び構成されている時間によって決定する。さらに、入
力空間及び出力空間はこれら２つの空間のあいだで変換
するマトリクス又はテンソルの特性に影響するが、社会
的コンテクストは、中間的な分散型文書ジャンルを形成
する、社会的に構成された入力及び出力文書ジャンルに
よって供給される。

【０１０３】この社会的コンテクストが、重要なコンピ
ュータ計算の制約を提供する。特に、人間の読み手は、
本発明のコンピュータシステムに、ヒント、指令及び他
のガイダンスを供給することができ、この情報が人間の
社会的コンテクストに反映する。さらに、コンピュータ
システムは、モデル、発見的アルゴリズム、入力出力文
書ジャンルと特定入力ジャンルからの情報を特定出力ジ
ャンルにおいて再利用できるようにする関係とに関する
他のプログラミングの少なくともいずれかを含む。まと
めると、処理中のタスクに特有な人間が提供するガイダ
ンス及び主にあらかじめプログラムされたジャンルの記
載により、社会的コンテクストに対するユーザの理解
を、システムが処理可能な何かに変える有効な方法が提
供される。この処理については、以下により詳しく説明
する。

【０１０４】このように、分散型ジャンル文書は、入力
文書における識別部分の「原材料」を超える複数の特徴
を含む。分散型ジャンル文書はさらに、入力ジャンルの
規定、出力ジャンル、及びこれらの間の情報のマッピン
グ、ユーザ及び処理中のタスクに特異的な社会的コンテ
クストのさらなる解説、及び適当にプログラムされ、上
記の全てを表す容量を持つコンピュータエンジンを含
む。これら全てを備えてはじめて分散型ジャンル文書が
発生する。要するに、分散型ジャンルの概念は、複数の
異なるソース文書から得られた情報から成る分散した集
合が、社会的コンテクストを表すコンピュータ計算によ
り意味を持つべく統合されたときに発生する。

【０１０５】分散型ジャンルの文書の第１の例として、
図７から図１２としてすでに説明したカレンダの例を考
える。好ましくはある対話的な人間のガイダンスによっ
て動作するコンピュータシステムは、学齢期の子供のい
る家庭に見られる以下の文書の集合をその入力とするこ
とを仮定する。すなわち、 −子供用スポーツリーグカレンダ −教会またはユダヤ人会からの社会的イベントのお知ら
せ −学校から家庭に配られたお知らせに記載されたＰＴＡ
イベント −地域の音楽又は演劇グループによる公演の宣伝 −結婚式の招待状 −予定されるトークのＥメールによるお知らせ −ボイスメールによるパーティの招待 −注釈付きユーザカレンダの初期バージョンのプリント
アウト

【０１０６】これらの入力文書はそれぞれがそれ自身の
異なるジャンルに属するが、各文書に存在するカレンダ
情報により形成される分散したジャンルを考慮すると、
ある分散したジャンルが定められる。このような特定の
分散型ジャンルを分析する際の最終目的は、家族のメン
バーが出席する予定の全イベントを取り込んだ、統合さ
れた、最新の、まる１ヶ月のカレンダを作成することで
ある（図１２参照）。

【０１０７】ソース文書の集合は、社会的コンテクスト
により、そしてこの社会的コンテクストにおいて行われ
ている人間の又はコンピュータ化された処理により提供
される相互的な接続を介して、生のソース材料の寄せ集
めから、分散型ジャンルを有する一貫した分散型表示出
力文書に変換される。社会的コンテクストは、この家庭
における特定の読み手グループ、そのメンバーが新しい
カレンダを使用する目的及びタイミング、さらには入力
及び出力文書の（社会的かつ文化的に定義された）ジャ
ンルによって確立される。ここでのコンピュータ計算
は、この社会的コンテクストを利用し、社会的コンテク
ストによって容易化し、さらには社会的コンテクストに
より可能になる。コンピュータシステムは、入力文書の
どの部分が重要で、それをまとめて以下の点を考慮しな
がらどのように出力文書を構成するかを認識する。すな
わち、 −入力及び出力文書ジャンル両方の特性 −カレンダの意図されるユーザから受信したヒント、指
令、及びその他のガイダンス、 −コンピュータ計算自体を取り巻く時間及びその他の環
境であり、日付と、地理的位置又はシステムの最新カレ
ンダ型出力の内容などの他の状態変数を含む。

【０１０８】中間的な分散型ジャンルは、日付及び入力
文書からの他の有効な情報を識別する工程において発生
する。その後直ちに、コンピュータシステムは、ユーザ
によって特定された出力ジャンルをジャンルとする、局
所化され、より統一された出力文書を形成し始める。

【０１０９】分散型ジャンルのアプローチの第２の例と
して、住所変更のＥメールメッセージを多数の受信者宛
に送信しなければならない、忙しいワーカが直面する問
題について考える。メッセージ本文はシンプルで書きや
すい。しかしながら、問題なのは、全受信者の名前とＥ
メールアドレスを探しあてることである。このワーカの
Ｅメールプログラムから得られる「個人アドレス帳」で
は不完全で、これはスタートポイントとしてしか役立た
ない。アドレスリストに加えるべき他のＥメールアドレ
スは、別のジャンルに属する。例えば、 −昨夜アフターワーク情報交換の機会があり、ワーカの
デスクには新たな名刺の山ができている。これらは名刺
スキャナで走査することができる。

【０１１０】−名刺にはウェブサイトのアドレスを含む
ものがある。例えば、今では著名な教授である、長い間
所在不明だった大学の級友のウェブサイトにあるアドレ
スなどの場合、ワーカはウェブサイトをブラウズし、い
くつかのリンクを経て、知らせを送るべきさらなる住所
を発見することがある。

【０１１１】−今朝の郵便で受け取った印刷物に、古く
からの知人の会社が別の会社と合併したという知らせが
あり、この結果Ｅメールアドレスも新しくなった。この
印刷物は名刺スキャナには大きすぎ、さらには別の文書
ジャンルに属するため、平台型のスキャナ又はディジタ
ルコピアで別に走査する必要がある。

【０１１２】−同僚が携帯電話からワーカに電話してき
た。その同僚は、ワーカを夕食に招待したいと思ってい
た運転手が運転する車に乗っていることがわかった。そ
こで、同僚は運転手の招待を彼のＥメールアドレスとと
もにワーカに口頭で伝え、ワーカはふつうの紙にそのＥ
メールアドレスを書き取った。

【０１１３】−すでに受信したＥメールメッセージに、
関心のあるアドレスがかなり多くある。これらのアドレ
スを抽出する作業は思うほど簡単ではない。多くのアド
レスは、メッセージの「From（送信元）」のヘッダフィ
ールドを調べれば検出できるが、そうでないものもあ
る。実際に、有用なアドレスは、本文、全てのヘッダ及
び署名ラインを含むＥメールメッセージのどこかにあ
る。さらには、アドレスのフォーマットも一貫していな
いことがある。例えば、あるシステムでのＥメールアド
レスのフォーマットは、インターネット名の前に人間が
解釈できる名前を含み、インターネット名を鍵かっこで
囲んでいる。別のシステムでは、この情報を除去して、
インターネット名だけを示すものもある。

【０１１４】コンピュータシステムが挑むのは、これら
の別々の入力から、所望するアドレスのみを全て、好ま
しくは、単一の一貫したフォーマットで、送信されるメ
ッセージの「送信先」ヘッダフィールドに配置されるよ
うに含んだ、単一の出力文書（すなわち、ワーカの住所
変更メッセージ）を作成することである。重複する住所
は削除し、１つのアドレスも不注意によって忘れること
があってはならない。

【０１１５】ここでも、このシナリオを分散したジャン
ルという点で理解することが可能である。電子アドレス
帳、ディジタル走査された名刺、古いＥメールメッセー
ジなどから成る合成された集合は、種々のジャンル及び
オリジナル媒体中の入力文書の集合である。各文書は１
つ以上の情報を含み、この情報が、システムによって認
識され、抽出され、特定のユーザ及び目的のための、特
定化されたジャンルを有する出力文書に統合される。コ
ンピュータシステムは、所望される出力ジャンルの規定
及びユーザから得られるヒント又はガイドラインの組と
ともに種々の入力文書を検討し、（以下に詳細に説明す
るように）関連する情報を識別する。ここでも、第１の
例と同様に、システムは、入力ジャンルの特性、これら
のジャンルどうしの関係及び特定化された出力ジャンル
を参照してそのタスクを容易にする。システムが出力文
書を統合し始めると（あるいは、出力文書の構成の重要
部分として）、分散したジャンルの中間文書が入力文書
全体にわたって確立される。最終的に、システムは新し
い文書の統一されたコンピュータ表示を構成し、これか
ら出力文書が作成される。

【０１１６】多様な入力ジャンルを有する複数文書の受
信及び処理方法が図１９に示されている。

【０１１７】まず、入力文書の集合（または任意の種類
の内容１９１０）が入力され、システムがこれを受信す
る（ステップ１９１２）。つづいて入力が自動的又は半
自動的に（ユーザ入力を用いて）分析され（ステップ１
９１４）文書のジャンルが識別され、これにより文書中
のどの情報が重要かを決定する。日付、時間、住所及び
電話番号などの情報を抽出する例示的な自動的及び半自
動的方法が、すでに説明されている。上述のカレンダ及
びストリームデータ媒体の実施形態と同様に、予想され
るあらゆる種類の入力文書に対してガイダンス１９１５
がモデル又は規定の組として供給されている。これらの
モデル、テンプレートまたは規定は、予め符号化が可能
であり、あるいは、繰り返し選択されるユーザ入力に基
づき（例えば、隠れマルコフモデルを用いて）学習する
ことができる。ここで注意すべきは、入力分析ステップ
（ステップ１９１４）が完全に自動であってもガイダン
ス１９１５は供給されることである。すなわち、必要な
ユーザ入力は、すでに供給済みでジャンルモデルの形成
に使用されているか、あるいはシステムにハードコード
されている可能性があるからである。さらには、いずれ
の場合にも、ガイダンス１９１５は入力文書の社会的コ
ンテクストを表している。

【０１１８】入力文書中の重要な情報は、すでに説明し
た中間的な分散型ジャンル文書の概念に矛盾しないよう
な方法で認識される。特に、入力文書のジャンルが考慮
され、それらの各特性及び特定化された出力ジャンルと
の関係についての保存された情報（例えば、モデル、発
見的方法、統計など）を分析の際の補助として用いる。
さらに、現在の時刻、日付及びその他の状態変数など、
出力ジャンルの本質、ユーザ又はタスクの特定ガイダン
ス、及び種々の他の要因などを考慮してもよい。この段
階で、さらなるユーザとの相互作用があるかもしれな
い。すなわち、解決すべき問題の制約が不十分であれ
ば、分析工程においてさらなる情報が求められることも
ある。

【０１１９】次に、重要情報が分離されて抽出され（ス
テップ１９１６）、データベースに保存される（又は
「統合される」）（ステップ１９１８）。一般的な分散
型ジャンル文書（又はデータベース）の場合、「重要情
報」はソース文書中の識別可能な全情報であり、未知ジ
ャンルの出力文書において、どの情報もすべて使用でき
る。

【０１２０】図２０のフローチャートに関連して、出力
の生成が示されている。必ずしもそうではないが、一般
的には、出力の生成において、特定された出力ジャンル
を持つ人間解読可能な文書として、統一されたコンピュ
ータ表示（データベースにおける）が物理的形式又はデ
ィジタル形式のいずれかでユーザに再提示される。通
常、潜在的に多数の入力文書から得られたただ１つの出
力文書が存在する。しかしながら、本発明の別の使用に
おいては、１つ以上の出力が存在する場合もある。例え
ば、各受信者によってわずかに異なる関連するカレンダ
のプリントアウトを、グループの各人に１つずつ、セッ
トで生成することが好ましい場合もある。

【０１２１】出力生成の工程は、出力文書の要求を示す
コマンド２０１２の受信（ステップ２０１０）により開
始する。このコマンド２０１２により、可能性のあるジ
ャンル規定２０１６のグループから選択された、特定の
望ましい出力ジャンル規定（ステップ２０１４）が識別
される。出力文書の構成に必要な、データベースからの
情報が抽出され（ステップ２０１８）、選択されたジャ
ンル規定に一致する文書が生成され（ステップ２０２
０）、ユーザに示される。

【０１２２】ここで注目すべきは、全ソース文書からの
重要情報の全て（又はほとんど全て）がデータベースに
存在するが、特定の出力文書の生成においては、この情
報の全てが役立つとは限らない。例えば、データベース
には、特に、多数のカレンダ、Ｅメールアドレス、及び
名刺から得た情報が含まれ、ユーザは月のカレンダを作
成したい場合、名刺から得たデータのほとんどが役立た
ない。同様に、上述の住所変更の知らせの場合には、ソ
ースとなるカレンダが個人の名前及び連絡先の情報をも
含んでいない限り、カレンダ情報のほとんどが役立たな
い。言い換えると、データベースは全ジャンルにわたっ
て存在するが、特定の入力又は出力の組は、単一のジャ
ンル又はジャンルグループのみを表すこともある。

【０１２３】任意のジャンルの文書から有用な情報を導
き抽出する際の補助として種々のデータ特性が役に立
つ。これは、電話番号（図１８参照）に関してすでに説
明した。すなわち、有用なデータタイプの特定特性によ
って、文書におけるその識別が容易になる。

【０１２４】図２１には、一般的な日付２１１０の構成
が示されている。文字化された日付も発声された日付も
共通して、曜日２１１２（すなわち日曜日から土曜日）
から始まるが、これは省かれることが多い。そして、次
の２つの慣習のうちの一方が使用される。すなわち、日
にち２１１４が月２１１６に続く（又はその略語あるい
は数字による表示）か、月２１１６が日にち２１１４に
続くかのいずれかである。例えば１２月１７日は、前者
の例では、「the seventeenth of December」、「17, D
ecember」又はヨーロッパスタイルで「１７．１２，」
であり、後者の例では、「December 17」、「Dec. 17」
及び米国スタイルで「１２／１７」などである。米国ス
タイルの数字による日付とヨーロッパスタイルの数字に
よる日付とを見分けるように注意が必要であるが、この
ような領域で、文書ジャンルはガイダンスを提供する。

【０１２５】図２２には、一般的な文字化した又は発声
した時間２２１０の構成が示されている。時２２１２
（民間時間で１から１２、軍事時間で０から２３）の後
に、オプションとしてのコロン（：）、分を特定する数
字２２１６、「o'clock（時）」というフレーズのいず
れかが続く。民間時間では、別の理由で時間が明確でな
い限り（例えば、仕事に就いている日中などは明らかで
ある）「ＡＭ（午前）」または「ＰＭ（午後）のいずれ
かがたいてい続く。

【０１２６】図２３には、一般的な場所２３１０を表す
構成が示される。このフォーマットは、図１１の結婚式
の招待状に従っている。「at」などのキュー２３１２の
後に、場所名２３１４（例えば、「Saint Andrew's Eps
copal Church（聖アンドリュー監督教会）」）、番地２
３１６（オプション、例えば、「１３６０１」）、通り
名２３１８（例えば、「Saratoga Avenue（サラトガア
ベニュー）」）、スイート（部屋）又はアパート２３２
０（オプション、図１１には適用されない）、町２３２
２（オプション、例えば、「Saratoga（サラト
ガ）」）、及び州２３２４（「California（カリフォル
ニア）」）が続く。

【０１２７】前述のジャンル分析作業では、完全に自動
化された文書内容の抽出に焦点を当てたが、人間のガイ
ドによる識別及びジャンルとの相互作用を別の可能性と
して考慮することも効果的である。図４から図６に関連
してすでに説明したように、ユーザガイダンスは、生の
入力文書を分散したジャンル文書に変換する「接着材」
の重要な（かつ少なくともケースによっては、本質的
な）部分である。これは、分散した情報の形式が、その
関連性を保証するには不十分であることが多々あるから
である。例えば、文書中に隠されたカレンダに関するイ
ベントを示した日付であって、ほとんど関連のないもの
もある。上述の別の例では、住所変更の知らせのため
に、Ｅメールアドレスを収集するに当たって、不適切な
Ｅメールアドレス（単に重複したり古いアドレスとは別
に）が望ましいアドレスに混ざっている可能性がある。
したがって、発生しうる全ての異なる形式をモデルでき
るとしても、使用される完全なコンテクストをそれによ
って全て捕らえることはできないため、人間によるガイ
ダンスがやはり必要である。

【０１２８】人間によるガイダンスを認めることによ
り、抽出のパワー及び精度を高めることができる。さら
に、本発明によるシステムに対する可能な入力ドメイン
を大幅に広げることもできる。今日のユーザは、情報が
常に変化し、非常に急速に古くなってしまうという世界
に住んでいる。さらに、ユーザは、新しい情報が到着す
る形式を制御できないし、時には予測すらできない。入
力の形式が厳密に特定され、専用のワーカによってデー
タ入力が慎重に制御される伝統的な関係型システムとは
対照的に、本発明のユーザは、管理しなければならない
が制御できない流動的な（かつ社会的に構成された）情
報の世界に住むジェネラリストである。

【０１２９】したがって、現在の好ましい実施形態にお
いては、本発明は、分散型ジャンル文書を生成するプロ
セス全体を自動化することはしない。特に、ユーザは、
所与の入力文書において何が最も重要であるかについて
の重要なガイダンスをコンピュータに提供する必要がし
ばしばある。しかしながら、同時に、ある程度の自動化
は歓迎される。なぜなら、この技術を家庭及び職場で使
用する多忙なユーザは、情報のオーバーロードに悩むこ
とが多いためである。彼らが求めるのは、労力節減型の
ヘルプである。例えば、自動食器洗浄機では、皿の出し
入れはユーザが手で行わなければならないが、それでも
手で洗う場合に比べれば多大な時間が節約できる。同様
に、半自動化型の文書分析合成システムは、本発明にと
って価値がある。

【０１３０】よって、ここでは、かかるシステムにふさ
わしいガイダンスの種類を詳細に考慮することにより、
分散型ジャンルアプローチを組み込んだ半自動化型文書
分析合成システムにおける、認識、抽出及び統合タスク
を簡易化しガイドする技術を説明する。通常、この技術
には、入力文書のマーク付けが含まれる。すなわち、コ
ンピュータシステムがその後の人間による介入をほとん
ど又は全く必要とせずに自動的に処理が行えるように、
人間が手でマークを付ける。考えられるアプローチには
以下が含まれるが、以下のアプローチに限られるわけで
はない。

【０１３１】フィルタリング どの文書をシステムに提示すべきかを選択することによ
り、ユーザは文書の領域をフィルタリングして問題の空
間を限定することにより、システムに対して最初の大ま
かな制御を行う。以後の分析は半自動的な動作が可能で
ある。

【０１３２】比較の前後 ユーザは、直線や円あるいは他の図形マークを描くこと
により、入力文書のどの部分に特に関心があるかを示し
たり、さらには追加又は削除などの処理を示す。例え
ば、上述の無定型形式技術（米国特許第５，６９２，０
７３号）を用いて、ペーパカレンダを自動的にオンライ
ンカレンダに同期化させることができる。カレンダはま
ず用紙にプリントされていると想定する。時間の経過と
ともに、予定を消すための×印、予定を移動するための
矢印及び手書きによる新しい予定の記入により、その紙
には注釈が書き込まれる。続いて、このペーパコピーを
再走査し、電子バージョンに再び同期化することができ
る。最新の技術では、所定日に対する注釈が抽出され、
（手書き認識により）分析され、電子カレンダに挿入さ
れる。このカレンダは、必要であれば再プリントが可能
である。予定の移動及び削除というより簡単なタスクに
は認識は不要であり、上記’０７３特許に記載されるよ
うに抽出にマークをすればよい。

【０１３３】ペンベースの注釈 少なくとも２つの異なるユーザペンを用いた相互作用技
術によりシステムをガイドすることができる。第１に、
異なる複数のペンを使用することにより、あるいは単一
のペンの異なるモード（例えば、複数色が使用可能なペ
ン）を使用することにより、ユーザは、異なるインクフ
ォーム（有形フォームでも仮想フォームでもよい）によ
って異なる形式の情報を区別することができる。これ
は、一般的に蛍光マーカである種の情報を示し、鉛筆で
他の情報を示すのと同様である。第２に、走査ペンを使
用することにより、ユーザは、文書のどの部分に関心あ
る情報が存在するかを直接示すことができる。ラインが
走査される時間的な順序及び走査の間にペンによって加
えられる注釈の内容により、システムをさらにガイドす
ることができる。この動作のモードの例が、図７から図
１１に特に関連して、すでに詳しく説明されている。

【０１３４】モデリング すでに説明したように、パターンベースの認識によって
適当なモデルを選択することにより、抽出可能な文書タ
イプの種々のモデルを準備し、使用することができる。
一般的には、モデルは、高度に様式化された文書形式で
あってもよいし、ジャンル構成を特定するものでもよ
い。

【０１３５】さらに、ユーザ相互作用の種々の他のモデ
ルを使用することもできる。例えば、（上述のよう
に、）完全に自動化された情報抽出作業の繰り返し、及
びこれに続くユーザリビューステップなどである。この
ユーザリビューステップにおいてはは、製品を「拒絶」
して再度の試みを促す、あるいは暗にその製品を受け入
れるかのいずれかである。

【０１３６】図７から図１１に特に関連して説明したよ
うに、本発明にかかる入力装置としてスマート走査ペン
を使用することができる。このようなペン２４１０の機
能的コンポーネントを示すブロック図が図２４に示され
ている。入力装置は、搭載処理装置２４１２、データイ
ンターフェース２４１４（赤外線またはＲＦ無線リンク
など）、光学走査ヘッド２４１６、マニュアル走査コン
トローラ（少なくとも１つのプッシュボタンなど）２４
１８、ビジュアルフィードバック機構２４２０（表示ラ
イト又はディスプレイスクリーンなど）、任意のオーデ
ィオ又は触覚フィードバック機構２４２２、及び搭載記
憶装置２４２４を含む。これらの機能的コンポーネント
については、以下にさらに詳しく説明する。

【０１３７】走査ペンの１実施形態が図２５に視覚的に
示されている。ペン２５１０は、従来のペン型本体２５
１２、二方向赤外線送受信器２５１４、走査ヘッド２５
１６、プッシュボタン２５１８、及び表示画面２５２０
を含む。

【０１３８】ペン２５１０の好ましい実施形態において
は、表示画面２５２０は、少なくとも２つの情報項目、
すなわち（ａ）走査ヘッド２５１６の下方に位置する認
識された文字と（ｂ）ペンの現在のモードとをユーザに
確認すべく動作する。カレンダ作成システムに関連して
すでに説明したように、走査ペンによって、イベント
名、日付、時間などを含む複数の情報項目を、プリント
されたカレンダから抽出することができる。ボタン２５
１８を押すことによって、異なるイベントの入力を示
す。走査ペンのモードは、次のように実行される。すな
わち、ボタンを押すことによりモードが「リセット」さ
れ、新しい情報のバッチを待機する。本発明の好ましい
実施形態においては、種々の情報項目を特定の順序で走
査する必要はなく、システムは、各データタイプの異な
る特性により、これらの情報項目を識別することができ
る。しかしながら、より簡易化された実施形態では、ペ
ンに対して、入力されるフィールドに特定の順序（例え
ば、イベント名が最初で、日付、時間がこれに続く）が
求められることもあり、このような要求は表示画面２５
２０に表示される。さらに、システムが名刺などの別の
ジャンルからの情報を期待することもある。ペンのモー
ド表示を利用して、期待される入力のジャンルと入力す
べき特定データ項目の両方を、集合的に又は連続的にユ
ーザに示すことができる。本発明の好ましい１実施形態
においては、モードブック（図２７）にプリントされた
ディジタルコードを走査することにより手動によるモー
ド変更を行うことができる。

【０１３９】ペン２５１０の１実施形態においては、画
面２５２０は、直径が１インチから２インチ（約２．５
ｃｍから５ｃｍ）である。この構造では、ペン２５１０
をプリントされたページの文字走査に使用しながら画面
を読むことが可能である。ペンのモードはカラー表示で
表され、走査された文字はスクロール文字として画面上
に表示される。画面の中央に現在の視界が表示され、す
でに走査された文字は左側（ラインが右から左へ走査さ
れる場合は右側）に現れる。

【０１４０】画面２５２０の下方には、表示画面２５２
０の動作をサポートする搭載論理部及びデータベース３
１０（図３）に送信する前にデータを蓄積する任意の記
憶領域を収容するための十分な領域がある。本発明の１
実施形態においては、入力は、コマンド（ボタン２５１
８を押すなどして示す）によりデータをデータベース３
１０に送信することが示されるまで、ペンの記憶装置２
４２４に保存されている。または、データ送信のコマン
ドは、ユーザではなく、データベース３１０によって開
始してもよい。

【０１４１】別の形状要素を有する走査ペン２６１０が
図２６に示されている。このバージョンは、カード型の
本体２６１２（好ましくはクレジットカードの大きさ及
び形）、１角部に位置する走査ヘッド２６１６、及び上
端縁に沿って取り付けられたボタン２６１８を有する。
表示画面２６２０は方形の本体の１側面に位置し、通常
は文字の走査中には見えないが、ペン２６１０を紙から
持ち上げれば簡単に見ることができる。このペンは、さ
らに、モード変更又はコマンド入力を簡単に行えるよう
にする複数の入力ボタン２６２２を有する。

【０１４２】走査ペンモードの手動による変更を可能に
するモードブック２７１０が図２７に示されている。モ
ードブック２７１０は複数のモードカード２７１２を含
み、各モードカードには、ペンのモードを変更すべくあ
るいはコマンドを入力すべく機能する、走査可能なデー
タフィールドが少なくとも１つ含まれる。各走査可能な
データフィールドは、機械により読み取りの可能な情報
（例えばバーコード、２次元グリフコード、又は簡単に
認識可能な文字など）と人間が解読できるラベルとを含
む。例えば、例示されるモードカード２７１２には、以
下の９つのデータフィールドが含まれる。すなわち、
「開始日」フィールド２７１４及び「開始時間」フィー
ルド２７１６、「終了日」フィールド２７１８及び「終
了時間」フィールド２７２０、「場所」フィールド２７
２２、「説明」（タイトル）フィールド２７２４、及び
３つのコマンドフィールド、すなわち、リマインダの設
定２７２６、イベントを緊急としてマーク２７２８、又
は既存の情報を確認２７３０である。

【０１４３】モードブックは、次のように使用される。
ユーザが走査ペン２４１０を使って名刺を読み込んでい
る場合には、例えば、システムは個人の身元、オフィス
の住所、電話番号などを表すデータの受信を予想する。
ところが、ここでユーザがカレンダ情報の入力し始めた
いと思っても、走査ペンを使うだけではそれを示す単純
な方法はない。１つ以上の入力ボタンを使ってモードを
変更することもできるが、この方法は時間がかかる上に
エラーが生じやすい。そこで、モードブック２７１０を
使うことにより、ユーザはカレンダジャンルに関連する
モードカード２７１２を選んで、例えば「開始日」２７
１４などの選択されたフィールド上に走査ペンを走らせ
る。これにより、ジャンルの変更とモードの変更のいず
れもが起こることがシステムに示される。同一のカレン
ダジャンルモードカード２７１２を続いてなぞると、モ
ードの変更のみが示される。走査ペン２４１０によって
文書走査のなぞりを行う度ごとに必ずモード変更を行
い、次の情報を示すようにすることもできるし、または
好ましい１実施形態においては、このようなモード変更
によって（図７から図１１に関連して説明したように）
システムのデフォルトを取り消すこともできる。

【０１４４】走査ペン２４１０の好ましい１実施形態に
おいては、モード変更及びジャンル変更は、可聴または
触覚フィードバックによってユーザに示され、確認され
る。例えば、可聴ビープ音など（合成された音声プロン
プトでもよい）などを用いて、（ａ）カレンダジャンル
が現在作動中であること、及び（ｂ）システムは次に
「開始日」の受信を予想していることを示すことができ
る。同様に、（サイレントアラームを有するページャ
（ポケットベル）と同様に）ペンの本体を振動させる
か、あるいは、走査中の紙上のテクスチャを模するよう
に走査ヘッド２４１６を移動させることにより実施され
る独自の触覚センサによって、上記の情報をユーザに表
すことができる。よって、ユーザはモード変更の度に表
示画面２５２０又は２６２０を見て確認する必要がな
い。

【０１４５】上述のカレンダ作成システム及び名刺に関
連して走査ペン２４１０及びモードブック２７１０を説
明したが、システムは他の種類の文書の読み取りにも同
様に適用できる。この場合、単にモードブック２７１０
を拡大して、異なるジャンル及び日付の種類を特定する
ことも考えられる。

【０１４６】本発明の別の有用な態様は、（図１のユー
ザ端末１１０及び１１２のような）寄生型のユーザ端末
である。相互作用型の寄生ユーザ端末２８１０の例が図
２８に機能的に示されている。端末２８１０は、少なく
とも、搭載処理装置２８１２、イメージディスプレイ２
８１４、データインターフェース２８１６、及び電力イ
ンターフェース２８１８を含む。端末２８１０に組み込
むことのできるシステムの他の構成要素（図２参照のこ
と）には、ボタン２８２２、タッチ画面２８２４及び手
書き用スタイラス２８２６を備えた入力インターフェー
ス２８２０、及びオーディオ入力２８３２とオーディオ
出力２８３４を備えたオーディオインターフェース２８
３０が含まれる。さらに、搭載記憶装置を含むことによ
り、システムの他の部分に対する一定の通信リンクを用
いずに端末２８１０の使用を簡単にしてもよい。

【０１４７】好ましい１実施形態においては、端末は断
面が薄く、壁、ホストとなる家電機器（冷蔵庫など）又
はその他の垂直表面に取り付けが可能である。台所、特
に冷蔵庫は一般的な家庭の集合場所であることが認めら
れている。これは、買い物リスト、メモ及び他の文書
を、マグネットや画鋲で冷蔵庫（又はその近くの掲示ボ
ード）に留めるという一般的な慣習にも証明される。よ
って、家族全員がメッセージ、メモ及びカレンダを見る
可能性の高い場所にユーザ端末を設置することは効果的
であることが分かる。しかしながら、システムの他のコ
ンポーネントは別の場所に配置するのがより効果的であ
ることに留意すべきである。

【０１４８】ユーザ端末の１実施形態が図２９に示され
ている。寄生型表示端末２９１０が、特殊適合された冷
蔵庫２９１２と協同的に（かつ、別の実施形態では、こ
れと構造的に一体に）取り付けられている。特に、冷蔵
庫の扉の切り欠き部分２９１４に示されるように、冷蔵
庫は、ヒンジを介して冷蔵庫の電源までドアを通過して
延びる電気供給線２９１６を含む。この電力供給線２９
１６は、端末の構造的サポートとしても機能する、冷蔵
庫２９１２のドアに位置するソケットを介して、又は当
業界で周知の誘導結合によって、端末２９１０の電力イ
ンターフェース２８１８に接続されている。いずれの場
合も、端末２９１０は電力をホストである冷蔵庫２９１
２から得ている。

【０１４９】ここで注目すべき重要な点として、端末２
９１０は物理的にホストである家電製品、すなわち冷蔵
庫２９１２に取り付けられているが、ホスト２９１２と
端末２９１０との間に直接的なデータインタフェースは
１つも設けられていない。よって、ホストがその状態を
遠隔のＣＰＵ２１２（図２）に送信する別の能力を備
え、ＣＰＵ２１２が端末にその情報を送らない限り、端
末はそのホストの状態を表示したりあるいは別の方法で
示すことはできない。したがって、端末２９１０の主な
目的は、本発明のシステムとユーザとの相互作用を提供
することにある。

【０１５０】さらに、端末２９１０の他の構成要素も明
らかである。表示画面２９２０、スタイラス２９２２、
指向性ナビゲーションパッド２９２４、選択ボタン２９
２６、コマンド入力ボタン２９２８、及びオーディオイ
ンターフェースがさらに含まれる。これらの構成要素は
端末のオプションであり、かつ当業界では周知である。

【０１５１】端末の別のバージョンが、壁設置型端末３
０１０として図３０に示される。この端末は、壁３０１
２に物理的に取り付けられ、それ以外は図２９に示した
バージョンと同様である。電気供給線３０１６は、一般
的な家庭の電気コンセント３０１８に接続されている。
この例でも、構造的なサポートとしても機能するコンセ
ント３０１８を介して、あるいは誘電結合によって、端
末３０１０に電力が供給される。

【図面の簡単な説明】

【図１】 本発明による、ネットワーク化された文書処
理及びデータベースシステムの種々の例示的物理的コン
ポーネントを示す概略図である。

【図２】 図１によるネットワークに使用される種々の
例示的機能コンポーネントを示すブロック図である。

【図３】 本発明による情報管理システムの高レベルの
機能的全体像を表すブロック図である。

【図４】 本発明による例示的カレンダ作成システムに
おいて行われる工程を示すフローチャートである。

【図５】 図４に示された方法において自動入力分析で
実行される工程を示すフローチャートである。

【図６】 図４に示された方法において半自動入力分析
工程で実行される工程を示すフローチャートである。

【図７】 図４のカレンダ作成システムによって処理で
きる例示的な学校スケジュールである。

【図８】 図４のカレンダ作成システムによって処理で
きる例示的なプログラムスケジュールである。

【図９】 図４のカレンダ作成システムによって処理で
きる余分な情報を含んだ例示的なスナックスケジュール
である。

【図１０】 図４のカレンダ作成システムによって処理
できる例示的なサッカーの試合スケジュールである。

【図１１】 図４のカレンダ作成システムによって処理
できる例示的な結婚式の招待状である。

【図１２】 図４のカレンダ作成システムによって生成
できる例示的な電子出力カレンダである。

【図１３】 本発明による例示的な電話メッセージ処理
システムにおいて実行される工程を示したフローチャー
トである。

【図１４】 電話メッセージの一般的な構成を示す図で
ある。

【図１５】 図１３に示される方法の自動メッセージ分
析において実行される工程を表すフローチャートであ
る。

【図１６】 図１３に示される方法の半自動メッセージ
分析において実行される工程を表すフローチャートであ
る。

【図１７】 図１３に示される方法の主として手動のメ
ッセージ分析において実行される工程を表すフローチャ
ートである。

【図１８】 発声された電話番号の一般的な構成を示す
図である。

【図１９】 本発明による例示的な分散型ジャンル文書
処理システムにおいて実行される入力工程を示すフロー
チャートである。

【図２０】 本発明による例示的な分散型ジャンル文書
処理システムにおいて実行される出力工程を示すフロー
チャートである。

【図２１】 発声されたまたは文字化された日付の一般
的な構成を示す図である。

【図２２】 発声されたまたは文字化された時刻の一般
的な構成を示す図である。

【図２３】 位置又は住所の一般的な構成を示す図であ
る。

【図２４】 本発明による、モード化された走査ペンの
コンポーネント例を示す機能的ブロック図である。

【図２５】 第１の形状を有する、本発明によるモード
化された走査ペンの視覚的な表示例である。

【図２６】 第２の形状を有する、本発明によるモード
化された走査ペンの視覚的な表示例である。

【図２７】 本発明による、モード化された走査ペンと
ともに用いられるモードブックの視覚的表示例である。

【図２８】 本発明による例示的な寄生型ユーザ端末
（parasitic user terminal）のコンポーネントを示す
機能的ブロック図である。

【図２９】 ホストである冷蔵庫に取り付けた図２８の
寄生型ユーザ端末の視覚的表示である。

【図３０】 壁に取り付けた図２８の寄生型ユーザ端末
の視覚的表示である。

【符号の説明】

１１０，１１２ ユーザ端末、１１４ ＣＰＵ、１１６
パーソナルコンピュータ、１１８ 電話機、１２０
文書スキャナ、１２２ ファックス装置、１２４ プリ
ンタ、１２６ 手書き入力プレート、１２８ ネットワ
ーク、２１０二方向通信リンク、２１２ ＣＰＵ、２１
４ メモリ、２１６ ディスプレイ、２１８ 記憶装
置、２２０ キーボード、２２２ ポインタ装置、２２
４ 手書きプレート、２２６ スキャナ、２２８ マイ
クロフォン、２３０ スピーカ、２３２ プリンタ、２
３４ 他の入力装置、２３６ 他の出力装置、２３８
認識処理装置、２４０ 他の処理装置、３１０ データ
ベース、３１２ 入力出力サブシステム、３１４ 文
書、３１６ 音声メッセージ、３１８ 注釈、３２０ジ
ャンル規定。

フロントページの続き (72)発明者 ケネス ピー フィッシュキン アメリカ合衆国 カリフォルニア州 レッ ドウッド シティ ヘブン アベニュー 924 (72)発明者 キャサリン シー マーシャル アメリカ合衆国 カリフォルニア州 マウ ンテン ビュー アーネスティン レーン 1367 (72)発明者 アレキサンダー イー シルバーマン アメリカ合衆国 カリフォルニア州 メン ロ パーク パートリッジ アベニュー 861 (72)発明者 トッド エイ カス アメリカ合衆国 カリフォルニア州 サン フランシスコ ディグバイ ストリート ４

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ディジタルデータストリームに含まれる
   情報を処理して管理する方法であって、 ディジタルデータストリームを受信するステップと、 前記ディジタルデータストリームの構成を表すガイダン
   スを受信するステップと、 前記ディジタルデータストリームを分析するステップ
   と、 前記ガイダンスを用いて前記ディジタルデータストリー
   ムに含まれる少なくとも１つの重要データ項目を識別す
   るステップと、 前記重要データ項目へのポインタを保存するステップ
   と、 を含む方法。