JP2005509948A - 物理的な文書から電子文書を選択すると共に前記物理的な文書上に重ねて前記電子文書を表示するシステムおよび方法 - Google Patents

物理的な文書から電子文書を選択すると共に前記物理的な文書上に重ねて前記電子文書を表示するシステムおよび方法 Download PDF

Info

Publication number
JP2005509948A
JP2005509948A JP2003544626A JP2003544626A JP2005509948A JP 2005509948 A JP2005509948 A JP 2005509948A JP 2003544626 A JP2003544626 A JP 2003544626A JP 2003544626 A JP2003544626 A JP 2003544626A JP 2005509948 A JP2005509948 A JP 2005509948A
Authority
JP
Japan
Prior art keywords
document
page
hyperlink
physical
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003544626A
Other languages
English (en)
Other versions
JP4081008B2 (ja
Inventor
インセルティス、カロ、フェルナンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2005509948A publication Critical patent/JP2005509948A/ja
Application granted granted Critical
Publication of JP4081008B2 publication Critical patent/JP4081008B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】物理的な文書から電子文書を選択すると共に、前記物理的な文書上に重ねて前記電子文書を表示するシステムおよび方法。
【解決手段】本発明は、物理的な(すなわちハードコピー)文書から直接、ユーザ・ワークステーション上、または通信ネットワークに接続された1台または複数のサーバ上に位置するハイパーテキスト文書を選択し、それにアクセスしてそれを取り出すと共に、取り出されたハイパーテキスト文書を前記物理的な文書上に重ねて表示するシステムおよび方法を開示する。ユーザは、物理的な文書上に表示された電子ハイパーテキスト文書で強調表示された項目(すなわち単語、文字、記号、図画、アイコンなど)に触れるだけで、その情報にアクセスする。本方法はユーザ・システムで使用するためのものであり、
1ページまたは複数ページを含む物理的な文書を識別するステップと、
前記物理的な文書のページを識別するステップと、
物理的な文書の各ページごとに電子文書の識別および位置を含む文書ハイパーリンク表を参照して、識別されたページに関連する電子文書を識別し、探し出すステップと、
識別されたページに関連する電子文書にアクセスし、それを取り出すステップと、
識別されたページ上に重ねて配置された光タッチ・フォイルによって、取り出された電子文書を表示するステップと
を含む。

Description

本発明は、コンピュータ・インターフェイス、および電子情報を用いて紙による情報を拡張する新しい方式に関する。より詳細には、本発明は、物理的な文書を、ネットワークをナビゲートし、ハイパーテキスト文書(すなわち他の文書へのハイパーリンクを含むことができる文書)を閲覧するためのインターフェイスとして使用するシステムおよび方法に関する。
近年、主としてパーソナル・コンピュータが普及し、何百万ものユーザが広くワールド・ワイド・ウェブにアクセスするようになったため、「マルチメディア出版」が紛れもなく爆発的に増加している。CD−ROMドライブの広範な普及により、パーソナル・コンピュータの所有者は、今や、テキスト、画像および音声を組み合わせた膨大な量のマルチメディア出版物にアクセスすることができる。対話式電子サービス、ビデオ・オン・デマンド、およびワールド・ワイド・ウェブは、映画、買物情報、ゲーム、マルチメディア文書、電子商取引、その他の多数のサービスというますます増加する提供物にアクセスを提供しつつある。こうした発展の中で、今日、インターネットを介してワールド・ワイド・ウェブ上で信じられないほど多量のハイパーメディア情報にアクセスすることができる。
コンピュータ技術、データの電子的記録、処理および表示、マルチメディアおよびウェブのたゆみない発展にもかかわらず、紙の使用は減少していない。事実、今日、人々が毎日読み、調べ続けている情報の大部分は、ハードコピーされ、印刷され、あるいは書かれた情報であって、電子的に記録され表示された情報ではない。
多くの分析家が、新しいコンピュータ・ベースのマルチメディア・サービスに対する一般の人々の関心が高いことを、従来の形のハードコピー出版、具体的には書籍出版に対する脅威であると見なしていても、実際には、書籍を読むことは、電子媒体を読むことと同等ではありえない。多くの電子システムが、例えば、マルチメディア・サービスによりアクセスしやすくするなど多くの利点を提供することによって紙に取って代わろうとしても、大部分の人々にとっては、その人がコンピュータに精通しているか否かに関わらず、依然として紙を読む方が好ましい。将来、紙の書籍が電子書籍(Eブック)に置き換わるかどうか、あるいは真の「ペーパーレス」オフィスが実現するかどうかを予見するのは困難である。
人々は、普通、ページをめくって図画やテキストを見ることによって、紙のカタログ、雑誌、新聞、地図および書籍を読んだり、拾い読みしたりするほうを好む。連続したコンピュータ画面よりは印刷されたカラー写真集のほうがはるかに楽に早く目を通すことができる。
マサチューセッツ工科大学メディア研究所のジェイ・ジェイコブソン(J.Jacobson)、ビー・コミスキー(B. Comiskey)シー・ターナー(C. Turner)、ジェイ・アルバート(J. Albert)、およびピー・ターソウ(P.Tsao)による、「最後の書籍(The Last Book)」、IBMシステムズ・ジャーナル(IBM Systems Journal)、第36巻、第3号、1997、という題名の出版物には、印刷された書籍およびコンピュータ画面が以下の表現で比較されている。
「書籍は、それが多数の同時に存在する高解像度表示ディスプレイを物理的に具体化したものであるという点で、コンピュータ画面とは根本的に異なる実体を意味する。ページをめくっても、その前のページが失われることはない。進化を通じて脳は高度に洗練された空間マップを発達させてきた。マニュアルや教科書に精通している人は、非常に的確に自分が探し求める情報を探し出すことができる。それは例えば、そうした人が、ちょっとだけしか見たことのないものがページの右側にあったかそれとも左側にあったかを覚えていられることによって立証される。さらに、そうした人の脳の空間マップとの触覚の接続は、そうした情報が実際の複数の物理的なページ上に具体化されているときには高度に自然で効果的なインターフェイスを含む。
複数の、同時に存在するページ上に情報を具体化することの別の局面は、偶然の発見および比較の局面である。私たちは、大量のテキストや図表にざっと目を通し、最も興味を引く部分に指を挟んでおくことができる。同様に、具体的な1組のグラフィック・デザインのうちどれが最も満足のいくものであるか決定する場合に行われることなど、各要素を相互に対比して考察するために大量の類似事項を集めることができる。」
人々にとって、紙には多くの利点がある。紙は持ち運びでき、扱い慣れており、配布が容易である。紙は見る、マークする、あるいは扱うのが容易であり、表示するためのエネルギー源を必要としない。ハードコピー文書の扱いやすさ、有用性および入手可能性は、今日、電子文書で再現することができない。
しかし、印刷された書籍の最も重大な問題は、もちろん、それらを変更し、修正し、更新し、あるいは完全なものにすることが通常は容易にできないことである。
印刷された出版物から補足情報に直接アクセスできるようにするために、「物理的な文書上で強調表示された項目に触れることによって対話式マルチメディア情報またはサービスにアクセスする方法およびシステム(Method and system for accessing interactive multimedia informationor services by touching highlighted items on physical documents)」という名称の米国特許出願09/841930(IBM参照番号FR9−2000−0022)には、光タッチ・フォイルによってハードコピー文書の表面(または他の任意の物理的表面)上で電子的に照明された項目(単語、文字、記号、図画、アイコンなど)に単に指で触れるだけで、ユーザ・ワークステーション上に(または通信ネットワークに接続された1台または複数のサーバ上に)位置するマルチメディア情報またはサービスあるいはその両方を選択し、それにアクセスするシステムおよび方法が開示されている。そのシステムは、以下のものを含む。
ユーザによって文書(または前記文書の一部)の上(または下)に配置された、好ましくは透明の光タッチ・フォイル。この光タッチ・フォイルを使用して、
物理的な文書(またはこの物理的な文書の一部)の表面上でハイパーリンク項目を照明、強調表示し、
それらのハイパーリンク項目の座標を読み取る。
ハイパーリンク項目に関連する情報またはサービスあるいはその両方にアクセスし、それを表示するユーザ・ワークステーション。
ハイパーリンク項目は、光タッチ・フォイルによって生成された光信号(または光点)によって識別される。光タッチ・フォイルは、ユーザ・ワークステーションの制御下で動作する。照明された項目は、光タッチ・フォイルを押すことによって選択される。ユーザがすべての照明項目の中の1つの項目を選択すると、ユーザ・ワークステーションは光タッチ・フォイルから、その選択された項目の位置を示す信号を受け取る。ユーザ・ワークステーションは、ハイパーリンク表を参照して、選択された項目の位置に関連する情報またはサービスあるいはその両方を識別し、それを探し出す。その情報またはサービスあるいはその両方がリモート・サーバに位置する場合は、そのサーバに要求が送信される。その情報またはサービスあるいはその両方がユーザ・ワークステーションに記憶されている場合は、その情報またはサービスあるいはその両方にローカルでアクセスする。
次いでその情報またはサービスあるいはその両方は、その情報が関連する文書上ではなく、別のディスプレイ上に取り出され、表示される。したがって、物理的な文書から照明項目に関連する情報が選択された場合でも、その情報は、その同じ文書の上ではなく、別の媒体、一般にはそのユーザ・ワークステーションのディスプレイ上でユーザに示される。したがってユーザは、物理的な文書からワークステーション、またその逆に往復して、頻繁に頭を動かし、目の焦点を変更せざるを得ない。このプロセスは、ユーザの快適さ、安心感および注意力を最適にする上で好ましくない。
同じ光タッチ・フォイルを使用した、「物理的な文書上で、電子文書中で参照されている項目を探し出すシステムおよび方法(System and method for locating on a physical document itemsreferenced in a electronic document)」という名称の米国特許出願09/892399(IBM参照番号FR9−2000−0027)では、同じ光タッチ・フォイルを使用して物理的な文書上で、電子文書中で参照されている項目を探し出す方法およびシステムが開示されている。好ましい一実施形態では、この発明は、紙の地図上で、Webページで参照される場所の地理的位置を強調表示できるようにする。
また、光タッチ・フォイルを使用した、「物理的な文書上で、別の物理的な文書中で参照されている項目を探し出すシステムおよび方法(System and method for locating on a physical document itemsreferenced in another physical document)」という名称の米国特許出願09/923150(IBM参照番号FR9−2000−0039)では、第1の物理的な文書上にある項目(単語、図画、脚注、記号、アイコンなど)から第2の物理的な文書(原稿または印刷された文書)上にある個々の点へのハイパーリンクを作成し、第1の文書に単に触れるだけでそれらのハイパーリンクをアクティブ化し、発光源によって第2の文書上の項目の位置を強調表示する方法およびシステムが開示されている。好ましい一実施形態では、この発明は、ハードコピーの地図上で、ハードコピー文書中で参照されている場所の地理的位置を強調表示できるようにする。
これらの特許出願は、電子文書または物理的な文書上で参照されている項目の位置を、紙の地図上の単なる光点として示すことだけに限られる。
本明細書の前段で引用した参照文献「最後の書籍(The Last Book)」、IBMシステムズ・ジャーナル(IBMSystems Journal)、ジェイコブソン他(Jacobson et al.)には、「動画」書籍とみなすことのできるものの可能性が記載されている。
「最後に、書籍自体の変化しつつある実体に関して論じておく必要がある。例えば中世の宗教本などは、カール大帝の時代に発明されたその太く黒いゴシック文字から即座に識別される。同様に、豪華に描かれた詩篇の最初の文字や、近代携帯式書籍の発明者、アルドゥス・マヌティウスによって活字に組まれた、ほぼすべての書籍の詩的なレイアウトも容易に識別される…。したがって、アラブ種馬の遺伝学に関する[ある]書籍に、ある種の馬の実際の動きを示すビデオ・クリップ含まれることがある。重要なことは、このビデオ・クリップが、私たちの書棚に置かれている個々の書籍中の個々のページに、空間的にマッピングされて、存在していることである。それには、私たちがそこでそれを探し出せると知っている具体的な空間的場所がある。これを、すべての変更可能な画像をそれを介して受け取る必要のある、今私たちのデスクトップ上にある1台のモニタと対比すれば、動画化原稿という考えが鮮明になる。」
以下は、インターネット・サイト:http://www.rolltronics.com/intro_oled.htmにある、ジェームズ・シーツ博士(Dr.James Sheats)、「有機発光ダイオード(OLED)の手引き(Introduction to Organic Light-EmittingDiodes (OLEDs))」という題名の記事からの引用である:
「シリコン・ベースのトランジスタ(およびその集積回路への組み込み)、光ファイバおよび固体レーザによって可能になった、電子技術および光電子技術革命の影響は、現代商取引のほとんどあらゆる局面ではっきりと認められる。未だ市場の需要を満たすにはほど遠く、これらの装置は、私たちがこれまで思い描いてきたものをはるかに超えて急増することが予測される。先進国の各家庭の約50%は1台のパーソナル・コンピュータを所有しているが、業界リーダらの今日の予測では、次の10年ほど間に、私たちはみな、そのすべてがインターネットに類似したネットワーク上で相互にやりとりする、何十台、あるいは何百台もの(その大部分が情報機器に組み込まれた)コンピュータを所有することになる。私たちは、それらのコンピュータがその機能を果たす限り、それがどこにあるか知ることも、知ろうとすることもなくなるであろう。」
「この新しい『パーベイシブ・コンピューティング(pervasivecomputing)』(ヒューレット・パッカード研究所のジョエル・バーンバウムによる造語)の世界では、コンピュータ使用の大部分が、電気やガスと同様のネットワークによって接続された分散リソースによって実行され、ユーザの「コンピュータ」に対する意識は、ユーザがそのインターフェイスにおいて見るもの、すなわちディスプレイおよび入力装置だけにしか存在しない。今は「周辺装置」とみなされているディスプレイはユーザから見た中心的対象となり、プロセッサは周辺装置になる。しかしこの構想は、現在の陰極線管や高価な(低速の)液晶とは全く異なるディスプレイを必要とする。というのは、それらが非常に多数必要とされ、しかもコンパクトで持ち運び可能でなければならないからである。今日、表示技術は、コンピュータ技術に比べると未発達である。実際、紙の方が媒体として好まれるため、「ペーパーレス・オフィス」という初期の構想に反する結果になっている。」
したがって、今日、物理的な文書上で文脈に即して表示することのできる電子的図表、画像またはテキストあるいはそれらの組み合わせの形の情報で物理的な文書を向上させる新しいシステムおよび方法をユーザに提供することが求められている。
本発明は、今日広範に使用可能な、単純マトリクス方式の透明有機エレクトロルミネセンス(EL)デバイス(TOLEDS)およびELポリマーに基づくものなどの新規表示技術を、タッチ・フォイル技術など他の技術とどのように統合することができるか、またそれをどのように使用して、固定された静的なハードコピー文書を動的で、動画化された、変更可能な情報源に変換することができるかを開示する。
米国特許出願09/841930 米国特許出願09/892399 米国特許出願09/923150 ジェイ・ジェイコブソン(J. Jacobson)、ビー・コミスキー(B.Comiskey)シー・ターナー(C. Turner)、ジェイ・アルバート(J. Albert)、ピー・ターソウ(P. Tsao)、「最後の書籍(TheLast Book)」、IBMシステムズ・ジャーナル(IBM Systems Journal)、第36巻、第3号、1997 ジェームズ・シーツ博士(Dr. James Sheats)、「有機発光ダイオード(OLED)の手引き(Introductionto Organic Light-Emitting Diodes (OLEDs))」、http://www.rolltronics.com/intro_oled.htm
本発明の広義の目的は、電子的手段によって物理的な文書の情報内容を拡張し、補完することである。
本発明の別の目的は、物理的な文書から直接電子文書を選択し、それにアクセスすること、および同じ物理的な文書上に重ねて前記アクセスされた電子文書を表示することである。
本発明の別の目的は、ネットワークをナビゲートし、ハイパーテキスト文書を閲覧するためのインターフェイスとして物理的な文書を使用することである。
本発明は、物理的な(すなわちハードコピー)文書から直接、ユーザ・ワークステーション上、あるいは通信ネットワークに接続された1台または複数のサーバ上に位置するハイパーテキスト文書を選択し、それにアクセスしてそれを取り出すと共に、取り出したハイパーテキスト文書を前記物理的な文書上に重ねて表示するシステムおよび方法を開示する。ユーザは、単に、物理的な文書上に表示された電子ハイパーテキスト文書上で強調表示された項目(単語、文字、記号、図画、アイコンなど)に指で触れるだけで情報にアクセスする。
各独立請求項で定義されるように、本発明は、物理的な文書から電子情報を選択すると共に、前記選択された電子情報をその物理的な文書上に表示するシステムおよび方法を対象とする。この方法はユーザ・システムで使用するためのものであり、
1ページまたは複数ページを含む物理的な文書を識別するステップと、
前記物理的な文書のページを識別するステップと、
その物理的な文書の各ページごとに電子文書の識別および位置を含む文書ハイパーリンク表を参照して、識別されたページに関連する電子文書を識別し、探し出すステップと、
識別されたページに関連する電子文書にアクセスし、それを取り出すステップと、
取り出した電子文書を、識別されたページ上に重ねて配置された光タッチ・フォイルによって表示するステップと
を含む。
本発明のさらなる実施形態は付記された各従属請求項に記載されている。
本発明の上記その他の目的、特徴、および利点は、以下の明細書、ならびに添付の特許請求の範囲および図面を参照すればより適切に理解することができる。
本発明の特徴であると考えられる新規で発明性のある特徴は、添付の特許請求の範囲に記載されている。しかし、本発明自体、ならびにその好ましい使用形態、その他の目的および利点は、以下の詳細な実施形態の例の詳細な説明を添付の図面と併せて読めば、最もよく理解されるであろう。
本発明は、物理的な(すなわちハードコピー)文書から直接、ユーザ・ワークステーション上、または通信ネットワークに接続された1台または複数のサーバ上に位置する電子ハイパーテキスト文書を選択し、それにアクセスしてそれを取り出すと共に、その物理的な文書上に重ねて取り出された電子ハイパーテキスト文書を表示するシステムおよび方法を開示する。補足情報を選択しそれにアクセスするには、ユーザは、その物理的な文書上に表示された電子ハイパーテキスト文書で強調表示された項目(すなわち下線、単語、文字、記号、図表、アイコンなど)に指で触れるだけでよい。
このシステムは、以下のものを含む。
ユーザによって物理的な文書(または前記物理的な文書の一部)の上に重ねて配置された、透明の光タッチ・フォイル。この光タッチ・フォイルを使用して
物理的な文書(またはこの物理的な文書の一部)の表面に重ねてハイパーテキスト文書を表示し、
表示されたハイパーテキスト文書中に含まれるハイパーリンク項目を強調表示し、
ユーザによって選択されたハイパーリンク項目の座標を感知する。
選択されたハイパーリンク項目に関連するハイパーテキスト文書にアクセスすると共に受信したハイパーテキスト文書を視覚化するために光タッチ・フォイルに送信するユーザ・ワークステーション。
光タッチ・フォイルは、ユーザ・ワークステーションの制御下で動作する。ハイパーリンク項目を含むハイパーテキスト文書は、光タッチ・フォイルによって物理的な文書上に重ねて表示される。ハイパーリンク項目は、容易に識別できるように強調表示される。ユーザは単に光タッチ・フォイルを押すだけで強調表示された項目を選択する。すべての強調表示項目の中から1項目が選択されると、ユーザ・ワークステーションは光タッチ・フォイルからその選択項目の位置を示す信号を受け取る。ユーザ・ワークステーションは、その選択項目の位置に関連するハイパーテキスト文書のアドレスを識別し、それを探し出す。
そのハイパーテキスト文書がリモート・サーバに位置する場合は、そのサーバに要求を送信する。
そのハイパーテキスト文書がユーザ・ワークステーションに記憶されている場合は、そのハイパーテキスト文書にローカルでアクセスする。
選択されたハイパーテキスト文書を受信すると、ユーザ・ワークステーションはそれを記憶し、光タッチ・フォイルを用いてその表示を制御する。
物理的な文書上で電子文書を選択し、それにアクセスしてそれを表示するシステム
図1に示すように、本発明によるシステムは以下のものを含む。
(101)1ページまたは複数ページを含む物理的な(ハードコピー)文書(書籍など)。
(102)ユーザ・ワークステーションに接続された光タッチ・フォイル。この光タッチ・フォイルは当該文書のページ(またはページの一部)の上重ねて配置される。
(103)選択されたハイパーリンク項目に関連するハイパーテキスト文書にアクセスすると共に受信したハイパーテキスト文書を視覚化するために光タッチ・フォイルに送信する、(好ましくは通信ネットワークに接続された)ユーザ・ワークステーション。
物理的な文書
物理的な文書(101)はどんな種類のものでもよい。物理的な文書は、例えば、地図(地形図、政治地図、歴史地図、経路図、影付き立体地図、市街図、天然資源地図、鉄道地図、その他任意の種類の地図)、小説本、教科書、技術設計図、商業カタログ、その他任意の種類のハードコピーや、刻印され、書かれ、または印刷された面(美術館にある絵画など)とすることができる。物理的な文書の材料は、紙、プラスチック、木、その他任意の材料とすることができる。
光タッチ・フォイル
好ましい一実施形態では、光タッチ・フォイル(102)は2つの、機能的に独立した透明フォイル、すなわち
タッチ・フォイル、および
発光フォイル(光フォイル)
を含む。
図2に、以下のものを含む光タッチ・フォイル(200)の断面図を示す。
通常、タッチ・スクリーンの製造に使用されるタイプの透明な抵抗型または容量性タッチ・フォイル(201)。生成された信号は、一般に、押され、または接触された点(203)の座標(X,Y)に比例する。
片面または両面から光を発する(204)ことのできる、透明で、明るい、自己発光ディスプレイである、透明発光フォイル(202)。
両フォイルを組み合わせる(すなわち発光フォイルの上にタッチ・フォイルを積み重ねる)ことにより、光タッチ・フォイル(200)が形成される。図2は、その表面に印刷された(または書かれ、描かれ、刻印された)複数の項目(206)(すなわち単語、図画、アイコンなど)を含む物理的な文書(205)の上に配置され、位置合わせされた光タッチ・フォイルを表す。
この光タッチ・フォイルは、赤外線リンク、直列有線接続その他任意の通信手段(例えば、「ブルートゥースSIG(Bluetooth Special Interest Group)」によって推進され、ブルートゥース公式Webサイトhttp://www.bluetooth.com/に文書化されている、世界中で使用可能な2.4Ghz帯域の「ブルートゥース」規格で動作する無線接続によるもの)を介して、ユーザ・ワークステーション(103)とやりとりする(106)ことができる。
透明タッチ・フォイル技術
本発明の一態様によれば、タッチ・フォイル・コンポーネント(201)は、通常、タッチ・スクリーンを製造する際に使用されるタイプの透明な抵抗型または容量性フィルムで作ることができる。生成される信号は、一般に、押された点の座標に比例する。使用可能であると考えられるタッチ・フォイル技術の一例が、マイクロ・タッチ社(MICRO TOUCH Company)のタッチテック4(TouchTek4)(4線アナログ抵抗型タッチ・スクリーン)である(TouchTek(商標)はマイクロ・タッチ社の商標である)。タッチテック4の技術については、マイクロ・タッチ社のWebサイト、http://www.microtouch.com/で詳細に説明されている。
タッチテック4タッチ・スクリーンは、今日、ハンドヘルド型個人情報管理システム、PDA、モバイル・コンピュータ・システム、自動車用、診断用および遠隔通信用装置、インターネット家電で、広く使用されている。タッチテック4タッチ・スクリーンは、画面上のどの領域でも3百万回以上の接触を受け入れるように設計されている。
透明発光フォイル技術
本発明の別の態様によれば、透明発光フォイル(202)は、通常、複数の透明走査線、前記走査線と交差する透明データ線、および走査線とデータ線との交点上のエレクトロルミネセント(EL)素子(画素)を含むアレイを備える基板を含むことができる。現在の技術を用いれば、この単純マトリクス、発光ディスプレイは、風防、コックピット、ヘルメット、および眼鏡の視覚領域ディスプレイを作成するのに使用されるタイプのTOLED(透明有機発光デバイス)のアレイで作ることができる。
その最も基本的な形では、TOLEDは、2枚の透明導電層の間に挟まれた、一連の「小分子」有機薄膜からなるモノリシック固体デバイスである。このデバイスは、その両端に電圧が印加されると、発光する。この発光は、電子および正孔が印加された電界の下で注入され、接点から有機的異種接合に向かって移行する、ルミネセンス現象に基づくものである。これらの担体が出会うと、それらは、放射性の再結合を行って光を発する励起子(電子正孔対)を形成する。その結果、TOLEDは、片面または両面から発光するように仕向けることのできる、明るい、自己発光ディスプレイになる。これが可能なのは、透明な接点を持つことに加えて、その有機材料も、それ自体の発光スペクトルおよびその可視スペクトル全体の大部分にわたって透明であることによる。
TOLEDディスプレイは、今日、標準のシリコン半導体で製造される。TOLEDは薄膜固体デバイスであるため、非常に薄く、軽量で耐久性があり、本発明で開示されるような可搬式の適用例には理想的である。TOLEDは下面発光とすることも、上面発光とすることも、上下両面発光とすることもできる。また、TOLED技術は、透明度(TOLEDディスプレイは、それが搭載されるガラスまたは基板とほぼ同程度に透明であり、ガラス板の間に構築されると、TOLEDは電源をオフにしたとき85%を上回る透明度を有する)、エネルギー効率(電池寿命が長い場合の)、完全な視野角、明るくコントラストの高い発光、高速の応答時間、および環境耐性に関しても、魅力的な利点を備える。したがって、TOLEDは、本発明による透明タッチ・フォイル(201)と併せて使用される発光エレクトロルミネセント表示コンポーネントを製造するのに適している。
使用可能であると考えられる発光フォイル技術の一例が、ユニバーサル・ディスプレイ社(UNIVERSALDISPLAY Corporation)が製造するTOLEDに使用される技術であり、これはユニバーサル・ディスプレイ社のWebサイトhttp://www.universaldisplay.com/で詳細に説明されている。
ユーザ・ワークステーション
ユーザ・ワークステーション(103)は、ローカルで記憶された、またはネットワークに接続された1台または複数のサーバ上に位置するハイパーテキスト文書の選択、アクセスおよび取り出しを制御すると共に、取り出した電子文書の光タッチ・フォイルによる表示を制御するために使用される。ユーザ・ワークステーションは、ハイパーテキスト文書を要求、受信、記憶する手段、光タッチ・フォイル(102)上でユーザが押した点の座標を受け取る手段、押された点に関連するハイパーリンク・アドレスを識別する手段、および受け取ったハイパーテキスト文書の光タッチ・フォイル(102)による表示を制御する手段を含む。
ユーザ・ワークステーションは、光タッチ・フォイル(102)に接続された、パーソナル・コンピュータ、インターネット対応携帯電話、PDA(携帯情報端末)、機載コンピュータ、ネットワーク・コンピュータ、インターネット家電または無線IP対応装置とすることができる。光タッチ・フォイル(102)は、ケーブル(106)、対線、赤外線リンク、または無線リンクによってユーザ・ワークステーションとやりとりすることができる。
具体的な一実施形態では、ユーザ・ワークステーションはインターネット・ネットワーク(104)に接続され、Webブラウザ・アプリケーションを含む。サーバは、Web・サーバ(105)であり、ハイパーテキスト文書はHTML Webページである。前記HTML Webページは、光タッチ・フォイル(102)によって物理的な文書(101)上に重ねて表示される。それらは、強調表示された項目の上で光タッチ・フォイル(102)を押すことによって選択される。
物理的な文書からハイパーテキスト文書へのハイパーリンクを作成する方法
図3に示すように、(図5に示す「Interactive Maps of WorldCities(世界各都市の対話式地図)」という題名の文書のような)手書きの、または印刷された文書から複数のサーバに、この物理的な文書上に重ねて表示される電子文書にアクセスするためのハイパーリンクを作成する方法は、
(301)その物理的な文書に参照番号(文書識別子)を割り当てるステップと、
ユーザがそこからハイパーリンクを作成しようとする物理的な文書の各ページごとに、ハイパーテキスト文書にアクセスしそれを表示するために、
(302)その物理的な文書のページを選択するステップと、
(303)ユーザがそのページを選択したときに、光タッチ・フォイルによって自動的にアクセスされ、表示されるハイパーテキスト文書のアドレスを定義するステップと、
ユーザがそのページ上に表示しようとする各ハイパーテキスト文書ごとに、
(304)情報が、必要なレイアウトで、光タッチ・フォイルによってその物理的な文書のそのページ上に重ねて表示されるように、そのハイパーテキスト文書を編集し、書式設定するステップと、
(305)対応するサーバ上にそのハイパーテキスト文書をロードするステップと
を含む。
(301)文書に参照番号を割り当てるステップ
図5に示すように、ユーザは、受け取る文書(501)ごとに、
その文書(387など)にそれを識別するための参照番号(502)を割り当て、
その参照番号(502)をその文書に書き込み、
その文書に関連する、ユーザ・ワークステーションからアクセス可能な文書ハイパーリンク表を作成する。前記文書ハイパーリンク表は、その文書の参照番号、および題名、著者、ISBN(国際標準図書番号)、発行元のWebページのURL、日付など、その文書に関連する他の関連情報を含む。このハイパーリンク表は、ユーザ・ワークステーション内に記憶することも、ユーザ・ワークステーションからアクセス可能な外部メモリに記憶することもできる。
図5に示す文書に関連する、新規作成された文書ハイパーリンク表のヘッダを以下のように作成することができる。
Figure 2005509948
ハイパーリンクをそこから作成しようとする物理的な文書の各ページごとに、ハイパーテキスト文書にアクセスし、それを表示するために、
(302)ページを選択するステップ、および(303)ハイパーテキスト文書のアドレスを定義するステップ
図6に示すように、ユーザが、物理的な文書(601)のページ(602)から1つまたは複数の電子ハイパーテキスト文書への1つまたは複数のハイパーリンクを作成したようとするたびに、そのユーザは、
その文書のページを選択し、
文書ハイパーリンク表に、前記ページを識別する手段(好ましくはページ番号25など)(603)を入力し、
そのページとハイパーテキスト文書を関連付け(ユーザは、そのハイパーテキスト文書の宛先アドレス(http://www.worldcities.com/Paris.htmlなど)を選択する。この宛先アドレスは、そのページがユーザによって選択されたときに、そのページ上で自動的にアクセスされ表示される必要のある、通信ネットワーク内のサーバ、およびそのサーバ内のハイパーテキスト文書を識別する)、
その宛先アドレス(例えばURLアドレスなど)を文書ハイパーリンク表に入力する。
好ましい一実施形態では、本明細書で述べる、同じ文書(601)の異なるページ同士(602)をハイパーリンクする方法を使用すると、文書ハイパーリンク表は以下のようになるはずである。
Figure 2005509948
文書ハイパーリンク表は、ユーザ・ワークステーション(103)にローカルで記憶することもでき、ユーザ・ワークステーションからインターネット・ネットワーク(104)を介してアクセス可能なWebサーバ(105)上にリモートで記憶することもできる。
(304)ページからアクセス可能なハイパーテキスト文書を編集し、書式設定するステップ
図9に示すように、物理的な文書(901)の個々のページ(902)からアクセスすることのできるハイパーテキスト文書に含まれる情報(903)、(904)は、この情報が光タッチ・フォイルによって表示される(903)、(904)ときに、その物理的なページ(902)上に正しく位置合わせされて分布するように、必要なレイアウトに従う必要がある。
そのため、前もってそのハイパーテキスト文書を、物理的なページのレイアウト上で編集し、書式設定しておく必要がある。実際には、これは例えば、これらのハイパーテキスト文書をその物理的なページ(902)のデジタル化したコピー(原寸大でスキャンしたコピーなど)に重ねて編集することによって実施することができる。
(305)対応するサーバ上にハイパーテキスト文書をロードするステップ
編集および書式設定の後で、物理的なページ(602)に関連する(すなわちハイパーリンクされた)ハイパーテキスト文書を対応するハイパーリンク・アドレスにあるサーバ(105)上にロードする。これらのハイパーテキスト文書は、ユーザ・ワークステーション(103)によってこのサーバ上でアクセスされ、取り出されてから、光タッチ・フォイル(102)によって物理的なページ上に表示される。
物理的な文書上でハイパーテキスト文書を選択し、それにアクセスしてそれを表示する方法
ユーザは、図5に示す「Interactive Maps of WorldCities(世界各都市の対話式地図)」、(Doc:387(文書:387))のような、手書きの、または印刷された文書を受け取る。この物理的な文書(101)の選択されたページから、通信ネットワーク(104)に接続されたサーバ(105)上に位置するハイパーテキスト文書へのハイパーリンクが、事前に定義されている。
図4に示すように、物理的な文書のページからハイパーテキスト文書を選択し、それにアクセスしてそれを取り出すと共に、ハイパーテキスト文書をその物理的な文書上に重ねて視覚化する方法は、
(401)物理的な文書を選択するステップと、
(402)その物理的な文書のページを選択するステップと、
(403)選択されたページ上に光タッチ・フォイルを重ねて配置し位置合わせするステップと、
(404)文書ハイパーリンク表で、選択されたページに関連するハイパーテキスト文書のアドレスを識別するステップと、
(405)そのハイパーテキスト文書にアクセスしそれを取り出すステップと、
(406)光タッチ・フォイルによって、取り出されたハイパーテキスト文書を物理的な文書の選択されたページ上に重ねて表示するステップと、
(407)そのハイパーテキスト文書からページ・ハイパーリンク表を作成するステップと、
(408)ハイパーリンクされた項目の上で光タッチ・フォイルを押すことによってその項目を選択するステップと、
(409)選択されたハイパーリンク項目の、光タッチ・フォイル上の位置を決定するステップと、
(410)ページ・ハイパーリンク表で選択されたハイパーテキスト文書のアドレスを識別するステップと
を含む。
(401)物理的な文書を選択するステップ
任意のユーザ・インターフェイス(キーボード、マウス、タッチ・スクリーンなど)や任意の読取り手段(バーコード・リーダなど)によって、ユーザは、選択しようとする文書の参照番号(識別子)(文書387など)を入力する。図8に示す具体的実施形態では、ユーザは、光タッチ・フォイルの底面に印刷された感圧「タッチ・ボタン」列(807)によって文書の参照番号(Doc:387など)を入力する。ユーザは、
「Doc(文書)」とマークされたタッチ・ボタン、次いで
その文書参照番号の各桁に対応する数字タッチ・ボタン(「3」、「8」および「7」など)
の順に押す(804)。
この操作によって、選択した文書に関連する文書ハイパーリンク表にアクセスすることができる。図5に示す文書例の場合には、この文書ハイパーリンク表は以下のようになるはずである。
Figure 2005509948
(402)その物理的な文書のページを選択するステップ
ユーザはその文書のページ(例えば図6に示す25ページなど)を開き、任意のユーザ・インターフェイス(キーボード、マウス、タッチ・スクリーンなど)や、任意の読取り手段(バーコード・リーダなど)によって、選択しようとする文書のページ番号を入力する。図8に示す具体的実施形態では、光タッチ・フォイル(806)の底面に印刷された感圧タッチ・ボタン列(807)によって、ユーザが、選択するページ番号(Pg.25など)を入力する。この光タッチ・フォイルはどの位置にあってもよい(通常、光タッチ・フォイルは選択されたページ上に重ねて配置される)。ユーザは、
「Pg」とマークされたタッチ・ボタン、次いで
選択するページ番号の各桁に対応する数字タッチ・ボタン(「2」、「5」など)
の順に押す(805)。
この手順によって、選択された文書(Doc:387など)に関連する文書ハイパーリンク表内の選択されたページ(Pg.25など)に対応するエントリ(反転表示で示す)にアクセスすることができる。
Figure 2005509948
文書ハイパーリンク表は、ユーザ・ワークステーションにローカルで記憶され、あるいはリモート・サーバから取り出されてユーザ・ワークステーションにローカルで記憶され、あるいはリモート・サーバに記憶されてそれにリモートでアクセスされる。
(403)選択したページ上に重ねて光タッチ・フォイルを配置し位置合わせするステップ
図7に示すように、物理的な文書(701)およびページ(702)を選択した後で、光タッチ・フォイル(703)を、
そのページ上に重ねて配置し、
何らかの従来の手段(例えば、タッチ・フォイルの左下角をそのページの左下角と合わせるなど)によって選択したページの縁に位置合わせする(704)。
(404)文書ハイパーリンク表で、選択されたページに関連するハイパーテキスト文書のアドレスを識別するステップ
文書ハイパーリンク表は、ハイパーリンクされた物理的な文書の各ページごとに、そのページがユーザによって選択されたときに自動的にアクセスする必要のある、ハイパーテキスト文書の、ネットワーク内での位置を含む。ハイパーリンクされたハイパーテキスト文書は、宛先アドレスによって識別することができる。インターネット・ネットワークでは、Webサーバ内のWebページはURL(ユニフォーム・リソース・ロケータ)によって識別される。
この例では、文書ハイパーリンク表は、「25ページ」をURL:http://www.worldcities.com/Paris.htmlに位置する、「Mapof Paris(パリの地図)」という名前のハイパーリンクに関連付ける。
(405)そのハイパーテキスト文書にアクセスしそれを取り出すステップ
ユーザ・ワークステーション(103)は、選択されたハイパーテキスト文書のハイパーリンク(宛先アドレス、URLなど)をアクティブ化する。
この例では、ユーザ・ワークステーションによって、「Map of Paris(パリの地図)」というラベル付きのハイパーリンクがアクティブ化され、URL:http://www.worldcities.com/Paris.htmlにあるハイパーテキスト文書がアクセスされて取り出される。
(406)ハイパーテキスト文書を物理的な文書のページ上に重ねて表示するステップ
図9で示すように、受け取ったハイパーテキスト文書に含まれる情報(903)、(904)は、ユーザ・ワークステーションの制御下で、物理的な文書(901)のページ(902)上に重ねて表示される。
図9に示す本発明の具体的実施形態では、表示されたハイパーテキスト文書中の、単に情報を提供するだけの項目(903)は通常の文字を使用して表示されるが、補足情報にハイパーリンクされた項目(904)は下線で表示される。一代替実施形態では、ハイパーリンク項目は、光タッチ・フォイルによって、例えば反転表示で表示することもできる。
(407)そのハイパーテキスト文書からページ・ハイパーリンク表を作成するステップ
図9に示すように、受け取ったハイパーテキスト文書が他のハイパーテキスト文書へのハイパーリンク(904)を含むこともある。この物理的なページ(902)からそれらのハイパーリンクされた文書を選択し、それにアクセスするために、受け取ったハイパーテキスト文書に含まれる情報からユーザ・ワークステーション上にページ・ハイパーリンク表が作成される。基本的に、受け取ったハイパーテキスト文書上に符号化されたハイパーリンクの情報が、まず、この表にコピーされる。次いで、(光タッチ・フォイルによって表示される)ハイパーリンク項目の光タッチ・フォイル座標(X,Y)(906)が計算され、ページ・ハイパーリンク表の対応するエントリにコピーされる。
図9に示す例では、表示されたハイパーテキスト文書に対応するページ・ハイパーリンク表は以下のようになるはずである。
Figure 2005509948
(408)ハイパーリンク項目を、その項目の上で光タッチ・フォイルを押すことによって選択するステップ
図10に示すように、ユーザは、そのページ(1002)上のハイパーリンク項目(1003)(「Museums(美術館)」)を、その下線付きの照明された語の上で光タッチ・フォイル(1004)を(指先などで)押すことによって選択する。
(409)光タッチ・フォイル上の押された点の位置を決定するステップ
光タッチ・フォイル(1004)は、ユーザ・ワークステーション(103)に選択された項目を識別する信号を送る。この信号は、ユーザが押した光タッチ・フォイル上の点の、そのページ(1002)上の位置を示す。生成された信号は、一般に、押された点の座標(X,Y)に比例する。
この例では、光タッチ・フォイルは、ユーザが押した(下線付き「Museums(美術館)」の近くの)点の、そのページ上での位置を測定する。この点で測定された座標はおおよそ、X=5、Y=60である。
(410)選択されたハイパーテキスト文書のアドレスをページ・ハイパーリンク表で識別するステップ
ユーザが光タッチ・フォイル(1004)上で選択したハイパーリンク項目は、ページ・ハイパーリンク表によって識別することができる。この表は、光タッチ・フォイルによって物理的な文書のページ上に重ねて表示されるハイパーテキスト文書に含まれるハイパーリンク項目の位置(座標XおよびY)の指示を含む。
この例では、光タッチ・フォイル(1004)によって測定された座標は、おおよそ、X=5およびY=60である。これは、ページ・ハイパーリンク表で「Museums(美術館)」という名前のハイパーリンクに対応する。
ユーザ・ワークステーションのWebは、ページ・ハイパーリンク表の、識別され、選択された項目に関連するハイパーリンク(宛先アドレス、URLなど)をアクティブ化する。
ユーザが押した点の位置が識別されると、システムはページ・ハイパーリンク表でその位置に最も近いハイパーリンク項目座標をサーチする。この例では、座標X=5、Y=60に対応する「Museums(美術館)」というラベル付きのハイパーリンクがアクティブ化される。したがって、この例では、下線付き項目「Museums(美術館)」の近くを押すだけで、Web上にあるハイパーリンク:http://www.worldcities.com/Paris/Museums.htmlが自動的にアクティブ化される。
この時点から、この方法の各ステップ(405)、(406)、(407)、(408)、(409)および(410)を繰り返し使用して、物理的な文書のこのページにハイパーリンクされた情報にアクセスし、それを取り出して表示することができる。
この例では、図11に、ユーザが光タッチ・フォイル(1105)上に表示された「Museums(美術館)」という語に関連するハイパーリンクをアクティブ化したときに同じ光タッチ・フォイルによって表示される情報が示されている。この情報は、ユーザ・ワークステーションによって、ネットワークを介してURL:http://www.worldcities.com/Paris/Museums.htmlからアクセスされ、取り出される。表示された情報は、パリ市の美術館の番号付き一覧(1103)を含む。この一覧中の番号に対応する美術館の位置(1104)は、(物理的な)パリの地図上に重ねた光タッチ・フォイルによって照明される。各照明された番号には、その番号が別のハイパーテキスト文書へのハイパーリンクであることを示すために下線が付される(18など)。この例では、地図上の各番号は、一覧(1103)中の1つの美術館(1106)に関連し、その美術館に関連する補足情報にハイパーリンクされている。
物理的なページ(1102)上でハイパーテキスト文書を選択し、そのハイパーテキスト文書を同じ物理的なページ上に表示するために、受け取ったハイパーテキスト文書からユーザ・ワークステーション上に新規のページ・ハイパーリンク表が作成される。図11に示す例では、表示されたハイパーテキスト文書に対応するページ・ハイパーリンク表は以下のようになるはずである。
Figure 2005509948
図12には、(「Musee de la Chasse et la Nature」に関するより詳細な情報を受け取ろうとする)ユーザが、その上で光タッチ・フォイル(1203)を(指先などで)押すことによってハイパーリンク項目(1204)(例えば「6」番など)をどのように選択するかが示されている。
この点を押すことにより、光タッチ・フォイル(1203)は、押された点のそのページ上の位置を測定し、ユーザ・ワークステーション(103)に選択された項目を識別する信号を送る。この信号は、ユーザが押した(下線付き番号「6」に近い)光タッチ・フォイル上の点のそのページ(1202)上での位置を示す。この例では、この点で測定された座標はおよそ、X=136およびY=87である。
ユーザが光タッチ・フォイル(1203)上で選択したハイパーリンク項目はページ・ハイパーリンク表によって識別することができる。この例では、光タッチ・フォイルによって測定された座標はおよそX=136、Y=87なので、それはページ・ハイパーリンク表では、「6. Musee de la Chasse et la Nature」という名前のハイパーリンクに対応する。
ユーザ・ワークステーションWebは、ページ・ハイパーリンク表の選択されたハイパーリンク(すなわち「6. Musee de la Chasse et la Nature」)に関連するハイパーリンク(宛先アドレス、URLなど)をアクティブ化する。この例では、Web上のハイパーリンクhttp://www.worldcities.com/Paris/Museums/006.htmlがアクティブ化される。
図13に、ユーザ・ワークステーションが、ネットワークを介してURL:http://www.worldcities.com/Paris/Museums/006.htmlにアクセスしてそこから取り出し、光タッチ・フォイル(1303)を用いて表示した情報を示す。図示したハイパーテキスト文書は、ユーザが「Museede la Chasse et la Nature」に関して要求した詳細な情報(1303)を含む。
同じ物理的なページ(1302)から、ユーザは、パリの別の美術館の情報を要求しようとすることもできる。あるいは、ユーザは別の異なるタイプのサービス(「Cafeterias(カフェテリア)」など)の情報を要求することもできる。最後に、ユーザは、同じ物理的な文書の別のページに移動しようとすることもできる。
代替適用例
以下で、本発明の他の可能な適用例をいくつか述べる。これらの適用例のそれぞれは、基本的に、前述の同じ方法およびシステムを使用する。
インストールおよび技術指示
顧客は、複雑なコンピュータ機器を、部品および半組立部品の図面を含むハードコピーのインストール・マニュアルと共に受け取る。これらの図面のいずれか1つの上に光タッチ・フォイルを重ねれば、ユーザは、直ちに、その複雑な図面の特定の部品を、照明された名称、凡例および指示付きで見ることができる。これら照明された項目の一部は、ハイパーリンク項目として識別され、それを使用してリモートWebサーバまたはローカル・コンピュータ上にある補足情報にアクセスすることができる。顧客がそれらのハイパーリンク項目の1つに触れると、その部品をどのようにインストールし、あるいは保守する必要があるかを示す指示が、ハードコピー・マニュアル上に確保された空白領域上に直ちに表示される。本発明によれば、その機器の一般的な図を含む印刷マニュアルが1冊あるだけで、十分にそのシステムを案内することができる。顧客は、インストール・マニュアルの表面にある所望の項目を指で押すだけでよい。
新聞および雑誌
新聞や雑誌の購読者は、自分が読む記事に関連する補足情報を見ようとすることが考えられる。(例えばニューヨーク・タイムズなどの)スポーツ欄を読んでいる間に、自分が読んでいる記事の上にある照明されたアイコン、単語、文字、記号などに触れるだけで、要求に応じて、重要なイベント(ウィンブルドンでの次のテニス試合のテレビ送信時間など)をその同じ新聞上に直ちに呼び出して表示させることができる。
オンデマンド・マルチメディア広告にリンクされた紙ベースの広告
新聞や雑誌、あるいはダイレクト・メールの広告を読んだ人々から多くのフリー・ダイヤル通話が発信される。本発明によれば、人々は、紙のカタログに印刷された広告に触れるだけで、製品の賞品、製品詳細、電話番号、販売促進、値引き、割引券等の情報に直ちにアクセスしそれを視覚化することができる。
本明細書で述べた適用例以外にも、本発明の他の多くの可能な用途がある。
新聞広告、雑誌、書籍およびパンフレットに電話番号や電話アイコンを表示、強調表示して、顧客が光タッチ・フォイル上に表示、強調表示された項目に触れるだけで、フリー・ダイヤル通話をかけられるようにすることもできる。
ホーム・ショッピング小売業者は専用のカタログを提供することができる。そうした業者は特別提供品および販促商品を照明アイコンで強調表示し、同じカタログ上で関連情報を表示することもできる。
通信教育アプリケーションは、教科書の図示などを補完するための補足情報や参照事項にアクセスし、それを表示することもできる。
以上説明してきたことは、単に、本発明の原理の適用例にすぎない。当分野の技術者であれば、本発明の精神および範囲を逸脱することなく他の構成および方法を実施することもできる。
本発明の主要構成要素を示す図である。 光タッチ・フォイルの内部構造を示す図である。 物理的な文書を、前記物理的な文書上に重ねて表示されるハイパーテキスト文書にハイパーリンクさせる方法の諸ステップを示す図である。 物理的な文書上でハイパーテキスト文書を選択し、それにアクセスしてそれを表示する方法の諸ステップを示す図である。 物理的な(すなわちハードコピー)文書を示す図である。 物理的な文書のページを示す図である。 光タッチ・フォイルが、物理的な文書のページにどのように位置合わせして配置されるかを示す図である。 ユーザが光タッチ・フォイル上に位置する感知式タッチ・ボタンによって文書番号およびページ数をどのように入力するかを示す図である。 物理的な文書の選択されたページに関連する情報が、光タッチ・フォイルによって選択されたページ上にどのように取り出され、表示されるかを示す図である。 ユーザが、選択した照明項目上で光タッチ・フォイルを押すことによってハイパーリンクをどのようにアクティブ化するかを示す図である。 要求された情報が、光タッチ・フォイルによって物理的な文書のページ上でどのように受け取られ、表示されるかを示す図である。 ユーザが、新規に選択された照明項目上で光タッチ・フォイルを押すことによってどのように別のハイパーリンクをアクティブ化するかを示す図である。 新規に要求された情報が、光タッチ・フォイルによって物理的な文書のページ上でどのように受け取られ、表示されるかを示す図である。

Claims (14)

  1. 物理的な文書(101)から電子情報を選択し、前記選択された電子情報をこの物理的な文書上に重ねて表示する方法であって、ユーザ・システム(103)で使用する際に、
    1ページまたは複数のページ(602、802)を含む物理的な文書(501、601、801)を識別するステップ(401)と、
    前記物理的な文書のページ(602、802)を識別するステップ(402)と、
    前記物理的な文書の各ページごとに電子文書の識別および位置を含む文書ハイパーリンク表を参照して、前記識別されたページに関連する電子文書を識別し、探し出すステップ(404)と、
    前記識別されたページに関連する前記電子文書にアクセスし、それを取り出すステップ(405)と、
    前記識別されたページ(802)上に重ねて配置された光タッチ・フォイル(102、200、703、806)によって前記取り出された電子文書を表示するステップ(406)と
    を含む方法。
  2. 前記識別されたページに関連する前記電子文書が1つまたは複数のハイパーリンク項目を含み、
    前記識別されたページ(902)用のページ・ハイパーリンク表を作成するステップ(407)と、
    前記識別されたページ(902)に関連する前記電子文書中の1つまたは複数のハイパーリンク項目(904)を識別するステップと、
    識別された各ハイパーリンク項目ごとに、
    前記ハイパーリンク項目(904)に関連する情報を識別し、探し出すステップと、
    前記識別されたハイパーリンク項目(904)の前記光タッチ・フォイル(905)上の位置を決定するステップと、
    前記ページ・ハイパーリンク表に、前記ハイパーリンク項目に関連する前記情報の識別および位置と、前記光タッチ・フォイル(905)上の前記ハイパーリンク項目の前記位置とを記憶するステップと
    をさらに含む請求項1に記載の方法。
  3. 前記物理的な文書(1001)の前記識別されたページ(1002)上に重ねて配置され位置合わせされた前記光タッチ・フォイル(1004)上の押された点の位置を決定するステップ(409)であって、前記光タッチ・フォイルは、選択されたハイパーリンク項目(1003)に対応する点を押される(408)ステップと、
    前記識別されたページに関連する前記電子文書の各ハイパーリンク項目の、前記光タッチ・フォイル上の位置を含むページ・ハイパーリンク表を参照して、前記光タッチ・フォイル(1004)上の前記押された点の前記位置に対応する前記選択されたハイパーリンク項目を識別するステップ(410)と、
    前記文書の各ページの各ハイパーリンク項目ごとに前記ハイパーリンク項目に関連する情報の識別および位置を含む前記ページ・ハイパーリンク表を参照して、前記選択されたハイパーリンク項目に関連する情報を識別し、探し出すステップと、
    前記選択されたハイパーリンク項目に関連する前記情報にアクセスし、それを取り出すステップと、
    前記識別されたページ(1002)上に重ねて配置された前記光タッチ・フォイル(1004)によって前記取り出された情報を表示するステップと
    をさらに含む、請求項1ないし2のいずれか一項に記載の方法。
  4. 前記ユーザ・システム(103)が1台または複数のサーバ(105)を含む通信ネットワーク(104)に接続され、前記ハイパーリンク項目に関連する前記情報が、前記1台または複数のサーバ(105)上に、またはローカルで前記ユーザ・システム上に位置する、請求項1ないし3のいずれか一項に記載の方法。
  5. 前記ハイパーリンク項目に関連する前記情報が前記ユーザ・システム(103)上に位置する、請求項1ないし4のいずれか一項に記載の方法。
  6. 前記ページ・ハイパーリンク表を参照して前記選択されたハイパーリンク項目に関連する情報を識別し、探し出す前記ステップが、
    前記ページ・ハイパーリンク表を参照して前記選択されたハイパーリンク項目に関連する前記情報にアクセスすることのできる前記通信ネットワーク中の宛先アドレスを決定するステップ
    を含む、請求項1ないし5のいずれか一項に記載の方法。
  7. 前記通信ネットワーク(104)がインターネット・プロトコル(IP)ネットワークであり、
    前記サーバ(105)がWebサーバであり、
    前記ユーザ・システム(103)がWebブラウザを含み、
    前記宛先アドレスがユニフォーム・リソース・ロケータ(URLアドレス)であり、
    前記情報がWebページである
    請求項1ないし6のいずれか一項に記載の方法。
  8. 前記物理的な文書が、紙、木、プラスチックなど任意の材料からなる、また新聞、雑誌、書籍、カタログ、地図、写真、絵画など任意の形態からなるハードコピー文書、または、刻印された面、印刷された面、塗装された面、書かれた面など任意のタイプの物理的な表面である、請求項1ないし7のいずれか一項に記載の方法。
  9. 前記物理的な文書に関連する前記文書ハイパーリンク表が、題名、著者、日付など前記文書に関連する補足情報を含み、
    前記補足情報にアクセスするステップ
    をさらに含む、請求項1ないし8のいずれか一項に記載の方法。
  10. 前記識別されたページが前記物理的な文書の一部である、請求項1ないし9のいずれか一項に記載の方法。
  11. 請求項1ないし10のいずれか一項に記載の方法を実施するように適合された手段を含むユーザ・システム。
  12. 物理的な文書のページ上に重ねて配置された光タッチ・フォイルと、
    請求項11に記載のユーザ・システムと、
    前記光タッチ・フォイルと前記ユーザ・システムの間の接続と
    を含むシステム。
  13. 前記光タッチ・フォイルが、その表面の任意の点上に及ぼされた圧力を感知でき、電子情報を表示するための発光素子を含む透明フィルムを含む、請求項12に記載のシステム。
  14. 請求項1ないし10のいずれか一項に記載の方法を実施するためのコンピュータ可読命令を含むコンピュータ・プログラム。
JP2003544626A 2001-11-13 2002-09-12 物理的な文書から電子文書を選択すると共に前記物理的な文書上に重ねて前記電子文書を表示するシステムおよび方法 Expired - Fee Related JP4081008B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01480109 2001-11-13
PCT/EP2002/011126 WO2003042862A2 (en) 2001-11-13 2002-09-12 System and method for selecting electronic documents from a physical document and for displaying said electronic documents over said physical document

Publications (2)

Publication Number Publication Date
JP2005509948A true JP2005509948A (ja) 2005-04-14
JP4081008B2 JP4081008B2 (ja) 2008-04-23

Family

ID=8183419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003544626A Expired - Fee Related JP4081008B2 (ja) 2001-11-13 2002-09-12 物理的な文書から電子文書を選択すると共に前記物理的な文書上に重ねて前記電子文書を表示するシステムおよび方法

Country Status (10)

Country Link
US (1) US7530023B2 (ja)
EP (1) EP1444608B1 (ja)
JP (1) JP4081008B2 (ja)
KR (1) KR100556331B1 (ja)
CN (1) CN1549983B (ja)
AT (1) ATE417323T1 (ja)
AU (1) AU2002342797A1 (ja)
CA (1) CA2465235C (ja)
DE (1) DE60230314D1 (ja)
WO (1) WO2003042862A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007109206A (ja) * 2005-09-14 2007-04-26 Ricoh Co Ltd ユーザインターフェイス装置、画像処理装置及びプログラム
JP2013539551A (ja) * 2010-08-30 2013-10-24 グレンツェバッハ・マシーネンバウ・ゲーエムベーハー 特別な迫真感を備えたフライトシミュレーターを操作するための装置及び方法
JP2017199298A (ja) * 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 情報表示システム
JP2018055689A (ja) * 2017-10-04 2018-04-05 シャープ株式会社 表示装置、表示方法及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117378A1 (en) 2001-12-21 2003-06-26 International Business Machines Corporation Device and system for retrieving and displaying handwritten annotations
US9165478B2 (en) 2003-04-18 2015-10-20 International Business Machines Corporation System and method to enable blind people to have access to information printed on a physical document
US7747949B2 (en) 2003-06-26 2010-06-29 International Business Machines Corporation System and method comprising an electronic document from physical documents
US7310779B2 (en) * 2003-06-26 2007-12-18 International Business Machines Corporation Method for creating and selecting active regions on physical documents
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US8229905B2 (en) * 2005-01-14 2012-07-24 Ricoh Co., Ltd. Adaptive document management system using a physical representation of a document
US20070043671A1 (en) * 2005-08-17 2007-02-22 Kurzweil Educational Systems, Inc. Protected viewing of digital files
US7796837B2 (en) * 2005-09-22 2010-09-14 Google Inc. Processing an image map for display on computing device
US20080098315A1 (en) * 2006-10-18 2008-04-24 Dao-Liang Chou Executing an operation associated with a region proximate a graphic element on a surface
US20120066076A1 (en) * 2010-05-24 2012-03-15 Robert Michael Henson Electronic Method of Sharing and Storing Printed Materials
US8805074B2 (en) 2010-09-27 2014-08-12 Sharp Laboratories Of America, Inc. Methods and systems for automatic extraction and retrieval of auxiliary document content
CN102289473B (zh) * 2011-07-27 2013-03-13 迈普通信技术股份有限公司 一种多服务器分页查询的装置及方法
US11238211B2 (en) * 2018-10-30 2022-02-01 Google Llc Automatic hyperlinking of documents
CN112783837B (zh) * 2021-01-12 2024-01-30 北京首汽智行科技有限公司 一种api文档查找方法

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3760360A (en) * 1971-11-01 1973-09-18 E Systems Inc Matrix switch
JPS5525118A (en) 1978-08-11 1980-02-22 Hitachi Ltd Data input device
US4348660A (en) 1980-09-09 1982-09-07 Sheldon Industries Inc. Automatically relegendable keyboard
US4550310A (en) 1981-10-29 1985-10-29 Fujitsu Limited Touch sensing device
AU552619B2 (en) 1984-02-29 1986-06-12 Fujitsu Limited Co-ordinate detecting apparatus
US4849911A (en) 1986-09-25 1989-07-18 Modern Body And Engineering Corp. Method for imputting data to a computer aided design system
US4868912A (en) 1986-11-26 1989-09-19 Digital Electronics Infrared touch panel
US4868919A (en) 1987-03-05 1989-09-19 Sharp Kabushiki Kaisha Color image copying device
DE3809677A1 (de) 1987-03-19 1988-12-01 Toshiba Kk Anzeige- und eingabegeraet
GB2205669B (en) 1987-05-11 1990-12-19 Toshiba Machine Co Ltd Input display apparatus
US4855725A (en) 1987-11-24 1989-08-08 Fernandez Emilio A Microprocessor based simulated book
US5010323A (en) * 1988-05-09 1991-04-23 Hoffman Clifford J Interactive overlay driven computer display system
US4853498A (en) 1988-06-13 1989-08-01 Tektronix, Inc. Position measurement apparatus for capacitive touch panel system
US4973960A (en) 1989-02-24 1990-11-27 Amoco Corporation Data entry method and apparatus
US5315129A (en) 1990-08-20 1994-05-24 University Of Southern California Organic optoelectronic devices and methods
US5239152A (en) 1990-10-30 1993-08-24 Donnelly Corporation Touch sensor panel with hidden graphic mode
US5149919A (en) 1990-10-31 1992-09-22 International Business Machines Corporation Stylus sensing system
JP3085471B2 (ja) 1991-01-24 2000-09-11 ソニー株式会社 リモートコマンダ
US5202828A (en) 1991-05-15 1993-04-13 Apple Computer, Inc. User interface system having programmable user interface elements
US5250929A (en) 1991-07-29 1993-10-05 Conference Communications, Inc. Interactive overlay-driven computer display system
US5495581A (en) 1992-02-25 1996-02-27 Tsai; Irving Method and apparatus for linking a document with associated reference information using pattern matching
US5243149A (en) 1992-04-10 1993-09-07 International Business Machines Corp. Method and apparatus for improving the paper interface to computing systems
US5311302A (en) 1992-07-02 1994-05-10 Hughes Aircraft Company Entertainment and data management system for passenger vehicle including individual seat interactive video terminals
US5915285A (en) 1993-01-21 1999-06-22 Optical Coating Laboratory, Inc. Transparent strain sensitive devices and method
EP0697646B1 (en) 1993-04-28 2002-07-24 Nissha Printing Co., Ltd. Transparent touch panel
US5905251A (en) 1993-11-24 1999-05-18 Metrologic Instruments, Inc. Hand-held portable WWW access terminal with visual display panel and GUI-based WWW browser program integrated with bar code symbol reader in a hand-supportable housing
JPH07334287A (ja) 1994-06-02 1995-12-22 Brother Ind Ltd 小形電子機器
US5624265A (en) 1994-07-01 1997-04-29 Tv Interactive Data Corporation Printed publication remote contol for accessing interactive media
US5640193A (en) 1994-08-15 1997-06-17 Lucent Technologies Inc. Multimedia service access by reading marks on an object
US5703436A (en) 1994-12-13 1997-12-30 The Trustees Of Princeton University Transparent contacts for organic devices
US5707745A (en) 1994-12-13 1998-01-13 The Trustees Of Princeton University Multicolor organic light emitting devices
JP3442893B2 (ja) 1995-01-27 2003-09-02 富士通株式会社 入力装置
IL125291A (en) 1996-01-11 2003-01-12 Univ Princeton Organic luminescent coating for light detectors
US6166834A (en) 1996-03-15 2000-12-26 Matsushita Electric Industrial Co., Ltd. Display apparatus and method for forming hologram suitable for the display apparatus
US5692073A (en) 1996-05-03 1997-11-25 Xerox Corporation Formless forms and paper web using a reference-based mark extraction technique
US6048630A (en) 1996-07-02 2000-04-11 The Trustees Of Princeton University Red-emitting organic light emitting devices (OLED's)
JP3189736B2 (ja) 1996-07-26 2001-07-16 株式会社デンソー 複合表示装置
US5844363A (en) 1997-01-23 1998-12-01 The Trustees Of Princeton Univ. Vacuum deposited, non-polymeric flexible organic light emitting devices
JP3634089B2 (ja) 1996-09-04 2005-03-30 株式会社半導体エネルギー研究所 表示装置
US5903729A (en) 1996-09-23 1999-05-11 Motorola, Inc. Method, system, and article of manufacture for navigating to a resource in an electronic network
US5870767A (en) 1996-11-22 1999-02-09 International Business Machines Corporation Method and system for rendering hyper-link information in a printable medium from a graphical user interface
US6045930A (en) 1996-12-23 2000-04-04 The Trustees Of Princeton University Materials for multicolor light emitting diodes
US5811833A (en) 1996-12-23 1998-09-22 University Of So. Ca Electron transporting and light emitting layers based on organic free radicals
US6013982A (en) 1996-12-23 2000-01-11 The Trustees Of Princeton University Multicolor display devices
US5861219A (en) 1997-04-15 1999-01-19 The Trustees Of Princeton University Organic light emitting devices containing a metal complex of 5-hydroxy-quinoxaline as a host material
US6046543A (en) 1996-12-23 2000-04-04 The Trustees Of Princeton University High reliability, high efficiency, integratable organic light emitting devices and methods of producing same
US5998803A (en) 1997-05-29 1999-12-07 The Trustees Of Princeton University Organic light emitting device containing a hole injection enhancement layer
US5986401A (en) 1997-03-20 1999-11-16 The Trustee Of Princeton University High contrast transparent organic light emitting device display
US5834893A (en) 1996-12-23 1998-11-10 The Trustees Of Princeton University High efficiency organic light emitting devices with light directing structures
US5757139A (en) 1997-02-03 1998-05-26 The Trustees Of Princeton University Driving circuit for stacked organic light emitting devices
US5917280A (en) 1997-02-03 1999-06-29 The Trustees Of Princeton University Stacked organic light emitting devices
US5932895A (en) 1997-05-20 1999-08-03 The Trustees Of Princeton University Saturated full color stacked organic light emitting devices
US5957697A (en) 1997-08-20 1999-09-28 Ithaca Media Corporation Printed book augmented with an electronic virtual book and associated electronic data
JP3746378B2 (ja) 1997-08-26 2006-02-15 シャープ株式会社 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体
US6150043A (en) 1998-04-10 2000-11-21 The Trustees Of Princeton University OLEDs containing thermally stable glassy organic hole transporting materials
US6013538A (en) 1997-11-24 2000-01-11 The Trustees Of Princeton University Method of fabricating and patterning OLEDs
US5953587A (en) 1997-11-24 1999-09-14 The Trustees Of Princeton University Method for deposition and patterning of organic thin film
US6115008A (en) 1998-02-12 2000-09-05 Lear Automotive Dearborn, Inc. Transparent EL display
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US6256649B1 (en) 1998-06-17 2001-07-03 Xerox Corporation Animated spreadsheet for dynamic display of constraint graphs
US6256009B1 (en) 1999-02-24 2001-07-03 Microsoft Corporation Method for automatically and intelligently scrolling handwritten input
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
CA2374808C (en) * 1999-05-28 2008-05-20 Anoto Ab Recording of information
US6771283B2 (en) 2000-04-26 2004-08-03 International Business Machines Corporation Method and system for accessing interactive multimedia information or services by touching highlighted items on physical documents
US20010056439A1 (en) 2000-04-26 2001-12-27 International Business Machines Corporation Method and system for accessing interactive multimedia information or services by touching marked items on physical documents
TW528967B (en) 2000-08-29 2003-04-21 Ibm System and method for locating on a physical document items referenced in an electronic document
TW494323B (en) 2000-08-29 2002-07-11 Ibm System and method for locating on a physical document items referenced in another physical document

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007109206A (ja) * 2005-09-14 2007-04-26 Ricoh Co Ltd ユーザインターフェイス装置、画像処理装置及びプログラム
JP2013539551A (ja) * 2010-08-30 2013-10-24 グレンツェバッハ・マシーネンバウ・ゲーエムベーハー 特別な迫真感を備えたフライトシミュレーターを操作するための装置及び方法
US9799233B2 (en) 2010-08-30 2017-10-24 Grenzebach Maschinenbau Gmbh Apparatus and method for operating a flight simulator with a special impression of reality
JP2017199298A (ja) * 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 情報表示システム
JP2018055689A (ja) * 2017-10-04 2018-04-05 シャープ株式会社 表示装置、表示方法及びプログラム

Also Published As

Publication number Publication date
CN1549983A (zh) 2004-11-24
US20050028092A1 (en) 2005-02-03
EP1444608B1 (en) 2008-12-10
AU2002342797A1 (en) 2003-05-26
DE60230314D1 (de) 2009-01-22
ATE417323T1 (de) 2008-12-15
US7530023B2 (en) 2009-05-05
WO2003042862A3 (en) 2004-03-11
EP1444608A2 (en) 2004-08-11
CA2465235A1 (en) 2003-05-22
CN1549983B (zh) 2010-04-28
KR20040058169A (ko) 2004-07-03
KR100556331B1 (ko) 2006-03-03
WO2003042862A2 (en) 2003-05-22
JP4081008B2 (ja) 2008-04-23
CA2465235C (en) 2011-02-01

Similar Documents

Publication Publication Date Title
US6771283B2 (en) Method and system for accessing interactive multimedia information or services by touching highlighted items on physical documents
US7027038B2 (en) System and method for locating on a physical document items referenced in another physical document
JP4081008B2 (ja) 物理的な文書から電子文書を選択すると共に前記物理的な文書上に重ねて前記電子文書を表示するシステムおよび方法
US7472338B2 (en) Method and apparatus for locating items on a physical document and method for creating a geographical link from an electronic document to the physical document
US8196041B2 (en) Method and system for processing information relating to active regions of a page of physical document
US7181502B2 (en) System and method for locating on electronic documents items referenced in a physical document
US7373588B2 (en) Method and system for accessing interactive multimedia information or services by touching marked items on physical documents
US6940491B2 (en) Method and system for generating hyperlinked physical copies of hyperlinked electronic documents
US6980202B2 (en) Method and system for creating and accessing hyperlinks from annotations relating to a physical document
US7747949B2 (en) System and method comprising an electronic document from physical documents
KR100889590B1 (ko) 오프라인 컨텐츠의 간편코드에 의해 온라인 컨텐츠를접근하기 위한 오프라인-온라인 컨텐츠 연동 서비스 방법및 시스템
WO2000011557A1 (fr) Methode permettant de noter une adresse, une adresse url ou une adresse de courrier electronique notamment, support imprime et sceau sur lesquels une adresse a ete ecrite grace a cette methode
US20150213353A1 (en) Smart business card
EP1186986A2 (en) System and method for locating on a physical document items referenced in an electronic document
CN102792652A (zh) 用于维持全球文本站点平台上的文本站点的方法和系统
CN101345785A (zh) 一种电话号码簿随身碟

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070814

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees