JP2004139501A - 文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラム - Google Patents
文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP2004139501A JP2004139501A JP2002305458A JP2002305458A JP2004139501A JP 2004139501 A JP2004139501 A JP 2004139501A JP 2002305458 A JP2002305458 A JP 2002305458A JP 2002305458 A JP2002305458 A JP 2002305458A JP 2004139501 A JP2004139501 A JP 2004139501A
- Authority
- JP
- Japan
- Prior art keywords
- additional information
- information
- document
- data
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】手書きによる目印などの付加情報を受け付けて、これを文書データと合成して表示することを可能とし、この付加情報に基づいて文書データの検索、再閲覧が可能となるような文書ブラウザを提供する。
【解決手段】付加情報の入力を受け付ける付加情報受付手段と、文書データと付加情報とを合成して表示装置に表示するブラウズ手段と、付加情報の文書データ中における位置情報を取得する位置情報取得手段と、付加情報の特性情報を取得する特性情報取得手段と、位置情報、特性情報とともに付加情報を格納する付加情報格納手段と、付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる付加情報検索手段と、付加情報検索手段により検索した検索結果を表示装置上に表示する検索結果表示手段とを備える。
【選択図】 図1
【解決手段】付加情報の入力を受け付ける付加情報受付手段と、文書データと付加情報とを合成して表示装置に表示するブラウズ手段と、付加情報の文書データ中における位置情報を取得する位置情報取得手段と、付加情報の特性情報を取得する特性情報取得手段と、位置情報、特性情報とともに付加情報を格納する付加情報格納手段と、付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる付加情報検索手段と、付加情報検索手段により検索した検索結果を表示装置上に表示する検索結果表示手段とを備える。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、表示装置上に表示可能なテキストデータや画像データを含む文書データに対する付加情報の入力を受け付けて、文書データと付加情報とを合成して表示可能な文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラムに関する。
【0002】
【従来の技術】
テキストデータや画像データなどを含む文書データをCRTや液晶ディスプレイなどの表示装置上に表示するアプリケーションソフトは多く存在する。
たとえば、インターネットを介してアクセス可能なWWW(World Wide Web)上に存在するHTML文書やXML文書などの構造化文書は、Microsoft Internet ExplorerなどのWebブラウザを用いて表示装置上に表示することができる。
このようなWebブラウザでは、表示される文書データ中の文字列や画像データなどのオブジェクトに対して、そのオブジェクトと関連づけられる情報内容の格納先であるアドレス情報で構成されるリンク情報を含ませることが可能である。このようなリンク情報を備えるオブジェクトが指示されるとそのリンク情報中に含まれるURL(Uniform Resource Locator)などのアドレスにアクセスを行い、関連づけられた情報内容を取得して表示装置上に表示することが可能となる。
【0003】
このようなハイパーリンク機能に加えて、文書データ中に存在するリンクオブジェクトおよびそのリンク情報を抽出し、リンクオブジェクトのリスト表示を行ってこのリスト表示から関連づけられる情報内容にアクセスすることが可能な文書ブラウザが提案されている(特許文献1参照)。
文書ブラウザを継続的に利用していると、同じ情報を何度も見たり、以前に一度見た情報をもう一度見たいような状況が頻繁に発生する。このため、Webブラウザでは、「お気に入り」や「ブックマーク」などと呼ばれるリンク情報のリストを持ち、ユーザがこのリスト中に明示的にリンク情報を追加することにより、このリンク情報のリストをユーザによってカスタマイズさせることができるようになっている。したがって、このような文書ブラウザでは、リンク情報のリスト中から所望の情報を選択することによってURLなどのアドレス情報を入力することなく、情報内容の閲覧が可能になる。
【0004】
本や新聞、その他の紙メディアに掲載されている文書や画像に対して重要な情報や注目すべき部分がある場合、一般的には鉛筆やボールペン、ラインマーカなどを用いてアンダーラインやその他の目印を直接書き込むことが行われている。
このような紙媒体と同様にして、電子的な文書データ中に手書き入力された付加情報を受け付けてこれを文書データと合成して表示可能な装置が提案されている(特許文献2および特許文献3参照)。
特許文献2(特開昭60−173620号公報)では、書き込み用ペンのディスプレイ画面上の移動軌跡を検出して文書データと合成して表示するようなディスプレイ装置が提案されている。
【0005】
また、特許文献3(特開2001−195045号公報)では、ケーブルで接続された複数のコンピュータのうち一方のコンピュータにマウスなどのポインタで入力された軌跡画像を、他のコンピュータ上の画像と合成して表示することが可能な装置が提案されている。
【0006】
【特許文献1】
特開2002−149679号公報
【0007】
【特許文献2】
特開昭60−173620号公報
【0008】
【特許文献3】
特開2001−195045号公報
【0009】
【発明が解決しようとする課題】
特許文献1に記載されているような方法や「ブックマーク」などのような方法でリンク情報のリスト表示を行う場合には、リンク情報数が多くなるとリスト中から所望のリンク情報を探す手間がかかる。このため、ユーザはリンク情報を厳選してリスト中に残すようにする努力が必要となるが、どの情報が後で必要になってくるかをその時点で判断することは必ずしも容易ではなく、リスト中にリンク情報を残さなかったために後々再閲覧することが困難になるということも起こり得る。
【0010】
また、特許文献2や特許文献3では、ユーザにより手書きされる付加情報を受け付けてその軌跡情報を通常の文書データと合成して表示しているものの、付加情報が文書データ中のどの位置に配置されたかの位置情報や付加情報の特徴や種別などの特性データとともに付加情報を蓄積しているわけではないため、文書データと関連づけた状態で付加情報を検索することが困難であり、付加情報が添付された状態で再度同じ文書データを閲覧することができないという問題がある。本発明は、手書きによる目印などの付加情報を受け付けて、これを文書データと合成して表示することを可能とし、この付加情報に基づいて文書データの検索、再閲覧が可能となるような文書ブラウザの提供を目的とする。
【0011】
【課題を解決するための手段】
本発明に係る文書ブラウザは、表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウザであって、付加情報の入力を受け付ける付加情報受付手段と、文書データと付加情報とを合成して表示装置に表示するブラウズ手段と、付加情報の文書データ中における位置情報を取得する位置情報取得手段と、付加情報の特性情報を取得する特性情報取得手段と、位置情報、特性情報とともに付加情報を格納する付加情報格納手段と、付加情報格納手段に格納された付加情報を付加情報の内容および特性情報に基づいて検索させる付加情報検索手段と、付加情報検索手段により検索した検索結果を表示装置上に表示する検索結果表示手段とを備える。
【0012】
ここで、文書データは、HTML文書、XML文書、その他の構造化文書とすることができる。
また、特性情報は、付加情報を構成する線の色、透明度、線の太さなどの属性情報および付加情報の形状種別、大きさ、入力日時、その他の特性データとすることができる。
さらに、付加情報受付手段は、ペンタブレット、マウス、その他のポインティングデバイスを含む構成とすることができる。
【0013】
また、付加情報は、文書データと合成される際に文書データが識別可能となるように半透過性で表示することができる。
本発明に係る文書ブラウズ方法は、表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法であって、文書データを表示装置に表示する段階と、表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、文書データと付加情報とを合成して表示装置に表示する段階と、付加情報の文書データ中における位置情報を取得する段階と、付加情報の特性情報を取得する段階と、位置情報、特性情報とともに付加情報を格納する段階と、付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、付加情報検索手段により検索した検索結果を表示装置上に表示する段階とを備える。
【0014】
本発明に係るプログラムは、表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法のプログラムであって、文書データを表示装置に表示する段階と、表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、文書データと付加情報とを合成して表示装置に表示する段階と、付加情報の文書データ中における位置情報を取得する段階と、付加情報の特性情報を取得する段階と、位置情報、特性情報とともに付加情報を格納する段階と、付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、付加情報検索手段により検索した検索結果を表示装置上に表示する段階とを備える。
【0015】
【発明の実施の形態】
本発明に係る文書ブラウザは、通常のパーソナルコンピュータ、ワークステーションなどの一般的なコンピュータやPDA(Personal Data Assistance)などのモバイルコンピュータなどにインストールされたアプリケーションソフトウェアとして実現されるものであり、図1に示すように、CPU、ROM、RAM、各種インターフェイスなどを含むコンピュータ本体1の内部記憶手段11上にアプリケーションソフトウェアが展開されて、各機能部が構成される。
【0016】
コンピュータ本体1には、キーボード、マウス、トラックボール、タッチパッド、入力用タブレット、その他の入力手段で構成されるポインティングデバイス2、液晶ディスプレイ、CRTなどで構成される表示装置4、HDD(ハードディスクドライブ)、その他の記憶手段で構成される外部記憶手段3などが接続されている。
コンピュータ本体1内には、ブラウズ手段12、手書き入力判定手段13、手書き入力手段14、手書き筆跡識別手段15、手書き筆跡記憶手段16、リンク検索手段17、手書き筆跡表示手段18、手書き筆跡検索手段19、筆跡属性制御手段20、ページ保存手段21などの各機能部が構成される。
【0017】
ブラウズ手段12は、通常の基本的な文書ブラウズ機能を提供するものであって、Microsoft社のInternet Explorer(登録商標)、Netscape社のNetscape Navigator(登録商標)などのWeb文書閲覧機能、Adobe社のAcrobat Reader(登録商標)などのPDF文書閲覧機能などと同等の機能を備える。
手書き入力判定手段13は、ポインティングデバイス2によって指示された画面上のポイントが手書き入力可能な領域か否かを判定する。たとえば、Webブラウザにおいて表示されているハイパーテキストのリンクオブジェクト上では、ポインティングデバイス2による指示があるとリンク先の情報内容を表示することとなるが、このリンクオブジェクト上に手書き入力を許可するとハイパーリンクが正常に機能しないおそれがある。したがって、ブラウズ手段12により表示されている文書データにおいて現在ポインティングデバイス2により指示されている位置が特定の機能を持った画面要素である場合には、ポインティングデバイス2により指示された位置情報をブラウズ手段12にそのまま送り、そうでない場合にはポインティングデバイス2により指示された位置情報を手書き入力手段14に送信する。
【0018】
手書き入力手段14は、ポインティングデバイス2により指示された位置情報に基づいてその軌跡から筆跡データを生成し手書き筆跡記憶手段16を介して内部記憶手段11に格納する。
手書き筆跡識別手段15は、ポインティングデバイス2を用いて入力された筆跡データがどのような形状種別であるかをパターン認識の技術を用いて識別する。たとえば、筆跡データを構成する各点の相関係数を取得し、所定の基準値に対して十分に直線的であり、その直線の傾きが水平であり、さらにブラウズ手段12によって表示されている文書データ中の文字列の真下に位置している場合には、アンダーラインであると認識することができる。この他、丸や三角、四角などの閉曲線によるデータの囲い込みやチェックマーク、その他の形状パターンにより形状種別を分別することができる。パターンがどの形状に最もよくマッチするかを判定するパターン認識の技術は古くから知られており、ここではその詳細な説明を省略する。手書き筆跡識別手段15により識別された形状種別は、手書き入力手段14により生成される筆跡データに関連づけられ、手書き筆跡記憶手段16を介して内部記憶手段11に格納される。手書き筆跡識別手段15では、入力された筆跡データの大きさによる類別を行うように構成できる。たとえば、入力された筆跡データを内部に含む長方形の面積を求め、この面積が予め設定された範囲のいずれに属するかを判定することで、筆跡データの大きさを類別することができる。
【0019】
手書き筆跡記憶手段16は、手書き入力手段14から得られる筆跡データ(ポインティングデバイス2により入力された座標情報と筆跡属性制御手段20から入力された属性情報)、手書き筆跡識別手段15から得られる筆跡データの形状種別、大きさ種別、ブラウズ手段12がそのとき表示している文書データのURLおよびその文書データ上の筆跡データの位置情報、入力された日時などを筆跡データと関連づけて内部記憶11に格納する。
リンク検索手段17は、ブラウズ手段12によって表示されるWebページの内容が切り替わるタイミングに連動して、その表示されるページのURLが手書き筆跡記憶手段16を介して記憶されたURLの中にあるか否かを検索する。手書き筆跡記憶手段16により内部記憶手段11中に格納されたURLの中に、表示されるページのURLと一致するURLが存在する場合には、そのURLと関連づけられている筆跡データを内部記憶手段11から読み出して手書き筆跡表示手段18を通じてWebページと合成して表示する。
【0020】
手書き筆跡表示手段18は、手書き筆跡記憶手段16によって内部記憶手段11に格納されている筆跡データを、関連づけられているWebページ上の所定位置となるように表示装置4の画面上に表示する。
手書き筆跡検索手段19は、ユーザによって指定された形状種別の筆跡データを、手書き筆跡記憶手段16によって内部記憶手段11に格納されている筆跡データ中から検索する。内部記憶手段11中に形状種別が一致する筆跡データが存在する場合には、その筆跡データを検索結果としてユーザに提示する。リスト表示された筆跡データのうちからユーザが選択した筆跡データについてその筆跡データと関連づけられたWebページをブラウズ手段12を介して表示する。このとき、ブラウズ手段12はリンク検索手段17を介して筆跡データを呼び出すため、Webページとこれに関連づけられた筆跡データを合成して表示装置4上に表示することとなる。
【0021】
筆跡属性制御手段20は、筆跡データを構成する線の色や透明度、太さなどの表示属性に関する属性情報をユーザから受け付け、受け付けた指示に応じて属性情報の変更を行う。ユーザからの属性情報に対する指示は種々の方法により受け付けることが可能であり、たとえば、画面上に色や透明度、線の太さなどを選択するためのメニュー表示を行い、ユーザの操作に応じて属性情報の入力指示を受け付けるように構成することが可能である。また、ペンタブレットからの筆跡データの入力を受け付ける場合には、色や透明度、線の太さに応じて異なるペンを用意しておき、使用されたペンを識別することで属性情報を取得するように構成できる。
【0022】
ページ保存手段21は、Webページの内容と手書き筆跡記憶手段16により内部記憶手段11内に格納されている筆跡データおよびそれに付随する情報を関連づけて外部記憶手段3内に格納する。Webページはほとんどの場合、リモートで閲覧を行うWebブラウザのユーザとは異なるサイト管理者によって管理されており、同じURLのWebページであってもWebブラウザのユーザの意図とは無関係に変更、削除される可能性があり、記憶されている筆跡データとWebページとの対応が噛み合わない場合がでてくる。このため、筆跡データの入力があった場合に関連づけられたWebページの内容を外部記憶手段3内に格納しておき、常に筆跡データとWebページの内容との関係を維持するように構成している。筆跡データが付加されたWebページの内容をすべて外部記憶手段3に格納すると容量が膨大となるため、保存されるWebページをユーザが選択することができるように構成することができる。たとえば、特定の形状種別を備える筆跡データが書き込まれた場合にのみそのWebページを外部記憶手段3に保存するように構成でき、それ以外の形状種別の筆跡データが書き込まれた場合には、筆跡データとそれに付随する情報だけを外部記憶手段3に保存するように構成できる。
【0023】
ブラウズ手段12により表示される画面がウィンドウ表示されるような環境において、ウィンドウサイズがユーザ操作により変更されることによりWebページのレイアウトも変化する場合がある。このような場合には、筆跡データが書き込まれた際のWebページの表示サイズを筆跡データとともに外部記憶手段3内に保存しておき、筆跡データを含むWebページを再表示する際に保存されている表示サイズでWebページの表示を行うように構成することにより、Webページと筆跡データとの位置関係を入力時と同一に維持することが可能となる。また、Webページ全体と筆跡データとの位置関係ではなく、たとえばテキストデータ中の段落や画像データなどのWebページ内の構成要素と筆跡データとの位置関係を保存しておき、表示サイズの変化に伴う各構成要素の位置変化に追従させて筆跡データの表示位置を変更するという方法が考えられる。
【0024】
このように構成される文書ブラウザの動作を図2に示す制御フローチャートに基づいて説明する。
アプリケーションが起動すると、ブラウズ手段12は予めホームページとして設定されているWebページにアクセスして、その内容情報を取得し表示装置4上に表示する。
ステップS12では、現在表示装置4上に表示されているWebページ以外のWebページのアドレス情報が指示されたか否かを判別する。ここでは、アドレス情報としてWebページのURLが入力された場合もしくは現在表示されているWebページ上に存在しているリンクオブジェクトがクリックされた場合にはWebページのアドレス情報が入力されたと判断してステップS13に移行する。
【0025】
ステップS13では、入力されたアドレス情報に基づいて対応するWebページの内容情報を取得し、その内容情報を表示装置4上に表示するブラウズ画面更新処理を実行する。
ステップS14では、ポインティングデバイス2からの指示入力があったか否かを判断する。ポインティングデバイス2から指示入力があったと判断した場合にはステップS15に移行する。
ステップS15では、ポインティングデバイス2から入力される筆跡データの取得する筆跡データ処理を実行する。
【0026】
ステップS16では、筆跡データに関する検索指示があったか否かを判別する。たとえば、表示装置4上に筆跡データ検索のメニュー表示を行い、このメニュー表示から筆跡データの検索指示が行われた場合に、筆跡データに関する検索指示があったと判断してステップS17に移行する。
ステップS17では、指示された検索項目に基づいて筆跡データの検索を行う筆跡検索処理を実行する。
ステップS18では、この処理の終了指示があったか否かを判断する。ユーザからの終了指示入力を受け付けた場合にはこのアプリケーションの終了処理を行う。
【0027】
図2のステップ13におけるブラウズ画面更新処理について、図3のフローチャートに基づいて詳述する。
ステップS21では、指示のあったアドレス情報を受け付ける。ここでは、ユーザから入力されたURLまたはユーザが指示を行ったリンクオブジェクトに設定されているURLを取得する。
ステップS22では、取得したURLに基づいてこれと一致するURLが手書き筆跡記憶手段16によって記憶されているか否かを判別する。リンク検索手段17により、手書き筆跡記憶手段16によって記憶されたURLを検索し、このURL中に一致するURLがあると判断した場合にはステップS24に移行し、そうでない場合にはステップS23に移行する。
【0028】
ステップS23では、指定されたURLにアクセスして該当するWebページの情報内容を取得し、ブラウズ手段12を介して表示装置4に表示する。
ステップS24では、手書き筆跡記憶手段16によって記憶された筆跡データを取得する。ここでは、内部記憶手段11に保持している筆跡データまたは外部記憶手段3に格納されている筆跡データから、指定されたURLと関連づけられた筆跡データを読み出すことにより該当する筆跡データを取得する。
ステップS25では、指定されたURLに該当するWebページの内容情報がページ保存手段21を介して外部記憶手段3に格納されているか否かを判別する。指定されたURLに該当するWebページの内容情報が外部記憶手段3に格納されていると判断した場合にはステップS27に移行し、そうでない場合にはステップS26に移行する。
【0029】
ステップS26では、指定されたURLに該当するWebページにアクセスして該当する内容情報を取得する。
ステップS27では、外部記憶手段3に格納されているWebページから指定されたURLに該当するWebページの内容情報を読み出す。
ステップS28では、Webページの表示サイズの調整が必要であるか否かを判別する。取得したWebページの内容情報が筆跡データが入力された時と同一の表示サイズでない場合には、表示サイズの調整が必要であると判断してステップS29に移行する。
【0030】
ステップS29では、Webページの表示サイズの調整を行う。たとえば、Webページの表示サイズを、筆跡データが入力されたときと同一のウィンドウサイズに自動調整する。
ステップS30では、Webページの内容情報と筆跡データとを合成して表示装置4上に表示する。このとき、Webページの内容情報を先に表示した後、筆跡データが入力された順にゆっくりとアニメーション表示するように構成することも可能である。
【0031】
図2ステップS15における筆跡データ処理を図4のフローチャートにより詳述する。
手書き入力が開始されると、ステップS41において、Webページの内容情報中におけるポインティングデバイス2の位置情報を取得する。筆跡データの入力は、たとえば、マウスの左ボタンをクリックした状態でマウスを移動させる方法、タブレット上に入力用ペンを接触または近接させた状態で画面上にペン先を移動させる方法などが考えられる。したがって、マウスの左ボタンがクリックされた時点または入力用ペンがタブレットの画面上に接触または近接した瞬間を手書き入力開始時点として、このときのマウスポインタの位置または入力用ペンの位置を位置情報として取得する。また、キーボードから所定のキー入力を行うことで手書き入力の開始を指示するように構成することも可能であり、画面上に表示されるメニューボタンなどから指示することも可能である。
【0032】
ステップS42では、ポインティングデバイス2がWebページ上のリンクオブジェクト上にあるか否かを判別する。現在表示されているWebページにリンクオブジェクトが設定されており、そのリンクオブジェクトの領域をポインティングデバイス2が指示していると判断した場合にはステップS50に移行し、そうでない場合にはステップS43に移行する。
ステップS43では、筆跡データの属性情報を取得する。ここでは、筆跡属性御手段20を介してユーザが予め指定した色、透明度、線の太さなどの属性情報を取得する。
【0033】
ステップS44では、取得した筆跡データの位置情報および属性情報に基づいて筆跡データの記録を開始する。ここでは、ポインティングデバイス2から入力される位置情報と、筆跡属性制御手段20で指定された属性情報とを手書き筆跡記憶手段16を介して内部記憶手段11に格納する。
ステップS45では、手書き入力が終了したか否かを判別する。ここでは、マウスの左ボタンのクリック状態が開放された場合または入力用ペンがタブレットの画面から離れた場合に、手書き入力が終了した旨の指示入力があったと判断してステップS46に移行し、そうでない場合にはステップS41に移行して筆跡データの記録を続行する。
【0034】
ステップS46では、内部記憶手段11内に保持している筆跡データを現在ブラウズ手段12により表示装置4上に表示されているWebページの内容情報と合成して表示する。
ステップS47では、入力を受け付けた筆跡データの形状種別の判定を行う。ここでは、手書き筆跡識別手段15により筆跡データのパターン認識を行って、たとえば、アンダーライン、丸、三角などの閉曲線による囲み、チェックマーク、その他の形状種別を特定する。同時に、筆跡データの大きさがどの程度であるかを判別し、大きさ種別を決定するように構成できる。
【0035】
ステップS48では、筆跡データが入力されたWebページの内容情報を保存するか否かを判別する。筆跡データの入力を受け付けたWebページについて、内容情報を保存する旨の指示がユーザからあった場合には、このWebページを保存すると判断してステップS49に移行する。また、筆跡データの形状種別が予め設定された所定の形状種別であるときにこのWebページの内容情報を保存するように設定することことも可能であり、この場合には筆跡データの形状種別を判定して保存するか否かを判定するように構成する。
【0036】
ステップS49では、外部記憶手段3にWebページの内容情報を格納する。これと同時に、内部記憶手段11内に保持している筆跡データおよびこれに付随する位置情報や属性情報、形状種別や大きさ種別などを外部記憶手段3に格納する。
ステップS50では、ポインティングデバイス2が位置しているWebページ上のリンクオブジェクトに設定されたURLにアクセスして、その内容情報を取得し表示装置4上のブラウズ画面を更新する。
【0037】
図2ステップS17における筆跡検索処理について図5に示すフローチャートに基づいて詳述する。
ステップS61では、ユーザが入力する検索情報を受け付ける。ここでは、筆跡データを検索するために必要となる色、透明度、線の太さなどの属性情報、筆跡データの形状種別、大きさ種別などをユーザから受け付けてこれを検索情報とする。
ステップS62では、受け付けた検索情報に基づいて、手書き筆跡記憶手段16により記憶されている筆跡データを検索する。
【0038】
ステップS63では、手書き筆跡記憶手段16により記憶されている筆跡データから検索情報により検索した結果を出力する。この場合、ヒットした筆跡データが関連づけられているWebページの内容情報を縮小して並べて表示したり、WebページのURLをリスト表示するように構成できる。
ステップS64では、表示された結果出力からWebページが選択されたか否かを判別する。ポインティングデバイス2などを用いて、表示された結果出力のうちからいずれかのWebページの内容情報が選択された場合にはステップS65に移行する。
【0039】
ステップS65では、指示されたWebページの内容情報とこれに関連づけられた筆跡データとを合成して表示装置4上に表示する。
ポインティングデバイス2として、コンピュータ本体1に接続される入力用タブレットおよび入力用ペンを用いた場合の例を図6および図7に示す。
入力用タブレット200は、ブラウズ手段12によるWebページの内容情報表示を行うための液晶ディスプレイなどの表示手段と、入力用ペン201の筆圧を検出する感圧手段とが一体型となったものである。
【0040】
入力用タブレット200には、コンピュータ本体1のブラウズ手段12から送出されるWebページのブラウズ画面400を表示するとともに、入力用ペン201の筆圧を検出して筆跡データの入力を受け付けることが可能となっている。
たとえば、図7に示すように、ブラウズ画面400に、文書データ402,403,404と画像データ401,405,406が配置されており、これに対して入力用ペン201により手書き入力された筆跡データ410,411がある場合、これら筆跡データ410,411をブラウズ画面400に重ね合わせて表示する。筆跡データ410,411は、ユーザにより予め設定された属性情報に基づいて、線の色、透明度、太さが決定され、この属性情報に基づく表示を行う。属性情報は、ユーザが特に設定を行わない場合にはデフォルト値が選択されるものであり、特に、ブラウズ画面400に配置されている各文書データや画像データを視認しやすくするために、ある程度の透明度を備える線で構成されるように表示することが好ましい。
【0041】
<付記>
(付記1)
表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウザであって、
前記付加情報の入力を受け付ける付加情報受付手段と、
前記文書データと前記付加情報とを合成して前記表示装置に表示するブラウズ手段と、
前記付加情報の前記文書データ中における位置情報を取得する位置情報取得手段と、
前記付加情報の特性情報を取得する特性情報取得手段と、
前記位置情報、前記特性情報とともに前記付加情報を格納する付加情報格納手段と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる付加情報検索手段と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する検索結果表示手段と、
を備える文書ブラウザ。
【0042】
(付記2)
前記文書データは、HTML文書、XML文書、その他の構造化文書である、付記1に記載の文書ブラウザ。
(付記3)
前記特性情報は、前記付加情報を構成する線の色、透明度、線の太さなどの属性情報および前記付加情報の形状種別、大きさ、入力日時、その他の特性データを含む、付記1または2に記載の文書ブラウザ。
【0043】
(付記4)
前記付加情報受付手段は、ペンタブレット、マウス、その他のポインティングデバイスを含む、付記1〜3のいずれかに記載の文書ブラウザ。
(付記5)
前記付加情報は、前記文書データと合成される際に前記文書データが識別可能となるように半透過性で表示される、付記1〜4のいずれかに記載の文書ブラウザ。
【0044】
(付記6)
表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法であって、
前記文書データを表示装置に表示する段階と、
前記表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、
前記文書データと付加情報とを合成して前記表示装置に表示する段階と、
前記付加情報の前記文書データ中における位置情報を取得する段階と、
前記付加情報の特性情報を取得する段階と、
前記位置情報、前記特性情報とともに前記付加情報を格納する段階と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する段階と、
を備える文書ブラウズ方法。
【0045】
(付記7)
表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法のプログラムであって、
前記文書データを表示装置に表示する段階と、
前記表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、
前記文書データと付加情報とを合成して前記表示装置に表示する段階と、
前記付加情報の前記文書データ中における位置情報を取得する段階と、
前記付加情報の特性情報を取得する段階と、
前記位置情報、前記特性情報とともに前記付加情報を格納する段階と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する段階と、
を備える文書ブラウズ方法をコンピュータに実行させるためのプログラム。
【0046】
【発明の効果】
本発明では、ブラウズ手段により表示された文書中にユーザが直接手書きで付加情報を入力することが可能であり、以前に書き込んだ付加情報を検索して文書データとともに表示することが可能であるため、紙メディアの場合に類似するインターフェイスを提供することができ、文書データの再閲覧が容易になる。
【図面の簡単な説明】
【図1】本発明の1実施形態が採用される文書ブラウザの制御ブロック図。
【図2】その制御フローチャート。
【図3】その制御フローチャート。
【図4】その制御フローチャート。
【図5】その制御フローチャート。
【図6】表示一体型タブレットの説明図。
【図7】表示画面の一例を示す説明図。
【発明の属する技術分野】
本発明は、表示装置上に表示可能なテキストデータや画像データを含む文書データに対する付加情報の入力を受け付けて、文書データと付加情報とを合成して表示可能な文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラムに関する。
【0002】
【従来の技術】
テキストデータや画像データなどを含む文書データをCRTや液晶ディスプレイなどの表示装置上に表示するアプリケーションソフトは多く存在する。
たとえば、インターネットを介してアクセス可能なWWW(World Wide Web)上に存在するHTML文書やXML文書などの構造化文書は、Microsoft Internet ExplorerなどのWebブラウザを用いて表示装置上に表示することができる。
このようなWebブラウザでは、表示される文書データ中の文字列や画像データなどのオブジェクトに対して、そのオブジェクトと関連づけられる情報内容の格納先であるアドレス情報で構成されるリンク情報を含ませることが可能である。このようなリンク情報を備えるオブジェクトが指示されるとそのリンク情報中に含まれるURL(Uniform Resource Locator)などのアドレスにアクセスを行い、関連づけられた情報内容を取得して表示装置上に表示することが可能となる。
【0003】
このようなハイパーリンク機能に加えて、文書データ中に存在するリンクオブジェクトおよびそのリンク情報を抽出し、リンクオブジェクトのリスト表示を行ってこのリスト表示から関連づけられる情報内容にアクセスすることが可能な文書ブラウザが提案されている(特許文献1参照)。
文書ブラウザを継続的に利用していると、同じ情報を何度も見たり、以前に一度見た情報をもう一度見たいような状況が頻繁に発生する。このため、Webブラウザでは、「お気に入り」や「ブックマーク」などと呼ばれるリンク情報のリストを持ち、ユーザがこのリスト中に明示的にリンク情報を追加することにより、このリンク情報のリストをユーザによってカスタマイズさせることができるようになっている。したがって、このような文書ブラウザでは、リンク情報のリスト中から所望の情報を選択することによってURLなどのアドレス情報を入力することなく、情報内容の閲覧が可能になる。
【0004】
本や新聞、その他の紙メディアに掲載されている文書や画像に対して重要な情報や注目すべき部分がある場合、一般的には鉛筆やボールペン、ラインマーカなどを用いてアンダーラインやその他の目印を直接書き込むことが行われている。
このような紙媒体と同様にして、電子的な文書データ中に手書き入力された付加情報を受け付けてこれを文書データと合成して表示可能な装置が提案されている(特許文献2および特許文献3参照)。
特許文献2(特開昭60−173620号公報)では、書き込み用ペンのディスプレイ画面上の移動軌跡を検出して文書データと合成して表示するようなディスプレイ装置が提案されている。
【0005】
また、特許文献3(特開2001−195045号公報)では、ケーブルで接続された複数のコンピュータのうち一方のコンピュータにマウスなどのポインタで入力された軌跡画像を、他のコンピュータ上の画像と合成して表示することが可能な装置が提案されている。
【0006】
【特許文献1】
特開2002−149679号公報
【0007】
【特許文献2】
特開昭60−173620号公報
【0008】
【特許文献3】
特開2001−195045号公報
【0009】
【発明が解決しようとする課題】
特許文献1に記載されているような方法や「ブックマーク」などのような方法でリンク情報のリスト表示を行う場合には、リンク情報数が多くなるとリスト中から所望のリンク情報を探す手間がかかる。このため、ユーザはリンク情報を厳選してリスト中に残すようにする努力が必要となるが、どの情報が後で必要になってくるかをその時点で判断することは必ずしも容易ではなく、リスト中にリンク情報を残さなかったために後々再閲覧することが困難になるということも起こり得る。
【0010】
また、特許文献2や特許文献3では、ユーザにより手書きされる付加情報を受け付けてその軌跡情報を通常の文書データと合成して表示しているものの、付加情報が文書データ中のどの位置に配置されたかの位置情報や付加情報の特徴や種別などの特性データとともに付加情報を蓄積しているわけではないため、文書データと関連づけた状態で付加情報を検索することが困難であり、付加情報が添付された状態で再度同じ文書データを閲覧することができないという問題がある。本発明は、手書きによる目印などの付加情報を受け付けて、これを文書データと合成して表示することを可能とし、この付加情報に基づいて文書データの検索、再閲覧が可能となるような文書ブラウザの提供を目的とする。
【0011】
【課題を解決するための手段】
本発明に係る文書ブラウザは、表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウザであって、付加情報の入力を受け付ける付加情報受付手段と、文書データと付加情報とを合成して表示装置に表示するブラウズ手段と、付加情報の文書データ中における位置情報を取得する位置情報取得手段と、付加情報の特性情報を取得する特性情報取得手段と、位置情報、特性情報とともに付加情報を格納する付加情報格納手段と、付加情報格納手段に格納された付加情報を付加情報の内容および特性情報に基づいて検索させる付加情報検索手段と、付加情報検索手段により検索した検索結果を表示装置上に表示する検索結果表示手段とを備える。
【0012】
ここで、文書データは、HTML文書、XML文書、その他の構造化文書とすることができる。
また、特性情報は、付加情報を構成する線の色、透明度、線の太さなどの属性情報および付加情報の形状種別、大きさ、入力日時、その他の特性データとすることができる。
さらに、付加情報受付手段は、ペンタブレット、マウス、その他のポインティングデバイスを含む構成とすることができる。
【0013】
また、付加情報は、文書データと合成される際に文書データが識別可能となるように半透過性で表示することができる。
本発明に係る文書ブラウズ方法は、表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法であって、文書データを表示装置に表示する段階と、表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、文書データと付加情報とを合成して表示装置に表示する段階と、付加情報の文書データ中における位置情報を取得する段階と、付加情報の特性情報を取得する段階と、位置情報、特性情報とともに付加情報を格納する段階と、付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、付加情報検索手段により検索した検索結果を表示装置上に表示する段階とを備える。
【0014】
本発明に係るプログラムは、表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法のプログラムであって、文書データを表示装置に表示する段階と、表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、文書データと付加情報とを合成して表示装置に表示する段階と、付加情報の文書データ中における位置情報を取得する段階と、付加情報の特性情報を取得する段階と、位置情報、特性情報とともに付加情報を格納する段階と、付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、付加情報検索手段により検索した検索結果を表示装置上に表示する段階とを備える。
【0015】
【発明の実施の形態】
本発明に係る文書ブラウザは、通常のパーソナルコンピュータ、ワークステーションなどの一般的なコンピュータやPDA(Personal Data Assistance)などのモバイルコンピュータなどにインストールされたアプリケーションソフトウェアとして実現されるものであり、図1に示すように、CPU、ROM、RAM、各種インターフェイスなどを含むコンピュータ本体1の内部記憶手段11上にアプリケーションソフトウェアが展開されて、各機能部が構成される。
【0016】
コンピュータ本体1には、キーボード、マウス、トラックボール、タッチパッド、入力用タブレット、その他の入力手段で構成されるポインティングデバイス2、液晶ディスプレイ、CRTなどで構成される表示装置4、HDD(ハードディスクドライブ)、その他の記憶手段で構成される外部記憶手段3などが接続されている。
コンピュータ本体1内には、ブラウズ手段12、手書き入力判定手段13、手書き入力手段14、手書き筆跡識別手段15、手書き筆跡記憶手段16、リンク検索手段17、手書き筆跡表示手段18、手書き筆跡検索手段19、筆跡属性制御手段20、ページ保存手段21などの各機能部が構成される。
【0017】
ブラウズ手段12は、通常の基本的な文書ブラウズ機能を提供するものであって、Microsoft社のInternet Explorer(登録商標)、Netscape社のNetscape Navigator(登録商標)などのWeb文書閲覧機能、Adobe社のAcrobat Reader(登録商標)などのPDF文書閲覧機能などと同等の機能を備える。
手書き入力判定手段13は、ポインティングデバイス2によって指示された画面上のポイントが手書き入力可能な領域か否かを判定する。たとえば、Webブラウザにおいて表示されているハイパーテキストのリンクオブジェクト上では、ポインティングデバイス2による指示があるとリンク先の情報内容を表示することとなるが、このリンクオブジェクト上に手書き入力を許可するとハイパーリンクが正常に機能しないおそれがある。したがって、ブラウズ手段12により表示されている文書データにおいて現在ポインティングデバイス2により指示されている位置が特定の機能を持った画面要素である場合には、ポインティングデバイス2により指示された位置情報をブラウズ手段12にそのまま送り、そうでない場合にはポインティングデバイス2により指示された位置情報を手書き入力手段14に送信する。
【0018】
手書き入力手段14は、ポインティングデバイス2により指示された位置情報に基づいてその軌跡から筆跡データを生成し手書き筆跡記憶手段16を介して内部記憶手段11に格納する。
手書き筆跡識別手段15は、ポインティングデバイス2を用いて入力された筆跡データがどのような形状種別であるかをパターン認識の技術を用いて識別する。たとえば、筆跡データを構成する各点の相関係数を取得し、所定の基準値に対して十分に直線的であり、その直線の傾きが水平であり、さらにブラウズ手段12によって表示されている文書データ中の文字列の真下に位置している場合には、アンダーラインであると認識することができる。この他、丸や三角、四角などの閉曲線によるデータの囲い込みやチェックマーク、その他の形状パターンにより形状種別を分別することができる。パターンがどの形状に最もよくマッチするかを判定するパターン認識の技術は古くから知られており、ここではその詳細な説明を省略する。手書き筆跡識別手段15により識別された形状種別は、手書き入力手段14により生成される筆跡データに関連づけられ、手書き筆跡記憶手段16を介して内部記憶手段11に格納される。手書き筆跡識別手段15では、入力された筆跡データの大きさによる類別を行うように構成できる。たとえば、入力された筆跡データを内部に含む長方形の面積を求め、この面積が予め設定された範囲のいずれに属するかを判定することで、筆跡データの大きさを類別することができる。
【0019】
手書き筆跡記憶手段16は、手書き入力手段14から得られる筆跡データ(ポインティングデバイス2により入力された座標情報と筆跡属性制御手段20から入力された属性情報)、手書き筆跡識別手段15から得られる筆跡データの形状種別、大きさ種別、ブラウズ手段12がそのとき表示している文書データのURLおよびその文書データ上の筆跡データの位置情報、入力された日時などを筆跡データと関連づけて内部記憶11に格納する。
リンク検索手段17は、ブラウズ手段12によって表示されるWebページの内容が切り替わるタイミングに連動して、その表示されるページのURLが手書き筆跡記憶手段16を介して記憶されたURLの中にあるか否かを検索する。手書き筆跡記憶手段16により内部記憶手段11中に格納されたURLの中に、表示されるページのURLと一致するURLが存在する場合には、そのURLと関連づけられている筆跡データを内部記憶手段11から読み出して手書き筆跡表示手段18を通じてWebページと合成して表示する。
【0020】
手書き筆跡表示手段18は、手書き筆跡記憶手段16によって内部記憶手段11に格納されている筆跡データを、関連づけられているWebページ上の所定位置となるように表示装置4の画面上に表示する。
手書き筆跡検索手段19は、ユーザによって指定された形状種別の筆跡データを、手書き筆跡記憶手段16によって内部記憶手段11に格納されている筆跡データ中から検索する。内部記憶手段11中に形状種別が一致する筆跡データが存在する場合には、その筆跡データを検索結果としてユーザに提示する。リスト表示された筆跡データのうちからユーザが選択した筆跡データについてその筆跡データと関連づけられたWebページをブラウズ手段12を介して表示する。このとき、ブラウズ手段12はリンク検索手段17を介して筆跡データを呼び出すため、Webページとこれに関連づけられた筆跡データを合成して表示装置4上に表示することとなる。
【0021】
筆跡属性制御手段20は、筆跡データを構成する線の色や透明度、太さなどの表示属性に関する属性情報をユーザから受け付け、受け付けた指示に応じて属性情報の変更を行う。ユーザからの属性情報に対する指示は種々の方法により受け付けることが可能であり、たとえば、画面上に色や透明度、線の太さなどを選択するためのメニュー表示を行い、ユーザの操作に応じて属性情報の入力指示を受け付けるように構成することが可能である。また、ペンタブレットからの筆跡データの入力を受け付ける場合には、色や透明度、線の太さに応じて異なるペンを用意しておき、使用されたペンを識別することで属性情報を取得するように構成できる。
【0022】
ページ保存手段21は、Webページの内容と手書き筆跡記憶手段16により内部記憶手段11内に格納されている筆跡データおよびそれに付随する情報を関連づけて外部記憶手段3内に格納する。Webページはほとんどの場合、リモートで閲覧を行うWebブラウザのユーザとは異なるサイト管理者によって管理されており、同じURLのWebページであってもWebブラウザのユーザの意図とは無関係に変更、削除される可能性があり、記憶されている筆跡データとWebページとの対応が噛み合わない場合がでてくる。このため、筆跡データの入力があった場合に関連づけられたWebページの内容を外部記憶手段3内に格納しておき、常に筆跡データとWebページの内容との関係を維持するように構成している。筆跡データが付加されたWebページの内容をすべて外部記憶手段3に格納すると容量が膨大となるため、保存されるWebページをユーザが選択することができるように構成することができる。たとえば、特定の形状種別を備える筆跡データが書き込まれた場合にのみそのWebページを外部記憶手段3に保存するように構成でき、それ以外の形状種別の筆跡データが書き込まれた場合には、筆跡データとそれに付随する情報だけを外部記憶手段3に保存するように構成できる。
【0023】
ブラウズ手段12により表示される画面がウィンドウ表示されるような環境において、ウィンドウサイズがユーザ操作により変更されることによりWebページのレイアウトも変化する場合がある。このような場合には、筆跡データが書き込まれた際のWebページの表示サイズを筆跡データとともに外部記憶手段3内に保存しておき、筆跡データを含むWebページを再表示する際に保存されている表示サイズでWebページの表示を行うように構成することにより、Webページと筆跡データとの位置関係を入力時と同一に維持することが可能となる。また、Webページ全体と筆跡データとの位置関係ではなく、たとえばテキストデータ中の段落や画像データなどのWebページ内の構成要素と筆跡データとの位置関係を保存しておき、表示サイズの変化に伴う各構成要素の位置変化に追従させて筆跡データの表示位置を変更するという方法が考えられる。
【0024】
このように構成される文書ブラウザの動作を図2に示す制御フローチャートに基づいて説明する。
アプリケーションが起動すると、ブラウズ手段12は予めホームページとして設定されているWebページにアクセスして、その内容情報を取得し表示装置4上に表示する。
ステップS12では、現在表示装置4上に表示されているWebページ以外のWebページのアドレス情報が指示されたか否かを判別する。ここでは、アドレス情報としてWebページのURLが入力された場合もしくは現在表示されているWebページ上に存在しているリンクオブジェクトがクリックされた場合にはWebページのアドレス情報が入力されたと判断してステップS13に移行する。
【0025】
ステップS13では、入力されたアドレス情報に基づいて対応するWebページの内容情報を取得し、その内容情報を表示装置4上に表示するブラウズ画面更新処理を実行する。
ステップS14では、ポインティングデバイス2からの指示入力があったか否かを判断する。ポインティングデバイス2から指示入力があったと判断した場合にはステップS15に移行する。
ステップS15では、ポインティングデバイス2から入力される筆跡データの取得する筆跡データ処理を実行する。
【0026】
ステップS16では、筆跡データに関する検索指示があったか否かを判別する。たとえば、表示装置4上に筆跡データ検索のメニュー表示を行い、このメニュー表示から筆跡データの検索指示が行われた場合に、筆跡データに関する検索指示があったと判断してステップS17に移行する。
ステップS17では、指示された検索項目に基づいて筆跡データの検索を行う筆跡検索処理を実行する。
ステップS18では、この処理の終了指示があったか否かを判断する。ユーザからの終了指示入力を受け付けた場合にはこのアプリケーションの終了処理を行う。
【0027】
図2のステップ13におけるブラウズ画面更新処理について、図3のフローチャートに基づいて詳述する。
ステップS21では、指示のあったアドレス情報を受け付ける。ここでは、ユーザから入力されたURLまたはユーザが指示を行ったリンクオブジェクトに設定されているURLを取得する。
ステップS22では、取得したURLに基づいてこれと一致するURLが手書き筆跡記憶手段16によって記憶されているか否かを判別する。リンク検索手段17により、手書き筆跡記憶手段16によって記憶されたURLを検索し、このURL中に一致するURLがあると判断した場合にはステップS24に移行し、そうでない場合にはステップS23に移行する。
【0028】
ステップS23では、指定されたURLにアクセスして該当するWebページの情報内容を取得し、ブラウズ手段12を介して表示装置4に表示する。
ステップS24では、手書き筆跡記憶手段16によって記憶された筆跡データを取得する。ここでは、内部記憶手段11に保持している筆跡データまたは外部記憶手段3に格納されている筆跡データから、指定されたURLと関連づけられた筆跡データを読み出すことにより該当する筆跡データを取得する。
ステップS25では、指定されたURLに該当するWebページの内容情報がページ保存手段21を介して外部記憶手段3に格納されているか否かを判別する。指定されたURLに該当するWebページの内容情報が外部記憶手段3に格納されていると判断した場合にはステップS27に移行し、そうでない場合にはステップS26に移行する。
【0029】
ステップS26では、指定されたURLに該当するWebページにアクセスして該当する内容情報を取得する。
ステップS27では、外部記憶手段3に格納されているWebページから指定されたURLに該当するWebページの内容情報を読み出す。
ステップS28では、Webページの表示サイズの調整が必要であるか否かを判別する。取得したWebページの内容情報が筆跡データが入力された時と同一の表示サイズでない場合には、表示サイズの調整が必要であると判断してステップS29に移行する。
【0030】
ステップS29では、Webページの表示サイズの調整を行う。たとえば、Webページの表示サイズを、筆跡データが入力されたときと同一のウィンドウサイズに自動調整する。
ステップS30では、Webページの内容情報と筆跡データとを合成して表示装置4上に表示する。このとき、Webページの内容情報を先に表示した後、筆跡データが入力された順にゆっくりとアニメーション表示するように構成することも可能である。
【0031】
図2ステップS15における筆跡データ処理を図4のフローチャートにより詳述する。
手書き入力が開始されると、ステップS41において、Webページの内容情報中におけるポインティングデバイス2の位置情報を取得する。筆跡データの入力は、たとえば、マウスの左ボタンをクリックした状態でマウスを移動させる方法、タブレット上に入力用ペンを接触または近接させた状態で画面上にペン先を移動させる方法などが考えられる。したがって、マウスの左ボタンがクリックされた時点または入力用ペンがタブレットの画面上に接触または近接した瞬間を手書き入力開始時点として、このときのマウスポインタの位置または入力用ペンの位置を位置情報として取得する。また、キーボードから所定のキー入力を行うことで手書き入力の開始を指示するように構成することも可能であり、画面上に表示されるメニューボタンなどから指示することも可能である。
【0032】
ステップS42では、ポインティングデバイス2がWebページ上のリンクオブジェクト上にあるか否かを判別する。現在表示されているWebページにリンクオブジェクトが設定されており、そのリンクオブジェクトの領域をポインティングデバイス2が指示していると判断した場合にはステップS50に移行し、そうでない場合にはステップS43に移行する。
ステップS43では、筆跡データの属性情報を取得する。ここでは、筆跡属性御手段20を介してユーザが予め指定した色、透明度、線の太さなどの属性情報を取得する。
【0033】
ステップS44では、取得した筆跡データの位置情報および属性情報に基づいて筆跡データの記録を開始する。ここでは、ポインティングデバイス2から入力される位置情報と、筆跡属性制御手段20で指定された属性情報とを手書き筆跡記憶手段16を介して内部記憶手段11に格納する。
ステップS45では、手書き入力が終了したか否かを判別する。ここでは、マウスの左ボタンのクリック状態が開放された場合または入力用ペンがタブレットの画面から離れた場合に、手書き入力が終了した旨の指示入力があったと判断してステップS46に移行し、そうでない場合にはステップS41に移行して筆跡データの記録を続行する。
【0034】
ステップS46では、内部記憶手段11内に保持している筆跡データを現在ブラウズ手段12により表示装置4上に表示されているWebページの内容情報と合成して表示する。
ステップS47では、入力を受け付けた筆跡データの形状種別の判定を行う。ここでは、手書き筆跡識別手段15により筆跡データのパターン認識を行って、たとえば、アンダーライン、丸、三角などの閉曲線による囲み、チェックマーク、その他の形状種別を特定する。同時に、筆跡データの大きさがどの程度であるかを判別し、大きさ種別を決定するように構成できる。
【0035】
ステップS48では、筆跡データが入力されたWebページの内容情報を保存するか否かを判別する。筆跡データの入力を受け付けたWebページについて、内容情報を保存する旨の指示がユーザからあった場合には、このWebページを保存すると判断してステップS49に移行する。また、筆跡データの形状種別が予め設定された所定の形状種別であるときにこのWebページの内容情報を保存するように設定することことも可能であり、この場合には筆跡データの形状種別を判定して保存するか否かを判定するように構成する。
【0036】
ステップS49では、外部記憶手段3にWebページの内容情報を格納する。これと同時に、内部記憶手段11内に保持している筆跡データおよびこれに付随する位置情報や属性情報、形状種別や大きさ種別などを外部記憶手段3に格納する。
ステップS50では、ポインティングデバイス2が位置しているWebページ上のリンクオブジェクトに設定されたURLにアクセスして、その内容情報を取得し表示装置4上のブラウズ画面を更新する。
【0037】
図2ステップS17における筆跡検索処理について図5に示すフローチャートに基づいて詳述する。
ステップS61では、ユーザが入力する検索情報を受け付ける。ここでは、筆跡データを検索するために必要となる色、透明度、線の太さなどの属性情報、筆跡データの形状種別、大きさ種別などをユーザから受け付けてこれを検索情報とする。
ステップS62では、受け付けた検索情報に基づいて、手書き筆跡記憶手段16により記憶されている筆跡データを検索する。
【0038】
ステップS63では、手書き筆跡記憶手段16により記憶されている筆跡データから検索情報により検索した結果を出力する。この場合、ヒットした筆跡データが関連づけられているWebページの内容情報を縮小して並べて表示したり、WebページのURLをリスト表示するように構成できる。
ステップS64では、表示された結果出力からWebページが選択されたか否かを判別する。ポインティングデバイス2などを用いて、表示された結果出力のうちからいずれかのWebページの内容情報が選択された場合にはステップS65に移行する。
【0039】
ステップS65では、指示されたWebページの内容情報とこれに関連づけられた筆跡データとを合成して表示装置4上に表示する。
ポインティングデバイス2として、コンピュータ本体1に接続される入力用タブレットおよび入力用ペンを用いた場合の例を図6および図7に示す。
入力用タブレット200は、ブラウズ手段12によるWebページの内容情報表示を行うための液晶ディスプレイなどの表示手段と、入力用ペン201の筆圧を検出する感圧手段とが一体型となったものである。
【0040】
入力用タブレット200には、コンピュータ本体1のブラウズ手段12から送出されるWebページのブラウズ画面400を表示するとともに、入力用ペン201の筆圧を検出して筆跡データの入力を受け付けることが可能となっている。
たとえば、図7に示すように、ブラウズ画面400に、文書データ402,403,404と画像データ401,405,406が配置されており、これに対して入力用ペン201により手書き入力された筆跡データ410,411がある場合、これら筆跡データ410,411をブラウズ画面400に重ね合わせて表示する。筆跡データ410,411は、ユーザにより予め設定された属性情報に基づいて、線の色、透明度、太さが決定され、この属性情報に基づく表示を行う。属性情報は、ユーザが特に設定を行わない場合にはデフォルト値が選択されるものであり、特に、ブラウズ画面400に配置されている各文書データや画像データを視認しやすくするために、ある程度の透明度を備える線で構成されるように表示することが好ましい。
【0041】
<付記>
(付記1)
表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウザであって、
前記付加情報の入力を受け付ける付加情報受付手段と、
前記文書データと前記付加情報とを合成して前記表示装置に表示するブラウズ手段と、
前記付加情報の前記文書データ中における位置情報を取得する位置情報取得手段と、
前記付加情報の特性情報を取得する特性情報取得手段と、
前記位置情報、前記特性情報とともに前記付加情報を格納する付加情報格納手段と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる付加情報検索手段と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する検索結果表示手段と、
を備える文書ブラウザ。
【0042】
(付記2)
前記文書データは、HTML文書、XML文書、その他の構造化文書である、付記1に記載の文書ブラウザ。
(付記3)
前記特性情報は、前記付加情報を構成する線の色、透明度、線の太さなどの属性情報および前記付加情報の形状種別、大きさ、入力日時、その他の特性データを含む、付記1または2に記載の文書ブラウザ。
【0043】
(付記4)
前記付加情報受付手段は、ペンタブレット、マウス、その他のポインティングデバイスを含む、付記1〜3のいずれかに記載の文書ブラウザ。
(付記5)
前記付加情報は、前記文書データと合成される際に前記文書データが識別可能となるように半透過性で表示される、付記1〜4のいずれかに記載の文書ブラウザ。
【0044】
(付記6)
表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法であって、
前記文書データを表示装置に表示する段階と、
前記表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、
前記文書データと付加情報とを合成して前記表示装置に表示する段階と、
前記付加情報の前記文書データ中における位置情報を取得する段階と、
前記付加情報の特性情報を取得する段階と、
前記位置情報、前記特性情報とともに前記付加情報を格納する段階と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する段階と、
を備える文書ブラウズ方法。
【0045】
(付記7)
表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法のプログラムであって、
前記文書データを表示装置に表示する段階と、
前記表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、
前記文書データと付加情報とを合成して前記表示装置に表示する段階と、
前記付加情報の前記文書データ中における位置情報を取得する段階と、
前記付加情報の特性情報を取得する段階と、
前記位置情報、前記特性情報とともに前記付加情報を格納する段階と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する段階と、
を備える文書ブラウズ方法をコンピュータに実行させるためのプログラム。
【0046】
【発明の効果】
本発明では、ブラウズ手段により表示された文書中にユーザが直接手書きで付加情報を入力することが可能であり、以前に書き込んだ付加情報を検索して文書データとともに表示することが可能であるため、紙メディアの場合に類似するインターフェイスを提供することができ、文書データの再閲覧が容易になる。
【図面の簡単な説明】
【図1】本発明の1実施形態が採用される文書ブラウザの制御ブロック図。
【図2】その制御フローチャート。
【図3】その制御フローチャート。
【図4】その制御フローチャート。
【図5】その制御フローチャート。
【図6】表示一体型タブレットの説明図。
【図7】表示画面の一例を示す説明図。
Claims (5)
- 表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウザであって、
前記付加情報の入力を受け付ける付加情報受付手段と、
前記文書データと前記付加情報とを合成して前記表示装置に表示するブラウズ手段と、
前記付加情報の前記文書データ中における位置情報を取得する位置情報取得手段と、
前記付加情報の特性情報を取得する特性情報取得手段と、
前記位置情報、前記特性情報とともに前記付加情報を格納する付加情報格納手段と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる付加情報検索手段と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する検索結果表示手段と、
を備える文書ブラウザ。 - 前記文書データは、HTML文書、XML文書、その他の構造化文書である、請求項1に記載の文書ブラウザ。
- 前記特性情報は、前記付加情報を構成する線の色、透明度、線の太さなどの属性情報および前記付加情報の形状種別、大きさ、入力日時、その他の特性データを含む、請求項1または2に記載の文書ブラウザ。
- 表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法であって、
前記文書データを表示装置に表示する段階と、
前記表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、
前記文書データと付加情報とを合成して前記表示装置に表示する段階と、
前記付加情報の前記文書データ中における位置情報を取得する段階と、
前記付加情報の特性情報を取得する段階と、
前記位置情報、前記特性情報とともに前記付加情報を格納する段階と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する段階と、
を備える文書ブラウズ方法。 - 表示装置上に表示可能なテキストデータ、画像データなどを含む文書データに付加情報を合成して表示する文書ブラウズ方法のプログラムであって、
前記文書データを表示装置に表示する段階と、
前記表示装置に表示された文書データに対する付加情報の入力を受け付ける段階と、
前記文書データと付加情報とを合成して前記表示装置に表示する段階と、
前記付加情報の前記文書データ中における位置情報を取得する段階と、
前記付加情報の特性情報を取得する段階と、
前記位置情報、前記特性情報とともに前記付加情報を格納する段階と、
前記付加情報格納手段に格納された付加情報をその特性情報に基づいて検索させる段階と、
前記付加情報検索手段により検索した検索結果を前記表示装置上に表示する段階と、
を備える文書ブラウズ方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002305458A JP2004139501A (ja) | 2002-10-21 | 2002-10-21 | 文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラム |
US10/687,617 US20040083429A1 (en) | 2002-10-21 | 2003-10-20 | Document browser, document browsing method, and recording medium in which a program is recorded for executing document browsing method on computer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002305458A JP2004139501A (ja) | 2002-10-21 | 2002-10-21 | 文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004139501A true JP2004139501A (ja) | 2004-05-13 |
Family
ID=32105168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002305458A Pending JP2004139501A (ja) | 2002-10-21 | 2002-10-21 | 文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20040083429A1 (ja) |
JP (1) | JP2004139501A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302177A (ja) * | 2005-04-25 | 2006-11-02 | Fuji Xerox Co Ltd | 文書処理システム |
JP2008033447A (ja) * | 2006-07-26 | 2008-02-14 | Nec System Technologies Ltd | ポインティングデバイス、文字入力システム、文字入力方法、および、文字入力プログラム |
WO2008041367A1 (fr) * | 2006-09-29 | 2008-04-10 | Justsystems Corporation | Dispositif de recherche de document, procédé de recherche de document et programme de recherche de document |
JP2008158631A (ja) * | 2006-12-21 | 2008-07-10 | Canon Inc | 情報処理装置及びその制御方法 |
US20140258334A1 (en) * | 2013-03-11 | 2014-09-11 | Ricoh Company, Ltd. | Information processing apparatus, information processing system and information processing method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7193609B2 (en) * | 2002-03-19 | 2007-03-20 | America Online, Inc. | Constraining display motion in display navigation |
TWI289261B (en) * | 2002-09-11 | 2007-11-01 | Hon Hai Prec Ind Co Ltd | System and method for dynamically generating a HTTP query |
JP4733415B2 (ja) * | 2005-04-05 | 2011-07-27 | シャープ株式会社 | 電子文書の表示装置及び方法、並びにコンピュータプログラム |
KR100703331B1 (ko) * | 2005-06-01 | 2007-04-03 | 삼성전자주식회사 | 문자 입력에 대해 비주얼 효과를 부여하는 문자 입력 방법및 이를 위한 이동 단말기 |
CN104298654A (zh) * | 2014-09-11 | 2015-01-21 | 天津三星通信技术研究有限公司 | 用于显示信息的方法、装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5146552A (en) * | 1990-02-28 | 1992-09-08 | International Business Machines Corporation | Method for associating annotation with electronically published material |
CA2045907C (en) * | 1991-06-28 | 1998-12-15 | Gerald B. Anderson | A method for storing and retrieving annotations and redactions in final form documents |
CA2181342A1 (en) * | 1994-01-27 | 1995-08-03 | David T. Berquist | Software notes |
US5561446A (en) * | 1994-01-28 | 1996-10-01 | Montlick; Terry F. | Method and apparatus for wireless remote information retrieval and pen-based data entry |
JP4183311B2 (ja) * | 1997-12-22 | 2008-11-19 | 株式会社リコー | 文書の注釈方法、注釈装置および記録媒体 |
US20010033293A1 (en) * | 2000-02-16 | 2001-10-25 | Magnus Hollstrom | Electronic pen help feedback and information retrieval |
-
2002
- 2002-10-21 JP JP2002305458A patent/JP2004139501A/ja active Pending
-
2003
- 2003-10-20 US US10/687,617 patent/US20040083429A1/en not_active Abandoned
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006302177A (ja) * | 2005-04-25 | 2006-11-02 | Fuji Xerox Co Ltd | 文書処理システム |
JP2008033447A (ja) * | 2006-07-26 | 2008-02-14 | Nec System Technologies Ltd | ポインティングデバイス、文字入力システム、文字入力方法、および、文字入力プログラム |
WO2008041367A1 (fr) * | 2006-09-29 | 2008-04-10 | Justsystems Corporation | Dispositif de recherche de document, procédé de recherche de document et programme de recherche de document |
JP2008158631A (ja) * | 2006-12-21 | 2008-07-10 | Canon Inc | 情報処理装置及びその制御方法 |
US20140258334A1 (en) * | 2013-03-11 | 2014-09-11 | Ricoh Company, Ltd. | Information processing apparatus, information processing system and information processing method |
Also Published As
Publication number | Publication date |
---|---|
US20040083429A1 (en) | 2004-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7409633B2 (en) | System and method for annotating web-based document | |
US9996227B2 (en) | Apparatus and method for digital content navigation | |
US6356923B1 (en) | Document information management system | |
US7296230B2 (en) | Linked contents browsing support device, linked contents continuous browsing support device, and method and program therefor, and recording medium therewith | |
US7266765B2 (en) | Detection and processing of annotated anchors | |
KR100323969B1 (ko) | 컴퓨터시스템의사용자인터페이스의탐색특정용하이라이팅툴 | |
KR101122869B1 (ko) | 펜-기반 컴퓨팅 시스템에서의 주석 관리 | |
JP4814575B2 (ja) | 小型スクリーンコンピューティング装置にコンテンツを表示するシステムと方法 | |
US6920610B1 (en) | Method and system for browsing a low-resolution image | |
US8862574B2 (en) | Providing a search-result filters toolbar | |
US20100146012A1 (en) | Previewing search results for suggested refinement terms and vertical searches | |
US6338075B2 (en) | Hypertext reader which performs a reading process on a hierarchically constructed hypertext | |
US20160140387A1 (en) | Electronic apparatus and method | |
JP2006107458A (ja) | ドキュメントコンテンツ発信システム、オンラインコンテンツ発信方法、オンライン情報ストレージシステム、共同オンラインコンテンツシステムおよびオンラインコンテンツ発信プログラム | |
US7284200B2 (en) | Organization of handwritten notes using handwritten titles | |
US20020035643A1 (en) | Search support device and method, and recording medium storing program for computer to carry out operation with said search support device | |
JP2004139501A (ja) | 文書ブラウザ、文書ブラウズ方法および文書ブラウズ方法をコンピュータに実行させるためのプログラム | |
KR20120058544A (ko) | 이미지 구성요소의 검색 | |
JP2004355106A (ja) | コンピュータのタッチインタフェース | |
JP6157965B2 (ja) | 電子機器、方法、およびプログラム | |
US20150026224A1 (en) | Electronic device, method and storage medium | |
JP2002207727A (ja) | クライアント装置、そのプログラムを記録した記録媒体、及びそのプログラム | |
JP2002304340A (ja) | データ処理装置及びデータ処理方法 | |
US20140223274A1 (en) | Information processing device and information processing method | |
CN101178719A (zh) | 编辑和显示web文档的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071211 |