JP2006031492A

JP2006031492A - 情報管理方法および情報管理装置

Info

Publication number: JP2006031492A
Application number: JP2004210923A
Authority: JP
Inventors: Shoji Ikeda; 尚司池田; Naohiro Furukawa; 直広古川; Osamu Konichi; 修今一; Makoto Iwayama; 真岩山; Hiromichi Fujisawa; 浩道藤澤; Shoichi Nakagami; 昇一中上
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-07-20
Filing date: 2004-07-20
Publication date: 2006-02-02
Anticipated expiration: 2024-07-20
Also published as: JP4729879B2

Abstract

【課題】電子文書と紙文書が混在しているような業務環境、さらには文書以外の映像や音声といった他のメディア情報が蓄積されている環境において、従来の電子文書に対する情報検索・情報アクセスだけではなく、紙文書に手書きで加えた注釈からの情報検索・情報アクセスを提供する。また映像など文書以外のメディア情報に対してもインデックスをつけることなく、手書きのメモや注釈から検索する手段を提供する。
【解決手段】電子文書とこれを印刷した紙文書の対応をとるテーブルを用意し、手書きの注釈をその属性情報を含めて電子化することにより、手書き注釈の内容による検索、筆記時間、筆記者による検索を可能とする。また会議などの場に関する情報を保持することにより、手書き注釈と同じ場面に存在した文書、映像等の検索も可能とする。
【選択図】図１

Description

本発明は、紙文書や電子文書に対するアクセスの記録、すなわち紙上に筆記したメモや注釈などや電子文書の変更や閲覧の履歴により、関連情報の検索や提示を可能にする情報管理方法および情報管理装置に関する。

IT(Information Technology)化が進んだ現在、官公庁や企業などでは、電子文書を用いて業務が行われることが多くなっている。すなわち、パーソナルコンピュータ(PC)等を用いて電子文書を作成したり、スキャナや複写機を用いて紙文書を電子文書に変換し、これを電子メール等の手段により計算機ネットワーク上に接続された機器間でやり取りする。電子ファイルを受け取った人は、これを閲覧し、必要があればその内容を電子的に修正し、計算機ネットワーク上でやり取りする。このようにして作成・修正された電子文書はデータベース内に保存され、必要なときに他の利用者は検索等の手段により取得できる。こうした電子文書に関する検索の手法については、非特許文献１や非特許文献２において公知となっている。

一方、現在の官公庁や企業のオフィスでは紙文書も依然として流通している。会議の場では電子文書を紙に印刷して資料として配布する。参加者は、議論を進めながら資料に手書きでメモを取ったり、下線を引いたりする。申請書の受付業務などでは、申請書が提出された後、部署間を回覧され、承認などの処理が行われ決済に至る。この間、書類上には部署における処理の過程あるいは結果に関する情報が手書き、あるいは押印により追加される。
ここで紙文書に書き込まれた、メモ、下線、押印などの情報は、この紙文書を印刷する前の電子文書とは独立して存在することとなる。これら手書き情報を元の電子文書を筆記時間や筆記者とともに電子化し、元の文書に関する情報と関係付けて保存する文書電子化技術が特開2003-67363号公報（特許文献１）などにより提案されている。

特開2003-67363号公報

特開2003-258792号公報 Ricardo Beaza-Yates、 Berthier Ribeiro-Neto、 "Modern Information Retrieval"、 Addison Wesley、 1999年 Lawrence Page、 Sergey Brin、 Rajeev Motwani、 Terry Winograd、 'The PageRank Citation Ranking: Bringing Order to the Web'、 1998年 H.Bunke、 P.S.P.Wang、 "Handbook of Character Recognition and Document Image Analysis"、 World Scientific社、1997年 David Bargeron, Tomer Moscovich, "Reflowing Digital Ink Annotations," Proceedings of the conference on Human factors in computing systems, pp. 385 393, 2003. 高須淳宏，早川公泉，片山紀生，大山敬三，安達淳，"書画像データからの書誌情報の抽出とマッチング，"情報処理学会研究報告「情報学基礎」，No. 045-6，1997年

前述したように、官公庁や企業のオフィスにおいては、相当数の情報が紙文書として存在しており、さらに、個人のメモなど、これを書いた本人や、業務上関連を有する者にとって重要な情報が紙文書上にのみ存在している。例えば、会議中に配布された紙の資料上に手書きで加えた、「Ａが以前報告した内容と関連性大」といったようなメモや、「ここがポイント」といったメモは、業務上価値のある情報である。電子文書の検索だけでなく、こうした手書きによって直接的に指し示された情報をすばやく検索することが業務の効率向上に求められる。しかし、特開2003-67363号公報（特許文献１）のような手法では、これらのメモともとの電子文書の対応をとって保存することはできるが、「Ａが以前報告した内容」が何であるのか、あるいは、「ここ」とはどこなのかは明らかではない。

本発明の第一の目的は、紙メディアと電子メディアの両方で表現された文書を同時に扱う情報管理方法において、紙メディア上に手書きされた注釈に対して、これがあらわす文書、あるいは情報へのリンクを保持し、これをたどって関連情報を参照できる情報管理方法を提供することである。ここで紙メディアとは物理的に存在する紙を指すものとする。電子メディアとは排他的に利用可能な計算機上のメモリあるいは磁気ディスク上のある領域を指す。

本発明の第二の目的は、紙メディアと電子メディアの両方で表現された文書を同時に扱う情報管理方法において、紙メディア上への手書き情報から、映像や音声といった他の電子メディアの特定箇所へのリンク作成、すなわちインデキシングを可能とする情報管理方法を提供することである。

本発明の第三の目的は、紙メディアと電子メディアの両方で表現された文書を同時に扱う情報管理方法において、紙メディア上に手書きされた注釈から得られる関連情報を、利用者の意図に合致する形態で提示する、あるいはこれを支援することを可能とする情報管理方法を提供することである。

本発明では、前記の第一の目的を達成するために、(1)紙メディア・電子メディアを問わずすべての情報に対して、作成者、作成時といった属性情報を含めて保持しておき、(2)紙メディアに手書きされた注釈に対して、筆記者、筆記時刻、筆記位置をはじめとする属性情報に加えて、文字認識技術により電子化した筆記内容を利用することにより、(3)当該注釈に関連の高い情報へのリンクを作成する。これによって手書きの注釈から関連情報の参照を可能とする情報管理方法を実現する。

本発明の第二の目的を達成するために、(1)当該紙メディアと映像や音声といった他のメディアの作成が同一の場、時刻に行われるという情報と(2)紙メディア上に書かれた手書きに関する筆記者・筆記時刻等の属性情報を用いて、(3)上記映像や音声といった他のメディア情報の該当部分にインデックスを付与する。これにより利用者は例えば、自分が書いた手書きのメモから、その会議において、メモと略同時刻に起こった場面の映像・音声を取得することができる。

本発明の第三の目的を達成するために、(1)筆記者、筆記時刻あるいはその組み合わせといった属性情報を用意しておき、(2)紙メディアに書かれた手書き情報、あるいはそれに関連する情報を上記属性情報について分類し提示する。これにより、ある特定の人がメモをした紙文書の抽出、ある特定の紙文書に対して書き込まれたメモの抽出、さらにはある特定の人々が閲覧した文書の抽出といったことが可能となる。

従来は紙文書と電子文書の両方が存在している状況においては、紙文書に手書きされた情報は、電子化されることなく紙文書上にとどまっているのみであった。しかし、官公庁や企業での業務においては、これらの手書き情報は重要であることが多い。本発明により、紙文書に手書きしたメモ等の情報から、関連情報へのリンク付けを行うことが可能となる。また、会議等の映像情報を改めてインデキシングすることなく、後の検索を意識することなく書いた自分のメモから、関心のある映像の部分を抽出することができる。さらに、紙文書に対する書き込みをもとに情報を分類、整理することが可能になる。これにより、各個人が業務上必要な情報・文書をより高精度に検索・取得することが可能となる。

本発明の実施形態にかかる情報管理装置の構成について図１に従い述べる。
本発明の実施例としての情報管理装置は、情報管理サーバ101と情報管理クライアント102からなる。情報管理サーバ部は電子文書およびこれらに書き加えられた手書き注釈情報を管理、蓄積する。電子文書を保存する電子文書DB103、印刷された紙文書と電子文書との対応関係を保存する紙・電子文書対応情報DB104、さらに手書き注釈情報を保存する注釈情報DB105の記憶手段と、同じ会議において配布された資料の間を関連付けるといった文書間の属性情報に関する処理を行う属性情報管理部106、スケジュール管理を行うグループウェアなどのソフトウェアにより抽出された，文書間の属性情報を保存する属性情報DB116，電子文書のコンテンツに関する検索、注釈情報に関する検索等、様々なアクセスに対して、検索処理を実行し、答えを返す文書DB管理部107から構成される。情報管理クライアント102は，各ユーザがこれを用いて，紙文書への手書き注釈を電子化したり，紙上に書かれた注釈情報を含めた形で情報検索を起動したり，得られた情報を閲覧したりするための端末である。

紙文書印刷部108を用いて，閲覧したい電子文書を紙文書として印刷する。デジタルペンやタブレット等のペン型入力デバイスから送られる信号を受け取る手書き入力IF109，紙上に筆記された注釈に対して，筆記時間や筆記者といった属性情報を生成するとともに，注釈をテキスト化して電子的に処理が可能な形に変換する手書き注釈電子化部110，電子文書に対する変更などを行う電子情報入力IF111，注釈に対してどのような処理を起動すべきかを選択，あるいは選択を支援する実行モード制御部112，電子化された注釈により関連文書通し関係付ける関連情報リンク生成部113，電子化された注釈，もしくは関連情報リンクにより，関連情報を検索する情報検索部114，検索結果を提示する情報提示部115，さらにシステムが検索した結果を一時的に保存しておく情報検索結果一時格納DB117 からなる。これにより、手書き注釈を用いた関連文書へのリンク付けを実現する。情報管理サーバ101と情報管理クライアント102はともにパーソナルコンピュータもしくはワークステーションにより実現される。情報管理サーバ101の4つのDB，すなわち属性情報DB116，電子文書ＤＢ103，紙・電子文書対応情報DB104，注釈情報DB105は磁気ディスク装置として，属性情報管理部106と文書ＤＢ管理部107はメモリ上にロードされるプログラムとして実現される。情報管理クライアント102の8つの機能，すなわち，紙文書印刷部108，手書き入力IF109，手書き注釈電子株110，電子情報入力IF，実行モード制御部112，関連情報リンク生成部113，情報検索部114，情報提示部115はメモリ上にロードされるプログラムとして実現される。また情報検索結果一時格納DB117は磁気ディスク装置として実現される。

次に、電子文書を印刷した紙文書に対して、手書きにより注釈を行ったり、あるいは元の電子文書に対してキーボードを用いて電子的に注釈を加えたりする状況を図２を用いて述べる。
まず電子文書201はプリンタにより紙メディアによる文書P1(202)として生成される。また、以下において電子ペンで記入が行われる紙文書には、後述の、特開2003-67363号公報（特許文献1）に開示される用紙など、記入内容を電子データ化するのに適した特殊な用紙を用いることとする。これに対して特開2003-67363号公報（特許文献1）にあるような電子ペン、あるいは後述するような電子ペン203により手書き情報h1(204)が記入される。この手書き情報は電子化されe1(205)として電子文書201と共に保存される。業務フローにおける次のステップにおいて、紙Ｐ１に対して手書き情報h2(206)が追加され、同様に電子化されe2(207)として電子文書208と共に保存される。ここでの紙文書の印刷，電子ペンでの手書き情報の電子化を行うのが情報管理クライアント102である。

さらに次のステップにおいて、電子文書208に対して、ＰＣ209を用いて修正e3(210)が電子的に加えられ、電子文書211が生成される。このＰＣも情報管理クライアント102がこれに該当する。この時、最新の紙文書211と電子文書212との対応関係が壊れるが、ここでは紙文書212を無効とする。ここで、もし紙文書を有効としたいならば、後述するようにＰＣ209により電子文書208に変更が加えられた時点で、電子文書の複製を作成し、紙文書と電子文書の対応関係を維持することもできる。

業務フローを遂行するため、電子文書211を印刷し、新たに紙文書Ｐ２(213)を生成する。これに対して、業務フローにおける次のステップでさらに手書き情報h4(214)が追加される。この紙文書213が電子化されることにより電子化文書215が生成され、さらに同様の手順を踏むことにより、業務フロー１の終端では紙文書216と電子文書217が生成される。
電子ペン203は、固有のID情報が割り当てられており、手書き情報は、このID情報と合わせて電子化される。電子ペン203のID情報は、電子ペンごとに異なるものであってもよく、あるいは、業務フローの各手順を行う部署ごとに異なるものとして複数の電子ペンが同じID情報を共有する形態としてもよい。

手書きの注釈204が電子化された際のデータ構造の例を図2下部に示す。電子ペンなどの入力デバイスから得られた筆記者のID128、注釈が筆記された時間219、注釈に対応するストロークデータ220(これは電子ペンによってサンプリングされたペンの軌跡の座標系列である)、注釈が記入された紙文書上の位置221、注釈を文字列認識によってテキスト化したコード情報222、注釈が筆記された紙に対するID223、対応する電子文書のID224、その電子文書内で注釈が対応する箇所を示す226、また当該注釈を紙文書に筆記した際に参照した電子文書などへのリンク226、利用者が引込み線等によって関連付けられた注釈に対するリンク207等からなる。文献David Bargeron, Tomer Moscovich, “Reflowing Digital Ink Annotations,” Proceedings of the conference on Human factors in computing systems, pp. 385 393, 2003. （非特許文献４）では，タブレットやPCの画面上に表示されたテキストに対して，マウスやスタイラス等のポインティングデバイスを用いて画面上で注釈を入力し，これともとのテキストとを引込み線で結ぶことにより，注釈とテキストとを対応付けることができる技術が明らかにされている。これを用いてデジタルペンで筆記した場所の座標と，印刷された，あるいは前に書かれた文字列の座標を用いて，両者を関連付けることが可能である。

ここで、本発明の実施例で使用される電子ペンの一例として、国際公開第01/71473号公報（特許文献3）で開示されているデジタルペンについて図３を用いて説明する。301がデジタルペンであり、302は紙上に印刷された位置検出用の模様の画像を取得するカメラデバイスである。紙310を拡大してみると(311)、小さなドット313が非均質に散りばめられて印刷されている。このドットは仮想的な格子線312における交点からある距離だけ上下左右の何れか一方に必ずずらされて印刷されており、このドットを同時に複数個、例えば6×6の範囲で参照し、これら36個のドットの上下左右のずれの値の組み合わせが、広大な平面領域の絶対位置情報を与える仕組みとなっている。つまりデジタルペンに備え付けられたカメラ302により上記複数のドットパタンを含む範囲の画像を一定の時間間隔で採取することにより、上記ずれの組み合わせの空間上での位置を特定することが可能となる。

本原理の詳細は国際公開第00/73983号公報（特許文献4）で明らかにされている。このデジタルペンを本発明の文書管理方式に適用すれば、利用者がどの紙メディアのどの領域に記入しているのかが即座に抽出されるため、紙メディアの種類の情報を利用者が明示的に送信する必要がないというメリットがある。したがってこのデジタルペン方式は文書管理方式に適した方式といえるため、以降、紙文書を電子ペン用の用紙に印刷して、ユーザによる書き込みをデジタルペンで行うデジタルペン方式を適用した場合での実施例を説明する。すなわち，図１の手書き入力IF 109に接続される入力デバイスとしてデジタルペンを用いて入力した手書き注釈を手書き注釈電子化部110を用いて電子化する実施例である。

本発明のもう一つの実施例を図4に従い述べる。ここでは手書きの注釈情報を用いて文書以外の映像や音声情報を取得する機能を実現する。前述のように会議に参加し、資料に注釈を書き加えたり、ノートにメモを取ったりした後、会議中に録画された映像データなどをその手書き情報から検索することを想定している。

そのための構成として、第一の実施例と同様に情報管理サーバ401と情報管理クライアント402からなる。情報管理サーバ401では文書データの他に、映像や音声データを保存しておく映像・音声DB403を有する。映像・音声DBには，例えば会議室に設置されたビデオカメラ等の撮影装置を用いて，会議の模様を記録した映像が保存される。Mpeg等デジタルビデオ形式で保存することにより，映像を構成するフレーム毎に，それが撮影された時間も一緒に保存できる。このような映像・音声データを映像・音声DBに保存すると同時に，属性情報管理部404にデータが登録され，その結果が属性情報DB405に保存される。属性上DBのデータ形式については後述する。また属性情報管理部404においては、例えば会議映像に対して、その会議の参加者のリストやスケジュールを用いて、注釈情報の筆記者や筆記時間から映像・音声データとリンク付けするかどうかの判断も行う。

第一の実施例、第二の実施例ともに情報管理クライアントと情報管理サーバからなり、サーバ・クライアント型の構成をとることにより紙文書・電子文書の対応関係、紙文書への手書き注釈の履歴情報を集中管理する。但し小規模のシステムを実現する場合は情報管理クライアントと情報管理サーバは一体となって実現されることもある。
また文書DBや注釈DBがサーバ側とクライアント側の双方に分散することも可能である。
以上が本発明による紙メディアと電子メディアの双方が存在する環境での手書き注釈を用いた情報管理手法の概念である。

次に本発明による情報管理手法における、手書き注釈情報の入力について図5を用いて述べる。
情報管理サーバ101に含まれる電子文書DB501に保存された電子文書n502を対象とする。情報管理クライアント102側で利用者が紙文書印刷機能108を用いて紙文書P1 503を印刷する。このとき、紙・電子文書対応情報DB104 には後述するように電子文書と紙文書の対応関係が保持される。印刷された紙文書503に対して、利用者がデジタルペン301を用いて注釈504、505を記入する。いずれの場合も、筆記者506、507、筆記時刻(あるいは入力時刻)508、509、ストローク510、511、紙上の位置512、513、コード情報514、515、紙ID516、517、電子文書のID518 、519にそれぞれ適切な値が保持される。ここでコード情報514を得るためには、手書き注釈電子化110において、筆記されたストロークの情報から文字認識技術を用いて、テキストコードの系列に変換する。このための文字認識については、H.Bunke、 P.S.P.Wang、 “Handbook of Character Recognition and Document Image Analysis”、 World Scientific社、1997年（非特許文献３）のChapter7. “Overview and Synthesis of On-Line Cursive handwriting Recognition Techniques”等に開示される技術により実現可能である。二番目の注釈505を筆記する際，例えば書く前に注釈504の領域をペンで触れ，それから注釈を書くことにより二つの注釈が関連付けられる。このとき注釈情報の筆記時刻の値から，注釈が筆記された順番が同定され，これに基づき注釈間の関連性が表現され，注釈504の注釈情報の関連注釈の項目520から注釈505の注釈情報へとリンク521が張られる。
あるいは利用者は電子情報入力IF111を用いて電子文書に対して電子的に注釈挿入することも可能である。

次に本発明による情報管理手法における、手書き注釈情報からの関連文書・情報へのリンク付け処理について図6から図8を用いて述べる。
情報管理サーバ101中の電子文書DB103に保存された電子文書601を印刷することにより紙文書602が生成される。これに対して、利用者が注釈603を筆記する。情報管理クライアント102の手書き入力IF109を通して計算機上に入力された手書き注釈は、手書き注釈電子化機能110を用いて、筆跡形状と紙上の位置の検出処理610が行われ、604のような注釈情報が生成される。さらに情報管理サーバ101の紙・電子文書対応情報DB104に電子文書の印刷時に登録された、紙文書と電子文書の対応関係に関する情報605から当該紙文書には電子文書n601が印刷されていることがわかる。これによって図７の電子文書ID欄701には電子文書のIDが記録される。

また紙・電子文書対応DB104 における当該電子文書の紙面情報項目621からは，電子文書が紙に印刷された際に，その構成要素であるテキストや画像の紙上の位置を保有する情報を参照することが可能である。ここでは，紙文書に印刷された文字「機」の紙上の座標622が紙上位置項目を参照することによって得られる。すなわち，紙文書602上に書いた注釈603の紙上位置623から，紙・電子文書対応DBを参照することにより，その注釈が書かれた位置に印刷されている文字列が対応本文情報として抽出される(702)。これが電子文書・注釈対応部検索処理630によって行われる。

次に情報管理クライアント102における実行モード制御機能112において、当該注釈に対してどのようなアクションをとるべきかの選択がなされる。ストローク情報703に対して記号認識を行い、楕円や波線など予め定義した記号と認識されれば、対応本文情報をキーにしてインターネット等の外部データベースや，電子文書DB103中に保存された文書に対してテキスト検索を起動し、ストローク情報703に対して文字列認識を行い、意味のある文字列と認識されれば注釈としてコード情報704欄に認識結果に格納するといった処理を行う。注釈をその形状や文字認識によって得られたコード情報に従い，どのような意味を持たせるのか，すなわち，本文テキストを指し示すポインタとするのか，文字列そのものとするのかを解釈するのが，注釈情報解釈710 である。これらの処理を実行モード制御部112 において，記号認識と文字列認識の結果に従い、自動的に切替えることにより実行モード制御を実現できるし、またその都度利用者に注釈をどのように扱うかを選択させることも可能である。以上の筆跡形状・位置検出処理610，電子文書・注釈対応部検索630，注釈情報解釈処理710が図１における手書き注釈電子化部710によって実行される。
このようにして生成された当該注釈に関する電子化情報705は、情報管理サーバ101における注釈情報DB706に保存される。

次に情報管理クライアント102における関連情報リンク生成では、情報管理サーバ101の属性情報管理機能106を用いて、同じ会議の資料など同時刻に参照されていた文書・データ間にリンクを張る。例えばこの注釈を筆記した時刻に，筆記者が自身のPCにて閲覧していた電子ファイル，例えば「meeting資料_B.ppt」が存在すれば，これを参照文書の項目802に登録する属性情報管理機能による文書間リンクの設定手法については後述する。関連注釈には，前述したように，例えばこの注釈を書いた後，誰かがこの注釈が存在する紙上位置をデジタルペンで触れた後に，紙上の別の領域に注釈を書いた場合，関連注釈情報として，新規に書かれた注釈情報へのポインタが張られる。
このようにして作成された注釈情報は図８の801のようになる。

次に情報管理クライアント102の情報検索機能114について述べる。手書き注釈情報801の各項目に対して、それをクエリとする検索質問文を生成する。すなわち、
(1)注釈の筆記者、もしくは文書の作成者が一致する文書
(2)筆記時刻が一致、もしくはある時間差以内の注釈を含む文書、もしくは文書そのもの
(3)ストローク形状の類似度がしきい値以上の注釈を含む文書
(4)注釈の紙上の位置のずれがしきい値以内の注釈を含む文書
(5)同じ紙ＩＤをもつ文書
(6)同じ電子文書に対して印刷された紙文書
(7)注釈で書かれた文字列を注釈もしくは本文に含む文書
(8)同じ参照文書を有する文書
といった検索質問を生成する。その一部を803に示す。

上記の検索質問を論理演算により組み合わせて新たな検索質問を作成してもよい。こうして作成した検索質問を利用者に提示して、利用者がそれを明示的に選択することで情報検索を起動することもできる。あるいは、これらの検索質問に対する検索処理をシステムが自発的に実行しておき、その答えを文書検索結果一時格納DB804に格納しておき、利用者が文書を閲覧している際に、その余白部もしくはＰＣのディスプレイに表示し、利用者が必要な情報を選択することも可能である。これによって利用者は，関連情報を得たいときに，検索質問を入力する手間がなくなる。これら一連の検索結果格納と結果の表示は情報管理クライアント102の情報提示機能115によって行われる。

前述した情報管理サーバ101の属性情報管理機能106について図9を用いて述べる。情報管理サーバ101の属性情報DB116にはビジネス上の各種空間、場に関する情報が格納されている。例えば会議という場に関する情報が901のようなテーブルで表現される。すなわち、会議名902、開始時刻903、終了時刻904、開催場所905、参加者906、配布資料907、スライド908、記録映像909、記録音声910、参考資料911などである。これらのそれぞれの項目はその実体に対するポインタとなっている。例えば配布資料の文書920には電子文書DB912に格納された電子文書913へのポインタを有する。また電子文書913からはその注釈930に関する情報へのポインタが張られており、これをたどることにより、ある注釈に対して、同じ会議で配布された文書、あるいは、注釈を書いた時間に提示されたスライドなどへのリンクを張ることができる。

記録映像909には，その会議の様子をビデオカメラ等で撮影した，時間のインデックス付の映像ファイルへのポインタが張られる。記録音声910には，その会議の様子をボイスレコーダ等の録音機によって録音した，時間のインデックス付の音声ファイルへのポインタが張られる。さらに，参考資料911には，例えば配布資料907やスライド908等に記載された参考文献を自動抽出しそのファイルへのポインタが格納される。このための技術として，高須淳宏，早川公泉，片山紀生，大山敬三，安達淳，“書画像データからの書誌情報の抽出とマッチング，”情報処理学会研究報告「情報学基礎」，No. 045-6，1997年(非特許文献５)などが知られている。
以上が手書き注釈からの情報取得を例にした、本発明の第一の実施例である。

会議の映像や音声などの文書以外の情報も保持しておき、これを含めて手書き注釈から検索・アクセスを行う、本発明の第二の実施例についても上記と同様の方式で実現される。すなわち、デジタルペンで注釈を書いた後、注釈の位置情報や筆記時間等の属性情報から注釈情報が生成されるまでは、前述した図６、７の方式で実現され、図10の1001の注釈情報が生成される。属性管理DBの記録映像の欄921には同じ会議での映像が登録されている。この映像の実体は情報管理サーバの映像・音声DB403に保存されている。これに対して、
(1)映像(音声)のうち、その注釈が筆記されたのと同時刻に記録された部分を検索し、そこから一定の時間を再生、
(2)映像(音声)のうち、その注釈が筆記されたのと同時刻に記録された部分以降を検索し再生、
に従い、検索文1002を生成する。これに対して、検索文を利用者に提示して、利用者に検索文を選択してもらってもよい。あるいは予め情報検索をしてその結果を文書検索結果一時格納DB1003に保存しておいてもよい。会議中に自分がメモや注釈を書いたということは、何らかの関心があったということであり、あとからそのメモを指定するだけで、会議の映像や音声をその場面だけ再現できることになる。

以上述べた情報管理方式を実現するハードウェア構成として図11のような構成が考えられる。情報管理クライアント1101と情報管理サーバ1102はネットワーク1103を通じて接続されている。情報管理クライアントは演算装置1110、記憶装置1111、印刷IF1112、手書き入力IF1113、電子情報入力IF1114がバス1115を通じて接続されている。印刷IFにはプリンタ1116が、手書き入力IFには電子ペン1117が、電子情報入力IFにはPC1118がそれぞれ接続されている。このPC1118は文書電子化クライアントそのものであってもよい。記憶装置の内部には実行モード制御プログラム1120、関連情報リンク作成プログラム1121、手書き注釈電子化プログラム1122、情報検索プログラム1123、情報提示プログラム1124が格納されており、演算装置1110によって実行される。また外部記憶として文書検索結果一時格納DB1125がある。

情報管理サーバ1102は記憶装置1131に属性情報管理プログラム1132と文書DB管理プログラム1133が格納されており、演算装置1130によって実行される。外部記憶として、電子文書DB1134、紙・電子文書対応情報DB1135、注釈情報DB1136、属性情報DB1137、映像・音声DB1139がある。
以上が本発明に係る実施形態の説明である。

電子文書と紙文書が混在するような業務の環境、さらには文書だけではなく、会議映像や音声など他のメディア情報が混在する状況において、従来の紙メディアへ書き込みを含めて管理の対象とする情報管理システムを実現することが可能である。

本発明の実施例である手書き注釈からの文書情報管理方式の機能構成を示した図である。本発明の実施形態における紙文書と電子文書の関係付けの様子を業務フローに従い示した図である。本発明の実施形態で使用する電子ペンの原理を説明する図である。本発明の実施例である手書き注釈からの文書・映像・音声情報管理方式の機能構成を示した図である。本発明の実施形態で使用する手書きの注釈から生成される注釈情報を示す図である。本発明の実施形態で使用する手書きの注釈から情報検索・取得を行う手法に関し、手書き注釈から対応電子文書を取得するところまでの処理の概要を示す図である。本発明の実施形態で使用する手書きの注釈から情報検索・取得を行う手法に関し、手書き注釈に関する注釈情報を生成するところまでの処理の概要を示す図である。本発明の実施形態で使用する手書きの注釈から情報検索・取得を行う手法に関し、手書き注釈情報から、検索文の作成と情報取得の処理の概要を示す図である。本発明の実施形態で使用する属性管理DBの構造を示した図である。本発明の実施形態で使用する手書きの注釈から文書以外を含めた情報検索・取得を行う手法に関し、手書き注釈情報から、検索文の作成と情報取得の処理の概要を示す図である。本発明に係る情報管理システムの構成を示す図である。

符号の説明

101：情報管理サーバ、102：情報管理クライアント、103：電子文書DB、104：紙・電子文書対応情報DB、105：注釈情報DB、106：属性情報管理機能、107：文書DB管理機能、108：紙文書印刷機能、109：手書き入力IF機能、110：手書き注釈電子化機能、111：電子情報入力IF機能、112：実行モード制御機能、113：関連情報リンク生成機能、114：情報検索機能、115：情報提示機能、116：属性情報DB、117：情報検索結果一時格納DB、
120：電子文書の複製、121：紙文書Ｐ３、122：電子ペン、123：手書き情報h6、124：紙文書、125：手書き情報h7、126：電子文書、127-132：タイムスタンプ、133：原本保管DB、
201：電子文書、202：紙文書、203：デジタルペン、204：手書き注釈、205：手書き注釈の電子化、206：手書き注釈、207：手書き注釈の電子化、208：電子文書、209：パーソナルコンピュータ、210：電子入力した注釈、211：電子文書、212：紙文書、213：紙文書、214：手書き注釈、215：電子文書、216：紙文書、217：電子文書、218：注釈情報の筆記者項目、219：注釈情報の筆記時刻項目、220：注釈情報のストローク項目、221：注釈情報の紙上位置項目、222：注釈情報のコード情報項目、223：注釈情報の紙ID項目、224：注釈情報の電子文書ID項目、225：注釈情報の対応本文項目、226：注釈情報の参照文書項目、227：注釈情報の関連注釈項目、
301：デジタルペン、302：カメラデバイス、310：デジタルペーパ、311：デジタルペーパとその拡大、312：仮想的な格子線、313：小さなドット、
401：情報管理サーバ、402：情報管理クライアント、403：映像・音声DB、404：属性情報管理部，405：属性情報DB，
501：電子文書DB、502：電子文書、503：紙文書、504：手書きの注釈、505：手書きの注釈、506、507：注釈情報の筆記者項目、508、509：注釈情報の筆記時刻項目、510、511：注釈情報のストローク項目、512、513：注釈情報の紙上位置項目、514、515：注釈情報のコード情報項目、516、517：注釈情報の紙ID、518、519：注釈情報の電子文書ID、520：注釈情報の関連注釈項目，521：注釈情報間の関連度を表現するリンク，
601：電子文書、602：紙文書、603：手書き注釈、604：注釈情報、605：紙・電子文書対応DBにおける電子文書ID、610：筆跡形状・位置検出処理，621：紙・文書対応データにおける紙面情報へのポインタ，622：テキストが紙上に印刷された位置，623：注釈の紙上位置，630：電子文書・注釈対応部検索処理，
701：電子文書ID、702：対応本文テキスト、703：注釈ストローク、704：昼食情報のコード情報、705：注釈情報、706：注釈情報DB、710：注釈情報解釈処理，
801：注釈情報、802：注釈情報の参照文書、803：関連情報の検索文、804：文書検索結果一時格納DB、810：注釈情報の関連注釈情報項目，
901：属性情報の例、902：属性情報の会議名項目、903：属性情報の開始時刻項目、904：属性情報の終了時刻項目、905：属性情報の場所項目、906：属性情報の参加者項目、907：属性情報の配布資料項目、908：属性情報のスライド項目、909：属性情報の記録映像項目、910：属性情報の記録音声項目、911：属性情報の参考資料項目、912：電子文書DB、913：電子文書、920：配布資料の電子文書ID、921：記録映像の映像ファイル名、930：注釈情報、
1001：注釈情報、1002：関連情報の検索質問文、1003：文書検索結果一時格納DB、
1101：情報管理クライアント、1102：情報管理サーバ：1103：ネットワーク、1110：演算装置、1111：記憶装置、1112：印刷IF、1113：手書き入力IF、1114：電子情報入力IF、1115：バス、1116：プリンタ、1117：デジタルペン、1118：パーソナルコンピュータ、1120：実行モード制御プログラム、1121：関連情報リンク生成プログラム、1122：手書き注釈電子化プログラム、1123：情報検索プログラム、1124：情報提示プログラム、1125：文書検索結果一時格納DB、1130：演算装置、1131：記憶装置、1132：文書DB管理プログラム、1133：属性情報管理プログラム、1134：電子文書DB、1135：紙・電子文書対応情報DB、1136：注釈情報DB、1137：属性情報DB、1138：映像・音声DB。

Claims

紙メディアの種類を同定し、かつ紙メディア上に書かれた文字や画像を電気信号化する手書き入力手段と、
紙メディア上に書かれた文字や画像と電子メディア上のテキストデータや画像データとを対応付け保持する紙・電子文書対応手段と、
電子化されたテキストデータや画像データを保存する記憶手段と、
を有する情報管理方法において、
電気信号化した手書き情報に対して、文字の認識結果であるテキスト情報に加えて、筆記者、筆記時刻や筆記位置といった属性情報を生成する手書き注釈電子化手段と、
生成した属性情報とともに注釈情報を保存する注釈情報記憶手段と、
手書き注釈に関連する情報の検索手段を有し、
上記手書き注釈情報および属性情報を用いて関連情報を検索することを特徴とする情報管理方法。
前記請求項１に記載の情報管理方法において、
参加者や日時や資料といった会議や講義等の場に関する情報を生成し管理する属性情報管理手段と、
上記属性情報を保存する属性情報保存手段と、
属性情報管理手段により得られる情報を利用して、手書き注釈に関連する参加者や日時、資料といった情報と注釈を加えた文書との間にリンクを生成する、関連情報リンク生成手段
を有し、手書きの注釈に関する情報から、属性情報に基づき生成されたリンクをたどって文書情報を検索することを特徴とする情報管理方法。
前記請求項１記載の情報管理方法において、
映像や音声といった文書以外の情報を記憶する手段と、
参加者や日時や資料といった会議や講義等の場に関する情報を生成し管理する属性情報管理手段と、
上記属性情報を保存する属性情報保存手段と、
属性情報管理手段により得られる情報を利用して、手書き注釈に関連する参加者や日時、資料といった情報と注釈を加えた文書や映像や音声情報との間にリンクを生成する、関連情報リンク生成手段
を有し、手書きの注釈に関する情報から、属性情報に基づき生成されたリンクをたどって文書の他に、手書き注釈と同時刻に記録された映像や音声情報を検索することを特徴とする情報管理方法。
前記請求項１に記載の情報管理方法において、
手書き注釈に関する情報から検索した関連情報を保持する記憶手段と、
検索した関連情報の提示手段を有し、
関連する情報の検索をユーザの指示よりも前もって実行し、ユーザが情報を望んだ時に、質問を入力することなく、検索結果を得ることを特徴とする情報管理方法。
紙メディアの種類を同定し、かつ紙メディア上に書かれた文字や画像を電気信号化する手書き入力手段と、
紙メディア上に書かれた文字や画像と電子メディア上のテキストデータや画像データとを対応付け保持する紙・電子文書対応手段と、
電子化されたテキストデータや画像データを保存する記憶手段と、
を有する情報管理装置において、
電気信号化した手書き情報に対して、文字の認識結果であるテキスト情報に加えて、筆記者、筆記時刻や筆記位置といった属性情報を生成する手書き注釈電子化手段と、
生成した属性情報とともに注釈情報を保存する注釈情報記憶手段と、
手書き注釈に関連する情報の検索手段を有するし、
上記手書き注釈情報および属性情報を用いて関連情報を検索することを特徴とする情報管理装置。
前記請求項５に記載の情報管理装置において、
参加者や日時や資料といった会議や講義等の場に関する情報を生成し管理する属性情報管理手段と、
上記属性情報を保存する属性情報保存手段と、
属性情報管理手段により得られる情報を利用して、手書き注釈に関連する参加者や日時、資料といった情報と注釈を加えた文書との間にリンクを生成する、関連情報リンク生成手段
を有し、手書きの注釈に関する情報から、属性情報に基づき生成されたリンクをたどって文書情報を検索することを特徴とする情報管理装置。
前記請求項５記載の情報管理装置において、
映像や音声といった文書以外の情報を記憶する手段と、
参加者や日時や資料といった会議や講義等の場に関する情報を生成し管理する属性情報管理手段と、
上記属性情報を保存する属性情報保存手段と、
属性情報管理手段により得られる情報を利用して、手書き注釈に関連する参加者や日時、資料といった情報と注釈を加えた文書や映像や音声情報との間にリンクを生成する、関連情報リンク生成手段
を有し、手書きの注釈に関する情報から、属性情報に基づき生成されたリンクをたどって文書の他に、手書き注釈と同時刻に記録された映像や音声情報を検索することを特徴とする情報管理装置。
前記請求項１に記載の情報管理装置において、
手書き注釈に関する情報から検索した関連情報を保持する記憶手段と、
検索した関連情報の提示手段を有し、
関連する情報の検索をユーザの指示よりも前もって実行し、ユーザが情報を望んだ時に、質問を入力することなく、検索結果を得ることを特徴とする情報管理装置。