JP2003186889A - 文書に注釈付けし、文書イメージから要約を生成する方法及び装置 - Google Patents

文書に注釈付けし、文書イメージから要約を生成する方法及び装置

Info

Publication number
JP2003186889A
JP2003186889A JP2002298283A JP2002298283A JP2003186889A JP 2003186889 A JP2003186889 A JP 2003186889A JP 2002298283 A JP2002298283 A JP 2002298283A JP 2002298283 A JP2002298283 A JP 2002298283A JP 2003186889 A JP2003186889 A JP 2003186889A
Authority
JP
Japan
Prior art keywords
document
annotations
text
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002298283A
Other languages
English (en)
Inventor
Alex S Taylor
エス テイラー アレックス
Ercan E Kuruoglu
エ クルオグル エルカン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/982,024 external-priority patent/US7712028B2/en
Priority claimed from US09/981,835 external-priority patent/US20040034832A1/en
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2003186889A publication Critical patent/JP2003186889A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes

Abstract

(57)【要約】 【課題】 前もって処理システム内へ入力された1つま
たはそれ以上のキーワードに基づいて、ターゲット文書
に注釈付けする。 【解決手段】 ターゲット文書に注釈付するシステム
は、複数のワードを格納するためのストレージデバイス
(プロジェクト38)と、そのストレージデバイス内に
存在している何等かのワード(注釈)が、ターゲット文
書内に存在するか否かを識別するための探索デバイス
(56)と、ターゲット文書内に位置する前記ワード
に、注釈付けするための注釈デバイス(56)とを備え
ている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、文書の処理分野に
関する。本発明は、限定するものではないが、文書のキ
ャプチャされたイメージの処理に特に有用である。本発
明は、走査された文書のイメージを処理し、走査された
イメージから文書の要約を生成することにも関する。
【0002】
【従来の技術】人が幾つかの文書を読んで、各文書内の
同一情報を探さなければならないような状況は多い。こ
れは極めて長い時間を要し、ユーザは他のテキスト内に
埋もれている重要な情報を見失ったり、見落としたりし
がちである。
【0003】文書の型またはフォーマットには無関係
に、重要情報を含んでいるかも知れない文書の若干の部
分にユーザの注意を惹くために、もし読取られる文書に
何とかして自動的にマークを付けることができれば、そ
れは望ましいことであろう。
【0004】文書の要約を自動的にコンパイル(編集)
することが望まれるような状況も、多く存在する。従来
から、これらのシステムのための幾つかのアプローチが
提唱されてきている。
【0005】例えば、ヨーロッパ特許出願公開 EP 0902
379に開示されている技術では、ユーザは文書の電子バ
ージョン(例えば、ASCIIテキスト)内の若干のワード
またはフレーズをマークし、システムはそれらを抽出し
て文書要約をコンパイルすることができる。しかしなが
ら、このようなシステムでは、ユーザは、文書の電子バ
ージョンを用いて作業する必要がある。更に、ユーザが
何等かのワードまたはフレーズを選択できるようになる
以前に、文書は既に電子形状で存在していなければなら
ない。
【0006】紙文書(または、紙文書を走査したイメー
ジ)の要約に関しては、以下の文献が参考になる。
【0007】米国特許第5,638,543号、及び第5,689,716
号に記載のシステムでは、紙文書のイメージが走査さ
れ、イメージは光学式文字認識(OCR)を使用して処
理されて機械可読バージョンが生成される。要約は、セ
ンテンス内で検出されたクリティカルまたはセマチック
ワードに依存して、“得点”(スコア)をセンテンスに
割当てることによって生成される。要約は、最高得点を
有するセンテンスから生成される。
【0008】米国特許第5,848,191号には上記米国特許
第5,689,716号に類似するシステムか開示されており、
センテンス内に出現するセマチックワードの数に依存し
て与えられる得点を使用してセンテンスをランク付けす
る。しかしながら、この米国特許第5,848,191号では、
要約は、OCRを遂行することなく、走査されたイメー
ジから直接生成される。
【0009】米国特許第5,848,191号には、文書イメー
ジ内の重要なワード、フレーズ、及びグラフィックス
を、自動、または会話式形態素イメージ認識技術を使用
して認識するシステムが記載されている。文書要約また
は索引は、文書イメージの識別された重要部分に基づい
て生成することができる。
【0010】1998年6月のComputer Vision and Image
Understanding, Vol. 70, No. 3の307〜320ページに所
載のChen及びBloombergの論文“Summarization Of Imag
ed Documents Without OCR”は、1組の離散したフィー
チャの値に基づいてフィーチャを抽出し、センテンスに
得点付けする精巧な技術を記述している。先行情報が、
要約コンパイラ(プロフェッショナルな人)によってコ
ンパイルされた要約から得られたフィーチャベクトルの
形状で使用される。要約内に含ませるセンテンスは、セ
ンテンスの得点に従って選択される。
【0011】上述した参照文献をベースとする技術は全
て、コンパイルする要約内に使用するにはどのフィーチ
ャ、またはセンテンスを抽出すべきかを決定する(OC
Rテキストを基準として、またはイメージマップを基準
として)ために、統計的得点法の変形を使用している。
【0012】
【発明が解決しようとする課題】本発明は、以前に処理
システム内へ入力された1つまたはそれ以上のキーワー
ドに基づいて、ターゲット文書に注釈付けする技術を提
供する。
【0013】
【課題を解決するための手段】詳述すれば、ターゲット
文書を探索して1つまたはそれ以上のキーワードの出現
を識別し、これらの出現したキーワードに注釈を付けて
(電子的に生成された注釈を用いて)ユーザをこのよう
なテキストへ案内する。
【0014】本発明の一面は、走査以前に文書に対して
なされた、検出された手書きの、または電子的注釈に基
づいて、キャプチャされた(例えば、走査された)文書
イメージの要約を生成することである。
【0015】詳述すれば、キャプチャされたイメージを
処理し、イメージがキャプチャされる以前に文書に付け
られた注釈を検出する。検出された注釈は、その文書を
要約するために使用されるフィーチャまたはテキストを
識別するために使用することができる。更に、または代
替として、1つの文書において検出された注釈は、異な
る文書を要約するために使用されるフィーチャまたはテ
キストを識別するために使用することができる。
【0016】注釈という用語は広義に解釈されることを
意図しており、何等かの適当なマーキング(例えば、ハ
イライティング、丸囲み、斜線、括弧、アンダライン、
太字、イタリック、または彩色)、または文書のセクシ
ョンを視覚的に指示するための他の技術を含むことがで
きる。
【0017】好ましくは、前もってユーザが注釈を付け
たソース文書からキーワードが導出される。従って、本
システムは、“フォワード(前方)注釈”システムと称
することができ、ソース文書に付けられた注釈を、ター
ゲット文書の等価注釈に自動的に“フォワード(前送
り)”する。
【0018】好ましくは、ソース文書は紙(または、他
の物理的)文書であることも、または電子文書(例え
ば、テキストファイル)であることもできる。
【0019】ターゲット文書は、紙または、他の物理的
文書であることも、または電子文書(例えば、テキスト
ファイル、または文書のイメージ)であることもでき
る。
【0020】好ましくは、システムは、複数のソース文
書からのキーワードを格納するためのプロジェクトスト
レージデバイスを備えている。
【0021】好ましくは、ストレージデバイスは、完全
ソース文書も格納する(電子テキスト形状で、または走
査されたイメージとしての何れかで)。
【0022】本発明のこれらの、及び他の面は、以下の
添付図面に基づく詳細な説明から明白になるであろう。
なお、添付図面においては、類似部品に対しては類似の
参照番号が付されている。
【0023】
【実施の形態】図1を参照する。文書処理システム10
は、文書12のデジタルイメージをキャプチャするため
のイメージキャプチャデバイス14を含む。イメージキ
ャプチャデバイスは、例えば、フラットベッドスキャ
ナ、またはデスクトップカメラをベースとする走査デバ
イスからなることができる。
【0024】システムは更に、イメージを処理するため
のプロセッサ16、1つまたはそれ以上のユーザ入力デ
バイス18(例えば、キーボード及び/または位置決め
デバイス)、及び1つまたはそれ以上の出力デバイス2
0(例えば、出力ディスプレイ及び/またはプリンタ)
を含む。
【0025】プロセッサ16は、例えば、磁気媒体、光
学媒体、または半導体媒体のような何等かの適当なメモ
リ媒体で実現することができる大容量記憶デバイス22
を備えている。
【0026】図2を参照する。この実施の形態の機能
は、以前に他の“ソース”文書26から格納された注釈
に基づいて、ユーザが読むことを望むことができる“タ
ーゲット”文書25に自動的に注釈を付け、関心領域を
指示することである。システムは注釈付きターゲット文
書27を生成するが、これは、以前に同一ユーザ(また
は、他のユーザ)が1つまたはそれ以上の先行文書26
に付けた外部注釈に基づいてなされる。従って、システ
ムを“フォワード注釈”システムと称することができ
る。
【0027】一例を図3に示す。図3の(c)は、爾後
にユーザがターゲット文書内で識別することを欲する有
用なテキストを表すために、ユーザが紙上に注釈を付け
たソース文書30を示している。文書30は処理システ
ム10内へ走査され、処理システム10は走査されたイ
メージを処理し、注釈付きテキストを識別する(詳細は
後述する)。
【0028】図3の(a)は、ユーザが今読みたいター
ゲット紙文書34を示している。この段階においては、
ターゲット文書はプレインである(即ち、ユーザを重要
なテキストへ案内する注釈を含んでいない)。ターゲッ
ト文書34は処理システム内へ走査され、処理システム
は、以前に注釈付けされたワード32がこのターゲット
文書内に存在するか否かを識別する。もし存在していれ
ば、図3の(b)に示すように、このターゲット文書3
4内に(ターゲット文書34のデジタルイメージ35内
に)現れる同じワードに、ソース文書30と同じ注釈3
6が付けられる。注釈が付けられたターゲット文書は、
ユーザが読むために表示することも、または印刷するこ
ともできる。
【0029】再度図2に戻り、プロセッサ16は、各ソ
ース文書からのデータまたはイメージのライブラリまた
はリポジトリを、プロジェクト38の形状で維持してい
る。各プロジェクト38は、複数の文書を、または異な
る文書からの注釈を含むことができる。プロジェクト
は、文書イメージを含むことも、または識別された注釈
を表すデータを含むこともできる。
【0030】この実施の形態では、ソース文書は紙文書
だけに限定されるものではなく、テキストファイルまた
はワード処理ファイルのような文書の電子バージョンを
含むことができる。この場合、電子ソース文書における
注釈は、例えば、アンダライン、ハイライティングまた
はマーカーの挿入を含む何等かの適当な技術によって行
うことができる。更に、電子ソース文書における注釈
は、イメージ、ビデオ、オーディオ、グラフィック、及
びテクスチュアルのようなさまざまなデータフォーマッ
トを含むことができる。
【0031】図4はソース文書を処理システム10内へ
入力するための技術を示している。ステップ40におい
て、紙文書(紙注釈を含む)はキャプチャデバイス14
を使用して走査され、文書のデジタルイメージが生成さ
れる。
【0032】ステップ42において、走査されたイメー
ジ内で紙注釈が識別される。注釈を識別するための技術
は当分野においては公知であり、従って詳細な説明は必
要ないであろう。しかしながら、例えば米国特許第5,38
4,863号には手書き注釈と、機械印刷されたテキストと
を区別する適当なシステムが開示されているので参照さ
れたい。
【0033】ステップ44において、注釈が付けられた
領域に対応するテキストが光学式文字認識(OCR)ア
ルゴリズムによって処理され、その領域(テキスト)が
電子テキストに変換される。本実施の形態では、これ
は、爾後のターゲット文書(特に、電子ターゲット文
書)内の同じテキストを識別するための最適技術として
遂行される。しかしながら、もし望むならば、代わりに
注釈付きテキストのビットマップを抽出し、その注釈を
ビットマップ内のソースとして使用することができる。
【0034】ステップ46においては、抽出されたテキ
スト(ビットマップのOCRテキスト)は、注釈の型
(例えば、アンダライン、またはハイライティング、ま
たは丸囲み等)を表すデータと共にプロジェクト38内
に格納される。従って、テキストは、爾後にターゲット
文書の探索に使用するためのキーワード、またはキーフ
レーズとして扱われる。
【0035】上述したように、もし望むならば、文書全
体を(単にキーワードまたはキーフレーズだけではな
く)プロジェクト38内に格納することはできる。しか
しながら、キーワードまたはキーフレーズが爾後の探索
のためにテキストとして格納される。
【0036】もしソース文書が電子文書であれば、ステ
ップ48において、これは、代わりに電子的に入力され
る。ステップ50において電子文書が処理され、文書の
注釈付き領域が識別されて抽出され、ステップ46にお
いてこれらの注釈が上述した手法と同じ手法で格納され
る。
【0037】この方法を使用すると、ユーザが関心のあ
るテキストを表す注釈を含む1つまたはそれ以上の文書
からなるプロジェクト38を構築することができる。
【0038】図5は、ターゲット文書を処理して、ソー
ス文書における注釈付けと同じ注釈付けを適用する技術
を示している。もしターゲット文書が紙文書であれば、
これはステップ52においてキャプチャデバイス14を
使用して走査され、デジタルイメージに形成される。
【0039】ステップ54において、デジタルイメージ
はOCRアルゴリズムを使用して処理され、走査された
イメージは電子テキストに変換される。
【0040】ステップ56においては、電子テキストが
探索され、以前にプロジェクト38内に格納された何れ
かの注釈が、ターゲット文書内に存在するか否かが識別
される。もし存在すれば、等価注釈(電子形状の)が電
子テキストに適用される。
【0041】ステップ58において、注釈が付けられた
ターゲット文書がディスプレイまたは印刷のために出力
される。
【0042】もしターゲット文書が電子文書であれば、
これはステップ56における処理のために、代わりにス
テップ60から直接入力される。
【0043】もし望むならば、ユーザは、マークされた
(ソース)文書に、及びマークされていない(ターゲッ
ト)文書に付けられた注釈を、選択的に編集、操作、ま
たは削除するオプションを有することができる。
【0044】もし望むならば、屡々使用されるワード
(ストップワードを除く)を検出し、文書に自動的に注
釈を付け、そして屡々使用されるワードをキーワードと
してプロジェクトへ登録するために、システムを動作可
能にしたり、または動作不能にすることができる。
【0045】もし望むならば、ステップ56において文
書を処理した後に、その文書をプロジェクト38の一部
として格納することができる。この場合、プロジェクト
は、単に抽出された注釈(キーワードまたはキーフレー
ズ)だけではなく、文書の完全表現を格納する。このよ
うにすると、単にプロジェクト内に格納されている別の
文書内の注釈の上でクリックするだけで、文書を検索し
て表示させることができる。
【0046】この実施の形態では、走査されたイメージ
のOCR処理は、紙ソース文書に付けられた注釈を、電
子ターゲット文書の注釈付けのために使用することを可
能にし、また電子ソース文書に付けられた注釈を、紙タ
ーゲット文書の注釈付けのために使用することを可能に
する。更に、異なる紙文書内の異なる文字フォント及び
文字サイズを補償することもできる。しかしながら、他
の実施の形態においてもしこの融通性を必要としないの
であれば、本発明の原理を、OCRを用いることなく、
例えば電子文書(ソース及びターゲット)だけを処理す
るシステムに、または紙文書(ソース及びターゲット)
だけを処理するシステムに使用することができる。
【0047】図6に、紙文書112から要約を生成する
システム110を示す。このシステムは、紙文書112
の各ページのデジタルイメージ(例えば、ビットマップ
イメージ)をキャプチャする光学式イメージキャプチャ
デバイス114を含む。キャプチャデバイス114は、
デジタルカメラ、または文書スキャナの形状であること
ができる。
【0048】システム110は、キャプチャされたデジ
タルイメージを処理して要約を生成するプロセッサ11
6を更に含む。プロセッサは、1つまたはそれ以上のオ
ペレータ(ユーザ)入力デバイス118(例えば、キー
ボード、または位置決めデバイス)と、生成された要約
を出力するための1つまたはそれ以上の出力デバイス1
20とに接続されている。出力デバイス120は、例え
ばディスプレイユニット及び/またはプリンタを含むこ
とができる。
【0049】従来の技術とは対照的に、この実施の形態
の原理の1つは、光学式イメージキャプチャで114に
よる走査(または、キャプチャ)以前に紙文書に手書き
された注釈に基づいて、要約を生成することである。プ
ロセッサ116はデジタルイメージを処理し、紙文書内
の関心領域を表している手書き注釈を検出する。注釈に
よって指示されたテキストまたは他のフィーチャが抽出
され、要約をコンパイル(編集)するために使用され
る。従って、要約は、紙文書内の手書き注釈によって識
別された関心領域を反映する。
【0050】図7を参照する。プロセッサ116によっ
て要約を作成するプロセスは、ユーザが付けた注釈を、
キャプチャされたデジタルイメージ内に識別する第1ス
テップ130を含む。注釈を識別する適当な技術は、例
えば、米国特許第5,570,435号、第5,748,805号、及び第
5,384,863号に開示されているので参照されたい。これ
らの特許は、規則的な機械印刷と、手書きマーク及び注
釈とを区別する技術を記述している。
【0051】図8に、典型的に識別可能な手書き注釈の
種類を示す。これらは、アンダライン132、丸囲み1
34、括弧136、余白括弧またはマーキング138、
斜線140、場所変化を示すアンカー付き矢印142、
及び手書きの注または挿入144を含む。
【0052】ステップ146(図7)において注釈の解
釈が遂行される。解釈のレベルは、システム110によ
って許容される注釈の複雑さに依存して、実施の形態毎
に変化し得る。例えば、アンダライン132を施した、
または丸囲い134された簡単なワードは、それらのワ
ードが注釈によって直接的に識別されるので、解釈は必
要ではない。括弧136及び余白マーキング138は、
括弧またはマーキングが画しているテキスト全体を識別
するので、極く簡単な解釈が必要である。
【0053】斜線注釈140は、要約から斜線を施した
テキストを排除するから、負の注釈として解釈すること
が好ましい。これは、一面においては、注釈が全く無い
こと(従って、要約内に含ませるために必要などのよう
な焦点もテキストに対して描かれていないこと)と等価
であると考えることができる。しかしながら、斜線注釈
140は、ハイライトされた1つのワード付近の1つま
たはそれ以上のワードが文脈上のテキストの一部として
含まれるのを排除する方法も提供する。
【0054】場所変化矢印142及び手書きの注または
挿入144も、注釈によって識別されたそれぞれの位置
を識別するために解釈を必要とする。
【0055】ステップ148(図7)において、解釈さ
れた注釈によって識別されたデジタルイメージの領域が
抽出され、要約内に使用される。本明細書では、各領域
を“フィーチャ”と呼び、これはデジタルイメージから
抽出された領域のイメージマップである。更に、各フィ
ーチャは、それを抽出した(または、コピーした)元の
走査されたイメージ内の場所を指示するポインタまたは
アドレスでタグ付けされる。
【0056】もしある注釈が単一のワード、または短い
フレーズだけを識別していれば、その注釈のために抽出
されたフィーチャを、付加的な文脈情報、またはその注
釈のためのテキストを含むように拡張することが好まし
い。通常、フィーチャは、注釈の周りのセンテンス15
0(図9)を含むように拡張されよう。従って、ステッ
プ148において、プロセッサ116は、センテンスの
始まりと終わりとを指示するフルストップ及び他の機械
印刷されたマークの位置を識別する。
【0057】図8及び図9は、ある文書内のテキストだ
けに注釈付けすることを示しているが、その文書の1つ
またはそれ以上のグラフィック部分も、要約内に含ませ
るために注釈付けすることができる。この場合、ステッ
プ148において、注釈付けされたグラフィック“フィ
ーチャ”に対応するイメージマップが抽出される。
【0058】ステップ152においては、抽出されたフ
ィーチャから要約がコンパイル(編集)される。要約
は、抽出されたフィーチャのイメージマップの形状でコ
ンパイルすることも、またはフィーチャのテキスト部分
をOCR処理してそのテキストのための文字コードを生
成することもできる。同様に、手書きの注または挿入を
OCR処理して、文字コードを生成することも、または
それらをイメージマップとして使用することもできる。
【0059】コンパイル中に、要求され得る注釈を更に
解釈することができる。例えば、斜線が施されたどのよ
うなテキストも、要約から削除(除去)する(例えば、
図9の斜線を施したテキスト140)ことができる。
【0060】更に、コンパイル中に、同じように注釈付
けされたフィーチャを、例えば黒丸(ブレット)を用い
て箇条書きすることができる。例えば、丸囲いされたワ
ードを含むセンテンスは箇条書きされたリストとして一
緒に編成することができる。このような動作はユーザが
制御できるオプションであることが好ましいが、これ
は、単に、元の文書内の情報をマークするために同じ注
釈を使用することによって、ユーザが情報のアイテムを
一緒に要約内にグループ化することを可能にするパワフ
ルな技術を提供できる。
【0061】更に、コンパイル中に、手書きされた注釈
に基づいて、要約の複数部分を重要であるとしてハイラ
イトさせることができる。例えば、テキストを太字にす
るかテキストにアンダラインを付けるか、またはテキス
トを異なる色にすることによって、感嘆符(図8の15
4)または二重アンダラインのような注釈を重要マーキ
ングとして要約内に含ませることができる。
【0062】ステップ156において、コンパイルされ
た要約が、例えばユーザのディスプレイまたはプリンタ
へ出力される。
【0063】この実施の形態では、図10に示すよう
に、システム110は、要約のためのウィンドウ157
内に複数の層にされた詳細レベルを提供する。これらの
層は、コンパイル中に、または要約情報の出力中に適用
することができる。
【0064】最低詳細レベル158は、文書から抽出さ
れた何等かの主題見出しだけを含んでいる。
【0065】何等かの主題見出し上でクリックすること
によって、その主題見出しが第2詳細レベル160へ拡
張され、文書のその適切なセクションのテキスト要約が
生成される。第2詳細レベル160は、テキストフィー
チャだけを含む。しかしながら、再度クリックすること
によって、要約は(第3詳細レベル162へ)拡張さ
れ、文書のそのセクションからの注釈付き図面のような
非テキストフィーチャが要約の一部として含まれるよう
になる。
【0066】何等かのセンテンス上でクリックすること
によって、要約は(第4詳細レベル164へ)拡張さ
れ、例えばそのセンテンスを含むパラグラフが表示され
ることによってそのセンテンスのさらなる文脈が表示さ
れるようになる。
【0067】最終層(第5詳細レベル166)では、何
れかのセンテンス上でクリックすることによって、文書
内のそのセンテンスに関連付けられた注釈を“検索”す
ることができる。
【0068】代替実施の形態では、図10に示すウィン
ドウ157において上述した各詳細レベル上で単にクリ
ックすることによって、要約のための複数の層にされた
詳細レベルににアクセスすることができる。即ち、ウィ
ンドウ157は、文書を要約するために使用されている
現詳細レベルを指示すると共に、特定の詳細レベルへの
アクセスとしても使用することができる。
【0069】この実施の形態では、要約は、要約される
文書に付けられた注釈に基づいている。しかしながら他
の実施の形態では、要約は、例えば、以前に注釈付けさ
れた文書に、またはマスター文書のような異なる文書に
付けられた注釈に基づくことができる。このような実施
の形態では、第1の文書は手書きで注釈されており、こ
れらの注釈はシステム110によって検出され、格納さ
れる。次いで、第2の文書がシステムによってキャプチ
ャされ、第1の文書から検出された注釈に基づいて処理
される。換言すれば、第1の文書において検出された注
釈は、第2の文書の抄録の生成のための案内として使用
されるのである(あたかも第2の文書に対して手書きで
注釈が付けられた場合と同じ手法で)。
【0070】更に、上述した実施の形態の若干は、単に
1つまたはそれ以上のソース注釈に基づいてターゲット
文書に注釈付けしているが、上述した実施の形態の他の
ものは、他の方法で注釈を使用することができる。例え
ば、上述した種々の例示実施の形態を組合わせることが
できる。このような組合わせ技術では、ターゲット文書
は、以前に異なるソース文書に付けられた注釈に基づい
て自動的に要約することができる。
【0071】以上に、種々の例示実施の形態を参照して
本発明を説明した。添付図面を参照して本明細書を読
み、理解することによって、当業者には変更及び代替は
明白であろう。これらの実施の形態は単なる例示に過ぎ
ず、特許請求の範囲に記載の本発明の範囲内で種々の代
替、変更、変化、または改良が可能であろう。
【図面の簡単な説明】
【図1】文書処理システムのブロック図である。
【図2】システムの動作原理を示す概要図である。
【図3】例示プロセスを示す概要図である。
【図4】入力方法を示す概要フロー図である。
【図5】出力方法を示す概要フロー図である。
【図6】文書の要約を生成するために紙文書を処理する
第1の実施の形態の概要ブロック図である。
【図7】要約を生成するためのプロセスを示すフロー図
である。
【図8】注釈を付けた文書のページの概要図である。
【図9】図8の一部分の拡大概要図であって、センテン
スの抽出を示す図である。
【図10】要約を表示するためのオプションを示す概要
図である。
【符号の説明】
10 文書処理システム 12 文書 14 イメージキャプチャデバイス 16 プロセッサ 18 ユーザ入力デバイス 20 出力デバイス 22 大容量記憶デバイス 25 ターゲット文書 26 ソース文書 27 注釈付きターゲット文書 30 注釈付きソース文書 32 注釈を付けられたワード 34 ターゲット紙文書 35 デジタルイメージ 36 注釈 38 文書リポジトリ(プロジェクト) 110 文書処理システム 112 紙文書 114 イメージキャプチャデバイス 116 プロセッサ 118 オペレータ入力デバイス 120 出力デバイス 132 アンダライン 134 丸囲み 136 括弧 138 余白括弧またはマーキング 140 斜線 142 アンカー付き矢印 144 手書きの注または挿入 150 センテンス 157 ウィンドウ 158 最低詳細レベル 160 第2詳細レベル 162 第3詳細レベル 164 第4詳細レベル 166 最終詳細レベル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 エルカン エ クルオグル イタリア ピサ カプ 56125 ヴィア ディ プラータル 36 ナンバー 29 Fターム(参考) 5B064 AA07 5B075 NS01 PP10

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 ターゲット文書を処理するためのシステ
    ムであって、 複数のワードを格納するためのストレージデバイスと、 前記ストレージデバイス内に存在している何等かのワー
    ドが、前記ターゲット文書内に存在するか否かを識別す
    るための探索デバイスと、 前記ターゲット文書内に位置する前記ワードに、注釈付
    けするための注釈デバイスと、を備えていることを特徴
    とするシステム。
  2. 【請求項2】 文書の要約を生成するための装置であっ
    て、 文書のイメージをキャプチャするためのイメージキャプ
    チャデバイスと、 前記イメージキャプチャ以前に前記文書に対してなされ
    た注釈を検出するための処理デバイスと、 前記検出された注釈に基づいて、文書の要約を生成する
    ための要約発生器と、を備えていることを特徴とする装
    置。
JP2002298283A 2001-10-19 2002-10-11 文書に注釈付けし、文書イメージから要約を生成する方法及び装置 Pending JP2003186889A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/982024 2001-10-19
US09/982,024 US7712028B2 (en) 2001-10-19 2001-10-19 Using annotations for summarizing a document image and itemizing the summary based on similar annotations
US09/981,835 US20040034832A1 (en) 2001-10-19 2001-10-19 Method and apparatus for foward annotating documents
US09/981835 2001-10-19

Publications (1)

Publication Number Publication Date
JP2003186889A true JP2003186889A (ja) 2003-07-04

Family

ID=27130616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002298283A Pending JP2003186889A (ja) 2001-10-19 2002-10-11 文書に注釈付けし、文書イメージから要約を生成する方法及び装置

Country Status (3)

Country Link
EP (1) EP1304625B1 (ja)
JP (1) JP2003186889A (ja)
DE (1) DE60217450T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8341112B2 (en) 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
JP2015165399A (ja) * 2014-02-28 2015-09-17 株式会社リコー コンテンツとストロークとの関連付けのサマリの生成のためのシステム、方法及びコンピュータプログラム
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065524A (ja) * 2004-08-26 2006-03-09 Hitachi Ltd 文書処理装置および方法
US8065313B2 (en) 2006-07-24 2011-11-22 Google Inc. Method and apparatus for automatically annotating images
US9286280B2 (en) 2012-12-10 2016-03-15 International Business Machines Corporation Utilizing classification and text analytics for optimizing processes in documents
US10430506B2 (en) 2012-12-10 2019-10-01 International Business Machines Corporation Utilizing classification and text analytics for annotating documents to allow quick scanning

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4868750A (en) * 1987-10-07 1989-09-19 Houghton Mifflin Company Collocational grammar system
US6658623B1 (en) * 1997-09-15 2003-12-02 Fuji Xerox Co., Ltd. Displaying in a first document a selectable link to a second document based on a passive query
US6279014B1 (en) * 1997-09-15 2001-08-21 Xerox Corporation Method and system for organizing documents based upon annotations in context

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8341112B2 (en) 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9652444B2 (en) 2010-05-28 2017-05-16 Microsoft Technology Licensing, Llc Real-time annotation and enrichment of captured video
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
JP2015165399A (ja) * 2014-02-28 2015-09-17 株式会社リコー コンテンツとストロークとの関連付けのサマリの生成のためのシステム、方法及びコンピュータプログラム

Also Published As

Publication number Publication date
DE60217450T2 (de) 2007-10-11
DE60217450D1 (de) 2007-02-22
EP1304625A3 (en) 2005-07-20
EP1304625B1 (en) 2007-01-10
EP1304625A2 (en) 2003-04-23

Similar Documents

Publication Publication Date Title
US7712028B2 (en) Using annotations for summarizing a document image and itemizing the summary based on similar annotations
US5748805A (en) Method and apparatus for supplementing significant portions of a document selected without document image decoding with retrieved information
EP0544432B1 (en) Method and apparatus for document processing
JP3952216B2 (ja) 翻訳装置及び辞書検索装置
US5384863A (en) Methods and apparatus for automatic modification of semantically significant portions of a document without document image decoding
JP3282860B2 (ja) 文書上のテキストのデジタル画像を処理する装置
US20030004991A1 (en) Correlating handwritten annotations to a document
US20040139391A1 (en) Integration of handwritten annotations into an electronic original
GB2556174A (en) Methods and systems for generating virtual reality environments from electronic documents
JP4785655B2 (ja) 文書処理装置及び文書処理方法
JP2005004774A (ja) デジタルインクの注釈を認識し、アンカリングし、およびリフローするデジタルインクの注釈プロセスおよびシステム
US20040034832A1 (en) Method and apparatus for foward annotating documents
JP2003288334A (ja) 文書処理装置及び文書処理方法
JP2010009509A (ja) 画像処理装置、画像処理方法およびそのプログラムならびに記憶媒体
EP1304625B1 (en) Method and apparatus for forward annotating documents and for generating a summary from a document image
JP5446877B2 (ja) 目次構造特定装置
JP2005182460A (ja) 情報処理装置、注釈処理方法、情報処理プログラムおよび情報処理プログラムを格納した記録媒体
JP2008129793A (ja) 文書処理システムおよび装置および方法、およびプログラムを記録した記録媒体
US20240104290A1 (en) Device dependent rendering of pdf content including multiple articles and a table of contents
Li et al. Extracting figures and captions from scientific publications
US20150089335A1 (en) Smart processing of an electronic document
Sattar A Technique for the Design and Implementation of an OCR for Printed Nastalique Text
US11842141B2 (en) Device dependent rendering of PDF content
JP3206600B2 (ja) 文書生成装置
JP2007241473A (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090813