JP2000090117A

JP2000090117A - 文書画像の論理要素抽出方法、装置および記録媒体

Info

Publication number: JP2000090117A
Application number: JP11187533A
Authority: JP
Inventors: Tsukasa Kouchi; 司幸地
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-07-16
Filing date: 1999-07-01
Publication date: 2000-03-31

Abstract

(57)【要約】【課題】文書の論理要素を、そのレイアウト情報を記
述した論理モデルとマッチングにより抽出する際に、論
理要素毎のレイアウト特徴の変動量の履歴を参照して効
果的な学習を行い、論理モデルや諸設定を更新すること
によって論理要素の抽出精度を向上させる。【解決手段】レイアウト特徴抽出手段１０３は、入力
文書画像を領域などの要素に分割し、文書レイアウト構
造に関する特徴を検出する。論理モデル検出手段１０４
は、複数のモデルの中から処理対象文書タイプに一致す
るモデルを検出し、論理要素抽出手段１０５は、検出さ
れた論理モデルを用いて文書画像から論理要素を抽出す
る。学習処理手段１０６は、抽出された論理要素のレイ
アウト特徴の変動量を求め、これを履歴として格納す
る。更新判定手段１０８は、履歴を参照し、変動量が所
定のしきい値以上であるとき論理モデルを更新する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書画像の論理要
素を抽出する文書画像の論理要素抽出方法、装置および
論理要素抽出処理プログラムを記録した記録媒体に関す
る。

【０００２】

【従来の技術】例えば、電子図書館、文書ファイリング
システム、データベースなどを構築する場合に、文書画
像の論理構造を認識し、書誌事項を自動的に抽出するこ
とが要求されると共に、文書画像の種類を認識し、自動
的に適当なフォルダに分類する技術も要求される。

【０００３】従来、この種の文書処理装置としては、例
えば、特開平８−２８７１８９号公報に記載された技術
がある。この装置では、利用者が予め書誌事項の抽出ル
ールを設定し、さらに予め設定された複数の文字列パタ
ーンとのマッチングにより文書構造の認識を行ってい
る。しかし、上記した装置では、文字認識のためのコス
トがかかり、また文書毎に抽出ルールを作り直す必要が
ある。

【０００４】文書の論理構造を認識する他の方法として
は、特開平５−１５９１０１号公報に記載された文書論
理構造認識および文書内容認識のための装置および方法
がある。上記した装置および方法では、文書画像の要素
間の関係と構造モデルとの整合性を調べ、該当する構造
モデルの論理構造要素の属性パラメータとして文書画像
の用紙の内容を認識する。そのために、文書要素をノー
ド、要素間の配置関係をリンクするようなグラフ構造の
構造モデルも用いて文書構造認識を行っているが、この
ような構造モデルは全要素間の相対位置関係で定義され
ているため、その作成に手間がかかり、かつ、ある１つ
の要素を誤認識した場合に、他の残りのすべての要素認
識に対して誤認識を発生させる可能性が大きいという問
題がある。

【０００５】

【発明が解決しようとする課題】そこで、このような問
題を解決する手法として、本出願人は先に、文書をデジ
タル画像として入力し、該文書画像から前記文書のレイ
アウト特徴を検出し、複数の論理モデルの中から、前記
入力文書のレイアウト特徴に一致する論理モデルを検出
し、該検出された論理モデルを用いて前記文書画像から
論理要素を抽出し、抽出された論理要素におけるレイア
ウト特徴が所定のいきい値以上変動しているとき、前記
文書画像を用いて前記論理モデルを更新する文書画像の
論理要素抽出方法を提案した（特願平１０−１４５７８
１号）。

【０００６】上記提案した方法は、入力文書のレイアウ
ト特徴が所定のしきい値以上変動しているとき、参照し
ているモデルを更新して論理要素の抽出精度の向上を図
っている。しかし、変動が相当に大きいときには、抽出
結果にノイズが多く含まれる可能性があり、かつ、ある
論理要素に全くレイアウト的な変動がない場合でも、そ
れを検出することが難しく、その結果、抽出結果にノイ
ズが含まれてしまう可能性もある。

【０００７】本発明の目的は文書の論理要素を、その
レイアウト情報を記述した論理モデルとマッチングによ
り抽出する際に、論理要素毎のレイアウト特徴の変動量
の履歴を参照して効果的な学習を行い、論理モデルや諸
設定を更新することによって論理要素の抽出精度を向上
させた文書画像の論理要素抽出方法、装置および記録媒
体を提供することにある。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、請求項１記載の発明では、文書をデジタル画像とし
て入力し、該文書画像から前記文書のレイアウト特徴を
検出し、複数の論理モデルの中から、前記入力文書のレ
イアウト特徴に一致する論理モデルを検出し、該検出さ
れた論理モデルを用いて前記文書画像から論理要素を抽
出する文書画像の論理要素抽出方法であって、前記論理
要素を抽出する際に、論理モデルにおけるレイアウト特
徴の変動量の履歴を参照し、該レイアウト特徴の変動量
が所定のしきい値以上であるとき、前記論理モデルを更
新することを特徴としている。

【０００９】請求項２記載の発明では、前記レイアウト
特徴の変動量は、前記モデルの論理要素と、前記抽出さ
れた最適候補の論理要素について、座標、文字サイズ、
フォントを含むレイアウト特徴を比較したときのレイア
ウト特徴距離値ベクトルであることを特徴としている。

【００１０】請求項３記載の発明では、前記論理モデル
の更新は、レイアウト特徴の変動の許容範囲を拡大する
ように更新することを特徴としている。

【００１１】請求項４記載の発明では、前記レイアウト
特徴の変動量が所定のしきい値以上であるとき、前記論
理モデルをマルチテンプレート化することを特徴として
いる。

【００１２】請求項５記載の発明では、文書をデジタル
画像として入力し、該文書画像から前記文書のレイアウ
ト特徴を検出し、複数の論理モデルの中から、前記入力
文書のレイアウト特徴に一致する論理モデルを検出し、
該検出された論理モデルを用いて前記文書画像から論理
要素を抽出する文書画像の論理要素抽出方法であって、
前記論理要素を抽出する際に、論理モデルにおけるレイ
アウト特徴の変動量の履歴を参照し、該レイアウト特徴
の変動量が所定のしきい値未満であるとき、前記論理要
素の抽出の確信度と該論理要素に隣接する類似領域情報
と該論理要素の文書印字範囲に対する相対座標を基に、
前記論理モデルを更新し、所定のパラメータを更新する
ことにより、論理要素抽出結果のノイズを除去すること
を特徴としている。

【００１３】請求項６記載の発明では、前記論理モデル
の更新は、レイアウト特徴の変動の許容範囲を縮小する
ように更新し、前記所定のパラメータの更新は、確信度
の高い抽出候補を選択するためのしきい値の更新である
ことを特徴としている。

【００１４】請求項７記載の発明では、文書をデジタル
画像として入力する手段と、該文書画像から前記文書の
レイアウト特徴を検出する手段と、複数の論理モデルの
中から、前記入力文書のレイアウト特徴に一致する論理
モデルを検出する手段と、該検出された論理モデルを用
いて前記文書画像から論理要素を抽出する手段と、該抽
出された論理要素を基に前記論理モデルのレイアウト特
徴の変動量を検出する手段と、該変動量の履歴を格納す
る手段と、前記論理要素の抽出時に前記論理モデルのレ
イアウト特徴の変動量の履歴を参照する手段と、該レイ
アウト特徴の変動量が所定のしきい値以上であるとき、
前記論理モデルを更新する手段とを備えたことを特徴と
している。

【００１５】請求項８記載の発明では、文書をデジタル
画像として入力する機能と、該文書画像から前記文書の
レイアウト特徴を検出する機能と、複数の論理モデルの
中から、前記入力文書のレイアウト特徴に一致する論理
モデルを検出する機能と、該検出された論理モデルを用
いて前記文書画像から論理要素を抽出する機能と、論理
要素を抽出する際に、前記論理モデルにおけるレイアウ
ト特徴の変動量の履歴を参照する機能と、該レイアウト
特徴の変動量が所定のしきい値以上であるとき、前記論
理モデルを更新、またはマルチテンプレート化する機能
をコンピュータに実現させるためのプログラムを記録し
たコンピュータ読み取り可能な記録媒体であることを特
徴としている。

【００１６】請求項９記載の発明では、文書をデジタル
画像として入力し、該文書画像から前記文書のレイアウ
ト特徴を検出し、複数の論理モデルの中から、前記入力
文書のレイアウト特徴に一致する論理モデルを検出し、
該検出された論理モデルを用いて前記文書画像から論理
要素を抽出する際に、過去の入力文書画像と論理モデル
とのレイアウト特徴毎のマッチング結果を保持した履歴
を参照し、前記履歴から算出された論理要素の変動量が
所定のしきい値以上であるとき、前記論理モデルを更新
する文書画像の論理要素抽出方法であって、前記論理要
素の変動量は、前記論理要素の各レイアウト特徴毎の変
動量から算出することを特徴としている。

【００１７】請求項１０記載の発明では、文書をデジタ
ル画像として入力し、該文書画像から前記文書のレイア
ウト特徴を検出し、複数の論理モデルの中から、前記入
力文書のレイアウト特徴に一致する論理モデルを検出
し、該検出された論理モデルを用いて前記文書画像から
論理要素を抽出する際に、過抽出されたノイズを削減す
るための指標である、論理要素のノイズ削減可能性指標
が所定のしきい値以上であるとき、前記モデルを更新
し、所定のパラメータを更新することにより、論理要素
抽出結果のノイズを除去する文書画像の論理要素抽出方
法であって、前記論理要素のノイズ削減可能性指標は、
請求項９記載の論理要素の変動量と、論理要素の印字範
囲に対する相対座標から求まる指標と、論理要素の隣接
類似領域情報から求まる指標を基に算出することを特徴
としている。

【００１８】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて具体的に説明する。〈実施例１〉実施例１では、ランダムに入力される文書
画像の種類を自動識別して、文書画像から論理要素を自
動抽出する。同一種類の複数の文書画像から連続的に論
理要素を抽出する際に、抽出された論理要素におけるレ
イアウト特徴の変動量を履歴として保存することによ
り、論理要素の抽出精度の向上を図る。また、履歴を参
照して、論理モデルを更新し、諸設定を更新することに
より、論理要素抽出結果のノイズを除去する。

【００１９】図１は、本発明の実施例１の構成を示す。
図において、１０１は入力文書、１０２は文書をデジタ
ル画像として入力するための画像入力手段、１０３は入
力された文書画像を複数の要素に分割し、分割された要
素などから文書レイアウト構造に関する特徴を抽出する
レイアウト特徴抽出手段、１０４は処理対象文書に対し
て適切な論理モデルを検出する論理モデル検出手段、１
０５は論理モデルを用いて文書画像から論理要素を抽出
する論理要素抽出手段、１０６はレイアウト特徴の変動
量を検出する学習処理手段、１０７は変動量の履歴を保
存する履歴情報格納手段、１０８は履歴情報を参照して
論理モデルを更新するか否かを判定する論理モデル更新
判定手段、１０９は抽出結果を出力する抽出結果出力手
段、１１０は論理モデル作成用のサンプル画像、１１１
はサンプル画像から抽出対象の要素に書誌事項名と属性
を指定し論理モデルを作成する論理モデル作成手段、１
１２は論理モデルを管理する論理モデル管理データベー
ス、１１３は抽出結果を保持する文書データベース、１
１４は論理モデルの精度向上を図るために論理モデルを
更新する論理モデル更新手段である。

【００２０】まず、本発明の全体の処理について概要を
説明する。

【００２１】画像入力手段１０２は入力文書１０１を読
み取り、デジタル文書画像を得る。次いで、レイアウト
特徴抽出手段１０３は、入力文書画像を領域、行に分割
し、さらに文字サイズや文字間隔を求めるために文字を
切り出す。また、領域や行など要素の座標や文字の大き
さ、インデント、フォント、コラム情報など文書レイア
ウト構造に関する特徴を求める。なお、入力される文書
画像は複数のページからなる場合もあるが、例えば、入
力文書が論文の場合には、表紙と本文で構成されてい
て、通常、書誌事項が記載されているのは第１ページで
あるので、それ以外の本文ページについて処理する必要
はない。また、入力文書画像は、入力条件により上下左
右に余白を持つ場合があるが、分割された要素の座標値
として、文書を構成する印字領域に対する相対的な位置
情報を用いるので、文書入力条件による悪影響を回避す
ることができる。さらに、縦書き文書にも精度良く対応
するため文書の行方向を求めるが、文字を認識する必要
はない。文書画像の分割結果は、メモリに保存したり、
あるいはファイル（例えばタグつきコードファイル）に
書き出してもよい。

【００２２】続いて、論理モデル検出手段１０４は、論
理モデル管理データベース１１２に登録されている異る
複数の論理モデルの中から処理対象文書タイプと一致す
る論理モデルを検出する。一致する論理モデルがないと
きは、入力文書は未定義文書であると判定する。

【００２３】論理モデルの検出は、論理モデルに指定さ
れたレイアウト特徴を検出し、処理対象文書のレイアウ
ト特徴との類似度を用いて行う。類似度が一定値以上で
あり、第１候補と第２候補との類似度の差が十分に大き
いとき、求める論理モデルであると判定する。

【００２４】論理要素抽出手段１０５では、論理モデル
検出手段１０４で検出された論理モデルを用いて、文書
画像から書誌事項に相当する領域を抽出する。これは、
論理モデルの辞書に格納された書誌事項領域と、文書画
像の各候補領域とのマッチングによって書誌事項を抽出
する。すなわち、書誌事項領域と各候補領域について、
レイアウト特徴（領域の位置、文字サイズ、行数など）
毎に類似度を求め、類似度が上位となる候補領域（例え
ば、第１候補から第３候補）を抽出する。

【００２５】学習処理手段１０６は、１枚づつ入力され
る処理対象文書に対して、抽出された論理要素のレイア
ウト特徴の変動量を逐次的に検出して、要素ごとにその
変動量の履歴を履歴情報格納手段１０７に保持する。ま
た、履歴を参照して、ノイズ削減可能性指標を検出す
る。論理モデル更新判定手段１０８は、検出されたレイ
アウト特徴変動量が所定のしきい値以上であると判定し
たとき、論理モデル更新手段１１４はレイアウト特徴の
許容範囲を拡大するように前記論理モデルを更新する。
また、必要に応じて、論理モデル更新手段１１４は該論
理モデルをマルチテンプレート化する。

【００２６】さらに、論理モデル更新判定手段１０８が
履歴を参照し、レイアウト特徴変動量が、一定以内の小
さな変動量しか持たず、ノイズ削減可能性指標が所定値
以上であると判定したとき、論理モデル更新手段１１４
はレイアウト特徴の許容範囲を縮小するように前記論理
モデルを更新し、諸設定を更新する。これにより、論理
要素抽出結果のノイズを除去する。

【００２７】論理モデル更新判定手段１０８の判定の結
果、更新しないときは、抽出結果出力手段１０９は、上
記したように抽出された書誌事項の候補領域を文書デー
タベース１１３に出力する。

【００２８】論理モデル作成手段１１１は、複数の要素
に分割されたモデルとなるサンプル文書画像１１０に対
して、ユーザが抽出したい要素に書誌事項名を与え、次
いで、属性を与える。属性としては、例えば該要素の最
大行数を与える。属性は補助的な特徴として処理される
ので必ずしも指定する必要はない。論理モデルは、指定
された領域の書誌事項名と属性とレイアウト特徴とを組
み合わせて作成し、論理モデル管理データベース１１２
に出力する。この論理モデルは、文書構造、例えば各要
素間をグラフ化する構造などを必要としないので作成や
保守が簡単である。

【００２９】図１４は、論理モデルの例を示す。論理モ
デルは、図１４に示すようにタグつきコードで記述さ
れ、論理モデル管理データベース１１２に格納される。
図において、第１行にはＳＧＭＬ（文書の論理構造を記
述する文法）の場合は、ＤＴＤ（文書型定義）等を定義
する。第２行目に印字領域範囲や領域数など文書全体に
関する情報を記述する。第３行目以降から実際に文書デ
ータを記述する。〈ａｒｅａ〉タグには属性として先頭
から順に、書誌事項名、最大行数、行数、座標値、文字
サイズ、フォント値、文字ピッチなどユーザ指定情報と
レイアウト特徴を記述する。

【００３０】図２は、本発明に係る学習処理の全体の処
理フローチャートである。以下、図２を参照して本発明
の特徴である学習処理について詳述する。

【００３１】まず、学習処理手段１０６は、入力文書の
論理要素と論理モデル間のレイアウト的な差異を表す指
標として、レイアウト特徴の変動量を検出する（ステッ
プ２０１）。変動量の定義および検出方法については後
述する。検出された変動量は、学習対象となる論理要素
ごとにそれぞれ履歴情報として履歴情報格納手段１０７
に追加保存される（ステップ２０２）。論理要素を抽出
する際に、過去の履歴に遡って該論理要素の変動量を検
出し（ステップ２０３）、同時に、要素抽出結果からの
ノイズ量削減を目的としたノイズ削減可能性指標（Ｎ
ｉ）を検出する（ステップ２０４）。

【００３２】更新判定手段１０８による判定の結果、変
動量が所定のしきい値以上であることが判明すれば（ス
テップ２０５）、該当するレイアウト特徴の変動の許容
範囲を拡大する方向（例えば、文字サイズのポイント数
を９ｐから１３ｐに拡大する）で論理モデルを更新する
（ステップ２０６）。逆に変動量が上記しきい値未満で
あれば、変動の許容範囲を縮小（例えば、文字サイズの
ポイント数を１０ｐから８ｐに縮小）するようにモデル
を更新すればよいが、実際にこれを行うには少し注意が
必要である。なぜならば、一般に変動量を検出すること
は容易であるが、変動していないことを予想するのは難
しい。特に、学習サンプル数が少ない場合には、安易に
モデルのレイアウト特徴変動の許容範囲を縮小すると悪
影響が生じる可能性がある。

【００３３】そこで、ノイズ削減可能性指標（Ｎｉ）を
設定し、この指標を基に少ないサンプル数でも効果的に
レイアウト特徴変動検出の信頼を高めることができる。
Ｎｉが検出され（ステップ２０７）、Ｎｉが所定のしき
い値以上であるとき（ステップ２０８）、論理モデルの
レイアウト特徴変動の許容範囲を縮小するようにモデル
を更新し（ステップ２０９）、該論理要素に対する要素
抽出結果からノイズ量を削減するために、要素抽出のた
めの諸設定を厳しく設定し直す（ステップ２１０）。

【００３４】まず、履歴情報について説明する。図３
は、履歴情報の作成を説明する図である。前述したよう
に、ある入力文書に適切なモデルとしてモデルαが選択
されている。このモデルαには要素Ａの座標、文字サイ
ズなど、要素Ｂの座標、文字サイズなど、要素Ｃの座
標、文字サイズなどが記述されている。入力文書とモデ
ルとのマッチングを行い、論理要素を抽出し、その抽出
結果をデータベースに出力する。また、マッチング結果
を要素毎に変動の履歴として保存する。各要素の変動履
歴には、入力文書番号毎に、変動＋その他の情報が記述
される。新文書は各履歴の末尾に追加される。

【００３５】図４は、論理要素の変動履歴の詳細を示
す。文書番号に対応して、座標、文字サイズ、文字ピッ
チ、インデント、フォントなどからなるレイアウト特徴
の変動量が記録される。

【００３６】次に、レイアウト特徴の変動量について説
明する。図５は、論理要素ｅのレイアウト特徴の変動量
を求める処理フローチャートである。以下、図５を参照
して論理モデルとの照合に基づく論理要素ｅのレイアウ
ト特徴の変動量の検出方法について説明する。

【００３７】入力文書から論理要素ｅに相当する候補行
を抽出する（ステップ５０１）。次いで、抽出された複
数の候補行の中から最も論理要素に近い行ｌを１つ選択
する（ステップ５０２）。ｅとｌのレイアウト特徴各次
元を比較したレイアウト特徴距離値ベクトルｄ（ｅ、
ｌ）が求める変動である（ステップ５０６〜５０６）。ｄ（ｅ、ｌ）＝（ｄ０，ｄ１，．．．，ｄｍ）ベクトルｄ（ｅ，ｌ）の各元は、適当な方法で正規化さ
れているとする。

【００３８】レイアウト特徴の変動量検出の具体例を図
６を用いて説明する。図６において、抽出対象となる論
理要素「１９９７年１０月７日」をｅとし、ｅの最有力
候補行ｌを「平成１０年５月」とする。

【００３９】これらを座標や文字サイズ、フォントなど
のレイアウト特徴ｆ０，ｆ１，．．．，ｆｍを用いて表
す場合、

【数１】となり、ｅとｌのレイアウト特徴各次元を比較したレイ
アウト特徴距離値ベクトルｄ（ｅ，ｌ）が、求めるｅの
レイアウト特徴の変動量である。

【数２】

【００４０】図７は、レイアウト特徴の変動量と履歴の
関係を説明する図である。処理対象の入力文書（例えば
文書番号Ｎｏ．２）は、特徴抽出の結果、例えば論理要
素ｌ１からｌ５から構成されているものとする。また選
択されたモデルβには、要素Ａ、Ｂ、Ｃの座標、文字サ
イズなどが記述されている。座標として、各要素の始点
（左上）、終点（右下）の座標値が記録され、文字サイ
ズとしてポイント数が記録されている。この例では、モ
デルの要素Ａが入力文書のｌ１に相当し、Ｂがｌ３に、
Ｃがｌ４に相当するものとする。

【００４１】マッチングの結果、要素Ａとして、候補ｌ
１とｌ２が抽出されたとする。そして、複数の候補の
内、第１候補（ｌ１）を最適候補として選択する。学習
処理手段は、要素Ａの各レイアウト特徴と要素ｌ１の各
レイアウト特徴とを比較して前述したベクトルを得る。
このベクトルが要素Ａの変動量として、履歴に記録され
る。この例では、正解行ｌ１を選択しているので、変動
量、つまり各次元の値が小さい。

【００４２】本発明は、ユーザが指定した書誌事項を、
絶対座標の単なる位置合せではなく、様々なレイアウト
特徴の特性を考慮した方法で抽出することにより、文書
内の幅広い変動に対応することができる。しかしなが
ら、大きな文書内変動を持つ書誌事項に対して、上記の
方法で論理モデルに定義されたレイアウト特徴変動の許
容幅を拡大しすぎると、逆に抽出結果にノイズが多く含
まれてしまう可能性が高くなる。そこで、大きな文書内
変動を持つ書誌事項を精度よく抽出するために、ここで
は、入力文書が、所定の条件を満たすレイアウト特徴の
変動量を持つ書誌事項を含む場合には、一つの文書タイ
プが複数のモデルを持つ「マルチテンプレート」方式を
適用する。

【００４３】すなわち、例えば、ある同一文書タイプに
属する２つの文書のうち、一方は文字がすべてゴシック
体で記述されていて、他方はすべて明朝体で記述されて
いる場合には、それぞれの文書を基に論理モデルを２つ
作成して、以後入力される文書に対しては、前記２つの
モデルのうち、最適な方を選択して論理要素抽出処理を
行えばよい。このように、定性的なレイアウト特徴に変
動が生じたときは、上記のマルチテンプレート方式は有
効である。

【００４４】ある文書においてマルチテンプレート化と
判定されたときには、判定された文書を用いてこれまで
と同じ方法で新規モデルを作成する。ある文書を処理し
たときに、その文書の各論理要素のレイアウト特徴変動
量の検出を利用したマルチテンプレート化の判定方法の
一例を以下に示す。（１）すべての論理要素について、それぞれの抽出確信
度と相対座標に基づいた加重係数を検出する。（２）抽出確信度の加重平均ｅｓを求める。（３）加重平均ｅｓが所定のしきい値よりも悪かったら
マルチテンプレート化と判定する。

【００４５】ここで、相対座標に基づいた加重係数は、
論理要素がレイアウト的に強調されているほど重くと
り、そうでなければ小さくとればよい。また、論理要素
の抽出確信度とは、論理要素抽出処理で検出される抽出
の確からしさを表す指標である。

【００４６】図８は、抽出確信度を説明する図である。
いま、入力画像から「作成者」という要素を抽出する場
合を例にして説明する。モデルの辞書データには、要素
「作成者」のレイアウト特徴ａ０、ａ１．．．ａｍが記
述されている。つまり、ａ０は座標、ａ１は文字サイ
ズ、ａ２はフォント、．．．である。モデルとのマッチ
ングの結果、各要素に相当する候補行ｌ１からｌｐが抽
出される。候補行ｌ１のレイアウト特徴をｂ０、ｂ
１、．．．ｂｍとする。

【００４７】候補行ｌ１の抽出確信度は、まず、モデル
の要素「作成者」と候補行ｌ１との各特徴の差（変動量
（ｄ０、ｄ１、．．．ｄｍ））を求める。つまり、ａ０
とｂ０の差をｄ０、ａ１とｂ１の差をｄ１、．．ａｍと
ｂｍの差をｄｍとする。同様に、他の候補行ｌ２からｌ
ｐについても変動量を求める。

【００４８】次いで、（１）ｄｉの順位に関する配点
と、（２）ｄｉの値に対する配点を求める。（１）ｄｉの順位に関する配点（ｐ０、ｐ１、．．．ｐ
ｍ）ｐ０は座標の順番に対して与えられる得点、ｐ１は文字
サイズの順番に対して与えられる得点、以下、それぞれ
の特徴の順番に対して与えられる得点である。図９は、
座標の順番に対する配点テーブルと、文字サイズの順番
に対する配点テーブルの一例を示す。

【００４９】モデルの「作成者」に位置が近い順に、座
標の配点テーブルに従って配点される。例えば、上記し
た変動量を求めた結果、候補行ｌ１が１位、候補行ｌ３
が２位である場合には、候補行ｌ１のｐ０は「２０」、
候補行ｌ３のｐ０は「１８」となる。文字サイズについ
ても同様に、各候補行の順番に応じた得点がｐ１に与え
られる。

【００５０】（２）ｄｉの値に対する配点（ｓ０、ｓ
１、．．．ｓｍ）変動量ｄ０、ｄ１、．．．ｄｍは性質が異なるので単純
に比較できない。そこで、適当に正規化した値ｓ０、ｓ
１、．．．ｓｍを求める必要がある。具体的にはマハラ
ノビス距離を用いる。すなわち、ｄ０、ｄ１、．．．ｄ
ｍ（各特徴差）の平均（ｍ）と分散（ｖ）を求めて、ｓ
ｉを算出する。

【数３】そして、最終的に、候補行ｌ１の抽出確信度Ｓを

【数４】として算出する。他の候補行についても同様に抽出確信
度Ｓを算出する。

【００５１】次に、ノイズ削減可能性指標（Ｎｉ）の検
出方法を説明する。レイアウト特徴の変動量を論理モデ
ルに記述するということは、基本的には変動の許容範囲
を拡大して抽出漏れを防止する手法といえる。しかしこ
れだけでは、指定要素抽出の抽出率向上と引き替えにノ
イズ量を増大させてしまう恐れがある。

【００５２】そこで、ノイズ量削減を目的としたノイズ
削減可能性指標（Ｎｉ）を導入し、逐次的に論理モデル
を更新する度に、抽出率だけではなく有効率も同時に向
上する手法を提案する。

【００５３】要素抽出のノイズ量は、該領域の印字範囲
に対する相対座標や隣接する領域に大きく影響を受ける
ので、それらの情報を考慮に入れて、要素ごとにそれぞ
れノイズ削減可能性指標（Ｎｉ）を検出する。

【００５４】図１０は、論理要素ｅのノイズ削減可能性
指標（Ｎｉ）を求める処理フローチャートを示す。ま
ず、抽出された候補行の中から最も論理要素に近い行ｌ
を１つ選択する（ステップ１００１、１００２）。次い
で、前記行ｌのレイアウト特徴の値を保持する（ステッ
プ１００３）。

【００５５】

【数５】

【００５６】前記行ｌと前記要素ｅのレイアウト特徴の
値を比較して、ｅのレイアウト特徴の変動量を検出する
（ステップ１００４）。ｄ（ｅ，ｌ）＝（ｄ０，ｄ
１，．．．，ｄｍ）。レイアウト特徴の変動量が大きい
ときは、ノイズの削減は難しく、できるだけ抽出漏れが
ないように処理する。また、レイアウト特徴の変動量が
小さいときは、ノイズをさらに削減できる可能性があ
る。

【００５７】要素ｅの抽出確信度Ｃｘを検出する（ステ
ップ１００５）。前述した抽出確信度が大きい場合は、
信頼できるデータであり、小さい場合は信頼できないデ
ータであるので学習（履歴の参照）には不適当である。

【００５８】要素ｅの隣接領域類似度Ｓｎを検出する
（ステップ１００６）。近くに類似した領域がある場合
には、識別が困難になり、ノイズは避けられない。類似
した領域がない場合にはノイズを減らすことができる。

【００５９】要素ｅの文書印字範囲に対する相対座標指
標ｐを検出する（ステップ１００７）。要素の位置が文
書の端に現れるときは独立性が高いので（ｐの値が大き
い）、ノイズをさらに減らすことができる。要素の位置
が文書の中央付近に現れるときは（ｐの値が小さい）ノ
イズが多く含まれる傾向にあり、ノイズの削減が難し
い。

【００６０】要素抽出からノイズを削減するために、こ
れら検出した値を履歴に記録する。図１１は、レイアウ
ト特徴の変動量の他に抽出確信度、隣接領域類似度、相
対座標指標を記録した要素Ａの履歴の一例を示す。この
例では、確信度Ｃｘが高く、ｌ１とｌ２が隣接している
ので、Ｓｎが大きな値を示し、ｌ１が文書端にあるので
ｐ値が大きく、比較的特徴が安定していることを表して
いる。そして、次の文書を処理すると、２行目に同じよ
うなデータが追加される。

【００６１】以上検出した値をｍ次元ベクトルとして表
したのものを

【数６】、ノイズ削減可能性指標行列（ｍ＊ｍ）をＫとおいたと
き、ノイズ削減可能性指標（Ｎｉ）を次の式で求める
（ステップ１００８）。

【００６２】

【数７】ｅの近傍にｅと類似した領域が存在する場合には、隣接
領域類似度Ｓｎを大きくとり、そうでない場合には小さ
くとる。

【００６３】ノイズ削減可能性指標行列Ｋは、Ｆの各次
元を適当に正規化するためのパラメータである。例え
ば、隣接領域類似度Ｓｎが大きい、すなわちｅの近傍に
ｅと類似した領域が存在する場合には、ノイズ量の削減
が難しいのでＮｉを小さくするように調整すればよい。

【００６４】あるいは、また、前述したノイズ削減の条
件を用いて、レイアウト特徴の変動量が小さく、抽出確
信度が大きく、隣接した類似領域がなく、要素の位置が
文書端にあるとき、Ｎｉが所定値以上になるように調整
し、このときモデル更新（縮小方向に）したり、諸設定
を更新することによりノイズを削減する。

【００６５】図１２は、ノイズを削減できる要素Ｂの履
歴の例を示す。この例では、（１）レイアウト特徴の変
動は小さい。（２）Ｃｘは大きく、信頼できるデータで
ある。（３）近傍に類似した要素はない。（４）文書端
に位置している。従って、要素Ｂはモデルを更新した
り、パラメータを設定し直すことにより、抽出結果から
ノイズを削減することができる。

【００６６】諸設定を更新する例として、（１）最終候
補を抽出確信度で足切りする場合と、（２）配点テーブ
ルを更新する場合を説明する。（１）最終候補を抽出確信度で足切りする場合；第１の
候補の確信度が１００、第２の候補の確信度が９０、第
３の候補の確信度が５０、第４の候補の確信度が４０で
あるとする。ノイズを削減するために、足切りのしきい
値を大きくすると（しきい値を８５とする）上位２候補
が最終出力となり、下位は足切りされる。足切りのしき
い値を小さくすればノイズが多くなるので（しきい値を
３０にすると４つの候補が出力される）、目的に応じて
更新すればよい。（２）配点テーブルを更新する場合；履歴を参照したと
き、文字サイズのバラツキが大きいことが判明したら、
文字サイズの配点テーブルを図１３（ｂ）に示すように
バラツキが小さくなるように更新する。逆に、ほとんど
バラツキがなければ、配点テーブルの各値を大きくすれ
ばよい。

【００６７】〈実施例２〉本発明は上記した実施例に限
定されず、ソフトウェアによっても実現することができ
る。本発明をソフトウェアによって実現する場合には、
図１５に示すように、ＣＰＵ、メモリ、表示装置、ハー
ドディスク、キーボード、ＣＤ−ＲＯＭドライブ、スキ
ャナなどからなるコンピュータシステムを用意し、ＣＤ
−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に
は、本発明の文書画像の論理要素抽出機能を実現するプ
ログラムなどが記録されている。また、文書画像などは
ハードディスクなどに格納されている。そして、該プロ
グラムが起動されると、文書画像データが読み込まれ
て、論理要素抽出処理を実行し、文書画像中から抽出さ
れた論理要素である書誌事項をディスプレイなどに出力
する。また、論理モデルを作成する機能をサーバー側
に、論理要素を抽出する機能をクライアント側にそれぞ
れ分散して保持するようにしてもよい。これにより、ネ
ットワーク環境への拡張を容易に行うことができる。

【００６８】〈実施例３〉図１６は、実施例３の構成を
示す。図１と相違する点は、履歴情報格納手段１０７
は、論理モデルを管理する論理モデル管理データベース
１１２に含まれて管理される、あるいはデータベース１
１２と通信する点である。これにより、履歴データが論
理モデルに反映される。

【００６９】実施例３に係る処理の基本的な流れは以下
の通りである。ランダムに入力される文書画像の種類を
自動識別し、適切な論理モデルを選択して、該モデルを
参照しながら文書画像から論理要素を自動抽出する。複
数の同一種類の文書画像を連続的に扱う際には、論理要
素毎にモデルとのマッチング処理結果の履歴を保存す
る。そして、論理要素を抽出する際には、履歴を参照し
て論理要素毎に変動量を検出し、該検出された変動の具
合に応じてモデルを更新し、論理要素の抽出精度の向上
を図る。

【００７０】また、履歴やその他論理要素の属性を基
に、過抽出されたノイズを削減するための指標ＮＩを検
出して、指標ＮＩに基づいてモデルや所定のパラメータ
を更新して論理要素抽出の精度、特に論理要素抽出結果
のノイズ除去精度の向上を図る。

【００７１】以下、実施例３について説明する。画像入力からモデルの選択；まず、文書画像１０１を入
力し（１０２）、画像から領域、行、および文字を切り
出し、切り出された領域と行から、それぞれ座標、文字
サイズ、インデントなどのｍ個のレイアウト特徴を抽出
する（１０３）。次いで、入力文書（１０１）に最適な
論理モデルを選択する（１０４）。論理モデル作成とモ
デル選択は、実施例１と同様であるのでその説明を省略
する。

【００７２】論理要素抽出と履歴の追加；論理要素抽出
手段１０５では、モデル１１２を参照しながらモデルに
定義された論理要素を抽出する。図１７は、マッチング
距離の求め方を説明する図である。

【００７３】モデルに定義された論理要素をＥ＝（ｅ
１，．．ｅｍ）、各ｅｊ（ｊ＝１，．．．ｍ）はレイア
ウト特徴値とおいたとき、入力文書画像から論理要素Ｅ
に相当する候補行を抽出する方法を説明する。

【００７４】入力文書の各行を

【数８】（ｋ＝１，．．ｎ），ｎは入力文書の総行数とおく。こ
のとき、論理要素Ｅと入力文書の各行Ｌｋとのマッチン
グ距離Ｄ^kを次の手順で求める。１．ＥとＬｋとのマッチング距離ベクトルｄ（Ｅ、Ｌ
ｋ）を算出２．ｄ（Ｅ、Ｌｋ）より、ＥとＬｋとのマッチング距離
Ｄ（Ｅ、Ｌｋ）＝Ｄ^kを算出Ｄ^kは、ｍ次元ベクトルｄ（Ｅ、Ｌｋ）のノルムでもよ
いし、マハラノビス距離でもよい。いずれにしても何ら
かの順序がつけられればよい。

【００７５】全ての行Ｌ１，．．．Ｌｋに対して、Ｅと
のマッチング距離

【数９】を求めたら、マッチング距離に関する適当なしきい値で
Ｅの候補を絞り込む。図１８は、論理要素Ｅの抽出結果
を示す。

【００７６】上記したように絞り込まれたＥの候補行
を、距離の順序で並べ替えてＬ’１、Ｌ’２、．．．と
書き直す。もし、候補行Ｌ’１とＬ’２のページ上にお
ける位置が逆転していれば、最後に並べ替える処理を加
えてもよい。また、実際のページでは候補行Ｌ’１と
Ｌ’２の間に、前記しきい値処理で足切りされた別の行
Ｌ’t が存在する場合にも、Ｌ’t を救済して最終抽出
結果に加えてもよい。つまり、Ｌ’１、Ｌ’２、．．．
は、Ｌ’１、Ｌ’t 、Ｌ’２、．．．となる。

【００７７】次に、マッチング距離の履歴をとる方法に
ついて説明すると、上記した論理要素Ｅの最終抽出結果
で第１位となった候補行をＬとおく。ＥとＬとのマッチ
ング距離ベクトルｄ（Ｅ、Ｌ）をＥの処理の履歴とし
て、論理要素毎に、履歴情報格納手段１０７に追加保存
する。図１９はＥのマッチング処理の履歴を示す。後述
するＰ（Ｌ）、ＳＮ（Ｌ）も、ここでＥの処理の履歴に
追加保存する。

【００７８】履歴を用いた学習の流れ；複数の同一種類
の文書画像を連続的に扱う際に、過去の処理結果を履歴
として保存し、履歴を用いて論理要素抽出の精度向上を
図る一連の処理を、図２０、２１の処理フローチャー
ト、図２２の履歴作成・学習を説明する図を参照して説
明する。

【００７９】入力文書画像から論理要素Ｅを抽出する
（ステップ２００１）。抽出結果の第１位候補行Ｌを選
択する（ステップ２００２）。ＥとＬを比較して得られ
るマッチング距離ベクトルを履歴に追加する（ステップ
２００３）。

【００８０】Ｌの入力文書の印字範囲に対する相対座標
から求まる指標Ｐ（Ｌ）を履歴に追加する（ステップ２
００４）。Ｌの隣接類似領域情報から求まる指標ＳＮ
（Ｌ）を履歴に追加する（ステップ２００５）。

【００８１】Ｅのレイアウト特徴量の変動量Ｖ１
（Ｅ）、．．．Ｖｍ（Ｅ）を求めて、これらからＥの変
動量Ｖ（Ｅ）を求める（ステップ２００６）。Ｐ
（Ｅ）、ＳＮ（Ｅ）を検出する（ステップ２００７）。

【００８２】Ｅのノイズ削減可能性指標ＮＩ（Ｅ）を求
める（ステップ２００８）。ＮＩ（Ｅ）＝Ｐ（Ｅ）−Ｖ（Ｅ）−ＳＮ（Ｅ）もし、Ｖ（Ｅ）があるしきい値以上ならば（ステップ２
００９）、モデルに記述されたレイアウト特徴の許容範
囲を拡大して（ステップ２０１０）、諸設定を更新して
終了する（ステップ２０１１）。

【００８３】Ｖ（Ｅ）があるしきい値未満で（ステップ
２００９）、かつＮＩ（Ｅ）があるしきい値以上ならば
（ステップ２０１２）、モデルに記述されたレイアウト
特徴の許容範囲を縮小して（ステップ２０１３）、諸設
定を更新して終了し（ステップ２０１４）、そうでない
ならば、そのまま終了する。

【００８４】以下、履歴を用いた学習について詳述す
る。複数の同一種類の文書画像を連続的に扱う際には、
上記した論理要素毎に保存した履歴から統計的な手法で
過去の論理要素のレイアウト変動の具合を検出して論理
モデルを更新して抽出精度の向上を図る。抽出精度を向
上させる方法として、次の２つの方法が考えられる。

【００８５】第１の方法は、論理要素のレイアウトが大
きく変動していることを検出して、モデルのレイアウト
特徴の許容幅を拡大して抽出漏れを防ぐ方法である。

【００８６】第２の方法は、論理要素のレイアウト特徴
がほとんど変動していないことを検出して、モデルのレ
イアウト特徴の許容幅を縮小し、マッチングの際のパラ
メータを更新して（例えば、マッチング距離に関するし
きい値を厳しく設定し直す）、過抽出を防ぐ方法であ
る。

【００８７】まず、第１の方法について説明する。図２
３は、学習Ｖ（Ｅ）の検出を説明する図である。学習処
理手段１０６は、論理要素Ｅの履歴データから、各レイ
アウト特徴毎の変動量Ｖｊを検出する。Ｖｊは、表の列
データ

【数１０】の分散値であると定義する。なお、Ｖｊは分散値に限ら
ず、標準偏差値などの適当な統計値でもよい。

【００８８】論理要素Ｅの変動具合を示す「Ｅの変動量
Ｖ（Ｅ）」をＶ１、．．．Ｖｍの適当に重みを付けた和
として定義する。Ｖ（Ｅ）＝ε１Ｖ１＋．．．＋εｍＶｍこのようにして検出されたＥの変動量Ｖ（Ｅ）は、過去
のマッチング処理結果を反映した精度のよい論理要素Ｅ
の変動具合を示す指標である。

【００８９】Ｖ（Ｅ）があるしきい値よりも大きけれ
ば、すなわち論理要素Ｅのレイアウトが大きく変動して
いることが分かれば、モデルに記述されたＥの定義を更
新して、抽出精度の向上を図る。具体的には、例えばＶ
１、．．．Ｖｍの内、Ｖ２が特に大きな値を示してい
る、すなわちレイアウト特徴ｆ２（文字サイズ）の変動
が大きいことが分かれば、特徴ｆ２の取り得る範囲を拡
大（１０ポイント→９〜１１ポイント）、あるいは適当
に修正する（１０ポイント→１０．５ポイント）。他の
特徴についても同様である。論理要素Ｅ＝（ｅ
１、．．．ｅｍ）が適当に更新された結果、Ｅの抽出漏
れが防止される。

【００９０】次に、第２の方法について説明する。図２
４は、学習ＮＩ（Ｅ）の検出を説明する図である。第２
の方法は、逐次的に論理モデルを更新する度に、抽出正
解率の向上だけでなく、過抽出されたノイズの削減も同
時に達成する。処理の流れは以下の通りである。

【００９１】１．論理要素のレイアウトがほとんど変動
していないことを示す指標ＮＩ（Ｅ）を検出する（Ｅの
変動量Ｖ（Ｅ）に類似しているが、Ｖ（Ｅ）は変動の具
合を検出することは可能だが、直接ノイズの削減にはつ
ながらない）。

【００９２】２．ＮＩ（Ｅ）があるしきい値よりも大き
ければ、各レイアウト特徴毎の変動量Ｖｊの中で、特に
小さな値を持つＶｐに対応する特徴ｆｐの取り得る範囲
を縮小（９−１１ｐｔ→１０ｐｔ）、あるいは適当に修
正する。

【００９３】３．ＮＩ（Ｅ）があるしきい値よりも大き
ければ、ノイズを削減する方向で諸設定を更新する。例
えば、Ｅの候補行を絞り込むために設けられたマッチン
グ距離に関するしきい値を厳しく設定し直す。

【００９４】ある論理要素Ｅの抽出結果からノイズを削
減できるかどうかは、主に次の２つの条件で決まること
が分かっている。ノイズ削減条件１；Ｅのレイアウト特徴にバラツキがな
い（変動量から推定する）ノイズ削減条件２；Ｅの周りに類似した領域／行が少な
い。

【００９５】上記の条件を定量的に評価するために、本
発明では次の指標を導入する。Ｖ（Ｅ）＝論理要素Ｅの変動量（定義済み）（ノイズ削
減条件１）Ｐ（Ｅ）＝論理要素Ｅの印字範囲に対する相対座標から
求まる指標（ノイズ削減条件１、２）ＳＮ（Ｅ）＝論理要素Ｅの隣接類似領域情報から求まる
指標（ノイズ削減条件２）。

【００９６】これらの指標を用いて、ノイズ削減可能性
指標ＮＩ（Ｅ）を定義する。Ｐ（Ｅ）は、Ｅがページの
端に位置するほど大きな値をとり、ＳＮ（Ｅ）は、Ｅの
近傍に類似領域が数多く存在するほど大きな値をとる。
図２５、２６は、それぞれＰ（Ｅ）とＳＮ（Ｅ）を説明
する図である。

【００９７】一般に、ページの端に位置する論理要素Ｅ
はレイアウトのバラツキが小さく（ノイズ削減条件
１）、かつＥの近傍には類似領域が少ない傾向がある
（ノイズ削減条件２）。

【００９８】再度、Ｅのノイズを削減できる可能性とＶ
（Ｅ）、Ｐ（Ｅ）、ＳＮ（Ｅ）との関連をまとめると次
のようになる。（１）変動量Ｖ（Ｅ）が大きいとノイズを削減できる可
能性も小さくなる。（２）Ｐ（Ｅ）が大きいと（論理要素Ｅが文書端に位置
している場合）、ノイズを削減できる可能性も大きくな
る。（３）ＳＮ（Ｅ）が大きいと（論理要素Ｅの周りに類似
した領域が存在する場合）、ノイズを削減できる可能性
は小さくなる。

【００９９】ノイズ削減可能性指標ＮＩ（Ｅ）を次の式
で定義する。ＮＩ（Ｅ）＝Ｐ（Ｅ）−Ｖ（Ｅ）−ＳＮ（Ｅ）以上説明したように、ＮＩ（Ｅ）が大きいと、ノイズを
削減できる可能性も大きくなる。この結果を利用して、
モデルや諸設定を更新して、Ｅの抽出結果から過抽出さ
れたノイズの削減を図る。なお、本実施例についても、
実施例２と同様にしてソフトウェアによって実現でき
る。

【０１００】

【発明の効果】以上、説明したように、請求項１乃至８
記載の発明によれば、複数の論理モデル中から、処理対
象文書に適切な論理モデルを自動的に選択し、選択され
た論理モデルを用いて文書画像から安定して書誌事項を
抽出することができる。また、論理要素毎のレイアウト
特徴の変動量の履歴を参照することによって論理モデル
を更新しているので、種々のレイアウト特徴を持つ文書
に対応することができ、精度よく書誌事項を抽出するこ
とができる。

【０１０１】請求項９記載の発明によれば、過去の処理
結果の履歴を用いることにより、各レイアウト特徴毎に
変動具合を細かく検出できるようになり、文書を数多く
処理するに従って論理要素の抽出精度が向上する。

【０１０２】請求項１０記載の発明によれば、請求項９
の方法では難しかった「論理要素Ｅのレイアウト変動が
ない」ことの定量的評価が可能になり、モデルや諸設定
の更新があっても悪影響なく論理要素の抽出精度が向上
する。

【図面の簡単な説明】

【図１】本発明の実施例１の構成を示す。

【図２】本発明に係る学習処理の全体の処理フローチャ
ートである。

【図３】履歴情報の作成を説明する図である。

【図４】論理要素の変動履歴の詳細を示す。

【図５】論理要素のレイアウト特徴の変動量を求める処
理フローチャートである。

【図６】レイアウト特徴の変動量検出の具体例を説明す
る図である。

【図７】レイアウト特徴の変動量と履歴の関係を説明す
る図である。

【図８】抽出確信度を説明する図である。

【図９】座標の順番に対する配点テーブルと、文字サイ
ズの順番に対する配点テーブルの一例を示す。

【図１０】論理要素のノイズ削減可能性指標（Ｎｉ）を
求める処理フローチャートを示す。

【図１１】レイアウト特徴の変動量の他に抽出確信度、
隣接領域類似度、相対座標指標を記録した要素Ａの履歴
の一例を示す。

【図１２】ノイズを削減できる要素Ｂの履歴の例を示
す。

【図１３】配点テーブルの更新例を示す。

【図１４】論理モデルの例を示す。

【図１５】本発明の実施例２の構成を示す。

【図１６】本発明の実施例３の構成を示す。

【図１７】マッチング距離の求め方を説明する図であ
る。

【図１８】論理要素Ｅの抽出結果を示す。

【図１９】論理要素Ｅのマッチング処理の履歴を示す。

【図２０】学習処理のフローチャートを示す。

【図２１】図２０の続きのフローチャートを示す。

【図２２】履歴作成・学習を説明する図である。

【図２３】学習Ｖ（Ｅ）の検出を説明する図である。

【図２４】学習ＮＩ（Ｅ）の検出を説明する図である。

【図２５】Ｐ（Ｅ）を説明する図である。

【図２６】ＳＮ（Ｅ）を説明する図である。

【符号の説明】

１０１入力文書１０２画像入力手段１０３レイアウト特徴抽出手段１０４論理モデル検出手段１０５論理要素抽出手段１０６学習処理手段１０７履歴情報格納手段１０８論理モデル更新判定手段１０９抽出結果出力手段１１０サンプル画像１１１論理モデル作成手段１１２論理モデル管理データベース１１３文書データベース１１１論理モデル更新手段

Claims

【特許請求の範囲】

【請求項１】文書をデジタル画像として入力し、該文
書画像から前記文書のレイアウト特徴を検出し、複数の
論理モデルの中から、前記入力文書のレイアウト特徴に
一致する論理モデルを検出し、該検出された論理モデル
を用いて前記文書画像から論理要素を抽出する文書画像
の論理要素抽出方法であって、前記論理要素を抽出する
際に、論理モデルにおけるレイアウト特徴の変動量の履
歴を参照し、該レイアウト特徴の変動量が所定のしきい
値以上であるとき、前記論理モデルを更新することを特
徴とする文書画像の論理要素抽出方法。
【請求項２】前記レイアウト特徴の変動量は、前記モ
デルの論理要素と、前記抽出された最適候補の論理要素
について、座標、文字サイズ、フォントを含むレイアウ
ト特徴を比較したときのレイアウト特徴距離値ベクトル
であることを特徴とする請求項１記載の文書画像の論理
要素抽出方法。
【請求項３】前記論理モデルの更新は、レイアウト特
徴の変動の許容範囲を拡大するように更新することを特
徴とする請求項１記載の文書画像の論理要素抽出方法。
【請求項４】前記レイアウト特徴の変動量が所定のし
きい値以上であるとき、前記論理モデルをマルチテンプ
レート化することを特徴とする請求項１記載の文書画像
の論理要素抽出方法。
【請求項５】文書をデジタル画像として入力し、該文
書画像から前記文書のレイアウト特徴を検出し、複数の
論理モデルの中から、前記入力文書のレイアウト特徴に
一致する論理モデルを検出し、該検出された論理モデル
を用いて前記文書画像から論理要素を抽出する文書画像
の論理要素抽出方法であって、前記論理要素を抽出する
際に、論理モデルにおけるレイアウト特徴の変動量の履
歴を参照し、該レイアウト特徴の変動量が所定のしきい
値未満であるとき、前記論理要素の抽出の確信度と該論
理要素に隣接する類似領域情報と該論理要素の文書印字
範囲に対する相対座標を基に、前記論理モデルを更新
し、所定のパラメータを更新することにより、論理要素
抽出結果のノイズを除去することを特徴とする文書画像
の論理要素抽出方法。
【請求項６】前記論理モデルの更新は、レイアウト特
徴の変動の許容範囲を縮小するように更新し、前記所定
のパラメータの更新は、確信度の高い抽出候補を選択す
るためのしきい値の更新であることを特徴とする請求項
５記載の文書画像の論理要素抽出方法。
【請求項７】文書をデジタル画像として入力する手段
と、該文書画像から前記文書のレイアウト特徴を検出す
る手段と、複数の論理モデルの中から、前記入力文書の
レイアウト特徴に一致する論理モデルを検出する手段
と、該検出された論理モデルを用いて前記文書画像から
論理要素を抽出する手段と、該抽出された論理要素を基
に前記論理モデルのレイアウト特徴の変動量を検出する
手段と、該変動量の履歴を格納する手段と、前記論理要
素の抽出時に前記論理モデルのレイアウト特徴の変動量
の履歴を参照する手段と、該レイアウト特徴の変動量が
所定のしきい値以上であるとき、前記論理モデルを更新
する手段とを備えたことを特徴とする文書画像の論理要
素抽出装置。
【請求項８】文書をデジタル画像として入力する機能
と、該文書画像から前記文書のレイアウト特徴を検出す
る機能と、複数の論理モデルの中から、前記入力文書の
レイアウト特徴に一致する論理モデルを検出する機能
と、該検出された論理モデルを用いて前記文書画像から
論理要素を抽出する機能と、論理要素を抽出する際に、
前記論理モデルにおけるレイアウト特徴の変動量の履歴
を参照する機能と、該レイアウト特徴の変動量が所定の
しきい値以上であるとき、前記論理モデルを更新、また
はマルチテンプレート化する機能をコンピュータに実現
させるためのプログラムを記録したコンピュータ読み取
り可能な記録媒体。
【請求項９】文書をデジタル画像として入力し、該文
書画像から前記文書のレイアウト特徴を検出し、複数の
論理モデルの中から、前記入力文書のレイアウト特徴に
一致する論理モデルを検出し、該検出された論理モデル
を用いて前記文書画像から論理要素を抽出する際に、過
去の入力文書画像と論理モデルとのレイアウト特徴毎の
マッチング結果を保持した履歴を参照し、前記履歴から
算出された論理要素の変動量が所定のしきい値以上であ
るとき、前記論理モデルを更新する文書画像の論理要素
抽出方法であって、前記論理要素の変動量は、前記論理
要素の各レイアウト特徴毎の変動量から算出することを
特徴とする文書画像の論理要素抽出方法。
【請求項１０】文書をデジタル画像として入力し、該
文書画像から前記文書のレイアウト特徴を検出し、複数
の論理モデルの中から、前記入力文書のレイアウト特徴
に一致する論理モデルを検出し、該検出された論理モデ
ルを用いて前記文書画像から論理要素を抽出する際に、
過抽出されたノイズを削減するための指標である、論理
要素のノイズ削減可能性指標が所定のしきい値以上であ
るとき、前記モデルを更新し、所定のパラメータを更新
することにより、論理要素抽出結果のノイズを除去する
文書画像の論理要素抽出方法であって、前記論理要素の
ノイズ削減可能性指標は、請求項９記載の論理要素の変
動量と、論理要素の印字範囲に対する相対座標から求ま
る指標と、論理要素の隣接類似領域情報から求まる指標
を基に算出することを特徴とする文書画像の論理要素抽
出方法。