JP2000105836A

JP2000105836A - 論理構造抽出装置

Info

Publication number: JP2000105836A
Application number: JP10274985A
Authority: JP
Inventors: Hiroyuki Soda; 宏之左右田; Masaharu Ozaki; 正治尾崎
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1998-09-29
Filing date: 1998-09-29
Publication date: 2000-04-11
Anticipated expiration: 2018-09-29
Also published as: JP3912463B2

Abstract

(57)【要約】【課題】ユーザやシステム全体に負担をかけることな
く、様々な体裁の文書に対して、高精度に論理構造を抽
出することができる論理構造抽出装置を提供する。【解決手段】ユーザは論理構造指定部９から抽出すべ
き論理構造を指定する。領域分割部４は、パラメータ設
定部３が設定する領域分割のためのパラメータに従っ
て、文書画像の領域分割を行う。その領域分割の結果が
領域構造抽出部７で想定した論理構造か否かを領域構造
判定部５で判定する。判定の結果、論理構造抽出部７が
想定する領域構造でない場合には、パラメータ設定部３
でパラメータを変更し、再度領域分割を行う。論理構造
抽出部７が想定する領域構造であった場合には、文字認
識部６によりすべての領域の文字認識を行い、論理構造
抽出部７によりユーザが指定した論理構造を抽出する。
抽出した論理構造は、構造化文書処理部８に送られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書画像から論理
構造を抽出する論理構造抽出装置に関するものである。

【０００２】

【従来の技術】近年、紙等に印刷された文書を画像読取
装置等で電子化し、活用しようとする試みが盛んに行わ
れている。電子化された文書を利用する際に用いられる
技術の一つとして文字認識がある。文字認識は、電子化
された文書画像からテキスト情報を抽出する技術であ
る。抽出したテキスト情報は、例えば他の文書に再利用
したり、全文検索などに利用されている。

【０００３】文字認識には、前処理として、文書画像を
テキスト領域、図形領域などに正確に分離する領域分割
と呼ばれる処理が必要であり、従来、文書画像の様々な
特徴量を用いた領域分割手法が提案されてきた。例え
ば、秋山ほか，「周辺分布、線密度、外接矩形特徴量を
併用した文書画像の領域分割」，電子通信学会論文誌
（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８６−Ｄ，Ｎｏ．８，ｐｐ．
１１８７−１１９６，１９８６、田中ほか，「文書画像
の書式解析」，電子通信学会研究報告ＰＲＵ８６−１１
５，ｐｐ．３３−４０，１９９６、特開平５−２６６２
４９号公報、特開平５−２７７４７２号公報、特開平５
−２９０２１１号公報、特開平７−７３２７１号公報な
ど、多数の文献に各種の手法が提案されている。

【０００４】しかしながら、文書には様々なレイアウト
のものがあり、あらゆる文書に対応できる領域分割手法
はこれまでに開発されていない。また、学術論文などの
ように同じようなレイアウトの文書であっても、文字サ
イズ、文字間隔、行間隔などが微妙に異なっている。そ
のため、レイアウトがほとんど同じ文書に対して同一の
領域分割手法を適用しても、領域分割結果は異なってし
まう。

【０００５】一方、文書画像の各領域の幾何学的特徴や
文字認識結果などを利用して文書の論理構造を抽出し、
より高度な文書処理を行おうとする試みがある。例え
ば、山田，「文書画像のＯＤＡ論理構造化文書への変換
方式」，電子通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ
７６−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２２７４−２２８
４，１９９３には、文書画像から抽出した各領域の幾何
学的特徴と、予め登録してある文書クラスの幾何学的特
徴とのマッチング処理によって論理構造を生成する方法
が記載されている。また、例えば特開平８−６９４５号
公報には、文書画像中の各行単位で辞書パターンとのマ
ッチング処理を行い、その結果を用いて文書の論理構造
を解析する方法が記載されている。

【０００６】しかし、これらの手法を含め、これまでに
提案されている論理構造抽出手法では、実際に論理構造
抽出手段において論理構造を抽出する前に、その論理構
造抽出手段が想定している幾何学的構造に文書画像が領
域分割されている必要があった。

【０００７】しかしながら、上述のように、単一の領域
分割手法あるいは領域分割パラメータでは、様々な文書
に対して所望の領域分割結果を得ることは不可能に近
い。そのため、例えば特開平９−１１４９２３号公報で
は、このような領域分割の困難さを指摘し、同一の文書
画像を２つ以上のパラメータあるいは方法で領域分割
し、複数の領域分割結果をユーザに提示し、ユーザに選
択させる領域分割装置を提案している。しかし、この文
献に記載されている領域分割装置では、領域分割結果の
選択をユーザが行わなければならないため、最終的な目
的である文字認識あるいは論理構造抽出までを自動的に
行うことができず、ユーザの負担が重くなるという欠点
がある。また、２つ以上の領域分割結果をコンピュータ
のメモリ上に記憶する必要があり、占有する記憶容量の
増大を招き、システム全体の処理速度が低下する恐れが
あるという問題もある。

【０００８】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、ユーザやシステム全体に負
担をかけることなく、様々な体裁の文書に対して、高精
度に論理構造を抽出することができる論理構造抽出装置
を提供することを目的とするものである。

【０００９】

【課題を解決するための手段】本発明は、文書画像から
論理構造を抽出する論理構造抽出装置において、領域分
割手段においてパラメータに従って文書画像の領域分割
を行い、論理構造指定手段によって指定された構造を論
理構造抽出手段で抽出する。この論理構造抽出手段にお
ける論理構造の抽出前に、領域分割手段による領域分割
の結果が、論理構造抽出手段が想定する領域構造である
か否かを領域構造判定手段で判定し、領域分割の結果が
論理構造抽出手段が想定する領域構造でないと判定され
たとき、領域分割手段において領域分割の際に用いるパ
ラメータを可変設定し、領域分割をやり直す。このよう
な処理を繰り返すことによって、指定された構造を自動
的に、しかも高精度に抽出することができる。

【００１０】パラメータの可変設定の際に、論理構造指
定手段で指定された論理構造が部分的に得られている場
合には、論理構造指定手段で指定された論理構造の幾何
学的制約条件から、指定された論理構造が得られる確率
が高くなるようにパラメータを設定することができる。

【００１１】また本発明は、文書画像から論理構造を抽
出する論理構造抽出装置において、それぞれ異なる論理
構造を抽出する複数の論理構造抽出手段を有し、領域分
割手段による領域分割の結果が複数の前記論理構造抽出
手段のうちのいずれが想定する領域構造であるかを判定
して複数の前記論理構造抽出手段から１つを選択するよ
うに構成することもできる。この場合には、複数の論理
構造抽出手段を選択的に用いることによって、論理構造
を抽出する精度をさらに向上させることができる。

【００１２】この場合にも、領域分割手段による領域分
割の結果が複数の前記論理構造抽出手段のいずれの想定
する領域構造でもない場合に、領域分割手段において文
書画像の領域分割を行う際に用いるパラメータを可変設
定し、領域分割をやり直すように構成することもでき
る。

【００１３】

【発明の実施の形態】図１は、本発明の論理構造抽出装
置の第１の実施の形態を示すブロック図である。図中、
１は画像入力部、２は文書画像管理部、３はパラメータ
設定部、４は領域分割部、５は領域構造判定部、６は文
字認識部、７は論理構造抽出部、８は構造化文書処理
部、９は論理構造指定部である。

【００１４】画像入力部１は、例えば紙等の被記録媒体
に印刷された文書を画像として電子化する。例えばスキ
ャナやカメラなどの装置で構成することができる。な
お、この画像入力部１を設けず、例えばネットワークや
外部記憶装置などを介して文書画像が入力されてもよ
い。文書画像管理部２は、電子化された文書画像を格
納、管理する。この文書画像管理部２に格納されている
文書画像は、必要なときに取り出すことができる。

【００１５】パラメータ設定部３は、領域分割部４にお
いて文書画像を領域分割する際に用いる各種のパラメー
タを設定する。これらのパラメータを変化させることに
よって、同一文書画像に対して異なる領域分割の結果を
領域分割部４から得ることができる。領域分割部４は、
パラメータ設定部３で設定されたパラメータに従って、
領域分割アルゴリズムに基づき、文書画像内のテキス
ト、図表などを個別の領域に分割する。

【００１６】領域構造判定部５は、領域分割部４による
領域分割の結果が論理構造抽出部７が想定する領域構造
になっているか否かを判断する。文字認識部６は、分割
された各領域中のテキスト部分を探索して特定し、文字
コードに変換するものである。

【００１７】論理構造抽出部７は、分割された各領域の
幾何学的特徴とその領域中に含まれる文字コードなどの
情報をもとに、各領域を必要に応じて分割・統合して、
論理要素に対応させ、論理要素間の関係を決定し、論理
構造を抽出する。

【００１８】構造化文書処理部８は、論理構造抽出部７
の出力として得られた構造化文書を、ユーザの様々な要
求に応じて文書処理を行う。例えば、論理構造を利用し
た検索のためのインデクスを作成したり、ある特定の論
理要素を抽出してリストを作成するなどの処理を行うこ
とができる。

【００１９】論理構造指定部９は、ユーザが予めどのよ
うな構造を抽出したいのかを指定する入力を受け付け
る。この指定は、所定の文法に従って記述されているフ
ァイルを指定することによって行われる。

【００２０】図２は、本発明の論理構造抽出装置の第１
の実施の形態における動作の一例を示すフローチャート
である。ここでは予め画像入力部１から文書画像が入力
されて、文書画像管理部２に格納、管理されているもの
とする。Ｓ１１において、ユーザは論理構造指定部９か
ら抽出すべき論理構造を指定する。また、Ｓ１２におい
て、パラメータ設定部３は領域分割部４に対して領域分
割のためのパラメータの初期値をセットする。

【００２１】Ｓ１３において、領域分割部４はパラメー
タ設定部３によって設定されたパラメータに従って、文
書画像管理部２に格納されている文書画像の領域分割を
行う。次にＳ１４において、領域構造判定部５が必要と
する領域（例えば１行のテキスト領域）のみ文字認識部
６で文字認識を行い、Ｓ１５において、領域構造判定部
５によって論理構造抽出部７が想定する領域構造、すな
わちＳ１１でユーザが指定した抽出すべき論理構造か否
かを判定する。

【００２２】領域構造判定部５による判定の結果、論理
構造抽出部７が想定する領域構造でない場合には、Ｓ１
６においてパラメータ設定部３で領域分割のパラメータ
を変更し、Ｓ１３へ戻って再度領域分割を行う。論理構
造抽出部７が想定する領域構造であった場合には、Ｓ１
７において文字認識部６によりすべての領域の文字認識
を行い、Ｓ１８において論理構造抽出部７により各領域
の幾何学的特徴と文字認識結果をもとにユーザが指定し
た論理構造を抽出する。抽出した論理構造は、構造化文
書処理部８に送られて、各種の処理に用いられる。

【００２３】次に、上述の動作の一例を、具体例を用い
ながらさらに説明する。まず、抽出すべき論理構造の指
定について説明する。図３は、論理構造の指定に用いら
れるファイルの内容の一例の説明図である。上述のよう
に、抽出すべき論理構造の指定は、所定の文法に従って
記述されているファイルを指定することによって行われ
る。例えば指定に用いるファイルの内容は、図３に示す
ようなテキストで表現することができる。図３に示す例
では、「Ｎａｍｅ」、「Ｅｌｅｍｅｎｔｓ」、「Ｃｏｎ
ｓｔｒａｉｎｔｓ」、「Ｐｒｏｄｕｃｔｓ」の４つの部
分から構成されている。部分「Ｎａｍｅ」は、出力すべ
き論理構造の名前を示す。部分「Ｅｌｅｍｅｎｔｓ」で
は、必要となる要素が指定される。部分「Ｃｏｎｓｔｒ
ａｉｎｔｓ」では、要素間の幾何学的な関係を示す。部
分「Ｐｒｏｄｕｃｔｓ」では、結果をどのように出力す
るかを指定するものである。

【００２４】図３に示した例は、参考文献リストを想定
している。参考文献リストは、“文献”あるいは“参考
文献”という文字列からなる１行の見出しと、その直下
にある文献情報から構成され、「見出し」要素は、「文
献情報」要素に対して「ｃｅｎｔｅｒｅｄ」、もしくは
「ｌｅｆｔ−ａｌｉｇｎ」という幾何学的構造を持つこ
とが示されている。「ｃｅｎｔｅｒｅｄ」はセンタリン
グを示し、「ｌｅｆｔ−ａｌｉｇｎ」は左寄せを示す述
語で、予め組み込まれている幾何学的関係判定関数であ
る。「ｃｅｎｔｅｒｅｄ」関数は、２つの要素を引数と
し、各要素の外接矩形のｘ座標の中心が、定められたし
きい値以下である場合は真を返す。「ｌｅｆｔ−ａｌｉ
ｇｎ」関数は、２つの要素の外接矩形のｘ座標の最小値
が、定められたしきい値以下である場合は真を返す。

【００２５】部分「Ｐｒｏｄｕｃｔｓ」の指定では、
「文献情報」要素中の行矩形を順番に調べる手続きが記
述されている。図４は、論理構造の指定に用いられるフ
ァイルの内容の一例における出力手続の説明図である。
Ｌ１〜Ｌ４は行矩形である。まず、最初の行矩形Ｌ１の
内容を変数Ｙに格納するとともに、その行矩形Ｌ１の左
端のｘ座標を変数Ｘ１にセットする。そして次の行矩形
の処理を行うように、変数ｊを２にセットする。

【００２６】ｊ番目の行矩形である行矩形Ｌｊの有無を
判定後、行矩形Ｌｊを変数ｌに格納し、変数Ｙに何も格
納されていなければ、文献の１行目として変数Ｙに変数
ｌを格納する。変数Ｙに格納されていれば、さらに行矩
形Ｌｊの左端が変数Ｘ１からしきい値Ｔ以上のインデン
トが付けられているか否かを判定し、しきい値Ｔ以上の
インデントがある場合には、変数Ｙに変数ｌを追加す
る。そうでない場合は、変数Ｙを「文献」という要素と
して結果を出力し、変数Ｙをクリアする。このような処
理を「文献情報」要素中のすべての行矩形に対して実行
した後、処理を終了する。

【００２７】このような処理によって、例えば図４に示
す例においては、行矩形Ｌ１〜Ｌ３は順に変数Ｙに追加
され、ひとまとまりとなって「文献」要素として出力さ
れる。その後、新たに行矩形Ｌ４が変数Ｙに格納され
て、次の「文献」要素の抽出が行われる。

【００２８】図３に示したファイルの内容は、このよう
な参考文献リストの論理構造を抽出し、出力することを
示している。ユーザは、このようなファイルを指定する
ことによって、抽出すべき論理構造の指定を行うことが
できる。

【００２９】次に、パラメータ設定部３が領域分割部４
に対して設定する領域分割のためのパラメータについて
説明する。パラメータ設定部３は、領域分割部４におけ
る領域分割処理の実行時に必要となるパラメータを組に
してパラメータセットとし、そのパラメータセットを複
数保持している。図５は、パラメータセットの一例の説
明図である。図５に示す例では、パラメータとして、後
述する垂直方向セパレータ幅しきい値、水平方向セパレ
ータ長さしきい値を示しているが、このほかにも多数の
パラメータを設定しておくことができる。各パラメータ
の値の集合、すなわち図５に示す各行が、各パラメータ
セットを示している。各パラメータセットには通し番号
が付されており、各パラメータセットが識別される。も
ちろん、パラメータ設定部３では、このようなパラメー
タセットを予め設定しておくほか、各パラメータをそれ
ぞれ動的に変更可能に構成してもよい。

【００３０】ここで、領域分割部４による領域分割結果
の変動と、その変動に対する対処方法について、図６〜
図９を用いて詳細に説明する。図６は、参考文献が記載
された文書画像の具体例の説明図、図７は、３つの領域
に、図８は、２つの領域にそれぞれ分割された状態の説
明図、図９は、１つの領域とみなされた状態の説明図で
ある。図中、２１，２２は白セパレータ候補領域、２３
〜２８は分割領域である。ここでは、領域分割部４にお
いて領域分割を行うときには、白セパレータと呼ばれる
領域の有無を基準に行う場合を示している。まず、文書
画像から白セパレータを求める。白セパレータは、白画
素（文字などが印刷されていない部分の画素）が水平方
向あるいは垂直方向にある一定の幅だけ連続した領域で
あり、水平方向に長い水平白セパレータと、垂直方向に
長い垂直白セパレータがある。

【００３１】図６に示した文書画像の例には、水平ある
いは垂直の白セパレータの候補がたくさんあるが、ここ
では、ハッチングを施して示した白セパレータ候補領域
２１，２２を例に説明する。文字「文献」の下部には、
白画素が幅ＨｓｐＷ、長さＨｓｐＬで連続する白セパレ
ータ候補領域２１が存在する。この白セパレータ候補領
域２１が次の条件ＨｓｐＷ＞ＷｈかつＨｓｐＬ＞Ｌｈ …条件（１）を満たせば、水平白セパレータであるとみなす。しか
し、パラメータＷｈあるいはＬｈが大きく設定され、条
件（１）を満たさないとこの領域に水平白セパレータは
ないとみなされる。ここで、Ｗｈは水平方向セパレータ
幅しきい値、Ｌｈは水平方向セパレータ長さしきい値を
示すパラメータである。

【００３２】同様に、白セパレータ候補領域２２は、次
の条件ＶｓｐＷ＞ＷｖかつＶｓｐＬ＞Ｌｖ …条件（２）を満たせば、垂直白セパレータとみなす。この条件
（２）を満たさない場合には、この領域に垂直セパレー
タはないものとみなされる。ここで、Ｗｖは垂直方向セ
パレータ幅しきい値、Ｌｖは垂直方向セパレータ長さし
きい値を示すパラメータである。上述のパラメータＷ
ｈ，Ｌｈとともに、これらのパラメータはパラメータ設
定部３によって設定される。

【００３３】図７に示した例では、白セパレータ候補領
域２１，２２とも、それぞれ条件（１），（２）を満た
し、それぞれ水平白セパレータ、垂直白セパレータとみ
なされた例を示している。文書画像は、図７に示すよう
に分割領域２３〜２５の３つの領域に分割されている。

【００３４】図８に示した例では、白セパレータ候補領
域２１は条件（１）を満たし、水平白セパレータとみな
されたが、白セパレータ候補領域２２は条件（２）を満
たさなかったため、垂直白セパレータがなくなった場合
を示している。この場合には、分割領域２６と、領域２
４と領域２５が統合された分割領域２７の２つの領域に
分割されている。

【００３５】図９に示した例では、白セパレータ候補領
域２１，２２とも、それぞれ条件（１），（２）を満た
さず、水平、垂直白セパレータがない場合を示してい
る。この場合には、分割領域２８にすべて統合されてい
る。

【００３６】図７〜図９を参照してわかるように、連続
する白画素をセパレータとみなすか否かは領域分割のた
めのパラメータによって変化し、領域分割の結果も変わ
ってくる。また、同じフォーマットを用いた文書であっ
ても、各文書によって文字サイズ、文字間隔、行間隔な
どが微妙に異なることから、同一のパラメータであって
も異なった領域分割結果が得られる。

【００３７】ところで、論理構造抽出部７は、論理構造
指定部９によって指定された領域構造から所定の手順で
論理構造の要素を抽出する。例えば、上述の図３に示し
た内容のファイルがユーザによって指定されたとき、図
４を用いて説明したように、図８に示す分割領域が得ら
れることを想定し、各参考文献要素を抽出する処理が記
述されている。この場合、まず図３に示した部分「Ｅｌ
ｅｍｅｎｔｓ」で指定されている要素「見出し」にマッ
チする要素、すなわち“文献”あるいは“参考文献”と
いう単語を含む１行の領域を探索する。図８に示す例で
は、分割領域２６がマッチする。次に、直下にある分割
領域２７を取り出して、指定されている幾何学的構造を
満たすか否かの判定を行う。図８に示す例では、図３に
示す部分「Ｃｏｎｓｔｒａｉｎｔｓ」に記述されている
幾何学的構造のうち、関係「ｃｅｎｔｅｒｅｄ」を満た
すので、分割領域２７は指定された要素「文献情報」に
マッチする。あとは、指定されたファイル内の部分「Ｐ
ｒｏｄｕｃｔｓ」に記述された手続きに従って「文献」
要素が出力される。

【００３８】以上の手順で図６に示す文書画像から参考
文献の要素を抽出する場合、図７に示す分割領域の構造
では分割領域２５内の各行がすべて同じ開始位置から始
まるので、各参考文献要素の区切りを把握できず、文献
要素を抽出することができない。また、図９に示すよう
に一体化した分割領域２８として領域分割された場合、
「文献」または「参考文献」という１行のみの分割領域
がないため、上述の手順では参考文献の領域を特定でき
ない。

【００３９】領域構造判定部５では、例えば図８に示し
たように分割領域の構造が、ユーザが指定した図３に示
すファイルの内容で示される論理構造になっているか否
かを判定する。例えば図７や図９に示すように領域分割
されている場合には、指定された論理構造になっていな
いものと判定する。この場合、パラメータ設定部３に対
してパラメータを変更させ、領域分割をやり直す。もち
ろん、一度実施したパラメータセットの番号は記憶して
おき、二度と実施することはないように制御する。図８
に示すような領域分割の結果が得られたら、論理構造抽
出部７において、上述のようにして論理構造を抽出す
る。

【００４０】このようにして、１回目の領域分割で想定
する領域構造が得られなければ、領域分割のためのパラ
メータを変化させて領域分割を繰り返すことにより、様
々な文書画像に対応し、指定された論理構造を抽出する
ことができる。

【００４１】本発明の論理構造抽出装置の第２の実施の
形態について説明する。この第２の実施の形態における
構成は、図１と同様である。この第２の実施の形態で
は、上述の第１の実施の形態においてパラメータセット
の変更を行う際に、領域分割の結果が想定する論理構造
となる確度の高いパラメータの設定方法を用いた例を示
している。

【００４２】まず、パラメータ設定部３におけるパラメ
ータセットの保持方法について、一部変更する。図１０
は、パラメータセットの別の例の説明図である。パラメ
ータセットは、上述したように領域分割部４の処理実行
時に必要となるパラメータを組にしたものである。図１
０に示したパラメータセットの例では、図５に示したパ
ラメータに加え、垂直方向分離度、水平方向分離度とい
う２つの属性が付与されている。垂直方向分離度は、垂
直方向の白セパレータによって、要素を分離する度合い
を示すものである。同様に水平方向分離度は、水平方向
の白セパレータによって要素を分離する度合いを示すも
のである。ともに値は整数値を取るものとし、大きくな
るほど分離しやすい、すなわち小さなしきい値で白セパ
レータを採用することを意味する。この値は、単に大小
関係がわかれば任意のものでかまわない。

【００４３】例えば図６に示した文書画像を、図１０に
示す通し番号１のパラメータセットを用いて領域分割を
行ったとき、上述の図７に示すように３つの分割領域２
３〜２５に分割された領域分割結果を得たとする。この
とき、「見出し」要素の下にセンタリングされているあ
るいは左寄せになっている要素が存在しない。このと
き、直下の分割領域２５のｘ座標の中心に対して左に、
左辺に対して右に「見出し」要素が存在することがわか
る。このときの可能性としては、（１）直下の要素が右側の他の要素と誤統合されてい
る。（センタリング）（２）直下の要素の左側にある白セパレータで誤分割さ
れている。（センタリング）（３）直下の要素の左側の他の要素と誤統合されてい
る。（左寄せ）の３つの可能性がある。

【００４４】これらの可能性は、幾何学的条件判定関数
「ｃｅｎｔｅｒｅｄ」、「ｌｅｆｔ−ａｌｉｇｎｅｄ」
を評価する際に、その関数の中で条件を満たさなかった
場合に、これらの可能性があるか否かを判定する。
（１），（３）の可能性については、白セパレータの存
在範囲が推定できるので、推定した白セパレータの存在
範囲に白セパレータが存在するか否かを調べる。もし白
セパレータが存在したならば、垂直方向のセパレータの
幅のしきい値が大きすぎたとして、垂直方向分離度を上
げるフラグを立てる。（２）の可能性については、左側
の要素の存在範囲を推定して、そこに要素が存在してい
れば、垂直方向のセパレータの幅のしきい値が小さすぎ
たとして、垂直方向分離度を下げるフラグを立てる。

【００４５】図１１、図１２は、本発明の論理構造抽出
装置の第２の実施の形態における分離度の変更の具体例
の説明図である。図中、３１，３２は白セパレータの探
索範囲、３３は要素の探索範囲である。図７に示したよ
うに領域分離された場合、まず（１）の可能性について
は、「見出し」要素である分離領域２３のｘ座標の中心
位置を中心として、分離領域２５の左端までの距離と同
じ距離となる右側位置付近の所定範囲を図１１に示す探
索範囲３１とし、白セパレータが存在しているか否かを
調べればよい。また、（３）の可能性については、「見
出し」要素である分離領域２３の左端付近の所定範囲を
図１１に示す探索範囲３２として、分離領域２５内に白
セパレータが存在しているか否かを調べればよい。この
例では、図１１に示すように、（１），（３）の可能性
はないことがわかる。

【００４６】一方、（２）の可能性については、図１２
に示すように、「見出し」要素である分離領域２３のｘ
座標の中心位置を中心として、分離領域２５の右端まで
のｘ方向の距離を左側に伸ばして探索範囲３３を仮定す
る。この探索範囲３３に別の要素が含まれているか否か
を調べればよい。この例では、図１２に示すように探索
範囲３３内に分割領域２４が含まれることが確認でき
る。

【００４７】従って、垂直方向分離度を下げるフラグが
立つことになる。これによって、前回実施した領域分割
の際のパラメータセットより垂直方向分離度の低いパラ
メータセットをパラメータ設定部３で選択し、再び領域
分割部４で領域分割処理を実行する。この領域分割処理
を、対象領域だけでなく、文書画像全体に改めて実施す
るのは、領域の再分割や統合によって、他の論理構造に
影響を与える場合が考えられるからである。

【００４８】上述の第１の実施の形態と同様、この第２
の実施の形態においても、水平方向分離度、垂直方向分
離度を変化させるフラグが両方とも立っていない場合に
は、パラメータ設定部３において任意の順にパラメータ
セットを適用する。また、両方のフラグが立っている場
合には、いずれかのフラグを優先したり、あるいは任意
の順にパラメータセットを適用することができる。

【００４９】このようにしてパラメータセットを変更し
ながら、指示された論理構造が得られるように、領域分
割処理を繰り返すことになる。しかしこの第２の実施の
形態では、指定された論理構造が得られる確率が高くな
るように、パラメータセットの適用を制御するので、領
域分割のリトライを減少させ、より高速に精度よく領域
分割を行うことができる。

【００５０】図１３は、本発明の論理構造抽出装置の第
３の実施の形態を示すブロック図である。図中、図１と
同様の部分には同じ符号を付して説明を省略する。４１
〜４３は論理構造抽出部、４４は論理構造抽出方法選択
部である。この第３の実施の形態では、複数の論理構造
抽出部４１〜４３を有した構成を示している。複数の論
理構造抽出部４１〜４３は、それぞれ異なる論理構造抽
出方法によって、所定の論理構造を抽出する。なお、こ
の例では論理構造抽出部が３つの場合を示しているが、
２つあるいは４つ以上であってももちろんよい。

【００５１】領域構造判定部５は、領域分割部４による
領域分割の結果が論理構造抽出部４１〜４３のいずれが
想定する領域構造になっているか、あるいは複数の論理
構造抽出部４１〜４３のいずれの想定する領域構造でも
ないかを判断する。論理構造抽出方法選択部４４は、領
域構造判定部５において、領域分割部４による領域分割
の結果が論理構造抽出部４１〜４３のいずれで想定する
領域構造かの判定結果に従い、論理構造抽出部４１〜４
３のいずれかを選択して、抽出された論理構造を構造化
文書処理部８に出力する。

【００５２】図１４は、本発明の論理構造抽出装置の第
３の実施の形態における動作の一例を示すフローチャー
トである。この例においても、予め画像入力部１から文
書画像が入力されて、文書画像管理部２に格納、管理さ
れているものとする。また、抽出すべき論理構造は予め
設定されており、各論理構造抽出部４１〜４３ではその
予め設定された論理構造を抽出するための異なる抽出方
法が設定されているものとする。

【００５３】まずＳ５１において、パラメータ設定部３
は領域分割部４に対して領域分割のためのパラメータの
初期値をセットする。そしてＳ５２において、領域分割
部４はパラメータ設定部３によって設定されたパラメー
タに従って、文書画像管理部２に格納されている文書画
像の領域分割を行う。次にＳ５３において、領域構造判
定部５が必要とする領域のみ文字認識部６で文字認識を
行い、Ｓ５４において、領域構造判定部５によって論理
構造抽出部４１〜４３のいずれかが想定する領域構造で
あるか否かを判定する。

【００５４】領域構造判定部５による判定の結果、論理
構造抽出部４１〜４３のいずれの想定する領域構造でも
ない場合には、Ｓ５５においてパラメータ設定部３で領
域分割のパラメータを変更し、Ｓ５２へ戻って再度領域
分割を行う。論理構造抽出部４１〜４３のいずれかが想
定する領域構造であった場合には、Ｓ５６において、論
理構造抽出方法選択部４４によって論理構造の抽出が可
能な論理構造抽出部を選択する。Ｓ５７において、文字
認識部６によりすべての領域の文字認識を行い、Ｓ５８
において、Ｓ５６で選択された論理構造抽出部により各
領域の幾何学的特徴と文字認識結果をもとに論理構造を
抽出する。抽出した論理構造は、論理構造抽出方法選択
部４４を介して構造化文書処理部８に送られて、各種の
処理に用いられる。

【００５５】この第３の実施の形態では、上述の第１の
実施の形態では対処できない事例に対応することができ
る。その具体例を図１５〜図１７を用いて詳細に説明す
る。図１５は、文書画像の別の具体例の説明図、図１６
は、４つの領域に分割された状態の説明図、図１７は、
１つの領域とみなされた状態の説明図である。図中、６
１〜６５は分割領域である。

【００５６】図１５に示した文書画像の具体例では、２
段組の印刷がなされている。そしてその右側の段組内に
参考文献の記載が存在する。ここでは、このような文書
画像から、参考文献の構造を抽出するものとする。

【００５７】領域分割部４において、上述の第１の実施
の形態で説明したように白セパレータを用いて領域分割
処理を行う。水平方向、垂直方向とも白セパレータとみ
なす空白の幅Ｗを小さくした場合には、図１６に示すよ
うに、分割領域６１〜６４の４つの分割領域に分割され
る。ここで、左段の文章を含む分割領域６１と参考文献
番号を含む分割領域６２との間隔と、分割領域６２と参
考文献内容を含む分割領域６４との間隔がほぼ等しいと
する。

【００５８】このような文献の場合、垂直方向のセパレ
ータとみなす空白の幅Ｗをある一定以上大きくすると、
垂直方向のセパレータが存在しなくなり、図１７に示す
ように一つの分割領域６５に統合されてしまう。しかし
ながら、図１７に示すような分割領域の構造では、本来
２段組であるのものが１段組とみなされているから、文
字認識により左段１行目の後に右段１行目が来るなどと
いった認識結果となり、意味をなさなくなる。よってこ
の文書画像の場合には、上述の第１の実施の形態で採用
した図８に示す分割領域の構造は採用できず、図７に示
した分割領域の構造を採用して右段の分割領域６２〜６
４から参考文献の論理構造を抽出する必要がある。

【００５９】図７に示した分割領域の構造を想定した論
理構造の抽出方法としては、例えば、参考文献番号を含
む分割領域２４から各文献番号の垂直方向位置を求め、
この位置を目安に参考文献内容を含む分割領域２５から
各参考文献の要素を抽出する方法が考えられる。このよ
うな方法を図１６に示した分割領域６２〜６４に適用
し、参考文献の構造を抽出することができる。

【００６０】上述の第１の実施の形態では、論理構造抽
出部７を一つだけ備えているため、例えば図８に示した
分割領域の構造がユーザから指定された場合には、図７
に示した分割領域の構造から論理構造を抽出することが
できなかった。しかし、この第３の実施の形態では、複
数の論理構造抽出部を備えているので、例えば図７に示
した分割領域の構造を想定した論理構造抽出部４１と、
図８に示した分割領域の構造を想定した論理構造抽出部
４２を備えていれば、そのいずれの構造に領域分割され
た場合でも、参考文献の論理構造を抽出することができ
る。

【００６１】このように、この第２の実施の形態では、
複数の論理構造抽出部を備えることによって、領域分割
部４によって領域分割された結果が異なっていても、所
望の論理構造を抽出することができ、抽出率を向上させ
ることができる。

【００６２】

【発明の効果】以上の説明から明らかなように、本発明
によれば、領域分割手段による領域分割の結果が、論理
構造抽出手段で想定する領域構造と異なる場合でも、自
動的に領域分割のパラメータを変化させて再度領域分割
を行って論理構造抽出手段で想定する領域構造を生成
し、論理構造を抽出する。あるいは、異なる領域構造を
想定した複数の論理構造抽出手段を設け、そのいずれか
で論理構造を抽出する。これによって、様々な文書から
高い精度で自動的に論理構造を抽出することができる。

【００６３】さらに、求める構造が部分的に得られてい
る場合は、その幾何学的な制約条件を用いて、その制約
条件を満たす解釈が得られる可能性が高い領域分割のた
めのパラメータを自動的に選択することにより、さらな
る効率化を図ることができるという効果がある。

【図面の簡単な説明】

【図１】本発明の論理構造抽出装置の第１の実施の形
態を示すブロック図である。

【図２】本発明の論理構造抽出装置の第１の実施の形
態における動作の一例を示すフローチャートである。

【図３】論理構造の指定に用いられるファイルの内容
の一例の説明図である。

【図４】論理構造の指定に用いられるファイルの内容
の一例における出力手続の説明図である。

【図５】パラメータセットの一例の説明図である。

【図６】参考文献が記載された文書画像の具体例の説
明図である。

【図７】図６に示す文書画像が３つの領域に分割され
た状態の説明図である。

【図８】図６に示す文書画像が２つの領域に分割され
た状態の説明図である。

【図９】図６に示す文書画像が１つの領域とみなされ
た状態の説明図である。

【図１０】パラメータセットの別の例の説明図であ
る。

【図１１】本発明の論理構造抽出装置の第２の実施の
形態における分離度の変更の具体例の説明図である。

【図１２】本発明の論理構造抽出装置の第２の実施の
形態における別の分離度の変更の具体例の説明図であ
る。

【図１３】本発明の論理構造抽出装置の第３の実施の
形態を示すブロック図である。

【図１４】本発明の論理構造抽出装置の第３の実施の
形態における動作の一例を示すフローチャートである。

【図１５】文書画像の別の具体例の説明図である。

【図１６】図１５に示す文書画像が４つの領域に分割
された状態の説明図である。

【図１７】図１５に示す文書画像が１つの領域とみな
された状態の説明図である。

【符号の説明】

１…画像入力部、２…文書画像管理部、３…パラメータ
設定部、４…領域分割部、５…領域構造判定部、６…文
字認識部、７…論理構造抽出部、８…構造化文書処理
部、９…論理構造指定部、２１，２２…白セパレータ候
補領域、２３〜２８…分割領域、３１，３２…白セパレ
ータの探索範囲、３３…要素の探索範囲、４１〜４３…
論理構造抽出部、４４…論理構造抽出方法選択部、６１
〜６５…分割領域。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 15/401 ３３０ＺＦターム(参考） 5B029 AA01 CC18 CC28 EE08 5B050 BA16 EA03 EA06 EA10 FA09 5B075 ND06 NK10 NK25 PP10 PQ05 PQ20 5B091 BA03 CB03 CB23 DA02 EA18

Claims

【特許請求の範囲】

【請求項１】文書画像から論理構造を抽出する論理構
造抽出装置において、設定されているパラメータに従っ
て文書画像の領域分割を行う領域分割手段と、必要とな
る論理構造を指定する論理構造指定手段と、前記論理構
造指定手段によって指定された構造を抽出する論理構造
抽出手段と、前記領域分割手段による領域分割の結果が
前記論理構造抽出手段が想定する領域構造であるか否か
を判定する領域構造判定手段と、前記領域構造判定手段
において前記領域分割の結果が前記論理構造抽出手段が
想定する領域構造でないと判定されたとき前記パラメー
タを可変設定するパラメータ設定手段を有することを特
徴とする論理構造抽出装置。
【請求項２】前記パラメータ設定手段は、領域構造判
定手段において前記論理構造指定手段で指定された論理
構造が部分的に得られていると判定される場合に、前記
論理構造指定手段で指定された論理構造の幾何学的制約
条件から指定された論理構造が得られる確率が高くなる
ように前記パラメータを設定することを特徴とする請求
項１に記載の論理構造抽出装置。
【請求項３】文書画像から論理構造を抽出する論理構
造抽出装置において、文書画像の領域分割を行う領域分
割手段と、それぞれ異なる論理構造を抽出する複数の論
理構造抽出手段と、前記領域分割手段による領域分割の
結果が複数の前記論理構造抽出手段のうちのいずれが想
定する領域構造であるかを判定する領域構造判定手段
と、前記領域構造判定手段による判定結果に従って複数
の前記論理構造抽出手段から１つを選択する論理構造抽
出方法選択手段を有することを特徴とする論理構造抽出
装置。
【請求項４】前記領域構造判定手段において前記領域
分割手段による領域分割の結果が複数の前記論理構造抽
出手段のいずれの想定する領域構造でもないと判定され
たとき前記領域分割手段において文書画像の領域分割を
行う際に用いるパラメータを可変設定するパラメータ設
定手段をさらに有することを特徴とする請求項３に記載
の論理構造抽出装置。