JP2007172132A - レイアウト解析プログラム、レイアウト解析装置、レイアウト解析方法 - Google Patents

Abstract

【課題】カラー画像であっても高精度でテキストブロックを抽出するレイアウト解析プログラム、レイアウト解析装置、レイアウト解析方法を提供する。
【解決手段】２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出ステップと、分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、文字要素集合とする文字要素集合抽出ステップと、第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、分割領域内で文字要素集合を含む領域の抽出を行い、テキストブロックとするテキストブロック抽出ステップと、テキストブロックと第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成ステップとをコンピュータに実行させる。
【選択図】図１

Description

本発明は、画像からテキストブロックなどを抽出するレイアウト解析プログラム、レイアウト解析装置、レイアウト解析方法に関するものである。

ＯＣＲ（Optical Character Reader）技術は、スキャナなどで読み込んだ文書画像を対象に、レイアウト認識し、文字領域の文字認識を行うものである。近年、一般文書などの文書画像の保管、検索、再利用のためにＯＣＲアプリケーションや文書管理システムが注目を集めている。また、最近では、ｅ−文書法の要件にもあるように、白黒のスキャンでなく、カラーのスキャンを行う場合が増えている。

カラー画像のＯＣＲ技術では、一般的に、以下の順序で処理が行われる。

１．レイアウト解析処理
２．２値化処理
３．文字領域の文字認識処理

上述したＯＣＲ技術における３つの処理のうち、レイアウト解析処理の処理精度は、他の２つの処理に比べて相対的に劣る傾向にある。更に、この傾向は、カラー画像に対するレイアウト解析処理において顕著である。

次に、カラー画像のレイアウト解析を行う従来のレイアウト解析装置の構成の一例について説明する。図１７は、従来のカラー画像のためのレイアウト解析処理の構成の一例を示すブロック図である。このレイアウト解析装置は、画像取得部１０１、ＮｉｂｌａｃｋＤｅｌｔａＧＮｏｉｓｅＲｅｍｏｖｅＦａｓｔ２値化部１０２、２値画像レイアウト解析部１０３、テキストブロック分割部１０４、テキストブロック再構築部１０５、レイアウト情報生成部１０６を備える。

次に、カラー画像のレイアウト解析を行う従来のレイアウト解析装置の動作の一例について説明する。まず、画像取得部１０１は、まず、カラー画像を取得する。次に、ＮｉｂｌａｃｋＤｅｌｔａＧＮｏｉｓｅＲｅｍｏｖｅＦａｓｔ２値化部１０２は、Ｎｉｂｌａｃｋ２値化処理ベースの２値化処理であるＮｉｂｌａｃｋＤｅｌｔａＧＮｏｉｓｅＲｅｍｏｖｅＦａｓｔ２値化処理を行う。次に、２値画像レイアウト解析部１０３は、２値画像を対象としたレイアウト解析処理である２値画像レイアウト解析処理を行う。ここでは、２値画像レイアウト解析処理として特許文献１の技術を用いる。その結果、文字要素であるテキストブロックと非文字要素である図表セパレータブロック（図領域、表領域、セパレータ、枠領域）が抽出される。

次に、テキストブロック分割部１０４は、テキストブロックを対象に、一旦テキストブロックを分割する。この処理は、新聞などに対して、段が正しく抽出されずに、２段をまとめて１つのテキストブロックとして抽出する場合があるために行われる。また、分割においては、テキストブロック内部の黒画素を縦横に投影して作成した黒画素の周期性についてヒストグラムを生成し、この結果を用いて、分割する位置を決めている。

次に、テキストブロックを再構築部１０５は、隣接するテキストブロックの上下端座標や左右端座標が近い場合に、２つのテキストブロックを統合する形で、テキストブロックを再構築する。次に、レイアウト情報生成部１０６は、得られたテキストブロックと図表セパレータブロックをレイアウト情報として出力し、レイアウト解析を終了する。

また、特許文献２に示された、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体は、原画像である多値画像から複数の２値画像を取得し、複数の２値画像から黒画素の固まりを含む領域を抽出し、黒画素の固まりの開始画素及び終了画素の密集状態に基づいて領域を分割し、分割した領域内の原画像のヒストグラムから領域の属性（文字や図など）を識別するものである。

また、特許文献３に示された、文書画像中の基本成分に基づく文字列抽出装置および方法は、２値画像、多階調画像、カラー画像等の文書画像から基本成分の集合を抽出し、基本成分間の包含関係を用いて各基本成分が文字成分であるか否かの判定を行う。そして、判定結果に基づいて文字成分の集合を抽出し、文字成分の集合から文字列を抽出する。この文字列抽出装置における２値画像生成部によれば、各画素の明度成分が所定のしきい値で２値化され、描画領域に対応する値と背景領域に対応する値のいずれか一方を持つ画素から構成される２値画像が生成される。また、この２値画像生成部によれば、図・表のパターン抽出は保証されないが、文字パターンは高精度に抽出される。また、白抜き文字部分は、反転され、文字が黒、背景が白のパターンとして抽出される。

特開平１１−２１９４０７号公報 特開２００１−１８４５１１号公報 再表００／６２２４３

しかしながら、従来のレイアウト解析技術のうち、１種類の２値化方法だけを用いる技術では、文字と図の両方を高精度に抽出することができない。また、文字領域における複数の背景色や白抜き文字に対応できない。例えば、上述したＮｉｂｌａｃｋＤｅｌｔａＧＮｏｉｓｅＲｅｍｏｖｅＦａｓｔ２値化処理は、罫線の接続性を保つ傾向があるが、白抜き文字を抽出できない。また、文字と図が近くにある場合、接触しやすく正しくテキストブロックを抽出できない場合がある。

また、特許文献２の技術のように、多値画像のヒストグラムを用いて文字領域を抽出するものは、高い精度が得られない。一般に、文字領域は、多値（濃淡）画像から抽出するよりも２値画像から抽出した方が高精度である。また、特許文献２の技術では、複数の２値画像から領域を求めているが、完全包含の関係にある２つの領域のうち大きい方の領域の原画像ヒストグラムを生成する際に、内部にある小さい方の領域を除外する程度の関係しか用いていない。

本発明は上述した問題点を解決するためになされたものであり、カラー画像であっても高精度でテキストブロックを抽出するレイアウト解析プログラム、レイアウト解析装置、レイアウト解析方法を提供することを目的とする。

上述した課題を解決するため、本発明は、画像のレイアウトの解析をコンピュータに実行させるレイアウト解析プログラムであって、２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出ステップと、前記分割領域抽出ステップにより抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出ステップと、第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出ステップと、前記テキストブロック抽出ステップにより抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成ステップとをコンピュータに実行させるものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記文字要素集合抽出ステップは、更に、前記第２の２値画像レイアウト解析処理により抽出された文字要素のうち前記第１の２値画像レイアウト解析処理により抽出された非文字要素に包含される文字要素を、前記文字要素集合に含めることを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記テキストブロック抽出ステップは、更に、前記分割領域抽出ステップにより抽出された分割領域内でセパレータを抽出し、該セパレータと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとすることを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記テキストブロック抽出ステップは、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素がテキストブロックであると判断した場合、該非文字要素をテキストブロックとすることを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記テキストブロック抽出ステップは、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素における縦方向の黒画素の分布の周期性と横方向の黒画素の分布の周期性に基づいて、該非文字要素がテキストブロックであるか否かを判断することを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記第１の２値画像レイアウト解析処理は、前記第２の２値画像レイアウト解析処理よりも文字要素の抽出の精度が高いことを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記第１の２値画像レイアウト解析処理は、カラー画像である原画像に対して第１の２値化処理を行い、該２値化処理により得られる第１の２値画像に対してレイアウト解析を行うものであり、前記第２の２値画像レイアウト解析処理は、前記原画像に対して前記第１の２値化処理と異なる第２の２値化処理を行い、該２値化処理により得られる第２の２値画像に対してレイアウト解析を行うものであり、前記分割領域抽出ステップは、前記第２の２値画像に基づいて、前記分割領域の抽出を行うことを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記分割領域抽出ステップは、前記第２の２値画像に対して輝度の反転を行い、該反転により得られる反転２値画像から黒画素の連結した領域を抽出し、該領域に外接する矩形を抽出し、該矩形の中で所定の条件を満たすものを抽出して矩形分割領域とし、矩形分割領域から当該矩形分割領域に包含される矩形分割領域を除いた領域を前記分割領域とすることを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記第１の２値画像レイアウト解析処理は、２値画像である原画像に対してレイアウト解析を行うものであり、前記第２の２値画像レイアウト解析処理は、前記原画像に対して輝度の反転を行い、該反転により得られる反転２値画像に対してレイアウト解析を行うものであり、前記分割領域抽出ステップは、前記反転２値画像に基づいて、前記分割領域の抽出を行うことを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記分割領域抽出ステップは、前記反転２値画像から黒画素の連結した領域を抽出し、該領域に外接する矩形を抽出し、該矩形の中で所定の条件を満たすものを抽出して矩形分割領域とし、矩形分割領域から当該矩形分割領域に包含される矩形分割領域を除いた領域を前記分割領域とすることを特徴とするものである。

また、本発明に係るレイアウト解析プログラムにおいて、前記文字要素は文字矩形であることを特徴とするものである。

また、本発明は、画像のレイアウトの解析を行うレイアウト解析装置であって、２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出部と、前記分割領域抽出部により抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出部と、第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出部により抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出部と、前記テキストブロック抽出部により抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成部とを備えたものである。

また、本発明に係るレイアウト解析装置において、前記文字要素集合抽出部は、更に、前記第２の２値画像レイアウト解析処理により抽出された文字要素のうち前記第１の２値画像レイアウト解析処理により抽出された非文字要素に包含される文字要素を、前記文字要素集合に含めることを特徴とするものである。

また、本発明に係るレイアウト解析装置において、前記テキストブロック抽出部は、更に、前記分割領域抽出部により抽出された分割領域内でセパレータを抽出し、該セパレータと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに重ならないように、前記文字要素集合抽出部により抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとすることを特徴とするものである。

また、本発明に係るレイアウト解析装置において、前記テキストブロック抽出部は、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素がテキストブロックであると判断した場合、該非文字要素をテキストブロックとすることを特徴とするものである。

また、本発明に係るレイアウト解析装置において、前記テキストブロック抽出部は、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素における縦方向の黒画素の分布の周期性と横方向の黒画素の分布の周期性に基づいて、該非文字要素がテキストブロックであるか否かを判断することを特徴とするものである。

また、本発明に係るレイアウト解析装置において、前記第１の２値画像レイアウト解析処理は、前記第２の２値画像レイアウト解析処理よりも文字要素の抽出の精度が高いことを特徴とするものである。

また、本発明に係るレイアウト解析装置において、前記第１の２値画像レイアウト解析処理は、カラー画像である原画像に対して第１の２値化処理を行い、該２値化処理により得られる第１の２値画像に対してレイアウト解析を行うものであり、前記第２の２値画像レイアウト解析処理は、前記原画像に対して前記第１の２値化処理と異なる第２の２値化処理を行い、該２値化処理により得られる第２の２値画像に対してレイアウト解析を行うものであり、前記分割領域抽出部は、前記第２の２値画像に基づいて、前記分割領域の抽出を行うことを特徴とするものである。

また、本発明に係るレイアウト解析装置において、前記分割領域抽出部は、前記第２の２値画像に対して輝度の反転を行い、該反転により得られる反転２値画像から黒画素の連結した領域を抽出し、該領域に外接する矩形を抽出し、該矩形の中で所定の条件を満たすものを抽出して矩形分割領域とし、矩形分割領域から当該矩形分割領域に包含される矩形分割領域を除いた領域を前記分割領域とすることを特徴とするものである。

また、本発明は、画像のレイアウトの解析を行うレイアウト解析方法であって、２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出ステップと、前記分割領域抽出ステップにより抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出ステップと、第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出ステップと、前記テキストブロック抽出ステップにより抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成ステップとを実行するものである。

本発明によれば、カラー画像であっても高精度でテキストブロックを抽出することができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。

本実施の形態では、カラー画像のレイアウト解析を行うレイアウト解析装置について説明する。また、本実施の形態では、ｅ−文書法の要件を満たすカラー画像に対するレイアウト解析について説明する。すなわち、以後の説明に用いる解像度［ｄｐｉ］、文字サイズ、文書サイズ等は、ｅ−文書法の要件を満たす値とする。

まず、本実施の形態に係るレイアウト解析装置の構成について説明する。

図１は、本実施の形態に係るレイアウト解析装置の構成の一例を示すブロック図である。このレイアウト解析装置は、画像取得部１１、解像度調整部１２、文字要素抽出用２値化部２１、解像度調整部２２、２値画像レイアウト解析部２３、非文字要素抽出用２値化部３１、解像度調整部３２、２値画像レイアウト解析部３３、反転部４１、矩形削除部４２、矩形分割領域抽出部５２、独立分割領域抽出部５３、非文字要素内文字要素抽出部６１、文字要素集合抽出部６２、空白セパレータ抽出部６３、テキストブロック抽出部６４、テキストブロック変換部６５、レイアウト情報生成部６６を備える。

次に、本実施の形態に係るレイアウト解析装置によるカラー画像のレイアウト解析の動作について説明する。ここでは、実際の動作で得られた画像の具体例を用いて説明する。カラー画像のレイアウト解析を行う場合、矩形削除部４２は必要とされない。

画像取得部１１は、レイアウト解析の対象となるカラー画像を取得する。図２は、本実施の形態に係る画像取得部１１の出力の一例を示す画像である。すなわち、この画像は、レイアウト解析の対象となる原画像である。画像取得部１１は、カラー画像のレイアウト解析を行う場合、カラー画像を解像度調整部１２へ渡す。

ここで、入力される紙の大きさが一定の範囲（Ａ４程度）であっても、読み取り解像度が異なると画像のサイズが異なる。カラー画像の解像度やサイズを一定に保つため、解像度調整部１２は、規定の解像度より大きなカラー画像が入力された場合、カラー画像の縮小を行う。本実施の形態において、解像度調整部１２は、解像度が１５０〜２５０ｄｐｉになるように単純な間引き縮小を行う。解像度調整部１２により調整されたカラー画像は、文字要素抽出用２値化部２１と非文字要素抽出用２値化部３１に渡される。カラー画像中には、文字要素と非文字要素が含まれる。文字要素抽出用２値化部２１と非文字要素抽出用２値化部３１のいずれも、文字要素と非文字要素を抽出することができる。文字要素は、文字の外接矩形である文字矩形として抽出され、非文字要素である図、表、セパレータなどは、これらを含む矩形として抽出される。

次に、文字要素抽出用２値化部２１は、解像度調整部１２により調整されたカラー画像に対して文字要素の抽出を得意とする２値化処理である文字要素抽出用２値化処理を行い、テキストブロック抽出用２値画像を生成する。ここで、文字要素抽出用２値化処理は、例えば、特許文献３における２値画像生成部の技術である。図３は、本実施の形態に係る文字要素抽出用２値化部２１の出力の一例を示す画像である。すなわち、この画像は、２値画像である。

次に、解像度調整部２２は、文字要素抽出用２値化部２１により得られた文字要素抽出用２値画像を、この後の２値画像レイアウト解析部２３に適した解像度に調整する。本実施の形態において、解像度調整部２２は、解像度が４００ｄｐｉ程度になるよう拡大する。次に、２値画像レイアウト解析部２３は、解像度調整部２２により得られた文字要素抽出用２値画像に対して２値画像レイアウト解析処理を行う。ここで、２値画像レイアウト解析処理は、例えば、特許文献１の技術である。２値画像レイアウト解析部２３により、文字要素抽出用２値画像から、文字要素と非文字要素が矩形として抽出され、個別に保存される。図４は、本実施の形態に係る２値画像レイアウト解析部２３の出力の一例を示す画像である。この画像では、特に、文字要素である文字矩形が、表の中の文字も含め、良く抽出されている。

一方、非文字要素抽出用２値化部３１は、解像度調整部１２により調整されたカラー画像に対して非文字要素を得意とする非文字要素抽出用２値化処理を行い、非文字要素抽出用２値画像を生成する。ここで、非文字要素抽出用２値化処理は、例えば、上述したＮｉｂｌａｃｋＤｅｌｔａＧＮｏｉｓｅＲｅｍｏｖｅＦａｓｔ２値化処理である。図５は、本実施の形態に係る非文字要素抽出用２値化部３１の出力の一例を示す画像である。すなわち、この画像は、２値画像である。

次に、解像度調整部３２は、非文字要素抽出用２値化部３１により得られた非文字要素抽出用２値画像を、この後の２値画像レイアウト解析部３３に適した解像度に調整する。本実施の形態において、解像度調整部３２は、解像度調整部２２と同様であり、解像度が４００ｄｐｉ程度になるよう拡大する。次に、２値画像レイアウト解析部３３は、解像度調整部３２により得られた非文字要素抽出用２値画像に対して２値画像レイアウト解析処理を行う。ここで、２値画像レイアウト解析処理は、２値画像レイアウト解析部２３と同様であり、例えば、特許文献１の技術である。２値画像レイアウト解析部３３により、非文字要素抽出用２値画像からも、文字要素と非文字要素が抽出され、個別に保存される。図６は、本実施の形態に係る２値画像レイアウト解析部３３の出力の一例を示す画像である。この画像では、図４と比較して、特に、非文字要素である図や表が、良く抽出されている。

次に、反転部４１は、非文字要素抽出用２値画像の輝度を反転し、反転２値画像を生成する。この反転２値画像は、枠線などのパターンを白、枠線の背景領域を黒で表すものである。カラー画像のレイアウト解析を行う場合、反転部４１は、反転２値画像を矩形分割領域抽出部５２へ渡す。

次に、矩形分割領域抽出部５２は、反転２値画像のラベリングを行うことにより黒画素連結領域を抽出し、抽出した黒画素連結領域の外接矩形を抽出し、抽出した外接矩形の中で所定のサイズより大きいものを矩形分割領域とする。ここで、反転２値画像を用いることにより、枠線などのパターンで区切られた領域が矩形分割領域として抽出される。また、非文字要素抽出用２値画像の全体が矩形分割領域となる場合もある。図７は、本実施の形態に係る矩形分割領域抽出部５２の出力の一例を示す画像である。この画像では、矩形分割領域として、枠線や表が抽出されている。

次に、独立分割領域抽出部５３は、矩形分割領域の包含関係を抽出し、矩形分割領域から、それぞれ独立した部分である独立分割領域を抽出する。つまり、ある矩形分割領域から、その矩形分割領域に包含される矩形分割領域を除いた領域が、独立分割領域として抽出される。従って、独立分割領域は互いに重ならない。図８は、本実施の形態に係る独立分割領域抽出部５３の動作の一例を示す画像である。独立分割領域抽出部５３は、図中の矩形分割領域０〜５から、以下の独立分割領域０〜５を抽出する。

独立分割領域０
＝矩形分割領域０から矩形分割領域１，３を除いた領域
独立分割領域１
＝矩形分割領域１から矩形分割領域２を除いた領域
独立分割領域２
＝矩形分割領域２
独立分割領域３
＝矩形分割領域３から矩形分割領域４，５を除いた領域
独立分割領域４
＝矩形分割領域４
独立分割領域５
＝矩形分割領域５

例えば、独立分割領域０は、矩形分割領域０の内側で矩形分割領域１，３の外側の領域を表す。

非文字要素内文字要素抽出部６１は、２値画像レイアウト解析部２３により抽出された（文字要素抽出用２値画像から抽出された）非文字要素内で、２値画像レイアウト解析部３３により抽出された（非文字要素抽出用２値画像から抽出された）文字要素を抽出する。

次に、文字要素集合抽出部６２は、２値画像レイアウト解析部２３により抽出された（文字要素抽出用２値画像から抽出された）文字要素のうち、独立分割領域に含まれる文字要素の集合を独立分割領域毎に抽出し、これを文字要素集合とする。また、文字要素集合抽出部６２は、非文字要素内文字要素抽出部６１により抽出された文字要素のうち、独立分割領域内の文字要素を、対応する文字要素集合に含める。図９は、本実施の形態に係る文字要素集合抽出部６２の出力の一例を示す画像である。この画像では、図４の文字要素が独立分割領域毎に分割され文字要素集合として認識されている。

次に、空白セパレータ抽出部６３は、各独立分割領域を白画素で満たす画像を生成し、その上に、文字要素集合生成部６２により生成された文字要素集合を黒画素で描画し、更に、２値画像レイアウト解析部３３により抽出された（非文字要素抽出用２値画像から抽出された）非文字要素を黒画素で描画する。次に、空白セパレータ抽出部６３は、この画像において、縦長の所定のサイズより大きい白領域を抽出し、抽出した白領域の中心の縦線を仮想的な空白セパレータとして抽出する。図１０は、本実施の形態に係る空白セパレータ抽出部６３の一例の出力を表す画像である。この画像では、空白セパレータが縦長の矩形として抽出されている。本実施の形態における具体例では、縦長の所定のサイズを縦２０００画素、横７５画素とした。空白セパレータ抽出部６３が空白セパレータを抽出することにより、独立分割領域内の空白により分離されているテキストブロックを正確に分離することができる。

次に、テキストブロック抽出部６４は、文字要素集合抽出部６２により抽出された文字要素集合、２値画像レイアウト解析部３３により抽出された（非文字要素抽出用２値画像から抽出された）非文字要素、空白セパレータ抽出部６３により抽出された空白セパレータを用いて、テキストブロックの抽出を行う。ここで、テキストブロック抽出部６４は、非文字要素や空白セパレータの矩形に重複しないように文字要素集合をまとめた矩形を抽出し、テキストブロックとする。この処理は、上述した２値画像レイアウト解析処理の技術を用いることができる。

次に、テキストブロック変換部６５は、２値画像レイアウト解析部３３により抽出された（非文字要素抽出用２値画像から抽出された）非文字要素のうち、所定の条件を満たすものをテキストブロックに変換する。図１１は、本実施の形態に係るテキストブロック変換部６５の動作の一例を示す画像である。この図には、２値画像レイアウト解析部３３により抽出された（非文字要素抽出用２値画像から抽出された）非文字要素の２値画像が表され、更に説明のため、２値画像の右側には後述する縦方向の黒画素数分布としきい値分布、２値画像の下側には後述する横方向の黒画素数分布としきい値分布が表されている。

まず、テキストブロック変換部６５は、２値画像レイアウト解析部３３により抽出された（非文字要素抽出用２値画像から抽出された）非文字要素の領域において、黒画素を縦座標毎にカウントすることにより縦方向の黒画素数分布を算出する。同様に、黒画素を横座標毎にカウントすることにより横方向の黒画素数分布を算出する。次に、テキストブロック変換部６５は、縦方向の黒画素数分布の移動平均を行い、得られた値を０．５倍し、縦方向の黒画素数しきい値分布とする。同様に、横方向の黒画素数分布から、横方向の黒画素数しきい値分布を算出する。本実施の形態における具体例では、移動平均の窓サイズを２１画素とした。

次に、テキストブロック変換部６５は、縦座標毎に黒画素数分布と黒画素数しきい値分布の比較を行い、黒画素数分布の値が黒画素数しきい値分布の値を超える座標を縦方向の黒判定座標とする。同様に、横方向の黒画素数分布と黒画素数しきい値分布から、横方向の黒判定座標を算出する。次に、テキストブロック変換部６５は、縦方向の黒判定座標が連続する幅のヒストグラムを算出し、縦方向の連続黒判定幅ヒストグラムとする。同様に、横方向の黒判定座標から、横方向の連続黒判定幅ヒストグラムを算出する。

次に、テキストブロック変換部６５は、縦方向の連続黒判定幅ヒストグラムの中で最頻値の幅の値を算出し、最頻値の幅における頻度と最頻値の幅に隣接する幅における頻度とを合算し、縦方向の最頻値付近の頻度とする。同様に、横方向の連続黒判定幅ヒストグラムから、横方向の最頻値付近の頻度を算出する。次に、テキストブロック変換部６５は、（縦方向の最頻値付近の頻度／縦方向の全頻度）を算出し、縦方向の最頻値付近の集中率とする。同様に、（横方向の最頻値付近の頻度）／（横方向の全頻度）を算出し、横方向の最頻値付近の集中率とする。

縦方向と横方向の少なくとも一方の最頻値付近の集中率が、所定の集中率しきい値を超えた場合、対象の非文字要素が所定の条件を満たすと判断する。つまり、非文字要素のうち、縦方向または横方向において一定の幅毎に黒画素が分布するものをテキストブロックと見なすことができる。

次に、レイアウト情報生成部６６は、テキストブロック抽出部６４により抽出されたテキストブロック、テキストブロック変換部６５により抽出されたテキストブロック、２値画像レイアウト解析部３３により抽出された（非文字要素抽出用２値画像から抽出された）非文字要素を、重複を許してまとめ、レイアウト情報として出力し、カラー画像のレイアウト解析を終了する。図１２は、本実施の形態に係るレイアウト情報生成部６６の出力の一例を示す画像である。この画像では、文字要素集合がまとめられ、矩形のテキストブロックとして抽出されている。上述したように、本実施の形態によれば、文字要素抽出用２値化部２１と非文字要素抽出用２値化部３１から抽出された要素を、特長を活かして組み合わせることにより、カラー画像であっても高精度でテキストブロックを抽出することができる。

次に、レイアウト解析装置の評価の具体例について説明する。

評価は、文字捕捉率と分離率の測定を行った。文字捕捉率と分離率は、事前に作成した正解データとレイアウト解析結果との比較により計算する。

正解データとして、サンプルデータ中でレイアウト解析装置が文字と認識すべき箇所を四角で囲んだものを、正解文字領域とする。図１３は、本実施の形態の評価における正解文字領域の一例を示す図である。図と表に対しても同様の処理を行い、それぞれ正解図領域、正解表領域とする。正解データは、文字列１行に対して生成される。また、正解文字領域が分離されるべき場所において、レイアウト解析装置が１つの行として認識することは好ましくないため、正解文字領域が分離されて認識されるべき場所には分離領域を設定しておき、認識領域がこれを超えた場合、減点の対象とする。図１４は、本実施の形態の評価における分離領域の一例を示す図である。分離領域の幅は、分離すべき領域の間隔の最大値をとる。分離領域の高さは、分離すべき領域の高さと同等とする。図１５は、本実施の形態の評価における分離領域のサイズの一例を示す図である。

捕捉率は、レイアウト解析装置により出力された認識領域が正解領域をどの程度捕らえているかを測る指標である。レイアウト解析装置により出力される文字、図、表の認識領域が、それぞれの正解領域を含む割合から捕捉率を算出する。捕捉率のうち、文字捕捉率は、以下の式で算出される。

文字捕捉率＝｛（レイアウト解析装置により出力された文字領域に含まれるおよその文字数）−（文字領域の不要な分割に対する減点）｝／（全ての正解文字のおよその数）

およその文字数は、正解領域の幅と高さから１文字の大きさを予想し、算出する。１つの領域になるべき文字領域を不要に分割した場合、算出式は、不要な分割１件につき４文字分の捕捉漏れと同等の減点を行う。また、捕捉率を算出する際、マージンが用いられる。文字捕捉率において、横書き正解文字領域の場合、高さに所定の係数を掛けた長さをマージンとする。このとき、レイアウト解析出力結果の領域は、このマージン長さ分が拡張され、その拡張領域内に正解文字領域が含まれていれば正解とされる。縦書き正解領域の場合、横幅に所定の係数を掛けた長さをマージンとする。本評価では、係数を５０％に設定して評価する。

分離率は、レイアウト解析装置が別の文字列として認識しなければならない箇所を分離して認識しているかを測る指標である。分離率の計算対象は、文字領域のみとし、図領域や表領域が分離領域を越えても評価の対象としない。レイアウト解析装置により出力された認識領域が分離領域を超えていた場合、分離すべき場所を正確に認識できなかったと判断し、不正解とする。分離領域の幅は、分離のマージンとして定義される。認識領域が重複したのみで分離領域を越えなかった場合は許容範囲内であり、正解とする。分離率は、以下の式で算出される。

分離率＝１−（レイアウト解析装置により出力された文字領域のうち、分離領域を越えた文字領域の長さ）／（分離領域の長さ）

図１６は、本実施の形態の評価における分離率の算出の一例を示す図である。この例における分離率は、以下の式で算出される。

分離率＝１−（（Ｘ１＋Ｘ２）／（Ｓ１＋Ｓ２））

Ｘ１，Ｘ２は、文字領域の高さであり、Ｓ１，Ｓ２は、それぞれの文字領域に対応する分離領域の高さである。すなわち、長辺にかかる部分の割合を算出する。

本実施の形態において、評価対象は、６３種類のカラー文書画像である。内訳は、カタログ（６種類）、コミック（５種類）、ＪＥＩＴＡ（Japan Electronics and Information Technology industries Association）のプリンタ用評価画像（１７種類）、雑誌（６種類）、新聞（８種類）、オフィス文書（社内レポート）（５種類）、パンフレット（５種類）、プレゼンテーション用ページ（５種類）、論文（６種類）である。これらの文書を２４ｂｉｔカラー、１５０ｄｐｉでスキャンし、評価用のカラー画像を生成した。

また、文字捕捉率と分離率は、上述した式の結果そのままではなく、評価対象の文書の種類の出現確率、評価対象の文書の種類の中に存在すると期待される文字数を考慮して、以下の重みをつけて算出する。

カタログ＝３４４０
コミック＝１８００
ＪＥＩＴＡのプリンタ用評価画像＝１０７９６
雑誌＝７４７５
新聞＝４５３０
オフィス文書（社内レポート）＝１４６３４
パンフレット＝３５１４
プレゼンテーション用ページ＝２４６３
論文＝１６３１８

まず、それぞれの種類の画像における平均値を算出し、この重みを掛ける加重平均を行い、最終的な値とする。

以上説明した評価の結果、上述した従来のレイアウト解析装置による文字捕捉率が９０．９２％、分離率が９５．１８％であったのに対して、本実施の形態のレイアウト解析装置による文字捕捉率が９６．８９％、分離率が９６．８２％となり、本発明の有効性が確認された。

次に、本実施の形態に係るレイアウト解析装置が、２値画像のレイアウト解析を行う場合の動作について説明する。

画像取得部１１は、２値画像のレイアウト解析を行う場合、２値画像を解像度調整部２２と解像度調整部３２へ渡す。解像度調整部２２と解像度調整部３２の処理は、上述のカラー画像のレイアウト解析の場合と同様である。２値画像のレイアウト解析を行う場合、反転部４１は、反転２値画像を矩形削除部４２へ渡す。矩形削除部４２は、反転２値画像のラベリングを行うことにより黒画素連結領域を抽出し、抽出した黒画素連結領域の外接矩形を抽出し、抽出した外接矩形の中で最も面積の大きいものを反転２値画像から削除し、得られた反転２値画像を矩形分割領域抽出部５２と２値画像レイアウト解析部３３へ渡す。以後の処理は、上述したカラー画像のレイアウト解析の場合と同様である。

このような処理を行うことにより、本実施の形態のレイアウト解析装置は、２値画像に対しても高精度でテキストブロックの抽出を行うことができる。

また、本実施の形態に係るレイアウト解析装置は、ＯＣＲ装置に容易に適用することができ、ＯＣＲ装置の性能をより高めることができる。ここで、ＯＣＲ装置には、例えば情報処理装置、スキャナ等が含まれ得る。

更に、レイアウト解析装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、レイアウト解析プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、レイアウト解析装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。

なお、分割領域抽出ステップと分割領域抽出部は、実施の形態における反転部４１、矩形削除部４２、矩形分割領域抽出部５２、独立分割領域抽出部５３に対応する。また、文字要素集合抽出ステップと文字要素集合抽出部は、実施の形態における非文字要素内文字要素抽出部６１、文字要素集合抽出部６２に対応する。また、テキストブロック抽出ステップとテキストブロック抽出部は、実施の形態における空白セパレータ抽出部６３、テキストブロック抽出部６４、テキストブロック変換部６５に対応する。また、レイアウト情報生成ステップとレイアウト情報生成部は、実施の形態におけるレイアウト情報生成部６６に対応する。

また、第１の２値画像レイアウト解析処理は、２値画像レイアウト解析部２２に対応する。また、第２の２値画像レイアウト解析処理は、実施の形態における２値画像レイアウト解析部３２に対応する。また、第１の２値化処理は、実施の形態における文字要素抽出用２値化部２１に対応する。また、第２の２値化処理は、実施の形態における非文字要素抽出用２値化部３１に対応する。また、分割領域は、実施の形態における独立分割領域に対応する。

（付記１） 画像のレイアウトの解析をコンピュータに実行させるレイアウト解析プログラムであって、
２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出ステップと、
前記分割領域抽出ステップにより抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出ステップと、
第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出ステップと、
前記テキストブロック抽出ステップにより抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成ステップと
をコンピュータに実行させるレイアウト解析プログラム。
（付記２） 付記１に記載のレイアウト解析プログラムにおいて、
前記文字要素集合抽出ステップは、更に、前記第２の２値画像レイアウト解析処理により抽出された文字要素のうち前記第１の２値画像レイアウト解析処理により抽出された非文字要素に包含される文字要素を、前記文字要素集合に含めることを特徴とするレイアウト解析プログラム。
（付記３） 付記１または付記２に記載のレイアウト解析プログラムにおいて、
前記テキストブロック抽出ステップは、更に、前記分割領域抽出ステップにより抽出された分割領域内でセパレータを抽出し、該セパレータと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとすることを特徴とするレイアウト解析プログラム。
（付記４） 付記１乃至付記３のいずれかに記載のレイアウト解析プログラムにおいて、
前記テキストブロック抽出ステップは、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素がテキストブロックであると判断した場合、該非文字要素をテキストブロックとすることを特徴とするレイアウト解析プログラム。
（付記５） 付記４に記載のレイアウト解析プログラムにおいて、
前記テキストブロック抽出ステップは、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素における縦方向の黒画素の分布の周期性と横方向の黒画素の分布の周期性に基づいて、該非文字要素がテキストブロックであるか否かを判断することを特徴とするレイアウト解析プログラム。
（付記６） 付記１乃至付記５のいずれかに記載のレイアウト解析プログラムにおいて、
前記第１の２値画像レイアウト解析処理は、前記第２の２値画像レイアウト解析処理よりも文字要素の抽出の精度が高いことを特徴とするレイアウト解析プログラム。
（付記７） 付記１乃至付記６のいずれかに記載のレイアウト解析プログラムにおいて、
前記第１の２値画像レイアウト解析処理は、カラー画像である原画像に対して第１の２値化処理を行い、該２値化処理により得られる第１の２値画像に対してレイアウト解析を行うものであり、
前記第２の２値画像レイアウト解析処理は、前記原画像に対して前記第１の２値化処理と異なる第２の２値化処理を行い、該２値化処理により得られる第２の２値画像に対してレイアウト解析を行うものであり、
前記分割領域抽出ステップは、前記第２の２値画像に基づいて、前記分割領域の抽出を行うことを特徴とするレイアウト解析プログラム。
（付記８） 付記７に記載のレイアウト解析プログラムにおいて、
前記分割領域抽出ステップは、前記第２の２値画像に対して輝度の反転を行い、該反転により得られる反転２値画像から黒画素の連結した領域を抽出し、該領域に外接する矩形を抽出し、該矩形の中で所定の条件を満たすものを抽出して矩形分割領域とし、矩形分割領域から当該矩形分割領域に包含される矩形分割領域を除いた領域を前記分割領域とすることを特徴とするレイアウト解析プログラム。
（付記９） 付記１乃至付記６のいずれかに記載のレイアウト解析プログラムにおいて、
前記第１の２値画像レイアウト解析処理は、２値画像である原画像に対してレイアウト解析を行うものであり、
前記第２の２値画像レイアウト解析処理は、前記原画像に対して輝度の反転を行い、該反転により得られる反転２値画像に対してレイアウト解析を行うものであり、
前記分割領域抽出ステップは、前記反転２値画像に基づいて、前記分割領域の抽出を行うことを特徴とするレイアウト解析プログラム。
（付記１０） 付記９に記載のレイアウト解析プログラムにおいて、
前記分割領域抽出ステップは、前記反転２値画像から黒画素の連結した領域を抽出し、該領域に外接する矩形を抽出し、該矩形の中で所定の条件を満たすものを抽出して矩形分割領域とし、矩形分割領域から当該矩形分割領域に包含される矩形分割領域を除いた領域を前記分割領域とすることを特徴とするレイアウト解析プログラム。
（付記１１） 付記１乃至付記１０のいずれかに記載のレイアウト解析プログラムにおいて、
前記文字要素は文字矩形であることを特徴とするレイアウト解析プログラム。
（付記１２） 画像のレイアウトの解析を行うレイアウト解析装置であって、
２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出部と、
前記分割領域抽出部により抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出部と、
第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出部により抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出部と、
前記テキストブロック抽出部により抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成部と
を備えるレイアウト解析装置。
（付記１３） 付記１２に記載のレイアウト解析装置において、
前記文字要素集合抽出部は、更に、前記第２の２値画像レイアウト解析処理により抽出された文字要素のうち前記第１の２値画像レイアウト解析処理により抽出された非文字要素に包含される文字要素を、前記文字要素集合に含めることを特徴とするレイアウト解析装置。
（付記１４） 付記１２または付記１３に記載のレイアウト解析装置において、
前記テキストブロック抽出部は、更に、前記分割領域抽出部により抽出された分割領域内でセパレータを抽出し、該セパレータと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに重ならないように、前記文字要素集合抽出部により抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとすることを特徴とするレイアウト解析装置。
（付記１５） 付記１２乃至付記１４のいずれかに記載のレイアウト解析装置において、
前記テキストブロック抽出部は、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素がテキストブロックであると判断した場合、該非文字要素をテキストブロックとすることを特徴とするレイアウト解析装置。
（付記１６） 付記１５に記載のレイアウト解析装置において、
前記テキストブロック抽出部は、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素における縦方向の黒画素の分布の周期性と横方向の黒画素の分布の周期性に基づいて、該非文字要素がテキストブロックであるか否かを判断することを特徴とするレイアウト解析装置。
（付記１７） 付記１２乃至付記１６のいずれかに記載のレイアウト解析装置において、
前記第１の２値画像レイアウト解析処理は、前記第２の２値画像レイアウト解析処理よりも文字要素の抽出の精度が高いことを特徴とするレイアウト解析装置。
（付記１８） 付記１２乃至付記１７のいずれかに記載のレイアウト解析装置において、
前記第１の２値画像レイアウト解析処理は、カラー画像である原画像に対して第１の２値化処理を行い、該２値化処理により得られる第１の２値画像に対してレイアウト解析を行うものであり、
前記第２の２値画像レイアウト解析処理は、前記原画像に対して前記第１の２値化処理と異なる第２の２値化処理を行い、該２値化処理により得られる第２の２値画像に対してレイアウト解析を行うものであり、
前記分割領域抽出部は、前記第２の２値画像に基づいて、前記分割領域の抽出を行うことを特徴とするレイアウト解析装置。
（付記１９） 付記１８に記載のレイアウト解析装置において、
前記分割領域抽出部は、前記第２の２値画像に対して輝度の反転を行い、該反転により得られる反転２値画像から黒画素の連結した領域を抽出し、該領域に外接する矩形を抽出し、該矩形の中で所定の条件を満たすものを抽出して矩形分割領域とし、矩形分割領域から当該矩形分割領域に包含される矩形分割領域を除いた領域を前記分割領域とすることを特徴とするレイアウト解析装置。
（付記２０） 画像のレイアウトの解析を行うレイアウト解析方法であって、
２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出ステップと、
前記分割領域抽出ステップにより抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出ステップと、
第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出ステップと、
前記テキストブロック抽出ステップにより抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成ステップと
を実行するレイアウト解析方法。

本実施の形態に係るレイアウト解析装置の構成の一例を示すブロック図である。 本実施の形態に係る画像取得部１１の出力の一例を示す画像である。 本実施の形態に係る文字要素抽出用２値化部２１の出力の一例を示す画像である。 本実施の形態に係る２値画像レイアウト解析部２３の出力の一例を示す画像である。 本実施の形態に係る非文字要素抽出用２値化部３１の出力の一例を示す画像である。 本実施の形態に係る２値画像レイアウト解析部３３の出力の一例を示す画像である。 本実施の形態に係る矩形分割領域抽出部５２の出力の一例を示す画像である。 本実施の形態に係る独立分割領域抽出部５３の動作の一例を示す画像である。 本実施の形態に係る文字要素集合抽出部６２の出力の一例を示す画像である。 本実施の形態に係る空白セパレータ抽出部６３の出力の一例を示す画像である。 本実施の形態に係るテキストブロック変換部６５の動作の一例を示す画像である。 本実施の形態に係るレイアウト情報生成部６６の出力の一例を示す画像である。 本実施の形態の評価における正解文字領域の一例を示す図である。 本実施の形態の評価における分離領域の一例を示す図である。 本実施の形態の評価における分離領域のサイズの一例を示す図である。 本実施の形態の評価における分離率の算出の一例を示す図である。 従来のカラー画像のためのレイアウト解析処理の構成の一例を示すブロック図である。

符号の説明

１１ 画像取得部、１２ 解像度調整部、２１ 文字要素抽出用２値化部、２２ 解像度調整部、２３ ２値画像レイアウト解析部、３１ 非文字要素抽出用２値化部、３２ 解像度調整部、３３ ２値画像レイアウト解析部、４１ 反転部、４２ 矩形削除部、５２ 矩形分割領域抽出部、５３ 独立分割領域抽出部、６１ 非文字要素内文字要素抽出部、６２ 文字要素集合抽出部、６３ 空白セパレータ抽出部、６４ テキストブロック抽出部、６５ テキストブロック変換部、６６ レイアウト情報生成部。

Claims (10)

1. 画像のレイアウトの解析をコンピュータに実行させるレイアウト解析プログラムであって、
   ２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出ステップと、
   前記分割領域抽出ステップにより抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出ステップと、
   第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出ステップと、
   前記テキストブロック抽出ステップにより抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成ステップと
   をコンピュータに実行させるレイアウト解析プログラム。
2. 請求項１に記載のレイアウト解析プログラムにおいて、
   前記文字要素集合抽出ステップは、更に、前記第２の２値画像レイアウト解析処理により抽出された文字要素のうち前記第１の２値画像レイアウト解析処理により抽出された非文字要素に包含される文字要素を、前記文字要素集合に含めることを特徴とするレイアウト解析プログラム。
3. 請求項１または請求項２に記載のレイアウト解析プログラムにおいて、
   前記テキストブロック抽出ステップは、更に、前記分割領域抽出ステップにより抽出された分割領域内でセパレータを抽出し、該セパレータと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとすることを特徴とするレイアウト解析プログラム。
4. 請求項１乃至請求項３のいずれかに記載のレイアウト解析プログラムにおいて、
   前記テキストブロック抽出ステップは、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素がテキストブロックであると判断した場合、該非文字要素をテキストブロックとすることを特徴とするレイアウト解析プログラム。
5. 請求項１乃至請求項４に記載のレイアウト解析プログラムにおいて、
   前記テキストブロック抽出ステップは、更に、前記第１の２値画像レイアウト解析処理により抽出された非文字要素における縦方向の黒画素の分布の周期性と横方向の黒画素の分布の周期性に基づいて、該非文字要素がテキストブロックであるか否かを判断することを特徴とするレイアウト解析プログラム。
6. 請求項１乃至請求項５のいずれかに記載のレイアウト解析プログラムにおいて、
   前記第１の２値画像レイアウト解析処理は、前記第２の２値画像レイアウト解析処理よりも文字要素の抽出の精度が高いことを特徴とするレイアウト解析プログラム。
7. 請求項１乃至請求項６のいずれかに記載のレイアウト解析プログラムにおいて、
   前記第１の２値画像レイアウト解析処理は、カラー画像である原画像に対して第１の２値化処理を行い、該２値化処理により得られる第１の２値画像に対してレイアウト解析を行うものであり、
   前記第２の２値画像レイアウト解析処理は、前記原画像に対して前記第１の２値化処理と異なる第２の２値化処理を行い、該２値化処理により得られる第２の２値画像に対してレイアウト解析を行うものであり、
   前記分割領域抽出ステップは、前記第２の２値画像に基づいて、前記分割領域の抽出を行うことを特徴とするレイアウト解析プログラム。
8. 請求項７に記載のレイアウト解析プログラムにおいて、
   前記分割領域抽出ステップは、前記第２の２値画像に対して輝度の反転を行い、該反転により得られる反転２値画像から黒画素の連結した領域を抽出し、該領域に外接する矩形を抽出し、該矩形の中で所定の条件を満たすものを抽出して矩形分割領域とし、矩形分割領域から当該矩形分割領域に包含される矩形分割領域を除いた領域を前記分割領域とすることを特徴とするレイアウト解析プログラム。
9. 画像のレイアウトの解析を行うレイアウト解析装置であって、
   ２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出部と、
   前記分割領域抽出部により抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出部と、
   第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出部により抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出部と、
   前記テキストブロック抽出部により抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成部と
   を備えるレイアウト解析装置。
10. 画像のレイアウトの解析を行うレイアウト解析方法であって、
    ２値画像に基づいて、パターンで区切られた領域の抽出を行い、該抽出の結果を分割領域とする分割領域抽出ステップと、
    前記分割領域抽出ステップにより抽出された分割領域毎に、第１の２値画像レイアウト解析処理により抽出された文字要素の集合の抽出を行い、該抽出の結果を文字要素集合とする文字要素集合抽出ステップと、
    第２の２値画像レイアウト解析処理により抽出された非文字要素に重ならないように、前記文字要素集合抽出ステップにより抽出された前記分割領域内で文字要素集合を含む領域の抽出を行い、該抽出の結果をテキストブロックとするテキストブロック抽出ステップと、
    前記テキストブロック抽出ステップにより抽出されたテキストブロックと前記第２の２値画像レイアウト解析処理により抽出された非文字要素とに基づいて、レイアウト情報を生成するレイアウト情報生成ステップと
    を実行するレイアウト解析方法。

Images