JP2002015323A - 文書画像レイアウト識別方法および装置 - Google Patents
文書画像レイアウト識別方法および装置Info
- Publication number
- JP2002015323A JP2002015323A JP2001115134A JP2001115134A JP2002015323A JP 2002015323 A JP2002015323 A JP 2002015323A JP 2001115134 A JP2001115134 A JP 2001115134A JP 2001115134 A JP2001115134 A JP 2001115134A JP 2002015323 A JP2002015323 A JP 2002015323A
- Authority
- JP
- Japan
- Prior art keywords
- text
- document image
- rectangle
- density
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Character Input (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】
【課題】 文書画像に写真の一部や背景模様等小さな構
成要素が多数配置されていても、テキストの行及び段抽
出処理に無駄な時間をかけることなく、正確なしイアウ
ト識別を可能とすること。 【解決手段】 ２値化された文書画像データをラベリン
グ手段１でラベリング処理し、連結成分の外接矩形が求
める。テキストサイズ推定手段２は、各外接矩形の大き
さの最頻値からテキストサイズを推定する。テキスト候
補推定手段３は上記推定されたテキストサイズと各外接
矩形の大きさからテキスト候補を推定する。密集度に基
づくテキスト候補判定手段４は、テキスト候補を中心と
した一定の大きさの領域内に含まれるテキスト候補の個
数を密集度として求め、密集度がしきい値以下のものを
テキストと判定する。
成要素が多数配置されていても、テキストの行及び段抽
出処理に無駄な時間をかけることなく、正確なしイアウ
ト識別を可能とすること。 【解決手段】 ２値化された文書画像データをラベリン
グ手段１でラベリング処理し、連結成分の外接矩形が求
める。テキストサイズ推定手段２は、各外接矩形の大き
さの最頻値からテキストサイズを推定する。テキスト候
補推定手段３は上記推定されたテキストサイズと各外接
矩形の大きさからテキスト候補を推定する。密集度に基
づくテキスト候補判定手段４は、テキスト候補を中心と
した一定の大きさの領域内に含まれるテキスト候補の個
数を密集度として求め、密集度がしきい値以下のものを
テキストと判定する。
Description
【０００１】
【発明の属する技術分野】本発明は、文書画像を認識す
るための方法および装置に関し、さらに詳細には、文書
画像のレイアウト識別処理におけるテキスト抽出処理を
正確かつ高速に行うことができる文書レイアイト識別方
法および装置に関するものである。
るための方法および装置に関し、さらに詳細には、文書
画像のレイアウト識別処理におけるテキスト抽出処理を
正確かつ高速に行うことができる文書レイアイト識別方
法および装置に関するものである。
【０００２】
【従来の技術】従来、レイアウト識別処理は次のように
行われていた。まず、２値の文書画像をラベリングし、
連結成分の外接矩形を抽出した後、外接矩形の相対的な
大きさに基づいて、テキスト、図、セパレータ等の属性
を推定する。その後、テキスト候補の外接矩形を対象と
して、それらの相対的な大きさ、位置関係、または、周
期性等を考慮することにより、テキストが構成する行及
び段の抽出処理を行う。
行われていた。まず、２値の文書画像をラベリングし、
連結成分の外接矩形を抽出した後、外接矩形の相対的な
大きさに基づいて、テキスト、図、セパレータ等の属性
を推定する。その後、テキスト候補の外接矩形を対象と
して、それらの相対的な大きさ、位置関係、または、周
期性等を考慮することにより、テキストが構成する行及
び段の抽出処理を行う。
【０００３】
【発明が解決しようとする課題】しかしながら、テキス
トの外接矩形を推定するときに、図１０に示すように、
文書に写真や新聞の見出しによく使われるような背景模
様が含まれる場合、従来の方法では、写真や背景模様を
構成する要素の一部が、誤ってテキストと判定されてし
まうといった問題があった。さらに、写真や背景模様
は、図１１（ａ）（ｂ）の拡大図に示すように網点から
構成されており、テキストと誤判定される要素の個数
が、実際のテキストの個数と比べ、はるかに多い。その
ため、テキストと誤判定された要素の影響によって、行
または段抽出処理が正しく行われなかったり、行または
段抽出処理の処理時間が膨大になってしまっていた。
トの外接矩形を推定するときに、図１０に示すように、
文書に写真や新聞の見出しによく使われるような背景模
様が含まれる場合、従来の方法では、写真や背景模様を
構成する要素の一部が、誤ってテキストと判定されてし
まうといった問題があった。さらに、写真や背景模様
は、図１１（ａ）（ｂ）の拡大図に示すように網点から
構成されており、テキストと誤判定される要素の個数
が、実際のテキストの個数と比べ、はるかに多い。その
ため、テキストと誤判定された要素の影響によって、行
または段抽出処理が正しく行われなかったり、行または
段抽出処理の処理時間が膨大になってしまっていた。
【０００４】本発明は上記問題点を解決するためになさ
れたものであって、その目的とするところは、文書画像
に写真の一部や背景模様等、小さな構成要素が多数配置
されていても、テキストの行及び段抽出処理に無駄な時
間をかけることなく、正確なレイアウト識別が可能な文
書レイアウト識別方法および装置を提供することであ
る。
れたものであって、その目的とするところは、文書画像
に写真の一部や背景模様等、小さな構成要素が多数配置
されていても、テキストの行及び段抽出処理に無駄な時
間をかけることなく、正確なレイアウト識別が可能な文
書レイアウト識別方法および装置を提供することであ
る。
【０００５】
【課題を解決するための手段】図１は本発明の概要を説
明する図である。同図に示すように２値化された文書画
像データはラベリング手段１でラベリング処理を施さ
れ、連結成分の外接矩形が求められる。テキストサイズ
推定手段２は、各外接矩形の大きさの最頻値からテキス
トサイズを推定する。テキスト候補推定手段３は上記推
定されたテキストサイズと各外接矩形の大きさからテキ
スト候補を推定する。密集度に基づくテキスト候補判定
手段４は、テキスト候補を中心とした一定の大きさの領
域内に含まれるテキスト候補の個数を密集度として求
め、密集度がしきい値以下のものをテキストと判定す
る。すなわち、相対的な大きさに基づいてテキストと推
定されたテキスト候補が、本当にテキストかどうかを、
テキスト候補の周辺における矩形の密集度から再度判定
し、誤判定されたテキスト候補が行及び段抽出処理に回
されることを防ぐ。具体的には、テキスト候補を中心と
したある一定の大きさの領域を想定し、その内部に含ま
れるテキスト候補の個数を密集度として計算し、密集度
があるしきい値以下であればテキストと判定し、しきい
値以上ならば非テキストと判定する。また、テキスト候
補の矩形集合から、新たな矩形集合を生成し、その２つ
の集合間で矩形の重複チェックを例えば平面走査法によ
って行うことにより、処理の高速化を図ることができ
る。
明する図である。同図に示すように２値化された文書画
像データはラベリング手段１でラベリング処理を施さ
れ、連結成分の外接矩形が求められる。テキストサイズ
推定手段２は、各外接矩形の大きさの最頻値からテキス
トサイズを推定する。テキスト候補推定手段３は上記推
定されたテキストサイズと各外接矩形の大きさからテキ
スト候補を推定する。密集度に基づくテキスト候補判定
手段４は、テキスト候補を中心とした一定の大きさの領
域内に含まれるテキスト候補の個数を密集度として求
め、密集度がしきい値以下のものをテキストと判定す
る。すなわち、相対的な大きさに基づいてテキストと推
定されたテキスト候補が、本当にテキストかどうかを、
テキスト候補の周辺における矩形の密集度から再度判定
し、誤判定されたテキスト候補が行及び段抽出処理に回
されることを防ぐ。具体的には、テキスト候補を中心と
したある一定の大きさの領域を想定し、その内部に含ま
れるテキスト候補の個数を密集度として計算し、密集度
があるしきい値以下であればテキストと判定し、しきい
値以上ならば非テキストと判定する。また、テキスト候
補の矩形集合から、新たな矩形集合を生成し、その２つ
の集合間で矩形の重複チェックを例えば平面走査法によ
って行うことにより、処理の高速化を図ることができ
る。
【０００６】
【発明の実施の形態】図２は本発明の処理を行うための
システムの構成例を示す図である。本発明は、同図に示
すように、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、外部
記憶装置１４、プリンタ、ディスプレイ、キーボード等
から構成される入出力装置１５、記録媒体読み取り装置
１６、画像読み取りを行うカラー入力装置、ＣＣＤカメ
ラ、スキャナ等の画像入力装置１７、図示しない通信イ
ンタフェース等から構成されるシステムで実現すること
ができる。そして、上記スキャナ１７等の画像入力装置
から読み込んだ例えば前記図１０に示す文書画像からテ
キスト部分を識別する。
システムの構成例を示す図である。本発明は、同図に示
すように、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、外部
記憶装置１４、プリンタ、ディスプレイ、キーボード等
から構成される入出力装置１５、記録媒体読み取り装置
１６、画像読み取りを行うカラー入力装置、ＣＣＤカメ
ラ、スキャナ等の画像入力装置１７、図示しない通信イ
ンタフェース等から構成されるシステムで実現すること
ができる。そして、上記スキャナ１７等の画像入力装置
から読み込んだ例えば前記図１０に示す文書画像からテ
キスト部分を識別する。
【０００７】次に本発明の実施例を図３に示すフローチ
ャートにより説明する。図３に示すフローチャートにお
いて処理対象となるデータは、上記スキャナ等の画像入
力装置から入力された２値化された前記図１０に示した
ような写真、背景模様に含む文書画像である。また、処
理結果として得られる出力は、テキスト候補の外接矩形
の集合である。 （１）ラベリング 入力された２値文書画像に対し、ラベリング処理を施
す。すなわち、画像全体をラベリングして、図４に示す
ように黒画素連結領域を抽出する。その結果、連結成分
の個数と、各連結成分の外接矩形の座標が得られる。
ャートにより説明する。図３に示すフローチャートにお
いて処理対象となるデータは、上記スキャナ等の画像入
力装置から入力された２値化された前記図１０に示した
ような写真、背景模様に含む文書画像である。また、処
理結果として得られる出力は、テキスト候補の外接矩形
の集合である。 （１）ラベリング 入力された２値文書画像に対し、ラベリング処理を施
す。すなわち、画像全体をラベリングして、図４に示す
ように黒画素連結領域を抽出する。その結果、連結成分
の個数と、各連結成分の外接矩形の座標が得られる。
【０００８】（２）テキストサイズ推定 上記各外接矩形に関し、次のようにヒストグラムを生成
し、ヒストグラムからテキストサイズを推定する。ま
ず、図５（ａ）に示すように外接矩形の左上点を
（Ｘ1 ，Ｙ1 ）、右下点を（Ｘ2 ，Ｙ2 ）とし、ｄｘ＝
Ｘ2 −Ｘ1 ＋１，ｄｙ＝Ｙ2 −Ｙ1 ＋１とおく。なお、
＋１するのは、両端点の画素をｄｘ，ｄｙに含ませるた
めである。次に、ｔ＝ｍａｘ（ｄｘ，ｄｙ）とし、ヒス
トグラムＨ1 （ｔ）に、ｄｘ×ｄｙすなわち外接矩形の
面積を加算し、ヒストグラムＨ2 （ｔ）に１を加算す
る。その結果、例えば図５（ｂ）に示すようなヒストグ
ラムＨ1 （ｔ）、Ｈ2 （ｔ）が作成される。そして最終
的に、Ｈ（ｔ）＝Ｈ1 （ｔ）×Ｈ2 （ｔ）により、図５
（ｂ）に示すようにヒストグラムＨ（ｔ）を得る。この
ヒストグラムＨの最大を与えるｔが、テキストサイズＴ
であると推定する。上記のように外接矩形の面積のヒス
トグラムＨ1 （ｔ）と外接矩形の個数のヒストグラムＨ
2 （ｔ）を作成し、それらを掛け合わせたヒストグラム
Ｈ（ｔ）によりテキストサイズＴを推定することによ
り、文書画像中に、数は少なく面積の大きな矩形、数が
多く面積が小さい矩形が存在しても、それらに大きく影
響されることなくなくテキストサイズＴを推定すること
ができる。
し、ヒストグラムからテキストサイズを推定する。ま
ず、図５（ａ）に示すように外接矩形の左上点を
（Ｘ1 ，Ｙ1 ）、右下点を（Ｘ2 ，Ｙ2 ）とし、ｄｘ＝
Ｘ2 −Ｘ1 ＋１，ｄｙ＝Ｙ2 −Ｙ1 ＋１とおく。なお、
＋１するのは、両端点の画素をｄｘ，ｄｙに含ませるた
めである。次に、ｔ＝ｍａｘ（ｄｘ，ｄｙ）とし、ヒス
トグラムＨ1 （ｔ）に、ｄｘ×ｄｙすなわち外接矩形の
面積を加算し、ヒストグラムＨ2 （ｔ）に１を加算す
る。その結果、例えば図５（ｂ）に示すようなヒストグ
ラムＨ1 （ｔ）、Ｈ2 （ｔ）が作成される。そして最終
的に、Ｈ（ｔ）＝Ｈ1 （ｔ）×Ｈ2 （ｔ）により、図５
（ｂ）に示すようにヒストグラムＨ（ｔ）を得る。この
ヒストグラムＨの最大を与えるｔが、テキストサイズＴ
であると推定する。上記のように外接矩形の面積のヒス
トグラムＨ1 （ｔ）と外接矩形の個数のヒストグラムＨ
2 （ｔ）を作成し、それらを掛け合わせたヒストグラム
Ｈ（ｔ）によりテキストサイズＴを推定することによ
り、文書画像中に、数は少なく面積の大きな矩形、数が
多く面積が小さい矩形が存在しても、それらに大きく影
響されることなくなくテキストサイズＴを推定すること
ができる。
【０００９】（３）矩形の大きさに基づくテキスト候補
推定 前記文書画像中の各矩形に対し、ｔ＝ｍａｘ（ｄｘ，ｄ
ｙ）を求め、ある数ｋを用いた条件式：ｔ≦Ｔ×ｋを満
たすものをテキスト候補と推定する。例えば、ｋは５な
どである。
推定 前記文書画像中の各矩形に対し、ｔ＝ｍａｘ（ｄｘ，ｄ
ｙ）を求め、ある数ｋを用いた条件式：ｔ≦Ｔ×ｋを満
たすものをテキスト候補と推定する。例えば、ｋは５な
どである。
【００１０】（４）密集度に基づくテキスト候補の推定 まず、密集度の定義を示す。ある領域内の矩形集合にお
いて、点Ａにおける矩形の密集度とは、図６に示すよう
に、点Ａを中心とし１辺がある定められた長さの正方形
の中に含まれる矩形の個数のことである。密集度に基づ
くテキスト候補の推定処理においては、以下に説明する
ように、上記テキスト候補の矩形集合とテキストサイズ
Ｔから近傍集合を生成して密集度を求め、密集度がしき
い値以上のものをテキスト候補として出力する。
いて、点Ａにおける矩形の密集度とは、図６に示すよう
に、点Ａを中心とし１辺がある定められた長さの正方形
の中に含まれる矩形の個数のことである。密集度に基づ
くテキスト候補の推定処理においては、以下に説明する
ように、上記テキスト候補の矩形集合とテキストサイズ
Ｔから近傍集合を生成して密集度を求め、密集度がしき
い値以上のものをテキスト候補として出力する。
【００１１】 近傍集合生成 矩形に対し、矩形の中心点を中心とし１辺が〔テキスト
サイズＴ〕×Ｌの正方形を、近傍と呼ぶことにする。こ
こで、Ｌはあらかじめ定められた数で、例えば０．６な
どである。各矩形に対し、このような近傍を求める。 重複チェックによる密集度の計算 各近傍に対し、近傍領域に含まれる矩形を後述する平面
走査法により効率的に調べ上げ、各矩形に対しその近傍
に含まれる矩形の個数を求める。そして、近傍に含まれ
る矩形の個数をその矩形の密集度ωとする。そして、各
矩形について、上記密集度ωと予め定められたしきい値
ｔｈを比較し、ω≦ｔｈであれば、その矩形はテキスト
候補として判定する。また、それ以外は非テキストと判
定する。ここで、上記しきい値ｔｈは例えば１０などで
ある。
サイズＴ〕×Ｌの正方形を、近傍と呼ぶことにする。こ
こで、Ｌはあらかじめ定められた数で、例えば０．６な
どである。各矩形に対し、このような近傍を求める。 重複チェックによる密集度の計算 各近傍に対し、近傍領域に含まれる矩形を後述する平面
走査法により効率的に調べ上げ、各矩形に対しその近傍
に含まれる矩形の個数を求める。そして、近傍に含まれ
る矩形の個数をその矩形の密集度ωとする。そして、各
矩形について、上記密集度ωと予め定められたしきい値
ｔｈを比較し、ω≦ｔｈであれば、その矩形はテキスト
候補として判定する。また、それ以外は非テキストと判
定する。ここで、上記しきい値ｔｈは例えば１０などで
ある。
【００１２】以下、上記平面走査法による近傍領域に含
まれる矩形の個数の求め方について説明する。平面走査
法は、図７に示すように文書画像を走査線により走査し
て、各テキスト候補の矩形Ｒｔ〔ｉ〕（ｉ＝１…Ｎ）の
近傍Ｒｎ〔ｉ〕（ｉ＝１…Ｎ）に含まれる矩形の個数を
求める方法である。まず、以下で使用する記述について
説明する。 ・矩形情報 ｉ番目の矩形情報Ｒ〔ｉ〕は以下のような形式を持つ。 ｘ１：左上ｘ座標 ｙ１：左上ｙ座標 ｘ２：右下ｘ座標 ｙ２：右下ｙ座標
まれる矩形の個数の求め方について説明する。平面走査
法は、図７に示すように文書画像を走査線により走査し
て、各テキスト候補の矩形Ｒｔ〔ｉ〕（ｉ＝１…Ｎ）の
近傍Ｒｎ〔ｉ〕（ｉ＝１…Ｎ）に含まれる矩形の個数を
求める方法である。まず、以下で使用する記述について
説明する。 ・矩形情報 ｉ番目の矩形情報Ｒ〔ｉ〕は以下のような形式を持つ。 ｘ１：左上ｘ座標 ｙ１：左上ｙ座標 ｘ２：右下ｘ座標 ｙ２：右下ｙ座標
【００１３】・カレント情報 カレント情報とは上記した走査線の役割を果たすもので
あり、ｉ番目のカレントＣ〔ｉ〕は以下の形式で表現さ
れる。 ｘ ：ｘ座標 label ：ラベル番号 flag1 ：ＩＮまたはＯＵＴの属性 flag2 ：ＴＥＸＴ（テキスト候補）またはＮＥＩＧＨＢ
ＯＲ（近傍）の属性
あり、ｉ番目のカレントＣ〔ｉ〕は以下の形式で表現さ
れる。 ｘ ：ｘ座標 label ：ラベル番号 flag1 ：ＩＮまたはＯＵＴの属性 flag2 ：ＴＥＸＴ（テキスト候補）またはＮＥＩＧＨＢ
ＯＲ（近傍）の属性
【００１４】・スキャン集合 スキャンテキスト集合とは、上記走査線上に乗っている
テキスト集合である。また、スキャン近傍集合とは上記
走査線上に乗っている近傍の集合である。 ・密集度の情報 ｉ番目のテキスト候補の密集度ω〔ｉ〕は、ｉ番目のテ
キスト候補の近傍に重複するテキスト候補の個数で表さ
れ、以下の形式で表現される。 num ：重複しているテキスト矩形の個数 label ：重複しているテススト矩形の個数
テキスト集合である。また、スキャン近傍集合とは上記
走査線上に乗っている近傍の集合である。 ・密集度の情報 ｉ番目のテキスト候補の密集度ω〔ｉ〕は、ｉ番目のテ
キスト候補の近傍に重複するテキスト候補の個数で表さ
れ、以下の形式で表現される。 num ：重複しているテキスト矩形の個数 label ：重複しているテススト矩形の個数
【００１５】次に平面走査法による密集度の計算につい
て説明する。 (1) テキスト候補をＲｔ〔ｉ〕（ｉ＝１，…，Ｎ）によ
って表し、Ｒｔ〔ｉ〕（ｉ＝１，…，Ｎ）にテキスト候
補の外接矩形座標とラベル番号を代入する。 (2) 近傍をＲｎ〔ｉ〕（ｉ＝１，…，Ｎ）によって表
し、Ｒｎ〔ｉ〕（ｉ＝１，…，Ｎ）に、テキスト候補Ｒ
ｔ〔ｉ〕の近傍の座標と、Ｒｔ〔ｉ〕のラベル番号を代
入する。
て説明する。 (1) テキスト候補をＲｔ〔ｉ〕（ｉ＝１，…，Ｎ）によ
って表し、Ｒｔ〔ｉ〕（ｉ＝１，…，Ｎ）にテキスト候
補の外接矩形座標とラベル番号を代入する。 (2) 近傍をＲｎ〔ｉ〕（ｉ＝１，…，Ｎ）によって表
し、Ｒｎ〔ｉ〕（ｉ＝１，…，Ｎ）に、テキスト候補Ｒ
ｔ〔ｉ〕の近傍の座標と、Ｒｔ〔ｉ〕のラベル番号を代
入する。
【００１６】(3) カレントをＣ〔ｉ〕（ｉ＝１，…，４
Ｎ）によつて表す。まず、Ｃ〔２ｉ−１〕（ｉ＝ｉ，
…，Ｎ）についてｘにはテキスト候補Ｒｔ〔ｉ〕のｘ１
を、label にはＲｔ〔ｉ〕のlabel を、flag1 にはＩＮ
を、flag2 にはＴＥＸＴを代入する。また、Ｃ〔２ｉ〕
（ｉ＝ｉ，…，Ｎ）について、ｘにはテキスト候補Ｒｔ
〔ｉ〕のｘ２を、label にはＲｔ〔ｉ〕のlabel を、fl
ag1 にはＯＵＴを、flag2にはＴＥＸＴを代入する。次
に、Ｃ〔２ｉ−１＋２Ｎ〕（（ｉ＝１，…，４Ｎ）につ
いて、ｘには近傍Ｒｎ〔ｉ〕のlabel を、flag1 にはＩ
Ｎを、flag2 にはＮＥＩＧＨＢＯＲを代入する。また、
Ｃ〔２ｉ＋２Ｎ〕（ｉ＝ｉ，…，Ｎ）について、ｘには
近傍Ｒｎ〔ｉ〕のｘ２を、label にはＲｎ〔ｉ〕のlabe
l を、flag1 にはＯＵＴを、flag2 にはＮＥＩＧＨＢＯ
Ｒを代入する。すなわち、テキストＲｔ〔ｉ〕のＩＮ
（ｘ＝ｘ１）について、カレントＣ〔２ｉ−１〕が、テ
キストＲｔ〔ｉ〕のＯＵＴ（ｘ＝ｘ２）について、カレ
ントＣ〔２ｉ〕が、その近傍Ｒｎ〔ｉ〕のＩＮ（ｘ＝ｘ
１）について、カレントＣ〔２ｉ−１＋Ｎ〕が、Ｒｎ
〔ｉ〕のＯＵＴ（ｘ＝ｘ２）について、カレントＣ〔２
ｉ＋Ｎ〕が定められる。 (4) Ｃ〔ｉ〕（ｉ＝ｉ，…，４Ｎ）をｘに関しソートす
る。
Ｎ）によつて表す。まず、Ｃ〔２ｉ−１〕（ｉ＝ｉ，
…，Ｎ）についてｘにはテキスト候補Ｒｔ〔ｉ〕のｘ１
を、label にはＲｔ〔ｉ〕のlabel を、flag1 にはＩＮ
を、flag2 にはＴＥＸＴを代入する。また、Ｃ〔２ｉ〕
（ｉ＝ｉ，…，Ｎ）について、ｘにはテキスト候補Ｒｔ
〔ｉ〕のｘ２を、label にはＲｔ〔ｉ〕のlabel を、fl
ag1 にはＯＵＴを、flag2にはＴＥＸＴを代入する。次
に、Ｃ〔２ｉ−１＋２Ｎ〕（（ｉ＝１，…，４Ｎ）につ
いて、ｘには近傍Ｒｎ〔ｉ〕のlabel を、flag1 にはＩ
Ｎを、flag2 にはＮＥＩＧＨＢＯＲを代入する。また、
Ｃ〔２ｉ＋２Ｎ〕（ｉ＝ｉ，…，Ｎ）について、ｘには
近傍Ｒｎ〔ｉ〕のｘ２を、label にはＲｎ〔ｉ〕のlabe
l を、flag1 にはＯＵＴを、flag2 にはＮＥＩＧＨＢＯ
Ｒを代入する。すなわち、テキストＲｔ〔ｉ〕のＩＮ
（ｘ＝ｘ１）について、カレントＣ〔２ｉ−１〕が、テ
キストＲｔ〔ｉ〕のＯＵＴ（ｘ＝ｘ２）について、カレ
ントＣ〔２ｉ〕が、その近傍Ｒｎ〔ｉ〕のＩＮ（ｘ＝ｘ
１）について、カレントＣ〔２ｉ−１＋Ｎ〕が、Ｒｎ
〔ｉ〕のＯＵＴ（ｘ＝ｘ２）について、カレントＣ〔２
ｉ＋Ｎ〕が定められる。 (4) Ｃ〔ｉ〕（ｉ＝ｉ，…，４Ｎ）をｘに関しソートす
る。
【００１７】(5) Ｃ〔ｉ〕（ｉ＝ｉ，…，４Ｎ）につい
て以下の処理を行う。 (i) flag1 ＝ＩＮ、flag2 ＝ＴＥＸＴの場合 図８（ａ）に示すようにＣ〔ｉ〕のlabel 番号をＬとす
るとき、テキスト候補Ｒｔ〔Ｌ〕をスキャンテキスト集
合に登録する。
て以下の処理を行う。 (i) flag1 ＝ＩＮ、flag2 ＝ＴＥＸＴの場合 図８（ａ）に示すようにＣ〔ｉ〕のlabel 番号をＬとす
るとき、テキスト候補Ｒｔ〔Ｌ〕をスキャンテキスト集
合に登録する。
【００１８】(ii) flag1＝ＯＵＴ、flag2 ＝ＴＥＸＴの
場合 Ｃ〔ｉ〕のlabel 番号をＬとするとき、テキスト候補Ｒ
ｔ〔Ｌ〕が、スキャン近傍集合（走査線上に乗っている
近傍）に属する近傍で、その近傍のｘ１が上記テキスト
候補Ｒｔ〔Ｌ〕のｘ１より小さいもの、と重なっている
かをチェックする。重なっていれば、重なっている近傍
のラベル番号をＬ１，…Ｌｋとするとき、ω〔Ｌ１〕，
ω〔Ｌ２〕，…，ω〔Ｌｋ〕について、個数を一つ増加
させ、ω〔Ｌ１〕，ω〔Ｌ２〕，…，ω〔Ｌｋ〕のラベ
ル番号に上記Ｌを記録する。上記処理によりω〔Ｌ
１〕，ω〔Ｌ２〕，…，ω〔Ｌｋ〕にＲｔ〔Ｌ〕が登録
されたので、Ｒｔ〔Ｌ〕をスキャンテキスト集合から抹
消する。例えば、図８（ｂ）に示すように近傍Ｒｎ〔Ｌ
１〕、Ｒｎ〔Ｌ２〕がＲｔ〔Ｌ〕と重なっており、その
ｘ１がＲｔ〔Ｌ〕のｘ１より小さい場合には、ω（Ｌ
１），ω〔Ｌ２〕の個数を１増加させ、Ｒｔ〔Ｌ〕をス
キャン近傍集合から抹消する。なお、Ｒｔ〔Ｌ〕がスキ
ャン近傍集合に属する近傍で、そのｘ１がＲｔ〔Ｌ〕の
ｘ１より大きいもの（図８ではＲｎ〔Ｌ３〕）と重なっ
ているかは、次の(iii) でチェックされるので、ここで
はチェックする必要はない。
場合 Ｃ〔ｉ〕のlabel 番号をＬとするとき、テキスト候補Ｒ
ｔ〔Ｌ〕が、スキャン近傍集合（走査線上に乗っている
近傍）に属する近傍で、その近傍のｘ１が上記テキスト
候補Ｒｔ〔Ｌ〕のｘ１より小さいもの、と重なっている
かをチェックする。重なっていれば、重なっている近傍
のラベル番号をＬ１，…Ｌｋとするとき、ω〔Ｌ１〕，
ω〔Ｌ２〕，…，ω〔Ｌｋ〕について、個数を一つ増加
させ、ω〔Ｌ１〕，ω〔Ｌ２〕，…，ω〔Ｌｋ〕のラベ
ル番号に上記Ｌを記録する。上記処理によりω〔Ｌ
１〕，ω〔Ｌ２〕，…，ω〔Ｌｋ〕にＲｔ〔Ｌ〕が登録
されたので、Ｒｔ〔Ｌ〕をスキャンテキスト集合から抹
消する。例えば、図８（ｂ）に示すように近傍Ｒｎ〔Ｌ
１〕、Ｒｎ〔Ｌ２〕がＲｔ〔Ｌ〕と重なっており、その
ｘ１がＲｔ〔Ｌ〕のｘ１より小さい場合には、ω（Ｌ
１），ω〔Ｌ２〕の個数を１増加させ、Ｒｔ〔Ｌ〕をス
キャン近傍集合から抹消する。なお、Ｒｔ〔Ｌ〕がスキ
ャン近傍集合に属する近傍で、そのｘ１がＲｔ〔Ｌ〕の
ｘ１より大きいもの（図８ではＲｎ〔Ｌ３〕）と重なっ
ているかは、次の(iii) でチェックされるので、ここで
はチェックする必要はない。
【００１９】(iii) flag1 ＝ＩＮ、flag2 ＝ＮＥＩＧＨ
ＢＯＲの場合 Ｃ〔ｉ〕のlabel 番号をＬとするとき、Ｒｎ〔Ｌ〕をス
キャン近傍集合に登録する。そして、Ｒｎ〔Ｌ〕がスキ
ャンテキスト集合（走査線上に乗っているテキスト候補
の集合）に属するテキスト矩形と重なっているかをチェ
ックする。そして重なっていれば、その個数とラベル番
号をω〔Ｌ〕に記録する。例えば図９（ａ）に示すよう
に、Ｒｎ〔Ｌ〕がＲｔ〔Ｌｍ〕、Ｒｔ〔Ｌｎ〕と重なっ
ている場合、ω（Ｌ）に個数２を加え、ラベル番号Ｌ
ｍ，Ｌｎを登録する。
ＢＯＲの場合 Ｃ〔ｉ〕のlabel 番号をＬとするとき、Ｒｎ〔Ｌ〕をス
キャン近傍集合に登録する。そして、Ｒｎ〔Ｌ〕がスキ
ャンテキスト集合（走査線上に乗っているテキスト候補
の集合）に属するテキスト矩形と重なっているかをチェ
ックする。そして重なっていれば、その個数とラベル番
号をω〔Ｌ〕に記録する。例えば図９（ａ）に示すよう
に、Ｒｎ〔Ｌ〕がＲｔ〔Ｌｍ〕、Ｒｔ〔Ｌｎ〕と重なっ
ている場合、ω（Ｌ）に個数２を加え、ラベル番号Ｌ
ｍ，Ｌｎを登録する。
【００２０】(iv)flag1 ＝ＯＵＴ、flag2 ＝ＮＥＩＧＨ
ＢＯＲの場合 Ｃ〔ｉ〕のlabel 番号をＬとするとき、Ｒｎ〔Ｌ〕がス
キャンテキスト集合（走査線上に乗っているテキスト候
補の集合）に属するテキスト矩形と重なっているかをチ
ェックし、ω〔Ｌ〕に含まれていない分だけ、その個数
とラベル番号をω〔Ｌ〕に追加する。そしてＲｎ〔Ｌ〕
をスキャン近傍集合から抹消する。例えば、図９（ｂ）
に示すようにＲｎ〔Ｌ〕がＲｔ〔Ｌｋ〕と重なっている
場合には、ω〔Ｌ〕に個数１を追加し、ラベル番号Ｌｋ
を追加する。なお、Ｒｔ〔Ｌｉ〕は、Ｒｎ〔Ｌ〕がスキ
ャン近傍集合に登録されるとき、すなわち(iii) でチェ
ックしており、すでに登録済である。
ＢＯＲの場合 Ｃ〔ｉ〕のlabel 番号をＬとするとき、Ｒｎ〔Ｌ〕がス
キャンテキスト集合（走査線上に乗っているテキスト候
補の集合）に属するテキスト矩形と重なっているかをチ
ェックし、ω〔Ｌ〕に含まれていない分だけ、その個数
とラベル番号をω〔Ｌ〕に追加する。そしてＲｎ〔Ｌ〕
をスキャン近傍集合から抹消する。例えば、図９（ｂ）
に示すようにＲｎ〔Ｌ〕がＲｔ〔Ｌｋ〕と重なっている
場合には、ω〔Ｌ〕に個数１を追加し、ラベル番号Ｌｋ
を追加する。なお、Ｒｔ〔Ｌｉ〕は、Ｒｎ〔Ｌ〕がスキ
ャン近傍集合に登録されるとき、すなわち(iii) でチェ
ックしており、すでに登録済である。
【００２１】
【発明の効果】以上説明したように、本発明において
は、テキスト候補を中心とした一定の大きさの領域内に
含まれるテキスト候補の個数を密集度として求め、密集
度がしきい値以下のものをテキストと判定しているの
で、文書画像において写真の一部や背景模様等、小さな
構成要素が多数配置されていても、それらをテキストと
誤判定することがない。このため、テキストの行及び段
抽出処理に無駄な時間をかけることなく、正確なレイア
ウト識別が可能となる。
は、テキスト候補を中心とした一定の大きさの領域内に
含まれるテキスト候補の個数を密集度として求め、密集
度がしきい値以下のものをテキストと判定しているの
で、文書画像において写真の一部や背景模様等、小さな
構成要素が多数配置されていても、それらをテキストと
誤判定することがない。このため、テキストの行及び段
抽出処理に無駄な時間をかけることなく、正確なレイア
ウト識別が可能となる。
【図１】本発明の概要を説明する図である。
【図２】本発明を実現するためのシステムの構成例を示
す図である。
す図である。
【図３】本発明の実施例の処理を示すフローチャートで
ある。
ある。
【図４】黒画素連結領域と外接矩形を説明する図であ
る。
る。
【図５】テキストサイズの推定方法を説明する図であ
る。
る。
【図６】本発明における密集度の定義を示す図である。
【図７】平面走査法を説明する図（１）である。
【図８】平面走査法を説明する図（２）である。
【図９】平面走査法を説明する図（３）である。
【図１０】本発明が対象とする文書画像の一例を示す図
である。
である。
【図１１】文書画像中に含まれる写真、背景模様の１例
を示す図である。
を示す図である。
１ ラベリング手段 ２ テキストサイズ推定手段 ３ テキスト候補推定手段 ４ 密集度によるテキスト候補判定手段
Claims (5)
- 【請求項１】 ２値化された文書画像の黒画素の連結成
分に関する外接矩形の集合からテキストを抽出する文書
画像レイアウト識別方法であって、 文書画像上の各点に対し、その点を中心としたある一定
の大きさの領域に含まれる外接矩形の個数によって文書
画像上の各地点に外接矩形がどれだけ密集しているかの
度合いを定義し、 各外接矩形の中心における密集度があるしきい値以下の
ものをテキスト矩形と判定することを特徴とする文書画
像レイアウト識別方法。 - 【請求項２】 すべての外接矩形に対し、外接矩形の中
心における近傍を作り、近傍と外接矩形の重複を調べ、
外接矩形の密集度を測定することを特徴とする請求項１
の文書画像レイアウト識別方法。 - 【請求項３】 ２値化された文書画像の黒画素の連結成
分に関する外接矩形の集合からテキストを抽出する文書
画像レイアウト識別装置であって、 上記外接矩形の大きさからテキストサイズを推定する手
段と、 上記推定されたテキストサイズに基づきテキスト候補を
推定する手段と、 テキスト候補を中心とした一定の大きさの領域内に含ま
れるテキスト候補の個数を密集度として求め、密集度が
しきい値以下のものをテキストと判定する手段とを備え
たことを特徴する文書画像レイアウト識別装置。 - 【請求項４】 ２値化された文書画像の黒画素の連結成
分に関する外接矩形の集合からテキストを抽出するプロ
グラムであって、 上記プログラムは、文書画像上の各点に対し、その点を
中心としたある一定の大きさの領域に含まれる外接矩形
の個数によって文書画像上の各地点に外接矩形がどれだ
け密集しているかの度合いを調べる処理と、 各外接矩形の中心における密集度があるしきい値以下の
ものをテキスト矩形と判定する処理をコンピュータに実
行させることを特徴とする文書画像レイアウト識別プロ
グラム。 - 【請求項５】 ２値化された文書画像の黒画素の連結成
分に関する外接矩形の集合からテキストを抽出するプロ
グラムを記録した記録媒体であって、 上記プログラムは、文書画像上の各点に対し、その点を
中心としたある一定の大きさの領域に含まれる外接矩形
の個数によって文書画像上の各地点に外接矩形がどれだ
け密集しているかの度合いを調べ、 各外接矩形の中心における密集度があるしきい値以下の
ものをテキスト矩形と判定することを特徴とする文書画
像レイアウト識別プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115134A JP3960756B2 (ja) | 2000-04-26 | 2001-04-13 | 文書画像レイアウト識別方法および装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-125473 | 2000-04-26 | ||
| JP2000125473 | 2000-04-26 | ||
| JP2001115134A JP3960756B2 (ja) | 2000-04-26 | 2001-04-13 | 文書画像レイアウト識別方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002015323A true JP2002015323A (ja) | 2002-01-18 |
| JP3960756B2 JP3960756B2 (ja) | 2007-08-15 |
Family
ID=26590819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001115134A Expired - Fee Related JP3960756B2 (ja) | 2000-04-26 | 2001-04-13 | 文書画像レイアウト識別方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3960756B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1306447C (zh) * | 2004-02-27 | 2007-03-21 | 致伸科技股份有限公司 | 影像图文分离方法 |
| WO2008120376A1 (ja) * | 2007-03-29 | 2008-10-09 | Pioneer Corporation | 画像処理装置及び方法、並びに、光学式の文字識別装置及び方法 |
| US8218863B2 (en) | 2008-01-30 | 2012-07-10 | Ricoh Company, Ltd. | Image processing apparatus, image processing method and image processing means |
-
2001
- 2001-04-13 JP JP2001115134A patent/JP3960756B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1306447C (zh) * | 2004-02-27 | 2007-03-21 | 致伸科技股份有限公司 | 影像图文分离方法 |
| WO2008120376A1 (ja) * | 2007-03-29 | 2008-10-09 | Pioneer Corporation | 画像処理装置及び方法、並びに、光学式の文字識別装置及び方法 |
| US8218863B2 (en) | 2008-01-30 | 2012-07-10 | Ricoh Company, Ltd. | Image processing apparatus, image processing method and image processing means |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3960756B2 (ja) | 2007-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| US6411733B1 (en) | Method and apparatus for separating document image object types | |
| JP3601658B2 (ja) | 文字列抽出装置及びパターン抽出装置 | |
| JP2001297303A (ja) | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| US8391607B2 (en) | Image processor and computer readable medium | |
| US20210056336A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20020012465A1 (en) | Character string extraction apparatus and method based on basic component in document image | |
| US7146047B2 (en) | Image processing apparatus and method generating binary image from a multilevel image | |
| JP4077919B2 (ja) | 画像処理方法及び装置及びその記憶媒体 | |
| JP4613397B2 (ja) | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP5111055B2 (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
| JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
| JP5049922B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4049560B2 (ja) | 網点除去方法及びシステム | |
| JP5601027B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2006253842A (ja) | 画像処理装置、画像形成装置、プログラム、記憶媒体および画像処理方法 | |
| JP3960756B2 (ja) | 文書画像レイアウト識別方法および装置 | |
| JP3268552B2 (ja) | 領域抽出方法、宛名領域抽出方法、宛名領域抽出装置、及び画像処理装置 | |
| Song et al. | Raster to vector conversion of construction engineering drawings | |
| JP4651407B2 (ja) | 画像処理装置およびコンピュータプログラムおよび記憶媒体 | |
| JP4738645B2 (ja) | 網掛け領域検出装置、網掛け領域検出方法、プログラムおよび記憶媒体 | |
| Elmore et al. | A morphological image preprocessing suite for ocr on natural scene images | |
| JP4204185B2 (ja) | 文字認識装置、文字認識方法、および記録媒体 | |
| JP2022167414A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPH10154191A (ja) | 帳票識別方法及び装置並びに帳票識別プログラムを記録した媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |