JP2001283153A - カラー画像から文字列パターンを抽出する装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 カラー文書画像に含まれる文字と背景を高精
度に分離し、小さな文字パターンを抽出することが課題
である。 【解決手段】 パターン抽出装置は、まず、複数色の背
景上の大きな文字を抽出する方法を用いて、カラー画像
から文字列領域を抽出し、各文字列領域内のパターンを
抽出する（Ｓ９１）。次に、抽出された文字列領域の背
景部分が均一色か否かを判定し（Ｓ９２）、背景部分が
均一色であれば、一様色の背景上の小さな文字を抽出す
る方法を用いて、文字列領域からより詳細にパターンを
抽出する（Ｓ９３）。そして、すべての文字列領域の処
理が終了すると、抽出されたパターンの２値画像を出力
する（Ｓ９５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理技術に係
り、カラー画像からタイトル等の文字列パターンを抽出
するパターン抽出装置およびその方法に関する。

【０００２】

【従来の技術】近年、コンピュータやカラープリンタ等
の周辺機器の発達と、その低価格化に伴って、カラー画
像を処理する分野が広がっている。このため、カラー画
像を領域分割し、カラー画像の中から特定領域だけを抽
出する技術、例えば、カラー画像中の同色領域を抽出す
る技術が求められている。

【０００３】例えば、ＣＣＤ（charge coupled device
）カメラで撮影したカラー情景画像を処理対象の入力
画像とする場合、画像認識による果物選別や、車の監
視、セキュリティーのための人物監視等、多方面におい
て、このような技術が求められている。

【０００４】また、カラー文書画像を入力画像とする場
合、画像から文書名やキーワード等の文字領域を自動抽
出して、それを検索時に使用するための技術として期待
されている。その一例として、図書館での本の分類や、
管理の自動システムがあげられる。その他にも、画像を
データベースとして蓄積、共有化するグループウェアで
の自動キーワードまたはファイル名付け等に利用され
る。これらの情報は、膨大な量のカラー文書画像を自動
検索するのに使用される。

【０００５】カラー文書画像から文字領域を抽出する従
来の技術が記載されている文献としては、以下のような
ものがある。 ・仙田等，「文字の単色性に着目したカラー画像からの
文字パターン抽出法」，電子情報通信学会ＰＲＵ９４−
０９，ｐｐ．１７−２４，１９９４． ・上羽等，「等色線処理によるカラー画像からの文字領
域の抽出」，電子情報通信学会ＰＲＵ９４−０９，ｐ
ｐ．９−１６，１９９４． ・松尾等，「カラー文書画像からの単色文字領域の抽
出」，１９９７電子情報通信学会総合大会Ｄ−１２−１
９，１９９７． ・松尾等，「濃淡および色情報による情景画像からの文
字列抽出」，電子情報通信学会ＰＲＵ９２−１２１，ｐ
ｐ．２５−３２，１９９２． ・「画像処理装置およびパターン抽出装置」，特願平１
０−３５０３４２． これらの技術は、以下のように分類される。 ａ）色空間におけるクラスタリング法 ＲＧＢ画像の画素に対して、ＲＧＢ空間上またはＲＧＢ
以外の色空間（ＨＳＶ空間等）上で何らかのクラスタリ
ングを行い、１つのクラスタに属する画素だけで色毎の
画像を作成して、同一色の領域を抽出する。また、この
方法により抽出された領域を併合して、新たな領域を抽
出する。 ｂ）領域拡張法 隣接する画素の色が近いときにそれらの画素に同一ラベ
ルを与えることを繰り返して、画像全体を領域に区分し
ていく。この方法は、処理する対象が画素の周辺だけで
あるので、ａ）に比べて処理時間を短くできる利点があ
る。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
た従来の文字領域抽出方法には、次のような問題があ
る。

【０００７】カラー文書画像においては、文字の輪郭部
分で文字色と背景色が混ざり合う混色と呼ばれる現象が
見られる。このため、ａ）およびｂ）の両者とも、大き
な文字パターンでは問題ないが、小さな文字パターンで
は、文字の抽出そのものができなくなる場合があるとい
う問題を抱えている。

【０００８】本発明の課題は、カラー文書画像に含まれ
る文字と背景を高精度に分離し、小さな文字パターンで
も抽出することができるパターン抽出装置およびその方
法を提供することである。

【０００９】

【課題を解決するための手段】図１は、本発明のパター
ン抽出装置の原理図である。本発明の第１の局面におい
て、パターン抽出装置は、概略抽出手段１、詳細抽出手
段２、出力手段３、および判定手段４を備える。

【００１０】概略抽出手段１は、複数色の背景上の大き
な文字を抽出可能な抽出方法を用いて、カラー画像から
文字列パターンを抽出する。判定手段４は、抽出された
文字列パターンの領域内において、背景色が均一か否か
を判定する。詳細抽出手段２は、上記背景色が均一であ
るとき、一様色の背景上の小さな文字を抽出可能な抽出
方法を用いて、上記文字列パターンの領域から文字列パ
ターンを再抽出する。そして、出力手段３は、上記背景
色が均一でないとき、概略抽出手段１により抽出された
文字列パターンを出力し、上記背景色が均一であると
き、詳細抽出手段２により抽出された文字列パターンを
出力する。

【００１１】判定手段４は、概略抽出手段１により抽出
された文字列パターンの領域内において、さらに詳細抽
出手段２によるパターン抽出を行うか否かを、背景色の
均一性に基づいて決定する。そして、出力手段３は、詳
細抽出手段２により文字列パターンが抽出されたとき、
そのパターンを出力する。

【００１２】このようなパターン抽出装置によれば、文
字列パターンの領域内の背景色が均一でなければ、複数
色の背景上の文字を抽出する方法により抽出された文字
列パターンが出力され、その背景色が均一であれば、一
様色の背景上の文字を抽出する方法により抽出された文
字列パターンが出力される。後者の抽出方法では、前者
の抽出方法に比べて、より小さな文字まで詳細に抽出す
ることができるため、均一な背景色を有する領域におけ
る抽出精度が向上する。

【００１３】また、本発明の第２の局面において、パタ
ーン抽出装置は、概略抽出手段１、詳細抽出手段２、出
力手段３、および判定手段４を備える。詳細抽出手段２
は、一様色の背景上の小さな文字を抽出可能な抽出方法
を用いて、カラー画像から文字列パターンを抽出する。
判定手段４は、抽出された文字列パターンの領域内にお
いて、背景色が均一か否かを判定する。概略抽出手段１
は、上記背景色が均一でないとき、複数色の背景上の大
きな文字を抽出可能な抽出方法を用いて、上記文字列パ
ターンの領域から文字列パターンを再抽出する。そし
て、出力手段３は、上記背景色が均一であるとき、詳細
抽出手段２により抽出された文字列パターンを出力し、
上記背景色が均一でないとき、概略抽出手段１により抽
出された文字列パターンを出力する。

【００１４】判定手段４は、詳細抽出手段２により抽出
された文字列パターンの領域内において、さらに概略抽
出手段１によるパターン抽出を行うか否かを、背景色の
均一性に基づいて決定する。そして、出力手段３は、概
略抽出手段１により文字列パターンが抽出されたとき、
そのパターンを出力する。

【００１５】このようなパターン抽出装置によれば、第
１の局面におけるパターン抽出装置と同様に、均一な背
景色を有する領域における抽出精度が向上する。また、
本発明の第３の局面において、パターン抽出装置は、概
略抽出手段１、詳細抽出手段２、出力手段３、および合
成手段５を備える。

【００１６】概略抽出手段１は、複数色の背景上の大き
な文字を抽出可能な抽出方法を用いて、カラー画像から
文字列パターンを抽出する。詳細抽出手段２は、一様色
の背景上の小さな文字を抽出可能な抽出方法を用いて、
上記カラー画像から文字列パターンを抽出する。合成手
段５は、概略抽出手段１により抽出された文字列パター
ンと、詳細抽出手段２により抽出された文字列パターン
とを合成する。そして、出力手段３は、合成された文字
列パターンを出力する。

【００１７】このようなパターン抽出装置によれば、複
数色の背景上の文字を抽出する方法により抽出された文
字列パターンと、一様色の背景上の文字を抽出する方法
により抽出された文字列パターンが合成されて出力され
る。適切な合成方法を用いれば、前者の抽出方法におけ
る抽出精度の低さを後者の抽出方法により補うことがで
き、全体として抽出精度が向上する。

【００１８】また、本発明の第４の局面において、パタ
ーン抽出装置は、概略抽出手段１、詳細抽出手段２、お
よび出力手段３を備える。概略抽出手段１は、複数色の
背景上の大きな文字を抽出可能な抽出方法を用いて、カ
ラー画像から文字列パターンを抽出する。詳細抽出手段
２は、一様色の背景上の小さな文字を抽出可能な抽出方
法を用いて、上記カラー画像から文字列パターンを抽出
する。そして、出力手段３は、概略抽出手段１により抽
出された文字列パターンと、詳細抽出手段２により抽出
された文字列パターンとを個別に出力する。

【００１９】このようなパターン抽出装置によれば、複
数色の背景上の文字を抽出する方法により抽出された文
字列パターンと、一様色の背景上の文字を抽出する方法
により抽出された文字列パターンがそれぞれ個別に出力
される。したがって、ユーザは、出力された２つの文字
列パターンを比較して、いずれか一方を選択することが
でき、結果として抽出精度が向上する。

【００２０】例えば、図１の概略抽出手段１、詳細抽出
手段２、判定手段４、および合成手段５は、後述する図
５６のＣＰＵ（中央処理装置）２２１およびメモリ２２
２に対応し、図１の出力手段３は、図５６の出力装置２
２４に対応する。

【００２１】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本実施形態において
は、先願の特願平１０−３５０３４２（以下では、先願
Ａと記す）の技術を改良して、さらに高精度なパターン
抽出を実現している。主要な改良点は、先願のパターン
抽出技術に、別の先願のカラーテキスト抽出技術を所定
のアルゴリズムに基づいて組み合わせて、パターン抽出
技術をハイブリッド化したことである。

【００２２】別の先願である「文書画像認識装置、その
方法、及び記録媒体」（特願平１０−１４５３２２，以
下では、先願Ｂと記す）と「カラー文書画像認識装置」
（特願平１０−３５３０４５，以下では、先願Ｃと記
す）に記載されたカラーテキスト抽出技術では、カラー
画像の各画素の明度成分が所定のしきい値で２値化さ
れ、２値画像が生成される。この２値画像は、文字部分
に対応する値と背景部分に対応する値のいずれか一方を
持つ画素から構成される。

【００２３】このとき、先願Ｂでは、カラー画像をグレ
ースケール画像に変換し、グレースケール画像に対して
画素値の補間等の処理を施して、解像度の高い２値画像
を生成する。

【００２４】また、先願Ｃでは、まず、カラー画像をグ
レースケール画像に変換し、文字領域を覆う単一背景色
かつ単一文字色の部分領域の集合を求める。そして、そ
れぞれの部分領域の画像を２値化して部分２値画像を生
成し、部分２値画像を組み合わせて、全体のグレースケ
ール画像に対応する２値画像を生成する。

【００２５】このようなカラーテキスト抽出技術によれ
ば、一様色背景上に一様色で文字が記載されている画像
から高精度な２値画像が生成され、小さな文字パターン
を正しく抽出することができる。一方、先願Ａのパター
ン抽出技術によれば、大きな文字であれば、写真背景上
の文字であっても抽出することができる。そこで、両者
を組み合わせて実装することで、小さな文字パターンで
もある程度まで抽出することが可能になる。

【００２６】このハイブリッド化されたパターン抽出技
術を実現するために改良された点は、以下の通りであ
る。 １）色ラベリング時に小さなパターンまで抽出 先願Ａで使用されている色ラベリングでは、１つの同色
連結領域の面積が５画素以下、またはその外接矩形の高
さまたは幅が１画素である場合に、その領域を無視して
いた。今回の改良では、小さなパターンまで正しく抽出
するために、面積が５画素以下の領域だけ無視し、外接
矩形の高さまたは幅が１画素である領域は残すようにし
た。この結果、先願Ａの方法ではうまく抽出できていな
かった小さなパターンの抽出が可能になった。 ２）矩形単位の図形除去 色ラベリングで抽出された外接矩形を対象に、文字認識
処理を行い、１文字と判断された矩形が他の矩形に包含
される場合に、それを包含している矩形を図形と判断し
て除去する。 ３）注目矩形抽出時に小さい矩形まで抽出 先願Ａでは、３９．４ドット／ｃｍ画像に対して、２３
ドット以上の大きさの矩形を注目矩形として抽出してい
たが、小さなパターンを取りこぼすことがあったため、
１０ドット以上の大きさの矩形を抽出することにした。
この改良により、今までは抽出できなかった小さい文字
パターンの抽出が可能になった。 ４）同色グループ抽出の改良 先願Ａでは、同色の矩形グループに１つの矩形を組み入
れる場合に、グループの平均色と矩形の色から求められ
る色差のしきい値を用いて、そのグループに矩形を組み
入れるか否かを判定していた。ここでは、代わりに、画
像全体から求めた色差のしきい値を使用する。これによ
り、色ラベリングと同様に高精度な同色判定が可能とな
った。 ５）文字線太さによるグループの再分割の改良 先願Ａでは、文字線太さによるグループの分割におい
て、グループの平均色と矩形の色から求められる色差の
しきい値を、この処理に独自の固定しきい値として使用
していた。このため、文字線の太さと色に基づく再グル
ープ化が行われていた。その代わりに、４）のグループ
化と同様に、画像全体から求めた色差のしきい値を使用
することで、文字線の太さだけに基づく再グループ化が
正確に行えるようになった。 ６）グループ統合の高精度化 グループの統合において、グループの外接矩形の並び方
だけでなく、その内部に含まれる文字列矩形の並び方も
判断に入れるようにした。

【００２７】以上説明した１）〜６）の改良点に加え
て、さらに以下のような改良も行った。 ７）タイトルらしさによる出力順位の変更 別の先願である「文書画像からのタイトル抽出装置およ
び方法」（特願平７−３４１９８３，特開平９−１３４
４０６，以下では、先願Ｄと記す）の技術を応用して、
同色グループを単位としたタイトル抽出処理を開発し
た。これにより、同色グループの面積の大きい順にタイ
トルとして出力していたときに比べて、タイトル抽出の
性能が向上した。 ８）第１のノイズ除去の改良 同色グループの中から、背景から抽出されたグループだ
けを除去するノイズグループの除去において、先願Ａで
は、グループ内に２つの矩形があり、それらの矩形の端
の座標差が大きい場合にのみ、そのグループを削除する
という単純な処理を行っていた。しかし、このような処
理だけでは、ノイズグループが多数残ってしまってい
た。

【００２８】そこで、グループ内部に含まれる文字矩形
を文字認識処理し、その結果文字と判断された矩形が別
のグループの矩形領域にもかかっている場合に、その別
のグループを図形と判断して削除することにした。これ
により、ノイズグループが減少した。 ９）第２のノイズ除去の改良 グループ内の文字パターンの画素の縦横のヒストグラム
を生成し、縦横でヒストグラムの２乗和を求める。そし
て、それらの２乗和の差が一定しきい値より小さい場合
に、文字列が存在しないものと判断し、そのグループを
ノイズとして削除することにした。これにより、ノイズ
グループが減少した。

【００２９】本実施形態のパターン抽出装置は、以上の
ような改良を加えたパターン抽出処理のプログラムを実
装したコンピュータを含む。そして、ＣＣＤカメラやス
キャナ等により入力された画像データから文字パターン
を抽出する。まず、パターン抽出処理の前処理として、
図２に示すようなテーブル作成処理が行われる。

【００３０】図２のテーブル作成処理において、パター
ン抽出装置は、まず、印刷シミュレーション処理を行う
（ステップＳＴ１）。雑誌等のカラー印刷物は、グラビ
ア等、色々な印刷方法があるが、網点印刷法で印刷され
たものが、世の中には多い。網点印刷法で印刷された画
像では、人間の目には均一色と見える領域でも、拡大し
てみると、図３に示すように、カラーのモアレ模様が生
じている。

【００３１】図３において、左側の原画像１１内の
「の」と書かれた領域は、例えば、オレンジ色の１色で
描かれているが、その領域の一部を拡大すると、右側に
示すように、その領域は、様々の色が集まって構成され
ている。

【００３２】このため、隣接画素の色差（ＲＧＢの輝度
差等）を固定しきい値と比較して、それらの画素に同一
ラベルを与えるか否かを判断すると、適応できない場合
がある。例えば、図３の「の」と書かれた領域内の画素
１２〜１４には、他の画素とは異なるラベルが付加さ
れ、原画像１１から「の」の文字を抽出する際に、これ
らの画素１２〜１４の部分が欠落して、抽出精度が悪化
する。

【００３３】そこで、印刷モデルを用いて、ＲＧＢの平
均輝度値とスキャナ読み取り解像度毎の隣接画素のＲＧ
Ｂ輝度差をあらかじめ求め、それらの結果を色差テーブ
ルに格納しておく。そして、色差テーブルを参照しなが
ら、各色毎にしきい値を制御することにより、ラベリン
グを行う。

【００３４】例えば、図３の画素１４と画素１５との間
の色差が最大の場合、画素１４と画素１５との間の色差
を、オレンジ色の領域を抽出する際のしきい値に設定す
る。この結果、原画像１１から「の」の文字を抽出する
際、画素１２〜１４についても、他の画素と同一のラベ
ルを付加することが可能となる。

【００３５】図４は、カラーの網点印刷法で印刷された
印刷物の画像の拡大図である。図４において、シアン
（水色）、マゼンタ（紫）、黄色の点状の模様が、場所
によって点２１、２２、２３の大きさを変えながら、メ
ッシュ状に規則的に配置されていることが分る。

【００３６】網点印刷を行う場合、まず、３原色（また
は、黒を加えた４原色）の１つの色について、ある一定
の間隔のメッシュの交点に、希望する濃度になるような
適当な大きさの塗りつぶし円を配置して、１色を刷り上
げる。次に、少し回転させた同じ間隔のメッシュを用い
て、塗りつぶし円の大きさを変更して、別の色で刷り上
げる。そして、もう１つの色は、さらに回転させたメッ
シュを用いて、塗りつぶし円の大きさも変更して刷り上
げる。このような印刷方法をとることにより、１画素づ
つ見るのではなく大局的に見る人間にとっては、綺麗な
均一色に見えるのである。

【００３７】図５は、網点印刷法における印刷モデルの
構築方法を示す図である。図５においては、印刷モデル
として、シアン、マゼンタ、黄色の印刷メッシュＭ１
１、Ｍ１２、Ｍ１３をそれぞれ回転させて重ね合わせた
ものを使用し、カラー画像の色を仮想的に表現する。こ
こで、シアン、マゼンタ、黄色の色の濃さを調節する場
合、印刷メッシュＭ１１、Ｍ１２、Ｍ１３の各格子点に
配置される塗りつぶし円Ｄ１１、Ｄ１２、Ｄ１３の大き
さを調節する。

【００３８】このとき、一般的な印刷モデルのパラメー
タは、以下のようになる。 ・印刷メッシュＭ１１、Ｍ１２、Ｍ１３の格子間隔ｍｄ （ただし、格子間隔ｍｄは、黄色、シアン、マゼンタに
共通のサイズである） ・黄色メッシュＭ１１の水平線からの角度θ１１ ・マゼンタメッシュＭ１２の水平線からの角度θ１２ ・シアンメッシュＭ１３の水平線からの角度θ１３ ・黄色の塗りつぶし円Ｄ１１の半径ｒ１１ ・マゼンタの塗りつぶし円Ｄ１２の半径ｒ１２ ・シアンの塗りつぶし円Ｄ１３の半径ｒ１３ ただし、本実施形態では、これらのパラメータのすべて
を可変にすると煩雑すぎるので、ある程度の限定を与
え、以下のように設定した。

【００３９】・黄色メッシュＭ１１の水平線からの角度
θ１１＝１５度 ・マゼンタメッシュＭ１２の水平線からの角度θ１２＝
３０度 ・シアンメッシュＭ１３の水平線からの角度θ１３ ＝
４５度 ・格子間隔ｍｄ＝２０ドット この印刷モデルを使用してシミュレーションを行い、黄
色、マゼンタ、シアンの塗りつぶし円Ｄ１１、Ｄ１２、
Ｄ１３のそれぞれの半径ｒ１１、ｒ１２、ｒ１３の影響
を受ける平均ＲＧＢ値（Ｒｍ，Ｇｍ，Ｂｍ）を求める。
具体的には、印刷メッシュＭ１１、Ｍ１２、Ｍ１３の格
子間隔ｍｄよりもかなり大きな単位面積を考え、平均Ｒ
ＧＢ値（Ｒｍ，Ｇｍ，Ｂｍ）を、次式により求める。 Ｒｍ＝２５５−単位面積中のシアンの面積×２５５／単
位面積 Ｇｍ＝２５５−単位面積中のマゼンタの面積×２５５／
単位面積 Ｂｍ＝２５５−単位面積中の黄色の面積×２５５／単位
面積 次に、パターン抽出装置は、スキャニングシミュレーシ
ョン処理を行う（ステップＳＴ２）。ここでは、１つの
色（Ｒｍ，Ｇｍ，Ｂｍ）で均一に印刷されている画像を
スキャナで読み込んだ場合のモデルについて考える。こ
の処理は、図５の印刷メッシュＭ１１、Ｍ１２、Ｍ１３
と独立な間隔ｓｄを有する読み込みメッシュＭ１４を導
入し、この読み込みメッシュＭ１４内のＲＧＢの各輝度
値（＝各色の面積）を求めることに相当する。

【００４０】ここで、読み込みメッシュＭ１４の間隔ｓ
ｄが、スキャナ読み込み解像度に相当する。なお、同じ
平均色（Ｒｍ，Ｇｍ，Ｂｍ）の画像を読み込む場合で
も、スキャナ読み込み解像度が大きい場合には、読み取
った結果の画素のＲＧＢ輝度値は隣接画素間で大きく異
なり、隣接画素間のＲＧＢ輝度差は大きくなる。逆に、
スキャナ読み込み解像度が小さい場合には、いずれの画
素のＲＧＢ輝度値も（Ｒｍ，Ｇｍ，Ｂｍ）に近づくた
め、隣接画素間のＲＧＢ輝度差は０に近づくことにな
る。

【００４１】読み込みメッシュＭ１４の１つのメッシュ
内のＲＧＢ輝度値（Ｒｃ，Ｇｃ，Ｂｃ）は、以下のよう
になる。 Ｒｃ＝２５５−メッシュ内のシアンの面積×２５５／メ
ッシュ面積 Ｇｃ＝２５５−メッシュ内のマゼンタの面積×２５５／
メッシュ面積 Ｂｃ＝２５５−メッシュ内の黄色の面積×２５５／メッ
シュ面積 上式により、読み込みメッシュＭ１４のメッシュ毎にＲ
ＧＢ輝度値（Ｒｃ，Ｇｃ，Ｂｃ）を求め、隣接メッシュ
とのＲＧＢそれぞれの輝度差を、隣接画素との輝度差と
して求める。そして、得られた輝度差のうちの適当な値
（例えば、最大値）を色差テーブルに記録する。

【００４２】本来の印刷モデルでは、各印刷メッシュの
交点に描かれた塗りつぶし円は、相互に重なり合い、Ｒ
ＧＢの各輝度値によって相互に影響を及ぼし合うため、
ＲＧＢは独立とは言えない。しかし、スキャナ読み込み
モデルでは、単純化のために、ＲＧＢは相互に独立であ
るという仮説を立てた。そして、各ＲＧＢ輝度値、隣接
画素との輝度差、および読み込み解像度（間隔ｓｄ）
を、ＲＧＢ独立のテーブルに保存する。

【００４３】図６は、Ｒ輝度値の色差テーブルの例を示
している。図６の色差テーブルにおいては、０〜２５５
のＲ輝度値について、スキャナ読み込み解像度が１４〜
３５のそれぞれに対して、隣接画素との輝度差の最大値
が記録されている。Ｇ輝度値とＢ輝度値の色差テーブル
についても同様である。

【００４４】これらの色差テーブルにおいて、輝度値の
エントリは、０〜２５５のすべての値を網羅しているわ
けではなく、数十個の飛び飛びの値を示している。この
場合、以下のような補完演算により、他の輝度値に対す
る隣接画素との輝度差の最大値を求めることができる。

【００４５】まず、色差テーブルに登録されている輝度
値Ｒｉ、Ｒｉ＋１に対する隣接画素との輝度差の最大値
を、それぞれ、Ｒｄｉ、Ｒｄｉ＋１とする。このとき、
色差テーブルに登録されていない輝度値Ｒｍが、輝度値
Ｒｉと輝度値Ｒｉ＋１の間の線形補間で表されるものと
し、その関係を隣接画素との輝度値の最大値にも適用し
て、推定される隣接画素との輝度値の最大値ｉｎｆｅｒ
ｅｄ＿ｄｅｌｔａを、次式により求める。 ｒｌ＝Ｒｉ−Ｒｉ＋１ ｒｍ＝Ｒｍ−Ｒｉ ｒｎ＝Ｒｉ＋１−Ｒｍ ｉｎｆｅｒｅｄ＿ｄｅｌｔａ＝Ｒｄｉ＊ｒｎ／ｒｌ＋Ｒ
ｄｉ＋１＊ｒｍ／ｒｌ この計算自身は単純であるが、１画素について毎回行う
必要があるので、パターン抽出処理に組み込むと、全体
として処理を遅らせる要因になる。そこで、パターン抽
出装置は、あらかじめ補完演算を行い、すべての輝度値
のエントリを有するフルエントリ色差テーブルを作成し
て（ステップＳＴ３）、処理を終了する。

【００４６】ここでは、０〜２５５の輝度値を擬似的に
発生させ、それぞれの輝度値に対する隣接画素との輝度
差の最大値を上述した方法で求めて、その値を色差テー
ブルに格納する。この処理をＲＧＢそれぞれの輝度値に
ついて行う。

【００４７】図７は、Ｒ輝度値のフルエントリ色差テー
ブルの例を示している。図７の色差テーブルにおいて
は、０〜２５５のすべてのＲ輝度値について、スキャナ
読み込み解像度が１４〜３５のそれぞれに対して、隣接
画素との輝度差の最大値が記録されている。Ｇ輝度値と
Ｂ輝度値の色差テーブルについても同様である。

【００４８】このように、網点印刷法を模倣した印刷モ
デルを構築することにより、網点印刷法で生成される色
をコンピュータ上で再現することが可能となり、実際に
印刷された印刷物を解析することなく、ＲＧＢの色差テ
ーブルを生成することができる。後続するパターン抽出
処理においては、これらの色差テーブルを参照すること
により、入力画像から同一色の範囲を検出する際のしき
い値を獲得することができる。

【００４９】また、すべての輝度値のエントリを有する
色差テーブルをあらかじめ作成しておくことにより、パ
ターン抽出処理において補完演算を省略することが可能
となる。このため、数十個の飛び飛びの輝度値のエント
リしか持たない色差テーブルを用いる場合に比べて、パ
ラメータ推定や色ラベリング等の処理時間を削減するこ
とができる。

【００５０】次に、色差テーブルを用いたパターン抽出
処理について説明する。図８および図９は、パターン抽
出処理のフローチャートである。このフローチャートに
おいて、ステップＳ４、Ｓ５、Ｓ７、Ｓ９、Ｓ１１、Ｓ
２０、Ｓ２２、Ｓ２４、およびＳ２５の処理が、上述し
た改良点を含んでいる。

【００５１】パターン抽出装置は、まず、ＣＣＤカメラ
やスキャナ等の撮像装置でカラー画像を入力し、メモリ
に保存する（図８のステップＳ１）。次に、フルカラー
判定処理を行う（ステップＳ２）。ここでは、入力画像
のヘッダに含まれている１画素当たりのビット数を調
べ、２４ビット／画素の画像をフルカラー画像とみな
し、ステップＳ３以降の処理を行う。また、１画素当た
りのビット数が２４ビットより小さい場合には、フルカ
ラー以外の入力画像とみなし、ステップＳ１２以降の処
理を行う。

【００５２】入力画像がフルカラー画像であれば、次
に、モデル解像度推定処理および距離しきい値獲得処理
を行う（ステップＳ３）。モデル解像度推定処理では、
入力画像の解像度が印刷モデルのどの読み込み解像度に
適合しているかを推定する。この処理では、入力画像を
メッシュ状に分割し、ＲＧＢの各色成分について、各メ
ッシュにおける隣接画素との輝度値の最大値を求め、そ
の値と最も良く一致する読み込み解像度を色差テーブル
から求める。

【００５３】具体的には、入力画像を３×３画素のメッ
シュに分割し、その内部の平均ＲＧＢ輝度値を（Ｒｍ，
Ｇｍ，Ｂｍ）とし、隣接画素との輝度差の最大値を（Ｒ
ｄ，Ｇｄ，Ｂｄ）とする。この処理はＲＧＢ独立の処理
であるので、Ｒを例にして説明する。

【００５４】まず、解像度をある値に固定して、Ｒｍか
ら色差テーブルを参照し、推定される隣接画素との輝度
値の最大値ｉｎｆｅｒｅｄ＿ｄｅｌｔａを求める。この
値ｉｎｆｅｒｅｄ＿ｄｅｌｔａと実際に画像から求めた
Ｒｄとの差ｄｉｆｆ＿ｒを、次式により求める。 ｄｉｆｆ＿ｒ＝｜Ｒｄ−ｉｎｆｅｒｅｄ＿ｄｅｌｔａ｜ 次に、解像度をパラメータとしてスキャンし、このｄｉ
ｆｆ＿ｒの値が最も小さくなる解像度ｒｅｓｏｌ＿ｒを
求める。この解像度ｒｅｓｏｌ＿ｒを入力画像中の各メ
ッシュについて算出し、それらの値の平均値ｍｅａｎ＿
ｒｅｓｏｌ＿ｒを求める。

【００５５】これと同様の処理をＧ、Ｂについても行
い、平均値ｍｅａｎ＿ｒｅｓｏｌ＿ｇ、ｍｅａｎ＿ｒｅ
ｓｏｌ＿ｂを求める。そして、それらの平均値の平均値
ｒｅｓｏｌｕｔｉｏｎを、次式により求め、この値を入
力画像の推定解像度として用いる。 ｒｅｓｏｌｕｔｉｏｎ＝（ｍｅａｎ＿ｒｅｓｏｌ＿ｒ＋
ｍｅａｎ＿ｒｅｓｏｌ＿ｇ＋ｍｅａｎ＿ｒｅｓｏｌ＿
ｂ）／３ また、距離しきい値獲得処理では、入力画像の中から局
所的に同色領域（色の変化が無い部分）を求め、その局
所領域から色ラベリングで使用する距離値のしきい値を
求める。

【００５６】具体的には、入力画像を３×３画素のメッ
シュに分割し、その内部の平均ＲＧＢ輝度値（Ｒｍ，Ｇ
ｍ，Ｂｍ）と分散値（Ｒｖ，Ｇｖ，Ｂｖ）を求める。そ
して、ＲＧＢの各分散値の２乗和のルートを、次式によ
り求める。 ｓ＝ｓｑｒｔ（Ｒｖ×Ｒｖ＋Ｇｖ×Ｇｖ＋Ｂｖ×Ｂｖ） この値ｓをメッシュの分散値として、入力画像の各メッ
シュのｓ値を求め、それらを記録する。また、ｓ値の最
大値をｓｍａｘとして記録する。ここで、メッシュのｓ
値が以下の条件を満足する場合、そのメッシュを対象メ
ッシュとする。

【００５７】ｓｍａｘ×ＲＡＮＧＥ＿ＬＯＷ＜ｓ＜ｓｍ
ａｘ×ＲＡＮＧＥ＿ＨＩＧＨ かつ ｓ＞ＭＩＮ＿ＶＡＲＩ 例えば、ＲＡＮＧＥ＿ＬＯＷ＝０．００４、ＲＡＮＧＥ
＿ＨＩＧＨ＝０．１６、ＭＩＮ＿ＶＡＬＩ＝１０であ
る。次に、画像全体から得られるメッシュの中で、対象
メッシュのｓ値のルートを標準偏差として求める。そし
て、この標準偏差をｋ倍して得られる値の平均値ＴＨ＿
ｄｉｓｔを全メッシュについて求め、この平均値を距離
のしきい値とする。例えば、ｋ＝３．０とすると、しき
い値ＴＨ＿ｄｉｓｔは、次式により与えられる。

【００５８】

【数１】

【００５９】ここで、ｓｉはｉ番目の対象メッシュのｓ
値を表し、ｎは対象メッシュの数を表す。次に、色ラベ
リング処理を行って、隣接する画素の色が近い場合にそ
れらの画素に同一のラベルを与える（ステップＳ４）。

【００６０】具体的には、入力画像の左上からラスタス
キャンを行い、ラベル付けがされていない画素に注目す
る。この注目画素のＲＧＢ輝度値（Ｒ、Ｇ、Ｂ）と推定
解像度ｒｅｓｏｌｕｔｉｏｎとを用いて色差テーブルを
検索することにより、隣接画素との輝度差の最大値をＲ
ＧＢの色成分毎に求める。隣接画素との輝度差の最大値
が求まると、この値をラベリングのしきい値（ｄｅｌｔ
ａ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ＿ｂ）とする。

【００６１】次に、注目画素の周囲の８画素を走査し
て、その注目画素の周囲に既にラベル付けされた周囲画
素があり、その周囲画素のＲＧＢ輝度値（Ｒｓ，Ｇｓ，
Ｂｓ）が以下の条件を満たす場合に、注目画素の色はそ
の周囲画素の色と近いと判断する。 ｜Ｒ−Ｒｓ｜＜＝ｄｅｌｔａ＿ｒ かつ ｜Ｇ−Ｇｓ｜＜＝ｄｅｌｔａ＿ｇ かつ ｜Ｂ−Ｂｓ｜＜＝ｄｅｌｔａ＿ｂ 周囲画素の色が注目画素の色と近い判断されると、周囲
画素のラベルをカレントラベルｒｅｇｉｏｎとして保存
し、注目画素のラベルとしてｒｅｇｉｏｎを与える。ま
た、このラベル領域の平均色（Ｒｍ，Ｇｍ，Ｂｍ）とし
て、周囲の同一ラベル領域の平均色に注目画素の色を加
味した新たな平均色を求める。

【００６２】それ以外の場合は、カレントラベルとし
て、直前のラベル値に１を加算した値を設定し、注目画
素のラベルにその値を付与する。この場合には、ラベル
領域の平均色（Ｒｍ，Ｇｍ，Ｂｍ）として、注目画素の
ＲＧＢ値を設定する。また、どちらの場合でも、注目画
素の座標値を処理対象座標配列に保存する。

【００６３】次に、注目画素の周りに同色領域を拡張す
る処理を行う。処理対象座標配列の中から、先頭の座標
値を取り出し、その座標値の画素を注目画素とする。注
目画素のＲＧＢ輝度値から色差テーブルを検索し、ＲＧ
Ｂの各色成分の隣接画素との輝度差の最大値を推定しき
い値（ｄｅｌｔａ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ＿
ｂ）とする。

【００６４】注目画素の周囲の８画素を走査して、周囲
画素が未処理の場合、その周囲画素のＲＧＢ輝度値（Ｒ
ｉ，Ｇｉ，Ｂｉ）を求め（ｉ＝１，．．．，８）、注目
画素のＲＧＢ輝度値（Ｒｃ，Ｇｃ，Ｂｃ）およびラベル
領域の平均色（Ｒｍ，Ｇｍ，Ｂｍ）との輝度差をＲＧＢ
各色成分毎に求める。

【００６５】そして、周囲画素のＲＧＢ輝度値（Ｒｉ，
Ｇｉ，Ｂｉ）と注目画素のＲＧＢ輝度値（Ｒｃ，Ｇｃ，
Ｂｃ）の関係が、 ｜Ｒｉ−Ｒｃ｜＜＝ｄｅｌｔａ＿ｒ かつ ｜Ｇｉ−Ｇｃ｜＜＝ｄｅｌｔａ＿ｇ かつ ｜Ｂｉ−Ｂｃ｜＜＝ｄｅｌｔａ＿ｂ の条件を満たし、かつ、平均色（Ｒｍ，Ｇｍ，Ｂｍ）と
周囲画素のＲＧＢ輝度値（Ｒｉ，Ｇｉ，Ｂｉ）の色差の
距離値が、 ｜Ｒｉ−Ｒｍ｜＋｜Ｇｉ−Ｇｍ｜＋｜Ｂｉ−Ｂｍ｜＜Ｔ
Ｈ＿ｄｉｓｔ の条件を満たす場合、注目画素と同一ラベルを周囲画素
に付し、周囲画素の座標を処理対象座標配列に追加す
る。次に、処理された注目画素を、処理対象座標配列か
ら削除する。そして、処理座標ｘおよびｙの最大値と最
小値を求め、それらの値をこのラベル領域の外接矩形と
して保存する。また、このラベル領域の平均色を外接矩
形の属性（代表色）として保存する。以上の処理を、処
理対象座標配列の内容がなくなるまで続ける。

【００６６】図１０は、注目画素の周囲の８画素を示し
ている。図１０において、注目画素Ｃの周囲画素は８個
あるので、隣接画素との輝度差を求める場合、これらの
８画素について走査される。

【００６７】このような色ラベリングの結果、同一色で
連結している領域には同じラベル値が付与され、同じラ
ベルを持つ領域を囲む外接矩形が獲得される。ここで、
５画素以下の大きさの連結領域については、文字の一部
ではないものと判断し、処理結果の情報を出力しない。
そして、６画素以上の大きさのすべての連結領域につい
て、以下のような情報を色ラベリングの処理結果として
出力する。

【００６８】・ラベル画像：４バイト／１画素 ・外接矩形 矩形数：ｍａｘｃｏｕｎｔ 矩形情報：ｌｂｔｂｌ 内包するラベル画像のラベル番号：ｌａｂｅｌ 矩形左上座標：（ｘｍｉｎ，ｙｍｉｎ） 矩形右下座標：（ｘｍａｘ，ｙｍａｘ） 矩形内の代表色：（ｒ，ｇ，ｂ） 所属するグループ番号：ｓｔｒｉｎｇ＿ｌａｂｅｌ 輪郭長：ｃｏｎｔｏｕｒ このような色ラベリングによれば、外接矩形の高さまた
は幅が１画素であるような連結領域のうち、面積が６画
素以上のものは無視されずに残されることになる。した
がって、比較的小さな文字パターンが抽出されやすくな
る。

【００６９】次に、色ラベリングで抽出された全矩形を
対象として、矩形単位の図形除去処理を行う（ステップ
Ｓ５）。図形除去処理とは、文字を囲むパターンを図形
とみなして、除去する処理である。

【００７０】ここでは、矩形を包含関係の階層構造で記
述し、ある矩形について文字認識を行う。そして、得ら
れた距離値が一定しきい値（例えば、１０００）より小
さく、文字として判定される場合に、この矩形を囲む矩
形を図形として削除する。例えば、図１１に示すよう
に、矩形３１、３２の内部のパターンが文字と認識され
た場合、それらの矩形を包含する矩形３３が削除され
る。このように、文字と認識されたパターンの周囲のパ
ターンを除去することで、小さな文字パターンが抽出さ
れやすくなる。

【００７１】次に、Ｌ字形／コ字形パターン削除処理を
行う（ステップＳ６）。この処理では、文字パターンの
近くに存在し、かつ、その文字パターンと同色のＬ字
形、コ字形のパターンを削除する。

【００７２】文字パターンの周囲に背景パターンがある
と、背景パターンの一部がＬ字形またはコ字形のパター
ンとして抽出されやすく、後の重なり矩形統合処理でＬ
字形またはコ字形のパターンが文字パターンと統合され
てしまう。

【００７３】このような統合が行われると、以降の処理
でこれらのパターンは分離されることがなく、統合され
たままの状態で処理が行われる。このため、統合された
矩形は、文字らしさの形状の特性を失い、処理途中で削
除されるか、Ｌ字形またはコ字形のノイズパターンを含
んだままで文字として抽出される。そこで、Ｌ字形また
はコ字形のパターンをあらかじめ削除しておき、このよ
うな不具合を防止する。

【００７４】図１２は、Ｌ字形パターンが存在する場合
の重なり統合結果を示している。図１０においては、
「文字」というパターン４２およびＬ字形のパターン４
３が抽出され、パターン４２の外接矩形４１およびパタ
ーン４３の外接矩形４４が生成されている。ここで、外
接矩形４１と外接矩形４４との重なり矩形統合を行う
と、外接矩形４５が生成される。外接矩形４５が生成さ
れると、パターン４２およびパターン４３は、１つのパ
ターンを構成するものとみなされ、パターン４２の大き
さや形状の特性が失われる。

【００７５】そこで、Ｌ字形のパターン４３を削除する
ことにより、外接矩形４１が外接矩形４４と統合される
ことを防止し、パターン４２の大きさや形状を保ったま
ま、その後の処理を行うことができるようになる。

【００７６】具体的には、矩形内のパターンの黒画素比
率（＝パターンの画素数／矩形の面積）を求め、以下の
条件を満たすパターンをＬ字形またはコ字形のパターン
として削除する。 矩形の幅が幅しきい値以上 かつ 矩形の高さが高さしきい値以上 かつ 黒画素比率が黒画素比率しきい値未満 ここで、例えば、幅しきい値＝１００（ドット）、高さ
しきい値＝１００（ドット）、黒画素比率しきい値＝
０．４に設定する。

【００７７】次に、注目矩形抽出処理を行い、すべての
色についての外接矩形を対象にして、あらかじめ決めら
れた大きさの範囲内の外接矩形を、注目矩形として抽出
する（ステップＳ７）。具体的には、３９．４ドット／
ｃｍ画像に対して、以下の条件を満たす外接矩形を注目
矩形として抽出する。 ｘ方向の長さが１０ドット以上４１１ドット以下 かつ ｙ方向の長さが１０ドット以上５８３ドット以下 このように、３９．４ドット／ｃｍ画像に対して１０ド
ット以上の大きさの矩形を注目矩形として抽出すること
により、比較的小さな矩形が抽出されるようになる。し
たがって、小さな文字パターンが抽出されやすくなる。

【００７８】次に、注目矩形の周囲にあるサイズの探索
範囲を設定し、その範囲にかかる矩形を抽出する（ステ
ップＳ８）。図１３は、注目矩形の周囲の探索範囲の設
定方法を説明する図である。図１３においては、注目矩
形５１の周りに探索範囲５２が設定されている。ここで
は、注目矩形５１の縦横の長さのうち長い方をｌｅｎド
ットとし、ｌｅｎと３５の小さい方を探索範囲５２の長
さｒａｎｇｅ＿ｓｉｚｅとする。

【００７９】また、図１４は、探索範囲にかかる矩形の
抽出方法を説明する図である。ここでは、注目矩形の周
囲のｒａｎｇｅ＿ｓｉｚｅの範囲にかかる外接矩形を高
速に求めるため、以下の方法を用いる。

【００８０】図１４において、矩形番号１〜４の外接矩
形６１〜６４が抽出されたものとすると、ＸＹの各座標
値に存在する矩形番号および矩形数を求め、これらの矩
形番号および矩形数をＸＹの各座標値ごとに登録する。

【００８１】例えば、Ｘ座標値１〜４の位置には矩形が
存在しないので、矩形数ｎ＝０、矩形番号＝“空”が登
録され、Ｘ座標値５〜１３の位置には矩形６４が存在し
ているので、矩形数ｎ＝１、矩形番号＝４が登録され、
Ｘ座標値１４の位置には矩形６３および矩形６４が存在
しているので、矩形数ｎ＝２、矩形番号＝３、４が登録
され、Ｘ座標値１５、１６の位置には矩形６４が存在し
ているので、矩形数ｎ＝１、矩形番号＝４が登録され
る。他のＸ座標値およびＹ座標値についても同様であ
る。

【００８２】次に、矩形６３を注目矩形とし、この矩形
の周りに探索範囲６５が設定されたとする。このとき、
パターン抽出装置は、探索範囲６５に含まれるＸＹの各
座標値を求める。そして、ＸＹの各座標値の矩形番号を
ＸＹそれぞれについて求め、ＸＹの両方に含まれる矩形
番号の矩形を探索範囲６５にかかる矩形とする。

【００８３】ここでは、探索範囲６５のＸ座標に含まれ
る外接矩形の矩形番号は２〜４、探索範囲６５のＹ座標
に含まれる外接矩形の矩形番号は１〜４であるので、Ｘ
Ｙの両方に含まれる矩形番号は２〜４となる。この結
果、探索範囲６５にかかる矩形として、矩形番号２〜４
に対応する外接矩形６２〜６４が得られる。具体的に
は、以下のａ）〜ｄ）の処理が行われる。 ａ）画像全体のＸ軸およびＹ軸へ矩形番号を投影する。
図１４に示したように、Ｘ軸およびＹ軸上において、１
画素毎に、その位置に属する矩形の数と矩形番号の集合
を登録する。例えば、矩形番号ｉがＸ軸上の（ｘ１，ｘ
２）の範囲にあるとすれば、Ｘ軸のｘ１からｘ２までの
各座標値に対する矩形番号の集合には、番号ｉが入るこ
とになる。同様の処理が、すべての矩形およびＸＹ両座
標値について行われる。 ｂ）注目矩形の周囲にｒａｎｇｅ＿ｓｉｚｅの範囲を設
定する。 ｃ）ｒａｎｇｅ＿ｓｉｚｅの範囲内で、Ｘ軸の座標値毎
に矩形番号の論理和を求め、矩形番号の集合を抽出す
る。Ｙ軸の座標値に対しても同様の処理を行う。 ｄ）Ｘ軸から求めた矩形番号の集合とＹ軸から求めた矩
形番号の集合の論理積を求め、この注目矩形の周囲にあ
る矩形集合を決定する。

【００８４】ところで、図１４に示した矩形番号の格納
方法では、画像全体に存在するすべての矩形番号を格納
する容量が座標値毎に必要となり、記憶容量が増大す
る。そこで、ａ）の処理を最小限の記憶容量で高速に行
うために、以下のような方法を用いる。 ｉ）すべての矩形の横幅を合計し、矩形番号と座標値の
情報を合計長さの画素数だけ持ったデータ構造を用意す
る。 ｉｉ）矩形の座標値と矩形番号を用意されたデータ構造
のデータにセットする。 ｉｉｉ）このデータ構造のデータを座標値でソートす
る。 ｉｖ）データの座標値を順に見ていき、座標値が同じデ
ータの数を座標値毎に数えて、その数をその座標値に属
する矩形の数とする。また、その矩形数だけの矩形番号
を入れる記録領域を確保する。このとき、ソートされた
データ構造を先頭からスキャンして、座標値が同じもの
の数をカウントしていき、座標値が変わった所で数を確
定して、その数を保存する。 ｖ）ソートしたデータ構造において、座標値が同じデー
タの矩形番号を、確保された領域に格納する。このと
き、ソートされたデータ構造を先頭からスキャンして、
座標値が同じデータの矩形番号を、対応する記録領域に
格納する。

【００８５】次に、同色グループ抽出処理を行う（ステ
ップＳ９）。ここでは、１つの注目矩形の色（Ｒｃ，Ｇ
ｃ，Ｂｃ）とその周囲の矩形の集合の中のｉ番目の矩形
の色（Ｒｉ，Ｇｉ，Ｂｉ）との間でのＲＧＢ空間上の距
離を以下のように定義する。

【００８６】ｄｉｓｔ＝｜Ｒｃ−Ｒｉ｜＋｜Ｇｃ−Ｇｉ
｜＋Ｂｃ−Ｂｉ｜ また、注目矩形の色（Ｒｃ，Ｇｃ，Ｂｃ）と解像度ｒｅ
ｓｏｌｕｔｉｏｎから求められるＲＧＢの各輝度差を、
ｄｅｌｔａ＿ｒ、ｄｅｌｔａ＿ｇ、ｄｅｌｔａ＿ｂとす
る。

【００８７】また、注目矩形が属する、既に抽出されて
いるグループの色を（Ｒｇ，Ｇｇ，Ｂｇ）とする。グル
ープの色は、そのグループに属する矩形内のパターンの
色の平均色とする。なお、最初は、矩形の色はグループ
の色と同じである。

【００８８】このとき、グループの色（Ｒｇ，Ｇｇ，Ｂ
ｇ）とｉ番目の周囲矩形が属するグループの色（Ｒｉ
ｇ，Ｇｉｇ，Ｂｉｇ）との色差の距離ｄｉｓｔ２を以下
のように定義する。 ｄｉｓｔ２＝｜Ｒｇ−Ｒｉｇ｜＋｜Ｇｇ−Ｇｉｇ｜＋｜
Ｂｇ−Ｂｉｇ｜ そして、（Ｒｃ，Ｇｃ，Ｂｃ）と（Ｒｉ，Ｇｉ，Ｂｉ）
が以下の条件を満足するとき、ｉ番目の周囲矩形は注目
矩形のグループに属すると判定して、その周囲矩形をそ
のグループに格納する。また、新たにグループに加わっ
た周囲矩形の矩形番号を新規追加矩形領域に格納する。 （ｄｉｓｔ＜ＴＨ＿ＲＧＢまたは（｜Ｒｃ−Ｒｉ｜＜ｄ
ｅｌｔａ＿ｒかつ｜Ｇｃ−Ｇｉ｜＜ｄｅｌｔａ＿ｇかつ
｜Ｂｃ−Ｂｉ｜＜ｄｅｌｔａ＿ｂ））かつｄｉｓｔ２＜
ＴＨ＿ｄｉｓｔ 例えば、ＴＨ＿ＲＧＢ＝２０である。また、ＴＨ＿ｄｉ
ｓｔは、距離しきい値獲得処理で画像全体から求めた値
である。このように、画像全体から求めた色差のしきい
値を用いて同色グループの判定を行うことで、色ラベリ
ングと同様に高精度な同色判定が可能となる。

【００８９】次に、新規追加矩形領域の先頭の矩形番号
を取り出し、それを新たな注目矩形として、その周囲に
ある矩形を計算する。そして、上記の手順を繰り返し
て、グループに属する矩形を求める。この手順を、グル
ープに新たに加わる矩形がなくなるまで繰り返す。この
処理により抽出されるグループ情報のデータ構造は、以
下のようになる。

【００９０】グループ内の矩形数：ｎｕｍ グループを構成する矩形番号：ｃｈｉｌｄ 重なり矩形統合後の矩形数：ｏｖｅｒｌａｐ＿ｎｕｍ 重なり矩形統合後の矩形情報：ｏｖｅｒｌａｐ （データタイプは、矩形情報ｌｂｔｂｌ型） グループ内文字列の方向コード：ｏｒｉｅｎｔ グループ内の文字列数：ｇｙｏｕ＿ｎｕｍ グループ内の文字列情報：ｇｙｏｕ （データタイプは、矩形情報ｌｂｔｂｌ型） 次に、グループ内平均文字線太さ抽出処理を行う（ステ
ップＳ１０）。ここでは、グループに属する１つの矩形
の矩形範囲内で、その矩形のラベル番号に注目して、ラ
ベル画像上で輪郭追跡処理を行い、抽出した輪郭の長さ
を、その矩形の輪郭長の属性にセットする。そして、そ
の矩形内のパターンの面積を輪郭長で割って、文字の線
の平均的な太さを求め、その値を矩形の属性として矩形
情報に登録する。

【００９１】輪郭長獲得処理では、１つのラベル画像の
エッジに注目して、ラベル画像の外接矩形の内部をラス
タスキャンし、ラベル値が特定のラベル値に変化する点
をカウントする。

【００９２】図１５および図１６は、輪郭長獲得処理を
示すフローチャートである。この処理では、処理対象と
なるラベル画像のラベル値をｒｅｇｉｏｎとし、そのラ
ベル値のパターンの外接矩形の座標を（ｘｍｉｎ，ｙｍ
ｉｎ）および（ｘｍａｘ，ｙｍａｘ）とし、輪郭長をｃ
ｏｕｎｔとし、ラベル画像の画素がエッジかどうかを示
すフラグをｆｌａｇとし、縦方向の長さが１画素のパタ
ーンを検出するフラグをｆｉｒｓｔ＿ｆｌａｇとする。

【００９３】現在の画素の１つ前の画素がｒｅｇｉｏｎ
の値の画素の場合、ｆｌａｇは１に設定され、１画素幅
の横方向のパターンが検出されると、ｆｉｒｓｔ＿ｆｌ
ａｇが１に設定される。

【００９４】パターン抽出装置は、まず、初期設定を行
い、ｃｏｕｎｔ＝０、ｙ＝ｙｍｉｎ、ｆｌａｇ＝０、ｆ
ｉｒｓｔ＿ｆｌａｇ＝０、ｘ＝ｘｍｉｎとする（図１５
のステップＳ３１〜Ｓ３４）。

【００９５】次に、ｆｌａｇ＞０かどうかを判断し（ス
テップＳ３５）、ｆｌａｇ＞０である場合、カレント画
素（ｘ、ｙ）のラベル値がｒｅｇｉｏｎかどうかを判断
する（ステップＳ３６）。そして、カレント画素のラベ
ル値がｒｅｇｉｏｎである場合、ｙがｙｍｉｎまたはｙ
ｍａｘかどうかを判断する（ステップＳ３７）。ここ
で、ｙがｙｍｉｎまたはｙｍａｘである場合、ｃｏｕｎ
ｔをインクリメントする（ステップＳ３９）。

【００９６】また、ステップＳ３７において、ｙがｙｍ
ｉｎでもｙｍａｘでもない場合、カレント画素の上か下
の画素のラベル値がｒｅｇｉｏｎかどうかを判断し（ス
テップＳ３８）、カレント画素の上も下もｒｅｇｉｏｎ
でない場合にのみ、ｃｏｕｎｔをインクリメントする
（ステップＳ３９）。

【００９７】一方、ステップＳ３６において、カレント
画素のラベル値がｒｅｇｉｏｎでない場合、ｙがｙｍｉ
ｎまたはｙｍａｘかどうかを判断し（ステップＳ４
０）、ｙがｙｍｉｎまたはｙｍａｘである場合、ｆｌａ
ｇ＝０とする（ステップＳ４４）。

【００９８】一方、ステップＳ４０において、ｙがｙｍ
ｉｎでもｙｍａｘでもない場合、カレント画素の左の画
素の上および下の画素のラベル値がｒｅｇｉｏｎであり
（ステップＳ４１）、かつ、ｆｉｒｓｔ＿ｆｌａｇが０
である場合にのみ（ステップＳ４２）、ｃｏｕｎｔをイ
ンクリメントし（ステップＳ４３）、それ以外の場合は
ステップＳ４４の処理に進む。

【００９９】次に、ｆｉｒｓｔ＿ｆｌａｇ＝０に設定し
（ステップＳ４５）、ｘ＜ｘｍａｘかどうかを判断する
（図１６のステップＳ４８）。ｘ＜ｘｍａｘである場
合、ｘをインクリメントして（ステップＳ４９）、ステ
ップＳ３５の処理に戻る。

【０１００】一方、ステップＳ３５において、ｆｌａｇ
＞０でない場合、カレント画素のラベル値がｒｅｇｉｏ
ｎかどうかを判断する（図１６のステップＳ４６）。こ
こで、カレント画素のラベル値がｒｅｇｉｏｎでない場
合、ステップＳ４８の処理に進む。

【０１０１】一方、ステップＳ４６において、カレント
画素のラベル値がｒｅｇｉｏｎである場合、そのカレン
ト画素は輪郭を構成するので、ｃｏｕｎｔをインクリメ
ントするとともに、ｆｌａｇ＝１、ｆｉｒｓｔ＿ｆｌａ
ｇ＝１に設定して（ステップＳ４７）、ステップＳ４８
の処理に進む。以上の処理を、ｘがｘｍａｘに達するま
で、ｘを１ずつインクリメントしながら繰り返す。

【０１０２】そして、ｘがｘｍａｘに達すると、ｆｌａ
ｇ＞０かどうかを判断し（ステップＳ５０）、ｆｌａｇ
＞０でない場合、ｙ＜ｙｍａｘかどうかを判断する（ス
テップＳ５５）。ここで、ｙ＜ｙｍａｘである場合、ｙ
をインクリメントして（ステップＳ５６）、ステップＳ
３３の処理に戻る。

【０１０３】一方、ステップＳ５０において、ｆｌａｇ
＞０である場合、ｙがｙｍｉｎまたはｙｍａｘかどうか
を判断し（ステップＳ５１）、ｙがｙｍｉｎまたはｙｍ
ａｘである場合、ステップＳ５５の処理に進む。

【０１０４】一方、ステップＳ５１において、ｙがｙｍ
ｉｎでもｙｍａｘでもない場合、カレント画素の左の画
素の上および下の画素のラベル値がｒｅｇｉｏｎであり
（ステップＳ５２）、かつ、ｆｉｒｓｔ＿ｆｌａｇが０
である場合にのみ（ステップＳ５３）、ｃｏｕｎｔをイ
ンクリメントし（ステップＳ５４）、それ以外の場合は
ステップＳ５５の処理に進む。

【０１０５】以上の処理をｙがｙｍａｘに達するまで、
ｙを１ずつインクリメントしながら繰り返し、ｙがｙｍ
ａｘに達すると、ｃｏｕｎｔをラベル値がｒｅｇｉｏｎ
のラベル画像の輪郭長として出力して（ステップＳ５
７）、処理を終了する。

【０１０６】図１７は、輪郭長獲得方法を説明するため
のパターンの具体例を示している。図１７において、同
一のラベル値を有するラベル画像７１（斜線部分）が抽
出され、そのラベル画像７１の外接矩形７２が生成され
ているものとする。この矩形７２の座標が（ｘｍｉｎ，
ｙｍｉｎ）および（ｘｍａｘ，ｙｍａｘ）で表されてい
るとき、この矩形の範囲内を（ｘｍｉｎ，ｙｍｉｎ）の
座標に位置する画素から１ラインずつｘ方向にスキャン
する。

【０１０７】このとき、図１６のステップＳ４６からス
テップＳ４７に進む過程で、Ａの画素がカウントされ、
図１５のステップＳ３７からステップＳ３９に進む過程
で、Ｂの画素がカウントされ、ステップＳ３８からステ
ップＳ３９に進む過程で、Ｃの画素がカウントされ、ス
テップＳ４２からステップＳ４３に進む過程で、Ｄの画
素がカウントされ、図１６のステップＳ５３からステッ
プＳ５４に進む過程で、Ｅの画素がカウントされる。こ
の結果、矩形７２の範囲内を１回スキャンするだけで、
ラベル画像７１の輪郭が求められる。

【０１０８】次に、文字線太さによる再グループ化処理
を行う（ステップＳ１１）。ここでは、グループ内の矩
形を対象にして、図８のステップＳ７〜Ｓ９の処理を繰
り返し、矩形の平均文字線太さを用いてグループ化を行
い、新たなグループ情報を構築する。このとき、ステッ
プＳ９のグループ化の際に、色情報だけでなく、推定文
字線太さ（＝２０×矩形内のパターン面積／パターンの
輪郭長）も使用する。

【０１０９】具体的には、２つの矩形のうち、第１の矩
形の推定文字線太さｔｈｉｃｋ１および第２の矩形の推
定文字線太さｔｈｉｃｋ２から、文字線太さの比ｔｈｉ
ｃｋ＿ｒａｔｅを、次式により求める。 ｔｈｉｃｋ＿ｒａｔｅ＝ｍａｘ（ｔｈｉｃｋ１，ｔｈｉ
ｃｋ２）／ｍｉｎ（ｔｈｉｃｋ１，ｔｈｉｃｋ２） そして、ｔｈｉｃｋ＿ｒａｔｅが以下の条件を満足した
ときに、２つの矩形を同じグループとして記録する。 ｔｈｉｃｋ＿ｒａｔｅ＜ＴＨ＿ＴＨＩＣＫ＿ＲＡＴＥ かつ （ｄｉｓｔ＜ＴＨ＿ＲＧＢまたは（｜Ｒｃ−Ｒｉ｜＜ｄ
ｅｌｔａ＿ｒかつ｜Ｇｃ−Ｇｉ｜＜ｄｅｌｔａ＿ｇかつ
｜Ｂｃ−Ｂｉ｜＜ｄｅｌｔａ＿ｂ））かつｄｉｓｔ２＜
ＴＨ＿ｄｉｓｔ ただし、ＴＨ＿ＴＨＩＣＫ＿ＲＡＴＥは、例えば、２．
５とする。この処理を元のグループ内のすべての矩形に
ついて行い、グループ内の新たなグルーピングを行う。

【０１１０】このような処理により、文字パターンの近
くにその文字パターンの色と同一の背景パターンがあ
り、これらの背景パターンと文字パターンが同じグルー
プに属している場合に、それらのパターンを別々のグル
ープに分けることができる。また、文字パターンだけか
らなるグループにおいて、フォントやサイズが異なるも
のを別々のグループに分けることもできる。

【０１１１】また、画像全体から求めたしきい値ＴＨ＿
ｄｉｓｔを用いて文字線の太さに基づく再グループ化を
行うことで、ステップＳ９のグループ化と同様に、高精
度な同色判定が可能となる。

【０１１２】図１８は、文字線の太さによる再グルーピ
ング処理の例を示している。図１８において、「グルー
プ１」という文字列と「グループ２」という文字列が同
一色で記述され、互いに近接して配置されているため、
「グループ１」という文字列と「グループ２」という文
字列が同一のグループ８１にグルーピングされているも
のとする。

【０１１３】ここで、「グループ１」という文字列に含
まれる文字の太さと「グループ２」という文字列に含ま
れる文字の太さを算出し、異なる太さの文字を別々のグ
ループに分割する。この結果、「グループ１」という文
字列はグループ８２にグルーピングされ、「グループ
２」という文字列はグループ８３にグルーピングされ
る。

【０１１４】次に、グループ内で平均的な矩形サイズを
求め、そのサイズを基準として、極端に大きなサイズの
矩形を背景等のノイズとして削除する（図９のステップ
Ｓ１４）。

【０１１５】図１９は、グループ内の大きな矩形削除処
理を説明する図である。図１９において、矩形１０２〜
１１１がグループ１０１にグルーピングされているもの
とすると、グループ１０１内の各矩形１０２〜１１１の
大きさを求める。ここで、矩形１０２の大きさが他の矩
形１０３〜１１１の大きさに比べて、かけ離れているも
のとすると、グループ１０１から矩形１０２を削除し、
矩形１０３〜１１１よりなるグループ１１２を生成す
る。

【０１１６】具体的には、以下のａ）〜ｄ）の処理を行
う。 ａ）グループ内の矩形の高さのヒストグラムを作成し
て、最大頻度値を示す矩形高さｆｒｅｑ＿ｈｅｉｇｈｔ
を以下の方法で求める。 ｉ）ヒストグラムにぼかし用のウィンドウを用いてコン
ボリューション演算（移動和）を行い、ヒストグラムを
ぼかす。具体的なぼかし用ウィンドウは、例えば、「１
１１１１」の５画素からなる。 ｉｉ）最小高さ値（具体的には、３９．４ドット／ｃｍ
画像において２３ドット）をあらかじめ決めておき、そ
の最小高さ値以上で最大頻度を示す矩形高さｆｒｅｑ＿
ｈｅｉｇｈｔを求める。 ｂ）最大頻度値を示す矩形高さｆｒｅｑ＿ｈｅｉｇｈｔ
が最小高さ値より小さいときは、ｆｒｅｑ＿ｈｅｉｇｈ
ｔを最小高さ値とする。 ｃ）大きな矩形と判定するしきい値ｔｈ＿ｌａｒｇｅ
を、例えば、ｔｈ＿ｌａｒｇｅ＝ｆｒｅｑ＿ｈｅｉｇｈ
ｔ＊１０とする。 ｄ）グループ内の矩形のうち、縦横サイズともｔｈ＿ｌ
ａｒｇｅより小さいものだけを残して、後はノイズとし
てそのグループから削除する。

【０１１７】次に、グループ内の矩形のうち、一部でも
重なりがある矩形同士を統合して、それらを囲む外接矩
形を生成し、グループ情報に新たに登録する（ステップ
Ｓ１５）。

【０１１８】図２０は、グループ内の重なり矩形統合処
理を説明する図である。図２０において、矩形１３１は
矩形１３２と重なっており、矩形１３２は矩形１３３と
部分的に重なっている。この場合、矩形１３１〜１３３
を統合し、外接矩形１３４を生成する。

【０１１９】次に、先願Ｄの文字列抽出技術を応用し
て、グループ内で文字列方向を推定し、その方向から文
字列を抽出する（ステップＳ１６）。抽出された文字列
の方向および座標等の情報は、グループ毎に保存され
る。この処理をタイトルの抽出に用いる場合は、１つの
タイトルを構成する個々の文字が横方向または縦方向に
一列に並んでいることが前提となる。

【０１２０】図２１は、グループ内文字列抽出処理を説
明する図である。まず、グループ１４１において、最も
左にある矩形１３５から右方向に向かって、隣接する矩
形があるかどうかを探していく。そして、隣接する矩形
が見つかると、見つかった矩形の矩形番号を矩形１３５
の矩形番号に変更する。この処理を繰り返すことで、矩
形１３５の右側の矩形の矩形番号が、矩形１３５の矩形
番号に統一される。

【０１２１】矩形１３５から右方向に矩形がなくなる
と、次に、矩形１３６から右方向に向かって、同様の処
理を行う。これにより、矩形１３６の右側の矩形の矩形
番号が、矩形１３６の矩形番号に統一される。そして、
矩形番号の変更処理が終了すると、同一の矩形番号が付
された矩形を囲む外接矩形１４２、１４３を生成し、そ
れらを文字列矩形とする。

【０１２２】具体的には、以下のａ）〜ｅ）の処理を行
う。 ａ）グループ内の矩形の座標から文字列方向を推定す
る。 ｂ）矩形の上下左右の最も近くにある矩形の内向き／外
向きの両方向の隣接関係を求める。 ｃ）横方向の文字列の場合、左からの隣接関係のない矩
形を開始矩形として、右に矩形がなくなるまで、開始矩
形の矩形番号を右にある矩形に伝搬していく。縦方向も
同様である。 ｄ）左からの隣接関係がなく、左への隣接関係がある矩
形については、左の矩形の矩形番号を獲得してそれを右
へ伝搬し、この処理を隣接関係がなくなるまで繰り返
す。 ｅ）ここまでの処理をグループ内のすべての矩形につい
て行った後に、同じ矩形番号が付いている矩形を求め、
それらの矩形の外接矩形を文字列矩形として抽出する。

【０１２３】次に、先願Ｄの横書き文書の上下分離文字
統合処理（縦書き文書では、左右分離文字統合処理）を
文字列矩形に適用して、分離している矩形を統合し、１
つの外接矩形に置き換える（ステップＳ１７）。

【０１２４】図２２は、文字列内分離文字統合処理を説
明する図である。図２２において、グループ１４１内に
文字列矩形１４２、１４３が生成されている。また、矩
形１４２内において、矩形１４４および１４５が縦方向
に互いに隣接し、矩形１４６および１４７が縦方向に互
いに隣接し、矩形１４３内において、矩形１４８および
１４９が縦方向に互いに隣接し、矩形１５０および１５
１が縦方向に互いに隣接している。

【０１２５】この場合、矩形１４４および１４５を囲む
外接矩形１５２を生成して、これらの矩形を統合し、矩
形１４６および１４７を囲む外接矩形１５３を生成し
て、これらの矩形を統合する。同様に、矩形１４８およ
び１４９を囲む外接矩形１５４と、矩形１５０および１
５１を囲む外接矩形１５５を生成する。

【０１２６】具体的には、以下のａ）〜ｃ）の処理を行
う。なお、以下の例では、横書き文字列の場合について
説明するが、縦書き文字列の場合についても同様であ
る。 ａ）文字列矩形内の矩形をｘ座標で昇順にソートする。 ｂ）最初の矩形をカレント矩形として、それ以降の次の
矩形がカレント矩形のｘ座標の範囲に重なる場合は統合
し、カレント矩形のｘ座標の範囲も統合結果の矩形のも
のに変更する。この処理を、統合する矩形がなくなるま
で繰り返す。統合する矩形がなくなったら、統合結果を
分離文字統合後の矩形として保存する。 ｃ）次の矩形を新たなカレント矩形として、ｂ）および
ｃ）の処理を繰り返す。

【０１２７】次に、グループ内の文字列矩形を、文字列
のサイズと位置関係によって再グループ化し、その結果
を新たなグループ情報に格納する（ステップＳ１８）。
これにより、同色グループ内で、文字サイズが異なる文
字列を別グループに分けることができ、同時に、ノイズ
と文字列を別グループに分けることもできる。

【０１２８】図２３は、グループ内の文字列サイズによ
る再グループ化処理を説明する図である。図２３におい
て、グループ１４１内に文字列矩形１４２、１４３が生
成されている。このとき、矩形１４２、１４３の高さＨ
１、Ｈ２をそれぞれ算出し、高さＨ１とＨ２の差がしき
い値以上の場合は、矩形１４２と矩形１４３とを別々の
グループに分ける。

【０１２９】具体的には、以下の条件を満たすときに、
これらの２つの文字列矩形は同じグループに属するもの
として、同じグループ番号を与える。それ以外の場合
は、２つの文字列矩形は異なるグループに属するものと
して、異なるグループ番号を与える。 ２つの文字列矩形の高さの差がしきい値より小さい かつ（２つの文字列矩形が重複する、または、２つの文
字列矩形間の距離がしきい値より小さい） この処理をすべてのグループについて行う。次に、各グ
ループ内で同じグループ番号の文字列を１つのグループ
とする新たなグループを作成する。この処理により、図
８のステップＳ１１で同じグループに分類された文字サ
イズの異なる文字列が、別々のグループに分けられる。

【０１３０】次に、グループ内の大きな矩形削除処理を
行う（ステップＳ１９）。ここでは、ノイズ除去のた
め、再びグループ内で平均的な矩形サイズを求め、その
矩形サイズを基準として、極端に大きなサイズの矩形を
削除する。言い換えれば、これまでの処理で変化したグ
ループに対して、図９のステップＳ１４の処理を再度行
い、グループ内のノイズを削除する。

【０１３１】次に、グループ統合処理を行い、左右方向
または上下方向に互いに近接する同色グループを統合す
る（ステップＳ２０）。ここでは、２つのグループがほ
ぼ同じ色でかつ近くにあり、グループの外接矩形が並ん
でいる場合に、それらの２つの矩形を統合して、１つの
グループとする。この処理は、後で行う文字矩形の並び
によるグループの文字列らしさの判定処理を安定させる
ために行われる。

【０１３２】具体的には、２つのグループの外接矩形の
色と上端座標および下端座標が近く、かつ、これらが近
い距離にあり、２つの矩形をまとめて１つの文字列と見
れそうな場合に、２つのグループを１つのグループにま
とめる。

【０１３３】まず、２つのグループの平均色をそれぞれ
（Ｒｇ１，Ｇｇ１，Ｂｇ１）と（Ｒｇ２，Ｇｇ２，Ｂｇ
２）として、２つのグループのそれぞれのＲＧＢ輝度値
の平均値（Ｒｇ１＋Ｒｇ２，Ｇｇ１＋Ｇｇ２，Ｂｇ１＋
Ｂｇ２）を求める。次に、その平均値と解像度をキーと
して色差テーブルを検索し、得られたＲＧＢそれぞれの
輝度差（ｄｅｌｔａ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ
＿ｂ）を、同色とみなす場合の輝度差のしきい値とす
る。そして、以下の条件を満たすとき、２つのグループ
の平均色を同色とみなす。 ｜Ｒｇ１−Ｒｇ２｜＜ｄｅｌｔａ＿ｒ かつ ｜Ｇｇ１−Ｇｇ２｜＜ｄｅｌｔａ＿ｇ かつ ｜Ｂｇ１−Ｂｇ２｜＜ｄｅｌｔａ＿ｂ ２つのグループの外接矩形が横並びの場合、さらに、横
方向の距離が固定しきい値より小さく、かつ、上端座標
および下端座標の差がともに固定しきい値より小さい場
合に、２つのグループを統合する。縦並びの場合は、縦
方向の距離が固定しきい値より小さく、かつ、左端座標
および右端座標の差がともに固定しきい値よりも小さい
場合に、２つのグループを統合する。この処理を、統合
するグループがなくなるまで繰り返す。

【０１３４】図２４は、グループ統合処理を説明する図
である。図２４において、１つのグループの外接矩形１
６１ともう１つのグループの外接矩形１６２が互いに横
に並んでいる。このとき、矩形１６１と矩形１６２の距
離Ｌ１と、矩形１６１と矩形１６２の上端座標の差Ｅ１
および下端座標の差Ｅ２を求める。そして、２つのグル
ープの平均色の輝度差、距離Ｌ１、座標差Ｅ１、および
座標差Ｅ２がそれぞれのしきい値より小さいとき、矩形
１６１と矩形１６２を統合し、それらの矩形を囲む外接
矩形１６３を生成する。

【０１３５】また、２つのグループの外接矩形の座標が
似ていない場合でも、各グループ内の端に位置する矩形
の座標が近ければ、２つのグループを統合する。横並び
の場合、２つのグループ内の最も近い２つの矩形が以下
の条件を満たすとき、２つのグループを統合する。縦並
びの場合も同様である。 ・高さが固定しきい値より小さい。 ・上端座標の差の絶対値が固定しきい値より小さい。 ・下端座標の差の絶対値が固定しきい値より小さい。

【０１３６】図２５は、このようなグループ統合処理を
説明する図である。図２５において、矩形１６４のグル
ープの最右端の矩形１６６と矩形１６５のグループの最
左端の矩形１６７に注目する。そして、２つのグループ
の色が上記の色の条件を満たし、さらに矩形１６６と矩
形１６７が上記のサイズおよび位置の条件を満たすと
き、矩形１６４と矩形１６５を統合し、それらの矩形を
囲む外接矩形１６８を生成する。

【０１３７】このように、グループの外接矩形の並び方
だけでなく、その内部に含まれる矩形の並び方も考慮し
てグループを統合することにより、より正確な文字列を
抽出することが可能になる。

【０１３８】次に、矩形並びによる文字らしいグループ
の抽出処理を行う（ステップＳ２１）。この処理では、
グループ内の矩形のうち、サイズまたは形等の一定の条
件を満足する矩形を対象にして、上端座標または下端座
標のどちらかが隣りの矩形と近い場合、これらの２つの
矩形が並んでいるものと判定し、並びフラグをセットす
る。そして、グループ内の全対象矩形のうち並んでいる
矩形の数がどの程度の割合であるかを示す並び矩形率を
求め、その並び矩形率が一定のしきい値以上のグループ
を文字列として抽出する。具体的には、以下のａ）〜
ｅ）の処理を行う。 ａ）グループ内でサイズまたは形の一定条件を満足する
２つの隣接する矩形の上端座標または下端座標の差がし
きい値より小さい場合、それらの２つの矩形に横並びフ
ラグを与える。しきい値は、矩形の高さのＷＩＤ＿ＲＡ
ＴＥ（例えば、０．２）倍とする。また、２つの矩形が
隣接するとは、基準矩形の幅のＷＩＤ＿ＲＡＴＥ＿ＤＩ
ＳＴ（例えば、０．５）倍の範囲内に他方の矩形がある
ことをいう。

【０１３９】また、サイズまたは形の一定条件を満足す
る矩形は、例えば、次のようにして求める。まず、グル
ープ内の矩形の高さの最頻値を求め、その高さの３倍を
ｌａｒｇｅ＿ｒｅｃｔとする。そして、高さが固定サイ
ズ（３９．４ドット／ｃｍ画像において２３ドット）よ
り大きく、ｌａｒｇｅ＿ｒｅｃｔより小さい矩形を、対
象矩形として選択する。 ｂ）グループ内でサイズまたは形の一定条件を満足する
２つの隣接する矩形の左端座標または右端座標の差がし
きい値より小さい場合、それらの２つの矩形に縦並びフ
ラグを与える。しきい値は、矩形の幅のＷＩＤ＿ＲＡＴ
Ｅ倍とする。 ｃ）グループ内の矩形に与えられた横並びフラグと縦並
びフラグの数をかぞえ、数の多い方の方向を文字列方向
として採用して、その方向のフラグの数を並んでいる矩
形の数とする。 ｄ）グループ内の矩形のうち並んでいる矩形の比率を、
次式により算出する。 比率＝並んでいる矩形の数／グループ内の一定条件を満
足する矩形の総数 ｅ）並んでいる矩形の比率が一定しきい値ＮＵＭ＿ＲＡ
ＴＥ（例えば、０．８）より大きい場合に、そのグルー
プを文字列らしいグループとして残し、他のグループを
ノイズとして破棄する。

【０１４０】図２６は、矩形並びによる文字列らしいグ
ループの抽出処理を説明する図である。図２６におい
て、矩形１７１〜１７４および矩形１７６〜１８７が入
力画像から生成され、グルーピングにより、矩形１７１
〜１７４が１つのグループに分類されて、これらの矩形
を囲む矩形１７５が生成されている。また、矩形１７６
〜１８７が１つのグループに分類され、これらの矩形を
囲む矩形１８８が生成されている。

【０１４１】ここで、各グループ内の矩形のサイズや位
置関係を調べ、横方向に並んでいる矩形に対して横並び
フラグを与え、縦方向に並んでいる矩形に対して縦並び
フラグを与える。このとき、矩形１７５内の矩形１７１
〜１７４はランダムに並んでいるので、これらの矩形に
は横並びフラグも縦並びフラグも付かない。一方、矩形
１８８内の矩形１７６〜１８７は横一列に並んでいるの
で、これらの矩形には横並びフラグが与えられる。

【０１４２】矩形１７１〜１７４および矩形１７６〜１
８７についてのフラグ処理が終了すると、フラグが付さ
れた矩形の割合をグループ毎に算出する。そして、その
割合が大きいグループを文字列として抽出し、割合が小
さいグループをノイズとして破棄する。この結果、矩形
１７５のグループはノイズとして捨てられ、矩形１８８
のグループは文字列として抽出される。

【０１４３】次に、ノイズグループの削除処理を行う
（ステップＳ２２）。ここでは、以下のＡ）〜Ｃ）の３
種類の削除処理を行う。 Ａ）この処理では、グループ内が２つの矩形だけから構
成されているグループについて、それらの２つの矩形の
上下端（または左右端）がともに近いかどうかを判断
し、２つの矩形が並んでいると判断されなければ、その
グループをノイズとして削除する。

【０１４４】図２７は、このようなノイズグループの削
除処理を説明する図である。図２７において、２つの矩
形１９１、１９２が１つのグループとして抽出され、こ
れらの矩形を囲む矩形１９３が生成されている。この場
合、矩形１９１と矩形１９２の下端座標は揃っている
が、矩形１９１と矩形１９２の上端座標は極端に異なっ
ているので、これらの矩形はノイズであるとみなし、こ
のグループを文字列らしいグループの集合から削除す
る。

【０１４５】具体的には、グループ内の２つの矩形の高
さの平均をｈｅｉとし、それらの幅の平均をｗｉｄとす
る。また、しきい値を決めるための比率をＤＥＬ＿ＲＡ
ＴＥ＝０．１として、以下の条件を満足するグループだ
けを残し、他はノイズとして削除する。 （｜第１の矩形の上端座標−第２の矩形の上端座標｜＜
ｈｅｉ×ＤＥＬ＿ＲＡＴＥかつ｜第１の矩形の下端座標
−第２の矩形の下端座標｜＜ｈｅｉ×ＤＥＬ＿ＲＡＴ
Ｅ）または（｜第１の矩形の左端座標−第２の矩形の左
端座標｜＜ｗｉｄ×ＤＥＬ＿ＲＡＴＥかつ｜第１の矩形
の右端座標−第２の矩形の右端座標｜＜ｗｉｄ×ＤＥＬ
＿ＲＡＴＥ） この処理では、文字列のグループが確実に残される反
面、背景から抽出されたノイズグループも多数残ってし
まう。また、グループ同士が重なっている状態は、必ず
しも改善されない。このため、次のステップで行われる
グループの出力順位決定処理が、ノイズグループの影響
を受けてしまい、効果的に行われない場合がある。そこ
で、グループ同士の重なりを極力なくして、文字列グル
ープだけを残すために、以下のＢ）およびＣ）の処理を
行う。 Ｂ）グループ単位の図形除去によるノイズ削除処理 ここでは、グループ内に含まれる矩形を文字認識処理
し、その結果文字と判断された矩形が別のグループの矩
形領域にもかかっている場合に、その別のグループをノ
イズとして削除する。これにより、文字列グループと重
複しているノイズグループが削除される。

【０１４６】図２８は、このようなノイズグループの削
除処理を説明する図である。図２８に示すように、文字
列グループの矩形２０１とノイズグループの矩形２０２
が重複しているとき、両者のグループが重複している領
域にかかっている、文字列グループ内の矩形２０３を文
字認識処理する。そして、得られた距離値がしきい値
（例えば、１０００）よりも小さい場合に、この矩形２
０３を文字であると判定し、矩形２０３を含まない方の
グループをノイズとして削除する。 Ｃ）黒画素ヒストグラムに基づくノイズ削除処理 ここでは、グループ内の黒画素を縦方向および横方向に
それぞれ投影して、黒画素のヒストグラムを生成し、そ
れぞれのヒストグラムの各要素（黒画素数）の２乗和を
求める。縦方向投影、横方向投影のヒストグラムの２乗
和をそれぞれｘｓｕｍ、ｙｓｕｍとし、グループ内の重
なり矩形統合後の矩形数をｏｖｅｒｌａｐ＿ｎｕｍとす
ると、以下のような条件が満たされるときに、グループ
内に縦または横方向の文字列が存在すると判断して、こ
のグループを残す。 ｜ｘｓｕｍ−ｙｓｕｍ｜／ｏｖｅｒｌａｐ＿ｎｕｍ＞Ｔ
ＨＳＵＭ ただし、ＴＨＳＵＭは、固定しきい値であり、ここでは
２８０とする。また、この条件が満たされない場合は、
このグループをノイズと判断して削除する。縦方向と横
方向とでヒストグラムの各要素の総和があまり変わらな
い場合でも、各要素の２乗和には顕著な差が現れること
が多い。したがって、この処理により、文字列グループ
を正確に抽出することが可能になる。

【０１４７】図２９は、このようなノイズグループの削
除処理を説明する図である。図２９において、矩形２０
１のグループ内の黒画素を縦方向および横方向に投影す
ると、ヒストグラム２０４および２０５が得られる。こ
のとき、各ヒストグラムにおいて、各座標値に対応する
黒画素数を２乗し、すべての座標値に渡る２乗の値の総
和を求める。そして、上述した条件判定を行い、このグ
ループを削除するか否かを決定する。

【０１４８】次に、グループ内同色パターン抽出処理を
行う（ステップＳ２３）。ここでは、まず、グループの
代表色を、グループ内の矩形の代表色の平均として求め
る。次に、グループの矩形の内部に相当する範囲で原画
像を探索して、グループの代表色に近いパターンであっ
て、既に文字パターンとして抽出されているもの以外の
ものを、２値画像として抽出する。

【０１４９】そして、抽出されたパターンに対して２値
画像用のラベリングを行い、連結成分の外接矩形を求
め、その矩形の大きさが所定値より大きいパターンだけ
を、文字パターンの一部として、そのグループに追加す
る。この処理により、これまでの処理では抜け落ちる
が、実は文字の一部であるようなパターンを抽出するこ
とができる。

【０１５０】図３０は、グループ内同色パターン抽出処
理を説明する図である。図３０において、ステップＳ２
２までの処理により、「クローハル化への３つの成功モ
デル」という文字列が入力画像から抽出され、この文字
列を囲む矩形２１１が生成されている。この場合、
「ク」および「ハ」という文字の濁点が欠落している。
ここで、「ク」の濁点が欠落したのは、濁点の色と
「ク」の色の差がしきい値範囲内になかったために、濁
点が「ク」とは異なるグループにグルーピングされたた
めである。「ハ」の濁点についても同様である。

【０１５１】このように、図８のステップＳ９の同色グ
ループ抽出処理では、抽出対象となる文字列のうち、局
所的な部分の色同士が比較されるので、抽出対象となる
文字列の色が色ずれ等で局所的に変化している場合に
は、文字の一部が欠落したりする。

【０１５２】そこで、既に抽出されている「クローハル
化への３つの成功モデル」という文字列全体を考慮し
て、その代表色を求め、この代表色に近い色を有するパ
ターンを原画像から再抽出する。これにより、文字列の
局所的な色の変化の影響を軽減することができ、図３０
に示すように、「ク」の濁点２１２と「ハ」の濁点２１
３を抽出することが可能になる。また、同色パターンの
再抽出を行う際には、再抽出の対象となるパターンの探
索範囲を、矩形２１１の範囲に限定する。これにより、
抽出処理が高速化される。具体的には、以下の処理を行
う。 ａ）保存されている矩形の代表色情報をグループ内のす
べての矩形について平均し、グループの代表色（Ｒｍ，
Ｇｍ，Ｂｍ）を求める。また、グループ内のＲＧＢの分
散（Ｖｒ，Ｖｇ，Ｖｂ）を求め、その分散からグループ
の標準偏差を次式により求める。 ｄｅｖ＝ｓｑｒｔ（ｓｑｒｔ（Ｖｒ＊Ｖｒ＋Ｖｇ＊Ｖｇ
＋Ｖｂ＊Ｖｂ）） ｂ）グループ内の矩形サイズの最頻値を幅と高さについ
て求め、それぞれｍｆｗ、ｍｆｈとする。ｍｆｗまたは
ｍｆｈが最小矩形サイズのしきい値ｍｉｎｓｉｚｅ（例
えば、２）より大きな場合には、その値をｍｉｎｓｉｚ
ｅで置き換える。 ｃ）グループの外接矩形を求め、その大きさの２値画像
を作成する。２値画像の画素値は、すべて０としてお
く。 ｄ）グループの範囲内で原画像の画素の色（Ｒ，Ｇ，
Ｂ）を調べ、その色とグループの代表色（Ｒｍ，Ｇｍ，
Ｂｍ）が以下の関係を満足する場合に、その画素の位置
を記録し、対応する２値画像の画素値を１に設定する。
ただし、ｋは定数（例えば、５）である。 ｜Ｒｍ−Ｒ｜＋｜Ｇｍ−Ｇ｜＋｜Ｂｍ−Ｂ｜＜ｋ×ｄｅ
ｖ ｅ）グループ内の矩形を構成し、このグループ内の矩形
から既に抽出されているパターンを２値画像から除去
し、２値画像のパターンを、グループの代表色に近い色
を持ち、かつ、これまでの処理で漏れていたパターンだ
けにする。 ｆ）この２値画像に対して、２値画像用のラベリングを
行い、連結成分の外接矩形を求める。 ｇ）外接矩形の幅ｗおよび高さｈが以下の条件を満足す
る矩形だけを残し、他の矩形を削除する。 ｗ＞ｍｆｗ／２ かつ ｈ＞ｍｆｈ／２ ｈ）残った矩形に含まれる連結成分のパターンをグルー
プに追加する。

【０１５３】次に、グループの出力順位決定処理を行う
（ステップＳ２４）。ここでは、先願Ｄのタイトル抽出
技術を応用して、グループの外接矩形の位置、位置関
係、サイズ、面積等の指標を用いて、グループ毎にタイ
トルらしさの得点を加算し、総合的にみて最も得点の高
い順にグループを並び替える。具体的な得点の加算方法
は以下の通りである。

【０１５４】まず、各グループの内部の文字列矩形の高
さの平均値をｍｅａｎ＿ｇｙｏｕ＿ｓｉｚｅとして求
め、各グループの内部の重なり矩形統合後の文字矩形の
高さの最頻値をｍｏｓｔ＿ｆｒｅｑ＿ｈｅｉｇｈｔとし
て求める。ｍｏｓｔ＿ｆｒｅｑ＿ｈｅｉｇｈｔが０の場
合には、ｍｏｓｔ＿ｆｒｅｑ＿ｈｅｉｇｈｔ＝ｍｅａｎ
＿ｇｙｏｕ＿ｓｉｚｅとする。

【０１５５】次に、画像中にあるすべてのグループのｍ
ｏｓｔ＿ｆｒｅｑ＿ｈｅｉｇｈｔの平均値をｆｒｅｑｈ
ｅｉｇｈｔとして求め、ｈａｌｆ＿ｆｒｅｑ＝ｆｒｅｑ
ｈｅｉｇｈｔ／２とする。そして、以下の条件に従って
得点を加算する。 ・グループ内文字矩形の高さの最頻値：グループのｍｏ
ｓｔ＿ｆｒｅｑ＿ｈｅｉｇｈｔがｆｒｅｑｈｅｉｇｈｔ
＊（１．０±０．５）の範囲内に入っているとき、＋２
０点を加算する。また、ｍｏｓｔ＿ｆｒｅｑ＿ｈｅｉｇ
ｈｔがｆｒｅｑｈｅｉｇｈｔ＊１．５より大きく、ｆｒ
ｅｑｈｅｉｇｈｔ＊３以下であるとき、＋３０点を加算
する。また、ｍｏｓｔ＿ｆｒｅｑ＿ｈｅｉｇｈｔがｆｒ
ｅｑｈｅｉｇｈｔ＊３より大きいとき、＋４０点を加算
する。 ・上下にグループがない：グループの上下とも距離ｈａ
ｌｆ＿ｆｒｅｑ以内の領域に他のグループがあるとき、
−４０点を加算する（＋４０点を減算する）。また、上
または下いずれか一方のみの距離ｈａｌｆ＿ｆｒｅｑ以
内の領域に他のグループがあるとき、−２０点を加算す
る。また、上下とも距離ｈａｌｆ＿ｆｒｅｑ以内の領域
に他のグループがないとき、＋２０点を加算する。 ・左にグループがない：グループの左側の距離ｆｒｅｑ
ｈｅｉｇｈｔ以内の領域にグループがないとき、＋２０
点を加算する。 ・画像の上方に位置する：縦方向のグループの位置でソ
ートして、最も上方にあるグループに＋２０点を加算
し、以下、順位が下がるに従って１点ずつ差し引いた得
点を加算する。ただし、マイナスの得点は加算しないも
のとする。 ・画像の１／３より上方に位置する。

【０１５６】上述したグループ内文字矩形の高さの最頻
値に基づいてプラスの得点を獲得しており、かつ、グル
ープの下端が画像の１／３より上方に位置するとき、＋
１０点を加算する。 ・中央に位置する：グループのｘ座標の中心座標が画像
の中心座標±（画像幅＊０．１）の範囲にあるとき、＋
５点を加算する。 ・画像の左右端の近くに位置する：グループの左端が、
画像の右端から中心寄りに画像幅＊０．１の範囲に入っ
ているか、または、グループの右端が、画像の左端から
中心よりに画像幅＊０．１の範囲に入っているとき、−
３０点を加算する。 ・グループの面積：グループの外接矩形の面積でソート
して、面積の最も大きなグループに＋１０点を加算し、
以下、順位が下がるに従って１点ずつ差し引いた得点を
加算する。ただし、マイナスの得点は加算しないものと
する。 ・グループの幅の大きさ：グループの外接矩形の横幅が
画像の１／３より大きいとき、＋１０点を加算する。 ・グループの外接矩形の位置関係：２つのグループの上
下左右端の対応する座標値の差を求め、その絶対値が固
定しきい値（例えば、１０ドット）よりも小さいとき、
２つのグループは同じ文字列を表しているものとみなし
て、面積の小さい方のグループの得点を０にする。影付
き文字列から文字列を抽出する場合、真の文字列部分と
影の部分の両方からグループがそれぞれ抽出されるた
め、ほぼ完全に重複するこのような２つのグループが発
生しやすい。

【０１５７】以上説明したように、様々な条件を考慮し
てグループ毎に得点を与えることで、タイトルらしい文
字列により上位の出力順位を与えることができ、タイト
ルをより正確に抽出することが可能になる。

【０１５８】次に、グループを構成するパターンを文字
認識するための２値画像（２値パターン）を生成する
（ステップＳ２５）。ここでは、各グループの領域につ
いて、背景部分が均一色であるか否かを判別し、背景が
均一色である場合には、先願Ｂまたは先願Ｃのカラーテ
キスト抽出技術を適用して２値画像を生成する。また、
背景が２色以上の色を含む場合には、グループ内の文字
パターンをそのまま２値画像にして出力する。

【０１５９】図３１から図３４までは、背景部分の均一
性をチェックする背景色判定処理のフローチャートであ
る。パターン抽出装置は、まず、グループの文字領域か
ら平均色（Ｒｍ，Ｇｍ，Ｂｍ）を求め（図３１のステッ
プＳ６１）、平均色と推定解像度ｒｅｓｏｌｕｔｉｏｎ
をキーとして色差テーブルを検索し、色差のしきい値
（ｉｒ３，ｉｇ３，ｉｂ３）を求める（ステップＳ６
２）。

【０１６０】次に、グループの外接矩形のサイズの２値
画像領域を用意し、すべての画素値を０に設定して、白
色画像を生成する（ステップＳ６３）。次に、グループ
内の１つの文字矩形のラベル番号と矩形領域を抽出し
（ステップＳ６４）、ラベル画像の対応する矩形領域内
を走査して、そのラベル番号と一致するラベル値を持つ
画素を抽出する。そして、２値画像領域上の対応する座
標の画素値を１に変更して、マスク画像を生成する（ス
テップＳ６５）。こうして生成されたマスク画像におい
て、画素値が１の画素はパターンに対応し、画素値が０
の画素はパターンが存在しない背景部分に対応する。

【０１６１】次に、グループ内に未処理の文字矩形があ
るか否かを判定し（ステップＳ６６）、そのような矩形
があれば、ステップＳ６４以降の処理を繰り返す。そし
て、すべての文字矩形の処理が終了すると、マスク画像
をその周囲（例えば、上下左右斜め方向）に一定画素
（例えば、１画素）だけ拡張して、膨張したマスク画像
を生成する（ステップＳ６７）。図３５は、拡張する前
のマスク画像の例を示しており、図３６は、拡張された
マスク画像の例を示している。

【０１６２】次に、膨張したマスク画像を用いて、グル
ープの外接矩形に対応する入力画像の領域とラベル画像
の領域を走査し、マスク画像上で画素値が０の背景画素
に対応する色（Ｒ，Ｇ，Ｂ）とラベル番号を抽出する
（図３２のステップＳ６８）。そして、画素の色（Ｒ，
Ｇ，Ｂ）と文字の平均色（Ｒｍ，Ｇｍ，Ｂｍ）の差が許
容範囲内か否かを、以下の条件により判定する（ステッ
プＳ６９）。 ｜Ｒｍ−Ｒ｜＜ｉｒ３ かつ ｜Ｇｍ−Ｇ｜＜ｉｇ３ かつ ｜Ｂｍ−Ｂ｜＜ｉｂ３ この条件が満たされれば、この画素は文字の一部を構成
しているものとみなして、図３３のステップＳ８０以降
の処理を行う。この条件が満たされなければ、次に、図
３７に示すような背景色情報が管理領域に登録されてい
るか否かを判定する（ステップＳ７０）。そして、背景
色情報が登録されていなければ、（Ｒ，Ｇ，Ｂ）の背景
色情報を新たに生成し、管理領域に登録して（ステップ
Ｓ７１）、図３３のステップＳ８０以降の処理を行う。

【０１６３】図３７の背景色情報においては、処理対象
の画素のラベル番号、矩形番号、（Ｒ，Ｇ，Ｂ）の値、
およびカウント値が登録されている。このうち、カウン
ト値は、同一とみなされる色を持つ画素の数を表し、最
初は１に設定される。

【０１６４】ステップＳ７０において、背景色情報が登
録されていれば、１つの背景色情報を取り出し、その色
（Ｒｒ，Ｇｒ，Ｂｒ）とラベル番号を抽出する（ステッ
プＳ７２）。次に、（Ｒ，Ｇ，Ｂ）とｒｅｓｏｌｕｔｉ
ｏｎをキーとして色差テーブルを検索し、しきい値（ｉ
ｒ，ｉｇ，ｉｂ）を求める（ステップＳ７３）。次に、
（Ｒｒ，Ｇｒ，Ｂｒ）とｒｅｓｏｌｕｔｉｏｎをキーと
して色差テーブルを検索し、しきい値（ｉｒ２，ｉｇ
２，ｉｂ２）を求める（ステップＳ７４）。

【０１６５】そして、しきい値ｉｒとｉｒ２の最大値を
ｔｈｒとし、しきい値ｉｇとｉｇ２の最大値をｔｈｇと
し、しきい値ｉｂとｉｂ２の最大値をｔｈｂとする（ス
テップＳ７５）。

【０１６６】次に、画素の色（Ｒ，Ｇ，Ｂ）と背景色情
報の色（Ｒｒ，Ｇｒ，Ｂｒ）の差が許容範囲内か否か
を、以下の条件により判定する（図３３のステップＳ７
６）。 ｜Ｒｒ−Ｒ｜＜ｔｈｒ かつ ｜Ｇｒ−Ｇ｜＜ｔｈｇ かつ ｜Ｂｒ−Ｂ｜＜ｔｈｂ この条件が満たされなければ、次に、画素のラベル番号
と背景色情報のラベル番号が一致するか否かを判定する
（ステップＳ７７）。両者が一致すれば、背景色情報の
カウント値に１を加算して（ステップＳ７８）、次の背
景色情報があるか否かを判定する（ステップＳ７９）。
そして、次の背景色情報があれば、ステップＳ７２以降
の処理を繰り返す。

【０１６７】ステップＳ７６において条件が満たされれ
ば、ステップＳ７８以降の処理を行い、ステップＳ７７
においてラベル番号が一致しなければ、ステップＳ７９
以降の処理を行う。

【０１６８】このようなカウント処理によれば、既に登
録されている背景色に近い色の画素または背景色と同じ
ラベル番号を持つ画素が検出されたとき、対応する背景
色のカウント値がインクリメントされる。また、膨張し
たマスク画像を用いることで、文字と背景の混色が生じ
ている部分を背景色の判定から除外することができ、よ
り正確な判定が行われる。

【０１６９】ステップＳ７９において、登録されている
すべての背景色情報の処理が終了すると、次に、グルー
プ内の未処理の背景画素があるか否かを判定する（ステ
ップＳ８０）。そして、未処理の背景画素があれば、図
３２のステップＳ６８以降の処理を繰り返す。

【０１７０】グループ内のすべての背景画素の処理が終
了すると、次に、登録されている背景色情報の中でカウ
ント値が最大のものを選択し（ステップＳ８１）、その
カウント値が以下の条件を満足するか否かを判定する
（図３４のステップＳ８２）。

【０１７１】カウント／マスク画像中の背景画素の総数
＞ｔｈｒｅｓｈ＿ｒａｔｅ ただし、ｔｈｒｅｓｈ＿ｒａｔｅは固定しきい値（例え
ば、０．９１４８６）である。この条件が満たされれ
ば、このグループの背景は均一色であると判定し（ステ
ップＳ８３）、この条件が満たされなければ、このグル
ープの背景は複数色であると判定して（ステップＳ８
４）、処理を終了する。

【０１７２】このような処理によれば、登録された背景
色の数が１つの場合、または、登録された背景色のうち
の１つのカウント値が一定数より大きい場合に、背景が
均一色であると判定される。

【０１７３】背景が均一色の場合は、パターン抽出装置
は、そのグループに対応する領域のカラー画像について
先願Ｂまたは先願Ｃの処理を行い、得られた２値画像を
出力する。このとき、グループに含まれる一様色の文字
矩形の数を調べ、文字矩形が１個であれば先願Ｂの処理
を採用し、文字矩形が複数個であれば先願Ｃの処理を採
用する。

【０１７４】前者の場合、グループの矩形領域のカラー
画像をグレースケール画像に変換し、グレースケール画
像に対して、例えば、画素値の補間処理を施して、解像
度の高い２値画像を生成する。また、後者の場合、グル
ープの矩形領域のカラー画像をグレースケール画像に変
換し、単一背景色かつ単一文字色の部分領域の集合を求
める。そして、それぞれの部分領域の２値画像を組み合
わせて、全体の２値画像を生成する。これにより、より
高精度な２値画像が生成される。

【０１７５】また、背景が複数色の場合は、ステップＳ
６５で生成された拡張する前のマスク画像を、そのまま
グループの２値画像として出力する。そして、このよう
な処理をすべてのグループの外接矩形について行い、パ
ターン抽出処理を終了する。このとき、グループの２値
画像は、ステップＳ２４で決定された順序で出力され
る。

【０１７６】このような２値画像生成処理によれば、背
景が均一色である場合にのみ、先願Ｂまたは先願Ｃに基
づいて詳細な２値画像が生成され、それ以外の場合は、
すでに生成されている２値画像が出力される。したがっ
て、処理の高速性をあまり損なうことなく、小さな文字
パターンをある程度まで抽出することができるようにな
る。

【０１７７】ところで、図８のステップＳ２において、
入力画像がフルカラー画像ではないと判定された場合に
は、次に、画像の色パレットを対象にクラスタリング処
理を行う（ステップＳ１２）。クラスタリング方法とし
ては、例えば、クラスタ中心間のシティブロック距離を
距離尺度とする階層的クラスタリングを用いることがで
きる。距離尺度は、ユークリッド距離、重み付きユーク
リッド距離、またはマハラノビス距離等により定義する
こともできる。

【０１７８】そして、クラスタ中心間の距離の最小値が
あらかじめ定めたしきい値より小さくなったときに、ク
ラスタリングを終了する。このようなクラスタリングの
結果として、各クラスタについて以下のような情報が得
られる。 ・クラスタ番号 ・クラスタに含まれる色パレットの個数 ・クラスタに含まれる元の画像の色パレット番号 ・クラスタの平均色（Ｒ，Ｇ，Ｂ） 画像の色分布をクラスタリングする場合、クラスタリン
グに使用するベクトルは、画像の色パレット（Ｒｉ，Ｇ
ｉ，Ｂｉ）（例えば、ｉ＝１〜２５５）である。この色
パレットのベクトルを使用して階層的クラスタリングを
行う場合、色差の尺度としてクラスタ間の距離を求め、
クラスタ間の距離が小さいクラスタ同士を統合する。２
つの色（Ｒ１，Ｇ１，Ｂ１）と（Ｒ２，Ｇ２，Ｂ２）の
間の距離ｄｉｓｔは、シティブロック距離で定義した場
合、次式により表される。 ｄｉｓｔ＝｜Ｒ１−Ｒ２｜＋｜Ｇ１−Ｇ２｜＋｜Ｂ１−
Ｂ２｜ ところで、実際には、コンピュータと人間の色の識別能
力は異なっており、例えば、色空間上での距離値が同じ
値であっても、黒（または白）に近い２つの色は、赤等
の高彩度の２つの色に比べて、人間が見たときに識別し
にくい。すなわち、黒に近い２つの色は、色空間上での
距離がある程度離れていても、人間の目にはそれらの２
つの色が区別されずに同一色に見えてしまう。一方、赤
に近い２つの色は、色空間上での距離がある程度近くて
も、人間の目にはそれらの２つの色が異なる色に見え
る。

【０１７９】そこで、クラスタリングに先立って、低彩
度色（黒または白に近い色）の２色間の距離値を高彩度
色の２色間の距離値よりも小さくするために、以下のよ
うな色変換を行う。 Ｒｎｅｗ＝｛１−ｃｏｓ（Ｒ×π／２５５）｝×２５５
＋Ｒ×４ Ｇｎｅｗ＝｛１−ｃｏｓ（Ｇ×π／２５５）｝×２５５
＋Ｇ×４ Ｂｎｅｗ＝｛１−ｃｏｓ（Ｂ×π／２５５）｝×２５５
＋Ｂ×４ これにより、０から２５５までのすべての輝度値につい
て、輝度値の差分を同じ評価基準で判断することができ
る。

【０１８０】次に、クラスタリング結果の情報を用い
て、カラー画像の色ラベリング処理を行い（ステップＳ
１３）、ステップＳ５以降の処理を行う。これにより、
フルカラー以外の画像については、その画像を構成する
色パレットのクラスタリング結果がラベリング処理に反
映される。

【０１８１】色ラベリング処理では、まず、画素値（画
素のパレット番号）からクラスタ番号を獲得するための
変換表を作成する。次に、クラスタ番号に注目した色ラ
ベリング処理を行う。この色ラベリング処理では、隣り
合う画素のクラスタ番号が同じ場合にそれらの画素に同
一ラベルを与える。

【０１８２】このとき、縮小画像の左上からラスタスキ
ャンを行い、ラベル付けがされていない画素に注目す
る。そして、この未処理の画素の周囲８画素を走査し
て、周囲に既にラベル付けされた画素があり、その周囲
画素のクラスタ番号が注目画素のクラスタ番号と同じで
ある場合に、周囲画素のラベルをカレントラベルｒｅｇ
ｉｏｎとして保存し、注目画素のラベルとしてｒｅｇｉ
ｏｎを与える。また、領域の平均色（Ｒｍ，Ｇｍ，Ｂ
ｍ）として、周囲のラベルの平均色に注目画素の色を加
味した新たな平均色を求める。

【０１８３】それ以外の場合は、カレントラベルとし
て、今まで付けたラベル値＋１のラベル値を設定し、注
目画素のラベルにもその値を付与する。この場合でも、
領域の平均色（Ｒｍ，Ｇｍ，Ｂｍ）として、注目画素の
ＲＧＢ値を設定する。また、いずれの場合でも、注目画
素の座標値を処理対象座標配列に保存する。

【０１８４】次に、注目画素の周りに同色領域を拡張す
る処理を行う。処理対象座標配列の中から、先頭の座標
値を取り出し、その座標の画素を注目画素とする。そし
て、注目画素の周囲８画素を走査し、周囲画素が未処理
の画素であり、注目画素のクラスタ番号とその周囲画素
のクラスタ番号が同一である場合、周囲画素に注目画素
と同一のラベルを付け、周囲画素の座標を処理対象座標
配列に追加する。また、処理された注目画素を、処理対
象座標配列から削除する。

【０１８５】次に、処理座標ｘおよびｙの最大値と最小
値を求め、それらの値をこのラベル領域の外接矩形とし
て保存する。また、このラベル領域の平均色を外接矩形
の属性（代表色）として保存する。

【０１８６】以上の処理を、処理対象座標配列の内容が
なくなるまで続ける。このような色ラベリングの結果、
ラベル画像と同じラベルを持つ領域を囲む外接矩形が獲
得される。ラベリング処理の出力情報は、ステップＳ４
と同様である。

【０１８７】次に、図３８から図４７までを参照しなが
ら、処理結果の具体例について説明する。図３８は、図
８のステップＳ１で入力されるカラー画像（原画像）の
例を示している。このカラー画像に対してステップＳ４
の色ラベリング処理を施すと、図３９に示すようなラベ
ル画像が生成され、ステップＳ９の処理により、図４０
に示すような複数の同色グループが抽出される。さら
に、ステップＳ１１の文字線太さによる再グループ化処
理により、同色グループは図４１のように変化する。

【０１８８】次に、図９のステップＳ２１の処理によ
り、文字列らしいグループとして、図４２に示すような
いくつかのグループが抽出される。これらのグループか
ら、ステップＳ２２の処理によりノイズグループを削除
すると、図４３に示すようなグループが残される。これ
らのグループから、ステップＳ２３の処理により、図４
４に示すような同色パターンが抽出される。

【０１８９】そして、ステップＳ２４およびＳ２５の処
理によりタイトル候補として出力されるパターンのう
ち、第１、第２、第３候補のパターンが、それぞれ、図
４５、４６、４７に示されている。

【０１９０】本実施形態の技術の有効性を確かめるため
に、雑誌のカラー文書９５枚を入力画像として用いて評
価実験を行ったところ、以下のような結果が得られた。 １）対象文書 Ａ４サイズ雑誌： 雑誌Ｊ１ ２種類 記事５ページ 雑誌Ｊ２ ２種類 記事５ページ 雑誌Ｊ３ ２種類 記事５ページ 雑誌Ｊ４ ２種類 記事５ページ 雑誌Ｊ５ ２種類 記事５ページ 雑誌Ｊ６ ２種類 記事５ページ 雑誌Ｊ７ １種類 記事５ページ 雑誌Ｊ８ １種類 記事５ページ 雑誌Ｊ９ １種類 記事５ページ 雑誌Ｊ１０ １種類 記事５ページ 雑誌Ｊ１１ １種類 記事５ページ Ｂ５サイズ雑誌：（読み取り範囲はＡ４） 雑誌Ｊ１２ ２種類 記事５ページ 合計：１９種類 記事９５ページ ２）スキャナ読み取り条件 フルカラー、３９．４ドット／ｃｍ ３）評価項目 ａ）キーワード文字列抽出正解率 あらかじめ、目視により、タイトルやキーワードとして
妥当と思える文字列を、正しい文字列として指定してお
く。そして、処理結果として出力された文字列パターン
のうち、パターンの欠けがほとんどないもの／ノイズが
ほとんど乗っていないものを、抽出に成功したパターン
とみなし、抽出正解率（抽出に成功した文字列の数／正
しい文字列の数）を求めた。

【０１９１】ｂ）タイトル抽出正解率 あらかじめ、各ページ毎にタイトルと思われる文字列を
定めておく。そして、抽出された文字列とその出力順位
から、タイトル文字列が出力される順位を記録し、順位
毎のタイトル抽出正解率を求めた。さらに、その正解率
を累積して、累積タイトル抽出正解率（第ｉ位までに正
しいタイトル文字列を抽出できる確率）を求めた。

【０１９２】ｃ）キーワード文字認識率 抽出された文字列を、最近の文字認識エンジンで文字認
識し、文字認識率と誤認識原因の分析を行った。

【０１９３】ｄ）処理時間 ９５枚のサンプルについて平均処理時間を求めた。 ４）評価結果と考察 ａ）キーワード文字列抽出正解率 対象となる２５５個の文字列に対して、平均正解率は、
２３８／２５５＝９３．３％であった。これに対して、
本発明を適用していない処理で同じ評価を行うと、２１
１／２５５＝８２．７％であった。

【０１９４】いくつかの文字列が抽出できない主な原因
は、以下の通りと思われる。 ・細い文字線や小さなパターンで文字列が構成されてい
て、カラーテキスト抽出処理を行うための前提となる同
色グループの抽出ができていない。 ・グループの背景部分が単一色であるにもかかわらず、
裏面文字の写り込み等で単一色と判定できない。

【０１９５】ｂ）タイトル抽出正解率 各文書について１つのタイトルを指定したので、全部で
９５個のタイトルが指定された。各順位以内の累積正解
率は、以下の通りである。

【０１９６】 第１位 ：６４／９５＝６７．４％ 第２位以内：８２／９５＝８６．３％ 第３位以内：８６／９５＝９０．５％ 第４位以内：８９／９５＝９３．７％ 第５位以内：９０／９５＝９４．７％ この結果を見ると、以前の社内文書を対象としたタイト
ル抽出実験に比べて、第１位で２３ポイント程度悪くな
っている。この原因は、ノイズ除去が完全にできていな
いためノイズの悪影響が残ったことと、社内文書では１
行を単位にタイトルらしさの得点付けを行ったが、今回
は複数行を１まとまりとするグループを単位に得点付け
を行っているので、タイトルらしさの顕著な特徴が出に
くかったことにあると思われる。例えば、文字列間の重
なりはほとんどなくてもグループ間の重なりはあり得る
ので、重なりがあるか否かをタイトルらしさの指標とし
て用いることができない。

【０１９７】その他の原因としては、タイトルらしいグ
ループを表す特徴量の解析が不十分であることが挙げら
れる。このことは、社内文書の場合にも問題となった
が、ＧＡ（genetic algorithm ）等の方法を用いれば、
最適な得点配分を求めることが可能である。

【０１９８】ｃ）キーワード文字認識率 最新の文字認識エンジンに、誤認識の主要な原因の１つ
である大文字と小文字を判別する処理を組み入れて、文
字認識を行った結果、平均正解率は、２４４３文字／２
７８２文字＝８７．８％であった。

【０１９９】ｄ）処理時間 ５００ＭＨｚのＣＰＵ（中央処理装置）と１２８Ｍバイ
トのメモリを備えたコンピュータを用いた場合、以下の
ような結果が得られた。

【０２００】フルカラー画像の平均処理時間：５．５２
秒／枚 最大処理時間：１６．１３秒／枚 最小処理時間：２．７秒／枚 このように、本実施形態のパターン抽出処理によれば、
キーワード文字列抽出正解率、タイトル抽出正解率、キ
ーワード文字認識率、および処理時間が全般的に良好な
値を示しており、高速かつ高精度な処理が実現されるこ
とが分かる。

【０２０１】図４８は、以上説明したハイブリッドパタ
ーン抽出処理の概要を示すフローチャートである。この
フローチャートによれば、パターン抽出装置は、まず、
図８のステップＳ１から図９のステップＳ２４までの処
理に相当するパターン抽出処理を行って、カラー画像か
ら同色グループが覆う領域（例えば、矩形領域）を文字
列領域として抽出し、各文字列領域内のパターンを抽出
する（ステップＳ９１）。

【０２０２】次に、抽出された文字列領域の背景部分が
均一色か否かを判定する（ステップＳ９２）。背景部分
が均一色であれば、先願Ｂまたは先願Ｃの処理を行って
より詳細にパターンを抽出し（ステップＳ９３）、次の
文字列領域があるか否かを判定する（ステップＳ９
４）。次の文字列領域があれば、ステップＳ９２以降の
処理を繰り返す。

【０２０３】ステップＳ９２において背景部分が均一色
でなければ、ステップＳ９３の処理をスキップして、ス
テップＳ９４以降の処理を行う。そして、すべての文字
列領域の処理が終了すると、抽出されたパターンの２値
画像を出力して（ステップＳ９５）、処理を終了する。
このとき、背景部分が均一色の文字列領域については、
ステップＳ９３で抽出されたパターンの２値画像が出力
され、それ以外の文字列領域については、ステップＳ９
１で抽出されたパターンの２値画像が出力される。

【０２０４】同色グループに基づくパターン抽出処理と
先願Ｂまたは先願Ｃに基づく詳細パターン抽出処理を所
定のアルゴリズムに基づいて組み合わせたハイブリッド
パターン抽出処理としては、他にも様々な形態が考えら
れる。図４９、５０、５１は、このようなハイブリッド
パターン抽出処理のフローチャートである。

【０２０５】図４９の処理では、パターン抽出装置は、
まず、先願Ｂまたは先願Ｃの処理による詳細パターン抽
出を行い（ステップＳ１０１）、領域識別を行って文字
列領域内の文字領域を抽出する（ステップＳ１０２）。

【０２０６】次に、文字列領域内の背景部分の色を調
べ、背景部分が均一色か否かを判定する（ステップＳ１
０３）。背景部分が均一色でなければ、図４８のステッ
プＳ９１と同様にして文字列領域内のパターンを抽出し
（ステップＳ１０４）、次の文字列領域があるか否かを
判定する（ステップＳ１０５）。次の文字列領域があれ
ば、ステップＳ１０３以降の処理を繰り返す。

【０２０７】ステップＳ１０３において背景部分が均一
色であれば、ステップＳ１０４の処理をスキップして、
ステップＳ１０５以降の処理を行う。そして、すべての
文字列領域の処理が終了すると、抽出されたパターンの
２値画像を出力して（ステップＳ１０６）、処理を終了
する。このとき、背景部分が均一色の文字列領域につい
ては、ステップＳ１０１で抽出されたパターンの２値画
像が出力され、それ以外の文字列領域については、ステ
ップＳ１０４で抽出されたパターンの２値画像が出力さ
れる。

【０２０８】図５０の処理では、パターン抽出装置は、
同色グループに基づくパターン抽出処理と、先願Ｂまた
は先願Ｃに基づく詳細パターン抽出処理とを全く独立に
行い、出力された文字列パターンを合成する。

【０２０９】この処理では、パターン抽出装置は、ま
ず、図８のステップＳ１から図９のステップＳ２４まで
の処理に相当するパターン抽出処理を行って、カラー画
像からグループ内同色パターンを抽出する（ステップＳ
１１１）。

【０２１０】また、このパターン抽出処理と並行して、
同じカラー画像に対して、先願Ｂまたは先願Ｃの処理を
行ってより詳細なパターンを抽出し（ステップＳ１１
２）、領域識別を行って文字列領域内の文字領域を抽出
する（ステップＳ１１３）。

【０２１１】次に、２つの方法で抽出されたパターンを
合成して（ステップＳ１１４）、合成されたパターンの
２値画像を出力し（ステップＳ１１５）、処理を終了す
る。ステップＳ１１４の合成処理では、２つのパターン
の２値画像を生成し、それらの２値画像を画素毎に比較
する。そして、例えば、ＯＲ合成により、対応する２つ
の画素値の論理和を新たな画素値とする２値画像を生成
する。

【０２１２】これにより、カラー画像から独立に抽出さ
れた２つのパターンが合成され、合成結果が２値画像と
して出力される。また、ＯＲ合成の代わりに、ＡＮＤ合
成等の他の論理演算を用いてもよい。

【０２１３】図５１の処理では、パターン抽出装置は、
同色グループに基づくパターン抽出処理と、先願Ｂまた
は先願Ｃに基づく詳細パターン抽出処理とを全く独立に
行い、出力された文字列パターンを合成しないで個別に
出力する。

【０２１４】この処理では、パターン抽出装置は、ま
ず、図８のステップＳ１から図９のステップＳ２４まで
の処理に相当するパターン抽出処理を行って、カラー画
像からグループ内同色パターンを抽出する（ステップＳ
１２１）。そして、抽出されたパターンの２値画像を生
成して出力する（ステップＳ１２２）。

【０２１５】また、このパターン抽出処理と並行して、
同じカラー画像に対して、先願Ｂまたは先願Ｃの処理を
行ってより詳細なパターンを抽出し（ステップＳ１２
３）、領域識別を行って文字列領域内の文字領域を抽出
する（ステップＳ１２４）。そして、抽出されたパター
ンの２値画像を生成して出力する（ステップＳ１２
５）。

【０２１６】こうして、カラー画像から独立に抽出され
た２つのパターンの２値画像をそのまま独立に出力し
て、処理を終了する。この場合、ユーザは、出力された
２つの２値画像を比較して、いずれか一方を選択するこ
とができる。

【０２１７】図５２から図５４までは、図４９のステッ
プＳ１０３で行われる背景色判定処理のフローチャート
である。パターン抽出装置は、まず、文字列領域の２値
画像における黒画素に対応する入力画像の画素を抽出
し、それらの画素の色を平均して、文字列の平均色（Ｒ
ｍ，Ｇｍ，Ｂｍ）を求める（図５２のステップＳ１３
１）。次に、文字列領域の２値画像からマスク画像を生
成し（ステップＳ１３２）、マスク画像をその周囲に一
定画素だけ拡張して、膨張したマスク画像を生成する
（ステップＳ１３３）。

【０２１８】次に、マスク画像を用いて、グループの外
接矩形に対応する入力画像の領域を走査し、マスク画像
上で画素値が０の背景画素に対応する色（Ｒ，Ｇ，Ｂ）
を抽出する（ステップＳ１３４）。そして、画素の色
（Ｒ，Ｇ，Ｂ）と文字列の平均色（Ｒｍ，Ｇｍ，Ｂｍ）
の差が許容範囲内か否かを、以下の条件により判定する
（ステップＳ１３５）。 ｜Ｒｍ−Ｒ｜＜ｔｈＲ１ かつ ｜Ｇｍ−Ｇ｜＜ｔｈＧ１ かつ ｜Ｂｍ−Ｂ｜＜ｔｈＢ１ ただし、ｔｈＲ１、ｔｈＧ１、およびｔｈＢ１は、固定
しきい値である。この条件が満たされれば、この画素は
文字の一部を構成しているものとみなして、図５３のス
テップＳ１４２以降の処理を行う。この条件が満たされ
なければ、次に、図５５に示すような背景色情報が管理
領域に登録されているか否かを判定する（ステップＳ１
３６）。そして、背景色情報が登録されていなければ、
（Ｒ，Ｇ，Ｂ）の背景色情報を新たに生成し、管理領域
に登録して（ステップＳ１３７）、図５３のステップＳ
１４２以降の処理を行う。図５５のカウント値は、最初
は１に設定される。

【０２１９】ステップＳ１３６において、背景色情報が
登録されていれば、１つの背景色情報を取り出し、その
色（Ｒｒ，Ｇｒ，Ｂｒ）を抽出する（図５３のステップ
Ｓ１３８）。次に、画素の色（Ｒ，Ｇ，Ｂ）と背景色情
報の色（Ｒｒ，Ｇｒ，Ｂｒ）の差が許容範囲内か否か
を、以下の条件により判定する（ステップＳ１３９）。

【０２２０】｜Ｒｒ−Ｒ｜＜ｔｈＲ かつ ｜Ｇｒ−Ｇ｜＜ｔｈＧ かつ ｜Ｂｒ−Ｂ｜＜ｔｈＢ ただし、ｔｈＲ、ｔｈＧ、およびｔｈＢは、固定しきい
値である。この条件が満たされれば、背景色情報のカウ
ント値に１を加算して（ステップＳ１４０）、次の背景
色情報があるか否かを判定する（ステップＳ１４１）。
そして、次の背景色情報があれば、ステップＳ１３８以
降の処理を繰り返す。ステップＳ１３９において条件が
満たされなければ、ステップＳ１４１以降の処理を行
う。このようなカウント処理によれば、既に登録されて
いる背景色に近い色の画素が検出されたとき、対応する
背景色のカウント値がインクリメントされる。

【０２２１】ステップＳ１４１において、登録されてい
るすべての背景色情報の処理が終了すると、次に、文字
列領域内の未処理の背景画素があるか否かを判定する
（ステップＳ１４２）。そして、未処理の背景画素があ
れば、図５２のステップＳ１３４以降の処理を繰り返
す。

【０２２２】文字列領域内のすべての背景画素の処理が
終了すると、次に、登録されている背景色情報の中でカ
ウント値が最大のものを選択し（ステップＳ１４３）、
そのカウント値が以下の条件を満足するか否かを判定す
る（図５４のステップＳ１４４）。 カウント／マスク画像中の背景画素の総数＞ｔｈｒｅｓ
ｈ＿ｒａｔｅ ただし、ｔｈｒｅｓｈ＿ｒａｔｅは固定しきい値であ
る。この条件が満たされれば、この文字列領域の背景は
均一色であると判定し（ステップＳ１４５）、この条件
が満たされなければ、この文字列領域の背景は複数色で
あると判定して（ステップＳ１４６）、処理を終了す
る。

【０２２３】図４８から図５１までに示したハイブリッ
ドパターン抽出処理を採用することで、小さな文字パタ
ーンであっても、ある程度まで抽出することができるよ
うになり、高精度なパターン抽出処理が実現される。

【０２２４】ところで、パターン抽出装置は、例えば、
図５６に示すような情報処理装置（コンピュータ）を用
いて構成することができる。図５６の情報処理装置は、
ＣＰＵ（中央処理装置）２２１、メモリ２２２、入力装
置２２３、出力装置２２４、外部記憶装置２２５、媒体
駆動装置２２６、ネットワーク接続装置２２７、および
画像入力装置２２８を備え、それらはバス２２９により
互いに接続されている。

【０２２５】メモリ２２２は、例えば、ＲＯＭ（read o
nly memory）、ＲＡＭ（random access memory）等を含
み、処理に用いられるプログラムとデータを格納する。
ＣＰＵ２２１は、メモリ２２２を利用してプログラムを
実行することにより、必要な処理を行う。

【０２２６】入力装置２２３は、例えば、キーボード、
ポインティングデバイス、タッチパネル等であり、ユー
ザからの指示や情報の入力に用いられる。出力装置２２
４は、例えば、ディスプレイ、プリンタ、スピーカ等で
あり、ユーザへの問い合わせや処理結果の出力に用いら
れる。

【０２２７】外部記憶装置２２５は、例えば、磁気ディ
スク装置、光ディスク装置、光磁気ディスク（magneto-
optical disk）装置等である。情報処理装置は、この外
部記憶装置２２５に、上述のプログラムとデータを保存
しておき、必要に応じて、それらをメモリ２２２にロー
ドして使用することができる。また、外部記憶装置２２
５は、カラー画像を格納するデータベースとしても用い
られる。

【０２２８】媒体駆動装置２２６は、可搬記録媒体２３
０を駆動し、その記録内容にアクセスする。可搬記録媒
体２３０としては、メモリカード、フロッピー（登録商
標）ディスク、ＣＤ−ＲＯＭ（compact disk read only
memory ）、光ディスク、光磁気ディスク等、任意のコ
ンピュータ読み取り可能な記録媒体が用いられる。ユー
ザは、この可搬記録媒体２３０に上述のプログラムとデ
ータを格納しておき、必要に応じて、それらをメモリ２
２２にロードして使用することができる。

【０２２９】ネットワーク接続装置２２７は、ＬＡＮ
（local area network）等の任意の通信ネットワークへ
の接続に用いられ、通信に伴うデータ変換を行う。情報
処理装置は、上述のプログラムとデータをネットワーク
接続装置２２７を介して外部の装置から受け取り、それ
らをメモリ２２２にロードして使用することができる。

【０２３０】画像入力装置２２８は、例えば、ＣＣＤカ
メラやスキャナ等の撮像装置であり、カラー画像の入力
に用いられる。図５７は、図５６の情報処理装置にプロ
グラムとデータを供給することのできるコンピュータ読
み取り可能な記録媒体を示している。可搬記録媒体２３
０や外部のデータベース２３１に保存されたプログラム
とデータは、メモリ２２２にロードされる。そして、Ｃ
ＰＵ２２１は、そのデータを用いてそのプログラムを実
行し、必要な処理を行う。

【０２３１】

【発明の効果】本発明によれば、カラー文書画像に含ま
れる文字と背景の混色を適切に処理して、小さな文字パ
ターンを抽出することが可能となる。これにより、高精
度なパターン抽出処理が実現される。

【図面の簡単な説明】

【図１】本発明のパターン抽出装置の原理図である。

【図２】テーブル作成処理のフローチャートである。

【図３】網点印刷法によるカラー画像の表現方法を説明
する図

【図４】網点印刷法によるカラー画像の拡大図

【図５】印刷モデルの生成方法を示す図

【図６】第１の色差テーブルの構成を示す図

【図７】第２の色差テーブルの構成を示す図

【図８】パターン抽出処理のフローチャート（その１）
である。

【図９】パターン抽出処理のフローチャート（その２）
である。

【図１０】注目画素の周囲の８画素を示す図である。

【図１１】図形除去を示す図である。

【図１２】Ｌ字形パターンが存在する場合の重なり統合
結果を示す図である。

【図１３】注目矩形の周囲の探索範囲の設定方法を説明
する図である。

【図１４】注目矩形の周囲の探索範囲にかかる矩形の抽
出方法を説明する図である。

【図１５】輪郭長獲得処理を示すフローチャート（その
１）である。

【図１６】輪郭長獲得処理を示すフローチャート（その
２）である。

【図１７】輪郭長獲得方法を説明するためのパターンの
具体例を示す図である。

【図１８】再グルーピング処理の例を示す図である。

【図１９】グループ内の大きな矩形削除処理を説明する
図である。

【図２０】グループ内の重なり矩形統合処理を説明する
図である。

【図２１】グループ内文字列抽出処理を説明する図であ
る。

【図２２】文字列内分離文字統合処理を説明する図であ
る。

【図２３】グループ内の文字列サイズによる再グループ
化処理を説明する図である。

【図２４】第１のグループ統合処理を説明する図であ
る。

【図２５】第２のグループ統合処理を説明する図であ
る。

【図２６】矩形並びによる文字列らしいグループの抽出
処理を説明する図である。

【図２７】第１のノイズグループの削除処理を説明する
図である。

【図２８】第２のノイズグループの削除処理を説明する
図である。

【図２９】第３のノイズグループの削除処理を説明する
図である。

【図３０】グループ内同色パターン抽出処理を説明する
図である。

【図３１】第１の背景色判定処理のフローチャート（そ
の１）である。

【図３２】第１の背景色判定処理のフローチャート（そ
の２）である。

【図３３】第１の背景色判定処理のフローチャート（そ
の３）である。

【図３４】第１の背景色判定処理のフローチャート（そ
の４）である。

【図３５】第１のマスク画像を示す図である。

【図３６】第２のマスク画像を示す図である。

【図３７】第１の背景色情報を示す図である。

【図３８】カラー画像を示す図である。

【図３９】ラベル画像を示す図である。

【図４０】同色グループを示す図である。

【図４１】再グループ化の結果を示す図である。

【図４２】文字列らしいグループを示す図である。

【図４３】ノイズグループ削除の結果を示す図である。

【図４４】グループ内同色パターンを示す図である。

【図４５】第１候補を示す図である。

【図４６】第２候補を示す図である。

【図４７】第３候補を示す図である。

【図４８】第１のハイブリッドパターン抽出処理のフロ
ーチャートである。

【図４９】第２のハイブリッドパターン抽出処理のフロ
ーチャートである。

【図５０】第３のハイブリッドパターン抽出処理のフロ
ーチャートである。

【図５１】第４のハイブリッドパターン抽出処理のフロ
ーチャートである。

【図５２】第２の背景色判定処理のフローチャート（そ
の１）である。

【図５３】第２の背景色判定処理のフローチャート（そ
の２）である。

【図５４】第２の背景色判定処理のフローチャート（そ
の３）である。

【図５５】第２の背景色情報を示す図である。

【図５６】情報処理装置の構成図である。

【図５７】記録媒体を示す図である。

【符号の説明】

１ 概略抽出手段 ２ 詳細抽出手段 ３ 出力手段 ４ 判定手段 ５ 合成手段 １１ 原画像 １２、１３、１４、１５ 画素 ２１、２２、２３ 点 ３１、３２、３３、４１、４４、４５、６１、６２、６
３、６４、７２、１０２、１０３、１０４、１０５、１
０６、１０７、１０８、１０９、１１０、１１１、１３
１、１３２、１３３、１３４、１３５、１３６、１４
２、１４３、１４４、１４５、１４６、１４７、１４
８、１４９、１５０、１５１、１６１、１６２、１６
３、１６４、１６５、１６６、１６７、１６８、１７
１、１７２、１７３、１７４、１７５、１７６、１７
７、１７８、１７９、１８０、１８１、１８２、１８
３、１８４、１８５、１８６、１８７、１９１、１９
２、１９３、２０１、２０２、２０３、２１１ 矩形 ４２、４３ パターン ５１ 注目矩形 ５２、６５ 探索範囲 ７１ ラベル画像 ８１、８２、８３、１０１、１１２、１４１ グループ ２０４、２０５ ヒストグラム ２１２、２１３ 濁点 ２２１ ＣＰＵ ２２２ メモリ ２２３ 入力装置 ２２４ 出力装置 ２２５ 外部記憶装置 ２２６ 媒体駆動装置 ２２７ ネットワーク接続装置 ２２８ 画像入力装置 ２２９ バス ２３０ 可搬記録媒体 ２３１ データベース

Claims (17)

【特許請求の範囲】
1. 【請求項１】 複数色の背景上の大きな文字を抽出可能
   な抽出方法を用いて、カラー画像から文字列パターンを
   抽出する概略抽出手段と、 抽出された文字列パターンの領域内において、背景色が
   均一か否かを判定する判定手段と、 前記背景色が均一であるとき、一様色の背景上の小さな
   文字を抽出可能な抽出方法を用いて、前記文字列パター
   ンの領域から文字列パターンを再抽出する詳細抽出手段
   と、 前記背景色が均一でないとき、前記概略抽出手段により
   抽出された文字列パターンを出力し、前記背景色が均一
   であるとき、前記詳細抽出手段により抽出された文字列
   パターンを出力する出力手段とを備えることを特徴とす
   るパターン抽出装置。
2. 【請求項２】 前記判定手段は、前記概略抽出手段によ
   り抽出された文字列パターンの領域内において、該文字
   列パターンを拡張し、拡張された文字列パターン以外の
   部分の色を前記背景色とみなすことを特徴とする請求項
   １記載のパターン抽出装置。
3. 【請求項３】 前記判定手段は、前記概略抽出手段によ
   り抽出された文字列パターンの領域内において、前記カ
   ラー画像の画素の色情報と、該カラー画像から生成され
   たラベル画像の画素のラベル情報とを用いて、背景部分
   の色の数を求め、得られた数に基づいて背景色が均一か
   否かを判定することを特徴とする請求項１記載のパター
   ン抽出装置。
4. 【請求項４】 前記判定手段は、前記文字列パターンの
   領域内において、該文字列パターンを拡張し、拡張され
   た文字列パターン以外の部分を前記背景部分とみなすこ
   とを特徴とする請求項３記載のパターン抽出装置。
5. 【請求項５】 複数の文字列パターンに対して、タイト
   ルらしさを表す得点を付与する付与手段をさらに備え、
   前記出力手段は、付与された得点に基づいて決められた
   順序で該複数の文字列パターンを出力することを特徴と
   する請求項１記載のパターン抽出装置。
6. 【請求項６】 一様色の背景上の小さな文字を抽出可能
   な抽出方法を用いて、カラー画像から文字列パターンを
   抽出する詳細抽出手段と、 抽出された文字列パターンの領域内において、背景色が
   均一か否かを判定する判定手段と、 前記背景色が均一でないとき、複数色の背景上の大きな
   文字を抽出可能な抽出方法を用いて、前記文字列パター
   ンの領域から文字列パターンを再抽出する概略抽出手段
   と、 前記背景色が均一であるとき、前記詳細抽出手段により
   抽出された文字列パターンを出力し、前記背景色が均一
   でないとき、前記概略抽出手段により抽出された文字列
   パターンを出力する出力手段とを備えることを特徴とす
   るパターン抽出装置。
7. 【請求項７】 複数色の背景上の大きな文字を抽出可能
   な抽出方法を用いて、カラー画像から文字列パターンを
   抽出する概略抽出手段と、 一様色の背景上の小さな文字を抽出可能な抽出方法を用
   いて、前記カラー画像から文字列パターンを抽出する詳
   細抽出手段と、 前記概略抽出手段により抽出された文字列パターンと、
   前記詳細抽出手段により抽出された文字列パターンとを
   合成する合成手段と、 合成された文字列パターンを出力する出力手段とを備え
   ることを特徴とするパターン抽出装置。
8. 【請求項８】 複数色の背景上の大きな文字を抽出可能
   な抽出方法を用いて、カラー画像から文字列パターンを
   抽出する概略抽出手段と、 一様色の背景上の小さな文字を抽出可能な抽出方法を用
   いて、前記カラー画像から文字列パターンを抽出する詳
   細抽出手段と、 前記概略抽出手段により抽出された文字列パターンと、
   前記詳細抽出手段により抽出された文字列パターンとを
   個別に出力する出力手段とを備えることを特徴とするパ
   ターン抽出装置。
9. 【請求項９】 コンピュータのためのプログラムを記録
   した記録媒体であって、 複数色の背景上の大きな文字を抽出可能な概略抽出方法
   を用いて、カラー画像から文字列パターンを抽出し、 抽出された文字列パターンの領域内において、背景色が
   均一か否かを判定し、 前記背景色が均一であるとき、一様色の背景上の小さな
   文字を抽出可能な詳細抽出方法を用いて、前記文字列パ
   ターンの領域から文字列パターンを再抽出し、 前記背景色が均一でないとき、前記概略抽出方法により
   抽出された文字列パターンを出力し、前記背景色が均一
   であるとき、前記詳細抽出方法により抽出された文字列
   パターンを出力する処理を前記コンピュータに実行させ
   ることを特徴とするコンピュータ読み取り可能な記録媒
   体。
10. 【請求項１０】 コンピュータのためのプログラムを記
    録した記録媒体であって、 一様色の背景上の小さな文字を抽出可能な詳細抽出方法
    を用いて、カラー画像から文字列パターンを抽出し、 抽出された文字列パターンの領域内において、背景色が
    均一か否かを判定し、 前記背景色が均一でないとき、複数色の背景上の大きな
    文字を抽出可能な概略抽出方法を用いて、前記文字列パ
    ターンの領域から文字列パターンを再抽出し、 前記背景色が均一であるとき、前記詳細抽出方法により
    抽出された文字列パターンを出力し、前記背景色が均一
    でないとき、前記概略抽出方法により抽出された文字列
    パターンを出力する処理を前記コンピュータに実行させ
    ることを特徴とするコンピュータ読み取り可能な記録媒
    体。
11. 【請求項１１】 コンピュータのためのプログラムを記
    録した記録媒体であって、 複数色の背景上の大きな文字を抽出可能な概略抽出方法
    を用いて、カラー画像から文字列パターンを抽出し、 一様色の背景上の小さな文字を抽出可能な詳細抽出方法
    を用いて、前記カラー画像から文字列パターンを抽出
    し、 前記概略抽出方法により抽出された文字列パターンと、
    前記詳細抽出方法により抽出された文字列パターンとを
    合成し、 合成された文字列パターンを出力する処理を前記コンピ
    ュータに実行させることを特徴とするコンピュータ読み
    取り可能な記録媒体。
12. 【請求項１２】 コンピュータのためのプログラムを記
    録した記録媒体であって、 複数色の背景上の大きな文字を抽出可能な概略抽出方法
    を用いて、カラー画像から文字列パターンを抽出し、 一様色の背景上の小さな文字を抽出可能な詳細抽出方法
    を用いて、前記カラー画像から文字列パターンを抽出
    し、 前記概略抽出方法により抽出された文字列パターンと、
    前記詳細抽出方法により抽出された文字列パターンとを
    個別に出力する処理を前記コンピュータに実行させるこ
    とを特徴とするコンピュータ読み取り可能な記録媒体。
13. 【請求項１３】 複数色の背景上の大きな文字を抽出可
    能な概略抽出方法と、一様色の背景上の小さな文字を抽
    出可能な詳細抽出方法とを所定のアルゴリズムに基づい
    て組み合わせ、 組み合わされた抽出方法により、カラー画像から文字列
    パターンを抽出することを特徴とするパターン抽出方
    法。
14. 【請求項１４】 複数色の背景上の大きな文字を抽出可
    能な概略抽出方法を用いて、カラー画像から文字列パタ
    ーンを抽出し、 抽出された文字列パターンの領域内において、背景色が
    均一か否かを判定し、 前記背景色が均一であるとき、一様色の背景上の小さな
    文字を抽出可能な詳細抽出方法を用いて、前記文字列パ
    ターンの領域から文字列パターンを再抽出し、 前記背景色が均一でないとき、前記概略抽出方法により
    抽出された文字列パターンを出力し、前記背景色が均一
    であるとき、前記詳細抽出方法により抽出された文字列
    パターンを出力する処理をコンピュータに実行させるた
    めのプログラム。
15. 【請求項１５】 一様色の背景上の小さな文字を抽出可
    能な詳細抽出方法を用いて、カラー画像から文字列パタ
    ーンを抽出し、 抽出された文字列パターンの領域内において、背景色が
    均一か否かを判定し、 前記背景色が均一でないとき、複数色の背景上の大きな
    文字を抽出可能な概略抽出方法を用いて、前記文字列パ
    ターンの領域から文字列パターンを再抽出し、 前記背景色が均一であるとき、前記詳細抽出方法により
    抽出された文字列パターンを出力し、前記背景色が均一
    でないとき、前記概略抽出方法により抽出された文字列
    パターンを出力する処理をコンピュータに実行させるた
    めのプログラム。
16. 【請求項１６】 複数色の背景上の大きな文字を抽出可
    能な概略抽出方法を用いて、カラー画像から文字列パタ
    ーンを抽出し、 一様色の背景上の小さな文字を抽出可能な詳細抽出方法
    を用いて、前記カラー画像から文字列パターンを抽出
    し、 前記概略抽出方法により抽出された文字列パターンと、
    前記詳細抽出方法により抽出された文字列パターンとを
    合成し、 合成された文字列パターンを出力する処理をコンピュー
    タに実行させるためのプログラム。
17. 【請求項１７】 複数色の背景上の大きな文字を抽出可
    能な概略抽出方法を用いて、カラー画像から文字列パタ
    ーンを抽出し、 一様色の背景上の小さな文字を抽出可能な詳細抽出方法
    を用いて、前記カラー画像から文字列パターンを抽出
    し、 前記概略抽出方法により抽出された文字列パターンと、
    前記詳細抽出方法により抽出された文字列パターンとを
    個別に出力する処理をコンピュータに実行させるための
    プログラム。