JP2000172849A

JP2000172849A - 画像処理装置及びパターン抽出装置

Info

Publication number: JP2000172849A
Application number: JP10350342A
Authority: JP
Inventors: Yutaka Katsuyama; 裕勝山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-12-09
Filing date: 1998-12-09
Publication date: 2000-06-23
Anticipated expiration: 2018-12-09
Also published as: US20060023940A1; US7349571B2; US7280688B2; JP3748172B2; US6771813B1; US20040175031A1

Abstract

(57)【要約】【課題】様々のカラー画像に対応して精度良く同色領
域を抽出することが可能な画像処理装置を提供する。【解決手段】制御手段８は、色数の少ないカラー画像
に対しては、第１のラベリング９を選択することによ
り、色パレットのクラスタリングを用いたラベリングを
行わせ、色数の多いカラー画像に対しては、第１のラベ
リング１０を選択することにより、隣接拡張法を用いた
ラベリングを行わせる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はカラー画像処理装置
及びパターン抽出装置に関し、特に、カラー画像からタ
イトルなどの文字領域を抽出する場合に適用して好適な
ものである。

【０００２】

【従来の技術】近年、コンピュータやカラープリンタな
どの周辺機器の発達と、その低価格化に伴って、カラー
画像を処理する分野が広がっている。このため、カラー
画像を領域分割し、カラー画像の中から特定領域だけを
抽出する技術、例えば、カラー画像中の同色領域を抽出
する技術が求められている。

【０００３】この技術は、例えば、ＣＣＤカメラで撮影
したカラー情景画像を処理対象の入力画像とする場合で
は、画像認識による果物選別や、車の監視、セキュリテ
ィーのための人物監視等、多方面で求められている。

【０００４】また、カラー文書画像を入力画像とする場
合では、画像から文書名やキーワードなどを自動抽出し
て、検索時に使用できるものとして期待されている。そ
の一例として、図書館での本の分類や、管理の自動シス
テムがあげられる。その他にも、画像をデータベースと
して蓄積、共有化するグループウェアでの自動キーワー
ドまたはファイル名付けなどに利用される。これらの情
報は、膨大な量のカラー文書画像を自動検索するのに使
用される。

【０００５】従来のカラー画像中の同色領域を抽出する
技術として、カラー画像中の画素を色ごとにクラスタリ
ングすることにより、色分解画像の作成する方法があ
る。また、隣接拡張法による色ラベリング結果を用いる
ことにより、カラー画像中の同色領域を抽出する方法が
ある。

【０００６】また、カラー画像中からタイトルを抽出す
る技術として、色分解画像を用いて文字領域の抽出処理
を行う方法がある。

【０００７】この方法では、以下の処理が行われる。・１つの色の色分解画像から連結領域の外接矩形を求め
る。・外接矩形のサイズ、形状で一定の範囲にあるものだけ
に絞る。・矩形毎に隣接矩形探索範囲を設け、その内部にかかる
矩形を探索し、お互いに内部にかかる関係の矩形群をグ
ループとして抽出する。・グループ内の矩形の重心の直線性がよい物だけを残
す。・グループの外接矩形を求め、その内部を対象にグルー
プを構成する領域の色に近いパターンを抽出する。

【０００８】なお、従来のカラー文書画像から文字領域
を抽出する技術が記載されている文献として、以下のよ
うなものがある。・仙田等「文字の単色性に着目したカラー画像からの
文字パターン抽出法」電子情報通信学会ＰＲＵ９４−０
９，ｐ１７−２４・上羽等「等色線処理によるカラー画像からの文字領
域の抽出」電子情報通信学会ＰＲＵ９４−０９，ｐ９
−１６・松尾等「カラー文書画像からの単色文字領域の抽
出」１９９７電子情報通信学会総合大会Ｄ−１２−１９・松尾等「濃淡及び色情報による情景画像からの文字
列抽出」電子情報通信学会ＰＲＵ９２−１２１，ｐ２５
−３２

【０００９】

【発明が解決しようとする課題】しかしながら、従来の
カラー画像の画素の色ごとのクラスタリングにより同色
領域を抽出する方法では、画像全体の多数の画素を対象
としたクラスタリングが行われるため、クラスタリング
に必要な計算時間が大きくなる。

【００１０】さらに、画像全体の画素を対象としてクラ
スタリングが行われるので、精度のよい領域抽出ができ
ない場合がある。例えば、第１の色の領域と第２の色の
領域とが離れた場所にあり、第１の色と第２の色とが類
似しているために、これらの第１の色と第２の色とが１
つのクラスタに分類されると、このクラスタから生成さ
れる第３の色によっては、第１の色と第２の色との両方
を完全にカバーすることができず、抽出結果のパターン
に穴が空いたり、輪郭がきれいに抽出されなかったりす
る場合がある。

【００１１】また、従来の領域拡張法を用いて同色領域
を抽出する方法では、隣り合う画素の色が、人間が見た
時には同じように見えるものについても、隣接画素との
色の近さをどう定義するかによっては、しきい値よりも
大きくかけ離れる場合があり、領域中の穴や領域輪郭が
正しく抽出できない場合がある。

【００１２】さらに、隣接画素との関係だけを見ている
ので、文字領域と背景領域の境界で徐々に色が変化して
いく場合には、文字領域が背景領域と同一ラベルになっ
てしまう場合がある。

【００１３】また、従来の領域拡張法では、多種多様な
カラー文書画像に対し、予め定められたしきい値を一律
に適用して同色領域の抽出が行われるため、例えば、灰
色や中間色などの同色系統の色が背景と文字に使われて
いる場合には、かなりの頻度で背景と文字が同一ラベル
化し、文字パターンの抽出精度が損なわれたり、逆に抽
出されたラベル領域が文字パターンの中で小さく細切れ
状態となり、結果的に文字パターンの抽出精度が悪化し
たりする場合がある。

【００１４】また、２５６色画像などのフルカラー以外
の画像に領域拡張法を適応すると、細かいラベル領域が
多数発生し、領域抽出の精度が悪化するという問題があ
る。

【００１５】また、従来の色分解画像を用いた文字領域
の抽出方法では、画像全体についての色分解画像を、そ
の画像から抽出された色の数だけ生成する必要があり、
色分解画像の生成に時間がかかるという問題がある。さ
らに、各色分解画像は画像全体について生成されるの
で、例えば、その画像からタイトルを抽出する場合に、
タイトル領域以外の色の影響を受けやすく、タイトルの
抽出精度が悪化するという問題がある。また、連結領域
の外接矩形を求める場合、抽出した色分解画像ごとに画
像全体について処理を行う必要があるため、１つのカラ
ー画像から複数（抽出した色数分の）の縦横が同じサイ
ズの画像が必要になり、処理に時間がかかるという問題
がある。

【００１６】また、外接矩形のグルーピングも、画像全
体について生成された色分解画像ごとに行われるので、
処理に時間がかかるとともに、抽出対象となる文字が異
なる色分解画像にクラスタリングされると、救済できな
いという問題がある。

【００１７】また、グループの構成時に互いに探索範囲
にかかる矩形だけを抽出するので、文字パターンの一部
であるが、小さい部分がグループから抜け落ち易いとい
う問題がある。また、抜け落ちた部分を拾うために、グ
ループ内の色が近いパターンの抽出を最後に行うが、こ
の時に色が近いノイズを拾いやすいという問題がある。

【００１８】そこで、本発明の目的は、様々のカラー画
像に対応して精度良く同色領域を抽出することが可能な
画像処理装置を提供することである。

【００１９】

【課題を解決するための手段】上述した課題を解決する
ために、本発明によれば、処理対象となるカラー画像の
色数に基づいて、画像処理を使い分けるようにしてい
る。

【００２０】このことにより、カラー画像の色数の違い
に応じた最適な画像処理を行うことが可能となり、画像
処理の精度を向上させることが可能となるとともに、画
像処理の高速化も図ることが可能となる。

【００２１】また、本発明の一態様によれば、処理対象
となるカラー画像の色数に基づいて、異なるラベリング
方法を選択するようにしている。

【００２２】このことにより、色数の少ないカラー画像
に対しては、領域の色差がある程度大きくても、それら
の領域を同一色であるとみなすことが可能となり、同色
領域が微細な領域に分断されることを防止することが可
能となる。また、色数の多いカラー画像では、わずかな
色の違いを検出して、異なる色の領域に異なるラベルを
付与することが可能となり、色の異なるパターンを精度
よく分離して、特定の色のパターンのみを精度良く抽出
することが可能となる。

【００２３】また、本発明の一態様によれば、フルカラ
ー画像以外のカラー画像を対象として、色パレットのク
ラスタリングを用いたラベリングを行い、フルカラー画
像を対象として、隣接拡張法を用いたラベリングを行う
ようにしている。

【００２４】このことにより、フルカラー画像以外のカ
ラー画像は色数が少ないため、色パレットのクラスタリ
ングを用いた場合にも、短い時間で処理を行うことが可
能となるとともに、同色領域の色のばらつきが大きい場
合でも、それらの色を同一のクラスタに分類して色の欠
落を防止することが可能となることから、同色領域を精
度良く抽出することが可能となる。また、フルカラー画
像については、色のクラスタリングを行うことなく、互
いに隣接する画素同士の色を比較するだけで、同色領域
を抽出することが可能となることから、処理時間を短縮
することが可能となるとともに、離れた領域の色の影響
を受けることなく、同色領域を抽出することが可能とな
る。

【００２５】また、本発明の一態様によれば、ラベリン
グ対象となる画像の読み取り情報に基づいて、ラベリン
グのしきい値を各画像ごとに個別に設定するようにして
いる。

【００２６】このことにより、画像の色の同一色の範囲
が各画像ごとに異なっている場合においても、その画像
の色の変動を忠実に反映したしきい値を設定することが
可能となり、多種多様なカラー画像を対象として、同色
領域を精度よく抽出することが可能となる。

【００２７】また、本発明の一態様によれば、処理対象
となる入力画像の局所領域から色差情報を抽出すること
により、その入力画像に対するラベリングのしきい値を
設定するようにしている。

【００２８】このことにより、同色領域の抽出対象とな
る入力画像自体から、入力画像の同色領域の実際の色差
を抽出することが可能となり、多種多様なカラー画像が
入力された場合においても、同色領域を精度よく抽出す
ることが可能となる。

【００２９】また、本発明の一態様によれば、カラー画
像をメッシュ状に分割し、そのメッシュ領域内での色の
分散の小さい領域をそのカラー画像についての均一色領
域として抽出するようにしている。

【００３０】このことにより、様々な色が分布している
カラー画像に対し、同一色だけからなる領域の位置を特
定することが可能となり、この領域の色の分散を求める
ことにより、入力画像の同色領域の実際の色差を算出す
ることが可能となる。

【００３１】また、本発明の一態様によれば、色の分散
値が予め決められた範囲にある局所領域内の色の標準偏
差に基づいて、ラベリングの際のしきい値を決定するよ
うにしている。

【００３２】このことにより、同一色の色の範囲を処理
対象となる実際の画像から求めることが可能となり、灰
色や中間色などの同色系統の色が文字と背景とに使われ
ている場合においても、同色系統の色が使われている文
字と背景とを区別して、文字のみを精度良く抽出するこ
とが可能となる。

【００３３】また、本発明の一態様によれば、第１の色
に対する肉眼での色差の分解能と第２の色に対する肉眼
での色差の分解能とが一致するように、色信号の色変換
を行うようにしている。

【００３４】このことにより、人間に同一色と見える場
合には、色空間上での色差が大きい場合においても、そ
の領域を一体的に抽出することが可能となるとともに、
人間に異なる色と見える場合には、色空間上での色差が
小さい場合においても、その領域を別個に抽出すること
が可能となり、人間の色の識別特性に適合した同色領域
の抽出が可能となる。

【００３５】また、本発明の一態様によれば、低彩度色
付近の色の色差を縮小し、高彩度色付近の色の色差を拡
大するようにしている。

【００３６】このことにより、低彩度色付近では、人間
の色差の分解能が小さいことに対応して、人間に同一色
に見える部分を精度良く抽出することが可能となるとと
もに、高彩度色付近では、人間の色差の分解能が大きい
ことに対応して、人間に異なる色に見える部分は異なる
領域として抽出することが可能となり、同色領域の抽出
精度を向上させることが可能となる。

【００３７】また、本発明の一態様によれば、カラー画
像の色のクラスタリングを行い、同一のクラスタに属す
る色で連結している領域に同一のラベルを付すようにし
ている。

【００３８】このことにより、隣接拡張法によるラベリ
ングを行う場合に、カラー画像の色の数を減らしてラベ
リングを行うことが可能となり、処理を高速化すること
が可能となるとともに、ラベリングのしきい値を予め定
めておく必要がなくなり、同色領域の抽出精度を向上さ
せることが可能となる。

【００３９】また、本発明の一態様によれば、カラー画
像の色成分ごとにそれぞれ独立に算出された読み取り解
像度に基づいて、カラー画像から同色領域を抽出するし
きい値を設定するようにしている。

【００４０】このことにより、ＣＣＤやスキャナなどの
読み取り解像度が色成分ごとに異なる場合や、カラー画
像に用いられている色の違いによって肉眼での分解能が
異なる場合においても、これらのことを考慮して同色領
域を抽出することが可能となり、カラー画像からの同色
パターンの抽出精度を向上させることが可能となる。

【００４１】また、本発明の一態様によれば、色の輝度
値及び読み取り解像度を変数として隣接画素間の色差の
最大値が格納されている色差テーブルから、入力画像か
ら得られた隣接画素間の色差が最もよく一致する読み取
り解像度を３原色のそれぞれに対して個別に取得し、こ
の３原色の読み取り解像度に基づいて、入力画像の読み
取り解像度を算出するようにしている。

【００４２】このことにより、入力画像の読み取り解像
度を算出する際に、読み取り解像度の色成分ごとの違い
を考慮することが可能となることから、カラー画像から
の同色パターンの抽出精度を向上させることが可能とな
る。

【００４３】また、本発明の一態様によれば、画像が取
りうる全ての色の輝度値に対し、隣接画素間の色差の最
大値を色差テーブルに登録するようにしている。

【００４４】このことにより、画像の色の輝度値がどの
ような値であっても、補間などの演算を行うことなく、
隣接画素間の色差の最大値を色差テーブルから直接取得
することが可能となり、画像の色の輝度値に対応したラ
ベリングのしきい値を高速に求めることが可能となる。

【００４５】また、本発明の一態様によれば、画像を所
定の方向へ走査した際のラベル値の変化回数に基づい
て、画像内のパターンの輪郭長を算出するようにしてい
る。

【００４６】このことにより、輪郭長の算出対象となる
パターンの外接矩形の範囲内を１回走査するだけで、そ
のパターンの輪郭長を算出することが可能となり、輪郭
長の算出処理を高速化することが可能となる。

【００４７】また、本発明の一態様によれば、走査方向
に対し第１のラベル以外の画素から第１のラベルに変化
する画素数を計数し、走査方向に対し第１のラベルが付
された画素が２画素以上続いた後に、第１のラベルから
第１のラベル以外の画素に変化する画素数を計数し、第
１のラベルが付された画素のうち、走査方向の隣接画素
の両方が第１のラベルであり、かつ、走査方向と垂直方
向の隣接画素の少なくとも一方が第１のラベル以外であ
る画素数を計数するようにしている。

【００４８】このことにより、パターンのエッジを検出
して輪郭長を算出する際に、走査方向に連続するエッジ
をパターンの輪郭として検出することが可能となるとと
もに、１画素幅のパターンについては、輪郭が２回カウ
ントされることを防止することが可能となり、様々な形
状のパターンの輪郭長を１度の走査で正確に算出するこ
とが可能となる。

【００４９】また、本発明の一態様によれば、同色グル
ープに属するパターンの文字認識結果に基づいて、同色
グループの領域が文字領域かどうかを判別するようにし
ている。

【００５０】このことにより、タイトル候補としてノイ
ズからなるパターンが抽出された場合においても、この
ノイズからなるパターンをタイトル候補から除くことが
可能となり、タイトル領域の抽出精度を向上させること
が可能となる。

【００５１】また、本発明の一態様によれば、同一グル
ープ内のパターンの太さの頻度分布に基づいて設定され
たパターンの太さの範囲に基づいて、同一グループ内の
パターンの再分類を行うようにしている。

【００５２】このことにより、様々の太さのパターンが
混在している場合においても、同一の太さのパターンの
みを同一のグループに分類することが可能となり、タイ
トル領域の抽出精度を向上させることが可能となる。

【００５３】また、本発明の一態様によれば、第１の色
のグループの外接矩形と第２の色のグループの外接矩形
の形状、大きさまたは位置関係に基づいて、第１の色の
グループと第２の色のグループとを統合するようにして
いる。

【００５４】このことにより、外接矩形同士の形状、大
きさまたは位置関係がタイトル領域として適切な場合に
は、外接矩形内のパターンの色が異なっていても、同一
のグループに分類することが可能となり、タイトルを構
成する文字に異なる色の文字が混在している場合におい
ても、タイトル領域を精度良く抽出することが可能とな
る。

【００５５】また、本発明の一態様によれば、互いに重
なっている外接矩形同士の統合を行う際に、特定の形状
のパターンを除外するようにしている。

【００５６】このことにより、抽出対象のパターンでは
ないと予め判っているものを、処理対象から除外して処
理を行うことが可能となり、同色パターンの抽出精度を
向上させることが可能となる。

【００５７】また、本発明の一態様によれば、Ｌ字形ま
たはコ字形のパターンを除外してから、互いに重なって
いる外接矩形同士の統合を行うようにしている。

【００５８】このことにより、抽出対象の文字がその文
字と同色の背景で囲まれている場合において、背景の隅
の部分のみが抽出対象の文字と同色の領域として抽出さ
れた場合においても、背景の隅の部分が抽出対象の文字
と統合されることを防止することが可能となり、タイト
ル領域を精度良く抽出することが可能となる。

【００５９】また、本発明の一態様によれば、グルーピ
ング対象となる外接矩形内のパターンの色情報と既にグ
ルーピングされている外接矩形のグループの色情報とを
比較することにより、外接矩形のグルーピングを行うよ
うにしている。

【００６０】このことにより、抽出対象として既に抽出
されている領域の全体の色を考慮して、外接矩形のグル
ーピングを行うことが可能となり、外接矩形内のパター
ンの色が徐々に変化する場合においても、抽出対象とな
る領域の色と異なる色の領域が同一グループに分類され
ることを防止することが可能となる。

【００６１】また、本発明の一態様によれば、グループ
の色情報に基づいて、同一色かどうかを判定するしきい
値を設定するようにしている。

【００６２】このことにより、同色パターンかどうかを
判定するしきい値を、抽出対象となる同色パターンの色
の変動から求めることが可能となり、パターンの色の同
一色の範囲が各パターンごとに異なる場合においても、
そのパターンの色の変動を忠実に反映したしきい値を設
定することが可能となることから、同色領域を精度良く
抽出することが可能となる。

【００６３】また、本発明の一態様によれば、グループ
の色情報に基づいて、グループの統合を行うようにして
いる。

【００６４】このことにより、グルーピング対象となる
外接矩形内のパターンの色が局所的に変動している場合
においても、そのパターンの色の局所的な変動を既に抽
出されている領域の全体のパターンの色に吸収させるこ
とが可能となり、全体的に見て同色となっているパター
ンを精度良く抽出することが可能となる。

【００６５】

【発明の実施の形態】以下、本発明の実施例に係わる画
像処理装置について図面を参照しながら説明する。

【００６６】図１は、本発明の第１実施例に係わる画像
処理装置の構成を示すブロック図である。

【００６７】図１において、入力画像１が処理対象とさ
れる場合、読み取り情報取得手段２は、入力画像１の読
み取り情報を取得する。この読み取り情報は、入力画像
１の色数、読み取り解像度、輝度値、彩度、隣接画素間
の色差、または色の分散などである。

【００６８】同色範囲設定手段３は、入力画像１の読み
取り情報に基づいて、入力画像１の同一とみなす色の範
囲を設定する。

【００６９】ラベリング手段４は、同色範囲設定手段３
で設定された色の範囲の連結画素に同一ラベルを付すこ
とにより、入力画像１のラベリングを行う。

【００７０】このことにより、ラベリング対象となる入
力画像１からラベリングのしきい値を求めることが可能
となり、多種多様なカラー画像が処理対象とされ、同一
とみなす色の範囲が各カラー画像ごとに異なっている場
合においても、そのカラー画像の色の範囲に対応したし
きい値を用いてラベリングを行うことができる。

【００７１】グルーピング手段５は、ラベリング手段４
により生成されたラベルパターンのグルーピングを行
う。ここで、グルーピング手段５は、同色範囲設定手段
３で設定された同一色の範囲のパターンを同一グループ
にグルーピングすることができる。

【００７２】グループ情報算出手段５は、同一グループ
に分類されているパターンの画像情報に基づいて、グル
ープの画像情報を算出する。

【００７３】ここで、グループの画像情報は、グループ
の色情報やグループの矩形情報などである。グループの
色情報は、例えば、同一グループに属するパターンの色
の平均値や同一グループに属するパターンの色の分散で
ある。グループの矩形情報は、例えば、同一グループに
属するパターン全体の外接矩形の大きさ、形状、または
位置である。

【００７４】グループの画像情報が求まると、このグル
ープの画像情報は、同色範囲設定手段３、ラベリング手
段４及びグルーピング手段５に供給される。

【００７５】同色範囲設定手段３は、グループの画像情
報を受け取ると、このグループの画像情報に基づいて、
ラベリングのしきい値を設定することができる。例え
ば、同一グループに属するパターンの色の変動を求め、
同一グループに属するパターンの輝度差の最大値をラベ
リングのしきい値とすることができる。

【００７６】このことにより、ラベリングを行うパター
ン自体からラベリングのしきい値を求めることが可能と
なり、同一とみなす色の範囲が背景パターンと文字パタ
ーンとで異なっている場合においても、ラベリングを精
度良く行うことができる。

【００７７】ラベリング手段４は、グループの画像情報
を受け取ると、このグループの画像情報に基づいて、ラ
ベリングを行うことができる。例えば、同色パターンの
再抽出を行う場合に、探索する範囲を同一グループに属
するパターンを囲む外接矩形内に限定することができ
る。

【００７８】このことにより、入力画像１からタイトル
パターンを抽出する際に、タイトルを構成するパターン
の一部が欠落した場合においても、欠落したパターンの
みを効率よく抽出することが可能となる。

【００７９】グルーピング手段５は、グループの画像情
報を受け取ると、このグループの画像情報に基づいて、
パターンのグルーピングを行うことができる。例えば、
パターンのグルーピングを行う場合に、同一グループに
属するパターン全体の色を考慮してグルーピングを行
う。

【００８０】このことにより、グルーピング対象となる
パターンの一部に局所的な色の変動がある場合において
も、この局所的な色の変動を吸収してパターンのグルー
ピングを行うことが可能となり、同色パターンの抽出精
度を向上させることが可能となる。

【００８１】図２は、本発明の第２実施例に係わる画像
処理装置の構成を示すブロック図である。

【００８２】図２において、色数判別手段７は、カラー
画像の色数を判別する。第１のラベリング手段９は、第
１のラベリング方法によりラベリングを行う。第２のラ
ベリング手段１０は、第２のラベリング方法によりラベ
リングを行う。制御手段８は、カラー画像の色数に基づ
いて、第１のラベリング手段９または第２のラベリング
手段１０にラベリングを行わせる。

【００８３】ここで、色数判別手段７は、カラー画像の
１画素当たりのビット数を調べることにより、カラー画
像の色数を判別することができる。

【００８４】また、第１のラベリング方法として、色パ
レットのクラスタリングを用いたラベリングを用いるこ
とができ、第２のラベリング方法として、隣接拡張法を
用いたラベリングを用いることができる。

【００８５】また、制御手段８は、色数の少ないカラー
画像に対しては、色パレットのクラスタリングを用いた
ラベリングを行わせ、色数の多いカラー画像に対して
は、隣接拡張法を用いたラベリングを行わせることがで
きる。

【００８６】このことにより、色数の少ないカラー画像
に対しては、領域の色差がある程度大きくても、それら
の領域を同一色であるとみなしてラベリングを行うこと
が可能となり、同色領域内での色の欠落を防止して、同
色領域を精度良く抽出することが可能となる。また、色
数の多いカラー画像では、わずかな色の違いを検出し
て、異なる色の領域に異なるラベルを付与することが可
能となり、文字の背景が文字の色に近い場合において
も、文字のみを精度良く抽出することが可能となる。

【００８７】図３は、本発明の第３実施例に係わる画像
処理装置１４の構成及び動作を示す図である。

【００８８】図３において、局所領域抽出手段１５は、
ラベリング対象となる入力画像１３から局所領域を抽出
する。色差情報抽出手段１６は、局所領域から入力画像
１３の実際の色差情報を抽出する。しきい値設定手段１
７は、入力画像１３から抽出した色差情報に基づいて、
入力画像１３のラベリングのしきい値を設定する。

【００８９】ここで、局所領域抽出手段１５は、入力画
像をメッシュで区切り、メッシュ領域１２の色の分散値
が予め決められた範囲にあるものだけを局所領域として
抽出することができる。また、色差情報抽出手段１６
は、局所領域として抽出されたメッシュ領域１２内の色
の標準偏差を色差情報として算出することができる。ま
た、しきい値設定手段１７は、メッシュ領域１２ごとに
求めた標準偏差の平均値に基づいて、しきい値を設定す
ることができる。

【００９０】例えば、互いに隣接する画素１１の色差が
しきい値以下かどうかを調べることにより、同色領域１
８を抽出することを考える。

【００９１】ここで、画素１１の色差を判定するしきい
値は、入力画像１３のラベリングを行う前に予め決めて
おく必要がある。このため、このしきい値として、実験
用のカラー画像などを用いて経験的に決めた値を使う
と、多種多様なカラー画像に対応できなくなる場合があ
る。

【００９２】そこで、色差情報抽出手段１６は、ラベリ
ング対象となる入力画像１３自体から同色領域１８の色
差情報を抽出し、しきい値設定手段１７は、その色差情
報に基づいて入力画像１３のラベリングのしきい値を設
定する。

【００９３】入力画像１３から同色領域１８の色差情報
を抽出するために、入力画像１３から均一色領域を抽出
する。この均一色領域を抽するために、例えば、入力画
像１３を３×３の画素１１ごとに分割したメッシュ領域
１２を生成する。メッシュ領域１２が生成されると、入
力画像１３のメッシュ領域１２のそれぞれについて、画
素１１の色の分散を調べる。そして、画素１１の色の分
散の小さいメッシュ領域１２を均一色領域とする。

【００９４】例えば、入力画像１３において、メッシュ
領域Ｆ、Ｇは同色領域１８内にあるので、メッシュ領域
Ｆ、Ｇの画素１１の色の分散は小さい。一方、メッシュ
領域Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌは同色領
域１８のそれ以外の領域とが混在しているので、メッシ
ュ領域Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌの画素
１１の色の分散は大きい。従って、画素１１の色の分散
を各メッシュ領域１２ごとに調べ、画素１１の色の分散
の小さなメッシュ領域１２のみを抽出することにより、
メッシュ領域Ｆ、Ｇのみを均一色領域として抽出するこ
とができる。

【００９５】均一色領域が抽出されると、均一色領域の
色差情報に基づいて、ラベリングのしきい値を設定す
る。

【００９６】例えば、均一色領域としてメッシュ領域
Ｆ、Ｇが入力画像１３から抽出されると、各メッシュ領
域Ｆ、Ｇの標準偏差の平均値に基づいて、同色領域１８
を抽出するためのしきい値を設定する。

【００９７】このように、入力画像１３全体には様々な
色が分布していても、小さな領域のみに注目した場合に
は、均一色だけからなる領域も存在するようになる。こ
のため、分割された領域ごとに、その領域の分散を求
め、分散の小さな領域のみを取り出すことにより、入力
画像１３から均一色領域を抽出することが可能となる。
入力画像１３から均一色領域が抽出されると、この均一
色領域の色の変動を調べることにより、同色領域１８を
画素単位で特定するためのラベリングのしきい値を設定
することができる。

【００９８】この結果、灰色や中間色などの同色系統の
色が文字と背景とに使われているため、予め実験的に求
めたしきい値を用いただけでは、これらの色を区別でき
ない場合においても、同一色で塗られている範囲の色が
実際にどの程度異なっているかを、処理対象となる実際
の画像から求めることが可能となり、同色系統の色の文
字と背景とが混在した画像から、文字のみを精度良く抽
出することが可能となる。

【００９９】以下、本発明の一実施例に係わるパターン
抽出装置について、図面を参照しながら説明する。

【０１００】図４は、本発明の第４実施例に係わるパタ
ーン抽出装置の動作を示すフローチャートである。

【０１０１】図４において、まず、フルエントリ色差テ
ーブル作成処理を行う（ステップＳ１）。このフルエン
トリ色差テーブルは、入力画像画が取りうるＲＧＢの各
輝度値及び読み込み解像度を変数として、隣接画素との
輝度値の最大値を格納したものである。

【０１０２】ここで、隣接画素との輝度値の最大値を求
めるために、実際の印刷方法を模倣した印刷モデルを用
いて、ＲＧＢの各輝度値ごとの同色領域をコンピュータ
上に仮想的に生成する。そして、コンピュータ上に仮想
的に生成された同色領域での隣接画素との輝度値の最大
値を、読み込み解像度ごとに求める。

【０１０３】図５は、網点印刷法における印刷モデルの
構築方法を示す図である。

【０１０４】図５において、印刷モデルとして、シア
ン、マゼンタ、黄色の印刷メッシュＭ１１、Ｍ１２、Ｍ
１３をそれぞれ回転させて重ね合わせたものを使用し、
カラー画像の色を仮想的に表現する。ここで、シアン、
マゼンタ、黄色の色の濃さを調節する場合、印刷メッシ
ュＭ１１、Ｍ１２、Ｍ１３の各格子点に配置される塗り
つぶし円Ｄ１１、Ｄ１２、Ｄ１３の大きさを調節する。

【０１０５】この時、一般的な印刷モデルのパラメータ
は、・印刷メッシュＭ１１、Ｍ１２、Ｍ１３の格子間隔ｍｄ
（ただし、格子間隔ｍｄは、黄色、シアン、マゼンタ共
通サイズ）・黄色メッシュＭ１１の水平線からの角度θ１１・マゼンタメッシュＭ１２の水平線からの角度θ１２・シアンメッシュＭ１３の水平線からの角度θ１３・黄色の塗りつぶし円Ｄ１１の半径ｒ１１・マゼンタの塗りつぶし円Ｄ１２の半径ｒ１２・シアンの塗りつぶし円Ｄ１３の半径ｒ１３である。ただし、本実施例では、この全てのパラメータ
を可変にすると煩雑すぎるので、ある程度の限定を与
え、以下のように設定した。

【０１０６】・黄色メッシュＭ１１の水平線からの角度θ１１＝１５
度・マゼンタメッシュＭ１２の水平線からの角度θ１２＝
３０度・シアンメッシュＭ１３の水平線からの角度θ１３＝
４５度・格子間隔ｍｄ＝２０ドットこの印刷モデルを使用して、シミュレーションを行い、
黄色、マゼンタ、シアンの塗りつぶし円Ｄ１１、Ｄ１
２、Ｄ１３のそれぞれの半径ｒ１１、ｒ１２、ｒ１３に
影響を受ける平均ＲＧＢ値（Ｒｍ，Ｇｍ，Ｂｍ）を求め
る。

【０１０７】具体的には、印刷メッシュＭ１１、Ｍ１
２、Ｍ１３の格子間隔ｍｄよりもかなり大きな単位面積
を考え、平均ＲＧＢ値（Ｒｍ，Ｇｍ，Ｂｍ）を、Ｒｍ＝２５５−単位面積中のシアンの面積×２５５／単
位面積Ｇｍ＝２５５−単位面積中のマゼンタの面積×２５５／
単位面積Ｂｍ＝２５５−単位面積中の黄色の面積×２５５／単位
面積として求める。

【０１０８】次に、１つの色（Ｒｍ，Ｇｍ，Ｂｍ）で均
一に印刷されている画像をスキャナで読み込んだ場合の
スキャナ読み込みモデルについて考える。これは、印刷
メッシュＭ１１、Ｍ１２、Ｍ１３と独立な間隔ｓｄを有
する読み込みメッシュＭ１４を導入し、この読み込みメ
ッシュＭ１４内のＲＧＢの各輝度値（＝各色の面積）を
求めることに相当する。

【０１０９】ここで、読み込みメッシュＭ１４の間隔ｓ
ｄが、スキャナ読み込み解像度に相当する。なお、同じ
平均色（Ｒｍ，Ｇｍ，Ｂｍ）の画像を読み込む場合で
も、スキャナ読み込み解像度が大きい場合には、隣接画
素のＲＧＢ輝度差は大きく異なり、逆に、スキャナ読み
込み解像度が小さい場合には、読み取った結果の画素は
どの画素も平均色（Ｒｍ，Ｇｍ，Ｂｍ）に近づくため、
隣接画素のＲＧＢ輝度差は０に近づくようになる。

【０１１０】１つの読み込みメッシュＭ１４内の具体的
なＲＧＢ輝度値（Ｒｃ，Ｇｃ，Ｂｃ）は、以下のように
なる。

【０１１１】Ｒｃ＝２５５−読み込みメッシュ面積中のシアンの面積
×２５５／読み込みメッシュ面積Ｇｃ＝２５５−読み込みメッシュ面積中のマゼンタの面
積×２５５／読み込みメッシュ面積Ｂｃ＝２５５−読み込みメッシュ面積中の黄色の面積×
２５５／読み込みメッシュ面積読み込みメッシュＭ１４の間隔ｓｄを変えながら、ＲＧ
Ｂ輝度値（Ｒｃ，Ｇｃ，Ｂｃ）及び隣接画素とのＲＧＢ
それぞれの輝度差を求め、各ＲＧＢ輝度値に対応した輝
度差の適当な値（例えば、最大値）を色差テーブルに記
録する。

【０１１２】この時、本来は、印刷モデルでは、印刷メ
ッシュの交点に描かれた塗りつぶし円はＲＧＢが相互に
重なり合い、ＲＧＢの各輝度値によって相互に影響を及
ぼし合うため、ＲＧＢは独立とは言えないが、このスキ
ャナ読み込みモデルでは、単純化のために、ＲＧＢは相
互に独立であるという仮説を立てた。

【０１１３】従って、ＲＧＢ輝度値、読み込み解像度、
及び隣接画素の輝度差の結果を、ＲＧＢ独立のテーブル
に保存することができる。

【０１１４】図６は、Ｒのテーブルの例を示す図であ
る。

【０１１５】図６において、Ｒ輝度値を０〜２５５まで
変化させた場合のＲ輝度値のそれぞれについて、スキャ
ナ読み込み解像度を１４〜３５まで変化させた時の隣接
画素との輝度差の最大値が格納されている。

【０１１６】なお、フルエントリ色差テーブルの作成方
法は、０〜２５５の輝度値を擬似的に発生させ、それぞ
れの輝度値の時の隣接画素の輝度差の最大値を印刷モデ
ル上で求め、その値を色差テーブルに格納する。この処
理をＲＧＢそれぞれの色要素について行う。

【０１１７】なお、図６の例では、Ｒのテーブルの場合
について示したが、Ｇ、Ｂのテーブルの構成も同様であ
る。

【０１１８】Ｒ，Ｇ，Ｂの色差テーブルが与えられる
と、このＲ，Ｇ，Ｂの色差テーブルを参照することによ
り、入力画像から同一色の範囲を検出する際のしきい値
を獲得することができる。

【０１１９】このように、０〜２５５の全ての輝度値の
エントリを持ったテーブルを予め作成しておくことによ
り、補完計算を省略することが可能となり、数十個の飛
び飛び輝度値のエントリしか持たない場合に比べて、パ
ラメータ推定処理や色ラベリング処理などの処理時間を
減らすことが可能となり、処理の高速化を図ることが可
能となる。

【０１２０】なお、数十個の飛び飛び輝度値のエントリ
しか持たない色差テーブルを用いる場合は、以下の補完
演算により隣接画素との輝度差の最大値を求めることが
できる。

【０１２１】色差テーブルに登録されている輝度値Ｒｉ
に対する隣接画素との輝度差の最大値がＲｄｉ、色差テ
ーブルに登録されている輝度値Ｒｉ＋１に対する隣接画
素との輝度差の最大値がＲｄｉ＋１であるとする。この
時、色差テーブルに登録されていない輝度値Ｒｍが、輝
度値Ｒｉと輝度値Ｒｉ＋１の間の線形補間で表されると
して、その関係を隣接画素との輝度値の最大値にも適応
して、推定される隣接画素との輝度値の最大値ｉｎｆｅ
ｒｅｄ＿ｄｅｌｔａを求める。すなわち、ｒｌ＝Ｒｉ−Ｒｉ＋１ｒｍ＝Ｒｍ−Ｒｉｒｎ＝Ｒｉ＋１−Ｒｍｉｎｆｅｒｅｄ＿ｄｅｌｔａ＝Ｒｄｉ＊ｒｎ／ｒｌ＋Ｒｄｉ＋１＊ｒｍ／ｒｌとする。

【０１２２】次に、画像入力処理を行う（ステップＳ
２）。

【０１２３】この画像入力処理では、ＣＣＤカメラやス
キャナなどの撮像装置でカラー画像を入力し、メモリに
保存する。

【０１２４】次に、フルカラー／その他判定処理を行う
（ステップＳ３）。

【０１２５】このフルカラー／その他判定処理では、入
力画像のヘッダに含まれている１画素当たりのビット数
を調べ、２４ビット／画素の画像をフルカラー画像とみ
なし、図４のステップＳ４〜ステップＳ２４の処理を行
う。１画素当たりのビット数が２４ビットより小さい場
合には、フルカラー以外の入力画像とみなし、図４のス
テップＳ２５、ステップＳ２６及びステップＳ６〜ステ
ップＳ２４の処理を行う。

【０１２６】次に、モデル解像度推定処理及び距離しき
い値獲得処理を行う（ステップＳ４）。

【０１２７】モデル解像度推定処理は、入力画像の解像
度が印刷モデルのどの読み込み解像度に適合しているか
を推定する。この処理では、入力画像をメッシュ状に分
割し、ＲＧＢの各色成分について、各メッシュ領域内に
おける隣接画素との輝度値の最大値と最も良く一致する
読み込み解像度を色差テーブルから求める。

【０１２８】また、距離しきい値獲得処理は、ラベリン
グで使用するしきい値を実際の入力画像の色差から求め
る。この処理では、入力画像をメッシュ状に分割し、各
メッシュ領域内における画素の色の分散を求めることに
より、均一色からなるメッシュ領域を抽出する。そし
て、均一色からなるメッシュ領域の画素の標準偏差に基
づいて、ラベリングで使用するしきい値を求める。

【０１２９】以下、モデル解像度推定処理について具体
的に説明する。

【０１３０】まず、入力画像をｎ×ｎのメッシュに区切
り、各メッシュ領域の中の各画素の（Ｒ，Ｇ，Ｂ）の値
を各色成分ごとに分解して考えるのではなく、（Ｒ，
Ｇ，Ｂ）の値をまとめて考えることにより、入力画像に
最も適合する印刷モデルの解像度を求めることを考え
る。この場合、入力画像の解像度を求めるには、印刷モ
デルとの適合具合があまりかけ離れていないメッシュ領
域から求めた解像度だけを対象に、それらの解像度を画
像全体で平均する。

【０１３１】しかし、この方法では、実際の入力画像が
印刷モデルと一致していない場合、読み込み解像度に誤
差が生じることがある。例えば、実際の入力画像は、Ｙ
（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｋ（ブ
ラック）を使って印刷されることが多く、それぞれの色
のメッシュの角度（スクリン角度）、色の印刷の順番、
重ねて印刷された時の色が独立でないことによる影響、
メッシュの解像度、ＹＭＣの３色を使用するかＹＭＣＫ
の４色を使用するかなどは、それぞれの印刷物ごとに異
なっている。一方、印刷モデルの色は、角度固定、色は
独立、ＹＭＣの３色、メッシュ解像度はある一定の範囲
という固定された条件で生成されている。このため、実
際の入力画像とのずれが生じ、それが読み込み解像度の
推定に影響するからである。

【０１３２】この結果、実際に正しいパターンが抽出さ
れる理想的な解像度値と多少ずれた解像度値が推定さ
れ、本来同一の色と見なされる領域で、解像度及び対象
となる色から決まる同色範囲が狭くなる。このため、同
色範囲が細切れの領域に分断され、本来同一のラベルが
付される文字パターンが、小さな細切れ領域に分割され
る現象が発生する。

【０１３３】そこで、本実施例では、推定解像度を全画
像から（Ｒ，Ｇ，Ｂ）の各成分ごとに独立に求め、各成
分ごとに独立に求めた推定解像度を後で平均化する。

【０１３４】図７は、本発明の一実施例に係わるモデル
解像度推定処理を説明する図である。

【０１３５】図７において、入力画像を各ＲＧＢ成分ご
とに分解したＲ画像２１、Ｇ画像２３及びＢ画像２５を
それぞれ３×３画素ａ〜ｉづつのメッシュ領域２２、２
４、２６に分割する。そして、各メッシュ領域２２、２
４、２６内の３×３画素ａ〜ｉの平均ＲＧＢ輝度（Ｒ
ｍ，Ｇｍ，Ｂｍ）及び隣接画素の輝度差の最大値（Ｒ
ｄ，Ｇｄ，Ｂｄ）を、Ｒ画像２１、Ｇ画像２３及びＢ画
像２５のそれぞれについて各メッシュ領域２２、２４、
２６ごとに求める。ここで、３×３画素ａ〜ｉの隣接方
向は２０通りあるので、これらの２０通り隣接画素の輝
度差を求め、それらの輝度差のうち最大値（Ｒｄ，Ｇ
ｄ，Ｂｄ）を採用する。

【０１３６】一方、Ｒテーブル２７、Ｇテーブル２８及
びＢテーブル２９には、各輝度値に対応する隣接画素と
の輝度差の最大値が解像度をパラメータとして登録され
ている。

【０１３７】そして、平均Ｒ輝度Ｒｍ及び隣接画素との
輝度差の最大値Ｒｄをキー情報としてＲテーブル２７を
検索し、Ｒ画像２１から求めた隣接画素との輝度差の最
大値ＲｄとＲテーブル２７に登録されている隣接画素と
の輝度差の最大値との差ｄｉｆｆ＿ｒを求める。このｄ
ｉｆｆ＿ｒの算出を平均Ｒ輝度Ｒｍについて登録されて
いる全ての解像度に対して行い、ｄｉｆｆ＿ｒの値が最
小となる解像度ｒｅｓｏｌ＿ｒをＲテーブル２７から求
める。

【０１３８】このｒｅｓｏｌ＿ｒの算出をＲ画像２１の
全てのメッシュ領域２２に対して行い、各メッシュ領域
２２について求めた全てのｒｅｓｏｌ＿ｒの平均値ｍｅ
ａｎ＿ｒｅｓｏｌ＿ｒを算出する。

【０１３９】また、平均Ｇ輝度Ｇｍ及び隣接画素との輝
度差の最大値Ｇｄをキー情報としてＧテーブル２８を検
索し、Ｇ画像２３から求めた隣接画素との輝度差の最大
値ＧｄとＧテーブル２８に登録されている隣接画素との
輝度差の最大値との差ｄｉｆｆ＿ｇを求める。このｄｉ
ｆｆ＿ｇの算出を平均Ｇ輝度Ｇｍについて登録されてい
る全ての解像度に対して行い、ｄｉｆｆ＿ｇの値が最小
となる解像度ｒｅｓｏｌ＿ｇをＧテーブル２８から求め
る。

【０１４０】このｒｅｓｏｌ＿ｇの算出をＧ画像２３の
全てのメッシュ領域２４に対して行い、各メッシュ領域
２４について求めた全てのｒｅｓｏｌ＿ｇの平均値ｍｅ
ａｎ＿ｒｅｓｏｌ＿ｇを算出する。

【０１４１】また、平均Ｂ輝度Ｂｍ及び隣接画素との輝
度差の最大値Ｂｄをキー情報としてＢテーブル２９を検
索し、Ｂ画像２５から求めた隣接画素との輝度差の最大
値ＢｄとＢテーブル２９に登録されている隣接画素との
輝度差の最大値との差ｄｉｆｆ＿ｂを求める。このｄｉ
ｆｆ＿ｂの算出を平均Ｂ輝度Ｂｍについて登録されてい
る全ての解像度に対して行い、ｄｉｆｆ＿ｂの値が最小
となる解像度ｒｅｓｏｌ＿ｂをＢテーブル２９から求め
る。

【０１４２】このｒｅｓｏｌ＿ｂの算出をＢ画像２５の
全てのメッシュ領域２６に対して行い、各メッシュ領域
２６について求めた全てのｒｅｓｏｌ＿ｂの平均値ｍｅ
ａｎ＿ｒｅｓｏｌ＿ｂを算出する。

【０１４３】ｍｅａｎ＿ｒｅｓｏｌ＿ｒ、ｍｅａｎ＿ｒ
ｅｓｏｌ＿ｇ及びｍｅａｎ＿ｒｅｓｏｌ＿ｂが求まる
と、これらの値の平均値ｒｅｓｏｌｕｔｉｏｎを求め、
このｒｅｓｏｌｕｔｉｏｎを入力画像の印刷モデルでの
読み込み解像度とする。

【０１４４】以下、数式を用いて説明する。入力画像を
３×３画素づつのメッシュ領域に分割した場合に、その
内部の平均ＲＧＢ輝度を（Ｒｍ，Ｇｍ，Ｂｍ）、隣接画
素の輝度差の最大値を（Ｒｄ，Ｇｄ，Ｂｄ）とする。

【０１４５】以下、ＲＧＢ独立の処理であるので、Ｒを
例にして説明する。

【０１４６】解像度値をある値に固定して、Ｒｍからテ
ーブルを参照して、推定される隣接画素との輝度値の最
大値ｉｎｆｅｒｅｄ＿ｄｅｌｔａを求める。

【０１４７】この推定される隣接画素との輝度値の最大
値ｉｎｆｅｒｅｄ＿ｄｅｌｔａと実際に画像から求めた
Ｒｄとの差ｄｉｆｆ＿ｒを、ｄｉｆｆ＿ｒ＝｜Ｒｄ−ｉｎｆｅｒｅｄ＿ｄｅｌｔａ｜として求める。

【０１４８】解像度パラメータをスキャンして、このｄ
ｉｆｆ＿ｒの値が最も小さくなる解像度ｒｅｓｏｌ＿ｒ
を求める。この解像度ｒｅｓｏｌ＿ｒを入力画像中の各
メッシュ領域全体について算出し、解像度ｒｅｓｏｌ＿
ｒの平均値ｍｅａｎ＿ｒｅｓｏｌ＿ｒを求める。

【０１４９】これと同様の処理をＧ，Ｂでも行い、ｍｅ
ａｎ＿ｒｅｓｏｌ＿ｇ，ｍｅａｎ＿ｒｅｓｏｌ＿ｂを求
める。そして、それらの値の平均値ｒｅｓｏｌｕｔｉｏ
ｎを、ｒｅｓｏｌｕｔｉｏｎ＝（ｍｅａｎ＿ｒｅｓｏｌ＿ｒ＋
ｍｅａｎ＿ｒｅｓｏｌ＿ｇ＋ｍｅａｎ＿ｒｅｓｏｌ＿
ｂ）／３として求め、この平均値ｒｅｓｏｌｕｔｉｏｎを入力画
像の推定解像度として用いる。

【０１５０】次に、距離しきい値獲得処理について具体
的に説明する。

【０１５１】まず、背景と文字領域との色の境目がぼん
やりしている時でも、背景と文字領域との区別を正確に
行えるようにするため、同一ラベルの付されたラベル領
域（同色と判断された領域）の平均色を算出し、その平
均色とその周囲にある対象画素の色との色差が、そのラ
ベル領域の平均色から推定される許容色差の一定倍率の
色差以内にあれば、対象画素をそのラベル領域に組み込
むことを考える。

【０１５２】この手法によっても、背景と文字領域との
区別をある程度正確に行うことが可能である。

【０１５３】しかし、この手法では、ラベリングのしき
い値として、色差テーブルに登録されている値を多種多
様なカラー画像に対して一律に適用するため、灰色、中
間色などの特定の色が背景や文字色にあると、背景と文
字とが同じ領域と判断される場合があり、ラベリング対
象となるカラー画像によっては、背景色と文字色とを正
確に区別できない場合がある。

【０１５４】そこで、本実施例では、入力画像の局地的
な同色判定処理を導入し、入力画像の中から局所的に同
色領域（色の変化が無い部分）を求め、その局所領域か
ら色ラベリングで使用する距離値のしきい値を求める。

【０１５５】この手法により、背景と文字領域との色の
境目がぼんやりしている時でも、背景と文字領域との区
別を正確に行うことが可能となり、文字領域のみを背景
から精度良く切り離して、文字領域のみを正しく抽出す
ることができる。

【０１５６】具体的には、入力画像を３×３画素づつの
メッシュ領域に分割し、その内部の平均ＲＧＢ輝度値
（Ｒｍ，Ｇｍ，Ｂｍ）と分散値（Ｒｖ，Ｇｖ，Ｂｖ）を
求める。そして、ＲＧＢの各分散値の２乗和のルート
を、ｓ＝ｓｑｒｔ（Ｒｖ×Ｒｖ＋Ｇｖ×Ｇｖ＋Ｂｖ×Ｂｖ）として求め、この値ｓをメッシュ領域の分散値とする。
入力画像の各メッシュ領域ごとのｓの値を求め、それを
記録する。また、ｓの値の最大値をｓｍａｘとして記録
する。

【０１５７】ここで、メッシュ領域のｓの値が、ｓｍａｘ×ＲＡＮＧＥ＿ＬＯＷ＜ｓ＜ｓｍａｘ×ＲＡＮ
ＧＥ＿ＨＩＧＨかつｓ＞ＭＩＮ＿ＶＡＲＩ（例えば、ＲＡＮＧＥ＿ＬＯＷ＝０．００４，ＲＡＮＧ
Ｅ＿ＨＩＧＨ＝０．１６，ＭＩＮ＿ＶＡＬＩ＝１０とす
る。）の条件を満足する場合、このメッシュ領域をラベ
リングのしきい値を求めるための局所領域とする。

【０１５８】なお、ｓの値が小さい程、そのメッシュ領
域内の画素の色は互いに近くなるが、ｓの値の最も小さ
な領域は、同一色で塗られた背景領域に相当する場合が
多い。このため、ｓの値の最も小さな領域の色差に基づ
いてラベリングのしきい値を設定し、このしきい値を用
いて文字領域の抽出を行うと、しきい値が小さくなり過
ぎて、文字領域の抽出には適切でないことがある。従っ
て、しきい値の算出に用いるメッシュ領域のｓの値に
は、下限が設けられている。

【０１５９】しきい値の算出に用いるメッシュ領域を入
力画像から求めると、このメッシュ領域のｓの値のルー
トを標準偏差として求める。そして、対象メッシュ領域
ごとに求めた標準偏差をｋ（例えば、ｋ＝３．０）倍し
た後の平均値ＴＨ＿ｄｉｓｔを以下の式で求め、この平
均値ＴＨ＿ｄｉｓｔを距離のしきい値とする。

【０１６０】

【数１】

【０１６１】ここで、ｉは対象メッシュ領域の番号、ｎ
は対象メッシュ領域の個数である。なお、距離しきい値
獲得処理においては、モデル解像度推定処理で使用した
メッシュと同一のメッシュを用いることにより、モデル
解像度推定処理で算出した平均ＲＧＢ輝度値（Ｒｍ，Ｇ
ｍ，Ｂｍ）を分散値（Ｒｖ，Ｇｖ，Ｂｖ）の算出に使用
することができ、処理を高速化することができる。

【０１６２】次に、色ラベリング処理を行う（ステップ
Ｓ５）。

【０１６３】この色ラベリング処理では、領域拡張法に
よりラベリングを行う。この領域拡張法は、隣接する画
素の色が近い時に、同一ラベルを与えることを繰り返す
ことにより、画像全体を同色領域で区分けしていく手法
である。領域拡張法は、同一ラベルを与えるかどうかの
判断の対象が注目画素の周辺の画素だけなので、色空間
をクラスタリングする場合に比べてを処理時間を短縮で
きる。

【０１６４】一方、領域拡張法では、隣接画素との色の
近さをどう定義するかによって、同色パターンに穴が空
いたり、輪郭が綺麗に抽出されたかったりする。また、
隣接画素との関係だけを見ているので、文字領域と背景
領域の境界で徐々に色が変化していく場合には、文字領
域が背景領域と同一ラベルになる場合がある。

【０１６５】このため、同一ラベルの付されたラベル領
域の平均色を算出し、その平均色とその周囲にある対象
画素の色との色差が、そのラベル領域の平均色から推定
される許容色差の一定倍率の色差以内にあれば、対象画
素をそのラベル領域に組み込むようにすることにより、
背景と文字領域との色の境目がぼんやりしている時で
も、背景と文字領域との区別をある程度は正確に行うこ
とができる。

【０１６６】しかし、この手法によっても、様々なカラ
ー文書画像には対応できず、灰色や中間色などの領域
で、かなりの頻度で背景と文字が同一ラベル化し、文字
パターンを正確に抽出できないことがあったり、抽出さ
れたラベル領域が文字パターンの中で小さく細切れ状態
となり、結果的に文字パターンを正確に抽出できないこ
とがあったりする。

【０１６７】そこで、本実施例では、領域拡張法による
ラベリングのしきい値として、ステップＳ４で求めたし
きい値を用いる。このステップＳ４で求めたしきい値
は、ラベリング対象となる入力画像の同色領域の実際の
色差に基づいて設定されており、多種多様なカラー文書
画像に対して最適な値を与えることができる。このた
め、印刷モデルなどを用いて求めたしきい値を多種多様
なカラー文書画像に対して一律に適用することなく、多
種多様なカラー文書画像の同一色の範囲を個別に考慮し
てラベリングを行うことが可能となり、同色領域の抽出
精度を向上させることができる。

【０１６８】図８は、本発明の一実施例に係わる色ラベ
リング処理を説明する図である。

【０１６９】図８において、画素ａ〜ｒからなる領域
（斜線部分）が同色パターン３１として抽出され、画素
ａ〜ｒに同一ラベルが付されているものとする。ここ
で、例えば、ラベルが付されていない画素ｓが検出され
ると、画素ｓの周囲に既にラベル付けされている画素が
あるかどうかを調べる。そして、既にラベル付けされて
いる画素ｐ、ｑ、ｒが見つかると、画素ｒの色と画素
ｐ、ｑ、ｒのいずれかの色との差がしきい値以下である
かどうかを調べる。そして、例えば、画素ｓの色と画素
ｐの色との差がしきい値以下であると判断された場合、
画素ｐと同一ラベルが付されている画素ａ〜ｒの色の平
均色と画素ｓの色とを比較する。この結果、画素ｐと同
一ラベルが付されている画素ａ〜ｒの色の平均色と画素
ｓの色との差がしきい値以下であると判断された場合、
画素ｓに画素ｐと同一ラベルを付す。

【０１７０】ここで、ラベリングを行うしきい値を、色
差テーブルから求めるのではなく、例えば、画素ｃ、
ｄ、ｅ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍからなる領域をメッシ
ュ領域として抽出し、このメッシュ領域内における画素
ｃ、ｄ、ｅ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍの色の分散に基づ
いて求めることにより、ラベリングの精度を向上させる
ことができる。

【０１７１】具体的には、入力画像の左上からラスタス
キャンを行い、ラベル付けがされていない画素に注目す
る。この注目画素のＲＧＢ輝度値（Ｒ、Ｇ、Ｂ）と推定
解像度ｒｅｓｏｌｕｔｉｏｎとを用いてテーブルを検索
することにより、隣接画素との輝度値の最大値をＲＧＢ
の色成分ごとに求める。隣接画素との輝度値の最大値が
求まると、この値をラベリングのしきい値（ｄｅｌａｔ
＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ＿ｂ）とする。

【０１７２】なお、上述した実施例では、Ｒ、Ｇ、Ｂの
各成分について、同一の解像度ｒｅｓｏｌｕｔｉｏｎを
用いてテーブルを検索することにより、ラベリングのし
きい値（ｄｅｌａｔ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ
＿ｂ）を求める場合について説明したが、Ｒ、Ｇ、Ｂの
各成分の解像度（ｍｅａｎ＿ｒｅｓｏｌ＿ｒ，ｍｅａｎ
＿ｒｅｓｏｌ＿ｇ，ｍｅａｎ＿ｒｅｓｏｌ＿ｂ）を個別
に用いて、Ｒテーブル、Ｇテーブル、Ｂテーブルをそれ
ぞれ検索することにより、ラベリングのしきい値（ｄｅ
ｌａｔ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ＿ｂ）を求め
るようにしてもよい。

【０１７３】次に、注目画素の周囲の８画素を走査し
て、その注目画素の周囲に既にラベル付けされた周囲画
素があり、その周囲画素のＲＧＢ輝度値（Ｒｓ，Ｇｓ，
Ｂｓ）が、｜Ｒ−Ｒｓ｜＜＝ｄｅｌｔａ＿ｒかつ｜Ｇ−Ｇｓ｜＜＝ｄｅｌｔａ＿ｇかつ｜Ｂ−Ｂｓ｜＜＝ｄｅｌｔａ＿ｂの条件を満たす場合に、注目画素の色はその周囲画素の
色と近いと判断する。

【０１７４】周囲画素の色が注目画素の色と近い判断さ
れると、周囲画素のラベルをカレントラベル（ｒｅｇｉ
ｏｎ）として保存し、注目画素のラベルとしてｒｅｇｉ
ｏｎを与える。また、ラベル領域の平均色（Ｒｍ，Ｇ
ｍ，Ｂｍ）として、周囲のラベル領域の平均色に注目画
素の色を加味した新たな平均色を求める。

【０１７５】それ以外の場合は、カレントラベルとし
て、今まで付けたラベル値＋１のラベル値を設定し、注
目画素のラベルにもその値を付与する。この場合には、
ラベル領域の平均色（Ｒｍ，Ｇｍ，Ｂｍ）として、注目
画素のＲＧＢ値を設定する。

【０１７６】どちらの場合でも、注目画素の座標値を処
理対象座標配列に保存する。

【０１７７】次に、注目画素の周りに同色領域を拡張す
る処理を行う。処理対象座標配列の中から、先頭の座標
値を取り出し、その座標値の画素を注目画素とする。注
目画素のＲＧＢ輝度値からテーブルを検索し、ＲＧＢ各
色成分の隣接画素との輝度値の差を推定しきい値（ｄｅ
ｌｔａ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ＿ｂ）とす
る。

【０１７８】注目画素の周囲の８画素を走査して、周囲
画素が未処理の場合、その周囲画素のＲＧＢ輝度値（Ｒ
ｉ，Ｇｉ，Ｂｉ）を求め、注目画素のＲＧＢ輝度値（Ｒ
ｃ，Ｇｃ，Ｂｃ）及びラベル領域の平均色（Ｒｍ，Ｇ
ｍ，Ｂｍ）との輝度差をＲＧＢ各成分ごとに求める。

【０１７９】図９は、本発明の一実施例に係わる注目画
素の周囲の８画素を示す図である。図９において、注目
画素Ｃの周囲画素は８個あるので、隣接画素との輝度値
の差を求める場合、この８画素の走査を行う。

【０１８０】そして、周囲画素のＲＧＢ輝度値（Ｒｉ，
Ｇｉ，Ｂｉ）と注目画素のＲＧＢ輝度値（Ｒｃ，Ｇｃ，
Ｂｃ）との関係が、｜Ｒｉ−Ｒｃ｜＜＝ｄｅｌｔａ＿ｒかつ｜Ｇｉ−Ｇｃ｜＜＝ｄｅｌｔａ＿ｇかつ｜Ｂｉ−Ｂｃ｜＜＝ｄｅｌｔａ＿ｂの条件を満たし、かつ、ラベル領域の平均色（Ｒｍ，Ｇ
ｍ，Ｂｍ）と周囲画素のＲＧＢ輝度値（Ｒｉ，Ｇｉ，Ｂ
ｉ）との色差の距離値が、｜Ｒｉ−Ｒｍ｜＋｜Ｇｉ−Ｇｍ｜＋｜Ｂｉ−Ｂｍ｜＜Ｔ
Ｈ＿ｄｉｓｔの条件を満たす場合、注目画素と同一ラベルを周囲画素
に付し、周囲画素の座標を処理対象座標配列に追加す
る。今処理した注目画素は、処理対象座標配列から削除
する。処理座標のｘ，ｙの最大値、最小値を求め、その
値をこのラベル領域の外接矩形として保存する。また、
このラベル領域の平均色を外接矩形の属性として保存す
る。

【０１８１】ここで、ラベル画像の平均色と周囲画素と
の色差を判定するしきい値として、ＴＨ＿ｄｉｓｔを用
いる。これは、ラベル画像の平均色と周囲画素との色差
を判定するしきい値として、テーブルに登録されている
しきい値を用いると、テーブルに登録されているしきい
値は隣接画素との輝度差の最大値であるため、同色画素
の欠落を防止するのにはよいが、文字と背景との境界が
ぼんやりしていて、文字と背景との色差があまりない場
合には、背景が文字領域に取り込まれ、文字の境界をは
っきりと検出できなくなるからである。

【０１８２】一方、ＴＨ＿ｄｉｓｔは、色がほぼ同一と
みなせる局所領域での色の実際の散らばり具合の平均に
基づいて設定されているので、実際の画像の均一色の範
囲を精度よく検出することが可能となり、文字と背景と
の境界がぼんやりしている場合においても、文字を表す
色からずれてくる背景の色を区別することが可能とな
る。

【０１８３】以上の処理を処理対象座標配列の内容がな
くなるまで続ける。

【０１８４】ラベリングの結果、同一色で連結している
領域には同じラベル値が付与され、同じラベルを持つ領
域を囲む外接矩形が獲得される。なお、ラベリング処理
の出力情報には、以下の内容が含まれる。

【０１８５】・ラベル画像：４バイト／１画素・外接矩形矩形数：ｍａｘｃｏｕｎｔ矩形情報：ｌｂｔｂｌ内包するラベル画像のラベル番号：ｌａｂｅｌ矩形左上座標：（ｘｍｉｎ，ｙｍｉｎ）矩形右下座標：（ｘｍａｘ，ｙｍａｘ）矩形内の代表色：（ｒ，ｇ，ｂ）所属するグループ番号：ｓｔｒｉｎｇ＿ｌａｂｅｌ輪郭長：ｃｏｎｔｏｕｒ次に、Ｌ字形、コ字形パターン削除処理を行う（ステッ
プＳ６）。

【０１８６】このＬ字形、コ字形パターン削除処理で
は、文字パターンの近くに存在し、かつ、その文字パタ
ーンと同色のＬ字形、コ字形のパターンを削除する。

【０１８７】これは、文字パターンの周囲に背景パター
ンがあると、背景パターンの一部がＬ字形またはコ字形
のパターンとして抽出されやすく、重なり矩形統合処理
でＬ字形またはコ字形のパターンが文字パターンと統合
されるためである。このような統合が行われると、以降
の処理でこれらのパターンは分離されることがなく、統
合されたままの状態で処理が行われるため、文字らしさ
の形状の特性を失い、処理途中で削除されるか、文字以
外のノイズパターンがのったまま文字として抽出され
る。従って、処理の早い段階でＬ字形またはコ字形のパ
ターンを削除し、このような不具合を防止する。

【０１８８】図１０は、本発明の一実施例に係わるＬ字
形パターンが存在する場合の重なり統合結果を示す図で
ある。

【０１８９】図１０（ａ）において、「文字」というパ
ターン４２及びＬ字形のパターン４３が抽出され、パタ
ーン４２の外接矩形４１及びパターン４３の外接矩形４
４が生成されているものとする。ここで、外接矩形４１
と外接矩形４４との重なり矩形統合を行うと、図１０
（ｂ）に示すように、外接矩形４５が生成される。外接
矩形４５が生成されると、「文字」というパターン４２
及びＬ字形のパターン４３は、１つのパターンを構成す
るものとみなされ、「文字」というパターン４２の大き
さや形状の特性が失われる。

【０１９０】このため、Ｌ字形のパターン４３を削除す
ることにより、外接矩形４１が外接矩形４４と統合され
ることを防止し、「文字」というパターン４２の大きさ
や形状を保ったまま、その後の処理を行うことができる
ようにする。

【０１９１】具体的には、矩形内のパターンの黒画素比
率（＝パターンの画素数／矩形の面積）を求める。そし
て、以下の条件を満たすパターンをＬ字形またはコ字形
パターンとして削除する。

【０１９２】矩形の幅が幅しきい値以上、かつ矩形の高
さが高さしきい値以上、かつ黒画素比率が黒画素比率し
きい値未満ここで、例えば、幅しきい値＝１００ｄｏｔ、高さしき
い値＝１００ｄｏｔ、黒画素比率しきい値＝０．４に設
定する。

【０１９３】次に、注目矩形抽出処理を行う（ステップ
Ｓ７）。

【０１９４】この注目矩形抽出処理では、全ての色につ
いての外接矩形を対象にして、事前に決めた範囲内のサ
イズの外接矩形を注目矩形として抽出する。

【０１９５】具体的には、以下の条件を満たす外接矩形
を注目矩形として抽出する。

【０１９６】ｘ方向長さが２３ｄｏｔ（１００ｄｐｉ
時）以上で画像の幅の１／２以下かつｙ方向長さが２３ｄｏｔ（１００ｄｐｉ時）以上で画像
の高さの１／２以下この注目矩形抽出処理により、外接矩形同士をグルーピ
ングする際の基準となる外接矩形の大きさを限定するこ
とが可能となり、例えば、タイトル領域を抽出する場合
に、タイトルとなる文字の大きさに適合した外接矩形を
基準として、外接矩形同士をグルーピングすることが可
能となり、ノイズや背景などのタイトルには含まれない
外接矩形が基準とされて、グルーピング処理が行われる
ことを防止することが可能となることから、不要な処理
を省略して、処理速度を向上させることが可能となる。

【０１９７】次に、注目矩形の周りの探索範囲とそこに
かかる矩形抽出を行う（ステップＳ８）。

【０１９８】この探索範囲にかかる矩形抽出処理では、
注目矩形の周囲に、あるサイズの探索範囲を設定し、そ
の範囲にかかる矩形を抽出する。

【０１９９】図１１は、本発明の一実施例に係わる注目
矩形の周囲の探索範囲の設定方法を説明する図である。

【０２００】図１１において、矩形番号１〜３０の外接
矩形が抽出され、矩形番号１の外接矩形５１を注目矩形
としたものとする。そして、この外接矩形５１の周りに
探索範囲５２が設定されたものとすると、外接矩形５１
についてのグルーピングの処理対象として、探索範囲５
２にかかる矩形番号２〜２４の外接矩形のみを選択し、
探索範囲５２にかからない矩形番号２５〜３０の外接矩
形については、外接矩形５１のグルーピングの処理対象
から除く。

【０２０１】このように、外接矩形同士をグルーピング
する際に、外接矩形の探索範囲を注目矩形の周りに限定
することにより、所定の範囲内にまとまって存在してい
る文字列のみを抽出することが可能となり、例えば、タ
イトル領域を抽出する場合に、タイトルには含まれない
ような離れた位置に存在する文字を考慮する必要がなく
なることから、タイトル領域の抽出を効率的に行うこと
が可能となる。

【０２０２】具体的には、探索範囲５２は、注目矩形５
１の縦横の長さの内、長い方をｌｅｎとすると、ｌｅｎ
と１００ｄｐｉの３５ｄｏｔとの小さい方を注目矩形の
周囲の探索範囲長ｒａｎｇｅ＿ｓｉｚｅとする。

【０２０３】注目矩形の周囲ｒａｎｇｅ＿ｓｉｚｅの範
囲にかかる外接矩形を高速に求めるため、以下の方法を
用いる。

【０２０４】図１２は、本発明の一実施例に係わる注目
矩形の周囲の探索範囲にかかる矩形の抽出方法を説明す
る図である。

【０２０５】図１２において、矩形番号１〜４の外接矩
形６１〜６４が抽出されたものとすると、ＸＹの各座標
値に存在する矩形番号及び矩形数を求め、これらの矩形
番号及び矩形数をＸＹの各座標値ごとに登録する。

【０２０６】例えば、Ｘ座標値１〜４の位置には外接矩
形６１〜６４が存在しないので、矩形数ｎ＝０、矩形番
号＝空が登録され、Ｘ座標値５〜１３の位置には矩形番
号４の外接矩形６４が存在しているので、矩形数ｎ＝
１、矩形番号＝４が登録され、Ｘ座標値１４の位置には
矩形番号３の外接矩形６３及び矩形番号４の外接矩形６
４が存在しているので、矩形数ｎ＝２、矩形番号＝３、
４が登録され、Ｘ座標値１５、１６の位置には矩形番号
４の外接矩形６４が存在しているので、矩形数ｎ＝１、
矩形番号＝４が登録される。以下、同様である。

【０２０７】次に、矩形番号３の外接矩形６３を注目矩
形とし、この外接矩形６３の周りに探索範囲６５が設定
されたものとすると、この探索範囲６５に含まれるＸＹ
の各座標値を求める。そして、ＸＹの各座標値の矩形番
号をＸＹそれぞれについて求め、ＸＹの両方に含まれる
矩形番号を探索範囲６５にかかる外接矩形とする。例え
ば、探索範囲１６５のＸ座標に含まれる外接矩形の矩形
番号は１〜４、探索範囲６５のＹ座標に含まれる外接矩
形の矩形番号は２〜４であるので、ＸＹの両方に含まれ
る矩形番号は２〜４となる。この結果、探索範囲６５に
かかる外接矩形として、矩形番号２〜４に対応する外接
矩形６２〜６４が得られる。

【０２０８】具体的には、以下のａ）〜ｄ）の処理を行
う。

【０２０９】ａ）画像全体のＸ，Ｙ軸へ矩形番号を投影
する。すなわち、画像全体のＸ，Ｙ軸の１画素毎に、そ
れに属する矩形数と矩形番号の集合を登録する。例え
ば、矩形番号ｉがＸ軸の（ｘ１，ｘ２）の範囲にあると
すれば、Ｘ軸のｘ１からｘ２の座標には、番号ｉが矩形
番号の集合に入ることになる。同じことを全矩形につい
て縦横座標について行う。

【０２１０】ｂ）注目矩形の周囲にｒａｎｇｅ＿ｓｉｚ
ｅの範囲を設定する。

【０２１１】ｃ）ｒａｎｇｅ＿ｓｉｚｅの範囲のＸ軸の
座標毎の矩形種類を論理ＯＲして矩形番号の集合を抽出
する。

【０２１２】同様にＹ軸でも抽出する。

【０２１３】ｄ）Ｘ軸から求めた矩形番号の集合とＹ軸
から求めた矩形番号の集合とを論理ＡＮＤし、この注目
矩形の周囲にある矩形集合を決定する。

【０２１４】なお、図１２の矩形番号の格納方法では、
画像全体に存在する全ての矩形番号を格納する容量が各
座標値ごとに必要となり、記憶容量が大きくなる。

【０２１５】そこで、上述した座標毎の矩形数及び矩形
番号を高速に、かつ必要メモリを最小に求めるために、
以下のような方式をとる。

【０２１６】図１３は、本発明の一実施例に係わる注目
矩形の周囲の探索範囲にかかる矩形情報の格納方法を説
明する図である。

【０２１７】図１３（ａ）において、矩形番号１、２の
外接矩形７１、７２が抽出されたものとし、外接矩形７
１はＸ座標が１５５〜１６５の範囲内にあり、外接矩形
７２はＸ座標が１６０〜１６３の範囲内にあるものとす
る。このため、図１３（ｂ）に示すように、外接矩形７
１については、Ｘ座標が１５５〜１６５の位置に矩形番
号１が登録され、外接矩形７２については、Ｘ座標が１
６０〜１６３の位置に矩形番号２が登録される。

【０２１８】次に、図１３（ｃ）に示すように、抽出さ
れた矩形番号１、２を、Ｘ座標１５５〜１６５の順序で
矩形番号１、２順に並べ換え、Ｘ座標値が同じ値を示す
矩形番号が幾つあるかを数えることにより、各座標値の
矩形数を求めることができる。

【０２１９】具体的には、以下のｉ）〜ｖ）の処理を行
う。

【０２２０】ｉ）全ての矩形の横幅を合計して、その長
さの数だけ矩形番号、座標の情報を持ったデータ構造を
用意する。

【０２２１】ｉｉ）矩形の座標と矩形番号を用意された
データ構造のデータにセットする。

【０２２２】ｉｉｉ）このデータ構造のデータを座標値
でソートする。

【０２２３】ｉｖ）データの座標値を順に見ていき、座
標値が同じものの数を座標値毎に数え、それをその座標
に属する矩形数とする。また、その座標毎の矩形数分だ
け矩形番号を入れる記録領域を確保する。ソートしたデ
ータ構造を先頭からスキャンしていき、座標が同じ間は
数をカウントしていき、座標値が変わったところで数を
確定させ、それを保存する。

【０２２４】ｖ）ソートしたデータ構造で、座標値が同
じ物の矩形番号を上で確保した領域に格納する。これも
ソートしたデータ構造を先頭からスキャンしていき、座
標が同じ間は、矩形番号を格納領域にセットする。

【０２２５】次に、同色グループ抽出処理を行う（ステ
ップＳ９）。

【０２２６】この同色グループ抽出処理は、異なるラベ
ルが付されているパターンのうち、類似色のパターン同
士を１つのグループにまとめるものである。なお、この
処理を用いてタイトルを抽出する場合には、タイトルを
構成する個々の文字が同じ色であることが前提となる。

【０２２７】まず、１つの矩形の色（なお、矩形の色と
は、その矩形により囲まれるパターンの色。以下同様）
とその周囲にある矩形の色とが近い時に、それらの矩形
を同一グループに入れることを考える。

【０２２８】しかし、この方法では、矩形の色が徐々に
変化すると、実際には同色でない矩形までも同一のグル
ープに入れられることになる。

【０２２９】そこで、１つの矩形の色とその周囲にある
矩形の色とを比較することに加え、その矩形が属するグ
ループの色との比較も行い、グループに追加しようとし
ている矩形の色が、グループの色とそれほどかけ離れて
いない場合のみ、その矩形をグループに加えることとし
た。なお、グループの色は、例えば、そのグループに属
する矩形の色の平均値とすることができる。

【０２３０】図１４は、本発明の一実施例に係わる同色
グループの生成方法を示す図である。

【０２３１】図１４（ａ）において、外接矩形８１〜８
３が生成されているものとし、外接矩形８１〜８３内の
パターンの色が徐々に変化しているものとする。また、
外接矩形８１、８２内のパターンは文字であるが、外接
矩形８３内のパターンは背景の一部であるものとする。

【０２３２】外接矩形８１〜８３についてのグルーピン
グを行う場合、まず、外接矩形８１の周囲に探索領域８
４を設定し、この探索領域８４にかかる外接矩形８２を
抽出する。この外接矩形８２が抽出されると、外接矩形
８１内のパターンの色と外接矩形８２内のパターンの色
との間での色空間上の距離ｄｉｓｔを求める。そして、
距離ｄｉｓｔが所定値以下の場合、外接矩形８１と外接
矩形８２とは、図１４（ｂ）に示すように、同一のグル
ープ８５に分類される。

【０２３３】次に、外接矩形８２の周囲に探索領域８６
を設定し、この探索領域８６にかかる外接矩形８３を抽
出する。この外接矩形８３が抽出されると、外接矩形８
２内のパターンの色と外接矩形８３内のパターンの色と
の間での色空間上の距離ｄｉｓｔを求め、距離ｄｉｓｔ
が所定値以下かどうかを判断する。

【０２３４】ここで、距離ｄｉｓｔが所定値以下の場合
に、外接矩形８３を外接矩形８２と同一のグループ８５
に分類すると、文字のグループに背景のパターンが混在
することになる。

【０２３５】そこで、外接矩形８１内のパターンの色と
外接矩形８２内のパターンの色との平均値をグループ８
５の色として求め、グループ８５の色と外接矩形８３内
のパターンの色との間での色空間上の距離ｄｉｓｔ２を
求める。そして、距離ｄｉｓｔ２が所定値以下の場合、
外接矩形８３を外接矩形８２と同一のグループ８５に分
類するようにする。

【０２３６】ここで、外接矩形８１〜８３内のパターン
の色が徐々に変化している場合、外接矩形８２内のパタ
ーンの色と外接矩形８３内のパターンの色との間での色
空間上の距離ｄｉｓｔが近くても、外接矩形８１内のパ
ターンの色と外接矩形８３内のパターンの色との間での
色空間上の距離は遠くなる。

【０２３７】この結果、距離ｄｉｓｔ２は距離ｄｉｓｔ
より大きくなり、外接矩形８３内のパターンの色がグル
ープ８５の色と離れていると判断することが可能とな
り、外接矩形８３がグループ８５に分類されることを防
止することが可能となる。

【０２３８】具体的には、１つの注目矩形の色（Ｒｃ，
Ｇｃ，Ｂｃ）とその周囲矩形の集合の中の１つの矩形ｉ
の色（Ｒｉ，Ｇｉ，Ｂｉ）との間でのＲＧＢ空間上の距
離を以下のように定義する。

【０２３９】ｄｉｓｔ＝｜Ｒｃ−Ｒｉ｜＋｜Ｇｃ−Ｇｉ
｜＋Ｂｃ−Ｂｉ｜また、注目矩形の色（Ｒｃ，Ｇｃ，Ｂｃ）と解像度ｒｅ
ｓｏｌｕｔｉｏｎから求められるＲＧＢの各輝度差を、
ｄｅｌｔａ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ＿ｂとす
る。

【０２４０】また、注目矩形が属する既に抽出されてい
るグループの色を（Ｒｇ，Ｇｇ，Ｂｇ）とする。ここ
で、グループの色は、そのグループに属する矩形内のパ
ターンの色の平均色とする。なお、最初は、矩形の色は
グループの色と同じである。

【０２４１】この時、グループの色（Ｒｇ，Ｇｇ，Ｂ
ｇ）と周囲の矩形ｉが属するグループの色（Ｒｉｇ，Ｇ
ｉｇ，Ｂｉｇ）との色差の距離ｄｉｓｔ２を以下のよう
に定義する。

【０２４２】ｄｉｓｔ２＝｜Ｒｇ−Ｒｉｇ｜＋｜Ｇｇ−
Ｇｉｇ｜＋｜Ｂｇ−Ｂｉｇ｜注目矩形（Ｒｃ，Ｇｃ，Ｂｃ）とその周囲矩形の集合の
中の１つの矩形ｉ（Ｒｉ，Ｇｉ，Ｂｉ）が以下の条件を
満足する時、これらの２つの矩形は、注目矩形のグルー
プに属すると判定して、周囲矩形ｉをそのグループに格
納する。また、新たにグループに加わった矩形の矩形番
号を新規追加矩形領域に格納する。

【０２４３】（ｄｉｓｔ＜ＴＨ＿ＲＧＢまたは（｜Ｒｃ−Ｒｉ｜＜ｄｅｌｔａ＿ｒかつ｜Ｇｃ−Ｇｉ｜＜ｄｅｌｔａ＿ｇかつ｜Ｂｃ−Ｂｉ｜＜ｄｅｌｔａ＿ｂ））かつｄｉｓｔ２＜ｔｈｒ＿ｒｇｂここで、ｔｈｒ＿ｒｇｂ＝（ｍｉｎ（Ｒｇから求めた輝度差、Ｒｉｇから求めた輝度差）＋ｍｉｎ（Ｇｇから求めた輝度差，Ｇｉｇから求めた輝度差）＋ｍｉｎ（Ｂｇから求めた輝度差，Ｂｉｇから求めた輝度差））／２とする。また、例えば、ＴＨ＿ＲＧＢ＝２０とする。

【０２４４】新規追加矩形領域の先頭の矩形番号を取り
出し、それを新たな注目矩形として、その周囲にある矩
形を計算し、上記の手順を繰り返して、グループに属す
る矩形を求める。この手順をグループに新たに加わる矩
形が無くなるまで繰り返す。なお、抽出するグループ情
報のデータ構造は以下のようになる。

【０２４５】グループ内の矩形数：ｎｕｍグループを構成する矩形番号：ｃｈｉｌｄ重なり矩形統合後の矩形数：ｏｖｅｒｌａｐ＿ｎｕｍ重なり矩形統合後の矩形情報：ｏｖｅｒｌａｐ（データ
タイプは、矩形情報１ｂｔｂｌ型）グループ内文字列の方向コード：ｏｒｉｅｎｔグループ内の文字列数：ｇｙｏｕ＿ｎｕｍグループ内の文字列情報：ｇｙｏｕ（データタイプは、矩形情報１ｂｔｂｌ型）次に、グループ内平均文字線太さ抽出処理を行う（ステ
ップＳ１１）。

【０２４６】このグループ内平均文字線太さ抽出処理で
は、グループ内の外接矩形に対応するラベル画像のパタ
ーンに対して、輪郭追跡処理を行い、輪郭長を求める。
すなわち、グループに属する１つの外接矩形の矩形範囲
内で、その外接矩形のラベル番号に注目して、ラベル画
像上で輪郭追跡処理を行う。抽出した輪郭の長さが抽出
されると、輪郭の長さをその矩形の輪郭長の属性にセッ
トする。そして、その矩形内のパターンの面積を輪郭長
で割って、文字の線の平均的な太さを求め、その値を矩
形の属性として矩形情報に登録する。

【０２４７】図１５は、本発明の一実施例に係わる文字
線の太さの算出方法を説明する図である。

【０２４８】図１５（ａ）において、例えば、「フ」と
いうパターンが抽出されたものとすると、「フ」という
パターンに含まれる画素数を数えることにより、「フ」
というパターンの面積Ｓを算出する。

【０２４９】次に、図１５（ｂ）に示すように、「フ」
というパターンの輪郭を抽出し、この輪郭長Ｌを算出す
る。そして、「フ」というパターンの面積Ｓを輪郭長Ｌ
で割って、「フ」というパターンの平均的な太さＷを求
める。

【０２５０】輪郭長獲得処理として、輪郭を構成する画
素の周囲の８つの画素のラベル値を時計回りの順番で調
べ、そのラベル値が輪郭を構成する画素のラベル値と一
致する画素を輪郭として抽出する方法がある。

【０２５１】しかし、この手法では、文字パターンだけ
なら高速であるが、背景から抽出された複雑な形状のパ
ターンについてはかなり処理時間がかかる。これは、輪
郭追跡手法自体がラベル画像の輪郭の１つ外側をチェッ
クする必要があり、ある輪郭点から次の輪郭点を探すた
めに、既に走査した画素についても何回もチェックしに
いく処理が必要となるからである。

【０２５２】そこで、本実施例では、１つのラベル画像
のエッジに注目して、ラベル画像の外接矩形の内部をラ
スタスキャンし、特定のラベル値以外から特定のラベル
値に変化する点をカウントするようにした。このことに
より、ラベル画像の外接矩形内の１回のラスタスキャン
の間に、ラベル画像のパターンの輪郭長を獲得すること
が可能となり、輪郭長獲得処理にかかる時間を従来の方
法に比べて５倍程度高速化することが可能となる。

【０２５３】図１６は、本発明の一実施例に係わる輪郭
長獲得処理を示すフローチャートである。なお、処理対
象となるラベル画像のラベル値をｒｅｇｉｏｎ、そのラ
ベル値のパターンの外接矩形の座標を（ｘｍｉｎ，ｙｍ
ｉｎ）−（ｘｍａｘ，ｙｍａｘ）、輪郭長をｃｏｕｎ
ｔ、ラベル画像の画素がエッジかどうかを示すフラグを
ｆｌａｇ（１画素前がｒｅｇｉｏｎの値の画素の場合、
１に設定される）、縦方向の太さが１画素のパターンを
検出するフラグをｆｉｒｓｔ＿ｆｌａｇ（横方向に１画
素幅の場合、１に設定される）とする。

【０２５４】図１６において、まず、初期設定を行い
（ステップＳ３１〜Ｓ３４）、ｃｏｕｎｔ＝０、ｙ＝ｙ
ｍｉｎ、ｆｌａｇ＝０、ｆｉｒｓｔ＿ｆｌａｇ＝０、ｘ
＝ｘｍｉｎとする。

【０２５５】次に、ｆｌａｇ＞０かどうかを判断し（ス
テップＳ３５）、ｆｌａｇ＞０でない場合、カレント画
素のラベル値がｒｅｇｉｏｎかどうかを判断する（ステ
ップＳ４６）。ここで、カレント画素のラベル値がｒｅ
ｇｉｏｎでない場合、ｘ＜ｘｍａｘかどうかを判断し
（ステップＳ４８）、ｘ＜ｘｍａｘである場合、ｘをイ
ンクリメントして、ステップＳ３５に戻る。

【０２５６】一方、ステップＳ４６において、カレント
画素のラベル値がｒｅｇｉｏｎである場合、そのカレン
ト画素は輪郭を構成するので、ｃｏｕｎｔをインクリメ
ントするとともに、ｆｌａｇ＝１、ｆｉｒｓｔ＿ｆｌａ
ｇ＝１に設定して、ステップＳ４８に進む（ステップＳ
４７）。

【０２５７】一方、ステップＳ３５において、ｆｌａｇ
＞０である場合、カレント画素（ｘ、ｙ）のラベル値が
ｒｅｇｉｏｎかどうかを判断し（ステップＳ３６）、カ
レント画素のラベル値がｒｅｇｉｏｎである場合、ｙが
ｙｍｉｎまたはｙｍａｘかどうかを判断する（ステップ
Ｓ３７）。ここで、ｙがｙｍｉｎまたはｙｍａｘである
場合、ｃｏｕｎｔをインクリメントする（ステップＳ３
９）。

【０２５８】また、ステップＳ３７において、ｙがｙｍ
ｉｎでも、ｙｍａｘでもない場合、カレント画素の上か
下の画素のラベル値がｒｅｇｉｏｎかどうかを判断し
（ステップＳ３８）、カレント画素の上か下の画素のラ
ベル値がｒｅｇｉｏｎでない場合にのみ、ｃｏｕｎｔを
インクリメントする（ステップＳ３９）。

【０２５９】一方、ステップＳ３６において、カレント
画素のラベル値がｒｅｇｉｏｎでない場合、ｙがｙｍｉ
ｎまたはｙｍａｘかどうかを判断し（ステップＳ４
０）、ｙがｙｍｉｎまたはｙｍａｘである場合、ｆｌａ
ｇ＝０とする（ステップＳ４４）。

【０２６０】一方、ステップＳ４０において、ｙがｙｍ
ｉｎでも、ｙｍａｘでもない場合、カレント画素の左の
画素の上の画素及び下の画素のラベル値がｒｅｇｉｏｎ
であり（ステップＳ４１）、かつ、ｆｉｒｓｔ＿ｆｌａ
ｇが０である場合にのみ（ステップＳ４２）、ｃｏｕｎ
ｔをインクリメントし（ステップＳ４３）、それ以外の
場合はステップＳ４４に進む。

【０２６１】次に、ｆｉｒｓｔ＿ｆｌａｇ＝０に設定し
（ステップＳ４５）、以上の処理をｘがｘｍａｘに達す
るまで、ｘを１ずつインクリメントさせながら繰り返
す。

【０２６２】そして、ｘがｘｍａｘに達すると、ｆｌａ
ｇ＞０かどうかを判断し（ステップＳ５０）、ｆｌａｇ
＞０でない場合、ｙ＜ｙｍａｘかどうかを判断する（ス
テップＳ５５）。ここで、ｙ＜ｙｍａｘである場合、ｙ
をインクリメントして、ステップＳ３３に戻る。

【０２６３】一方、ステップＳ５０において、ｆｌａｇ
＞０である場合、ｙがｙｍｉｎまたはｙｍａｘかどうか
を判断し（ステップＳ５１）、ｙがｙｍｉｎまたはｙｍ
ａｘである場合、ステップＳ５５に進む。

【０２６４】一方、ステップＳ５１において、ｙがｙｍ
ｉｎでも、ｙｍａｘでもない場合、カレント画素の左の
画素の上の画素及び下の画素のラベル値がｒｅｇｉｏｎ
であり（ステップＳ５２）、かつ、ｆｉｒｓｔ＿ｆｌａ
ｇが０である場合にのみ（ステップＳ５３）、ｃｏｕｎ
ｔをインクリメントし（ステップＳ５４）、それ以外の
場合はステップＳ５５に進む。

【０２６５】以上の処理をｙがｙｍａｘに達するまで、
ｙを１ずつインクリメントさせながら繰り返し、ｙがｙ
ｍａｘに達すると、ｃｏｕｎｔをラベル値がｒｅｇｉｏ
ｎのラベル画像の輪郭長として出力する。

【０２６６】なお、上述した実施例では、外接矩形内を
横方向（ｘ方向）にラスタスキャンすることにより、輪
郭長を求める場合について説明したが、外接矩形内を縦
方向（ｙ方向）にラスタスキャンして、輪郭長を求める
ようにしてもよい。

【０２６７】図１７は、本発明の一実施例に係わる輪郭
長獲得方法を説明するためのパターンの具体例を示す図
である。

【０２６８】図１７において、同一のラベル値を有する
ラベル画像８８（斜線部分）が抽出され、そのラベル画
像８８の外接矩形８７が生成されているものとする。こ
の外接矩形の座標が（ｘｍｉｎ，ｙｍｉｎ）−（ｘｍａ
ｘ，ｙｍａｘ）で表されているものとすると、この外接
矩形の範囲内を（ｘｍｉｎ，ｙｍｉｎ）の座標に位置す
る画素から１ラインずつｘ方向にスキャンする。

【０２６９】ここで、図１６のステップＳ４６からステ
ップＳ４７に進む過程でＡの画素がカウントされ、ステ
ップＳ３７からステップＳ３９に進む過程でＢの画素が
カウントされ、ステップＳ３８からステップＳ３９に進
む過程でＣの画素がカウントされ、ステップＳ４２から
ステップＳ４３に進む過程でＤの画素がカウントされ、
ステップＳ５３からステップＳ５４に進む過程でＥの画
素がカウントされる。この結果、外接矩形８７の範囲内
を１回だけスキャンすることにより、ラベル画像８８の
輪郭を求めることが可能となり、輪郭長獲得処理の高速
化を図ることが可能となる。

【０２７０】次に、文字線太さによる再グループ化処理
を行う（ステップＳ１１）。

【０２７１】この再グループ化処理では、グループ内の
外接矩形を対象に、外接矩形の平均文字線太さを用いて
グループ化を行い、新たなグループ情報を構築する。す
なわち、グループ内の外接矩形を対象にして、図４のス
テップＳ７〜Ｓ９の処理を繰り返す。ここで、ステップ
Ｓ９のグループ化の時に、ステップＳ９で使用した色情
報だけでなく、推定文字線太さ（＝２０×矩形内のパタ
ーン面積／パターンの輪郭長）も使用する。

【０２７２】図１８は、本発明の一実施例に係わる文字
線の太さによる再グルーピング処理を説明する図であ
る。

【０２７３】図１８において、「グループ１」という文
字列と「グループ２」という文字列が同一色で記述さ
れ、互いに近接して配置されているため、「グループ
１」という文字列と「グループ２」という文字列が同一
のグループ９１にグルーピングされているものとする。

【０２７４】ここで、「グループ１」という文字列に含
まれる文字の太さと「グループ２」という文字列に含ま
れる文字の太さを算出し、異なる太さの文字を別々のグ
ループに分割する。この結果、「グループ１」という文
字列はグループ９２にグルーピングされ、「グループ
２」という文字列はグループ９３にグルーピングされ
る。

【０２７５】この処理により、文字パターンの近くにそ
の文字パターンの色と同一の背景パターンがあり、これ
らの背景パターンと文字パターンが同じグループに属し
ていたものを、別々のグループにしたり、文字パターン
だけからなるグループでも、フォントやサイズが異なる
ものを別々のグループにしたりすることができる。

【０２７６】具体的には、２つの外接矩形のうち、第１
の外接矩形の推定文字線太さｔｈｉｃｋ１及び第２の外
接矩形の推定文字線太さｔｈｉｃｋ２から、文字線太さ
の比ｔｈｉｃｋ＿ｒａｔｅを以下のように求める。

【０２７７】ｔｈｉｃｋ＿ｒａｔｅ＝ｍａｘ（ｔｈｉｃ
ｋ１，ｔｈｉｃｋ２）／ｍｉｎ（ｔｈｉｃｋ１，ｔｈｉ
ｃｋ２）そして、以下の条件を満足した時に、２つの外接矩形を
同じグループとして記録する。

【０２７８】ｔｈｉｃｋ＿ｒａｔｅ＜ＴＨ＿ＴＨＩＣＫ＿ＲＡＴＥかつ（ｄｉｓｔ＜ＴＨ＿ＲＧＢまたは（｜Ｒｃ−Ｒｉ｜＜ｄｅｌｔａ＿ｒかつ｜Ｇｃ−Ｇｉ｜＜ｄｅｌｔａ＿ｇかつ｜Ｂｃ−Ｂｉ｜＜ｄｅｌｔａ＿ｂ））ただし、ＴＨ＿ＴＨＩＣＫ＿ＲＡＴＥは、例えば、２．
５とする。

【０２７９】この処理を元のグループ内全ての外接矩形
について行い、グループ内の新たなグルーピングを行
う。この際、１つのグループの中に１つの矩形しか属し
ていないグループは、タイトルを構成しないものとして
削除される。

【０２８０】また、文字線太さによる再グルーピングの
他の例として、グループ内の文字線太さの頻度分布を作
成し、その文字線太さをクラスタリングすることによ
り、文字線太さのクラスタを複数個生成する方法でもよ
い。複数のクラスタを生成する方法として、文字線太さ
の頻度分布の谷で複数のクラスタに分割する方法や、階
層的クラスタリングを適用する方法などを用いることが
できる。

【０２８１】具体的には、２つの外接矩形のうち、第１
の外接矩形の推定文字線太さをｔｈｉｃｋ１、第２の外
接矩形の推定文字線太さをｔｈｉｃｋ２とすると、以下
の条件を満足した時にこれらの２つの外接矩形を同じグ
ループとする。

【０２８２】ｔｈｉｃｋ１とｔｈｉｃｋ２とが同一の文
字線太さのクラスタに所属し、かつ（ｄｉｓｔ＜ＴＨ＿ＲＧＢまたは（｜Ｒｃ−Ｒｉ｜＜ｄｅｌｔａ＿ｒかつ｜Ｇｃ−Ｇｉ｜＜ｄｅｌｔａ＿ｇかつ｜Ｂｃ−Ｂｉ｜＜ｄｅｌｔａ＿ｂ））この処理を元のグループ内全ての矩形について行い、グ
ループ内の新たなグルーピングを行う。

【０２８３】次に、グループ内の大きな矩形削除処理を
行う（ステップＳ１２）。

【０２８４】このグループ内の大きな矩形削除処理で
は、グループ内で平均的な矩形サイズを求め、そのサイ
ズを基準に極端に大きなサイズの矩形を背景などのノイ
ズとして削除する。

【０２８５】図１９は、本発明の一実施例に係わるグル
ープ内の大きな矩形削除処理を説明する図である。

【０２８６】図１９（ａ）において、外接矩形１０２〜
１１１がグループ１０１にグルーピングされているもの
とすると、グループ１０１内の各外接矩形１０２〜１１
１の大きさを求める。ここで、外接矩形１０２の大きさ
が他の外接矩形１０３〜１１１の大きさに比べ、かけ離
れているものとすると、図１９（ｂ）に示すように、グ
ループ１０１から外接矩形１０２を削除し、外接矩形１
０３〜１１１よりなるグループ１１２を生成する。

【０２８７】具体的には、以下のａ）〜ｄ）の処理を行
う。

【０２８８】ａ）グループ内の外接矩形の高さのヒスト
グラムを作成して、最大頻度値を示す矩形高さｆｒｅｑ
＿ｈｅｉｇｈｔを以下の方法で求める。

【０２８９】ｉ）ヒストグラムにぼかし用のウィンドウ
を用いてコンボリューション演算（移動和）を行い、ヒ
ストグラムをぼかす。具体的なぼかし用ウィンドウは、
例えば、「１１１１１」の５画素からなる。

【０２９０】ｉｉ）最小高さ値（具体的には、１００ｄ
ｐｉで２３ｄｏｔ）を予め決めておき、その最小高さ値
以上で最大頻度を示す矩形高さｆｒｅｑ＿ｈｅｉｇｈｔ
を求める。

【０２９１】ｂ）最大頻度値を示す矩形高さｆｒｅｑ＿
ｈｅｉｇｈｔが最小高さ値（具体的には、１００ｄｐｉ
で２３ｄｏｔ）より小さい時は、最小高さ値を最大頻度
値を示す矩形高さｆｒｅｑ＿ｈｅｉｇｈｔとする。

【０２９２】ｃ）大きな矩形と判定するしきい値ｔｈ＿
ｌａｒｇｅを、例えば、ｔｈ＿ｌａｒｇｅ＝ｆｒｅｑ＿
ｈｅｉｇｈｔ＊１０とする。

【０２９３】ｄ）グループ内の外接矩形で縦横サイズと
も、ｔｈ＿ｌａｒｇｅより小さいものだけを残して、後
はノイズとしてそのグループから削除する。

【０２９４】次に、グループ内の重なり矩形統合処理を
行う（ステップＳ１３）。

【０２９５】このグループ内の重なり矩形統合処理で
は、グループ内の外接矩形の中で重なりがある外接矩形
について、それらの外接矩形を囲む矩形を新たに作り、
グループ情報に新たに登録する。

【０２９６】すなわち、グループ内の外接矩形のうち、
一部でも重なりがある外接矩形同士を統合して、それら
を囲む外接矩形にする。

【０２９７】図２０は、本発明の一実施例に係わるグル
ープ内の重なり矩形統合処理を説明する図である。

【０２９８】図２０（ａ）において、外接矩形１３１は
外接矩形１３２と重なっており、外接矩形１３２は外接
矩形１３３と部分的に重なっている。この場合、外接矩
形１３１〜１３３を統合し、外接矩形１３４を生成す
る。

【０２９９】この処理により、例えば、「画」や「関」
などのように、１つの文字が互いに分離した複数のスト
ロークからなる場合に、これらの複数のストロークから
なる１つの文字を一体的に取り扱うことができ、その後
の処理を効率的に行うことが可能となる。

【０３００】また、重なり矩形統合処理を同一グループ
に属するパターンの中で行うことにより、文字領域に背
景ノイズが混在している場合においても、文字と背景ノ
イズとが統合されることを防止でき、文字の抽出精度を
向上させることが可能となる。

【０３０１】次に、グループ内文字列抽出処理を行う
（ステップＳ１４）。

【０３０２】このグループ内文字列抽出処理では、グル
ープ内で文字列方向を推定し、その方向に対して、文字
列を抽出する。抽出した文字列の方向及び座標などの情
報はグループごとに保存する。なお、この処理をタイト
ルの抽出に用いる場合には、１つのタイトルを構成する
個々の文字は、横方向または縦方向に一列に並んでいる
ことが前提になる。

【０３０３】図２１は、本発明の一実施例に係わるグル
ープ内文字列抽出処理を説明する図である。

【０３０４】図２１（ａ）において、矩形番号１〜２９
の外接矩形がグループ１４１にグルーピングされている
ものとすると、最も左にある矩形番号１の外接矩形か
ら、右方向に矩形番号１の外接矩形と隣接する外接矩形
があるかどうかを探す。そして、矩形番号１の外接矩形
と隣接する外接矩形として、矩形番号２の外接矩形が見
つかると、見つかった外接矩形に矩形番号１を伝番し、
見つかった外接矩形の矩形番号２を矩形番号１に変更す
る。同様にして、右方向に隣接する外接矩形があるかど
うかを探し、隣接する外接矩形が見つかると、左に隣接
する外接矩形の矩形番号を右の外接矩形に伝番する。

【０３０５】矩形番号１の外接矩形から右方向に隣接す
る外接矩形がなくなると、矩形番号１５の外接矩形か
ら、右方向に矩形番号１５の外接矩形と隣接する外接矩
形があるかどうかを探す。矩形番号１５の外接矩形と隣
接する外接矩形が見つかると、見つかった外接矩形に矩
形番号１５を伝番する。

【０３０６】以上の処理により、図２１（ｂ）に示すよ
うに、矩形番号１の外接矩形に右方向に隣接する外接矩
形に矩形番号１が付され、矩形番号１５の外接矩形に右
方向に隣接する外接矩形に矩形番号１５が付される。矩
形番号の伝番処理が終了すると、同一の矩形番号１が付
された外接矩形を囲む外接矩形１４２を生成し、同一の
矩形番号１５が付された外接矩形を囲む外接矩形１４３
を生成する。

【０３０７】具体的には、以下のａ）〜ｅ）の処理を行
う。

【０３０８】ａ）グループ内の外接矩形の座標から文字
列方向を推定する。

【０３０９】ｂ）外接矩形の上下左右の最も近くにある
矩形の内向き、外向きの両方向の隣接関係を求める。

【０３１０】ｃ）横方向の文字列の場合、左からの隣接
関係のない矩形を開始矩形として、右に矩形がなくなる
まで、開始矩形番号を右にある矩形に伝搬していく。縦
方向も同様である。

【０３１１】ｄ）左からの隣接関係がなく、左への隣接
関係がある矩形は、左の矩形番号を獲得して、それを右
へ伝搬し、隣接関係がなくなるまで繰り返す。

【０３１２】ｅ）ここまでの処理をグループ内全ての矩
形について行った後に、同じ矩形番号が付いている矩形
を求め、同じ矩形番号が付いている矩形の外接矩形を文
字列矩形として抽出する。

【０３１３】次に、文字列内分離文字統合処理を行う
（ステップＳ１５）。

【０３１４】この文字列内分離文字統合処理では、横書
きの上下分離文字統合処理（縦書きでは、左右分離文字
統合処理）を文字列矩形に適応して、分離矩形を統合し
た外接矩形に置き換える。ここでは、抽出された文字列
内の矩形に対して文字列方向と直角の方向に矩形統合を
行う。これは横書きの文字列ならば、例えば「こ」とい
う文字の上ストロークと下ストロークをそれぞれ囲む矩
形をまとめて、１つの矩形とする処理である。また、縦
書きの文字列ならば、例えば「い」という文字の右スト
ロークと左ストロークをそれぞれ囲む矩形をまとめて、
１つの矩形とする処理である。

【０３１５】図２２は、本発明の一実施例に係わる文字
列内分離文字統合処理を説明する図である。

【０３１６】図２２（ａ）において、グループ１４１内
で互いに横方向に隣接する外接矩形を囲む外接矩形１４
２、１４３が生成され、外接矩形１４２内には、縦方向
に互いに隣接する外接矩形１４４、１４５及び縦方向に
互いに隣接する外接矩形１４６、１４７が存在し、外接
矩形１４３内には、縦方向に互いに隣接する外接矩形１
４８、１４９及び縦方向に互いに隣接する外接矩形１５
０、１５１が存在しているものとする。

【０３１７】この場合、図２２（ｂ）に示すように、外
接矩形１４４、１４５を囲む外接矩形１５２を生成し
て、外接矩形１４４、１４５を統合し、外接矩形１４
６、１４７を囲む外接矩形１５３を生成して、外接矩形
１４６、１４７を統合し、外接矩形１４８、１４９を囲
む外接矩形１５４を生成して、外接矩形１４８、１４９
を統合し、外接矩形１５０、１５１を囲む外接矩形１５
５を生成して、外接矩形１５０、１５１を統合する。

【０３１８】具体的には、以下のａ）〜ｃ）の処理を行
う。なお、以下の例では、横文字列の場合について説明
するが、縦文字列の場合についても同様である。

【０３１９】ａ）文字列内矩形をｘ座標で昇順にソート
する。

【０３２０】ｂ）最初の矩形をカレント矩形として、そ
れ以降の次の矩形がカレント矩形のｘ座標の範囲に重な
る場合は統合し、カレント矩形のｘ座標の範囲も統合結
果のものに変更する。この処理を統合する矩形がなくな
るまで繰り返す。統合する矩形がなくなったら、分離統
合後の矩形として保存する。

【０３２１】ｃ）統合する矩形が無くなったら、次の矩
形を新たなカレント矩形として、ｂ）及びｃ）の処理を
繰り返す。

【０３２２】次に、グループ内の文字列サイズによる再
グループ化を行う（ステップＳ１６）。

【０３２３】グループ内の文字列サイズによる再グルー
プ化処理では、グループ内の文字列情報から文字列方向
に直角のサイズに注目して、その大きさで再グループ化
を行い、その結果を新たなグループ情報に格納する。

【０３２４】このことにより、同色グループ内で、文字
サイズが異なる文字列を別グループにすることができ、
同時にノイズと文字列の別グループ化も可能となる。

【０３２５】なお、この処理をタイトルの抽出に用いる
場合には、１つのタイトルを構成する個々の文字の大き
さが揃っていることが前提になる。

【０３２６】図２３は、本発明の一実施例に係わるグル
ープ内の文字列サイズによる再グループ化処理を説明す
る図である。

【０３２７】図２３（ａ）において、グループ１４１内
で互いに横方向に隣接する外接矩形を囲む外接矩形１４
２、１４３が生成されているものとすると、外接矩形１
４２の高さＨ１及び外接矩形１４３の高さＨ２を算出す
る。そして、外接矩形１４２の高さＨ１と外接矩形１４
３の高さＨ２の差がしきい値より大きい場合は、外接矩
形１４２と外接矩形１４３とを別々のグループにする。

【０３２８】具体的には、以下の条件を満たす時に、こ
れらの２つの文字列矩形は、同じグループに属するもの
として、同じグループ番号を与える。

【０３２９】２つの文字列矩形の高さ（横書きの場合。
縦書きなら幅）の差がしきい値より小さい、かつ、（２
つの文字列矩形が重複する、または、２つの文字列矩形
間の距離がしきい値より小さい）この処理を全てのグループで行う。

【０３３０】次に、グループ内で同じグループ番号の文
字列を１つのグループとする新たなグループを作成す
る。この処理は、図３のステップＳ９で同じグループに
なった文字サイズの異なる文字列を、別々のグループに
する働きがある。

【０３３１】次に、グループ内の大きな矩形削除処理を
行う（ステップＳ１７）。

【０３３２】このグループ内の大きな矩形削除処理で
は、ノイズ除去のため、グループ内で平均的な矩形サイ
ズを求め、その矩形サイズを基準として極端に大きなサ
イズの矩形を再び削除する。すなわち、これまでの処理
で変化したグループに対して、図４のステップＳ１２の
処理を再度行い、グループ内のノイズを削除する。

【０３３３】次に、グループ統合処理を行う（ステップ
Ｓ１８）。

【０３３４】このグループ統合処理では、左右方向また
は上下方向に互いに近接する同色グループを統合する。
すなわち、２つのグループがほぼ同じ色で、かつ近くに
あり、グループの外接矩形が並んでいる場合に、その２
つの外接矩形を統合し、１つのグループとする。これ
は、後で行う文字矩形の並びによるグループの文字列ら
しさの判定を安定化させるために行う。

【０３３５】図２４は、本発明の一実施例に係わるグル
ープ統合処理を説明する図である。図２４（ａ）におい
て、グループ１の外接矩形１６１とグループ２の外接矩
形１６２が互いに横に並んでいるものとすると、外接矩
形１６１と外接矩形１６２の距離Ｌ１及び及び外接矩形
１６１と外接矩形１６２の下端同士の座標の差Ｅ１を求
める。そして、外接矩形１６１と外接矩形１６２の距離
Ｌ１及び外接矩形１６１と外接矩形１６２の下端同士の
座標の差Ｅ１が各しきい値より小さく、グループ１の代
表色とグループ２の代表色の差が所定のしきい値以内に
ある場合、外接矩形１６１と外接矩形１６２とを統合
し、外接矩形１６１及び外接矩形１６２を囲む外接矩形
１６３を生成する。

【０３３６】具体的には、２つのグループの外接矩形に
おいて、色及び下端の座標が近く、かつ、近い距離にあ
り、２つをまとめて１つの文字列とみれそうなものを１
つのグループにまとめる。ここで、２つのグループの平
均色をそれぞれ（Ｒｇ１，Ｇｇ１，Ｂｇ１）と（Ｒｇ
２，Ｇｇ２，Ｂｇ２）とすると、２つのグループのそれ
ぞれのＲＧＢ値の平均値（Ｒｇ１＋Ｒｇ２，Ｇｇ１＋Ｇ
ｇ２，Ｂｇ１＋Ｂｇ２）を求める。そして、そのＲＧＢ
値の平均値と解像度をキー情報としてテーブルを検索
し、テーブルから得られたＲＧＢそれぞれの輝度差（ｄ
ｅｌｔａ＿ｒ，ｄｅｌｔａ＿ｇ，ｄｅｌｔａ＿ｂ）を同
色とみなす場合の輝度差のしきい値とする。この時、統
合の条件は、以下の通りである。

【０３３７】｜Ｒｇ１−Ｒｇ２｜＜ｄｅｌｔａ＿ｒかつ｜Ｇｇ１−Ｇｇ２｜＜ｄｅｌｔａ＿ｇかつ｜Ｂｇ１−Ｂｇ２｜＜ｄｅｌｔａ＿ｂかつ横並びの場合、横方向の距離が固定しきい値より小
さい（ただし、縦並びの場合は、縦方向の距離が固定しきい
値より小さい）かつ横並びの場合、２つのグループの外接矩形の下端座
標の差が固定しきい値より小さい（ただし、縦並びの場合は、左端と右端同士の差が両方
とも固定しきい値よりも小さい）この処理を統合するグループがなくなるまで繰り返す。

【０３３８】なお、横並びの場合に、下端の座標の差の
みを考慮し、上端の座標の差を考慮しないのは、タイト
ルがアルファベットで書かれている場合などで、そのタ
イトルに大文字と小文字が混在していると、下端の座標
は揃っているが、上端の座標はその差が大きい場合があ
り、大文字と小文字とを１つのグループに統合できなく
なる場合があるからである。例えば、「Ｗｉｎｄｏｗ
ｓ」という文字列がタイトルにあり、「Ｗｉｎｄ」の部
分と「ｏｗｓ」の部分とが別々のグループとして抽出さ
れた場合に、上端の座標の差まで考慮すると、「Ｗｉｎ
ｄ」の部分と「ｏｗｓ」の部分とを１つのグループに統
合できなくなるからである。

【０３３９】次に、矩形並びによる文字らしいグループ
の抽出処理を行う（ステップＳ１９）。

【０３４０】この矩形並びによる文字らしいグループの
抽出処理では、グループ内の矩形の中で、サイズまたは
形など一定の条件を満足する矩形を対象に、上端座標ま
たは下端座標のどちらかが隣りの矩形と近い場合、この
両者の矩形が並んでいると判定し、並びフラグをセット
する。そして、その一定条件を満足するグループ内の対
象矩形の中で、並んでいる矩形の数がどの程度の割合で
あるかを示す並び矩形率を求め、その並び矩形率が一定
のしきい値以上のグループを文字列と見なして抽出す
る。

【０３４１】図２５は、本発明の一実施例に係わる矩形
並びによる文字列らしいグループの抽出処理を説明する
図である。

【０３４２】図２５（ａ）において、外接矩形１７１〜
１７４及び外接矩形１７６〜１８７が入力画像から生成
され、外接矩形のグルーピングにより、外接矩形１７１
〜１７４が１つのグループとされた結果、これらの外接
矩形１７１〜１７４を囲む外接矩形１７５が生成されて
いる。また、外接矩形のグルーピングにより、外接矩形
１７６〜１８７が１つのグループとされた結果、これら
の外接矩形１７６〜１８７を囲む外接矩形１８８が生成
されている。

【０３４３】次に、各グループ内の外接矩形のサイズや
位置関係を調べ、横方向に並んでいる外接矩形に対して
横並びフラグ１を与え、縦方向に並んでいる外接矩形に
対して縦並びフラグ２を与える。この結果、外接矩形１
７５内の外接矩形１７１〜１７４はランダムに並んでい
るので、外接矩形１７１〜１７４には、横並びフラグ１
も縦並びフラグ２も付かない。一方、外接矩形１８８内
の外接矩形１７６〜１８７は横一列に並んでいるので、
外接矩形１７６〜１８７には、横並びフラグ１が与えら
れる。

【０３４４】外接矩形１７１〜１７４及び外接矩形１７
６〜１８７についてのフラグ処理が終了すると、フラグ
が付された矩形の割合を各グループごとに算出する。そ
して、フラグが付された矩形の割合の多いグループを文
字列として抽出し、フラグが付された矩形の割合の少な
いグループをノイズとして捨てる。

【０３４５】この結果、図２５（ｂ）に示すように、外
接矩形１７５のグループは、そのグループに属する外接
矩形１７１〜１７４に対して、フラグが１つも付されて
ないので、ノイズとして捨てられる。一方、外接矩形１
８８のグループは、そのグループに属する外接矩形１７
６〜１８７に対して、横並びフラグ１を与えられている
ので、文字列として抽出される。

【０３４６】具体的には、以下のａ）〜ｅ）の処理を行
う。

【０３４７】ａ）グループ内の隣接するサイズまたは形
の一定条件を満足する２つの矩形の上端座標同士または
下端座標同士の差がしきい値（高さのＷＩＤ＿ＲＡＴＥ
（＝０．２）倍）より小さい場合、その２つの矩形に横
並びフラグを与える。

【０３４８】ここで、隣接するとは、基準矩形の幅のＷ
ＩＤ＿ＲＡＴＥ＿ＤＩＳＴ（＝０．５）倍の周囲範囲以
内に矩形があることをいう。

【０３４９】ｂ）グループ内の隣接するサイズまたは形
の一定条件を満足する２つの矩形の左端座標同士または
右端座標同士の差がしきい値（幅のＷＩＤ＿ＲＡＴＥ
倍）より小さい場合、その２つの矩形に縦並びフラグを
与える。

【０３５０】ここで、隣接するとは、基準矩形の高さの
ＷＩＤ＿ＲＡＴＥ＿ＤＩＳＴ倍の周囲範囲以内に矩形が
あることをいう。

【０３５１】ｃ）グループ内の矩形で、横並びフラグと
縦並びフラグの数の多い方を文字列方向として採用し
て、その数を並んでいる矩形数とする。

【０３５２】ｄ）グループ内の矩形の中で並んでいる矩
形の比率を、「並んでいる矩形数／グループ内のサイズ
または形の一定条件を満足する矩形の総数」として算出
する。

【０３５３】なお、対象とするグループ内矩形の条件
は、グループ内の矩形の最頻値を示す高さを求め、例え
ば、その３倍をｌａｒｇｅ＿ｒｅｃｔとすると、矩形高
さが、固定サイズ（２３ｄｏｔ，１００ｄｐｉで）より
大きく、ｌａｒｇｅ＿ｒｅｃｔより小さいものとする。

【０３５４】ｅ）並んでいる矩形の比率が一定しきい値
ＮＵＭ＿ＲＡＴＥ（＝０．８）より大きい場合に、その
グループを文字列らしいグループとして残し、他をノイ
ズとして捨てる。

【０３５５】なお、中点「・」や中棒「ー」などのタイ
トルとして用いられることがある特殊な記号を予め登録
しておき、ａ）〜ｅ）の条件を満たさない場合でも、こ
のような特殊な記号をタイトルを構成するパターンとし
て残すようにしてもよい。

【０３５６】次に、ノイズグループの削除処理を行う
（ステップＳ２０）。

【０３５７】このノイズグループの削除処理では、グル
ープ内が２つの矩形だけから構成されているグループに
対して、その形状及び座標から判断してノイズと思われ
るグループを抽出し、そのグループを削除する。すなわ
ち、グループ内の矩形数が２つのものについて、その２
つの矩形の上下端（または左右端）とも近いかどうかを
判断し、２つの矩形が並んでいると判断されるもの以外
のグループをノイズとして削除する。

【０３５８】図２６は、本発明の一実施例に係わるノイ
ズグループの削除処理を説明する図である。

【０３５９】図２６において、２つの外接矩形２１１、
２１２が１つのグループとして抽出され、この２つの外
接矩形２１１、２１２を囲む外接矩形２１３が生成され
ているものとする。この場合、外接矩形２１１と外接矩
形２１２の下端座標は揃っているが、外接矩形２１１と
外接矩形２１２の上端座標は極端に異なっているので、
これらの外接矩形２１１、２１２はノイズであると見な
して、外接矩形２１１、２１２からなるグループを文字
列らしいグループから削除する。

【０３６０】具体的には、以下の処理を行う。

【０３６１】グループ内の２つの矩形の高さの平均をｈ
ｅｉ，幅の平均をｗｉｄとする。しきい値を決める比率
ＤＥＬ＿ＲＡＴＥ＝０．１として、（｜第１の矩形の上端座標−第２の矩形の上端座標｜＜ｈｅｉ×ＤＥＬ＿ＲＡＴＥかつ｜第１の矩形の下端座標−第２の矩形の下端座標｜＜ｈｅｉ×ＤＥＬ＿ＲＡＴＥ）または（｜第１の矩形の左端座標−第２の矩形の左端座標｜＜ｗｉｄ×ＤＥＬ＿ＲＡＴＥかつ｜第１の矩形の右端座標−第２の矩形の右端座標｜＜ｗｉｄ×ＤＥＬ＿ＲＡＴＥ）を満足するグループだけ残し、後はノイズとして削除す
る。

【０３６２】次に、文字認識によるノイズ除去処理を行
う（ステップＳ２１）。

【０３６３】この文字認識によるノイズ除去処理では、
パターンの外接矩形の位置及びサイズ情報によるノイズ
除去を行った後に、グループ内のパターンを文字認識処
理し、各パターンごとの距離値をグループ内で平均す
る。その平均値が予め決めたしきい値（例えば、１２０
０）よりも小さい場合に、文字らしいグループとして残
し、それ以外のグループを削除する。

【０３６４】この処理により、抽出したグループの内部
のパターンが背景部分から抽出されたノイズだけで構成
されるグループを検出することが可能となり、明らかに
文字と見なせないパターンをタイトル候補から除外する
ことが可能となることから、タイトルの抽出精度を向上
させることが可能となる。

【０３６５】また、文字認識結果の距離値に従って、グ
ループ内のパターンを再グルーピングすることもでき
る。

【０３６６】具体的には、グループ内の全矩形内のパタ
ーンの文字認識処理を行い、第１位候補の距離値を矩形
ごとに獲得する。そして、矩形ごとの距離値の頻度分布
を作成し、その距離値をクラスタリングすることによ
り、距離値のクラスタを複数個生成する。複数のクラス
タを生成する方法として、距離値の頻度分布の谷で複数
のクラスタに分割する方法や、階層的クラスタリングを
適用する方法などを用いることができる。

【０３６７】２つの外接矩形のうち、第１の外接矩形の
パターンの文字認識距離値をｄｉｓｔ１、第２の外接矩
形のパターンの文字認識距離値をｄｉｓｔ２とすると、
これらの距離値が同じクラスタに属する時に、これらの
２つの外接矩形を同じグループに分類する。

【０３６８】この処理を元のグループ内全ての矩形につ
いて行い、グループ内の新たなグルーピングを行う。

【０３６９】次に、グループ内同色パターン抽出処理を
行う（ステップＳ２２）。

【０３７０】このグループ内同色パターンの抽出処理で
は、グループの代表色をグループ内部の矩形の代表色の
平均として求める。グループの矩形の内部に相当する範
囲で、原画像を探索して、グループの代表色に近いパタ
ーンで、既に文字パターンとして抽出されているもの以
外ものを２値画像として抽出する。この抽出されたパタ
ーンに２値画像用のラベリングを行い、連結成分の外接
矩形を求め、その外接矩形の大きさが所定値より大きい
ものだけを文字パターンの一部として、そのグループに
追加する。

【０３７１】この処理により、これまでの処理で抜け落
ちるが、実は文字の一部であるパターン、例えば、
「ば」の濁点部分のように、文字幅情報や色ずれなどで
落されたパターンを再抽出することができる。

【０３７２】ここで、グループの代表色と近い色のパタ
ーンを原画像から再抽出する際に、固定しきい値を用い
て同色パターンかどうかの判断を行うと、背景色と文字
色とが近く、特に、それらの色が黒色に近い場合は、こ
の処理によって背景ノイズを大量に拾ってしまい、文字
を消してしまう場合がある。

【０３７３】そこで、原画像から同色パターンを再抽出
する際に、固定しきい値を用いて同色パターンかどうか
の判断を行うのではなく、文字パターンとして既に抽出
されている領域内の色の分散を考え、この分散から求め
た標準偏差をしきい値を用いることにより、同色パター
ンかどうかの判断を行う。

【０３７４】図２７は、本発明の一実施例に係わるグル
ープ内同色パターン抽出処理を説明する図である。

【０３７５】図２７（ａ）において、図３のステップＳ
１〜Ｓ２１の処理により、「クローハル化への３つの成
功モデル」という文字列が入力画像から抽出され、これ
らの文字列を囲む外接矩形２２１が生成されているもの
とする。この場合、図２７（ｂ）の「ク」という文字の
濁点２２２及び「ハ」という文字の濁点２２３が欠落し
ている。

【０３７６】ここで、「ク」という文字の濁点２２２が
欠落したのは、「ク」という文字の濁点２２２の色と
「ク」という文字の色との差がしきい値範囲内にないた
めに、「ク」という文字の濁点２２２が「ク」という文
字と異なるグループにグルーピングされたためである。

【０３７７】また、「ハ」という文字の濁点２２３が欠
落したのは、「ハ」という文字の濁点２２３の色と
「ハ」という文字の色との差がしきい値範囲内にないた
めに、「ハ」という文字の濁点２２３が「ハ」という文
字と異なるグループにグルーピングされたためである。

【０３７８】このように、ステップＳ９の同色グループ
抽出処理では、抽出対象となる文字列のうち、局所的な
部分の色同士が比較されるので、抽出対象となる文字列
の色が色ずれなどで局所的に変化している場合には、文
字の一部が欠落したりする。

【０３７９】そこで、「ク」という文字の濁点２２２及
び「ハ」という文字の濁点２２３の再抽出を行う場合に
は、既に抽出されている「クローハル化への３つの成功
モデル」という文字列全体を考慮して、その代表色を求
め、この代表色に近い色を有するパターンを原画像から
再抽出する。すなわち、既に抽出されている文字列全体
の代表色を求め、この文字列全体の代表色と抽出対象と
なるパターンの色とを比較することにより、その文字列
の局所的な色の変化の影響を軽減することが可能とな
り、「ク」という文字の濁点２２２及び「ハ」という文
字の濁点２２３を抽出することが可能となる。

【０３８０】また、再抽出を行う際には、再抽出の対象
となるパターンの探索範囲を、外接矩形２２１の範囲に
限定する。この限定を行うことにより、例えば、原画像
からタイトルを構成する文字を抽出する場合、その文字
の探索範囲をタイトル領域のみに限定して文字の再抽出
を行うことが可能となり、抽出処理を高速化することが
可能となる。

【０３８１】さらに、再抽出を行う際の同色かどうかの
判断に用いるしきい値として、実験的に予め定められた
値を用いるのではなく、図２７（ａ）で既に抽出されて
いる「クローハル化への３つの成功モデル」というパタ
ーンの色情報から算出した値を用いるようにする。

【０３８２】この結果、背景色と文字色とが近い場合に
おいても、背景色と文字色との微妙な色の違いを区別す
ることが可能となり、「グローバル化への３つの成功モ
デル」という文字列と近い色の背景ノイズが外接矩形２
２１の範囲内に存在している場合においても、背景ノイ
ズが抽出されることを防止しながら、「ク」という文字
の濁点２２２及び「ハ」という文字の濁点２２３を抽出
することが可能となる。

【０３８３】なお、「グローバル化への３つの成功モデ
ル」という文字列の色と背景ノイズの色とが完全に同一
である場合には、これらのノイズが抽出されることを防
止できないが、再抽出されたパターンのうち微小なもの
をノイズとみなして除去することにより、ノイズを減ら
すことができる。

【０３８４】具体的には、以下の処理を行う。

【０３８５】ａ）グループ内の矩形について保存されて
いる代表色情報をグループ内の矩形全てについて平均
し、グループの代表色（Ｒｍ，Ｇｍ，Ｂｍ）を求める。
また、グループ内のＲＧＢの分散（Ｖｒ，Ｖｇ，Ｖｂ）
を求め、その分散から、グループの標準偏差を以下の式
で求める。

【０３８６】ｄｅｖ＝ｓｑｒｔ（ｓｑｒｔ（Ｖｒ＊Ｖｒ
＋Ｖｇ＊Ｖｇ＋Ｖｂ＊Ｖｂ））ｂ）グループ内の矩形サイズの最頻度を幅と高さについ
て求め、それぞれｍｆｗ，ｍｆｈとする。その幅と高さ
が、最小矩形サイズのしきい値ｍｉｎｓｉｚｅ（＝２）
より大きな場合には、それぞれｍｉｎｓｉｚｅで置き換
える。

【０３８７】ｃ）グループの外接矩形を求め、その外接
矩形の大きさの２値画像を作成する。２値画像の値は、
全て０としておく。

【０３８８】ｄ）グループの範囲内で原画像の画素の色
を調べ、原画像の画素の色（Ｒ，Ｇ，Ｂ）とグループの
代表色（Ｒｍ，Ｇｍ，Ｂｍ）との関係が、｜Ｒｍ，−Ｒ｜＋｜Ｇｍ−Ｇ｜＋｜Ｂｍ−Ｂ｜＜ｋ×ｄｅｖ（ｋ＝５）を満足する画素の位置を記録し、２値画像のその位置の
画素を１にする。

【０３８９】ｅ）２値画像の中から、グループ内の矩形
を構成する。このグループ内の矩形から既に抽出されて
いるパターンを除去し、２値画像のパターンを、グルー
プの代表色に近い色であり、かつ、これまでの処理で漏
れていたパターンだけにする。

【０３９０】ｆ）この２値画像に対して、２値画像用の
ラベリングを行い、連結領域の外接矩形を求める。

【０３９１】ｇ）外接矩形の幅ｗ及び高さｈが、ｗ＞ｍｆｗ／２かつｈ＞ｍｆｈ／２を満足する矩形だけを残し、他の矩形を削除する。

【０３９２】ｈ）残った矩形に含まれる連結成分のパタ
ーンをグループに追加する。

【０３９３】次に、グループの出力順位決定処理を行う
（ステップＳ２３）。

【０３９４】このグループの出力順位決定処理では、文
字列を含んでいるグループが複数抽出された場合、グル
ープの外接矩形から面積を計算して、全画像中のグルー
プの面積の大きい順にグループをソートして、このソー
トした結果を出力順序とする。

【０３９５】次に、２値パターン生成処理を行う（ステ
ップＳ２４）。

【０３９６】この２値パターン生成処理では、グループ
を構成するパターンを文字認識できるような２値画像と
して作成する。

【０３９７】具体的には、以下のａ）〜ｃ）の処理を行
う。

【０３９８】ａ）グループの外接矩形サイズの２値画像
を作成し、その値を全て０に設定する。

【０３９９】ｂ）グループ内の矩形のラベル番号を抽出
し、対応する矩形領域の内部でラベル画像を探索し、そ
のラベル番号の画素を抽出し、２値画像上でその座標の
画素を１とする。

【０４００】ｃ）ｂ）の処理を全ての矩形について行
い、グループを構成するパターンを２値画像上に作成す
る。

【０４０１】図４のステップＳ３で、入力画像がフルカ
ラー画像でないと判定された場合には、クラスタリング
処理を行う（ステップＳ２５）。

【０４０２】クラスタリング処理では、ＲＧＢ画像の画
素をＲＧＢ空間上、またはＲＧＢ以外の色空間（ＨＳＶ
等）上でクラスタリングを行い、１つのクラスタに属す
る画素だけで色ごとの画像を作成する。

【０４０３】ここで、フルカラー画像以外の画像につい
てクラスタリング処理を行うのは、フルカラー（例え
ば、１６６７万色）画像に用いたラベリング方法を、フ
ルカラー以外（例えば、２５６色）の画像に適応する
と、同色領域に細かい領域が多数発生し、その後の処理
時間がフルカラー画像を処理する場合に比べて大幅に増
大したり、文字パターンの抽出精度が低下したりするか
らである。

【０４０４】これは、例えば、２５６色画像は、フルカ
ラー画像を色のクラスタリングにより減色したものと考
えられ、フルカラー画像では異なった色として表現され
ている領域が、２５６色画像では同一色の領域として表
現されるからである。すなわち、フルカラー画像では１
６６７万色を区別する必要があるため、同一色とみなす
色の変動の範囲を小さくする必要があるが、２５６色画
像では２５６色を区別するだけでよく、同一色とみなす
色の変動の範囲がある程度大きくてもよい。このため、
フルカラー画像に適用されるラベリング方法を、２５６
色画像の適用すると、２５６色画像では同一色として表
現されている領域が異なった色で構成されていると判断
され、同色領域に細かい領域が多数発生することにな
る。

【０４０５】そこで、フルカラー画像以外の画像につい
て、画像の色パレットを対象にクラスタリング処理を行
い、そのクラスタリング結果を用いてラベリングを行う
ようにする。

【０４０６】また、画像の色分布をクラスタリングし、
そのクラスタリング結果を用いてラベリングを行うよう
にすることもできる。

【０４０７】また、フルカラー画像以外のラベリングを
行う場合に、クラスタリングと領域拡張法ラベリングを
組み合わせた手法を使用することもできる。

【０４０８】クラスタリング結果として、１つのクラス
タ当たり以下のような情報を得ることができる。

【０４０９】・クラスタ番号・クラスタに含まれる色パレットの個数・クラスタに含まれる元の画像の色パレット番号・クラスタの平均色（Ｒ，Ｇ，Ｂ）クラスタリング手法として、例えば、クラスタ中心間の
シティブロック距離を距離尺度に使った階層的クラスタ
リングを用いることができる。なお、距離の尺度を、ユ
ークリッド距離、重み付きユークリッド距離、またはマ
ハラノビス距離などにより定義することもできる。

【０４１０】また、クラスタ間の距離を測る方法とし
て、最短距離法、最長距離法、メジアン法、重心法、群
平均法、またはウォード法などを用いることができる。

【０４１１】また、クラスタリングの終了条件として、
例えば、クラスタ中心間の距離の最小値が予め定めたし
きい値より小さくなった時に、クラスタリングを終了さ
せることができる。

【０４１２】画像の色分布をクラスタリングする場合、
クラスタリングに使用するベクトルは、画像の色パレッ
ト（Ｒｉ，Ｇｉ，Ｂｉ）（ｉ＝１〜２５５など）であ
る。

【０４１３】この色パレットのベクトルを使用して階層
的クラスタリングを行う場合、色差の尺度としてクラス
タ間の距離を求め、クラスタ間の距離が小さいクラスタ
同士を統合する。

【０４１４】なお、２つの色（Ｒ１，Ｇ１，Ｂ１）、
（Ｒ２，Ｇ２，Ｂ２）の間の距離ｄｉｓｔを、シティブ
ロック距離で定義した場合、以下の式で表すことができ
る。

【０４１５】ｄｉｓｔ＝｜Ｒ１−Ｒ２｜＋｜Ｇ１−Ｇ２
｜＋｜Ｂ１−Ｂ２｜ここで、デバイスによる色の違いの識別能力と人間によ
る色の違いの識別能力とは異なっており、例えば、色空
間上での距離値が同じ値を示す色であっても、黒（また
は白）に近い２つの色は、赤などの高彩度の２つの色な
どに比べて、人間が見た時の色の識別能力が低い。

【０４１６】すなわち、黒に近い２つの色は、色空間上
での距離値が離れていても、人間の目にはその２つの色
を区別できず、その２つの色が同一色に見えてしまう。

【０４１７】一方、赤に近い２つの色は、色空間上での
距離値がある程度近くても、人間の目にはその２つの色
を区別でき、その２つの赤色を異なった色と見ることが
できる。

【０４１８】そこで、クラスタリングに先立って、低彩
度色（黒、または白に近い色）の２色間の距離値を高彩
度色の２色間の距離値よりも小さくするための色変換を
行う。この色変換により、全ての輝度値の値について、
０から２５５までの輝度値の差分を同じ評価基準で判断
することができる。

【０４１９】図２８は、本発明の一実施例に係わる色信
号の変換方法を説明する図である。

【０４２０】図２８において、黒および白に近い色で
は、（Ｒ，Ｇ，Ｂ）の色空間上の色差よりも、人間が判
別する色差の方が鈍感である場合が多い。

【０４２１】例えば、人が色の違いを意識する時には、
黒（０，０，０）と黒に近い色（０，０，８０）の色差
（＝８０）は、例えば、赤（２５５，０，０）と赤に近
い色（２５５，５，５）の色差（＝１０）と同程度の感
度である。すなわち、赤系統２つの色は、色差が１０程
度しかなくても、これらの２つの色の違いを認識できる
が、黒系統の２つの色は、色差が８０程度以上にならな
いと、これらの２つの色の違いを認識することができな
い。

【０４２２】このため、黒や白に近い場合には２色間の
色差を圧縮し、それ以外の色の場合には２色間の色差を
拡大するような色変換を行い、全ての色で色差の距離を
同等に評価可能とする。この色変換により得られた色パ
レットをクラスタリングすることにより、人が判断した
場合と同等のクラスタリング結果を得ることが可能とな
る。

【０４２３】なお、色変換を計算により行う場合、以下
の式を用いることができる。

【０４２４】Ｒｎｅｗ＝｛１−ｃｏｓ（Ｒ×π／２５
５）｝×２５５＋Ｒ×４Ｇｎｅｗ＝｛１−ｃｏｓ（Ｇ×π／２５５）｝×２５５
＋Ｇ×４Ｂｎｅｗ＝｛１−ｃｏｓ（Ｂ×π／２５５）｝×２５５
＋Ｂ×４また、人間の識別能力に対応した色の変換関係を実験的
に求め、この実験的に求めた色の変換関係を変換テーブ
ルに予め登録しておくようにしてもよい。

【０４２５】次に、クラスタリング結果を用いた色ラベ
リング処理を行う（ステップＳ２６）。

【０４２６】このクラスタリング結果を用いた色ラベリ
ング処理では、色パレットのクラスタリング結果から得
られた情報を使用してカラー画像のラベリングを行う。

【０４２７】すなわち、フルカラー以外の画像について
は、その画像を構成する色パレットをクラスタリングを
行い、そのクラスタリング結果をラベリング処理に反映
させる。

【０４２８】一方、フルカラー画像を対象にクラスタリ
ングを行うと、膨大な時間がかかる。また、処理時間を
短縮するために、色空間を適当な区分に分割するなどの
疑似クラスタリングを行うと、精度が悪化する。

【０４２９】そこで、フルカラー画像では、クラスタリ
ングを用いたラベリングを行わず、フルカラー以外の２
５６色などの少数の色数の画像のみに限定してクラスタ
リングを用いたラベリング行う。

【０４３０】図２９は、本発明の一実施例に係わるクラ
スタリング結果を用いた色ラベリング方法を説明する図
である。

【０４３１】図２９において、画素の色パレットのクラ
スタリングにより、色パレットのクラスタが生成され、
各画素の色パレットが属するクラスタの番号が各画素に
与えられているものとする。

【０４３２】例えば、パターン２３１、２３５の色が
赤、パターン２３２、２３４の色が青、パターン２３３
の色が黄であるものとし、赤がクラスタ番号１のクラス
タに分類され、青がクラスタ番号２のクラスタに分類さ
れ、黄がクラスタ番号３のクラスタに分類されたものと
すると、パターン２３１、２３５を構成する各画素には
クラスタ番号１が与えられ、パターン２３２、２３４を
構成する各画素にはクラスタ番号２が与えられ、パター
ン２３３を構成する各画素にはクラスタ番号３が与えら
れる。

【０４３３】クラスタ番号が各画素に与えられると、互
いに隣接する画素同士のクラスタ番号を比較し、互いに
隣接する画素のクラスタ番号が同一である場合、それら
の画素に同一のラベルを与える。

【０４３４】例えば、パターン２３１を構成する画素は
クラスタ番号１の画素で連結しているため、パターン２
３１を構成する画素には、ラベル番号１が与えられる。
一方、パターン２３５を構成する画素のクラスタ番号も
１であるが、パターン２３１とパターン２３５とは連結
していないので、パターン２３５を構成する画素にはラ
ベル番号５が与えられる。

【０４３５】具体的には、以下の処理を行う。

【０４３６】まず、画素のパレット番号からクラスタ番
号を獲得する変換表を作成する。

【０４３７】次に、クラスタ番号に注目した色ラベリン
グ処理を行う。この色ラベリング処理では、隣り合う画
素のクラスタ番号が同じ場合に同一ラベルを与える。

【０４３８】すなわち、縮小画像の左上からラスタスキ
ャンを行い、ラベル付けがされていない画素に注目す
る。

【０４３９】そして、この未処理の画素の周囲８画素を
走査して、周囲に既にラベル付けされた画素があり、そ
の画素のクラスタ番号が注目画素のクラスタ番号と同じ
である場合に、周囲画素のラベルをカレントラベル（ｒ
ｅｇｉｏｎ）として保存し、注目画素のラベルとしてｒ
ｅｇｉｏｎを与える。

【０４４０】また、領域の平均色（Ｒｍ，Ｇｍ，Ｂｍ）
として、周囲のラベルの平均色に注目画素の色を加味し
た新たな平均色を求める。

【０４４１】それ以外の場合は、カレントラベルとし
て、今まで付けたラベル値＋１のラベル値を設定し、注
目画素のラベルにもその値を付与する。この場合でも、
領域の平均色（Ｒｍ，Ｇｍ，Ｂｍ）として、注目画素の
ＲＧＢ値を設定する。

【０４４２】どちらの場合でも、注目画素の座標値を処
理対象座標配列に保存する。

【０４４３】注目画素の周りに同色領域を拡張する処理
を行う。処理対象配列の中から、先頭の座標値を取り出
し、その座標の画素を注目画素とする。

【０４４４】注目画素の市有為８画素を走査し、未処理
の画素であり、注目画素のクラスタ番号と周囲画素のク
ラスタ番号が同一である場合、注目画素と同一ラベルを
付け、周囲画素の座標を処理対象配列に追加する。今処
理した注目画素は、処理対象配列から削除する。処理座
標のｘ，ｙの最大値、最小値を求め、それをこのラベル
領域の外接矩形として保存する。また、このラベル領域
の平均色を外接矩形の属性として保存する。

【０４４５】この処理を処理対象配列の内容がなくなる
まで続ける。

【０４４６】ラベリングの結果、ラベル画像（同一領域
は、同じラベル値が付与されている画像）と同じラベル
を持つ領域を囲む外接矩形が獲得される。

【０４４７】ラベリング処理の出力情報は、以下のよう
になる。

【０４４８】・ラベル画像：４バイト／１画素・外接矩形矩形数：ｍａｘｃｏｕｎｔ内包するラベル画像のラベル番号：ｌａｂｅｌ矩形左上座標：（ｘｍｉｎ，ｙｍｉｎ）矩形右上座標：（ｘｍａｘ，ｙｍａｘ）矩形内の代表色：（ｒ，ｇ，ｂ）所属するグループ番号：ｓｔｒｉｎｇ＿ｌａｂｅｌ輪郭長：ｃｏｎｔｏｕｒ図３０は、本発明の一実施例に係わるパターン抽出装置
のシステム構成を示すブロック図である。

【０４４９】図３０において、２４１は全体的な処理を
行う中央演算処理ユニット（ＣＰＵ）、２４２はリード
オンリメモリ（ＲＯＭ）、２４３はランダムアクセスメ
モリ（ＲＡＭ）、２４４は通信インターフェイス、２４
５は通信ネットワーク、２４６は入出力インターフェイ
ス、２４７は入力画像やタイトルの抽出結果などを表示
するディスプレイ、２４８は入力画像やタイトルの抽出
結果などを印刷するプリンタ、２４９はスキャナ２５０
またはＣＣＤ２５１により読み取られたデータを一時的
に格納するメモリ、２５０はカラー画像などを読み取る
スキャナ、２５１はカラー画像などを読み取るＣＣＤ、
２５２はキーボード、２５３は記憶媒体を駆動するドラ
イバ、２５４はハードディスク、２５５はＩＣメモリカ
ード、２５６は磁気テープ、２５７はフロッピーディス
ク、２５８はＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの光デ
ィスク、２５９はバスである。

【０４５０】パターン抽出処理を行うプログラム、印刷
モデルを構築するプログラム、色差テーブルなどは、ハ
ードディスク５４、ＩＣメモリカード５５、磁気テープ
５６、フロッピーディスク５７、光ディスク５８などの
記憶媒体に格納される。そして、パターン抽出処理を行
うプログラム及び色差テーブルを、これらの記憶媒体か
らＲＡＭ２４３に読み出すことにより、パターン抽出処
理を行うことができる。また、パターン抽出処理を行う
プログラムなどを、ＲＯＭ２４２に格納しておくことも
できる。また、印刷モデルを構築するプログラムを起動
させることにより、色差テーブルを作成することができ
る。

【０４５１】さらに、パターン抽出処理を行うプログラ
ムや色差テーブルななどを、通信インターフェイス２４
４を介して通信ネットワーク２４５から取り出すことも
できる。通信インターフェイス２４４に接続される通信
ネットワーク２４５は、無線及び有線のいずれでもよ
く、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗ
ｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒ
ｋ）、インターネット、アナログ電話網、デジタル電話
網（ＩＳＤＮ：ＩｎｔｅｇｒａｌＳｅｒｖｉｃｅＤ
ｉｇｉｔａｌＮｅｔｗｏｒｋ）、ＰＨＳ（パーソナル
ハンディシステム）、携帯電話網、衛星通信網などを用
いることができる。

【０４５２】ＣＰＵ２４１は、パターン抽出処理を行う
プログラムが起動されると、スキャナ２５０またはＣＣ
Ｄ２５１により読み取られた入力画像のラベリングを行
うしきい値を設定し、スキャナ２５０またはＣＣＤ２５
１により読み取られた入力画像からラベル画像を生成す
る。ラベル画像が生成されると、入力画像のパターンの
各ラベルごとに、各パターンについての外接矩形を生成
する。そして、各外接矩形内の領域の色情報及び外接矩
形の幾何学情報に基づいて、各外接矩形のグルーピング
を行い、このグルーピングされた外接矩形の配置状態や
大きさなどを考慮して、タイトル領域などを抽出する。
タイトル領域が抽出されると、このタイトル領域に含ま
れているパターンを入力画像のタイトルとしてディスプ
レイ２４７やプリンタ２４８に出力したり、このタイト
ル領域に含まれるパターンの文字認識を行い、その認識
結果に基づいて、文書の自動分類や自動検索を行ったり
する。

【０４５３】以下、上述した処理について、実際のカラ
ー画像を例にとって説明する。なお、以下の説明に用い
るカラー画像は、フルカラー画像を例にとっているが、
フルカラー画像以外のカラー画像についても、色ラベリ
ング処理が異なる以外は同様に処理できる。

【０４５４】図３１（ａ）は、入力された原画像の例を
示す図である。

【０４５５】図３１（ａ）において、この原画像は、８
４７×１１６７画素から構成され、「祝！パソコン２０
年」という文字パターン３０１が黒色で印刷されてい
る。また、この文字パターン３０１の周囲には、色が黒
→オレンジ→黄にかけて少しずつ変化する背景パターン
３０２が存在している。ここで、図３１（ａ）の原画像
から「祝！パソコン２０年」という文字パターン３０１
を抽出するものとする。

【０４５６】図３１（ｂ）は、図３１（ａ）のラベル画
像を示す図である。

【０４５７】図３１（ｂ）において、このラベル画像
は、図４のステップＳ５の色ラベリング処理により得ら
れたものである。この色ラベリング処理により、同色の
連結領域に対して同一ラベルが付され、同一ラベルが付
されたパターンの外接矩形が生成される。

【０４５８】ここで、原画像を３×３画素からなるメッ
シュ領域に分割し、これらのメッシュ領域の中の画素の
色の分散の小さいもの選択することにより、図３１
（ａ）の原画像から均一色領域を抽出する。例えば、図
３１（ａ）の原画像の右上の領域３０３や右下の領域３
０４は黒一色で着色されているので、これらの領域３０
３、３０４が原画像の均一色領域として抽出される。

【０４５９】原画像から均一色領域が抽出されると、こ
の均一色領域の色の分散を求め、この分散に基づいてラ
ベリングのしきい値を設定する。このしきい値をラベリ
ングの際に用いることにより、「祝！パソコン２０年」
という黒色の文字パターン３０１が黒色の背景パターン
３０２で覆われているのもかかわらず、文字パターン３
０１の色と背景パターン３０２の色との微妙な違いを区
別することができ、「祝！パソコン２０年」というパタ
ーン３０１の輪郭を正確に縁取ったラベル画像３１１を
生成することができる。

【０４６０】また、背景パターン３０２の色は微妙に変
化しているため、隣接拡張法によるラベリングでは背景
パターン３０２の色の変動を吸収できず、微小な背景ノ
イズ３１２が多数生成されている。

【０４６１】なお、フルカラー画像の場合、色ラベリン
グ処理により得られる外接矩形の個数は数千〜数万程度
になる。

【０４６２】図３２（ａ）は、図３１（ｂ）のラベル画
像から得られた注目矩形を示す図である。

【０４６３】図３２（ａ）において、この注目矩形は、
図４のステップＳ７の注目矩形抽出処理により得られた
ものである。この注目矩形抽出処理では、図３１（ｂ）
のラベル画像から得られる外接矩形のうち、所定の範囲
内の大きさの外接矩形が注目矩形とされる。このため、
図３１（ｂ）の色ラベリング処理により得られる外接矩
形のうち、矩形番号１〜４１の矩形が注目矩形として抽
出される。

【０４６４】この注目矩形抽出処理により、タイトルを
構成しないことが明らかな微小な背景ノイズ３１２など
の外接矩形を、グルーピングの際の探索範囲の基準とな
る外接矩形から除去することができ、処理を高速化する
ことが可能となる。例えば、図３１（ｂ）の状態では外
接矩形の個数が数千〜数万程度あったものが、図３２
（ａ）の状態では外接矩形の個数を数十個に減らすこと
ができる。

【０４６５】図３２（ｂ）は、グループ抽出結果を示す
図である。

【０４６６】図３２（ｂ）において、このグループ抽出
結果は、図４のステップＳ９の同色グループ抽出処理に
より得られたものである。この同色グループ抽出処理
は、図３１（ｂ）のラベリング処理が終了した段階で
は、タイトルを構成する個々の文字に異なるラベルが付
されているので、タイトルを構成する「祝」、「！」、
「パ」、「ソ」、「コ」、「ン」、「２」、「０」及び
「年」という文字を１つのグループにまとめるために行
われる。

【０４６７】この同色グループ抽出処理により、同一の
グループにグルーピングされた外接矩形を囲む外接矩形
が生成され、矩形番号が１〜１６のグループの外接矩形
が生成される。

【０４６８】ここで、同色グループ抽出処理では、図３
１（ｂ）のラベル画像から得られた外接矩形のうち、図
３２（ａ）で設定された注目矩形から所定の範囲内にあ
り、矩形の色の近いもの同士が同一のグループにグルー
ピングされる。

【０４６９】このため、タイトルを構成する個々の文字
に局所的な色の変動がある場合には、１つのタイトルを
構成する文字であっても、それらの文字が異なるグルー
プに分類される場合がある。例えば、図３１（ａ）の
「祝！パソコン２０年」という文字パターン３０１のう
ち、「コ」という文字の色と「ン」という文字の色とが
局所的に異なっているとすると、「コ」という文字と
「ン」という文字とが異なるグループに分類される。こ
のため、図３２（ｂ）では、「祝！ハソコ」というパタ
ーンと「ン２０年」というパターンとが異なるグループ
に分類され、「祝！ハソコ」というパターンに対応する
グループの外接矩形３２１と、「ン２０年」というパタ
ーンに対応するグループの外接矩形３２２とが生成され
る。

【０４７０】また、外接矩形３２１に対応するグループ
は「祝！ハソコ」というパターンから構成され、「祝！
パソコン２０年」という文字パターン３０１から「ハ」
の半濁点が欠落している。これは、同色グループ抽出処
理では、図３２（ａ）で抽出された注目矩形の色とその
周囲にある矩形の色とが比較され、注目矩形の色とその
周囲にある矩形の色との差が大きい場合には、それらの
矩形は異なるグループに分類されるためである。例え
ば、「ハ」というパターンの色と「ハ」の半濁点の色と
の差が大きい場合には、「ハ」というパターンと「ハ」
の半濁点とは異なるグループに分類され、「ハ」の半濁
点が外接矩形３２１のグループから欠落する。

【０４７１】さらに、同色グループを抽出する際のしき
い値が適切でない時にも、「ハ」の半濁点が外接矩形３
２１に対応するグループから欠落する場合がある。例え
ば、同色とみなす範囲のしきい値が印刷モデルから獲得
した同色パターンの輝度差に基づいて設定されている場
合には、印刷モデルと異なる方法で印刷された画像が入
力されると、対応できなくなる。

【０４７２】なお、図３２（ａ）の注目矩形から所定の
範囲内に、代表色の色の近い他の外接矩形が図３１
（ｂ）のラベル画像から見つからない場合は、その注目
矩形はグループを作らないため、その注目矩形は消滅さ
せる。

【０４７３】図３３（ａ）は、図３２（ｂ）のグループ
抽出結果を文字線太さで再グループ化した結果を示す図
である。

【０４７４】図３３（ａ）において、この再グループ結
果は、図４のステップＳ１１の文字線太さによる再グル
ープ化処理により得られたものである。この処理によ
り、矩形番号が０〜１２のグループの外接矩形が生成さ
れている。なお、図３２（ｂ）の外接矩形のうち、パタ
ーンの線の太さによってグループを作ることができない
ものは消滅させる。

【０４７５】図３３（ｂ）は、図３３（ａ）の画像から
矩形並びによる文字列らしいグループを抽出した結果を
示す図である。

【０４７６】図３３（ｂ）において、この文字列らしい
グループは、図４のステップＳ１９の矩形並びによる文
字列らしいグループの抽出処理により得られたものであ
る。この処理により、図３３（ａ）の矩形番号が０〜１
２のグループのうち、そのグループ内の矩形がランダム
に並んでいるグループは削除され、縦方向または横方向
に矩形が規則正しく並んでいるグループだけが残され
る。この結果、矩形番号が０〜２のグループの外接矩形
３４１〜３４３が抽出される。

【０４７７】ここで、図３３（ｂ）の矩形番号０のグル
ープの外接矩形３４１は、図３３（ａ）の矩形番号３の
グループの外接矩形３３１と矩形番号２のグループの外
接矩形３３２とを統合したものとなっている。これは、
図４のステップＳ１９の処理が行われる前に、図４のス
テップＳ１８のグループ統合処理が行われたためであ
る。

【０４７８】このグループ統合処理では、グループの統
合を行うかどうかの判断がそのグループに属する全ての
パターンの色の平均に基づいて行われる。このため、同
一タイトルに属するにもかかわらず、別々のグループに
属するとされた文字を１つのグループにまとめることが
できる。

【０４７９】例えば、図３２（ｂ）では、「祝！ハソ
コ」というパターンと「ン２０年」というパターンとが
異なるグループに分類され、「祝！ハソコ」というパタ
ーンに対応するグループの外接矩形３２１と、「ン２０
年」というパターンに対応するグループの外接矩形３２
２とが生成されている。これは、図３２（ｂ）の同色グ
ループ抽出処理では、互いに隣接する矩形同士の色の違
いしか判断しないため、図３１（ａ）の「祝！パソコン
２０年」という文字パターン３０１のうち、「コ」とい
う文字の色と「ン」という文字の色とが局所的に異なっ
ているとすると、「コ」という文字と「ン」という文字
とが異なるグループに分類されるからである。

【０４８０】一方、図４のステップＳ１８のグループ統
合処理では、グループの外接矩形３２１内の「祝！ハソ
コ」というパターン全体の色と、グループの外接矩形３
２２内の「ン２０年」というパターン全体の色とが比較
され、これらのグループの色が近い場合は、１つのグル
ープに統合される。このため、図３１（ａ）の「祝！パ
ソコン２０年」という文字パターン３０１のうち、
「コ」という文字の色と「ン」という文字の色とが局所
的に異なっている場合でも、「コ」という文字の色の変
動は「コ」という文字が属する「祝！ハソコ」というパ
ターン全体の色に吸収され、「ン」という文字の色の変
動は「ン」という文字が属する「ン２０年」というパタ
ーン全体の色に吸収される。このため、「祝！ハソコ」
というパターンと「ン２０年」というパターンとを１つ
のグループにまとめることが可能となる。

【０４８１】図３４（ａ）は、図３３（ｂ）のグループ
の外接矩形からそのグループ内のパターンを抽出した結
果を示す図である。

【０４８２】図３４（ａ）において、「祝！ハソコン２
０年」という文字パターン３５１とノイズパターン３５
２とが抽出されている。ここで、「祝！ハソコン２０
年」という文字パターン３５１は、図３３（ｂ）のグル
ープの外接矩形３４１から抽出されたものであり、ノイ
ズパターン３５２は、図３３（ｂ）のグループの外接矩
形３４２から抽出されたものである。なお、図３３
（ｂ）のグループの外接矩形３４３のパターンは、その
パターンについての文字認識を行った結果、ノイズと見
なされ削除されている。

【０４８３】ここまでの処理では、グループの外接矩形
３４１から抽出された文字パターン３５１は、「ハ」の
半濁点が「祝！パソコン２０年」という文字パターン３
０１から欠落したままの状態となっている。そこで、グ
ループの色に近いパターンの再抽出を行う。

【０４８４】図３４（ｂ）は、グループの色に近いパタ
ーンの再抽出結果を示す図である。図３４（ｂ）におい
て、このグループ内パターンは、図４のステップＳ２２
のグループ内同色パターン抽出処理により得られたもの
である。

【０４８５】このグループ内同色パターン抽出処理で
は、図３４（ａ）の「祝！ハソコン２０年」という文字
パターン３５１については、図３３（ｂ）のグループの
外接矩形３４１内に存在する図３１（ａ）の原画像のパ
ターンが探索される。

【０４８６】ここで、グループの外接矩形３４１内に存
在する文字パターン３５１全体の色と、図３３（ｂ）の
グループの外接矩形３４１内に抽出されないで残ってい
る原画像のパターンの色とを比較することにより、同色
パターンの再抽出を行う。

【０４８７】このため、「祝！ハソコン２０年」という
文字パターン３５１全体の色と、「ハ」の半濁点の色と
を比較して、これらのパターンが同色かどうかの判定を
行うことが可能となり、図３１（ｂ）の同色グループ抽
出処理では抽出できなかった「ハ」の半濁点を抽出する
ことが可能となる。

【０４８８】また、同色パターンを再抽出する際の同色
とみなす範囲のしきい値を、既に抽出されている「祝！
ハソコン２０年」という文字パターン３５１の色の変動
に基づいて設定する。

【０４８９】このため、タイトルを構成するパターンと
して既に抽出されている部分の色情報から、タイトルを
構成する残りのパターンを抽出することが可能となり、
同色パターンを抽出する際のしきい値として、抽出対象
となるパターンの色差を忠実に反映した値を用いること
が可能となり、図３１（ｂ）の同色グループ抽出処理で
は抽出できなかった「ハ」の半濁点を抽出することが可
能となる。

【０４９０】この結果、図３４（ａ）の「祝！ハソコン
２０年」という文字パターン３５１に対し、「ハ」の半
濁点を抽出することが可能となり、図３１（ａ）の原画
像の文字パターン３０１に対応する文字パターン３６１
を抽出することが可能となる。

【０４９１】図３５は、図３１（ａ）の画像から抽出さ
れた第１候補のタイトルを示す図である。

【０４９２】図３４（ｂ）の例では、タイトル候補とし
て、２つのパターン３６１、３６２が抽出されているの
で、これらのパターン３６１、３６２に対応する外接矩
形３４１、３４２の面積を計算する。そして、面積の大
きい方のパターンをタイトルの第１候補として提示す
る。この結果、図３５に示すように、図３１（ａ）の原
画像から抽出された「祝！パソコン２０年」という文字
パターン３０１をタイトルの第１候補として提示するこ
とができる。

【０４９３】

【発明の効果】以上説明したように、本発明によれば、
処理対象となるカラー画像の色数に基づいて、画像処理
を使い分けることにより、カラー画像の色数の違いに応
じた最適な画像処理を行うことが可能となり、画像処理
の精度を向上させることが可能となるとともに、画像処
理の高速化も図ることが可能となる。

【０４９４】また、本発明の一態様によれば、処理対象
となるカラー画像の色数に基づいて異なるラベリング方
法を用いることにより、色数の多いカラー画像の色の分
離精度を損ねることなく、色数の少ないカラー画像の同
色領域が微細な領域に分断されることを防止できる。

【０４９５】また、本発明の一態様によれば、フルカラ
ー画像以外のカラー画像を対象として、色パレットのク
ラスタリングを用いたラベリングを行うことにより、同
色領域の色のばらつきが大きい場合でも、同色領域を精
度良く抽出することが可能となる。また、フルカラー画
像を対象として、隣接拡張法を用いたラベリングを行う
ことにより、処理時間を短縮することが可能となるとと
もに、離れた領域の色の影響を受けることなく、同色領
域を抽出することが可能となる。

【０４９６】また、本発明の一態様によれば、ラベリン
グ対象となる画像の読み取り情報に基づいて、ラベリン
グのしきい値を各画像ごとに個別に設定することによ
り、各画像の色の変動を忠実に反映したしきい値を設定
することが可能となり、多種多様なカラー画像が入力さ
れた場合においても、同色領域を精度よく抽出すること
が可能となる。

【０４９７】また、本発明の一態様によれば、処理対象
となる入力画像の局所領域から色差情報を抽出すること
により、その入力画像の実際の色差を忠実に反映したラ
ベリングのしきい値を設定することが可能となり、多種
多様なカラー画像を対象として、同色領域を精度よく抽
出することが可能となる。

【０４９８】また、本発明の一態様によれば、カラー画
像を微細領域に分割し、この微細領域における色の分散
を調べることにより、様々な色が分布しているカラー画
像から同色領域を抽出することが可能となり、同色領域
の実際の色差を算出することが可能となる。

【０４９９】また、本発明の一態様によれば、色の分散
値が予め決められた範囲にある局所領域内の色の標準偏
差に基づいて、ラベリングの際のしきい値を決定するこ
とにより、灰色や中間色などの同色系統の色が文字と背
景とに使われている場合においても、同色系統の色が使
われている文字と背景とを区別して、文字のみを精度良
く抽出することが可能となる。

【０５００】また、本発明の一態様によれば、人間の色
に対する識別特性に対応させて色変換を行うことによ
り、人間の色の識別特性に適合した同色領域の抽出が可
能となる。

【０５０１】また、本発明の一態様によれば、低彩度色
付近の色の色差を縮小することにより、低彩度色付近の
色の色空間上での距離が大きい場合においても、それら
の色を同色として抽出することが可能となるとともに、
高彩度色付近の色の色差を拡大することにより、高彩度
色付近の色の色空間上での距離が小さい場合において
も、それらの色を異なる色として抽出することが可能と
なり、同色と見なす色の範囲を人間の色の識別特性に適
合させることが可能となる。

【０５０２】また、本発明の一態様によれば、カラー画
像の色のクラスタリングを行い、同一のクラスタに属す
る色で連結している領域に同一のラベルを付すことによ
り、カラー画像の色の数を減らしてラベリングを行うこ
とが可能となり、処理を高速化することが可能となると
ともに、ラベリングのしきい値を予め定めておく必要を
なくして、同色領域の抽出精度を向上させることが可能
となる。

【０５０３】また、本発明の一態様によれば、カラー画
像の色成分ごとにそれぞれ独立に読み取り解像度を算出
することにより、ＣＣＤやスキャナなどの読み取り解像
度が色成分ごとに異なる場合や、カラー画像に用いられ
ている色の違いによって肉眼での分解能が異なる場合に
おいても、これらのことを考慮して同色領域を抽出する
ことが可能となり、カラー画像からの同色パターンの抽
出精度を向上させることが可能となる。

【０５０４】また、本発明の一態様によれば、画像が取
りうる全ての色の輝度値に対し、隣接画素間の色差の最
大値を色差テーブルに登録することにより、補間などの
演算を行うことなく、隣接画素間の色差の最大値を色差
テーブルから直接取得することが可能となり、ラベリン
グのしきい値を画像の色の輝度値ごとに高速に求めるこ
とが可能となる。

【０５０５】また、本発明の一態様によれば、画像を所
定の方向へ走査した際のラベル値の変化回数に基づい
て、画像内のパターンの輪郭長を算出することにより、
輪郭長の算出処理を高速化することが可能となる。

【０５０６】また、本発明の一態様によれば、パターン
のエッジを検出して輪郭長を算出する際に、走査方向に
連続するエッジをパターンの輪郭として検出するととも
に、１画素幅のパターンについては、輪郭が２回カウン
トされることを防止することにより、様々な形状のパタ
ーンの輪郭長を１度の走査で正確に算出することが可能
となる。

【０５０７】また、本発明の一態様によれば、同色グル
ープに属するパターンの文字認識を行うことにより、文
字でないパターンを抽出対象から除くことが可能とな
り、文字領域の抽出精度を向上させることが可能とな
る。

【０５０８】また、本発明の一態様によれば、同一グル
ープ内のパターンの太さの頻度分布を求めることによ
り、様々の太さのパターンが混在している場合において
も、同一の太さのパターンのみを同一のグループに分類
することが可能となり、タイトル領域の抽出精度を向上
させることが可能となる。

【０５０９】また、本発明の一態様によれば、外接矩形
同士の形状、大きさまたは位置関係がタイトル領域とし
て適切な場合には、外接矩形内のパターンの色が異なっ
ていても、同一のグループに分類することにより、タイ
トルを構成する文字に異なる色の文字が混在している場
合においても、タイトル領域を精度良く抽出することが
可能となる。

【０５１０】また、本発明の一態様によれば、抽出対象
のパターンではないと予め判っているものを、処理対象
から除外することにより、同色パターンの抽出精度を向
上させることが可能となる。

【０５１１】また、本発明の一態様によれば、Ｌ字形ま
たはコ字形のパターンを処理対象から除外することによ
り、背景の隅の部分が抽出対象の文字と同色の領域とし
て抽出された場合においても、背景の隅の部分が抽出対
象の文字と統合されることを防止することが可能とな
り、タイトル領域を精度良く抽出することが可能とな
る。

【０５１２】また、本発明の一態様によれば、抽出対象
として既に抽出されている領域の全体の色を考慮して、
外接矩形のグルーピングを行うことにより、外接矩形内
のパターンの色が徐々に変化する場合においても、抽出
対象となる領域の色と異なる色の領域が同一グループに
分類されることを防止することが可能となる。

【０５１３】また、本発明の一態様によれば、抽出され
たパターンの色情報に基づいて、同色かどうかを判定す
るしきい値を設定することにより、同一画像内におい
て、背景パターンの同色の範囲と文字パターンの同色の
範囲が異なる場合においても、文字パターンの色の変動
を忠実に反映したしきい値を設定することが可能とな
り、文字パターンのみを精度良く抽出することが可能と
なる。

【０５１４】また、本発明の一態様によれば、局所的に
見た時に色の変動がある場合においても、全体的に見た
時に同色となっている場合には、そのパターンを同色領
域として抽出することにより、印刷むらがある画像から
タイトルを抽出する場合などにおいても、タイトルを構
成するパターンの一部が欠落することを防止することが
可能となり、タイトルを精度良く抽出することが可能と
なる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係わる画像処理装置の構
成を示すブロック図である。

【図２】本発明の第２実施例に係わる画像処理装置の構
成を示すブロック図である。

【図３】本発明の第３実施例に係わる画像処理装置の構
成を示すブロック図である。

【図４】本発明の第４実施例に係わるパターン抽出装置
の動作を示すフローチャートである。

【図５】本発明の一実施例に係わる印刷モデルの生成方
法を示す図である。

【図６】本発明の一実施例に係わる色差テーブルの構成
を示す図である。

【図７】本発明の一実施例に係わる読み取り解像度推定
方法を説明する図である。

【図８】本発明の一実施例に係わる色ラベリング処理を
説明する図である。

【図９】本発明の一実施例に係わる注目画素の周囲の８
画素を示す図である。

【図１０】本発明の一実施例に係わるＬ字形パターンが
存在する場合の重なり統合結果を示す図である。

【図１１】本発明の一実施例に係わる注目矩形の周囲の
探索範囲の設定方法を説明する図である。

【図１２】本発明の一実施例に係わる注目矩形の周囲の
探索範囲にかかる矩形の抽出方法を説明する図である。

【図１３】本発明の一実施例に係わる注目矩形の周囲の
探索範囲にかかる矩形情報の格納方法を説明する図であ
る。

【図１４】本発明の一実施例に係わる同色グループの生
成方法を示す図である。

【図１５】本発明の一実施例に係わる文字線の太さの算
出方法を説明する図である。

【図１６】本発明の一実施例に係わる輪郭長獲得処理を
示すフローチャートである。

【図１７】本発明の一実施例に係わる輪郭長獲得方法を
説明するためのパターンの具体例を示す図である。

【図１８】本発明の一実施例に係わる文字線の太さによ
る再グルーピング処理を説明する図である。

【図１９】本発明の一実施例に係わるグループ内の大き
な矩形削除処理を説明する図である。

【図２０】本発明の一実施例に係わるグループ内の重な
り矩形統合処理を説明する図である。

【図２１】本発明の一実施例に係わるグループ内文字列
抽出処理を説明する図である。

【図２２】本発明の一実施例に係わる文字列内分離文字
統合処理を説明する図である。

【図２３】本発明の一実施例に係わるグループ内の文字
列サイズによる再グループ化処理を説明する図である。

【図２４】本発明の一実施例に係わるグループ統合処理
を説明する図である。

【図２５】本発明の一実施例に係わる矩形並びによる文
字列らしいグループの抽出処理を説明する図である。

【図２６】本発明の一実施例に係わるノイズグループの
削除処理を説明する図である。

【図２７】本発明の一実施例に係わるグループ内同色パ
ターン抽出処理を説明する図である。

【図２８】本発明の一実施例に係わる色信号の変換方法
を説明する図である。

【図２９】本発明の一実施例に係わるクラスタリング結
果を用いた色ラベリング方法を説明する図である。

【図３０】本発明の一実施例に係わるパターン抽出装置
のシステム構成を示すブロック図である。

【図３１】（ａ）は、本発明の一実施例に係わる原画像
を示す図、（ｂ）は、図３１（ａ）のラベル画像を示す
図である。

【図３２】（ａ）は、図３１（ｂ）のラベル画像に設定
された注目矩形を示す図、（ｂ）はグループ抽出結果を
示す図である。

【図３３】（ａ）は、図３２（ｂ）のグループ抽出結果
を文字線太さで再グループ化した結果を示す図、（ｂ）
は、図３２（ａ）の画像から矩形並びによる文字列らし
いグループを抽出した結果を示す図である。

【図３４】（ａ）は、図３３（ｂ）の画像からグループ
内パターンを抽出した結果を示す図、（ｂ）は、グルー
プ色に近いパターンの再抽出を行った結果を示す図であ
る。

【図３５】図３１（ａ）の画像から抽出された第１候補
のタイトルのパターンを示す図である。

【符号の説明】

１入力画像２読み取り情報取得手段３同色範囲設定手段４ラベリング手段５グルーピング手段６グループ情報算出手段７色数判別手段８制御手段９第１のラベリング手段１０第２のラベリング手段１４画像処理装置１５局所領域抽出手段１６色差情報抽出手段１７しきい値設定手段２４１ＣＰＵ２４２ＲＯＭ２４３ＲＡＭ２４４通信インターフェース２４５通信ネットワーク２４６入出力インターフェース２４７ディスプレイ２４８プリンタ２４９メモリ２５０スキャナ２５１ＣＣＤ２５２キーボード２５３ドライバ２５４ハードディスク２５５ＩＣメモリカード２５６磁気テープ２５７フロッピーディスク２５８光ディスク２５９バス

Claims

【特許請求の範囲】

【請求項１】第１の画像処理を行う第１の画像処理手
段と、第２の画像処理を行う第２の画像処理手段と、処理対象となるカラー画像の色数に基づいて、前記第１
の画像処理と前記第２の画像処理とを使い分ける制御手
段とを備えることを特徴とする画像処理装置。
【請求項２】カラー画像の色数を判別する色数判別手
段と、第１のラベリング方法によりラベリングを行う第１のラ
ベリング手段と、第２のラベリング方法によりラベリングを行う第２のラ
ベリング手段と、前記カラー画像の色数に基づいて、前記第１のラベリン
グ手段または前記第２のラベリング手段にラベリングを
行わせる制御手段とを備えることを特徴とする画像処理
装置。
【請求項３】前記第１のラベリング手段は、フルカラ
ー画像以外のカラー画像を対象として、色パレットのク
ラスタリングを用いたラベリングを行い、前記第２のラベリング手段は、フルカラー画像を対象と
して、隣接拡張法を用いたラベリングを行うことを特徴
とする請求項２に記載の画像処理装置。
【請求項４】入力画像の読み取り情報を取得する読み
取り情報取得手段と、前記入力画像の読み取り情報に基づいて、前記入力画像
の同一とみなす色の範囲を設定する同色範囲設定手段
と、前記同色範囲設定手段で設定された色の範囲の連結画素
に同一ラベルを付すことにより、前記入力画像のラベリ
ングを行うラベリング手段とを備えることを特徴とする
画像処理装置。
【請求項５】前記入力画像の読み取り情報は、前記入
力画像の色数、読み取り解像度、輝度値、彩度、隣接画
素間の色差、または色の分散の少なくとも１つからなる
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】前記ラベリング手段は、前記入力画像の
読み取り情報に基づいて、ラベリング方法を変更するこ
とを特徴とする請求項４または５に記載の画像処理装
置。
【請求項７】前記ラベリング手段は、領域拡張法を用
いたラベリング、または画像の色分布のクラスタリング
を用いたラベリングを行うことを特徴とする請求項６に
記載の画像処理装置。
【請求項８】前記ラベリング手段は、カラー画像の類
似色同士を同一のクラスタに分類するクラスタリング手
段を備え、同一のクラスタに属する色で連結している画素に同一の
ラベルを付与することを特徴とする請求項４〜７のいず
れか１項に記載の画像処理装置。
【請求項９】前記読み取り情報取得手段は、前記入力画像から局所領域を抽出する局所領域抽出手段
と、前記局所領域から前記入力画像の色差情報を抽出する色
差情報抽出手段とを備え、前記同色範囲設定手段は、前記色差情報に基づいて、前
記入力画像のラベリングのしきい値を設定するしきい値
設定手段を備えることを特徴とする請求項４〜８のいず
れか１項に記載の画像処理装置。
【請求項１０】前記局所領域抽出手段は、前記入力画
像を分割したメッシュ領域のうち、色の分散値が予め決
められた範囲にあるメッシュ領域を抽出するメッシュ領
域抽出手段を備え、前記色差情報抽出手段は、前記抽出されたメッシュ領域
内の色の標準偏差を算出する標準偏差算出手段を備え、前記しきい値設定手段は、前記メッシュ領域ごとに求め
られた標準偏差の平均値に基づいて、ラベリングのしき
い値を設定することを特徴とする請求項９に記載の画像
処理装置。
【請求項１１】前記ラベリング手段は、同一のラベルが付与されている連結領域の平均色を算出
する平均色算出手段と、前記連結領域の平均色と前記連結領域に隣接する画素の
色との間の色差を算出する色差算出手段とを備え、前記色差が前記しきい値以下の場合に、前記画素に前記
連結領域と同一のラベルを付与することを特徴とする請
求項９または１０に記載の画像処理装置。
【請求項１２】前記同色範囲設定手段は、第１の色に
対する肉眼での色差の分解能と第２の色に対する肉眼で
の色差の分解能とが一致するように、色信号の色変換を
行う色変換手段を備えることを特徴とする請求項４〜１
１のいずれか１項に記載の画像処理装置。
【請求項１３】前記色変換手段は、低彩度色付近の色
の色差を縮小し、高彩度色付近の色の色差を拡大するこ
とを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】前記読み取り情報取得手段は、カラー
画像の読み取り解像度を各色成分ごとに算出する解像度
算出手段を備え、前記同色範囲設定手段は、各色成分ごとの読み取り解像
度に基づいて、ラベリングのしきい値を設定することを
特徴とする請求項４〜１３のいずれか１項に記載の画像
処理装置。
【請求項１５】前記ラベリング手段により生成された
ラベルパターンのグルーピングを行うグルーピング手段
を備えることを特徴とする請求項４〜１４のいずれか１
項に記載の画像処理装置。
【請求項１６】前記グルーピング手段は、特定の形状
のパターンを設定するパターン設定手段を備え、前記特定の形状のパターンをグルーピング対象から除外
することを特徴とする請求項１５に記載の画像処理装
置。
【請求項１７】前記特定の形状は、Ｌ字形またはコ字
形であることを特徴とする請求項１６に記載の画像処理
装置。
【請求項１８】前記グルーピング手段は、グルーピン
グの対象となるパターンの探索範囲を設定する探索範囲
設定手段を備えることを特徴とする請求項１５〜１７の
いずれか１項に記載の画像処理装置。
【請求項１９】前記グルーピング手段は、前記同色範
囲設定手段で設定された同一色の範囲のパターンを同一
グループにグルーピングすることを特徴とする請求項１
５〜１８のいずれか１項に記載の画像処理装置。
【請求項２０】前記パターンの色は、同一ラベルが付
されている画素の色の平均値であることを特徴とする請
求項１９に記載の画像処理装置。
【請求項２１】前記グルーピング手段は、同一ラベル
が付されているパターンの外接矩形を生成する外接矩形
生成手段を備え、前記外接矩形の大きさ、形状または位置に基づいて、グ
ルーピングを行うことを特徴とする請求項１５〜２０の
いずれか１項に記載の画像処理装置。
【請求項２２】前記グルーピング手段は、同一ラベルが付されているパターンの太さを算出する太
さ算出手段を備え、前記パターンの太さに基づいて、グルーピングを行うこ
とを特徴とする請求項１５〜２１のいずれか１項に記載
の画像処理装置。
【請求項２３】前記太さ算出手段は、画像を所定の方向へ走査する走査手段と、前記走査の際のラベル値の変化回数に基づいて、前記画
像内のパターンの輪郭長を算出する輪郭長算出手段とを
備えることを特徴とする請求項２２に記載の画像処理装
置。
【請求項２４】同一グループに分類されているパター
ンの画像情報に基づいて、グループの画像情報を算出す
るグループ情報算出手段を備え、前記グルーピング手段は、前記グループの画像情報に基
づいてパターンのグルーピングを行うことを特徴とする
請求項１５〜２３のいずれか１項に記載の画像処理装
置。
【請求項２５】前記グループ情報算出手段は、同一グ
ループに分類されているパターンの色情報に基づいて、
グループの色情報を算出する色情報算出手段を備えるこ
とを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】前記グループの色情報は、同一グルー
プに属するパターンの色の平均値であることを特徴とす
る請求項２５に記載の画像処理装置。
【請求項２７】前記グループ情報算出手段は、同一グ
ループに分類されているパターンの色情報に基づいて、
グルーピングのしきい値を算出することを特徴とする請
求項２５または２６に記載の画像処理装置。
【請求項２８】前記グルーピング手段は、前記グルー
プの色情報とグルーピング対象となるパターンの色情報
との比較結果に基づいて、パターンのグルーピングを行
うことを特徴とする請求項２５〜２７のいずれか１項に
記載の画像処理装置。
【請求項２９】前記グルーピング手段は、グループの
色情報の比較結果に基づいて、グループの統合を行うこ
とを特徴とする請求項２５〜２８のいずれか１項に記載
の画像処理装置。
【請求項３０】前記グループ情報算出手段は、同一グループに属するパターン全体の外接矩形を生成す
るグループ矩形生成手段と、前記グループの外接矩形の形状、大きさ、または位置を
算出する幾何学情報算出手段とを備え、前記グルーピング手段は、前記グループの外接矩形の形
状、大きさ、または位置に基づいて、グループの統合を
行うことを特徴とする請求項２４〜２９のいずれか１項
に記載の画像処理装置。
【請求項３１】前記グループ情報算出手段は、同一グループ内のパターンの太さの頻度分布を生成する
頻度分布生成手段と、前記太さの頻度分布に基づいて、パターンの太さの同一
とみなす範囲を設定する同一太さ設定手段とを備え、前記グルーピング手段は、前記同一太さ設定手段により
設定されたパターンの太さに基づいて、同一グループに
属するパターンの再分類を行うことを特徴とする請求項
２４〜３０のいずれか１項に記載の画像処理装置。
【請求項３２】前記グループ情報算出手段は、同一グ
ループに属するパターンの文字認識を行う文字認識手段
を備え、前記グルーピング手段は、前記文字認識結果に基づい
て、同一グループに属するパターンの再分類を行うこと
を特徴とする請求項２４〜３１のいずれか１項に記載の
画像処理装置。
【請求項３３】前記同色範囲設定手段は、同一グルー
プに分類されているパターンの色情報に基づいて、ラベ
リングのしきい値を算出することを特徴とする請求項２
５〜３２のいずれか１項に記載の画像処理装置。
【請求項３４】前記ラベリング手段は、グループの色
情報と前記グループの外接矩形の範囲内の画素の色情報
との比較結果に基づいて、前記グループに属するパター
ンの再抽出を行うことを特徴とする請求項２５〜３３の
いずれか１項に記載の画像処理装置。
【請求項３５】色の輝度値及び読み取り解像度を変数
として、隣接画素間の色差の最大値を格納する色差テー
ブルと、入力画像から得られる隣接画素間の色差と前記色差テー
ブルに格納されている色差とが最もよく一致する読み取
り解像度を、３原色のそれぞれに対し個別に取得する解
像度取得手段と、前記３原色の読み取り解像度に基づいて、前記入力画像
の読み取り解像度を算出する解像度算出手段と、前記入力画像の読み取り解像度に対応する色差を、前記
色差テーブルから取得する色差取得手段と、前記色差テーブルから取得した色差に基づいて、ラベリ
ングのしきい値を設定するしきい値設定手段と、前記しきい値に基づいて、前記入力画像のラベリングを
行うラベリング手段とを備えることを特徴とする画像処
理装置。
【請求項３６】前記色差テーブルは、画像が取りうる
全ての色の輝度値に対し、隣接画素間の色差の最大値が
登録されたものであることを特徴とする請求項３５に記
載の画像処理装置。
【請求項３７】画像を所定の方向へ走査する走査手段
と、走査方向に対し、第１のラベル以外の画素から前記第１
のラベルに変化する画素数を計数する第１の計数手段
と、前記走査方向に対し、前記第１のラベルが付された画素
が２画素以上続いた後に、前記第１のラベルから前記第
１のラベル以外の画素に変化する画素数を計数する第２
の計数手段と、前記第１のラベルが付された画素のうち、前記走査方向
の隣接画素の両方が前記第１のラベルであり、かつ、前
記走査方向と垂直方向の隣接画素の少なくとも一方が前
記第１のラベル以外である画素数を計数する第３の計数
手段とを備えることを特徴とする画像処理装置。
【請求項３８】予め定められた第１のしきい値と入力
画像の色情報とを比較することにより、前記入力画像か
ら同色領域を抽出する同色領域抽出手段と、前記同色領域の色情報に基づいて、第２のしきい値を算
出するしきい値算出手段と、前記第２のしきい値と前記入力画像の色情報とを比較す
ることにより、前記入力画像からの同色領域の再抽出を
行う同色領域再抽出手段とを備えることを特徴とする画
像処理装置。
【請求項３９】色に対する人間の識別特性を考慮し
て、カラー画像から同色領域を抽出するしきい値を設定
することを特徴とするパターン抽出方法。
【請求項４０】肉眼による分解能の低い色に対して
は、同色とみなす色差のしきい値を大きくし、肉眼によ
る分解能の高い色に対しては、同色とみなす色差のしき
い値を小さくすることを特徴とする請求項３９に記載の
パターン抽出方法。
【請求項４１】入力画像から同色パターンの一部を抽
出するステップと、前記入力画像から抽出された同色パターンの色情報に基
づいて、同色の範囲を定めるしきい値を設定するステッ
プと、前記しきい値に基づいて、前記同色パターンの残りの部
分を抽出するステップとを備えることを特徴とするパタ
ーン抽出方法。
【請求項４２】カラー画像の読み取り解像度を各色成
分ごとに算出するステップと、各色成分ごとの読み取り解像度に基づいて、前記カラー
画像のラベリングのしきい値を設定するステップとを備
えることを特徴とするラベリングのしきい値設定方法。
【請求項４３】画像を所定の方向へ走査するステップ
と、前記走査の際のラベル値の変化回数に基づいて、前記画
像内のパターンの輪郭長を算出するステップとを備える
ことを特徴とする輪郭長獲得方法。
【請求項４４】画像を読み取る際の色の輝度値に対応
した隣接画素との色差の最大値を、読み取り解像度ごと
に登録したデータ構造を備えることを特徴とするコンピ
ュータ読み取り可能な記憶媒体。
【請求項４５】カラー画像の色数に基づいて、異なる
ラベリング方法によりラベリングを行う機能を実行する
プログラムを格納したコンピュータ読み取り可能な記憶
媒体。
【請求項４６】入力画像の読み取り情報を取得するス
テップと、前記入力画像の読み取り情報に基づいて、前記入力画像
のラベリングのしきい値を設定するステップと、前記しきい値を用いることにより、前記入力画像のラベ
リングを行うステップと、前記ラベリングにより得られたラベルパターンのグルー
ピングを行うステップと、同一グループ内のパターンの画像情報に基づいて、グル
ープの画像情報を取得するステップと、前記グループの画像情報に基づいて、パターン抽出を行
うステップとを実行するプログラムを格納したコンピュ
ータ読み取り可能な記憶媒体。