JP2005275854A - 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 - Google Patents

Abstract

【課題】
文書画像のテキスト部分（小さい文字）について、もとの低解像度の多値画像を高解像度の２値画像に変換し、さらに文字の色を正確に再現して効率的に高解像度の高精細画像を生成する。
【解決手段】
画像処理装置１は、取得した原デジタル画像から文字を抽出する文字抽出手段１１と、文字抽出手段により抽出した各文字について原デジタル画像ＯＧよりも高い解像度の２値画像を生成する高解像度２値画像生成手段１２と、文字抽出手段により抽出した各文字について文字色を抽出する文字色抽出手段１３と、文字抽出手段により抽出した各文字の平均色と、最も暗い色とから文字の輪郭色を決定する文字輪郭色決定手段１４と、原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成手段１５とを備えている。
【選択図】 図１

Description

本発明は、スキャナ、デジタルカメラ等の画像入力機器により取り込んだ文書、図面の画像から、文字・線図を正確にまたは改善して再現した画像を作成することができる画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体に関する。

近年、カラースキャナ、カラーデジタルカメラ（カラーデジタルカメラ付きの携帯型電話機を含む）等のカラー情報入力機器が広く普及している。カラースキャナでは、たとえば解像度４００ｄｐｉ、２５６階調で原稿画像を読み取る場合には、処理するべきデータ量が増化し、読み取りに時間がかかる等の不都合がある。また、カラーデジタルカメラでは、たとえば解像度４００ｄｐｉで撮影するとメモリに記憶できる画像数が少なくなるといった不都合がある。

一般に、カラー画像では、たとえば２００ｄｐｉ程度であっても、ディスプレイに表示する場合に画質が劣って見えることはない。このため、この種のカラー情報入力機器では、カラーの文書、図面、地図等を、２００ｄｐｉ程度の解像度で取得し（すなわち読み取りまたは撮影し）、所定フォーマット（ＴＩＦ、ＪＰＥＧ、ＧＩＦ等）のイメージファイルとして他の装置に送信等している。

ところで、カラービットマップ画像に、写真、絵等のほか、文字・線図が含まれている場合において、これら文字・線図を正確にまたは改善して認識したい場合が生じることがある。たとえば、あるユーザは、カラービットマップ画像に描かれている文字・線図を、高解像度で印刷出力し、ディスプレイに表示し、またはグラフィックツール（画像加工ができるソフトウェア）により加工したい場合がある。あるいは、あるユーザは、カラービットマップ画像に描かれている文字列を文字認識装置によりコード化し、ワードプロセッサにより編集可能な文字列として編集等したい場合がある。

ところが、カラーの印刷文書、図面、地図等が２００ｄｐｉ程度の解像度で作成されている場合に、画像に含まれる文字・線図が小さいと（たとえば、３ミリ四方程度であると）、当該画像をディスプレイに表示出力したときや、印刷出力したときに文字・線図の視認性が低下するし、また、画像に含まれ文字・線図をＯＣＲ等の画像認識装置により認識する場合、文字・線図が正しく認識ができないことがある。

モノクロ画像からなる文書、図面、地図等は２００ｄｐｉ程度の解像度では、たとえばディスプレイに表示したときに画質が劣って見える。このため、モノクロ画像からなる文書等は、通常は、解像度４００ｄｐｉ以上の解像度で作成される。すなわち、モノクロスキャナでは（あるいは、カラースキャナのモノクロ読み取りモードでは）、４００ｄｐｉ程度の解像度で、文書、図面、地図等を読み取り、２値画像として画像処理装置（コンピュータ等）に渡すことができる。また、デジタルカメラでは、モノクロで撮影した場合には、撮影画像のデータ量は、カラーで撮影した場合のデータ量に比べて圧倒的に小さいので、撮影画像は４００ｄｐｉ程度の解像度で、メモリに蓄積される。

モノクロビットマップ画像は、４００ｄｐｉ程度の解像度であれば、画像中の文字が小さい場合（たとえば、３ミリ四方程度）であっても、高い視認性でディスプレイに表示することができるし、またプリンタにより高解像度で印刷出力することができ、また、たとえば文字認識装置による認識も良好に行うことができる。

２００ｄｐｉ程度以下の解像度の、多階調のカラー画像に含まれる文字・線図等を、モノクロの４００ｄｐｉの画像と同様に、正確に再現しまたは改善して作成することが望まれているが、この場合には、前述したように、小さい文字の視認性が問題となる。特に、入力系の「ボケ」作用が強いときには、小さい文字の視認性が極めて悪くなることがある。特に，入力系の「ボケ」作用が強いときには、（ａ）白背景上の黒文字とその周囲に色が着いている、（ｂ）本来均一であるべき文字のストロークの色がばらついている、（ｃ）輪郭が不明瞭となっている等の理由により、小さい文字が読みづらくなる。

文字強調の方法として，従来はエッジ強調が主に用いられてきた（特許文献１，２，３）。しかし、低解像度の小さい文字（たとえば、２００ｄｐｉでの３ミリ角程度の文字）の場合、図４に示すように、ストローク幅が１〜２画素と狭いため、エッジ強調は有効でない。さらに、エッジ強調のパラメータは入力機器の特性に強く依存するため、入力に使われる機器が不特定、未知の場合には、適用が難しい。さらに、エッジ強調をすると、ＯＣＲの精度が逆に下がることもあり、人間にとっての見易さとＯＣＲの認識精度は必ずしも両立しないという問題点がある。

そこで、小さい文字部分について、もとの低解像度の多値画像を、高解像度の２値画像に変換することによって、高精細のカラー文書画像を生成する手法が考えられる。この手法では、（ａ）テキスト部分（小さい文字）について高解像度の２値画像を生成し、（ｂ）他の部分は通常の方法（双１次補間，３次スプライン補間等）で補間して高解像度化し、（ｃ）高解像度カラー画像に、高解像度２値テキスト画像を埋め込むことで、小さい文字について高精細のカラー文書画像を生成することができる。

上記の手法に基づいて、具体的なアルゴリズムを設計する際の課題としては、小さい文字の抽出とそれらの文字色の推定が挙げられる。文字色の推定では、局所的に算出された文字色をクラスタリングすることによって、処理対象とするテキストに使われているフォント色のパレットを求めることが必要である。カラークラスタリングの方法には、それぞれの応用に則して数多くの方法が提案されている。特に、文書画像への応用としては、色を利用したテキスト抽出があり，本、雑誌、ＣＤの表紙、Ｗｅｂ上の画像等に適用されている（非特許文献１，２，３等参照）。
特許第２５５８９１５号 特許第３１５４２４２号 特許第３１７６３４１号 Ａ．Ｋ． Ｊａｉｎ ａｎｄ Ｂ． Ｙｕ， Ａｕｔｏｍａｔｉｃ ｔｅｘｔ ｌｏｃａｔｉｏｎ ｉｎ ｉｍａｇｅｓ ａｎｄ ｖｉｄｅｏ ｆｒａｍｅｓ， Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ３１（１２）， ２０５５-２０７６， １９９８． Ｙ． Ｚｈｏｎｇ， Ｋ． Ｋａｒｕ， ａｎｄ Ａ． Ｊａｉｎ， Ｌｏｃａｔｉｎｇ ｔｅｘｔ ｉｎ ｃｏｍｐｌｅｘ ｃｏｌｏｒ ｉｍａｇｅｓ， Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２８（１０）， １５２３-１５３５， １９９５． Ｊ． Ｚｈｏｕ ａｎｄ Ｄ． Ｌｏｐｒｅｓｔｉ， Ｅｘｔｒａｃｔｉｎｇ ｔｅｘｔ ｆｒｏｍ ＷＷＷ ｉｍａｇｅｓ， Ｐｒｏｃ． ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ （Ｕｌｍ， Ｇｅｒｍａｎｙ）， Ａｕｇｕｓｔ １９９７， １９９７， ｐｐ． ２４８-２５２．

非特許文献１，２，３等における技術は、各代表色の割合にそれほどの偏りがなく、テキスト文書に比べて文字の数も少ない場合には有効であるが、各代表色の割合に偏りがあり、通常のテキスト文書のように文字の数が場合には次のような問題が生じる。

すなわち、通常のテキスト文書では、黒を主体として、その他強調に使うためにいくつかの色が使われる。文字色の分布を調べると、大多数（５０％以上）を占める黒に相当するクラスタと、その他の色が点在するような特殊なプロファイルが得られることが多い。このため、色のクラスタリングを行う際には、注意を払わなければ、強調に使われている色が、大多数を占めている黒に相当するクラスタに併合されてしまう（黒色に埋もれてしまう）といった現象が生じる可能性がある。また、非特許文献１，２，３等における技術は、計算効率が良いとは言えず、処理時間が長くなるという問題もある。

本発明は、文書画像のテキスト部分（小さい文字）について、もとの低解像度の多値画像を高解像度の２値画像に変換し、さらに文字の色を正確に再現して効率的に高解像度の高精細画像を生成することができる画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを格納した記録媒体を提案することを目的とする。

第１発明の画像処理装置は、取得した原デジタル画像から文字を抽出する文字抽出手段と、前記文字抽出手段により抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成する高解像度２値画像生成手段と、前記文字抽出手段により抽出した各文字について文字色を抽出する文字色抽出手段と、前記文字抽出手段により抽出した各文字の平均色と、最も暗い色とから文字の輪郭色を決定する文字輪郭色決定手段と、前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成手段とを備えたことを特徴とする。

また、第２発明の画像処理装置は、取得した原デジタル画像から文字を抽出する文字抽出手段と、前記文字抽出手段により抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成する高解像度２値画像生成手段と、前記文字抽出手段により抽出した各文字について文字色を抽出する文字色抽出手段と、前記文字抽出手段により抽出した各文字について、大多数の文字に使われている色のパレットを抽出する大多数文字色パレット抽出手段と、前記文字抽出手段により抽出した各文字について、前記大多数の文字に使われている色以外の少数の文字にのみ使われている色のパレットを抽出する少数文字色パレット抽出手段と、前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成手段とを備えたことを特徴とする。

第２発明の画像処理装置は、前記高解像度画像生成手段は、前記原デジタル画像の文字以外の部分は補間により拡大し（すなわち、画素数を増やし）、抽出された各文字については前記高解像度２値画像生成手段により生成した高解像度の２値画像における文字のストローク部分に、前記大多数文字色パレット抽出手段または前記少数文字色パレット抽出手段により抽出した文字色のパレットを用いて色を埋め込むことを特徴とする。

第２発明の画像処理装置では、前記大多数文字色パレット抽出手段は、色分布のヒストグラムを作成する色分布ヒストグラム作成手段と、色分布ヒストグラム作成手段により生成したヒストグラムから、最大のクラスタを抽出する最大クラスタ抽出手段と、前記最大のクラスタを代表する色を求めるクラスタ代表色抽出手段と、前記最大のクラスタを取り除いた色分布のヒスグラムを作成する最大クラスタ除去ヒストグラム作成手段とを有することができる。

第２発明の画像処理装置では、前記少数文字色パレット抽出手段は、大多数の文字に使われている色のクラスタを取り除いた色分布のヒスグラムを作成する少数文字色ヒストグラム作成手段と、前記少数文字色ヒストグラム作成手段により作成したヒストグラムから、色のクラスタを抽出る少数文字色クラスタ抽出手段と、前記少数文字色クラスタ抽出手段により抽出した各クラスタを代表する色を抽出する少数文字色クラスタ代表色抽出手段とを有することができる。

本発明の画像処理方法は、取得した原デジタル画像から文字を抽出するステップと、前記文字抽出ステップにおいて抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成するステップと、前記文字抽出ステップにおいて抽出した各文字について文字色を抽出するステップと、前記文字抽出ステップにおいて抽出した各文字の平均色と、最も暗い色とから文字の輪郭色を決定するステップと、前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成するステップとを備えたことを特徴とする。また、本発明の画像処理方法は、取得した原デジタル画像から文字を抽出する文字抽出ステップと、前記文字抽出ステップにおいて抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成する高解像度２値画像生成ステップと、前記文字抽出ステップにおいて抽出した各文字について文字色を抽出する文字色抽出ステップと、前記文字抽出ステップにおいて抽出した各文字について、大多数の文字に使われている色のパレットを抽出する大多数文字色パレット抽出ステップと、前記文字抽出ステップにおいて抽出した各文字について、前記大多数の文字に使われている色以外の少数の文字にのみ使われている色のパレットを抽出する少数文字色パレット抽出ステップと、前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成ステップと、備えたことをも特徴とする。

本発明の画像処理プログラムは、コンピュータを、第１および第２発明の画像処理装置における各手段として機能させることを特徴とする。

本発明のコンピュータに読取り可能な記録媒体は、コンピュータを、第１および第２発明の画像処理装置における各手段として実行させるためのプログラムであることを特徴とする。

原画像では、文字のストロークの色が均一でないため、視認性が芳しくないが、生成された画像では，文字のストロークの色が均一になり、明瞭になっている。

画質向上の効果は、拡大表示において顕著に認められる。拡大すると、原画像では文字の輪郭がぼやけるために視認性が悪い。しかし、テキスト強調では文字とその周辺が２色に縮約されるので、輪郭が明瞭になる。

エッジ強調などで観測されるオーバーシュートなどのディフェクトや、ＯＣＲへの悪影響もない。

図１は本発明の画像処理装置の第1構成例を示す機能ブロック図である。

図１では、画像処理装置１は、文字抽出手段１１と、高解像度２値画像生成手段１２と、文字色抽出手段１３と、文字輪郭色決定手段１４と、高解像度画像生成手段１５とを備えている。

文字抽出手段１１は取得した原デジタル画像ＯＧから文字を抽出し、高解像度２値画像生成手段１２は文字抽出手段１１により抽出した各文字について原デジタル画像（カラービットマップ画像）ＯＧよりも解像度が高い２値画像（高解像度２値画像ＨＭＣ）を生成し、文字色抽出手段１３は、文字抽出手段１１１により抽出した各文字について文字色を抽出する。

文字輪郭色決定手段１４は、文字抽出手段１１により抽出した各文字の平均色と、最も暗い色とから文字の輪郭色を決定する。

高解像度画像生成手段１５は、原デジタル画像ＯＧから当該原デジタル画像よりも高い解像度の画像（高解像度カラー画像ＨＲＧ）を生成する。すなわち、高解像度画像生成手段１５は、原デジタル画像ＯＧの文字以外の部分は補間により拡大し、抽出された各文字については高解像度２値画像生成手段１２により生成した高解像度２値画像ＨＭＣにおける文字のストローク部分に、文字輪郭色決定手段１４により抽出した文字色のパレットを用いて色を埋め込む。

図２は本発明の画像処理装置の第２構成例を示す機能ブロック図である。

図２では、画像処理装置２は、文字抽出手段２１と、高解像度２値画像生成手段２２と、文字色抽出手段２３と、文字色パレット抽出手段２４と、高解像度画像生成手段２５とを備えている。

文字抽出手段２１は取得した原デジタル画像ＯＧから文字を抽出し、高解像度２値画像生成手段２２は文字抽出手段２１により抽出した各文字について原デジタル画像ＯＧよりも解像度が高い２値画像（高解像度２値画像ＨＭＣ）を生成し、文字色抽出手段２３は、文字抽出手段２１により抽出した各文字について文字色を抽出する。

文字色パレット抽出手段２４は、大多数文字色パレット抽出手段２４１と、少数文字色パレット抽出手段２４２とかなり、大多数文字色パレット抽出手段２４１は、文字抽出手段２１により抽出した各文字について大多数の文字（たとえば、全文字の５０％以上）に使われている色のパレットを抽出し、少数文字色パレット抽出手段２４２は、文字抽出手段２１により抽出した各文字について、大多数の文字に使われている色以外の少数の文字にのみ使われている色のパレットを抽出する。大多数文字色パレット抽出手段２４１は、色分布のヒストグラムを作成する色分布ヒストグラム作成手段２４１１と、色分布ヒストグラム作成手段２４１１により生成したヒストグラムから、最大クラスタを抽出する最大クラスタ抽出手段２４１２と、最大クラスタを代表する色を求めるクラスタ代表色抽出手段２４１３と、最大のクラスタを取り除いた色分布のヒスグラムを作成する最大クラスタ除去ヒストグラム作成手段２４１４とを有している。また、少数文字色パレット抽出手段２４２は、大多数の文字に使われている色のクラスタを取り除いた色分布のヒスグラムを作成する少数文字色ヒストグラム作成手段２４２１と、少数文字色ヒストグラム作成手段２４２１により作成したヒストグラムから、色のクラスタを抽出る少数文字色クラスタ抽出手段２４２２と、少数文字色クラスタ抽出手段２４２２により抽出した各クラスタを代表する色を抽出する少数文字色クラスタ代表色抽出手段２４２３とを有している。

高解像度画像生成手段２５は、原デジタル画像ＯＧから当該原デジタル画像よりも高い解像度の画像（高解像度カラー画像ＨＲＧ）を生成する。高解像度画像生成手段２５は、原デジタル画像ＯＧの文字以外の部分は補間により拡大し、抽出された各文字については高解像度２値画像生成手段２２により生成した高解像度２値画像ＨＭＣにおける文字のストローク部分に、大多数文字色パレット抽出手段２４１または少数文字色パレット抽出手段２４２により抽出した文字色のパレットを用いて色を埋め込む。

図３は本発明の画像処理装置のハードウェア構成図である。

図３において、パーソナルコンピュータ（ＰＣ）３１０は画像処理装置として動作するもので、ＣＰＵ３１１と、メモリ３１２（ＲＯＭ３１２１とＲＡＭ３１２２とからなる）と、ハードディスク装置３１３と、リムーバブルディスク装置３１４と、表示装置３１５と、キーボード３１６と、ポインティングデバイス（マウス等）３１７と、ネットワークインタフェース３１８とがバス３１９に接続されて構成されている。なお、ネットワークインタフェース３１８は、通信回線３００を介して処理対象である原デジタル画像ＯＧを受信しあるいは処理結果である高解像度カラー画像ＨＲＧを所定の送信先に送信することができる。

図１および図２に示した各手段は、ＲＯＭ３１２１またはＲＡＭ３１２２に書き込まれ、または読み込まれているものとする。また、画像作成の処理対象となることができる原デジタル画像ＯＧがリムーバブルディスク装置３１４に格納されているものとする。また、本発明の画像処理プログラムがハードディスク装置（「ＨＤＤ」で示す）３１３に格納されているものとし、ユーザが画像処理プログラムを起動すると、画像処理プログラム（「ＧＣＰ」で示す）はＲＡＭ３１２に読み込まれ、画像作成処理が可能になる。
《第１実施形態》
図５のフローチャートは、図１の画像処理装置１の処理を示すもので、
（１）文字抽出手段１１により、原デジタル画像ＯＧ上の小さい文字の候補領域を抽出し（Ｓ１１０）、
（２）高解像度２値画像生成手段１２により、高解像度２値画像ＨＭＣを生成するとともに、原デジタル画像ＯＧ上の文字の色を抽出し（Ｓ１２０）、
（３）高解像度画像生成手段１５により高解像度カラー画像ＨＲＧを生成する（Ｓ１３０）、
の各ステップにより構成される。

以下、各構成要素による上記ステップついて述べる。
（１）小さい文字の候補領域の抽出
まず、文字抽出手段１１により、原デジタル画像ＯＧをモノクロ画像（輝度画像）に変換し、２値化を行うことで低解像度２値画像ＬＭＣを作成する。

２値化方法としては、大局的閾値と局所的閾値を併用する。大局的閾値には、前景と背景の輝度レベルの２つがあり、例えば判別分析やモーメント保持原理による方法を用いて計算する。

前景輝度閾値より暗い画素はＯＮに、背景輝度閾値より明るい画素はＯＦＦに設定する。ＯＮ／ＯＦＦが未定の画素については、局所的２値化、例えばＮｉｂｌａｃｋの方法により決定する。例えば、図６に示した原デジタル画像ＯＧからは、図７のような低解像度２値画像ＬＭＣが得られる。

このように求められた低解像度２値画像ＬＭＣから、ＯＮ画素連結成分の輪郭を抽出する。小さい文字の輪郭線であれば外輪郭であり、かつその輪郭のｂｏｕｎｄｉｎｇ ｂｏｘ（輪郭線をちょうど囲むような最小の直立長方形）の幅と高さがある範囲内（例えば、２００ｄｐｉで４０画素＝５ｍｍ）に収まるはずである。実際には，隣接する文字が接触したり、ノイズが存在したりするので、ｂｏｕｎｄｉｎｇ ｂｏｘの幅または高さの少なくとも一方が決められた範囲（例えば、２００ｄｐｉで３画素〜４０画素＝０．７５ｍｍ〜５ｍｍ）にあるような外輪郭を囲むｂｏｕｎｄｉｎｇ ｂｏｘの集合を文字候補領域とする。
（２）高解像度２値画像の生成と文字色の抽出
文字候補領域を構成するｂｏｕｎｄｉｎｇ ｂｏｘのそれぞれにおいて、既存の技術により、図８に示すように高解像度の２値画像を生成するとともに、図９に示すように、文字色を計算する。なお、図９では、説明の便宜上、文字色（各文字の位置に相当するブロックの色）を同一色のグレーで示してあるが、実際には、１色以上のカラーで表される。

文字色の計算においては、図４の例で見られるように、光学系のＰＳＦ（点広がり関数）の影響によって、２値画像のＯＮ画素で計算された平均色が、実際の色よりも明るめになってしまうことに注意する。そこで，ＯＮ画素から算出した平均色の加えて、最も暗い色も算出し、それら２つの平均をそのｂｏｕｎｄｉｎｇ ｂｏｘにおける文字色とすることが好ましい。
（３）高解像度画像の合成
文字部分（図８の黒画素）以外は、原画像を通常の補間方法で拡大し、高解像度のカラー画像を生成する。そして、図１０に示すように、この高解像度のカラー画像のＯＮ画素を、（２）で求めた文字色で埋め込み、高解像度カラー画像ＨＲＧを作成する。
《第２実施形態》
図１１のフローチャートは、図２の画像処理装置２の処理を示すもので、
（１）文字抽出手段２１により、原デジタル画像ＯＧ上の小さい文字の候補領域を抽出し（Ｓ２１０）、
（２）高解像度２値画像生成手段２２により、高解像度２値画像ＨＭＣを生成するとともに、原デジタル画像ＯＧ上の文字の色を抽出し（Ｓ２２０）、
（３）文字色パレット抽出手段２４により大多数も文字の最大クラスタを抽出した後、各文字色のパレットを抽出し（Ｓ２３０）、
（４）高解像度画像生成手段２５により高解像度カラー画像ＨＲＧを生成する（Ｓ２４０）、
の各ステップにより構成される。

（１）の「小さい文字の候補領域の抽出」および（２）の「高解像度２値画像の生成と文字色の抽出」は第１実施形態と同じである。
（３）カラークラスタリング
第２実施形態では、文字色パレット抽出手段２４により文字色をクラスタリングすることによって、少数文字色パレット抽出手段２４２１により少数の色から成るパレットを構築する。

テキスト文書画像における文字色のクラスタリングでは、
（ａ）強調に使われている色が、大多数を占めている黒に相当するクラスタに併合されて、黒に埋もれてしまう現象が生じてしまう可能性があること、
（ｂ）多次元データのクラスタリングに際しての課題である計算効率の向上を図ること、
等の点に注意する必要がある。

まず、計算効率の向上を考えると、サンプルの数が少なくとも１０万のオーダになる。たとえば、２００ｄｐｉのＡ４サイズの画像で画素数は４，０００，０００程度であり、そのうち文字領域が１０％を占めると、サンプル数は４００，０００程度になる。このため、ヒストグラムをもとにしたクラスタリング方法が適当である。さらに、３次元ヒストグラムよりも、色彩空間の工夫により、各カラーチャンネルでヒストグラムを構成し、クラスタリングした結果を組み合わせることが望ましい。ここで，色彩空間は、３つの成分間で分布の独立性が高い（共分散が小さい）ものを選ぶべきである。

（ａ）の問題を考えると、まず、大多数文字色パレット抽出手段２４１により大多数を占める支配色（大多数文字色）のクラスタを抽出し、少数文字色パレット抽出手段２４２１により残りのサンプルから強調に使う色を抽出するという２段階の処理が適当である。
（３−１）色彩空間
本実施形態では、成分間での分布の独立性、計算の簡単さ、各成分の取り扱いやすさ（ＨＳＶやＨＳＩの場合、Ｈｕｅ成分の値が角度になるため、若干扱いにくくなる）から、ＹＣｂＣｒ空間を用いている。
（３−２）ヒストグラムをもとにしたクラスタリング
本実施形態では、色分布ヒストグラム作成手段２４１１は、ＹＣｂＣｒの各成分について、信号値を再量子化（例えば、３２レベル）し、ヒストグラムを構成する。図１２は、信号値に対する出現の頻度レベルを示す図である。図１２に示すように、各レベルについて、近傍で最も多くのデータを持つレベルを記憶しておく（すなわち、ポインタを張る）。もし、両隣のレベルのデータ数が自身よりも少なければ、ポインタを張らない。すべてのレベルについてポインタを設定し終えれば、図１２に矢印で示すような、データ数が極大であるようなレベルに向かうポインタのチェーンが構築されている。このようなチェーンのそれぞれについて，それに属するレベルの集合が１つのクラスタとなる。各クラスタの代表値は、データ数が最多のレベルとすればよい。
（３−３）支配色のクラスタ抽出
次に、最大クラスタ抽出手段２４１により、支配色のクラスタ抽出をする。図６の画像のように、黒文字が支配的なテキスト文書では、ＹＣｂＣｒの各成分についてのヒストグラムを構成すると、大多数の文字が黒であり、少数の文字がカラーの文字であるような文字色画像（図１３参照）からは、図１４に示すように、ＣｂとＣｒ成分の中央に、大多数を占めるクラスタが構成される。このような支配色を構成するクラスタを、次のように抽出して行く。なお、図１３ではモノクロで表現されているが、たとえば、右上のグレーのａ，ｂ，ｃで示した文字色は実際にはカラーであるものとする。
（ｉ）各成分について，ヒストグラムを用いたクラスタリングを適用して、最大のクラスタを抽出する。図１４の例では、Ｙ、Ｃｒ、Ｃｂ成分（３２レベルに量子化）について、それぞれ、［７，１４］、［１４，１６］、［１４，１８］の閉区間となり、中心は、それぞれ、９、１５、１５となる。すべての成分について、最大クラスタの大きさが、決められた割合（例えば、５０％）よりも大きければ、次のステップ（ｉｉ）と（ｉｉｉ）のようにして支配色のクラスタを抽出する。そのような成分がなければ，終了する。
（ｉｉ）各成分の最大クラスタ（閉区間）の直積をとることによって，３次元の直方体，ここの例では、
｛（Ｙ，Ｃｂ，Ｃｒ）：７≦Ｙ≦１４，１４≦Ｃｂ≦１６，１４≦Ｃｒ≦１９｝
を構成する。図１３に示したような文字色画像から，この直方体に属する文字色を抽出すると、図１４に示したように、文字色の全体のうち、６９．４％がこの直方体に含まれる。
（ｉｉｉ）これらの画素を、各成分の最大クラスタの中心を組み合わせた色、ここの例では、中心は、（Ｙ，Ｃｂ，Ｃｒ）＝（９，１５，１５）、（Ｒ，Ｇ，Ｂ）＝（６１，７９，５８）に置き換えることにより、支配色のクラスタが構築される。
（ｉｖ）直方体に含まれる文字色を除外して，ＹＣｂＣｒの各成分のヒストグラムを再構成（図１５）し、（ｉ）の処理に進む。

図１５のヒストグラムをみてわかるように、ＣｂとＣｒ成分の中央に、大多数を占めるクラスタが存在ずるので、上記の手続きが繰り返される。クラスタは、［２２，２５］×［１４，１６］×［１４，１８］の３次元直方体（３２レベルのＹＣｂＣｒ空間）で、中心は、（Ｙ，Ｃｂ，Ｃｒ）＝（２４，１４，１５）、（Ｒ，Ｇ，Ｂ）＝（１８１，２０２，１６４）となり、図１５に示すように、文字色の２３．２％を占める。この後、（ｉｖ）で再構成されるヒストグラムは、最終的に図１６のようになり、ＹとＣｂ成分には支配的なクラスタがなくなるので、支配色の抽出は終了する。
（３−４）強調色（少数文字色）のクラスタ抽出
上記のようにして、支配色を抽出した後、少数文字色ヒストグラム作成手段２４２１により、強調色のヒストグラムを作成し、少数文字色クラスタ抽出手段２４２２により、強調色のクラスタを抽出する。大多数文字色では、各成分の最大クラスタのみを用いたのに対して、ここでは、すべてのクラスタから構成される組み合わせについて、３次元直方体を構成して、各文字色を分類して行く。

図１７に文字色のクラスタリングの結果を示す。ここでは、支配色（クラスタ１と２）と強調色（クラスタ３〜６）の６色にクラスタリングされる。図１６からわかるように、Ｙ成分には３つ、Ｃｂ成分には４つ、Ｃｒ成分には２つのクラスタが存在するので、最大３×４×２＝２４個のクラスタ（直方体）があり得るが、実際には４つのクラスタしか存在しない。また、この段階になって、Ｙ成分の中央部分に支配色に隠れていた［１４，１５］のクラスタが出現している。支配色の抽出を行わない場合，６番目のクラスタ（図１３の右上の３文字の色に相当）が他のより大きなクラスタに併合されてしまい、誤分類が生じることになる。
（４）高解像度画像の合成
小さい文字以外は、原デジタル画像ＯＧを通常の方法で補間し，高解像度のカラー画像を生成する。そして，高解像度２値画像のＯＮ画素を、（２）で求めた文字色が属するクラスタの代表色を使って埋め込み、高解像度カラー画像ＨＲＧを作成する。

本発明の画像処理装置の第１の構成例を示す機能ブロック図である。 本発明の画像処理装置の第２の構成例を示す機能ブロック図である。 本発明の画像処理装置のハードウェア構成図である。 低解像度の小さい文字を示す図である。 図１の画像処理装置の処理を示すフローチャートである。 本発明が適用される原デジタル画像の一例を示す図である。 原デジタル画像から得られる低解像度２値画像を示す図である。 本発明の処理の課程で得られる高解像度の２値画像を示す図である。 文字色（各文字の位置に相当するブロックの色）を示す説明図である。 本発明の実施形態により作成された高解像度カラー画像ＨＲＧを示す図である。 図２の画像処理装置の処理を示すフローチャートである。 原デジタル画像の信号値に対する出現の頻度レベルを示す図である。 図２の画像処理装置による処理課程において作成される文字色画像を示す図である。 原デジタル画像についてのクラスタ分布を示す図である。 再構成されたヒストグラムを示す図である。 再構成を繰り返すことで作成された最終的なヒストグラムを示す図である。 第２実施形態における画像処理装置の文字色のクラスタリングの結果を示す図である。

符号の説明

１ 画像処理装置
１１，２１ 文字抽出手段
１２，２２ 高解像度２値画像生成手段
１３，２３ 文字色抽出手段
１４ 文字輪郭色決定手段
１５，２５ 高解像度画像生成手段
２４ 文字色パレット抽出手段
２４１ 大多数文字色パレット抽出手段
２４２ 少数文字色パレット抽出手段
３００ 通信回線
３１０ ＰＣ
３１１ ＣＰＵ
３１２ メモリ
３１３ ハードディスク装置
３１４ リムーバブルディスク装置
３１５ 表示装置
３１６ キーボード
３１７ ポインティングデバイス
３１８ ネットワークインタフェース
３１９ バス
２４１１ 色分布ヒストグラム作成手段
２４１２ 最大クラスタ抽出手段
２４１３ クラスタ代表色抽出手段
２４１４ 最大クラスタ除去ヒストグラム作成手段
２４２１ 少数文字色ヒストグラム作成手段
２４２２ 少数文字色クラスタ抽出手段
２４２３ 少数文字色クラスタ代表色抽出手段
３１２１ ＲＯＭ
３１２２ ＲＡＭ

Claims (9)

1. 取得した原デジタル画像から文字を抽出する文字抽出手段と、
   前記文字抽出手段により抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成する高解像度２値画像生成手段と、
   前記文字抽出手段により抽出した各文字について文字色を抽出する文字色抽出手段と、
   前記文字抽出手段により抽出した各文字の平均色と、最も暗い色とから文字の輪郭色を決定する文字輪郭色決定手段と、
   前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 取得した原デジタル画像から文字を抽出する文字抽出手段と、
   前記文字抽出手段により抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成する高解像度２値画像生成手段と、
   前記文字抽出手段により抽出した各文字について文字色を抽出する文字色抽出手段と、
   前記文字抽出手段により抽出した各文字について、大多数の文字に使われている色のパレットを抽出する大多数文字色パレット抽出手段と、
   前記文字抽出手段により抽出した各文字について、前記大多数の文字に使われている色以外の少数の文字にのみ使われている色のパレットを抽出する少数文字色パレット抽出手段と、
   前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成手段と、
   を備えたことを特徴とする画像処理装置。
3. 前記高解像度画像生成手段は、
   前記原デジタル画像の文字以外の部分は補間により拡大し、
   抽出された各文字については前記高解像度２値画像生成手段により生成した高解像度の２値画像における文字のストローク部分に、前記大多数文字色パレット抽出手段または前記少数文字色パレット抽出手段により抽出した文字色のパレットを用いて色を埋め込む、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記大多数文字色パレット抽出手段は、
   色分布のヒストグラムを作成する色分布ヒストグラム作成手段と、
   色分布ヒストグラム作成手段により生成したヒストグラムから、最大のクラスタを抽出する最大クラスタ抽出手段と、
   前記最大のクラスタを代表する色を求めるクラスタ代表色抽出手段と、
   前記最大のクラスタを取り除いた色分布のヒスグラムを作成する最大クラスタ除去ヒストグラム作成手段と、
   を有することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記少数文字色パレット抽出手段は、
   大多数の文字に使われている色のクラスタを取り除いた色分布のヒスグラムを作成する少数文字色ヒストグラム作成手段と、
   前記少数文字色ヒストグラム作成手段により作成したヒストグラムから、色のクラスタを抽出る少数文字色クラスタ抽出手段と、
   前記少数文字色クラスタ抽出手段により抽出した各クラスタを代表する色を抽出する少数文字色クラスタ代表色抽出手段とを有することを特徴とする請求項２から４の何れかに記載の画像処理装置。
6. 取得した原デジタル画像から文字を抽出するステップと、
   前記文字抽出ステップにおいて抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成するステップと、
   前記文字抽出ステップにおいて抽出した各文字について文字色を抽出するステップと、
   前記文字抽出ステップにおいて抽出した各文字の平均色と、最も暗い色とから文字の輪郭色を決定するステップと、
   前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成するステップと、
   を備えたことを特徴とする画像処理方法。
7. 取得した原デジタル画像から文字を抽出する文字抽出ステップと、
   前記文字抽出ステップにおいて抽出した各文字について前記原デジタル画像よりも高い解像度の２値画像を生成する高解像度２値画像生成ステップと、
   前記文字抽出ステップにおいて抽出した各文字について文字色を抽出する文字色抽出ステップと、
   前記文字抽出ステップにおいて抽出した各文字について、大多数の文字に使われている色のパレットを抽出する大多数文字色パレット抽出ステップと、
   前記文字抽出ステップにおいて抽出した各文字について、前記大多数の文字に使われている色以外の少数の文字にのみ使われている色のパレットを抽出する少数文字色パレット抽出ステップと、
   前記原デジタル画像から当該原デジタル画像よりも高い解像度の画像を生成する高解像度画像生成ステップと、
   を備えたことを特徴とする画像処理方法。
8. コンピュータを、請求項１から５の何れかに記載の各手段として機能させることを特徴とする画像処理プログラム。
9. コンピュータを、請求項１から５の何れかに記載の各手段として実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。