JP2001043312A

JP2001043312A - 文書画像処理装置

Info

Publication number: JP2001043312A
Application number: JP2000146842A
Authority: JP
Inventors: Toru Suino; 水納　　亨
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-05-26
Filing date: 2000-05-18
Publication date: 2001-02-16

Abstract

(57)【要約】【課題】高速かつ高精度な文字や画像の抽出が可能と
なる文書画像処理装置を提供する。【解決手段】文書画像処理装置は、画像入力部１と、
プレーン分割部２と、二値化部３と、外接矩形作成部４
と、矩形毎の再二値化部５と、外接矩形再作成部６と、
矩形制御部７と、プレーン統合部８と、領域識別部９
と、文字認識部１０とを備える。そして、入力カラー画
像を複数プレーンに分割し、それぞれのプレーンを二値
化し、それぞれのプレーンから文字矩形を求め、入力カ
ラー画像を文字矩形内のみ再び二値化することにより、
それぞれのプレーンを再構築し、あるプレーンの文字矩
形内の画素と他のプレーンの同じ座標での画素との論理
演算により、濃い文字プレーンと薄い文字プレーンの二
つのプレーンに文字を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文書画像処理装置に
関し、特にカラー文書画像の文字抽出技術に関するもの
である。

【０００２】

【従来の技術】文字部分と背景部分との明度差が少ない
カラー印刷物等を読み取ることにより得られたカラー画
像データから文字部分を抽出して文字の認識を行う場
合、明度差でなく色の違いを利用して文字部分を抽出す
ることが従来より行われている。そして例えば、特開平
８−１２３９０１号公報には以下のような技術が示され
ている。

【０００３】色空間上の位置情報に基づいて色空間にお
ける色分布を求め、さらにカラー画像データを二値化す
る際のしきい値に応じて、色分布を複数の色範囲に分割
する。そして、それぞれの色範囲毎にカラー画像データ
を二値化し、該色範囲内の画素を文字部分とそれ以外の
画素からなる背景部分とすることによって文字画像を抽
出する。

【０００４】しかしながら、文字を抽出する場合に、色
空間上の位置情報に基づいて色空間における色分布を求
める従来の文字抽出技術においては、長い処理時間を要
するという問題がある。

【０００５】ここで、図１を参照しつつ、従来における
文字認識方法の具体例を説明する。なお以下において
は、「１．ＡＢ」と書かれた赤色文字５１と、該赤色文
字５１の背景を構成する黒色の背景画像５３とを含むサ
ンプル画像５０が対象とされる場合を説明する。

【０００６】まず、サンプル画像５０は、Ｒプレーン５
４とＧプレーン５５、及びＢプレーン５６にプレーン分
割される。そして、これらのＲプレーン５４とＧプレー
ン５５、及びＢプレーン５６はそれぞれプレーン毎に二
値化され、Ｒプレーン５７とＧプレーン５８、及びＢプ
レーン５９が生成される。

【０００７】次に、二値化されたＲプレーン５７とＧプ
レーン５８、及びＢプレーン５９を統合することにより
統合プレーン６０を生成して、サンプル画像全体におい
て文字認識がなされる。

【０００８】しかしながら、上記においては、黒色の背
景と赤色文字との間で色濃度差が小さいため、プレーン
分割により得られたＲプレーン５４とＧプレーン５５、
及びＢプレーン５６を二値化した以降の段階において
は、「１．ＡＢ」との該文字は完全に判別できなくな
り、適正な文字認識ができないという問題がある。

【０００９】また同様な問題は、従来の画像認識におい
ても生じている。すなわち例えば図２に示されるよう
に、濃度差が小さい第一画像６３と第二画像６５を含む
サンプル画像６１を上記と同様に画像処理する場合、プ
レーン分割されたプレーンを二値化した以降の段階にお
いては、第一画像６３及び第二画像６５に対応して、こ
れら二つの画像の区別を不可能とする二値画像６９が得
られるため、得られた統合プレーン６７において適正な
画像認識ができないという問題がある。

【００１０】

【発明が解決しようとする課題】本発明は、上記のよう
な問題を解消するためになされたもので、高速かつ高精
度な文字や画像の抽出が可能となる文書画像処理装置を
提供することを目的とするものである。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、請求項１記載の発明は、カラー画像データを入力
する画像入力手段と、カラー画像データのＲＧＢ各成分
をある係数で重み付けして複数のプレーンに分割するプ
レーン分割手段と、複数のプレーンをそれぞれ二値化す
る二値化手段と、二値化されたそれぞれのプレーンの黒
連結成分、白連結成分により外接矩形を作成する外接矩
形作成手段と、それぞれのプレーンの外接矩形内をカラ
ー画像データにより再度二値化する再二値化手段と、二
値化手段と再二値化手段で得られた二値化画像に対し外
接矩形を再び作成する外接矩形再作成手段と、あるプレ
ーンの外接矩形内の画素と他のプレーンの同じ座標での
画素との論理演算によりその画素の値を決定するプレー
ン統合手段と、統合されたプレーンを文字領域、表領域
などの領域に分割する領域識別手段と、文字領域での二
値画像から文字認識を行う文字認識手段とを備えたこと
を特徴とするものである。

【００１２】また、上記目的を達成するために、請求項
２記載の発明は、請求項１記載において、プレーン内の
黒連結成分による外接矩形と、白連結成分による外接矩
形とが包含関係にある場合、内側の外接矩形を削除する
矩形制御手段をさらに備えたことを特徴とするものであ
る。

【００１３】本発明では、色空間上の位置情報に基づい
て色空間における色分布を求めることはせずに、入力カ
ラー画像を複数プレーンに分割し、それぞれのプレーン
を二値化し、それぞれのプレーンから文字矩形を求め、
入力カラー画像を文字矩形内のみ再び二値化することに
より、それぞれのプレーンを再構築し、あるプレーンの
文字矩形内の画素と他のプレーンの同じ座標での画素と
の論理演算により、濃い文字プレーンと薄い文字プレー
ンの二つのプレーンに文字を抽出する。このため、高速
かつ高精度な文字抽出が可能となる。

【００１４】

【発明の実施の形態】以下において、本発明の実施の形
態を図面を参照しつつ詳しく説明する。なお、図中同一
符号は同一又は相当部分を示す。

【００１５】図３は、本発明の実施の形態に係る文書画
像処理装置の全体構成を示すブロック図である。図３に
示されるように、この文書画像処理装置は、画像入力部
１と、プレーン分割部２と、二値化部３と、外接矩形作
成部４と、矩形毎の再二値化部５と、外接矩形再作成部
６と、矩形制御部７と、プレーン統合部８と、領域識別
部９と、文字認識部１０とを備える。

【００１６】ここで、画像入力部１は、カラースキャナ
などの入力機器によりカラー画像の入力を行う。また、
プレーン分割部２は、画像入力部１で得た画像（入力画
像）のＲＧＢ成分に、例えば１：０：０や０：１：０、
あるいは０：０：１などの重み付けをして、例えば、Ｒ
プレーンやＧプレーン、Ｂプレーンといった３つのプレ
ーンに分割する。さらに二値化部３は、判別分析法など
の適応的二値化方式を用いて各プレーンの二値化を行
う。

【００１７】外接矩形作成部４は、二値化部３で得られ
た二値化画像に対し、黒ランの連結成分からなる外接矩
形と、白ランの連続成分からなる外接矩形を作成する。

【００１８】以下において、外接矩形作成部４による外
接矩形の作成動作を、図４のフローチャートを参照しつ
つ説明する。なお、前提として各文字毎に矩形を作成
し、以下のような手順により該矩形を適宜併合すること
によって、上記外接矩形を作成する。

【００１９】まず、ステップＳ１においてポインタＰ１
（図示していない。）を画像の左最上段に作成された第
一の矩形にセットする。そしてステップＳ２において、
右方へ連続的に該ポインタＰ１をスキャンし、該第一の
矩形から右隣の第二の矩形までの距離がしきい値ＴＨ８
より小さいか否か判断する。なおここで、しきい値ＴＨ
８は、典型的な文字間隔より少し大きな距離とされ、文
字の大きさに比例する値とされる。

【００２０】そして、該第一の矩形から該第二の矩形ま
での距離がしきい値ＴＨ８より小さいと判断した場合に
は、ステップＳ３へ進んで該第二の矩形を該第一の矩形
に併合する。

【００２１】一方、ステップＳ２において、該第一の矩
形から該第二の矩形までの距離がしきい値ＴＨ８より小
さくないと判断した場合には、ステップＳ４へ進んでポ
インタＰ１をさらに右方へ移動する。ステップＳ５で
は、作成されている矩形がさらに右隣にあるか否か判断
し、あると判断した場合にはステップＳ２へ戻り、ない
と判断した場合にはステップＳ６へ進む。

【００２２】ステップＳ６では、ポインタＰ１を次の行
の最左端に移動させ、ステップＳ７において、作成され
ている矩形がさらに残っているか否か判断する。ここ
で、さらに矩形があると判断した場合にはステップＳ２
へ戻ると共に、残っている矩形がないと判断した場合に
は、ステップＳ８へ進む。

【００２３】そして以下のステップＳ８からステップＳ
１４においては、上記矩形を該画像の垂直方向に関して
併合する。すなわち、ステップＳ８では、ポインタＰ２
（図示していない。）を画像の右最上段に作成された第
三の矩形にセットする。そしてステップＳ９において、
下方へ連続的に該ポインタＰ２をスキャンし、該第三の
矩形から直下の第四の矩形までの距離がしきい値ＴＨ９
より小さいか否か判断する。なおここで、しきい値ＴＨ
９は上記しきい値ＴＨ８と同様に、典型的な文字間隔よ
り少し大きな距離とされ、文字の大きさに比例する値と
される。

【００２４】そして、該第三の矩形から該第四の矩形ま
での距離がしきい値ＴＨ９より小さいと判断した場合に
は、ステップＳ１０へ進んで該第四の矩形を該第三の矩
形に併合する。

【００２５】一方、ステップＳ９において、該第三の矩
形から該第四の矩形までの距離がしきい値ＴＨ９より小
さくないと判断した場合には、ステップＳ１１へ進んで
ポインタＰ２をさらに下方へ移動する。ステップＳ１２
では、作成されている矩形がさらに下方にあるか否か判
断し、あると判断した場合にはステップＳ９へ戻り、な
いと判断した場合にはステップＳ１３へ進む。

【００２６】ステップＳ１３では、ポインタＰ２を左隣
の列の最上端に移動させ、ステップＳ１４において、作
成されている矩形がさらに残っているか否か判断する。
ここで、さらに矩形があると判断した場合にはステップ
Ｓ９へ戻ると共に、残っている矩形がないと判断した場
合には、外接矩形の作成動作を終了する。

【００２７】また、矩形毎の再二値化部５は、画像入力
部１で得られた入力画像と外接矩形作成部４で得られた
矩形情報を用いて入力画像の外接矩形内の部分を再び二
値化する。そして、外接矩形再作成部６は、二値化部３
と矩形毎の再二値化部５で得られた二値化画像に対し、
黒ランと白ランを用いて外接矩形を再び作成する。

【００２８】矩形制御部７は、プレーン毎に黒ラン外接
矩形に包含された白ラン外接矩形の削除、白ラン外接矩
形に包含された黒ラン外接矩形の削除を行う。また、プ
レーン統合部８は、各プレーンの文字矩形内の画素値
と、同じ座標における他のプレーンの画素値との論理演
算により、統合後のその座標の画素値を算出する。

【００２９】領域識別部９は、統合されたプレーンを、
文字領域や表領域、図領域などの領域に分割する。ま
た、文字認識部１０は、文字領域での二値画像において
文字認識を行い、文字コードに変換する。なお後述する
ように、該文字認識部１０は、図形などからなる領域で
の二値画像において該図形の認識を行う、いわゆる画像
認識の機能も備えたものとすることができる。

【００３０】図５は包含された外接矩形を削除する第一
の例を示す図であり、図６は包含された外接矩形を削除
する第二の例を示す図である。図５に示されるように、
黒ランによる図５（ａ）の外接矩形１１に包含された白
ランによる外接矩形１２が、図５（ｂ）に示されるよう
に矩形制御部７によって削除される。

【００３１】また同様に、図６に示されるように、白ラ
ンによる図６（ａ）の外接矩形１２に包含された黒ラン
による外接矩形１１が、図６（ｂ）に示されるように矩
形制御部７によって削除される。

【００３２】図７は、矩形毎の再二値化部５による、矩
形情報に応じた再二値化の例を示す図である。二値化部
３は、図７（ａ）に示されるように、入力画面１３の全
面において入力画像を二値化する。このとき、図７
（ｄ）に示されるように、入力画面１３において、その
背景に対し文字が適正に抽出されればよいが、図７
（ｂ）に示されるように、二値化されるページ１４によ
っては、背景と文字との間における色の組合せにより文
字が精度よく抽出できないことが生じ得る。

【００３３】そこで、このような場合には、外接矩形作
成部４は、図７（ｃ）に示されるように、抽出される文
字を包含する外接矩形１５を抽出する。

【００３４】そして次に、矩形毎の再二値化部５によ
り、図７（ｄ）に示されるように、該抽出された外接矩
形１５内の文字に対応する画像データが再二値化され
る。すなわち、矩形毎の再二値化部５が、外接矩形１５
内の文字に対応する二値データのレベルを、背景色との
差異を際立たせるよう再設定することにより、より精度
よく該文字を抽出することができる。

【００３５】以下において、外接矩形作成部４による文
字を包含した外接矩形１５の抽出動作を図８のフローチ
ャートを参照しつつ説明する。まず、ステップＳ１にお
いて、既に作成されている外接矩形を一つ選択する。次
に、ステップＳ２において、選択した該矩形の短辺の長
さがしきい値ＴＨ１としきい値ＴＨ２の間であるか否か
判断する。そして、該矩形の短辺の長さがしきい値ＴＨ
１としきい値ＴＨ２の間であると判断した場合にはステ
ップＳ３へ進み、該矩形の短辺の長さがしきい値ＴＨ１
としきい値ＴＨ２の間にないと判断した場合にはステッ
プＳ１０へ進んで該矩形を抽出の対象から除外する。

【００３６】ステップＳ３では、選択した該矩形の長辺
の長さがしきい値ＴＨ３としきい値ＴＨ４の間であるか
否か判断する。そして、該矩形の長辺の長さがしきい値
ＴＨ３としきい値ＴＨ４の間であると判断した場合には
ステップＳ４へ進み、該矩形の長辺の長さがしきい値Ｔ
Ｈ３としきい値ＴＨ４の間にないと判断した場合にはス
テップＳ１０へ進んで該矩形を抽出の対象から除外す
る。

【００３７】さらにステップＳ４では、選択した該矩形
の短辺の長さに対する長辺の長さの比がしきい値ＴＨ５
としきい値ＴＨ６の間であるか否か判断する。そして、
該比がしきい値ＴＨ５としきい値ＴＨ６の間であると判
断した場合にはステップＳ５へ進み、該比がしきい値Ｔ
Ｈ５としきい値ＴＨ６の間にないと判断した場合にはス
テップＳ１０へ進んで該矩形を抽出の対象から除外す
る。

【００３８】次に、ステップＳ５では、該矩形内の全画
素数に対する該矩形内において同じ二値レベルを有する
連結画素の数の比が、しきい値ＴＨ７より大きいか否か
を判断する。ここで、該比がしきい値ＴＨ７より大きい
と判断した場合にはステップＳ６へ進み、該該比がしき
い値ＴＨ７より大きくないと判断した場合にはステップ
Ｓ１０へ進んで該矩形を抽出の対象から除外する。

【００３９】そして、ステップＳ６において全矩形の選
択が完了したか否か判断し、完了していないと判断した
場合にはステップＳ１へ戻ると共に、完了したと判断し
た場合には文字を包含した外接矩形１５の抽出動作を終
了する。

【００４０】従って上記において、各しきい値ＴＨ１〜
ＴＨ７を適切な値に設定することにより、所望の外接矩
形のみを抽出することができる。より具体的には、画像
ノイズに対応して作成されてしまった外接矩形は、文字
に対応して作成された外接矩形（文字矩形）に比して小
さいため、上記ステップＳ２の処理により抽出対象から
除外することができ、図形画像に対応して作成された外
接矩形は逆に文字矩形に対して大きいため、上記ステッ
プＳ３の処理により抽出対象から除外できる。さらに、
線や円、絵などの図形に対応する矩形は、その短辺に対
する長辺の比が文字矩形の該比と相違するため、上記ス
テップＳ４の処理により抽出対象から除外できる。ま
た、図形に対応する矩形においては、該矩形内の全画素
数に対する該矩形内において同じ二値レベルを有する連
結画素数の比が、しばしば文字矩形の該比に対して小さ
いため、上記ステップＳ５の処理により抽出対象から除
外することができる。

【００４１】次に、動的二値化方法の一つである判別分
析法を用いた、矩形毎の再二値化部５による再二値化動
作を、図９に示されたフローチャートを参照しつつ説明
する。なお、以下においては一例として、薄青色の背景
を有した濃い赤色の領域があって、さらに該赤色の領域
中に黒色で文字が書かれているサンプル画像を処理対象
とする場合について説明する。

【００４２】まず、ステップＳ１において、濃度ヒスト
グラムを作成する。ここで、上記画像をプレーン分割す
ることにより得られたＲプレーンに対する濃度ヒストグ
ラムが、図１０に示される。図１０に示されるように、
該濃度ヒストグラムにおいては、それぞれ縦軸が画素
数、横軸が画素の色の濃度を示し、白色の濃度値は０で
黒色の濃度値が２５５とされる。

【００４３】そして、図１０に示されるように、該濃度
ヒストグラムにおいては、上記黒色の文字を構成する画
素に対応して第一の画素グループ８９が形成され、赤色
の領域を構成する画素に対応して第二の画素グループ９
０が形成され、薄青色の背景を構成する画素に対応して
第三の画素グループ９１が形成される。

【００４４】次に、ステップＳ２においては、ステップ
Ｓ１で作成された濃度ヒストグラムに基づいて、縦軸が
濃度和または濃度の２乗和で、横軸が濃度とされる和、
２乗和のヒストグラムが作成される。ここで、「濃度
和」とは上記濃度値と該濃度値を持つ画素数の積を順次
積算することにより得られる値であり、「２乗和」とは
上記濃度値の２乗と該濃度値を持つ画素数の積を順次積
算することにより得られる値を意味する。

【００４５】そして、ステップＳ３においては、動的二
値化法におけるしきい値として、図１０に示されるよう
にしきい値ＢＴＨを暫定的に設定し、該しきい値ＢＴＨ
を境界として白側の濃度和を算出する。さらに、ステッ
プＳ４においては、該しきい値ＢＴＨを境界としたとき
における黒側の濃度和を算出する。

【００４６】ここで、しきい値ＢＴＨを境界として文字
を表す画素を含む上記黒側を「クラス内」と呼び、白側
を「クラス外」と呼ぶと、ステップＳ５においては、ク
ラス外における画素数の分布に係る分散、及びクラス内
における画素数の分布に係る分散をそれぞれ算出する。

【００４７】そして、ステップＳ６においては、算出さ
れたクラス内の分散に対するクラス外の分散の比を算出
する。ここでステップＳ７においては、図１０の矢印に
示されるように、上記しきい値ＢＴＨの値を順次０から
２５５まで１ずつ増加させ、上記ステップＳ１からステ
ップＳ６の動作を繰り返すことにより、上記クラス内分
散に対するクラス外分散の比の最大値を算出する。そし
て最後に、ステップＳ８において、上記クラス内分散に
対するクラス外分散の比が最大値となるときの該しきい
値ＢＴＨが求められ、その濃度値が動的二値化方法にお
けるしきい値として設定される。

【００４８】ここで、上記のような手順により図１０に
示された濃度値Ｄ１がしきい値ＢＴＨとして設定され、
上記サンプル画像から得られたＲプレーンが二値化され
た場合には、図１０に示されるように、文字の黒色とそ
れを取り巻く領域の赤色との濃度値が近いため、両画素
グループ８９，９０が同じ二値データとされる。従っ
て、該二値化により上記領域において文字の判別ができ
なくなる。

【００４９】そこで、上記のように所望の外接矩形を抽
出して、以下のように再度判別分析法で二値化する。ま
ず、上記の二値化により得られた画像において、文字を
含む領域の外接矩形を抽出して、抽出された該外接矩形
内の画像に対する濃度ヒストグラムが作成される。

【００５０】ここで、抽出された該外接矩形内の画像に
対するＲプレーンの濃度ヒストグラムが、図１１に示さ
れる。このとき、該外接矩形は上記の赤色領域を囲むも
のであるため、薄青色の背景に対応する画素は濃度ヒス
トグラム上に表れない。従って、図１１に示された濃度
ヒストグラムにおいては、図１０に示された画素グルー
プ９１が消滅している。そして、再度上記図９に示され
た判別分析法を実行することにより、しきい値ＢＴＨを
濃度値Ｄ２に設定して再二値化すると、黒色の文字を構
成する画素グループ８９と、文字を取り巻く赤色の領域
を構成する画素グループ９０とを区別でき、文字が認識
できる状態で上記サンプル画像のＲプレーンが生成でき
る。

【００５１】なお、上記の再二値化により、所望の文字
がそれを取り巻く領域と区別できるようになったか否か
は、以下のように判断する。まず、再二値化により得ら
れた画像に対し上記図４に示された手順などによって外
接矩形を作成する。そして、上記図８に示された手順な
どによって、作成された該外接矩形の大きさが文字に対
応して作成される外接矩形（文字矩形）の大きさか否か
判断する。

【００５２】ここで、作成された該外接矩形の大きさが
文字に対応して作成される外接矩形（文字矩形）の大き
さであると判断された場合には、該外接矩形内の画素は
文字を構成するものと判断し、再二値化を終了する。一
方、作成された該外接矩形の大きさが文字に対応して作
成される外接矩形（文字矩形）の大きさでないと判断さ
れた場合には、再度外接矩形を抽出して二値化を繰り返
す。

【００５３】なお、上記のようにして所定回数二値化を
繰り返すことによっても文字矩形が得られなければ、該
画像領域に文字が含まれていないと判断して二値化を終
了する。

【００５４】次に、矩形制御部７について説明する。プ
レーンの統合を行う場合、黒画素プレーンでは、薄い文
字の中にできる黒ランの連結成分からなる外接矩形中の
画素、白画素プレーンでは、濃い文字の中にできる白ラ
ンの連結成分からなる外接矩形中の画素の存在により、
ノイズが残る可能性がある。

【００５５】よって、上記のように、各プレーン（ＲＧ
Ｂプレーン）においては、プレーンの統合をする直前
に、図５及び図６に示されるように、黒ランの連結成分
による外接矩形１１に包含される白ランの連結成分によ
る外接矩形１２、白ランの連結成分による外接矩形１２
に包含される黒ランの連結成分による外接矩形１１をそ
れぞれ削除する。

【００５６】次に、プレーン統合部８について説明す
る。ここでは、一例としてＲＧＢプレーンを、薄い背景
の下で濃い文字を抽出した黒文字プレーン１９と、濃い
背景の下で薄い文字を抽出した白文字プレーン２０との
二つのプレーンに統合する動作について説明する。

【００５７】図１２は、論理和により黒文字が統合され
る場合を示す図である。以下において図１２を参照しつ
つ、プレーン統合部８が採用する黒文字プレーン１９の
基本的生成方法を説明する。まず図１２（ａ）におい
て、赤（Ｒ）プレーン１６における黒ランの連結成分に
基づいて設定された文字矩形２１中の黒画素をピクセル
Ｒ、緑（Ｇ）プレーン１７における黒ランの連結成分に
基づいて設定された文字矩形２１中の黒画素をピクセル
Ｇ、青（Ｂ）プレーン１８における黒ランの連結成分に
基づいて設定された文字矩形２１中の黒画素をピクセル
Ｂとする。このとき、これら３つのプレーンを統合した
後の黒画素をピクセルＢＫとすると、プレーン統合部８
は、ピクセルＲとピクセルＧ、及びピクセルＢの論理和
を取ることによって該ピクセルＢＫを求め、図１２
（ｂ）に示された黒文字プレーン１９を生成する。

【００５８】つまり、例えば図１２（ａ）に示された赤
（Ｒ）プレーン１６の文字矩形２１内における文字「Ｒ
ｅｄ」を構成する画素と、他の緑（Ｇ）プレーン１７や
青（Ｂ）プレーン１８において該文字「Ｒｅｄ」と同じ
位置にある画素との論理和が取られることにより黒文字
「Ｒｅｄ」が抽出される。

【００５９】なお、プレーン統合部８は論理和に代わる
他の論理演算を実行することによって黒文字プレーン１
９を作成することとしてもよい。

【００６０】図１３は、論理和により白文字が統合され
る場合を示す図である。以下において図１３を参照しつ
つ、プレーン統合部８が採用する白文字プレーン２０の
基本的生成方法を説明する。まず図１３（ａ）におい
て、赤（Ｒ）プレーン１６における白ランの連結成分に
基づいて設定された文字矩形２２中の白画素をピクセル
Ｒ、緑（Ｇ）プレーン１７における白ランの連結成分に
基づいて設定された文字矩形２２中の白画素をピクセル
Ｇ、青（Ｂ）プレーン１８における白ランの連結成分に
基づいて設定された文字矩形２２中の白画素をピクセル
Ｂとする。このとき、これら３つのプレーンを統合した
後の白画素をピクセルＷＨとすると、プレーン統合部８
は、ピクセルＲとピクセルＧ、及びピクセルＢの論理和
を取ることによって該ピクセルＷＨを求め、図１３
（ｂ）に示された白文字プレーン２０を生成する。

【００６１】なお、プレーン統合部８は論理和に代わる
他の論理演算を実行することによって白文字プレーン２
０を作成することとしてもよい。

【００６２】次に領域識別部９は、上記のような方法に
より生成された黒文字プレーン１９と白文字プレーン２
０の画像をそれぞれ、文字領域や表領域、あるいは図そ
の他を示す領域などに識別し、識別された該文字領域中
の文字を文字認識部１０が認識する。

【００６３】最後に、上記のような本実施の形態に係る
文書画像処理装置を文字認識と、画像認識に適用した具
体例を説明する。まず、図１４を参照しつつ、上記文字
認識における動作を説明する。なお以下においては、図
１に示されたものと同じサンプル画像５０を用いて説明
する。

【００６４】まずプレーン分割部２は、サンプル画像５
０をＲプレーン５４とＧプレーン５５、及びＢプレーン
５６にプレーン分割する。そして二値化部３は、これら
のＲプレーン５４とＧプレーン５５、及びＢプレーン５
６をそれぞれ、上記判別分析法を用いてプレーン毎に二
値化し、Ｒプレーン７０とＧプレーン７１、及びＢプレ
ーン７２を生成する。ここで、外接矩形作成部４は、二
値化されたＲプレーン７０とＧプレーン７１、及びＢプ
レーン７２において、それぞれ外接矩形２１を生成し、
該外接矩形２１を抽出する。

【００６５】次に、矩形毎の再二値化部５は、二値化さ
れたＲプレーン７０とＧプレーン７１、及びＢプレーン
７２において抽出された外接矩形２１内の画像を、該画
像に含まれた文字「１．ＡＢ」の判別が可能となるまで
繰り返し再二値化し、Ｒプレーン７３とＧプレーン７
４、及びＢプレーン７５を生成する。

【００６６】そして、プレーン統合部８は、再二値化に
より得られたＲプレーン７３とＧプレーン７４、及びＢ
プレーン７５を統合することにより統合プレーン７６を
生成し、さらに再二値化を実行する前のＧプレーン７１
及びＢプレーン７２と統合プレーン７６とを併合して、
二値のテキスト画像からなる統合プレーン７７を生成す
る。

【００６７】次に領域識別部９は、得られた統合プレー
ン７７において該サンプル画像を構成する各領域を識別
し、文字認識部１０は該統合プレーン７７全体において
文字認識を実行する。なお、上記プレーンの統合におい
ては、例えばサンプル画像５０の横幅一杯に伸びる領域
等といった、明らかに妥当でない大きさを有する外接矩
形に含まれた画像は該統合の対象としない。

【００６８】次に、図１５を参照しつつ、上記画像認識
における動作を説明する。なお以下においては、図２に
示されたものと同じサンプル画像６１を用いて説明す
る。

【００６９】まずプレーン分割部２は、サンプル画像６
１をＲプレーンとＧプレーン、及びＢプレーンにプレー
ン分割する。そして二値化部３は、これらのプレーンを
それぞれ、上記判別分析法を用いてプレーン毎に二値化
し、Ｒプレーン８１とＧプレーン８２、及びＢプレーン
８３を生成する。なお該二値化により、サンプル画像６
１に含まれた第一画像６３と第二画像６５とに応じて二
値画像６９が生成される。

【００７０】次に、外接矩形作成部４は、二値化された
Ｒプレーン８１とＧプレーン８２、及びＢプレーン８３
においてそれぞれ外接矩形を生成し、所定の大きさより
大きな外接矩形を抽出する。

【００７１】次に、矩形毎の再二値化部５は、二値化さ
れたＲプレーン８１とＧプレーン８２、及びＢプレーン
８３において抽出された外接矩形内の画像を、第一画像
６３と第二画像６５との判別が可能となるまで繰り返し
再二値化し、Ｒプレーン８４とＧプレーン８５、及びＢ
プレーン８６を生成する。なお、上記再二値化を所定回
数繰り返しても複数の画像に分けられなければ、該再二
値化を終了する。

【００７２】そして、プレーン統合部８は、再二値化に
より得られたＲプレーン８４とＧプレーン８５、及びＢ
プレーン８６を統合することにより二値のテキスト画像
からなる統合プレーン８７を生成する。なお、背景画像
と対象画像とが分けられない場合、すなわち、上記にお
いて第一画像６３と第二画像６５とが該再二値化によっ
ても分けられないような場合には、それらにより生成さ
れた二値画像６９は上記統合の対象とされない。

【００７３】そして、領域識別部９は、得られた統合プ
レーン８７において該サンプル画像を構成する各領域を
識別し、文字認識部１０は該統合プレーン８７全体にお
いて画像認識を実行する。

【００７４】

【発明の効果】上述の如く、本発明によれば、色空間上
の位置情報に基づいて色空間における色分布を求めるこ
とはせずに、入力カラー画像を複数プレーンに分割し、
それぞれのプレーンを二値化し、それぞれのプレーンか
ら文字矩形を求め、入力カラー画像を文字矩形内のみ再
び二値化することにより、それぞれのプレーンを再構築
し、あるプレーンの文字矩形内の画素と他のプレーンの
同じ座標での画素との論理演算により、濃い文字プレー
ンと薄い文字プレーンの二つのプレーンに文字を抽出す
るようにしたものであるから、カラー文書から高速にか
つ高精度に濃い文字と薄い文字の抽出を行うことができ
る。

【図面の簡単な説明】

【図１】従来の文字認識方法を説明する図である。

【図２】従来の画像認識方法を説明する図である。

【図３】本発明の実施の形態に係る文書画像処理装置の
全体構成を示すブロック図である。

【図４】図３に示された外接矩形作成部による外接矩形
の作成動作を説明するフローチャートである。

【図５】包含された外接矩形を削除する第一の例を示す
図である。

【図６】包含された外接矩形を削除する第二の例を示す
図である。

【図７】矩形情報による再二値化の例を示す図である。

【図８】図３に示された外接矩形作成部による文字を含
んだ外接矩形の抽出動作を示すフローチャートである。

【図９】図３に示された矩形毎の再二値化部による再二
値化動作を示すフローチャートである。

【図１０】図３に示された矩形毎の再二値化部の動作を
説明するための第一の濃度ヒストグラムを示す図であ
る。

【図１１】図３に示された矩形毎の再二値化部の動作を
説明するための第二の濃度ヒストグラムを示す図であ
る。

【図１２】論理和による黒文字の統合を示す図である。

【図１３】論理和による白文字の統合を示す図である。

【図１４】本発明の実施の形態に係る文書画像処理装置
による文字認識を説明する図である。

【図１５】本発明の実施の形態に係る文書画像処理装置
による画像認識を説明する図である。

【符号の説明】

１画像入力部２プレーン分割部３二値化部４外接矩形作成部５矩形毎の再二値化部６外接矩形再作成部７矩形制御部８プレーン統合部９領域識別部１０文字認識部１１，１２，１５外接矩形１３入力画面１４ページ１６，５４，５７，７０，７３，８１，８４赤（Ｒ）
プレーン１７，５５，５８，７１，７４，８２，８５緑（Ｇ）
プレーン１８，５６，５９，７２，７５，８３，８６青（Ｂ）
プレーン１９黒文字プレーン２０白文字プレーン２１，２２文字矩形５０，６１サンプル画像５１赤色文字５３背景画像６０，６７，７６，７７，８７統合プレーン６３第一画像６５第二画像６９二値画像８９，９０，９１画素グループ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 1/46 Ｚ

Claims

【特許請求の範囲】

【請求項１】カラー画像データを入力する画像入力手
段と、前記カラー画像データのＲＧＢ各成分をある係数で重み
付けして複数のプレーンに分割するプレーン分割手段
と、前記複数のプレーンをそれぞれ二値化する二値化手段
と、二値化されたそれぞれのプレーンの黒連結成分、白連結
成分により外接矩形を作成する外接矩形作成手段と、それぞれのプレーンの外接矩形内を前記カラー画像デー
タにより再度二値化する再二値化手段と、前記二値化手段と再二値化手段で得られた二値化画像に
対し外接矩形を再び作成する外接矩形再作成手段と、あるプレーンの外接矩形内の画素と他のプレーンの同じ
座標での画素との論理演算によりその画素の値を決定す
るプレーン統合手段と、統合されたプレーンを文字領域、表領域などの領域に分
割する領域識別手段と、文字領域での二値画像から文字認識を行う文字認識手段
とを備えたことを特徴とする文字画像処理装置。
【請求項２】請求項１記載において、プレーン内の黒連結成分による外接矩形と、白連結成分
による外接矩形とが包含関係にある場合、内側の外接矩
形を削除する矩形制御手段をさらに備えたことを特徴と
する文書画像処理装置。