JP2002312794A - 画像処理方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】 下地色による文字領域の範囲指定がなされた
カラー文書画像においては、従来の領域分割処理によれ
ば二値化の際に該下地色による情報が失われてしまうた
め、正確な領域分割ができなかった。 【解決手段】 文書を含む画像データを入力する入力工
程(S201)と、該画像データを輝度変換して輝度画像デー
タを生成する輝度変換工程(S202)と、該輝度画像データ
を二値化して二値画像データを生成する二値化工程(S20
3)と、該輝度度画像データを微分して微分画像データを
生成する微分工程(S204)と、前記二値画像データと前記
微分画像データを合成して合成二値画像データを生成す
る合成工程(S205)と、該合成二値画像データを文字領域
を含む複数種類の領域に分割する領域分割工程(S206)
と、を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法及びそ
の装置に関し、特に、文書の電子化処理を行う画像処理
方法及びその装置に関する。

【０００２】

【従来の技術】近年、情報の電子化が進み、文書を紙で
はなく、電子化して保存あるいは送信する需要が高まっ
ている。特に、蓄積メディアの低価格化、および通信帯
域の増大により、電子化の対称となる文書は、白黒二値
のみからフルカラー（多値）文書へと、その対象を広げ
つつある。ここでいう文書の電子化とは、単に紙上の文
書をスキャナ等によって光電変換することによって画像
データを得るにとどまらず、該文書に記載されている内
容を認識して、文書を構成する文字、記号、図、写真、
表等の性質の異なる領域に分割し、文字領域は文字コー
ド情報、図領域はベクトルデータ、写真領域は画像デー
タ、表領域は構造データ、といったように、各々最も適
した形式にデータ化する処理を含む。

【０００３】このような文書の電子化処理の第1段階と
して、1頁の文書画像に記載された内容を分析して、文
字や図、写真、表など異なる性質の部分要素に分割す
る、すなわち領域分割処理が行われる。図20に、一般的
な領域分割の例を示す。領域分割処理の具体的な実現例
としては、USP5680478“Method and Apparatusforchara
cter recognition (Shin-YwanWang et al./CanonK.
K.)”等がある。この例によれば、文書画像中の黒画素
の8連結輪郭塊及び白画素の4連結輪郭塊の集合を抽出
し、その形状、大きさ、集合状態等に基づき、文字、絵
や図、表、枠、線、といった、文書内の特徴的な領域を
抽出している。上述した領域分割処理においては、その
動作原理より、入力される文書画像が白黒二値であるこ
とが前提となる。従って、この技術を利用してカラー文
書の領域分割を行うためには、処理対象のカラー文書画
像を二値化する必要がある。

【０００４】一般に、カラー画像の二値化処理において
は、カラー画像を輝度画像に変換し、輝度値の分布に基
づいて文字部と背景部とを分離する閾値を求め、画像の
各画素を該輝度閾値を境に黒又は白の画素へと変換す
る、という手順で行われる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の、カラー画像を二値化して領域分割を行う方法にお
いては、適切な領域分割が行えない場合があるという問
題があった。以下、このような問題を図21を参照して説
明する。

【０００６】図21において、2101はカラー文書であり、
その下半分の薄色の下地領域に黒い文字が記載されてお
り、それ以外（上半分）は無地、すなわち 白色の下地
に黒い文字が記載されている。このようなカラー文書に
おいては、その上半分と下半分とでは、その記載内容が
互いに異なるカテゴリーに含まれるものであろうと推測
される。

【０００７】次に、カラー文書2101に対して上記従来の
二値化処理を施した場合、二値画像2102が生成される。
二値画像2102においては、その下地の色は除去されて全
て白画素となり、文字は全て黒画素になっている。この
ような二値画像2102に対して上記従来の領域分割処理を
行うことにより、分割されたテキスト領域TEXT1,TEXT2
を含む画像2103が得られる。画像2103においては、元の
カラー文書2101の下半分に存在していた下地付き領域の
情報が欠落してしまっているために、該画像2103におけ
るテキスト領域TEXT1及びTEXT2はそれぞれ、本来であれ
ばその中央で上下2部に分離されるべきであるにもかか
わらず、一領域として結合してしまっている。

【０００８】このように、上記従来の領域分割処理にお
いては、カラー画像が有していた下地色による文字領域
の範囲指定情報が、二値化の際に失われてしまうという
問題があった。

【０００９】また、図21に示した下地色の場合と同様
に、薄い色の罫線が描かれた表領域を有するカラー画像
についても、やはり二値化によって罫線が消失してしま
い、表としての情報が失われてしまうという問題があっ
た。

【００１０】本発明は上述した問題を解決するためにな
されたものであり、画像を二値化して領域分割する際
に、該画像が有する情報を適切に反映することによっ
て、より高精度な領域分割処理を可能とする画像処理方
法及びその装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明の画像処理方法は以下の工程を
備える。

【００１２】すなわち、文書を含む画像データを入力す
る入力工程と、該画像データを輝度変換して輝度画像デ
ータを生成する輝度変換工程と、該輝度画像データを二
値化して二値画像データを生成する二値化工程と、該輝
度度画像データを微分して微分画像データを生成する微
分工程と、前記二値画像データと前記微分画像データを
合成して合成二値画像データを生成する合成工程と、該
合成二値画像データを文字領域を含む複数種類の領域に
分割する領域分割工程と、を有することを特徴とする。

【００１３】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。

【００１４】＜第１実施形態＞ ●装置構成 図1に、本実施形態における画像処理装置（システム）
の概観を示す。同図において、701はコンピュータ装置
であり、本発明の文書処理プログラムを実行する。コン
ピュータ701には、ユーザに処理状況や画像を表示する
ためのディスプレイ装置702、およびユーザの操作を受
け付けるキーボードやマウス等の入力インタフェース70
3が付随する。704はスキャナ装置であり、紙上の文書を
光学的に読み取って電子化し、得られた画像データをコ
ンピュータ701に送る。図2は、図1に示すシステムにお
いて実行される領域分割処理の機能構成を示すブロック
図である。101はスキャナ204によって紙上の文書をカラ
ー画像データとして入力する入力部、102は入力された
カラー画像データを輝度画像データに変換する輝度変換
部、103は輝度画像データを二値画像データに変換する
二値化部、104は輝度画像データを微分画像データに変
換する微分画像生成部、105は二値画像データと微分画
像データを合成して二値の合成画像データを生成する画
像合成部、106は二値の合成画像データを文字、図、
表、枠、線等の要素に分割する領域分割部、107は領域
分割結果のファイル出力または画像表示等を行う出力
部、である。

【００１５】●領域分割処理概要 上述した構成からなる本実施形態における領域分割処理
について、その概略を図3のフローチャートを参照して
説明する。

【００１６】まずステップS201では、入力部101(スキャ
ナ704)より紙文書を入力し、カラー画像データを得る。
ここでは、該カラー画像データにおけるカラー表現形式
をRGB各色8ビットによる256階調とするが、他の形式で
あっても構わない。

【００１７】次にステップS202において、輝度変換部10
2でカラー画像データを輝度画像データへと変換する。
ここでは輝度画像データは1画素あたり0〜255のグレイ
スケール形式であるため、変換後の各画素の輝度Yは、
各画素のRGB値に基づき以下の一般的な変換式によって
算出される。

【００１８】Y = 0.299R + 0.587G + 0.114B そしてステップS203では、二値化部103において、輝度
画像データを二値化することによって、白黒の二値画像
データを得る。以下、図4を参照して本実施形態におけ
る二値化処理について詳細に説明する。

【００１９】図4において、画像801は入力されたカラー
画像を輝度変換した輝度画像データであり、元のカラー
画像は2つの下地色を有しており、輝度画像データ801内
における802，803の部分がそれぞれ白，青色の下地部分
に相当するとする。一方、文字色はすべて黒色である。

【００２０】図4に示す輝度画像データ801の全体につい
て輝度値のヒストグラムを取ると、図5のようになる。
このヒストグラムには、文字色によるピーク901と、下
地色による2つのピーク902, 903が存在する。

【００２１】上記ヒストグラムにより、文字色と下地色
とを最も良く分離する閾値thを求め、該閾値th以上の値
である画素を0、それ以下の値である画素を1とするよう
な変換（二値化）を行うことにより、図6に示すような
二値画像データが得られる。なお、閾値を決定する具体
的な方法としては周知の方法が利用可能であるため、こ
こでは詳細な説明を省略する。

【００２２】図3に戻り、次にステップS204で、微分画
像生成部104において、輝度画像データを微分画像デー
タに変換する。ここで微分画像とは、輝度画像の全画素
に対してn×nの微分フィルタ演算を施したものである。
本実施形態においては更に、該演算後の画素値に対して
閾値を設け、閾値以上である画素を1、閾値未満である
画素を0とした二値微分画像データを生成する。図7に、
二値微分画像データの例を示す。

【００２３】なお、一般に微分フィルタとしては様々な
種類が知られているが、本実施形態においては直線状の
輝度境界を強く検出する為に、図8に示すような5×5の
一次微分フィルタを用いる。このフィルタを90度ずつ回
転させることによって、4方向の微分演算を各画素に施
すことができる。しかしながら、該フィルタは図8に示
す例に限定されず、元の画像の解像度や輝度に応じて適
当なサイズのフィルタに変更しても良いし、二次微分フ
ィルタを用いても良い。

【００２４】ステップS205では、画像合成部105におい
て、ステップS203で得られた二値画像データと、ステッ
プS204で得られた二値微分画像データとを合成する。具
体的には、単純に各画素毎に両者の論理和(OR)をとるこ
とによって合成する。図9に、該合成結果として得られ
る二値画像の例を示す。

【００２５】そしてステップS206では、領域分割部106
において、合成後の白黒二値の文書画像について、これ
を文字領域、図領域、表領域、線領域等の各領域に分割
する。この分割処理の詳細については後述する。

【００２６】そしてステップS207で、出力部107におい
て、文書の領域分割結果を出力する。すなわち、文書が
文字領域、図領域、表領域、線領域等に分割された結果
が、出力される。

【００２７】●領域分割処理詳細 以下、上記ステップS206における領域分割処理につい
て、図10，図11及び図17のフローチャートを参照して詳
細に説明する。

【００２８】まず図10は、該領域分割処理が、2つのス
テップに大別されることを示している。ステップS301で
は、白黒二値の文書画像より抽出される画素の塊りを、
文字、図、表、線等の細かい文書要素へと分類し、それ
らの相対関係を木構造により表現する。そしてステップ
S302ではこの木構造に基づいて、文字として分類された
要素を集合化し、各集合をそれぞれ文字領域とする。

【００２９】図11は、上記ステップS301における要素抽
出・木構造化処理の詳細を示すフローチャートである。

【００３０】まずステップS401において、二値画像から
すべての黒画素の8連結輪郭塊を抽出する。黒画素の8連
結輪郭塊とは、図12に示すように、縦横斜めに接触した
画素によって形成された輪郭を持つ黒画素の集合のこと
である。以降、この集合を黒画素塊と称する。

【００３１】次にステップS402では、予想される最大文
字高さおよび幅に対して定められた閾値よりも小さい黒
画素塊を、１文字要素“CHAR”であると判定する。

【００３２】ステップS403では、一定比率以上で縦長あ
るいは横長である黒画素塊を、線要素“LINE”と判定す
る。またステップS404では、黒画素のなす輪郭形状が細
い斜め線状である黒画素塊を同様に線要素“LINE”と判
定する。

【００３３】ステップS405では、黒画素の輪郭形状が四
角形であるか否かを調べ、四角形であればステップS406
へ進み、四角形でなければ、該黒画素塊を絵要素“PICT
URE”と判定する。図13に、輪郭形状が四角形である黒
画素塊、及び四角形以外の黒画素塊の例を示す。

【００３４】ステップS406では、黒画素塊の内部に存在
する白画素の4連結輪郭塊を抽出する。白画素の4連結輪
郭塊とは、図14に示すように、縦横のみに接触した画素
によって形成された輪郭を持つ白画素の集合のことであ
る。以降、この集合を白画素塊と称する。

【００３５】ステップS407では、黒画素塊から抽出され
る白画素塊の形状がすべて四角形であり、かつ 黒画素
塊内を隙間なく埋めている場合、この黒画素塊を表要素
“FRAME”と判定する。図15の(a)，(b)に、表要素“FRA
ME”とその内部の白画素塊の集合の例を示す。

【００３６】また、ステップS407までの何れの条件にも
あてはまらない黒画素塊を、絵要素“PICTURE”とす
る。図15の(c)に、絵要素“PICTURE”とその内部の白画
素塊の集合の例を示す。

【００３７】本実施形態においては領域分割処理のこの
時点において、上記各要素の親となる要素“GROUND”の
概念を導入することを特徴とする。例えば、画面全体を
ひとつの親要素“GROUND”とすると、これまでの処理に
よって画像から抽出された各要素は、すべてその子要素
であるとして表現される。

【００３８】そして、それら全ての子要素のうち、表要
素“FRAME”と判定された黒画素塊について、その内部
で抽出された白画素塊のそれぞれをまた親要素“GROUN
D”とし、更にこの親要素である白画素塊の内部に対し
てステップS401〜S407の処理を行うことによって、その
子要素を抽出する。該子要素として更に表要素“FRAM
E”が抽出された際には、その内部について同様の要素
抽出処理を、再帰的に繰り返す。

【００３９】すべての再帰的内部探索が終了した時点に
おいて、画像から抽出された各要素は木構造を構成して
いる。図16に、文書画像例と、その抽出された要素によ
る木構造の例を示す。

【００４０】次に、図10のステップS302における文字領
域作成処理の詳細を、図17のフローチャートを参照して
説明する。該処理においては、前段において分類された
１文字要素“CHAR”をグループ化することによって、行
領域及び文字領域を作成する。

【００４１】まずステップS501において１文字要素“CH
AR”のそれぞれに対し、隣りあう１文字要素“CHAR”と
の水平距離が所定の閾値内にあるもの同士をグループ化
する。このグループを行要素“TEXTLINE”と称する。但
し、このグループ化は、同じ親要素“GROUND”内の子要
素である１文字要素“CHAR”間のみで行う。

【００４２】ステップS502では更に、生成された複数の
行要素“TEXTLINE”それぞれに対し、隣りあう行要素
“TEXTLINE”との垂直距離が所定の閾値内にあるもの同
士をグループ化する。この行要素“TEXTLINE”の集合
を、文字群要素“TEXT”と称する。但し、このグループ
化も、同じ親要素“GROUND”内の１文字要素“CHAR”か
らなる行要素“TEXTLINE”の間のみで行う。

【００４３】本実施形態においてはすなわち、文字群要
素“TEXT”が文字領域となり、絵要素“PICTURE”が図
や写真領域、線要素“LINE”が線領域、表要素“FRAM
E”は表や枠領域として、分類される。

【００４４】●領域分割結果 以下、上述した領域分割処理による分割結果について、
その具体例を説明する。

【００４５】図10のステップS302における文字領域作成
時のグループ化は、ステップS301で得られた木構造に基
づいて行われる。よって、例えば図18に示すように、二
値画像上に実線で示される枠領域“FRAME1”が存在する
場合、該“FRAME1”の内外の文字は、必ず異なるグルー
プに属する。すなわち、文書上の左右２段に存在する文
字領域はそれぞれ、“TEXT1”と“TEXT3”、及び“TEXT
2”と“TEXT4”、のように異なる文字領域に分割され
る。

【００４６】同様に、図19の左側部に示すような色下地
を有するカラー画像を処理する場合にも、二値化画像と
微分画像との合成処理によって同図中央部に示すような
白黒二値画像が生成され、該白黒二値画像に対して領域
分割処理が行われる。その結果、同図右側部に示すよう
に、色下地上の文字は、他の文字とは異なる文字領域と
して分割される。すなわち、図18に示した実線枠を有す
る場合と同様の、理想的な領域分割結果が得られる。

【００４７】また、薄い色の罫線が描かれた表領域が存
在する文書画像についても同様に、二値化画像とその微
分画像との合成画像を、領域分割処理対象とすることに
よって、罫線の情報が失われることなく、適切な領域分
割が実行される。

【００４８】図9に示したように、二値画像に対してそ
の輝度微分画像を合成しても、二値画像の特に文字部に
ついては大きな変化は生じない。従って本実施形態にお
いてはステップS206に示すように、従来の白黒二値画像
に対する領域分割処理を殆んど変更せずにそのまま流用
しつつ、色下地や色表を含むカラー画像にも適切に対応
した領域分割処理を実行することができる。

【００４９】以上説明したように本実施形態によれば、
カラー画像を二値化して領域分割処理を行う際に、該二
値化画像に対して、該カラー画像の輝度の微分画像を二
値化したものを合成することによって、二値化の際に失
われてしまった色下地や罫線等の情報をも正しく反映し
た文字領域の抽出が可能となり、より高精度な領域分割
処理を行うことができる。

【００５０】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機、ファクシミリ
装置など）に適用してもよい。

【００５１】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００５２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００５３】

【発明の効果】以上説明したように本発明によれば、画
像を二値化して領域分割する際に、該画像が有する情報
を適切に反映した、より高精度な領域分割処理が可能と
なる。

【図面の簡単な説明】

【図1】本発明に係る一実施形態における画像処理装置
の概観図である。

【図2】本実施形態における領域分割処理の機能構成を
示すブロック図である。

【図3】本実施形態における領域分割処理の概要を示す
フローチャートである。

【図4】本実施形態における輝度画像の一例を示す図で
ある。

【図5】本実施形態における輝度画像ヒストグラムの一
例を示す図である。

【図6】本実施形態における二値化画像の一例を示す図
である。

【図7】本実施形態における微分画像の一例を示す図で
ある。

【図8】本実施形態における微分フィルタの一例を示す
図である。

【図9】本実施形態における合成画像の一例を示す図で
ある。

【図10】本実施形態における領域分割処理を示すフロー
チャートである。

【図11】本実施形態における文書要素抽出処理を示すフ
ローチャートである。

【図12】本実施形態における黒画素の8連結輪郭塊の一
例を示す図である。

【図13】本実施形態における四角形の黒画素塊の一例を
示す図である。

【図14】本実施形態における白画素の4連結輪郭塊の一
例を示す図である。

【図15】本実施形態における内部白画素塊の整列例を示
す図である。

【図16】本実施形態における抽出要素による木構造の一
例を示す図である。

【図17】本実施形態における文字領域作成処理を示すフ
ローチャートである。

【図18】本実施形態における枠領域を有する文書の領域
分割例を示す図である。

【図19】本実施形態における色付き下地領域を有する文
書の正しい領域分割例を示す図である。

【図20】一般的な領域分割処理の一例を示す図である。

【図21】色付き下地領域を有する文書の誤った領域分割
例を示す図である。

【符号の説明】

101 入力部 102 輝度変換部 103 二値化部 104 微分画像生成部 105 画像合成部 106 領域分割部 107 出力部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B064 AA01 BA01 CA08 FA13 5L096 AA02 AA06 BA08 BA18 CA18 DA01 EA43 FA18 FA44 FA45 FA46 FA64 FA74 GA02 GA41

Claims (14)

【特許請求の範囲】
1. 【請求項１】 文書を含む画像データを入力する入力工
   程と、 該画像データを輝度変換して輝度画像データを生成する
   輝度変換工程と、 該輝度画像データを二値化して二値画像データを生成す
   る二値化工程と、 該輝度画像データを微分して微分画像データを生成する
   微分工程と、 前記二値画像データと前記微分画像データを合成して合
   成二値画像データを生成する合成工程と、 該合成二値画像データを文字領域を含む複数種類の領域
   に分割する領域分割工程と、を有することを特徴とする
   画像処理方法。
2. 【請求項２】 前記微分工程においては、前記輝度画像
   データの全画素に対して所定の微分フィルタによるフィ
   ルタ演算を施すことによって、前記微分画像データを生
   成することを特徴とする請求項１記載の画像処理方法。
3. 【請求項３】 前記微分工程においては、前記フィルタ
   演算後の画素値を所定の閾値で二値化することによっ
   て、前記微分画像データを生成することを特徴とする請
   求項２記載の画像処理方法。
4. 【請求項４】 前記合成工程においては、前記二値画像
   データと前記微分画像データの論理和をとることによっ
   て、前記合成二値画像データを生成することを特徴とす
   る請求項１記載の画像処理方法。
5. 【請求項５】 前記領域分割工程においては、前記合成
   二値画像データを文字領域、図領域、表領域、線領域の
   少なくともいずれかに分割することを特徴とする請求項
   １記載の画像処理方法。
6. 【請求項６】 前記領域分割工程は、 前記合成二値画像データから前記各領域要素を抽出する
   要素抽出工程と、 該抽出された文字領域要素に基づいて文字領域を作成す
   る文字領域作成工程と、を有することを特徴とする請求
   項５記載の画像処理方法。
7. 【請求項７】 前記要素抽出工程においては、前記各領
   域要素を、木構造をなすように抽出することを特徴とす
   る請求項６記載の画像処理方法。
8. 【請求項８】 前記要素抽出工程においては、表領域を
   親要素として抽出し、該親要素の内部から前記各領域要
   素を子要素として抽出する処理を、再帰的に行うことを
   特徴とする請求項７記載の画像処理方法。
9. 【請求項９】 前記文字領域作成工程においては、抽出
   された文字領域要素を前記木構造に基づいてグループ化
   することによって、前記文字領域を作成することを特徴
   とする請求項７記載の画像処理方法。
10. 【請求項１０】 前記文字領域作成工程においては、前
    記木構造における１枝内において、抽出された文字領域
    要素が互いに所定距離内にあるもの同士をグループ化す
    ることを特徴とする請求項９記載の画像処理方法。
11. 【請求項１１】 前記入力工程においては、記録媒体上
    の文書を光学的に読み取って光電変換を施すことによ
    り、カラー画像データとして入力することを特徴とする
    請求項１記載の画像処理方法。
12. 【請求項１２】 文書を含む画像データを入力する入
    力手段と、 該画像データを輝度変換して輝度画像データを生成する
    輝度変換手段と、 該輝度画像データを二値化して二値画像データを生成す
    る二値化手段と、 該輝度度画像データを微分して微分画像データを生成す
    る微分手段と、 前記二値画像データと前記微分画像データを合成して合
    成二値画像データを生成する合成手段と、 該合成二値画像データを文字領域を含む複数種類の領域
    に分割する領域分割工程と、を有することを特徴とする
    画像処理装置。
13. 【請求項１３】 コンピュータで実行されることによっ
    て、請求項１乃至６のいずれかに記載の画像処理方法を
    該コンピュータ上において実現することを特徴とするプ
    ログラム。
14. 【請求項１４】 請求項１３記載のプログラムを記録し
    た記録媒体。