JP2006107290A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 文書画像におけるラインアートを部品ごとにアウトラインベクトル化することは困難であった。
【解決手段】 文書画像データから抽出され、2値化および細線化されたラインアート部分について、輪郭線抽出部15で輪郭線ループを抽出する。そして該輪郭線ループが内側輪郭であるか外側輪郭であるかを判定し、不要輪郭線消去部18において、最大外接矩形内にある外側輪郭についての輪郭線ループを削除する。そして、残った輪郭線ループについて、輪郭線パス記述部19で単独パス命令が記述される。
【選択図】 図1

Description

本発明は、文書画像におけるラインアート部をアウトラインベクトル化する画像処理装置およびその方法に関する。

近年、情報の電子化技術の発展に伴い、文書を電子化して、保存あるいは送信するシステムが普及している。電子化対象となる文書としては、白黒2値の画像からフルカラー（多値）画像へと、その対象も広がっている。

ここでいう電子文書とは、単に紙上の文書をスキャナなどで読み取ることによって得られる画像データのみに留まらない。例えば、文書画像の領域を分離し、文字領域には文字認識処理を施して文字コード列に変換し、ラインアート部はアウトラインのベクトルデータに変換するなど、より高度な情報へ変換して生成された電子文書画像データなどもある。

従来から、このような電子文書を作成するためにいろいろな試みがなされてきた。

例えば、文書画像の領域分割を行う例として、カラー画像を入力して2値化したデータを、テキスト部、ライン部、ピクチャー部に領域分割する方法が知られている。具体的には、2値画像の連結性を計算しながら黒画素の塊の大きさを判定し、文字領域、ラインアート領域、写真領域などの特徴に照らし合わせて分離していく方法がある（例えば、特許文献１参照）。

また、アウトラインのベクトル化の方法としては、2値画像の輪郭線を追跡し、その座標ベクトルを選択する方法が知られている（例えば、特許文献２参照）。このようにして得られたベクトルデータを、多角形などを描画するグラフィック命令に置き換えることによって、CADシステム等で利用することも可能である。

図12は、従来の方法によって生成されたアウトラインベクトルデータを用いた描画例を示す図であり、該ベクトルデータとしては、輪郭線が直線または曲線のまとまりであるパスとして記述されている。

ここでパスとは、主に単独パスと複合パスに分類される。単独パスとは、１つの閉曲線（輪郭線ループ）を１つのパス記述で表現したものであり、複合パスとは、1つのパス記述で複数の曲線（輪郭線ループ）を表現したものである。複合パスによって外側輪郭と内側輪郭を記述すると、その間を別の色で塗ることができるため、線幅が変化するようなラインアートを表現することが可能である。図12に示す描画例においては、複合パスを解除して単独パスに変更することによって、線の幅だけ大きさの違う複数のパスデータが構成され、2重線の状態となる例を示している。すなわち、特に輪郭の細線化は行っていない。

図13も従来のアウトラインベクトルデータを用いた図形描画例を示す図であり、一般に市販されているアプリケーション（例えば、Adobe Streamline（商標））によって、図12と同様のラインアートに対して「中心線、アウトライン設定」によるベクトル化を行った例を示すものである。この例によれば、図形が線部品になるように分割されていることが分かる。
特開2002-314806号公報 特登録02885999号公報

一方、アウトラインベクトル化したデータについて、必要な箇所ごとに部品化することができれば、中塗り等の再利用を行うのに都合が良い。しかしながら、複数の輪郭線ループを表現する複合パスによってベクトルデータを構成すると、これを部品化することは困難であった。

そこで図12に示すように複合パスを解除して単独パスに変換したとしても、上述したように2重線状態となるため、中塗り等を行なう際、部品ごとに分けて再利用するには不向きである。

また、図13に示すように図形を線部品に分割した場合にも、ラインが重なっている部品は１つの線部品として記述されているので、やはり中塗り等を行なう際、部品ごとに分けて再利用するには不向きである。つまり、ラインが途中で分岐し、その分岐しているラインが別々の領域を表していたとしても、該ラインは１つの線部品として記述されているので、部品ごとに塗りつぶした（色をつけた）場合、領域の区別がなくなってしまい、再利用するには不向きである。

このように、ラインアート部をアウトラインベクトル化する際に、輪郭線ループを構成するパスを再利用が容易となるように部品化することは困難であった。

本発明は上述の問題を解決するためになされたものであり、文書画像内のラインアートを部品化する画像処理装置およびその方法を提供することを目的とする。

本発明は、上記目的を達成する一手段として、以下の構成を備える。

すなわち、文書画像におけるラインアート部をアウトラインベクトル化する画像処理装置であって、文書画像データを入力する画像入力手段と、前記文書画像データからラインアート部分を抽出するラインアート抽出手段と、前記ラインアート部分の画像データを2値化して細線化する細線化手段と、該細線化されたラインアート部分における輪郭線ループを抽出する輪郭線抽出手段と、該抽出された輪郭線ループのうち、所定の属性である輪郭線ループを選択する輪郭線選択手段と、該選択された輪郭線ループをパス命令として記述するパス記述手段と、を有することを特徴とする。

たとえば、前記輪郭線選択手段は、前記輪郭線ループが内側輪郭であるか外側輪郭であるかを判定する方向判定手段と、外側輪郭であると判定された輪郭線ループを削除する輪郭線削除手段と、を有することを特徴とする。

前記輪郭線選択手段はさらに、外側輪郭の輪郭線ループが、前記内側輪郭の輪郭線ループで表現できるかどうか検出する検出手段を有し、前記輪郭線削除手段は、前記検出手段において前記内側輪郭の輪郭線ループで表現できるとされた外側輪郭の輪郭線ループを削除し、前記検出手段において前記内側輪郭の輪郭線ループで表現できないとされた外側輪郭の輪郭線ループを残すことを特徴とする。

また、前記パス記述手段は、前記輪郭線ループそれぞれを単独の輪郭パス命令として記述することを特徴とする。

本発明によれば、文書画像内のラインアート部を部品化することが可能になる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。

＜第1実施形態＞
図1は、本実施形態を実現する画像処理装置における、主要な機能構成を示すブロック図である。

図1において、10は画像入力部であり、例えばスキャナ等の画像読み取り装置であって、文書画像が入力される。ここで、本実施形態における文書画像の例を図2に示す。図2に示すように、本実施形態ではテキスト領域、写真領域、ラインアート領域などから構成されている文書画像を処理対象とする。

図1に戻り、11は領域分割部であり、図2に示したような文書画像をテキスト領域、写真領域、ラインアート領域等に、矩形領域として分割する。これら各領域の分割アルゴリズムとしては、周知の領域分割技術を適用することができる。なお、これら分割された領域を除いた残りの画像を、背景領域とする。12は、入力画像からラインアート領域の画像を切り出す処理を行うラインアート切り出し部である。13は2値化部であり、ラインアート領域をラインアートの描画色と背景色とに分ける2値化処理を行う。14は細線化処理部であり、2値化されたラインアートは所定の線幅を持った画像であるので、これを線幅1の画像に変換する。

ここで図3Aに2値化部13から出力された2値化画像の例を示し、該画像が細線化部14において細線化された例を図3Bに示す。なお、この細線化の変換アルゴリズムとしてはHilditchの方式等、周知の技術を用いることができる。

15は輪郭線抽出部であり、細線化画像から輪郭線を抽出する。ここで、輪郭線の抽出方法について図4A，図4Bを用いて説明する。

図4A，図4Bは、周知の輪郭追跡アルゴリズムの一例を説明するための図である。すなわち、図4Aにおいて網点で塗られたマスが輪郭の境界線を示し、抽出された境界線には○印が付されている。図4Aにおいて太枠で囲まれた3×3画素領域を図4Bに示し、該領域における輪郭線抽出について説明する。図4Bに示す3×3のマトリクス領域において、中央が「注目境界点」、その直上が「前の境界点」を示す。図4Bにおいて矢印で示すように、「前の境界点」から左回り（反時計回り）に、「注目境界点」を囲むようにして「次の境界点」を探索する。すなわち、注目画素（注目境界点）の8近傍画素を順次探索して、その値が0（背景色）から1（描画色）へ変わる画素を探すことになる。そして、検出された時点で、当該検出された「次の境界点」を注目境界点として、さらに次の境界点を検出していく。この処理をスタート点にもどるまで継続して行うことにより、輪郭線がループとして抽出できる。この輪郭線ループのデータは境界点の点列データとして得られる。

なお、ここでは左回り（反時計回り）に探索していく例を示したが、右回り（時計回り）に探索していくようにしてもよい。また、外側輪郭線を抽出した後、その抽出した外側輪郭の内部で輪郭追跡を行なうことによって内側輪郭線を抽出することができる。そして、その内側輪郭線の内部を走査して外側輪郭線を更に抽出するといったように、輪郭線が抽出できなくなるまで、再帰的に輪郭線抽出を行なう。さらに、このようにして得た輪郭の境界点の点列（各点の座標データの列）を用いて、直線/曲線で近似したベクトルデータを作成することにより、ベクトル化を行なうことが可能となる。

図1に戻り、17は輪郭線ループの回転方向を検出する回転方向判定部である。なお、輪郭線追跡を行なう際の注目境界点の周りの探索を左回りで行なうか右回りで行なうかによって、輪郭線ループの回転方向が定まるので、輪郭線ループの回転方向に応じて外側輪郭線か内側輪郭線のいずれであるか判定できる。例えば、輪郭線追跡時の探索方向が左回りのとき、輪郭線ループの回転方向は、外側輪郭は左回り、内側輪郭は右回りとなる（輪郭線追跡時の探索方向を右回りで行なった場合、輪郭線ループの回転方向は、外側輪郭は右回り、内側輪郭は左回りとなる）ので、ループデータに変換された後でも、その回転方向が外側であるか内側であるかを判定することができる。回転方向の判定信号は、後段の不要輪郭線消去部18へ送られる。

図5に、本実施形態における回転方向判定方法の一例を示す。まず、抽出されたループにおいて、水平方向、垂直方向のそれぞれについて、最小座標値および最大座標値を求めることによって、ループに外接する長方形が得られる。ここで、垂直方向の最大座標値が得られる点を外接点1とし、水平方向の最小座標値が得られる点を外接点2、水平方向の最大座標値が得られる点を外接点3、垂直方向の最小座標値が得られる点を外接点4として、それぞれ番号をふる。次に、輪郭線ループのデータに基づいて各外接点を順番に並べる。すると、その順番に基づいて該輪郭線ループが右回りであるか左回りであるか判定することが可能である（例えば、1→2→4→3の順になれば左回り、1→3→4→2の順になれば右回りと判定できる）。

図1に戻り、18は不要な輪郭線を消去する不要輪郭線消去部であり、以下に説明するように、本実施形態では外側輪郭の輪郭線ループを消去する。

ここで、本実施形態において抽出される輪郭線の具体例について、図6A，図6Bおよび図7A，図7Bを用いて説明する。

図6Aに示す四角形のラインアートに対して輪郭追跡法を適用した場合、外側の輪郭線追跡と内側の輪郭線追跡が行われる。この結果、図6Bに示すように、輪郭線ループとして外側の輪郭線ループと内側の輪郭線ループの2本のループが得られる。しかしながら、中塗り等の編集処理を行うためにはどちらか1つがあれば十分であるため、本実施形態では内側輪郭線ループだけを残すことにする。なお、図6Aでは、外側輪郭線は右回りのループ、内側輪郭は左回りのループとして、それぞれ抽出される輪郭追跡法を用いた場合を示している。

図7Aに、2つの四角形のラインアートが重なった図形例を示す。この場合、図7Bに示すように、外側輪郭線が１本で、内側の輪郭線が2本得られる。このような場合でも、中塗り等の編集処理を行うためには内側輪郭線ループがあれば十分であるため、やはり内側輪郭線ループのみを残すことにする。

なお、外側と内側の2本の輪郭線では細線（1ライン）分の距離が開いてしまうが、輪郭線を部品化して編集目的に使用する分には問題なく、外側輪郭線と内側輪郭線との差分は許容範内である。

図1に戻り、19は輪郭線パス記述部であり、前段で消去されずに残った輪郭線ループ（内側輪郭線ループ）それぞれについて、単独パス命令での記述を行う。これにより、ラインアートの各部品を構成する輪郭線ループのパスコマンドの生成が行なわれるので、それぞれのパスコマンドを利用して部品ごとに再利用が容易に行なえるようになる。

図8に、ベクター画像の記述言語の１つであるSVG（Scalable Vector Graphics）を用いて内側輪郭線ループのパス記述を行なった場合の例を示す。同図において＜＞はコマンドの塊を表し、"path"がPathコマンドを示す。なお、図8の例では、コマンドが19個記述されていることを説明するために、それぞれのコマンドの前に(1)〜(19)の番号を付けている。

ここで、コマンド(8)の＜path fill="none" stroke="#000000" d="M706,500h2q0,6 2,12.9q2,6.8 10,39.1v4c-1.1,0 -14,-48.8 -14,-53z"/＞を例として、その内容について簡単に説明する。

path fill="none"：塗りつぶしを行わない旨を示す命令
stroke：パスの色を指定する命令
d=：座標値の記述
M：ペンの絶対座標値での移動を示す命令
,h,v：水平、垂直相対座標の移動を示す命令
,c,q：ベジェ曲線の制御命令
ｚ：コマンド終端を示す命令
以上説明したように本実施形態によれば、分割できる部品として、輪郭線ループのパスが記述される。また、内側輪郭線に基づいてパスを記述するので、図7Aのようにラインが重なっているようなラインアートについても、各ラインを別々の部品のパスとして記述することができるので、別々の部品として再利用しやすいデータとなる。したがって、輪郭線ループで構成された図形の塗りつぶし等、再利用が容易なラインアート部品を提供することができる。

なお、上述した輪郭追跡手法では、画素値1（描画色）の画素の8方向（上下左右斜めの方向）の近傍画素を反時計回りに探索することによって外側輪郭線と内側輪郭線の両方を追跡したが、その他の手法を用いても構わない。例えば、外側輪郭線を追跡するときは上述したように画素値1（描画色）の画素の8方向近傍画素を反時計回りに探索することによって輪郭追跡し、更に、その輪郭追跡で得た外側輪郭線の内部において画素値0（背景色）の画素の４方向（上下左右の方向）の近傍画素を反時計回り（又は時計回りのいずれか）に探索することによって内側輪郭線を追跡するようにしてもよく、その場合、回転方向判別部17では、描画色の追跡によって得た輪郭線か背景色の追跡によって得た輪郭線かに基づいて、外側輪郭線であるか内側輪郭線であるかの判別を行なう。

ここで図11を用いて、本実施形態による処理結果について説明する。

図11Aは入力されるラインアートの画像例を示し、該ラインアート画像に対して、本実施形態１を適用すると、図8のような各部品のパスコマンドに変換される。本実施形態では、内側輪郭線を用いて各部品のパスコマンドを生成する、つまり、ラインによって分割されている領域ごとに別々の部品としてのパスコマンドが生成されることになる。そのようにして生成された各部品に対して、色をつけて塗りつぶし処理を施すと、例えば図11Bのようになる。そしてその図11Bの塗りつぶされている各部品を移動させた場合、図11Cのように表示されることになる。

各部品ごとに塗りつぶしを行なうことができるので、図11Cのように、各部品を移動させたとしても、その下に存在する部品についても塗りつぶしが行なわれているので、例えば図11Cの部品(1)を移動させたとしても、部品(1)があった位置の下の部品に空白部が生じることはない。また、部品(2)と部品(3)に関して、図11Aのラインアートでは外側輪郭線がつながっていたが、本実施形態によれば、内側輪郭線を用いて部品化を行なっているので、別々の部品として扱うことが容易になっている。

＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。

上述した第1実施形態においては、ラインアートにおける輪郭線が閉ループである場合にパスコマンドを生成する例について説明した。しかしながら、輪郭線が開ループであった場合には輪郭判定が困難となり、必要とする輪郭を残せない場合がありうる。そこで第2実施形態においては、他の領域とのオーバーラップを考慮して、開ループ等の輪郭線ループについても適切に輪郭線パスを生成する例を示す。

図9に開ループの輪郭線例として、黒のベタ領域（例えば、黒の直線など）を示す。このような2値画像においては内側輪郭線がなく、外側輪郭線だけが抽出される。したがって、上述した第1実施形態で示したように外側輪郭線を削除してしまうと、この領域はすべて削除されてしまう。

第2実施形態ではこのような問題に対応するために、図10に示すように、最大外接矩形の検出部16を設ける。なお図10において、上述した第1実施形態で示した図1と同様の構成については同一番号を付し、説明を省略する。

最大外接矩形の検出部16においては、輪郭線抽出部15で抽出された全ての輪郭線ループ（外側輪郭線および内側輪郭線）について、それぞれの外接矩形を求める。外側輪郭線それぞれの内側に含まれる内側輪郭線の外接矩形を統合することにより、各外側輪郭線の内部に存在する内側輪郭線の最大外接矩形を検出する。そして、検出された最大外接矩形の情報を不要輪郭線消去部18へ送る。

不要輪郭線消去部18では、各外側輪郭線による外接矩形と、外側輪郭線それぞれに対応する内側輪郭線の最大外接矩形とが、ほぼ一致するかどうか判断（例えば１ドット以内の誤差ならば一致すると判断）する。ほぼ一致すると判断した場合、その外側輪郭線は、内側輪郭線によって表現されていると判断し、該外側輪郭線を消去する。一方、ほぼ一致しない（もしくは内側輪郭線の最大外接矩形が存在しない）と判断した場合、その外側輪郭線は開ループ部分を含む（もしくは開ループである）と判断し、その外側輪郭線を消去せずに残す。

これにより輪郭線パス記述部19では、開ループの輪郭線（開ループを含む輪郭線）についてもパスコマンドが生成される。したがって、図9に示したような外側輪郭のみを有する画像についても、適切なパスコマンドを生成することができる。

以上説明したように第2実施形態によれば、開ループを含む外側輪郭線についてはパスコマンドを生成することによって、内側輪郭線では表現できない個所も部品化できることになるので、さらに忠実にラインアートの部品化を行うことができる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、スキャナ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複合機など）に適用してもよい。

また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第1実施形態における機能構成を示すブロック図である。 文書画像例を示す図である。 細線化前の2値画像例を示す図である。 細線化後の2値画像例を示す図である。 輪郭追跡方法を説明するための図である。 輪郭追跡方法を説明するための図である。 回転方向判定方法の一例を示す図である。 四角形に対する輪郭追跡の様子を示す図である。 外側と内側の輪郭線ループ対が得られる例を示す図である。 重なった2つの四角形に対する輪郭追跡の様子を示す図である。 1つの外側輪郭線に対して2つの内側輪郭線ループが得られる例を示す図である。 SVGによるパスの記述例を示す図である。 開ループの輪郭線例を示す図である。 第2実施形態における機能構成を示すブロック図である。 入力されるラインアート画像例を示す図である。 中塗りされた画像例を示す図である。 部品化された様子を示す図である。 アウトラインベクトルデータによる図形描画例（複合パス解除）を示す図である。 アウトラインベクトルデータによる図形描画例（中心線／アウトライン設定）を示す図である。

Claims (8)

1. 文書画像におけるラインアート部をアウトラインベクトル化する画像処理装置であって、
   文書画像データを入力する画像入力手段と、
   前記文書画像データからラインアート部分を抽出するラインアート抽出手段と、
   前記ラインアート部分の画像データを2値化して細線化する細線化手段と、
   該細線化されたラインアート部分における輪郭線ループを抽出する輪郭線抽出手段と、
   該抽出された輪郭線ループのうち、所定の属性である輪郭線ループを選択する輪郭線選択手段と、
   該選択された輪郭線ループをパス命令として記述するパス記述手段と、
   を有することを特徴とする画像処理装置。
2. 前記輪郭線選択手段は、
   前記輪郭線ループが内側輪郭であるか外側輪郭であるかを判定する方向判定手段と、
   外側輪郭であると判定された輪郭線ループを削除する輪郭線削除手段と、
   を有することを特徴とする請求項１記載の画像処理装置。
3. 前記輪郭線選択手段はさらに、
   前記外側輪郭の輪郭線ループが、前記内側輪郭の輪郭線ループで表現できるかどうか検出する検出手段を有し、
   前記輪郭線削除手段は、前記検出手段において前記内側輪郭の輪郭線ループで表現できるとされた外側輪郭の輪郭線ループを削除し、前記検出手段において前記内側輪郭の輪郭線ループで表現できないとされた外側輪郭の輪郭線ループを残すことを特徴とする請求項２記載の画像処理装置。
4. 前記パス記述手段は、前記輪郭線ループそれぞれを単独の輪郭パス命令として記述することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記画像入力手段は、原稿画像を光学的に読み取ることによって得られた文書画像データを入力することを特徴とする請求項１記載の画像処理装置。
6. 文書画像におけるラインアート部をアウトラインベクトル化する画像処理方法であって、
   文書画像データを入力する画像入力ステップと、
   前記文書画像データからラインアート部分を抽出するラインアート抽出ステップと、
   前記ラインアート部分の画像データを2値化して細線化する細線化ステップと、
   該細線化されたラインアート部分における輪郭線ループを抽出する輪郭線抽出ステップと、
   該抽出された輪郭線ループのうち、所定の属性である輪郭線ループを選択する輪郭線選択ステップと、
   該選択された輪郭線ループをパス命令として記述するパス記述ステップと、
   を有することを特徴とする画像処理方法。
7. 情報処理装置を制御することによって、該情報処理装置を請求項１乃至請求項５の何れかに記載された画像処理装置として動作させることを特徴とするプログラム。
8. 請求項９に記載されたプログラムが記録されたことを特徴とする記録媒体。

Images