JP2007199767A

JP2007199767A - 画像処理システム

Info

Publication number: JP2007199767A
Application number: JP2006014161A
Authority: JP
Inventors: Kanji Yokogawa; 完治横川
Original assignee: Hitachi Software Engineering Co Ltd
Current assignee: Hitachi Software Engineering Co Ltd
Priority date: 2006-01-23
Filing date: 2006-01-23
Publication date: 2007-08-09

Abstract

【課題】画像から対象物体領域を抽出した２値画像を得るための画像処理システムにおいて、対象物体領域の内部に生じる穴を埋める処理を効率的に行う。
【解決手段】画像をラスタ走査し、画像中の対象物体領域に属する画素であって背景領域との境界を成す画素を検出するし、前記検出された境界を成す画素を始点として、当該画素に連接する他の境界を成す画素を検出することにより、対象物体領域の境界を成す全画素を特定し、前記特定された対象物体領域の境界を成す画素それぞれについて、走査ラインにおける対象物体領域の始端であるか終端であるかを特定し、画像を再度ラスタ走査し、前記対象物体領域の始端の画素、終端の画素及びこれらの間にある画素を対象物体領域に属する画素であると判定し、前記判定結果に従って画像中の画素を書き換えることにより、対象物体像を含む画像を修正する画像処理システム。
【選択図】図２

Description

本発明は、コンピュータを用いて画像から対象物体像を抽出する画像処理システムに関し、特に、対象物体が占める領域を抽出した２値画像を効率的に得ることができる画像処理システムに関するものである。

濃淡画像から対象物体像を抽出するにあたっては、濃淡画像中のエッジを強調し閾値処理を行って対象物体が占める領域を抽出した２値画像を生成することが多い。例えば、図１１（ａ）に示す捕虫紙に捕らえられた虫を撮影した濃淡画像から対象物体である虫の像を抽出する処理を行って、図１１（ｂ）に示す２値画像を得ることができる。ところが、照明等の影響で濃淡画像中にハイライト生じるなどして、２値画像中の対象物体の領域の内部に穴ができることがある。対象物体像を精確に抽出するためには、このような穴を除去する必要がある。そこで、図１１（ｂ）に示すような２値画像から穴を除去して、図１１（ｃ）に示すような正しい対象物体像を得るための穴埋め処理が必要となる。

従来、２値画像の穴埋めをする方法として波動伝播法が知られている（非特許文献１参照）。この方法は、２値画像において、対象物体領域の画素にラベル”1”、背景領域の画素にラベル”0”、画像枠上の画素に伝播すべきラベル”2”を与え、ラベル”2”を画像枠から背景領域を経て対象物体領域との境界まで伝播させた後に、ラベル”2”が伝播しなかった対象物体領域の内部の穴となっている画素にラベル”0”を与えることにより、対象物体領域の穴を埋めるものである。

図１２に示す例を参照しながら、波動伝播法によって２値画像を穴埋めする手順を説明する。まず、図１２（ａ）に示すように、２値画像の画像枠上の画素にラベル”2”が与える。次に、図１２（ｂ）に示すように、画像の左上隅から右下隅に向けて（順方向）ラスタ走査して、背景領域の画素にラベル”2”を伝播させる。図１２（ｂ）に示す状態では、対象物体領域の周囲の入り組んだ箇所に、背景領域の画素であるが未だラベル”2”が伝播しておらずラベル”0”のままの画素がいくつか存在している。そこで、さらに画像の右下隅から左上隅に向けて（逆方向）ラスタ走査してラベル”2”を伝播させると、図１２（ｃ）に示すように、ラベル”0”のまま残っていた背景領域の画素にもラベル”2”が伝播されることになる。背景領域の画素全てにラベル”2”が伝播した後は、対象物体領域の内部の穴の画素のみがラベル”0”を持っていることになるので、これらの画素をラベル”1”として、図１２（ｄ）に示すように、対象物体領域の内部が穴埋めされた２値画像を得ることができる。

ここで、ラベル”2”を伝播させるとは次のような処理を行うことを言う。画像のラスタ走査において、現在走査中の画素がラベル”0”を持っており、かつその直前の画素又は１走査ライン前の画素がラベル”2”を持っている場合には、現在走査中の画素をラベル”2”に書き換える。背景領域の画素は必ず画像枠に連接しているため、この処理を順方向、逆方向に繰り返し行うことにより、いずれは全ての背景領域の画素にラベル”2”が伝播されることとなる一方で、対象物体領域の画素はラベル”1”のまま、対象物体領域の内部の穴の画素はラベル”0”のままで残ることとなる。この伝播処理の後、ラベル”0”を持つ画素全てをラベル”1”とすれば、対象物体領域内の穴を埋めることができる。すなわち、波動伝播法とは、画像枠に連接する背景領域を全て抽出し、その補集合として穴埋めされた対象物体領域を得る方法である。

三島義博「尿沈渣物の画像識別に関する研究」（修士論文），奈良先端科学技術大学院大学情報科学研究科（１９９４） P.２５〜２７

しかしながら、上記した波動伝播法による穴埋め処理では、対象物体領域が複雑に入り組んだ形状をしている場合には、順方向、逆方向のラスタ走査による伝播を何度も繰り返し行うことが必要となり、処理負荷の増大、処理時間の長期化といった問題が生じてしまう。

本発明は、このような実情に鑑みてなされたものであり、画像から対象物体領域を抽出した２値画像を得るための画像処理システムであって、対象物体領域の内部に生じる穴を埋める処理を効率的に行うことができる画像処理システムを提供しようとするものである。

上記解決課題に鑑みて鋭意研究の結果、本発明者は、２値画像中の対象物体領域が連続した閉じた領域であり、その周縁の画素は連接していることに着目し、まず周縁の画素を識別してから対象物体領域内の穴埋めを行うことにより、少ない処理ステップで穴埋め処理を行うことができることに想到した。以下、図１に示す具体例を参照しながら、この穴埋め処理の手順を説明する。

図１（ａ）に示す２値画像に対する穴埋め処理を考える。まず、対象物体領域の周縁を成す画素を特定する。このとき、図１（ｂ）に示すように、各水平ラインにおいて対象物体領域の左側の縁となる画素をＳ（Startの意）、右側の縁となる画素をＥ（Endの意）とラベルする。その後、各水平ラインを左から右に走査し、Ｓが表れてからＥが表れるまでの全ての画素（Ｓ，Ｅとラベルされた画素も含む）を１とする。こうして、図１（ｃ）に示すように、対象物体領域内の穴埋め処理が施された２値画像が得られる。尚、対象物体領域の周縁の画素を特定するには、ある周縁の画素を見つけ、これを起点としてその画素の四方又は八方に隣接する画素であって周縁を成している画素を、時計回り又は反時計回りのいずれか一方向に向って見つけていくという作業を行う。見つけられた周縁の画素をＳとラベルするかＥとラベルするかは、それより前に見つけられた隣接する周縁の画素同士を結ぶベクトルの方向性によって決定する。

図２は、上記の２値画像に対する穴埋め処理をコンピュータにおいて実行するためのアルゴリズムを示すフローチャートである。このアルゴリズムの実行手順は次のとおりである。

（１）順方向に画像をラスタ走査する。Sマークに出会えば、次のEマークまで読み飛ばす。対象物体領域の境界に達すれば、その画素P0の前の画素を探し、前の画素からその画素を指すチェインコードCODE1を求め、P←P0として（２）に進む。画像を全て走査し終わったら、（５）に進む。
（２）対象物体領域の境界を反時計回りに沿って次の画素Qを探し、前の画素Pから画素Qを指すチェインコードPQを求め、CODE2←PQとする。
（３）CODE1とCODE2の組から決まるSマーク又はEマークを画素Pに書き込む。ただし、既にEマークが書き込まれていれば、そのままにしておく。
（４）対象物体領域の境界を一周し終わった場合には（１）に戻り、そうでない場合には、CODE1←CODE2、P←Qとして（２）に戻る。
（５）再度、順方向に画像をラスタ走査する。Sマークに出会えばその画素のラベルを”1”とし、それ以降Eマークに達するまでの画素のラベルを”1”にする。Eマークに出会えば、その画素のラベルを”1”にする。

上記で言う「チェインコード」とは、対象物体領域に沿って連なる画素を探す際に前の画素から次の画素への方向性を示すコードである。このチェインコードの例を図３に示す。この例では、図３（ａ）に示すように、３６０度を８等分割した各方向を０から７の整数で符号化している。また、図３（ｂ）に示すように、ある画素を前の画素から指すチェインコードCODE1とその画素から次の画素を指すチェインコードCODE2とから、その画素にSマーク、Eマークのうちいずれを書き込むかを決定する決定表を用いるものとする。

このように、本発明者が提案する穴埋め処理方式では、上記の（１）及び（５）における２度の画像全体の走査だけで、穴埋め処理を行うことができる。

以上のような着想に基づく技術的思想として、本発明は、対象物体像を含む画像を修正する画像処理システムであって、画像をラスタ走査し、画像中の対象物体領域に属する画素であって背景領域との境界を成す画素を検出する処理部と、前記検出された境界を成す画素を始点として、当該画素に連接する他の境界を成す画素を検出することにより、対象物体領域の境界を成す全画素を特定する処理部と、前記特定された対象物体領域の境界を成す画素それぞれについて、走査ラインにおける対象物体領域の始端であるか終端であるかを特定する処理部と、画像を再度ラスタ走査し、前記対象物体領域の始端の画素、終端の画素及びこれらの間にある画素を対象物体領域に属する画素であると判定する処理部と、前記判定結果に従って画像中の画素を書き換える処理部とを含んでいることを特徴とする画像処理システムを提供するものである。

本発明の画像処理システムにおいて、前記特定された対象物体領域の境界を成す画素それぞれについて、当該画素とその両隣の境界を成す画素それぞれとの相対的位置関係に基づいて、前記始端であるか終端であるかを特定することを特徴とする。

本発明は、画像をラスタ走査し、画像中の対象物体領域に属する画素であって背景領域との境界を成す画素を検出するステップと、前記検出された境界を成す画素を始点として、当該画素に連接する他の境界を成す画素を検出することにより、対象物体領域の境界を成す全画素を特定するステップと、前記特定された対象物体領域の境界を成す画素それぞれについて、走査ラインにおける対象物体領域の始端であるか終端であるかを特定するステップと、画像を再度ラスタ走査し、前記対象物体領域の始端の画素、終端の画素及びこれらの間にある画素を対象物体領域に属する画素であると判定するステップと、前記判定結果に従って画像中の画素を書き換えるステップとを実行することにより、対象物体像を含む画像を修正することを特徴とする画像処理システムを提供するものである。

以上、説明したように、本発明の画像処理システムによれば、対象物体の形状の複雑さに関わらず、２値画像の全体に対して最大２回の走査を行うことにより、対象物体領域の内部の穴を埋めることができるので、穴埋めのための処理負荷が軽減され処理の高速化が図られる。

図４は、本発明の画像処理システムを実施するためのハードウェアシステムの内部構成を示すブロック図である。このハードウェアシステムは、入力装置、出力装置、処理装置及び記憶装置から構成されている。入力装置として、スキャナなどの画像入力装置４０１とキーボード４０２がシステムに結合している。キーボードはパラメータの入力やコマンドの起動などに使われる。出力装置として、ディスプレイ４１１がシステムに結合している。ディスプレイは各種の画像の表示などに使われる。処理装置４０３は、ラスタ走査モジュール４０４、符号化モジュール４０５、描画モジュール４０６の三つのモジュールを含んでいる。記憶装置４０７は、２値画像４０８、作業用画像４０９及び表データ４１０を含んでいる。

図５は、本発明の画像処理システムによる２値画像の穴埋め処理の全体的な流れを示すフローチャートである。この穴埋め処理は、三つの手続きscan・encode・paintを含んでいる。手続きscanは与えられた画素から画像imgIをラスタ走査し、対象物体領域の境界に達すると、走査を止めてその位置の画素を返す。手続きscanの関数値は対象物体領域の境界が見つかった場合、１であり、見つからなくて画像全体のラスタ走査が完了した場合、０である。手続きencodeは与えられた対象物体領域の境界の画素から境界を一周して、境界の各画素に対してSマークまたはEマークを画像imgIと同じ大きさの画像imgOに書き込む。手続きpaintは画像imgOに書き込まれたSマークとEマークの情報に基づいて画像imgIの穴埋めをする。まず、ステップ５０１とステップ５０２で、ラスタ走査の開始画素の初期値を与える。ステップ５０３からステップ５０５までのループで、対象物体領域の境界を見つけて、境界をSマークとEマークで符号化することを繰り返す。ラスタ走査が完了すると、このループから脱出して、ステップ５０６で、SマークとEマークに従って穴埋めを行う。

図６は、図５のステップ５０３の手続きscanの詳細を示すフローチャートである。まず、ステップ６０１とステップ６０２で、ラスタ走査の開始画素の座標(x, y)を得る。次に、ステップ６０３で、変数stateの値を０に設定する。変数stateは注目画素(x, y)が手続きencodeで画像imgOに書き込まれるSマークとEマークの間に位置するかどうか示す変数で、位置する時、値１を取り、それ以外の時、値０を取る。次にステップ６０４で、座標xの値を一つ増やし、ステップ６０５で、座標xが画像の幅imgWと等しいか判定する。等しい場合は、ステップ６０６とステップ６０７で、次の走査線を開始するために変数stateを０に設定し、座標xを０に設定する。さらにステップ６０８で、座標yの値を一つ増やし、ステップ６０９で、座標yが画像の高さimgHと等しいか判定する。等しい場合は、ラスタ走査が完了したので、関数値０を返してリターンする。等しくない場合は、ステップ６１０に行く。ステップ６０５の判定で、等しくない場合も、ステップ６１０に行く。ステップ６１０で、変数stateが１であるか判定する。そうであれば、ステップ６１１で、画像imgO[x][y]がEマークであるか判定し、そうであれば、ステップ６１２で、変数stateの値を０に変更する。次にステップ６０４に戻り、ループする。ステップ６１０で、変数stateが１でなければ、ステップ６１３で、画像imgO[x][y]がSマークであるか判定する。そうであれば、変数stateの値を１に変更して、ステップ６０４に戻り、ループする。そうでなければ、画像imgO[x][y]がEマークでなく（ステップ６１５）、かつ、画像imgI[x][y]が対象物体領域の画素であれば（ステップ６１６）、ステップ６１７とステップ６１８で、その画素の座標(x, y)を引数(x0, y0)に代入し、関数値１を返してリターンする。それ以外の場合はステップ６０４に戻り、ループする。

図７は、図５のステップ５０５の手続きencodeの詳細を示すフローチャートである。まず、ステップ７０１で引数(x, y)を画素P0に代入する。次に、ステップ７０２で、画素P0から対象物体領域の境界を時計回りに回って隣接する画素R0を探索する。その結果、画素R0が見つからなかった場合、変数flagの値を０にする。ステップ７０３で変数flagの値が０か判定し、そうであれば、画素P0は孤立点であるので、ステップ７０４で、画像imgO[P0.x][P0.y]にEマークを書き込んで、リターンする。そうでなければ、ステップ７０５とステップ７０６で、画素R0の座標を画素P0と画素P0から画素R0へのベクトル(cx[c], cy[c])から算出する。ここで、変数cはいわゆるチェインコードであり、cx[]、cy[]は以下で定義された配列である。

cx[0]=1, cx[1]=1, cx[2]=0, cx[3]=−1, cx[4]=−1, cx[5]=−1, cx[6]=0, cx[7]=1
cy[0]=0, cy[1]=1, cy[2]=1, cy[3]=1, cy[4]=0, cy[5]=−1, cy[6]=−1, cy[7]=−1

次に、ステップ７０７とステップ７０８で、画素Pと画素Rの初期値をそれぞれ画素P0と画素R0に設定する。ステップ７０９で、変数CODE1に画素Rから画素Pを指すチェインコードを代入する。ここで、chain[][]は以下で定義された配列である。

chain[0][0]=5, chain[0][1]=4, chain[0][2]=3,
chain[1][0]=6, chain[1][1]=未定義, chain[1][2]=2,
chain[2][0]=7, chain[2][1]=0, chain[2][2]=1.

次に、ステップ７１０で、画素Pから対象物体領域の境界を反時計回りに回って隣接する画素Qを探索し、ステップ７１１とステップ７１２で、画素Qの座標を画素Pと画素Pから画素Qへのベクトル(cx[c], cy[c])から算出する。ステップ７１３で、変数CODE2に画素Pから画素Qを指すチェインコードを代入する。次に、ステップ７１４で、画像imgO[P.x][P.y]にEマークが書き込まれているか判定し、書き込まれていなければ、ステップ７１５で、画像imgO[P.x][P.y]に変数CODE1と変数CODE2から決まるSマークまたはEマークを書き込む。次に、ステップ７１６とステップ７１７とステップ７１８で、変数CODE1に変数CODE2、画素Rに画素P、画素Pに画素Qをそれぞれ代入する。最後に、ステップ７１９で、画素Pが画素P0に等しく、かつ、画素Rが画素R0に等しくて、境界を一周し終えたかを判定する。そうであれば、リターンし、そうでなければ、ステップ７１０へ戻って、境界追跡を繰り返す。

図８は、図７のステップ７０２の「前の画素R0の探索」の詳細を示すフローチャートである。まず、ステップ８０１で、変数flagに初期値０を設定する。変数flagは画素R0が見つかったか否かを示す変数で、その値が０の時、見つからないことを、１の時、見つかったことを示す。ステップ８０２で、チェインコードcを３に設定する。ステップ８０３で、以下のループの繰り返しを制御する変数iに初期値０を設定する。ステップ８０４で、ループを８回繰り返したかを判定する。８回繰り返したならば、ループを抜け、リターンする。そうでなければ、ステップ８０５で、画素P0からチェインコードcが示す方向の画素が対象物体領域の画素か判定する。そうであれば、ステップ８０６で、変数flagの値を１として、リターンする。そうでなければ、ステップ８０７で、チェインコードcを時計回りに１単位回したものにする。ここで、”%”は除算の余りを意味する演算子である。次に、ステップ８０８で変数iの値を１だけ増やし、ステップ８０４に戻ってループする。ここで、”++”は値を１だけ増やす演算子である。

図９は、図７のステップ７１０の「次の画素Qの探索」の詳細を示すフローチャートである。まず、ステップ９０１で、チェインコードcを画素Pから見て画素Rの方向を反時計回りに１単位回した方向にする。ステップ９０２で、画素Pからチェインコードcが示す方向の画素が対象物体領域の画素か判定する。そうであれば、リターンする。そうでなければ、ステップ９０３で、チェインコードcを反時計回りに１単位回したものにして、ステップ９０２に戻ってループする。

図１０は、図５のステップ５０６の手続きpaintの詳細を示すフローチャートである。まず、ステップ１００１で、変数yに初期値０を設定する。次に、ステップ１００２で、変数yが画像の高さimgHより小さいか判定する。小さくなければ、処理を終了して、リターンする。小さければ、ステップ１００３で、変数stateに初期値０を設定し、ステップ１００４で、変数xに初期値０を設定する。すなわち、画像の高さyのラスタ走査を開始する。ここで、変数stateが図６の変数stateと同じ意味を持つ。次に、ステップ１００５で、変数xが画像の幅imgWより小さいか判定する。小さくなければ、この走査線の走査を終えたので、ステップ１０１３で変数yの値を１だけ増やして、ステップ１００２に戻ってループする。小さければ、ステップ１００６で、画像imgO[x][y]にSマークが書き込まれているか判定し、そうであれば、ステップ１００７で、変数stateの値を１にする。次に、ステップ１００８で、画像imgO[x][y]にEマークが書き込まれているか判定し、そうであれば、ステップ１００９で、変数stateの値を０にする。次に、ステップ１０１０で、変数stateが１であるか、または、画像imgO[x][y]にEマークが書き込まれているか判定し、そうであれば、ステップ１０１１で、画像imgI[x][y]の値を１にする。最後に、ステップ１０１２で、変数xの値を１だけ増やして、ステップ１００５に戻ってループする。

以上、本発明の画像処理システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。

本発明の画像処理システムは、図４に示すように、コンピュータのＣＰＵ、メモリ、補助記憶装置、ディスプレイ、入力デバイス等を含むハードウェア資源上に構築されたＯＳ、アプリケーション、データベース、ネットワークシステム等によって実現されるものであり、２値画像の穴埋めという情報処理が上記のハードウェア資源を用いて具体的に実現されるものであるから、自然法則を利用した技術的思想に該当するものであり、画像に含まれる対象物体の解析が必要となる検査、計測等の場面において産業的に利用することができるものである。

本発明の画像処理システムによる穴埋め処理の手順を例示する図である。本発明の２値画像に対する穴埋め処理をコンピュータにおいて実行するためのアルゴリズムを示すフローチャートである。チェインコードの例を示す図である。本発明の画像処理システムを実施するためのハードウェアシステムの内部構成を示すブロック図である。本発明の画像処理システムによる２値画像の穴埋め処理の全体的な流れを示すフローチャートである。図５に示す手続きscanの詳細を示すフローチャートである。図５に示す手続きencodeの詳細を示すフローチャートである。図７に示す「前の画素R0の探索」の詳細を示すフローチャートである。図７に示す「次の画素Qの探索」の詳細を示すフローチャートである。図５に示す手続きpaintの詳細を示すフローチャートである。濃淡画像から対象物体像を抽出する処理を説明する図である。波動伝播法による２値画像の穴埋めの手順を説明する図である。

符号の説明

４０１…画像入力装置、４０２…キーボード、４０３…処理装置、４０４…ラスタ走査モジュール、４０５…符号化モジュール、４０６…描画モジュール、４０７…記憶装置、４０８…２値画像、４０９…作業用画像、４１０…表データ、４１１…ディスプレイ

Claims

対象物体像を含む画像を修正する画像処理システムであって、
画像をラスタ走査し、画像中の対象物体領域に属する画素であって背景領域との境界を成す画素を検出する処理部と、
前記検出された境界を成す画素を始点として、当該画素に連接する他の境界を成す画素を検出することにより、対象物体領域の境界を成す全画素を特定する処理部と、
前記特定された対象物体領域の境界を成す画素それぞれについて、走査ラインにおける対象物体領域の始端であるか終端であるかを特定する処理部と、
画像を再度ラスタ走査し、前記対象物体領域の始端の画素、終端の画素及びこれらの間にある画素を対象物体領域に属する画素であると判定する処理部と、
前記判定結果に従って画像中の画素を書き換える処理部とを含んでいることを特徴とする画像処理システム。
前記特定された対象物体領域の境界を成す画素それぞれについて、当該画素とその両隣の境界を成す画素それぞれとの相対的位置関係に基づいて、前記始端であるか終端であるかを特定することを特徴とする請求項１に記載の画像処理システム。
画像をラスタ走査し、画像中の対象物体領域に属する画素であって背景領域との境界を成す画素を検出するステップと、
前記検出された境界を成す画素を始点として、当該画素に連接する他の境界を成す画素を検出することにより、対象物体領域の境界を成す全画素を特定するステップと、
前記特定された対象物体領域の境界を成す画素それぞれについて、走査ラインにおける対象物体領域の始端であるか終端であるかを特定するステップと、
画像を再度ラスタ走査し、前記対象物体領域の始端の画素、終端の画素及びこれらの間にある画素を対象物体領域に属する画素であると判定するステップと、
前記判定結果に従って画像中の画素を書き換えるステップとを実行することにより、
対象物体像を含む画像を修正することを特徴とする画像処理システム。
前記特定された対象物体領域の境界を成す画素それぞれについて、当該画素とその両隣の境界を成す画素それぞれとの相対的位置関係に基づいて、前記始端であるか終端であるかを特定することを特徴とする請求項３に記載の画像処理システム。