JP2004030188A

JP2004030188A - 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラム

Info

Publication number: JP2004030188A
Application number: JP2002184889A
Authority: JP
Inventors: Oscar Vanegas; バネガス　オスカル; Ryosuke Mitaka; 三高　良介; Mitsuru Shirasawa; 白澤　満
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2002-06-25
Filing date: 2002-06-25
Publication date: 2004-01-29
Anticipated expiration: 2022-06-25
Also published as: JP4062987B2

Abstract

【課題】画像内の対象物を背景から分離し、しかも１画素単位までの領域の分割を高速な処理で行う。
【解決手段】記憶手段１２に格納された濃淡画像は、画像分割処理部１３がそれぞれ複数個の画素を含む矩形状の複数個のブロックに分割する。特徴量演算部１４はブロック内の濃度値の平均値および標準偏差を特徴量として求め、追跡処理部１５では隣接するブロックのうち特徴量の差が閾値内であるブロックに同ラベルを付与する。同ラベルが付与されているブロックからなるブロック連結領域の境界部分に位置するブロックは、ブロック分割処理部１６において分割ブロックに分割され、分割ブロックの特徴量が隣接するブロックの特徴量と類似していると、当該ブロックを含むブロック連結領域に当該分割ブロックが統合される。この処理が繰り返され多値画像に含まれる全画素にラベルが付与される。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、モノクロ濃淡画像、カラー画像、距離画像のように各画素の画素値を多段階に割り当てた多値画像を処理対象として、多値画像を画素値の類似度が高い画素群からなる複数個の領域に分割する画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラムに関するものである。
【０００２】
【従来の技術】
近年、画像によって各種対象物の識別、検査、計測、認識を行うために画像処理技術が利用されている。この種の画像処理技術では、画像内において対象物を識別する必要があるから、画像内において対象物を抽出する技術が各種提案されている。たとえば、撮像装置と対象物との位置関係に応じて適宜方向から照明を行うことによって画像内における対象物と背景との濃度値の差が大きくなるようにしておき、濃淡画像における各画素の画素値である濃度値に対して適宜の閾値を適用して濃淡画像を二値化することにより、対象物を背景から分離する技術が広く用いられている。
【０００３】
しかしながら、濃淡画像を単純に二値化する技術では、対象物と背景との濃度値の差が不十分な場合や背景に地模様があるような場合には、背景から対象物を分離することができないという問題を有している。たとえば、光学式文字読み取り装置では文字の周囲に図柄や地模様が存在していると、文字の認識精度が低下するという問題が生じる。また、生産ラインにおいてコンベア上を搬送される物品を撮像した画像内でパターンマッチングを行うことによって物品の種別を判別するような場合に、画像内にベルトコンベアなどの画像が含まれていると部品を特定できない場合がある。
【０００４】
そこで、画像内において類似した特徴を有する部分ごとに領域を分割することによって、着目する領域を画像内から抽出する技術が種々提案されている。
【０００５】
たとえば、特開平１１−１６７６３４号公報には、キー画像と同一あるいは類似した目的の画像を検索するために、カラー画像を小領域に分割し、平均色や代表色を特徴量として特徴量の類似する小領域を統合することにより多角形の分割領域を形成する技術が記載されている。また、この公報では小領域に多くの色が含まれるときには小領域を再分割し、再分割した小領域の画素数が閾値以上であれば、特徴量を求めて再分割した小領域について類似性を評価する技術が記載されている。
【０００６】
また、特開平４−１５４３６８号公報には、文書画像を、文字、図形、表、写真などの構成要素に分割することを目的として、画像をブロック化し、隣接するブロックで特徴量が大きく異なる部分を輪郭部位とみなし、輪郭部位のブロック内でさらに領域を細分化する技術が記載されている。
【０００７】
さらに、特開平１−３１２６７５号公報には、濃淡画像において濃度値にむらがある場合でも輪郭を正しく抽出するために、画像内の画素値を複数の閾値との大小比較により多段階に分割し、分割された各領域ごとに濃度の範囲を拡げたときの面積の増加の有無を判定し、面積が増加しなくなった時点で領域を確定する技術が記載されている。
【０００８】
特開平８−１６７０２８号公報には、写真画像の処理のために画像を「ライト」「中間」「シャドウ」に分割するために、画像をブロック化し、ブロックを対ごとに類似度を評価することによりブロックを統合するクラスタリングを行い、クラスタリングにより形成された領域を統合の履歴を参照しながら再度評価を行って輪郭を確定する技術が記載されている。
【０００９】
【発明が解決しようとする課題】
上述した各公報のうち、特開平１１−１６７６３４号公報に記載の技術では、小領域内に多くの色が存在するときに小領域を再分割し、かつ分割した小領域の画素数が閾値以上であるときにのみ特徴量の類似性を評価するものであるから、１画素単位まで領域を分割することはできず、また図柄や地模様やノイズによって小領域内に多くの色が存在するようなときに、背景となる領域の分割数が多くなって処理時間が増加する可能性がある。
【００１０】
特開平４−１５４３６８号公報に記載の技術では、隣接するブロック間の特徴量の差が大きく異なるときに輪郭部位とみなしているから、濃淡画像において濃度むらがある場合や輪郭が不鮮明である場合には、輪郭を正確に抽出することができないことがある。
【００１１】
特開平１−３１２６７５号公報に記載の技術は、濃淡画像において濃度むらがある場合でも目的とする領域を抽出できる可能性があるが、図柄や地模様やノイズが領域内に残る可能性がある。
【００１２】
特開平８−１６７０２８号公報に記載の技術では、クラスタリングにより３種類の領域に分割しているが、ノイズが存在する場合にノイズを十分に除去する技術ではなく、とくに文字認識や部品の種別認識のように対象物の領域を背景から分離する目的では採用することができない。
【００１３】
本発明は上記事由に鑑みて為されたものであり、その目的は、複雑な背景であっても背景となる領域と対象となる領域とを明瞭に分離することが可能であって、しかも１画素単位までの領域の分割を可能としながらも高速な処理が期待できる画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラムを提供することにある。
【００１４】
【課題を解決するための手段】
請求項１の発明は、多値画像をそれぞれ複数個の画素を含む矩形状の複数個のブロックに分割した後に、ブロック内の画素値の分布に関する特徴量を隣接する各一対のブロック間で比較し特徴量の類似度が規定値以上である各一対のブロックには同じラベルを付与するとともに特徴量の類似度が規定値未満である各一対のブロックには異なるラベルを付与して前記多値画像内のすべてのブロックにラベルを付与する初期分割段階と、同ラベルが付与されているブロックからなるブロック連結領域の境界部分に位置するブロックを複数個の分割ブロックに分割するとともに、分割前のブロックに隣接するブロックの前記特徴量と分割ブロックの画素値の分布に関する特徴量との類似度が規定値以上になるときに隣接するブロックと同じラベルを当該分割ブロックに付与することにより当該分割ブロックを前記ブロック連結領域を構成するブロックとして前記ブロック連結領域に統合する細分化段階とを有し、細分化段階を繰り返すことにより多値画像に含まれる全画素にラベルを付与することを特徴とする。
【００１５】
請求項２の発明は、請求項１の発明において、前記ブロックおよび前記分割ブロックは２^ｎ×２^ｎ画素の矩形の領域であることを特徴とする。
【００１６】
請求項３の発明は、請求項１または請求項２の発明において、前記初期分割段階において、各一対のブロック間で特徴量を比較する前に、各ブロックの画素値の平均値を規定の閾値と比較することにより前記多値画像内で背景側となるブロックを抽出するとともに、背景側となるブロックには規定した背景側のラベルを付与することを特徴とする。
【００１７】
請求項４の発明は、請求項１ないし請求項３の発明において、前記初期分割段階において、着目するブロックに隣接する複数個のブロックを時計方向と反時計方向とのいずれか一方の順で選択するとともに選択したブロックと着目するブロックとの特徴量の類似度が規定値以上であるときに選択したブロックを次に着目するブロックとして追跡し、着目するブロックと選択したブロックとの特徴量の類似度が規定値以上でありかつ選択したブロックに着目するブロックと同ラベルが付与されているときに追跡済みのブロックを前記ブロック連結領域の境界部分に位置するブロックとすることを特徴とする。
【００１８】
請求項５の発明は、請求項４の発明において、前記初期分割段階において、着目するブロックと選択したブロックとの特徴量の類似度が規定値以上でありかつ選択したブロックに着目するブロックとは異なるラベルが付与されているときに追跡済みのブロックに選択したブロックと同じラベルを付与することを特徴とする。
【００１９】
請求項６の発明は、請求項１の発明において、前記特徴量の類似度は前記ブロック内の画素値の平均値の差であることを特徴とする。
【００２０】
請求項７の発明は、請求項１の発明において、前記特徴量の類似度は前記ブロック内の画素値の平均値の差および標準偏差の差であることを特徴とする。
【００２１】
請求項８の発明は、請求項１の発明において、前記細分化段階において、分割ブロックが１画素以上の所定の画素数に達した状態で前記ブロック連結領域に統合できない分割ブロックは前記多値画像内で背景側となるブロック連結領域に統合することを特徴とする。
【００２２】
請求項９の発明は、請求項１の発明において、前記ラベルが互いに異なる複数個の前記ブロック連結領域について、画素値の分布に関する特徴量の類似度が規定値以上である各一対のブロック連結領域をグループ化することを特徴とする。
【００２３】
請求項１０の発明は、請求項１の発明において、前記ラベルが互いに異なる複数個の前記ブロック連結領域について、最短距離が規定した閾値以内である各一対のブロック連結領域に同ラベルを付与して統合することを特徴とする。
【００２４】
請求項１１の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域のうち面積が規定の閾値以上であるブロック連結領域を前記多値画像内での背景側の領域とみなし、当該ブロック連結領域には規定した背景側のラベルを付与することを特徴とする。
【００２５】
請求項１２の発明は、請求項１１の発明において、前記多値画像内における背景側の領域の画素値の分布に関する特徴量を求め、前記ブロック連結領域のうち面積が前記閾値未満であってブロック連結領域内の画素の画素値の分布に関する特徴量と背景側の領域の特徴量との類似度が規定値以上であるブロック連結領域には規定した背景側のラベルを付与することを特徴とする。
【００２６】
請求項１３の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域のうち面積が規定の閾値以下であるブロック連結領域を着目するブロック連結領域として着目するブロック連結領域内の画素の画素値から画素値の分布に関する特徴量を求め、他のブロック連結領域であってブロック連結領域内の画素の画素値の分布に関する特徴量との類似度が規定値以上になるブロック連結領域が着目するブロック連結領域から規定の距離範囲内に存在しないときに、着目するブロック連結領域に前記多値画像内における背景側であることを示す規定した背景側のラベルを付与することを特徴とする。
【００２７】
請求項１４の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域ごとにブロック連結領域に外接する最小の矩形を設定し、設定した矩形の大きさが規定範囲を逸脱するときには当該ブロック連結領域に前記多値画像内における背景側であることを示す規定した背景側のラベルを付与することを特徴とする。
【００２８】
請求項１５の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域ごとに主軸の方向を求め、後処理においてブロック連結領域との類似度を比較するマッチングパターンの主軸の方向にブロック連結領域の主軸の方向が一致するようにブロック連結領域を回転させることを特徴とする。
【００２９】
請求項１６の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域ごとにブロック連結領域に外接する最小の矩形を設定し、当該矩形のサイズが規定したサイズになるように各ブロック連結領域を拡大または縮小することを特徴とする。
【００３０】
請求項１７の発明に係る画像の領域分割装置は、多値画像を記憶する記憶手段と、記憶手段に格納された多値画像をそれぞれ複数個の画素を含む矩形状の複数個のブロックに分割する画像分割処理部と、ブロック内の画素値の分布に関する特徴量を求める特徴量演算部と、隣接する各一対のブロック間で特徴量を比較し特徴量の類似度が規定値以上である各一対のブロックには同じラベルを付与するとともに特徴量の類似度が規定値未満である各一対のブロックには異なるラベルを付与して前記多値画像内のすべてのブロックにラベルを付与する追跡処理部と、同ラベルが付与されているブロックからなるブロック連結領域の境界部分に位置するブロックを複数個の分割ブロックに分割するブロック分割処理部とを備え、特徴量演算部はブロック分割処理部で分割した分割ブロックについて特徴量を求める機能を有し、追跡処理部は、分割前のブロックに隣接するブロックの前記特徴量と分割ブロックの画素値の分布に関する特徴量との類似度が規定値以上になるときに隣接するブロックと同じラベルを当該分割ブロックに付与することにより当該分割ブロックを前記ブロック連結領域を構成するブロックとして前記ブロック連結領域に統合する機能を有し、ブロック分割処理部と特徴量演算部と追跡処理部とによりブロックを分割ブロックに分割してラベルを付与する処理を繰り返すことにより多値画像に含まれる全画素にラベルを付与することを特徴とする。
【００３１】
請求項１８の発明に係るプログラムは、請求項１ないし請求項１６のいずれか１項に記載の画像の領域分割方法をコンピュータを用いて実現する。
【００３２】
【発明の実施の形態】
本実施形態では、図１に示すように、文字が表記された対象物１をＣＣＤカメラのような撮像装置２を用いて撮像し、撮像装置２により得られた画像内において文字の領域を他の領域から分離する場合を例として説明する。ここでは撮像装置２としてモノクロ信号を出力するものを想定する。撮像装置２の出力は後述の処理を行う画像処理装置１０に入力される。撮像装置２の出力はアナログ信号であって画像処理装置１０に設けたＡ／Ｄ変換器１１においてデジタル信号に変換された後、画像処理装置１０に設けた記憶手段１２に格納される。記憶手段１２は、Ａ／Ｄ変換器１１から出力された濃淡画像を一時的に記憶する一時記憶領域および濃淡画像に対して後述する各種処理を行う間に発生するデータを一時的に記憶する作業記憶領域を備えるメモリと、各種データを長期的に記憶するためのハードディスク装置のような記憶装置とを含む。記憶手段１２における一時記憶領域に格納される濃淡画像は、画素がマトリクス状に配列されるとともに各画素に多段階の画素値が設定される多値画像になる。なお、本実施形態では、濃淡画像（グレー画像）を用いるから以下では画素値として濃度値を用いるが、多値画像としてはカラー画像や距離画像を用いることができ、カラー画像では画素値として色相あるいは彩度を用いればよく、距離画像では画素値として距離を用いることになる。また、カラー画像では、適宜の基準色との色差を用いて各画素に１つの画素値を対応させたり、Ｌ^＊ａ^＊ｂ^＊表色系の明度Ｌ^＊色度ａ^＊，ｂ^＊の３つの値を１画素の画素値として対応させてもよい。
【００３３】
画像処理装置１０はマイクロコンピュータを主構成とし、記憶手段１２に格納した画像に対して図２に示す処理を実行することによって、本実施形態の目的である文字の領域を他の領域から分離する。なお、画像処理装置１０にはモニタ３が付設され、記憶手段１２に格納された画像や処理中の画像をモニタ３で監視することが可能になっている。いま、記憶手段１２に格納された画像が図５（ａ）に示す内容であるとすれば、画像処理装置１０では図５（ａ）に示す画像内から図５（ｂ）に示すように文字Ｃの領域を抽出する。ただし、図５（ａ）に示す画像においては、文字Ｃのほかにデザインによる図柄Ｄや地模様Ｅの領域が含まれ、文字Ｃのうち「Ｂ」では不連続部分（左右両部分の間に隙間）が存在し、また「Ｘ」では明暗のむらが大きい部分が存在している。したがって、図５（ａ）の画像を従来の技術として説明したように画像の画素値（濃度）で単純に二値化すると、図５（ｃ）のように、文字Ｃ以外に図柄Ｄや地模様Ｅの一部が画像内に残り、「Ｂ」の文字Ｃはひとまとまりに扱うことができず、「Ｘ」の文字Ｃについては形状を明確に抽出することができなくなる。さらに、図５（ａ）に示す画像内には撮像手段１２により生じるノイズが含まれていることもあり、ノイズが含まれていると二値化した画像内で文字Ｃと同じ画素値の画素が不規則に発生することがある。図５（ｃ）では図柄Ｄや地模様Ｅの中にノイズにより生じた画素も含まれている。つまり、図５（ｃ）の画像のように、文字Ｃ以外の情報が含まれていたり、本来は１文字Ｃであるのにひとまとまりに扱っていない情報が含まれていたり、文字Ｃの形状が不明瞭であったりすると、光学的文字読み取り装置などにおいて文字Ｃを認識しようとするときに図５（ａ）のような元の画像の濃度値を二値化しただけでは、得られる情報に過不足が生じ、結果的に文字Ｃの認識率が低下することになる。
【００３４】
そこで、文字Ｃ以外の不要な情報（以下、「背景領域」という）を画像内から除去し、さらに文字Ｃごとに１つのまとまった領域として扱うことを可能にするとともに、文字Ｃの中で濃度値にばらつきがあっても文字Ｃの形状をほぼ正確に抽出することを可能にすることが要求される。以下では、文字Ｃのような目的の領域を「物体領域」と呼ぶ。光学的文字読み取り装置においては、文字Ｃの認識率を向上させるために、文字の領域である物体領域と背景領域とを分離することが前処理として要求される。また、物品の種別をパターンマッチングによって認識するような場合にも、パターンマッチングの精度を高めるために、物品の領域である物体領域と背景領域とを分離することが前処理として要求される。
【００３５】
このような前処理を行うために、本実施形態では記憶手段１２に格納された濃淡画像に対して、図２に示す手順の処理を行って物体領域と背景領域とを分離する。すなわち、まず画像分割処理部１３では、記憶手段１２に格納された濃淡画像を２の累乗個（ｎを正整数として２^ｎ個）の画素を一辺とする正方領域であるブロックＢ（図６参照）に分割する（Ｓ１）。画像のアスペクト比は適宜に設定してよいが、現状では４：３が一般的であるから、１画面の画素数は６４０×４８０画素、８００×６００画素、１０２４×７６８画素、１１５２×８６４画素のいずれかであるものとする。これらの画素数のいずれかを選択すると、２^ｎ×２^ｎ画素のブロックＢとして設定可能な最大サイズは、それぞれ３２×３２画素（ｎ＝５）、８×８画素（ｎ＝３）、２５６×２５６画素（ｎ＝８）、３２×３２画素（ｎ＝５）になる。ブロックＢのサイズは、文字Ｃを物体領域とする場合であれば、ブロックＢの一辺が文字Ｃの線幅程度になるように設定される。このようなブロックＢのサイズは画像における空間周波数に基づいて自動的に設定することができる。
【００３６】
次に、画像分割処理部１３で得られた各ブロックＢは特徴量演算部１４に引き渡され、各ブロックＢの画素値の分布に関する特徴量がそれぞれ求められる（Ｓ２）。本実施形態では特徴量としてブロックＢに含まれる各画素の濃度値の平均値および標準偏差を用いる。各ブロックＢについて求めた特徴量は追跡処理部１５において比較され、着目しているブロックＢに隣接するブロックＢであって着目しているブロックＢとの特徴量の類似度が規定値以上であるブロックＢを追跡する（Ｓ３）。隣接する各一対のブロックＢの類似度が規定値以上であるときには両ブロックＢに同じラベルを付与することによって、同ラベルを付与した複数個のブロックＢからなるブロック連結領域を形成する。すなわち、着目するブロックＢに対して特徴量の類似度が規定値以上になるような隣接するブロックＢを順次追跡し、追跡されたブロックＢによって図７に示すような形でブロック連結領域が形成される（図７において濃淡の異なるひとまとまりの部分がそれぞれブロック連結領域になる）。追跡可能であったブロックＢについては、ブロック連結領域ごとにラベルを付与して記憶手段１２に格納する。隣接するブロックＢの特徴量を比較してブロック連結領域を追跡する処理手順については後述する。
【００３７】
一方、上述のようにしてブロックＢを追跡して濃淡画像に複数個のブロック連結領域が形成されると、異なるラベルが付与されたブロック連結領域の境界部分のブロックＢをブロック分割処理部１６に引き渡す（Ｓ４）。ブロック分割処理部１６ではブロック連結領域の境界部分である各ブロックＢを縦横にそれぞれ２分割した分割ブロックＢｎ（＝Ｂ１、ｎは正整数、図１３参照）を形成する（Ｓ５，Ｓ６）。つまり、分割ブロックＢ１に含まれる画素数はブロックＢの画素数の４分の１になる。ブロック分割処理部１６において生成された分割ブロックＢ１は、特徴量演算部１４に引き渡されて特徴量が求められ、分割ブロックＢ１について求めた特徴量は追跡処理部１５において周囲のブロックＢの特徴量との類似度が評価される。分割ブロックＢ１の特徴量と周囲のブロックＢの特徴量との類似度が規定値以上であるときには、分割ブロックＢ１に周囲のブロックＢと同じラベルが付与され、この分割ブロックＢ１は周囲のブロックＢと同じブロック連結領域に統合される（Ｓ７）。このようなラベル付けの処理によって各分割ブロックＢ１にラベルが付与され、ブロック連結領域の境界部分では分割ブロックＢ１の単位でブロック連結領域の形状が微細化される。このようにして、ブロック連結領域の境界部分には分割ブロックＢ１が並ぶから、分割ブロックＢ１をブロックＢと等価に扱い、分割ブロックＢ１をさらに分割ブロックＢ２に分割して上述の処理を繰り返し、最終的には１画素単位まで分割する（Ｓ８，Ｓ９）。ここにおいて、分割ブロックＢｎを用いて形成したブロック連結領域を記憶手段１２に格納するのはもちろんのことである。上述のようにしてすべてのブロックＢと分割ブロックＢｎ（ｎは正整数）とにラベルが付与されれば各ブロック連結領域が物体領域または背景領域であると考えられるから、物体領域と背景領域とを分離することが可能になる。
【００３８】
以下では、ブロック連結領域を求める処理についてさらに具体的に説明する。本発明の基本的な処理手順は、上述したように濃淡画像を分割したブロックＢを用いる段階と、ブロックＢをさらに分割した分割ブロックＢｎ（ｎは正整数）を用いる段階とを有している。つまり、物体領域と背景領域とのおおまかな分類を行うために濃淡画像を分割したブロックＢを用いる初期分割段階と、ブロックＢでは物体領域と背景領域とに分類できないような境界付近についてブロックＢよりも小さい単位である分割ブロックＢｎを用いる細分化段階とを有している。
【００３９】
まずブロックＢを用いる初期分割段階について図３を用いて説明する。上述したように、初期分割段階では、まず記憶手段１２に格納されている濃淡画像を、一辺の画素数が２の累乗である正方形のブロックＢに分割する。たとえば、図５（ａ）に示した濃淡画像を図６のような形でブロックＢに分割する。図示するブロックＢのサイズは一辺の画素数が文字Ｃの線幅の画素数程度に設定されている。また、ブロックＢの一辺の画素数を２の累乗個に設定しておけば、細分化段階においてはブロックＢの一辺を２分割することにより等面積の分割ブロックＢｎを形成することができるから、分割ブロックＢｎを設定する処理が簡単になる。
【００４０】
上述したように、初期分割段階においては、各ブロックＢについて求めた特徴量の類似度が高いブロックＢを追跡してグループ化することによりブロック連結領域を形成するのであって、ブロック連結領域を形成する複数個のブロックＢには同じラベルが付与される。ここでは、ラベルとして数値を用いるものとし、ブロック連結領域ごとに付与されるラベルを「識別番号」と呼ぶことにする。ブロック連結領域を形成するブロックＢを追跡する際には、濃淡画像の全体を用いてもよいが、背景領域を確実に分離することができる場合には、追跡の前に背景領域を分離するのが望ましい。追跡の前に背景領域の少なくとも一部を分離しておけば、追跡すべき領域が少なくなるから、処理量の低減につながり、結果的に処理の高速化が期待できる。たとえば、図５（ａ）に示した濃淡画像であれば、図柄Ｄの一部や地模様Ｅの部分については分離することが可能である。
【００４１】
本実施形態では、ブロックＢの追跡の前に背景領域の一部を分離する処理として、各ブロックＢの濃度値の平均値を求め、濃度値の平均値に対する適宜の閾値を設定してブロックＢを二値化することにより背景領域を分離する（Ｓ１）。たとえば、図５（ａ）に示した濃淡画像であれば、図柄Ｄの一部や地模様Ｅの部分については文字Ｃの部分の濃度値の平均値よりも十分に小さいから（ここでは、図において白から黒に向かって濃度が増加するものとする）、適宜の閾値との大小比較によって背景領域の一部を分離することができる。このように、各ブロックＢごとに濃度値の平均値を求め、濃度値の平均値が規定した閾値以下であるブロックＢは識別番号を０に設定する（Ｓ２）。図５（ａ）の濃淡画像に対して識別番号が０である領域を白画素の領域とした例を図７に示す。図７では識別番号として０を付与した領域は白画素の領域になっているが、文字Ｃや図柄Ｄの一部を含む領域のブロックＢについては識別番号が付与されていないから、このことを利用して以下の手順によってブロック連結領域に含まれるブロックＢを追跡する。
【００４２】
ブロック連結領域の追跡には、まず濃淡画像の左上端のブロックＢを開始点とし、最上段に並ぶブロックＢについて識別番号の付与されていないブロックＢを左から右に順に追跡し、右端に達した後には１段下に並ぶブロックＢについて識別番号の付与されていないブロックＢを左から右に順に追跡する。つまり、いわゆるラスタ走査を行う。このようにして、識別番号Ｂの付与されていないブロックＢが最初に発見されると（Ｓ３）、このブロックＢに適宜の識別番号を付与する（Ｓ４）。ここでは、識別番号を０から順次大きくなる整数値として付与する。したがって、最初に発見されたブロックＢには１が付与される。また、以下の説明においては、ブロックＢの位置を示す必要があるときには図に示した座標（ｘ，ｙ）を用いてブロックＢ（ｘ，ｙ）と表し、ブロックＢを追跡する際に着目しているブロックＢに対して追跡の候補になっているブロックＢの相対位置を示す必要があるときには相対位置を追跡ベクトルＶと呼び、図に示した座標の差（ｄｘ，ｄｙ）を用いて追跡ベクトルＶ（ｄｘ，ｄｙ）と表す。
【００４３】
いま、図７に示した画像内で識別番号の付与されていないブロックＢを追跡したときに、図８（ａ）のようにブロックＢ（３，１）が最初に発見されたとする。この場合に、ブロックＢ（３，１）に識別番号として１を付与する（Ｓ４）。つまり、このブロックＢ（３，１）は１つのブロック連結領域Ａ１の要素と推定されるから、ブロック連結領域Ａ１を構成する要素としてブロックＢ（３，１）を加える（Ｓ５）。なお、図８では各ブロックＢの識別番号を丸付き数字で示してある。
【００４４】
上述のようにして識別番号を付与するブロックＢ（３，１）が発見されると、このブロックＢ（３，１）を着目するブロックＢとし、このブロック（３，１）に近接するブロックＢとの間で特徴量（濃度値の平均値および標準偏差）の類似度を評価し、着目するブロックＢ（３，１）に近接するブロックＢとの特徴量の類似度が規定値を超えているときには、近接しているブロックＢに対して着目するブロック（３，１）と同じ識別番号を付与する。ここで、着目するブロックＢに近接するブロックＢは、着目するブロックＢの周囲の８個のブロックＢであって、着目するブロックＢに対する周囲の８個のブロックＢの相対位置を表すために方向値ｋを設定してある。方向値ｋは０〜７の数値であり、ブロックＢを追跡する際の向きを「３」として時計方向の順で４５度ずつ４，５，６の値を付与し、「３」に対して反時計方向の順で４５度ずつ２，１，０の値を付与する。ただし、最初に識別番号が付与されたブロックＢ（３，１）については、着目するブロックＢの右隣りの方向値ｋを０とし、時計方向の順で１，２，……，７の番号を付与することにより着目するブロックＢとの相対位置を方向値ｋによって識別可能にしてある。以下では、ブロックＢ（ｘ，ｙ）に対して方向値ｋをもって隣接するブロックＢを、ブロックＢｋ（ｘ，ｙ）と表記する。
【００４５】
そこで、着目するブロックＢ（３，１）との類似度を評価するブロックＢを識別するために、まず方向値ｋを０に設定し（Ｓ７）、設定した方向において隣接するブロックＢが存在するか否かを判断し（Ｓ８）、図８（ｂ）のようにブロックＢ０（３，１）（＝Ｂ（４，１））が存在する場合には、そのブロックＢ０（３，１）にすでに識別番号が付与されているか否かが判断される（Ｓ９）。識別番号が付与されていなければ、このブロックＢ０（３，１）との類似度を評価し、同じ識別番号を付与するか否かを判断する（Ｓ１０，Ｓ１１）。類似度の評価には、まずブロック連結領域Ａ１に含まれる画素の濃度値の平均値とブロックＢ（４，１）に含まれる画素の濃度値の平均値との差を求める。ここで、両者の差が規定の閾値内であるときには（Ｓ１０）、ブロック連結領域Ａ１に含まれる画素の濃度値の標準偏差とブロックＢ（４，１）に含まれる画素の濃度値の標準偏差とを求め、両者の標準偏差の差が規定の閾値内であるときには（Ｓ１１）、ブロックＢ（４，１）をブロック連結領域Ａ１に含まれると判断し、このブロックＢ（４，１）にブロック連結領域Ａ１と同じ識別番号を与える（Ｓ１２）。つまり、図８（ｂ）のようにブロックＢ（４，１）にはブロックＢ（３，１）と同様に識別番号が１になる。このようにして、ブロック連結領域Ａ１にブロックＢ（４，１）が加えられ（Ｓ１３）、あらたに生成されたブロック連結領域Ａ１について濃度分布が求められる（Ｓ１４）。ここに、濃度分布の値としては濃度値の平均値を用いている。
【００４６】
一方、ステップＳ８，Ｓ９において比較対象として抽出されたブロックＢｋ（ｘ，ｙ）がステップＳ１０，Ｓ１１のいずれかにおいて類似しないと判断されたときには、方向値ｋをインクリメントし（Ｓ１５）、次のブロックＢ１（３，１）（＝Ｂ（４，２））についてステップＳ８〜Ｓ１１の処理を行う。上述のようにして、追跡の開始点となるブロックＢ（３，１）に対して方向値ｋを順に時計回りに変化させ、Ｂ（４，１）→Ｂ（４，２）→Ｂ（３，２）→Ｂ（２，２）→Ｂ（２，１）→Ｂ（２，０）→Ｂ（３，０）→Ｂ（４，０）の順で各ブロックＢｋ（３，１）がブロック連結領域Ａ１に含まれるか否かを判断する。ただし、追跡の開始点となるブロックＢ（３，１）に近接するブロックＢｋ（３，１）のうちでブロック連結領域Ａ１に付加するブロックＢｋ（３，１）が見つかれば、ブロックＢｋ（３，１）の中でブロック連結領域Ａ１に含まれるものを追跡するのではなく、発見したブロックＢｋ（３，１）を次の開始点としてステップＳ７以降の処理を繰り返す。
【００４７】
図８に示す例では、ブロックＢ（３，１）に隣接するブロックＢ（４，１）はブロックＢ（３，１）に類似すると判断されており、ブロックＢ（３，１）に隣接する他のブロックＢ（４，２）、Ｂ（３，２）、Ｂ（２，２）、Ｂ（２，１）、Ｂ（２，０）、Ｂ（３，０）、Ｂ（４，０）については類似度を判断していない。したがって、ブロックＢ（４，１）の識別番号が１に設定され、ブロックＢ（４，１）を追跡の開始点としてブロックＢ（４，１）に隣接するブロックＢｋ（４，１）についてブロックＢ（４，１）と類似するか否かが判定されることになる。
【００４８】
ブロックＢ（４，１）については、図８（ｂ）のように、ブロックＢ（３，１）からブロックＢ（４，１）に向かう向きが右向きであるから（つまり、追跡ベクトルがＶ（１，０）であるから）、ブロックＢ（４，１）の右隣りであるブロックＢ（５，１）の方向値ｋが３になる。つまり、ブロックＢ（４，１）に隣接するブロックＢｋ（４，１）は、Ｂ（３，０）→Ｂ（４，０）→Ｂ（５，０）→Ｂ（５，１）→Ｂ（５，２）→Ｂ（４，２）→Ｂ（３，２）の順で類似度が判定される。ここでは、図８（ｃ）のように、ブロックＢ（５，２）がブロックＢ（４，１）と類似すると判断された例を示しており、ブロックＢ（５，２）に１という識別番号を与えている。以下同様にして、ブロック連結領域Ａ１に含まれるブロックＢを追跡するのである。
【００４９】
上述のようにして、ブロック連結領域Ａｍ（ｍは０および正整数）に含めるブロックＢを追跡する際に、着目するブロックＢ（ｘ、ｙ）に隣接するブロックＢｋ（ｘ、ｙ）を時計方向に追跡しているから、物体領域の輪郭に相当するブロック連結領域Ａｍが検出されることになる。ここで、図８に示す例では、図８（ｄ）のようにブロック連結領域Ａ１に含めるブロックＢを追跡するとブロックＢ（３，２）に達し、ブロックＢ（３，２）に隣接するブロックＢｋ（３，２）をＢ（２，２）→Ｂ（２，１）→Ｂ（３，１）→Ｂ（４，１）→Ｂ（４，２）→Ｂ（４，３）→Ｂ（３，３）の順で追跡すると、識別番号が未設定であってかつ類似度が規定値以上であるブロックＢ（４，２）の前に、識別番号が既設定であるブロックＢ（３，１）、Ｂ（４，１）が類似度の比較対象として抽出されることになる。しかしながら、これらのブロックＢ（３，１）、Ｂ（４，１）は識別番号がすでに設定されているから、類似度を判断する必要がない。そこで、着目するブロックＢ（ｘ，ｙ）に隣接しているブロックＢｋ（ｘ，ｙ）にすでに識別番号が設定されているときには（Ｓ９）、着目するブロックＢ（ｘ，ｙ）と同じ識別番号が設定されているか否か（つまり、同じブロック連結領域Ａ１に含まれているか否か）を判断し（Ｓ１６）、識別番号が一致しているときには、その時点までに追跡されたブロックＢをブロック連結領域Ａ１の輪郭（境界部分）Ｏ１として記憶手段１２に登録する（Ｓ１７）。要するに、着目するブロックＢ（ｘ，ｙ）と隣接するブロックＢｋ（ｘ，ｙ）との識別番号が一致すれば、ひとまとまりの物体領域に関する輪郭Ｏ１の抽出を終了する。なお、ブロックＢ（３，１）を抽出した時点で輪郭を記憶手段１２に登録するから、その後に、ブロック連結領域Ａ１に含まれかつ識別番号が既設定であるブロックＢが発見されても無視する。
【００５０】
上述のようにして物体領域の輪郭を決定した後には、輪郭の抽出の終端となったブロックＢ（ｘ，ｙ）に隣接するブロックＢｋ（ｘ，ｙ）について右回りに追跡を続け、識別番号が未設定であってかつ類似度が規定値以上になるブロックＢを抽出する。図８に示す例では、図８（ｅ）のように、ブロックＢ（３，２）の周囲においてブロックＢ（４，２）が抽出され、同様にしてブロックＢ（４，２）に隣接するブロックＢｋ（４，２）をＢ（３，１）→Ｂ（４，１）→Ｂ（５，１）→Ｂ（５，２）→Ｂ（５，３）→Ｂ（４，３）→Ｂ（３，３）の順で追跡すると、識別番号が付与されておらず類似度が規定値以上になるブロックＢ（３，３）が抽出される。ブロックＢ（４，２）に隣接するブロックＢｋ（４，２）を追跡する際には、識別番号が既設定であって類似度が規定値以上であるブロックＢ（３，１）、Ｂ（４，１）、Ｂ（５，２）、Ｂ（５，３）が存在するが、ブロック連結領域Ａ１の輪郭Ｏ１は記憶手段１２にすでに記憶されているので、ブロックＢ（３，１）、Ｂ（４，１）、Ｂ（５，２）、Ｂ（５，３）については輪郭として採用せずに無視する。
【００５１】
上述のようにして抽出されたブロックＢ（３，５）に隣接するブロックＢｋ（３，３）を追跡すると、識別番号が未設定であってかつ類似度が規定値未満であるブロックＢは存在しないから、この時点で追跡が終了する。すなわち、各ブロックＢ（ｘ、ｙ）に隣接するブロックＢｋ（ｘ、ｙ）について、識別番号が未設定かつ類似度が規定値以上であるという条件を満たすブロックＢが存在しなくなった時点で追跡を終了するから、図８（ｆ）に示すように、物体領域の輪郭を渦巻き状に追跡してブロック連結領域Ａ１を決定することができる。
【００５２】
なお、上述のようにブロック連結領域Ａｍに属するブロックＢを追跡する過程において濃度値の平均値および標準偏差を比較するにあたり（Ｓ１０）、すでに追跡したブロックＢ（つまり、追跡済みのブロック連結領域Ａｍ）の全画素の濃度値の平均値および標準偏差を随時求め（Ｓ１４）、この値を用いてブロックＢを追跡する。いま、図５に示した「Ｘ」の文字Ｃのように濃度にむらを生じているような物体領域を追跡することによって、図９（ａ）に矢印で示しているような経路でブロックＢが追跡されたとする。この経路上の各ブロックＢごとの平均濃度は図９（ｂ）の折線イのように変化するのに対して、上述のように追跡済みのブロック連結領域Ａｍの平均濃度を用いると図９（ｂ）の折線ロのように変化する。つまり、各ブロックＢごとの平均濃度の差を用いて追跡すると濃度むらの生じている部位で急激な濃度変化が生じるために追跡が中断するおそれがあるが、追跡済みのブロック連結領域Ａｍの平均濃度を用いることによって急激な濃度変化が抑制され、結果的に濃度むらが生じていても追跡の中断を回避することが可能になる。
【００５３】
上述のようにしてひとまとまりのブロック連結領域Ａ１の追跡が終了すると（Ｓ８）、識別番号をインクリメントし（Ｓ１８）、濃淡画像の左上端から順にブロックＢを追跡して識別番号が未設定であるブロックＢについて上述した処理を繰り返す。つまり、図８に示した例では識別番号が１であるブロック連結領域Ａ１に含まれるブロックＢを追跡したから、次は識別番号が２であるブロック連結領域Ａ２に含まれるブロックＢを追跡するのである。
【００５４】
なお、ブロック連結領域Ａｍに含まれるブロックＢを追跡する過程において、着目しているブロックＢ（ｘ，ｙ）に隣接するブロックＢｋ（ｘ，ｙ）の中に類似度が規定値以上になるブロックＢが複数個存在している場合（このような場合を追跡において「分岐」がある場合という）、上述の処理では、先に発見されたブロックＢのみがブロック連結領域Ａｍに含まれ、残りのブロックＢがひとまとまりのブロック連結領域Ａｍに含まれなくなる可能性がある。つまり、本来は１つのブロック連結領域Ａｍに含むべきブロックＢであるのに、追跡において分岐があると複数個のブロック連結領域Ａｍに分割されるおそれがある。たとえば、図５に示した「Ｚ」の文字Ｃでは、図１０（ａ）に矢印で示す経路でブロックＢを追跡すると、ブロックＢ（５，２）ではブロックＢ（４，３）とブロックＢ（４，２）とに分岐が生じ、同様にブロックＢ（４，３）やブロックＢ（３，５）においても分岐が生じる。このような分岐が生じるとブロック連結領域Ａｍが分割される可能性があるから、分岐を生じるブロックＢを記憶手段１２に一時的に記憶しておき、追跡の終端側で生じた分岐から順に分岐先を開始点とする追跡を行うことによって、ブロック連結領域Ａｍの分割を回避する。たとえば、図１０に示す例では、ブロックＢ（６，６）が追跡の終端になるから、終端にもっとも近い分岐を生じたブロックＢ（３，５）に隣接するブロックＢｋ（３，５）のうち、時計方向に追跡したときに追跡の終了したブロックＢ（４，６）の次に発見されるブロックＢ（３，６）を開始点として追跡を再開する。ここに、ブロックＢ（３，６）はブロックＢ（３，５）から分岐しているので、ブロックＢ（３，５）と同じ識別番号を付与する。このように追跡を再開すれば、図１０（ｂ）のように、Ｂ（３，６）→Ｂ（２，６）→Ｂ（１，６）→Ｂ（２，５）→Ｂ（３，４）という経路でブロック連結領域Ａｍに含まれるブロックＢを追跡することができる。分岐を生じたブロックＢ（４，３）、ブロックＢ（３，５）の分岐先は、図１０（ｂ）に示した経路に含まれ、追跡を完了していない分岐先のブロックＢは、ブロックＢ（５，２）の分岐先であるブロックＢ（４，２）のみになるから、ブロックＢ（４，２）を開始点として追跡を行い、すべての分岐先について追跡を行う。上述のように分岐が生じたときに分岐先からの追跡を行うことにより、ひとまとまりのブロック連結領域Ａｍに含まれるすべてのブロックＢを追跡することが可能になる。
【００５５】
分岐によるブロック連結領域Ａｍの分割を防止する技術として、図１０（ｃ）に矢印で示すように、追跡の終了しているブロックＢ（つまり、識別番号の付与されているブロックＢ）について再追跡を許容し、追跡の向きを逆行させる技術を採用してもよい。つまり、図１０に示す例では、ブロックＢ（５，２）とブロックＢ（４，３）とブロックＢ（３，５）とにおいて分岐が生じているから、これらのブロックＢを記憶手段１２に記憶しておき、追跡の終端のブロックＢ（６，６）に達した後に追跡した経路を逆行する。ブロックＢ（４，６）は分岐を生じたブロックＢ（３，５）の分岐先の１つであって、ここでブロックＢ（３，５）の次の分岐先であるブロックＢ（３，６）を通る経路での追跡を行うと、分岐を生じたブロックＢ（４，３）の分岐先の１つであるブロックＢ（３，４）を経由し、ブロックＢ（５，２）の分岐先の１つであるブロックＢ（４，２）に達するように連続した経路が形成されることになる。このようにしてブロック連結領域Ａｍに含まれるブロックＢを漏れなく抽出することができる。
【００５６】
なお、分岐が生じたブロックＢを記憶手段１２に記憶しておき、同じブロックＢの追跡を許容する処理を行うと処理が煩雑になるから、処理を簡潔化するために分岐を生じたブロックＢを記憶手段１２に記憶せずに追跡を行い、追跡を行った複数の領域についてひとまとまりになるか否かを検証し、ひとまとまりになる場合に追跡結果を統合するようにしてもよい。この処理について図１１の例を用いて説明する。
【００５７】
すなわち、図１１では図５に示した「田」の文字Ｃについてブロック連結領域Ａｍに含まれるブロックＢを追跡する例を示している。追跡の開始点は図１１（ａ）に示すブロックＢ（１，１）であって、通常の追跡を行うと図１１（ａ）に矢印で示す経路で文字Ｃの外周となる「口」形状のブロックＢのみがブロック連結領域Ａｍとして抽出される。つまり、「口」形状の内側の「十」形状の部分のブロックＢは追跡されないのであるが、ここでは分岐について考慮せず、「十」形状の部分については別のブロック連結領域Ａ（ｍ＋１）とみなして追跡する。すなわち、「田」の文字Ｃにおける外周のブロックＢの追跡を終了した後に、濃淡画像の左上端から再度走査して識別番号が付与されていないブロックＢ（４，２）を抽出し、このブロックＢ（４，２）を開始点として追跡を行う。ブロックＢ（４，２）を開始点とする追跡には新たな識別番号が設定されるから、この時点では「田」の文字Ｃの外周のブロックＢにより形成されるブロック連結領域Ａｍとは異なるブロック連結領域Ａ（ｍ＋１）とみなされる。ただし、「十」形状の追跡の途中では図１１（ｂ）のように、ブロックＢ（５，３）に隣接するブロックＢｋ（５，３）において、「田」の文字Ｃの外周の一部であって、識別番号が既設定であるブロックＢ（６，２）が発見されるから（Ｓ９）、識別番号が不一致であることを確認し（Ｓ１６）、さらに、このブロックＢ（６，２）についてブロックＢ（５，３）との類似度を判定し（Ｓ１９）、類似度が規定値以上であればブロック連結領域Ａ（ｍ＋１）をブロック連結領域Ａｍに属するものとみなして、ブロック連結領域Ａ（ｍ＋１）をブロック連結領域Ａｍに統合するのである（Ｓ２０，Ｓ２１）。要するに、「十」形状の部分の識別番号を「田」の文字Ｃの外周の識別番号に変更した後に追跡を継続する。２つのブロック連結領域Ａｍ，Ａ（ｍ＋１）を統合した後には、ブロック連結領域Ａｍ，Ａ（ｍ＋１）の全体の濃度分布を求め（Ｓ２２）、次のブロック連結領域の追跡のための識別番号をｍに戻す（Ｓ２３）。
【００５８】
上述の処理を行うと、図１１（ｃ）のようにブロックＢ（２，３）を開始点とするブロック連結領域Ａｍでは、ブロックＢ（３，３）に隣接するブロックＢ（４，２）が抽出され、このブロックＢ（４，２）にはすでに識別番号が付与されているから、図１１（ｄ）のように統合される。同様の処理を行うことによって、追跡中に識別番号が既設定であるブロック連結領域ＡｍのブロックＢを検出したときに、類似度が規定値以上であるときには追跡中のブロック連結領域Ａｍを識別番号が既設定であるブロック連結領域Ａｍに統合するので、ひとまとまりのブロック連結領域Ａｍが分割されるのを防止することができ、ブロック連結領域Ａｍを適正に形成することができる。
【００５９】
上述のような処理を、識別番号が付与されていないブロックＢがなくなるまで繰り返し行うことにより、濃淡画像のすべてのブロックＢがいずれかのブロック連結領域Ａｍに属することになる。図１２は図５（ａ）の濃淡画像を１７個のブロック連結領域Ａ０〜Ａ１６に分割した例を示している。
【００６０】
上述のようにして濃淡画像の含まれるすべてのブロックＢをブロック連結領域Ａ０〜Ａ１６に分割した後に、各ブロック連結領域Ａ０〜Ａ１６の境界部分を形成するブロックＢについて細分化する細分化段階に移行し、各ブロック連結領域Ａ０〜Ａ１６の境界部分の形状を微細に追跡する。つまり、細分化段階では、上述した初期分割段階において得られたブロック連結領域Ａ０〜Ａ１６の境界部分を形成するブロックＢを分割ブロックＢｎに分割し、各分割ブロックＢｎがどのブロック連結領域Ａ０〜Ａ１６に属するかを決定する。
【００６１】
次に細分化段階について図４を用いて説明する。細分化段階では、まず細分化の対象であるブロックＢを縦横に２等分し、図１３（ａ）のように１個のブロックＢを４個の分割ブロックＢ１に分割する（図４ではＬ×Ｌ個に分割している）。細分化の対象とするブロックＢは識別番号の小さいほうから順に選択する。つまり、最初は識別番号がもっとも小さいブロック連結領域Ａ０のブロックＢのうち他のブロック連結領域Ａ１〜Ａ１６との境界部分に位置するブロックＢを分割の対象とする。したがって、図４に示すように、まず識別番号ｍを０に設定し（Ｓ１）、ブロック連結領域Ａｍ（＝Ａ０）の中で輪郭Ｏｍ（＝Ｏ１）のブロックＢ（ｘ，ｙ）の有無を確認し（Ｓ２）、輪郭ＯｍのブロックＢ（ｘ，ｙ）がない場合にはすべてのブロック連結領域Ａ０〜Ａ１６について処理済みか否かを判定し（Ｓ３）、未処理のブロック連結領域Ａ０〜Ａ１６があれば識別番号をインクリメントして（Ｓ４）、未処理のブロック連結領域Ａ０〜Ａ１６について分割ブロックＢｎを生成する処理を行う（Ｓ５）。分割ブロックＢｎは上述のようにブロックＢを４分割したものであるから、２^ｎ−１画素×２^ｎ−１画素の大きさになる。
【００６２】
次に、各分割ブロックＢｎの濃度分布（ここでは、平均値および標準偏差）を求め（Ｓ８）、各分割ブロックＢｎごとに分割前のブロックＢ（ｘ，ｙ）の上下左右に隣接する４個のブロックＢ（ｘ，ｙ−１）、Ｂ（ｘ＋１，ｙ）、Ｂ（ｘ，ｙ＋１）、Ｂ（ｘ−１，ｙ）と濃度分布を比較し（Ｓ９）、濃度分布の類似度が最大であるブロックＢの識別番号を分割ブロックＢｎに付与する（Ｓ１０）。ここに、類似度の判断にはたとえば平均濃度の差および標準偏差の差を用い、分割ブロックＢｎとの平均濃度の差および標準偏差の差が規定の閾値以下であるブロックＢのうち、平均濃度の差が最小であるブロックＢを類似度が最大であると判断する。上述のような処理により、図１３（ａ）のようにブロックＢを用いて設定したブロック連結領域の境界部分の領域を、図１３（ｂ）のようにさらに詳細に分割することが可能になる。
【００６３】
ところで、ブロック連結領域の境界部分において濃度値が大きく異なるノイズ状のパターンが存在するような場合に、細分化段階において生成した分割ブロックＢｎの濃度分布を求めると、分割ブロックＢｎの周囲のブロックＢの濃度分布との類似度が規定値未満になり、周囲のどのブロックＢとも統合することができない場合がある。つまり、ステップＳ９において分割ブロックＢｎに類似するブロックＢが存在しないと判断されることがある。このような場合には、分割ブロックＢｎをさらに分割して分割ブロックＢ（ｎ＋１）を生成し（Ｓ１２）、分割ブロックＢｎに対する処理と同様の処理を行う。つまり、各分割ブロックＢ（ｎ＋１）について濃度分布を求め（Ｓ１３）、分割ブロックＢ（ｎ＋１）に分割する前のブロックＢに対して上下左右に位置するブロックＢとの濃度分布（平均値および標準偏差）と分割ブロックＢ（ｎ＋１）の濃度分布とを比較し（Ｓ１４）、類似度が最大になる分割ブロックＢｎと同じ識別番号を付与するのである（Ｓ１５）。ここで、類似度に関して条件を満たすものがない分割ブロックＢ（ｎ＋１）については、新規の識別番号を付与する（Ｓ１６）。このようにしてすべての分割ブロックＢ（ｎ＋１）について処理を行う。要するに、図１４のような形で分割ブロックＢｎを４分割した分割ブロックＢ（ｎ＋１）を生成し、各分割ブロックＢ（ｎ＋１）について類似度を評価するのである。
【００６４】
図４のステップＳ６、Ｓ７、Ｓ１１におけるｔはすべての分割ブロックＢｎについて処理を行うためのカウンタであって、Ｌ×Ｌ個（つまり４個）のすべての分割ブロックＢｎについて上述した処理を行った後には、分割ブロックＢｎをさらに細分化した分割ブロックＢ（ｎ＋１）を生成して同様の処理を行うことにより、ブロック連結領域の境界部分の領域分割をさらに詳細に行うことができる。この処理は、図４におけるステップＳ２、Ｓ５、Ｓ９、Ｓ１０、Ｓ１４、Ｓ１５におけるブロックＢを分割ブロックＢｎと読み替えた処理になる。上述のような処理を繰り返すことによって、ブロック連結領域の境界部分において最終的には１画素単位まで領域を分割することができる。また、１画素単位まで領域を分割しても識別番号が付与されない画素については背景領域とみなし、背景領域の識別番号を付与する。なお、領域の分割の際に必ずしも１画素単位まで領域を分割しなくてもよく、適宜設定した所定の画素数になるまで領域を分割した時点で分割の処理を終了してもよい。
【００６５】
上述した細分化段階の処理をブロック連結領域の境界部分に存在するすべてのブロックＢに対し行うことによって境界部分を細分化すれば、図１５に示すような形で領域を分割することができる。領域の分割後には後処理に必要な物体領域を背景領域から分離する。
【００６６】
物体領域と背景領域とを分離するには、以下のような２種類の判断を行う。第１には、一般に物体領域については画像内での大きさが既知であることが多いことを利用するのであって、物体領域と背景領域とを分離するための閾値を面積（画素数）について設定しておき、画像内での面積がこの閾値以上である領域は背景領域とみなす。次に、背景領域とみなした領域の全画素の画素値から特徴量として濃度分布（平均値と標準偏差）を求め、上述した閾値よりも面積が小さい領域のうち背景領域と濃度分布が類似している領域は背景領域とみなす。第２には、物体領域よりも面積が十分に小さい領域はノイズの可能性が高いことを利用するのであって、物体領域とノイズとの分離用に設定した閾値よりも面積が小さい領域で、しかもこの領域の近傍に濃度分布の類似した領域が存在しない場合に背景領域とみなす。なお、近傍の程度は画素数によって適宜に設定する。第１の判断によって、物体領域に形成された孔も含めて背景領域の見えている部分を分離することができ、第２の判断によって物体領域よりも小さいノイズ状の背景領域を分離することができる。
【００６７】
いま、図１６に示すようなブロック連結領域Ａ０〜Ａ４を抽出済みである濃淡画像について考察すると、ブロック連結領域Ａ０およびブロック連結領域Ａ１は面積が大きいから適宜の閾値を用いることによって背景領域として分離することができる。また、ブロック連結領域Ａ３は面積が小さく、しかも濃度分布が背景領域Ａ１と類似していることにより背景領域として分離される。さらに、ブロック連結領域Ａ４は面積が小さく、ブロック連結領域Ａ４の近傍には濃度の類似する領域が存在しないから背景領域として分離される。このようにして、ブロック連結領域Ａ２のみが物体領域として残り後処理への入力になる。
【００６８】
上述した初期分割段階および細分化段階の処理を行い、さらに背景領域を分離する処理を行うことによって、物体領域を背景領域から分離して抽出できるが、後処理の内容によっては抽出した物体領域を統合することが必要になる場合もある。たとえば、図５（ａ）に示した「Ｂ」の文字Ｃには隙間があり、２個の物体領域として抽出されることになるから、後処理が文字認識であるような場合には２個に分離された物体領域を統合して１つの物体領域として扱うことが要求される。
【００６９】
そこで、本実施形態では、得られた物体傾城のうちで濃度分布の類似度が規定値以上である場合に１個の物体領域として統合し、また、物体領域ごとに近傍の物体領域との間の最短距離を求め、求めた距離が規定した閾値以下である２個の物体領域については１個の物体領域として統合している。ここに類似度の評価は初期分割段階や細分化段階における類似度の評価と同様に行い、また物体領域の近傍の判断は画素数によって近傍の範囲を適宜に設定する。濃度分布の類似度に基づいて物体領域を統合する技術は、図５（ａ）に示した「Ｂ」の文字Ｃのように隙間を有するために２個の物体領域に分割されてしまう場合に有効であって、一般に１文字は同色であることを利用して１個の物体領域に統合することができる。また、また、図１７に示すように、文字列をグループ化しようとする場合に、複数個の文字列が近接して印刷されている場合に一連の文字列Ｇ１〜Ｇ３ごとにひとまとめにすることが可能になる。また、図５（ａ）に示した「Ｂ」の文字Ｃのように隙間を有している場合に、２個の物体領域の距離を用いて統合する技術を採用しても１文字になるように物体領域を統合することが可能である。物体領域を統合するための２種類の技術は組み合わせて用いることが可能である。
【００７０】
ところで、画像内の特定のパターンを認識する処理、たとえばニューラルネットワークに文字画像を二値化したパターン入力して文字の判別を行うような文字認識処理を正しく行うには、文字部分だけを物体領域として抽出し、文字部分以外の不要な情報を含まない画像を生成することが必要である。また、コンベア上を搬送される部品であれば、コンベアの模様を除去することによって対象画像の範囲を大幅に絞り込むことが可能になり、また部品の種類をパターンマッチングで認識するような場合には、画像内での部品の姿勢をあらかじめ補正しておけばパターンマッチングの負荷を軽減することでタクトタイムの向上が期待できる。
【００７１】
さらに、抽出された物体領域について物体領域の特徴を利用することにより後処理に必要な補正を行うことも可能である。たとえば、抽出した物体領域に外接する最小の矩形を求めるとともに、この矩形の大きさ（高さおよび幅の少なくとも一方）が規定の範囲内かどうかを判断し、規定の範囲を逸脱していればこの物体領域（ブロック連結領域）を背景領域とみなすのである。このような処理によって、抽出された物体領域のうち後処理の処理対象ではない可能性が高い不要な物体領域を除去して後処理の高速化を図ることができる。たとえば図１８に示す例では、図柄Ｄに対応する領域Ａ３，Ａ７に外接する矩形Ｒと文字Ｃに対応する領域Ａ１，Ａ２，Ｓ１０，Ａ１１，Ａ１２に外接する矩形Ｒとの高さおよび幅の差を求め、これらの差を規定の閾値と比較することにより、文字Ｃの領域Ａ１，Ａ２，Ｓ１０，Ａ１１，Ａ１２との差が大きい領域Ａ３，Ａ７を背景領域として分離することが可能である。
【００７２】
また、抽出した物体領域の主軸方向を求めるとともに、主軸方向が濃淡画像の上下方向あるいは左右方向に一致するよう物体領域を回転変換すれば、対象となる物体の向きを揃えることができ、後処理の負荷を軽減することができる。たとえば、図１９に示すように既知形状の部品Ｐをパターンマッチングによって認識する場合には、部品Ｐの主軸Ａｘの方向を求めマッチングパターンの主軸の方向に一致させるように部品Ｐの領域（物体領域）を回転させておけばパターンマッチングの処理が容易になる。
【００７３】
さらに、抽出した物体領域について物体領域に外接する最小の矩形を設定し、この矩形の大きさおよび縦横比に基づいて物体領域の大きさおよび縦横比を求め、物体領域の大きさや縦横比を規格化するように物体領域を変形させれば、画像の歪みを補正することによって、後処理における認識精度の向上が期待できる。たとえば、図２０（ｂ）（ｃ）のように大きさや縦横比が異なる文字Ｃがある場合に、設定した矩形Ｒの大きさおよび縦横比を図２０（ａ）に一致させるように補正すれば、文字認識を後処理とする場合などでは認識精度の向上につながる。
【００７４】
なお、上述した例では、濃度分布として濃度値の平均値および標準偏差を用いているが、画像にノイズや濃度むらがほとんどないことがあらかじめわかっているときには標準偏差を用いなくてもよい。また、上述の例では、平均値および標準偏差の差に対して適宜の閾値を設定して類似度を判断したが、濃度値のばらつきを正規化し濃度分布の類似度を求めることを目的として統計的検定法を適用することにより、母集団の平均値・標準偏差を推定した上で両母集団の同一性を検定する方法を用いてもよい。さらに、対象となる画像がカラー画像である場合には、濃度値に加えて色相や彩度の平均値・標準偏差を用いることが可能である。さらに、濃淡画像ではなく距離画像にも本発明の技術思想は適用可能である。また、上述の例ではブロックＢを２^ｎ×２^ｎ画素に設定しているが、分割ブロックＢｎに分割する際に最終的に１×１画素が得られるような分割方法を採用するのであれば、ブロックＢは２^ｎ×２^ｎ画素でなくてもよい。また、ブロックＢの追跡の際に時計方向に追跡しているが、反時計方向に追跡してもよいのはもちろんのことである。
【００７５】
本実施形態の処理によって領域分割を行った例を図２１〜図２２に示す。図２１は元の画像であって、図２２は初期分割段階でのブロック連結領域を示し、図２３は細分化処理を行った後のブロック連結領域を示している。この例から明らかなように、元の画像を複数の領域に分割することができ、しかも元の画像内でひとまとまりと考えられる領域がほぼ正確に分割されていることがわかる。図示例のような非常に複雑な画像であっても、よい精度で領域を分割することができるから、たとえば文字認識に用いる画像や部品の種別を識別するために用いる画像では物体領域を正確に抽出することが可能である。
【００７６】
【発明の効果】
請求項１の発明は、多値画像をそれぞれ複数個の画素を含む矩形状の複数個のブロックに分割した後に、ブロック内の画素値の分布に関する特徴量を隣接する各一対のブロック間で比較し特徴量の類似度が規定値以上である各一対のブロックには同じラベルを付与するとともに特徴量の類似度が規定値未満である各一対のブロックには異なるラベルを付与して前記多値画像内のすべてのブロックにラベルを付与する初期分割段階と、同ラベルが付与されているブロックからなるブロック連結領域の境界部分に位置するブロックを複数個の分割ブロックに分割するとともに、分割前のブロックに隣接するブロックの前記特徴量と分割ブロックの画素値の分布に関する特徴量との類似度が規定値以上になるときに隣接するブロックと同じラベルを当該分割ブロックに付与することにより当該分割ブロックを前記ブロック連結領域を構成するブロックとして前記ブロック連結領域に統合する細分化段階とを有し、細分化段階を繰り返すことにより多値画像に含まれる全画素にラベルを付与することを特徴としており、初期分割段階において画像内で類似性を有する領域をブロックによっておおまかに分割するから、ブロックのサイズよりも小さい領域で画素値が変化するようなノイズや地模様のような背景を容易に分離することができる。また、隣接するブロックのうち画素値の分布が類似しているブロックに同ラベルを付与してブロック連結領域を形成しているので、背景との画素値分布は異なるが同一領域内で画素値にばらつきが生じている（明るさのむらがある場合など）ような対象物、たとえば、かすれた文字や陰影の付いたマークなどの領域を正しく抽出することができる。しかも、ブロック連結領域の境界部分についてのみブロックを細分化し、全画素にラベルを付与するから、ブロック連結領域の境界部分では１画素単位まで微細化することが可能であり、対象物の輪郭形状を正確に抽出することができる。その結果、ノイズが含まれる画像や地模様や図形を背景に含むような画像であっても、対象物を画像内から容易に抽出することができ、結果的に文字認識や物品の種別の認識などにおいて不要な情報を除去でき、高精度かつ高速な処理が期待できる。その上、対象物の内側の領域はブロックの単位で処理することによって処理の負荷が少ないから、ブロック連結領域の境界部分では高精度に形状を抽出しながらも全体では処理の負荷が少なく、結果的に高速な処理が期待できる。
【００７７】
請求項２の発明は、請求項１の発明において、前記ブロックおよび前記分割ブロックは２^ｎ×２^ｎ画素の矩形の領域であることを特徴としており、細分化段階においてブロックないし分割ブロックを分割する際に等分することができ、細分化段階における分割ブロックの生成が容易である。
【００７８】
請求項３の発明は、請求項１または請求項２の発明において、前記初期分割段階において、各一対のブロック間で特徴量を比較する前に、各ブロックの画素値の平均値を規定の閾値と比較することにより前記多値画像内で背景側となるブロックを抽出するとともに、背景側となるブロックには規定した背景側のラベルを付与することを特徴としており、背景側とみなしてよいブロックには背景側のラベルを付与しているから、処理の不要な画素を無視することができ処理効率を大幅に向上させることができる。
【００７９】
請求項４の発明は、請求項１ないし請求項３の発明において、前記初期分割段階において、着目するブロックに隣接する複数個のブロックを時計方向と反時計方向とのいずれか一方の順で選択するとともに選択したブロックと着目するブロックとの特徴量の類似度が規定値以上であるときに選択したブロックを次に着目するブロックとして追跡し、着目するブロックと選択したブロックとの特徴量の類似度が規定値以上でありかつ選択したブロックに着目するブロックと同ラベルが付与されているときに追跡済みのブロックを前記ブロック連結領域の境界部分に位置するブロックとすることを特徴としており、ブロックの追跡が一定の回転方向について行われるから、ブロック連結領域を追跡する処理によって同時にブロック連結領域の境界部分が検出されることになり、他の方法でブロック連結領域を求めた後にブロック連結領域の境界部分を抽出する場合に比較して処理速度が大幅に向上する。
【００８０】
請求項５の発明は、請求項４の発明において、前記初期分割段階において、着目するブロックと選択したブロックとの特徴量の類似度が規定値以上でありかつ選択したブロックに着目するブロックとは異なるラベルが付与されているときに追跡済みのブロックに選択したブロックと同じラベルを付与することを特徴としており、ブロックを追跡する途中で追跡すべきブロックの選択肢が複数個である場合、つまり分岐を生じる場合に、ひとまとまりになるべきブロック連結領域に異なるラベルが付与されてしまうのを防止することができる。
【００８１】
請求項６の発明は、請求項１の発明において、前記特徴量の類似度は前記ブロック内の画素値の平均値の差であることを特徴としており、ブロックの画素値の平均値を比較しているから、ブロック内の微細構造にかかわらずブロック同士の類似性を判断することができる。
【００８２】
請求項７の発明は、請求項１の発明において、前記特徴量の類似度は前記ブロック内の画素値の平均値の差および標準偏差の差であることを特徴とする。画素値のレベルだけではなくばらつきの程度を評価することができ、たとえば、テクスチャが同じである２つのブロックについて特徴量として濃度値の平均値および標準偏差を用いることにより、両ブロックに同ラベルを付与することが可能になる。
【００８３】
請求項８の発明は、請求項１の発明において、前記細分化段階において、分割ブロックが１画素以上の所定の画素数に達した状態で前記ブロック連結領域に統合できない分割ブロックは前記多値画像内で背景側となるブロック連結領域に統合することを特徴としており、強いノイズや画素値の大きなばらつき（濃度むらや色むら）などによってどのブロック連結領域にも統合できない領域があるときに、このような領域を背景側に統合させることによって、この種の領域を処理の対象外として除去することができる。
【００８４】
請求項９の発明は、請求項１の発明において、前記ラベルが互いに異なる複数個の前記ブロック連結領域について、画素値の分布に関する特徴量の類似度が規定値以上である各一対のブロック連結領域をグループ化することを特徴としており、１個の領域として扱うべき部分が互いに離間していることによって複数のブロック連結領域に分割されている場合でも、これらの領域をグループ化するから１個の領域として扱うことが可能になる。
【００８５】
請求項１０の発明は、請求項１の発明において、前記ラベルが互いに異なる複数個の前記ブロック連結領域について、最短距離が規定した閾値以内である各一対のブロック連結領域に同ラベルを付与して統合することを特徴としており、１個の領域として扱うべき部分が画素値のばらつき（文字のかすれなど）によって複数の領域に分割されている場合でも、これらの領域を統合して１個の領域として扱うことが可能になる。
【００８６】
請求項１１の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域のうち面積が規定の閾値以上であるブロック連結領域を前記多値画像内での背景側の領域とみなし、当該ブロック連結領域には規定した背景側のラベルを付与することを特徴としており、ブロック連結領域の面積を用いて背景領域を簡単な処理で分離することができる。
【００８７】
請求項１２の発明は、請求項１１の発明において、前記多値画像内における背景側の領域の画素値の分布に関する特徴量を求め、前記ブロック連結領域のうち面積が前記閾値未満であってブロック連結領域内の画素の画素値の分布に関する特徴量と背景側の領域の特徴量との類似度が規定値以上であるブロック連結領域には規定した背景側のラベルを付与することを特徴としており、対象物に穴が存在することによって対象物の外側の輪郭線の内側に背景領域が飛び地として存在するような場合にも、この種の領域を背景領域に統合することが可能になる。
【００８８】
請求項１３の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域のうち面積が規定の閾値以下であるブロック連結領域を着目するブロック連結領域として着目するブロック連結領域内の画素の画素値から画素値の分布に関する特徴量を求め、他のブロック連結領域であってブロック連結領域内の画素の画素値の分布に関する特徴量との類似度が規定値以上になるブロック連結領域が着目するブロック連結領域から規定の距離範囲内に存在しないときに、着目するブロック連結領域に前記多値画像内における背景側であることを示す規定した背景側のラベルを付与することを特徴としており、ノイズなどにより偶発的に発生した不要な領域を背景領域に統合することができる。
【００８９】
請求項１４の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域ごとにブロック連結領域に外接する最小の矩形を設定し、設定した矩形の大きさが規定範囲を逸脱するときには当該ブロック連結領域に前記多値画像内における背景側であることを示す規定した背景側のラベルを付与することを特徴としており、対象物の大きさが既知であるときには不要な領域を簡単な処理で容易に除去することができる。
【００９０】
請求項１５の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域ごとに主軸の方向を求め、後処理においてブロック連結領域との類似度を比較するマッチングパターンの主軸の方向にブロック連結領域の主軸の方向が一致するようにブロック連結領域を回転させることを特徴としており、対象物の向きをマッチングパターンの向きと一致させることによって、対象物とマッチングパターンとの回転による誤差を補正するから、パターンマッチングの処理を容易かつ正確に行うことが可能になる。
【００９１】
請求項１６の発明は、請求項１の発明において、前記細分化段階の終了後において前記ブロック連結領域ごとにブロック連結領域に外接する最小の矩形を設定し、当該矩形のサイズが規定したサイズになるように各ブロック連結領域を拡大または縮小することを特徴としており、画像に歪みがあって対象物の縦横比にばらつきが生じているような場合でも、対象物のサイズを揃えることによって対象物に対する後処理が容易になる。
【００９２】
請求項１７の発明に係る画像の領域分割装置は、多値画像を記憶する記憶手段と、記憶手段に格納された多値画像をそれぞれ複数個の画素を含む矩形状の複数個のブロックに分割する画像分割処理部と、ブロック内の画素値の分布に関する特徴量を求める特徴量演算部と、隣接する各一対のブロック間で特徴量を比較し特徴量の類似度が規定値以上である各一対のブロックには同じラベルを付与するとともに特徴量の類似度が規定値未満である各一対のブロックには異なるラベルを付与して前記多値画像内のすべてのブロックにラベルを付与する追跡処理部と、同ラベルが付与されているブロックからなるブロック連結領域の境界部分に位置するブロックを複数個の分割ブロックに分割するブロック分割処理部とを備え、特徴量演算部はブロック分割処理部で分割した分割ブロックについて特徴量を求める機能を有し、追跡処理部は、分割前のブロックに隣接するブロックの前記特徴量と分割ブロックの画素値の分布に関する特徴量との類似度が規定値以上になるときに隣接するブロックと同じラベルを当該分割ブロックに付与することにより当該分割ブロックを前記ブロック連結領域を構成するブロックとして前記ブロック連結領域に統合する機能を有し、ブロック分割処理部と特徴量演算部と追跡処理部とによりブロックを分割ブロックに分割してラベルを付与する処理を繰り返すことにより多値画像に含まれる全画素にラベルを付与するものであり、画像内で類似性を有する領域をブロックによっておおまかに分割するから、ブロックのサイズよりも小さい領域で画素値が変化するようなノイズや地模様のような背景を容易に分離することができる。また、隣接するブロックのうち画素値の分布が類似しているブロックに同ラベルを付与してブロック連結領域を形成しているので、背景との画素値分布は異なるが同一領域内で画素値にばらつきが生じている（明るさのむらがある場合など）ような対象物、たとえば、かすれた文字や陰影の付いたマークなどの領域を正しく抽出することができる。しかも、ブロック連結領域の境界部分についてのみブロックを細分化し、全画素にラベルを付与するから、ブロック連結領域の境界部分では１画素単位まで微細化することが可能であり、対象物の輪郭形状を正確に抽出することができる。その結果、ノイズが含まれる画像や地模様や図形を背景に含むような画像であっても、対象物を画像内から容易に抽出することができ、結果的に文字認識や物品の種別の認識などにおいて不要な情報を除去でき、高精度かつ高速な処理が期待できる。その上、対象物の内側の領域はブロックの単位で処理することによって処理の負荷が少ないから、ブロック連結領域の境界部分では高精度に形状を抽出しながらも全体では処理の負荷が少なく、結果的に高速な処理が期待できる。
【００９３】
請求項１８の発明に係るプログラムは、請求項１ないし請求項１６のいずれか１項に記載の画像の領域分割方法をコンピュータを用いて実現するものであって、請求項１ないし請求項１６と同様の効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すブロック図である。
【図２】同上の動作の概要を示す動作説明図である。
【図３】同上における初期分割段階の処理手順を示す動作説明図である。
【図４】同上における細分化段階の処理手順を示す動作説明図である。
【図５】同上の動作説明図である。
【図６】同上においてブロックを設定した状態の動作説明図である。
【図７】同上においてブロック連結領域を形成した状態の動作説明図である。
【図８】同上においてブロックを追跡する手順を示す動作説明図である。
【図９】同上の動作説明図である。
【図１０】同上においてブロックを追跡する手順を示す動作説明図である。
【図１１】同上においてブロックを追跡する手順を示す動作説明図である。
【図１２】同上においてブロック連結領域が形成された状態を示す動作説明図である。
【図１３】同上の動作説明図である。
【図１４】同上の動作説明図である。
【図１５】同上において細分化段階の結果を示す動作説明図である。
【図１６】同上の動作説明図である。
【図１７】同上の動作説明図である。
【図１８】同上の動作説明図である。
【図１９】同上の動作説明図である。
【図２０】同上の動作説明図である。
【図２１】同上を説明するための中間調画像をプリンタで印刷した写真である。
【図２２】同上を説明するための中間調画像をプリンタで印刷した写真である。
【図２３】同上を説明するための中間調画像をプリンタで印刷した写真である。
【符号の説明】
１　対象物
２　撮像装置
３　モニタ
１０　画像処理装置
１１　Ａ／Ｄ変換器
１２　記憶手段
１３　画像分割処理部
１４　特徴量演算部
１５　追跡処理部
１６　ブロック分割処理部

Claims

多値画像をそれぞれ複数個の画素を含む矩形状の複数個のブロックに分割した後に、ブロック内の画素値の分布に関する特徴量を隣接する各一対のブロック間で比較し特徴量の類似度が規定値以上である各一対のブロックには同じラベルを付与するとともに特徴量の類似度が規定値未満である各一対のブロックには異なるラベルを付与して前記多値画像内のすべてのブロックにラベルを付与する初期分割段階と、同ラベルが付与されているブロックからなるブロック連結領域の境界部分に位置するブロックを複数個の分割ブロックに分割するとともに、分割前のブロックに隣接するブロックの前記特徴量と分割ブロックの画素値の分布に関する特徴量との類似度が規定値以上になるときに隣接するブロックと同じラベルを当該分割ブロックに付与することにより当該分割ブロックを前記ブロック連結領域を構成するブロックとして前記ブロック連結領域に統合する細分化段階とを有し、細分化段階を繰り返すことにより多値画像に含まれる全画素にラベルを付与することを特徴とする画像の領域分割方法。
前記ブロックおよび前記分割ブロックは２^ｎ×２^ｎ画素の矩形の領域であることを特徴とする請求項１記載の画像の領域分割方法。
前記初期分割段階において、各一対のブロック間で特徴量を比較する前に、各ブロックの画素値の平均値を規定の閾値と比較することにより前記多値画像内で背景側となるブロックを抽出するとともに、背景側となるブロックには規定した背景側のラベルを付与することを特徴とする請求項１または請求項２記載の画像の領域分割方法。
前記初期分割段階において、着目するブロックに隣接する複数個のブロックを時計方向と反時計方向とのいずれか一方の順で選択するとともに選択したブロックと着目するブロックとの特徴量の類似度が規定値以上であるときに選択したブロックを次に着目するブロックとして追跡し、着目するブロックと選択したブロックとの特徴量の類似度が規定値以上でありかつ選択したブロックに着目するブロックと同ラベルが付与されているときに追跡済みのブロックを前記ブロック連結領域の境界部分に位置するブロックとすることを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像の領域分割方法。
前記初期分割段階において、着目するブロックと選択したブロックとの特徴量の類似度が規定値以上でありかつ選択したブロックに着目するブロックとは異なるラベルが付与されているときに追跡済みのブロックに選択したブロックと同じラベルを付与することを特徴とする請求項４記載の画像の領域分割方法。
前記特徴量の類似度は前記ブロック内の画素値の平均値の差であることを特徴とする請求項１記載の画像の領域分割方法。
前記特徴量の類似度は前記ブロック内の画素値の平均値の差および標準偏差の差であることを特徴とする請求項１記載の画像の領域分割方法。
前記細分化段階において、分割ブロックが１画素以上の所定の画素数に達した状態で前記ブロック連結領域に統合できない分割ブロックは前記多値画像内で背景側となるブロック連結領域に統合することを特徴とする請求項１記載の画像の領域分割方法。
前記ラベルが互いに異なる複数個の前記ブロック連結領域について、画素値の分布に関する特徴量の類似度が規定値以上である各一対のブロック連結領域をグループ化することを特徴とする請求項１記載の画像の領域分割方法。
前記ラベルが互いに異なる複数個の前記ブロック連結領域について、最短距離が規定した閾値以内である各一対のブロック連結領域に同ラベルを付与して統合することを特徴とする請求項１記載の画像の領域分割方法。
前記細分化段階の終了後において前記ブロック連結領域のうち面積が規定の閾値以上であるブロック連結領域を前記多値画像内での背景側の領域とみなし、当該ブロック連結領域には規定した背景側のラベルを付与することを特徴とする請求項１記載の画像の領域分割方法。
前記多値画像内における背景側の領域の画素値の分布に関する特徴量を求め、前記ブロック連結領域のうち面積が前記閾値未満であってブロック連結領域内の画素の画素値の分布に関する特徴量と背景側の領域の特徴量との類似度が規定値以上であるブロック連結領域には規定した背景側のラベルを付与することを特徴とする請求項１１記載の画像の領域分割方法。
前記細分化段階の終了後において前記ブロック連結領域のうち面積が規定の閾値以下であるブロック連結領域を着目するブロック連結領域として着目するブロック連結領域内の画素の画素値から画素値の分布に関する特徴量を求め、他のブロック連結領域であってブロック連結領域内の画素の画素値の分布に関する特徴量との類似度が規定値以上になるブロック連結領域が着目するブロック連結領域から規定の距離範囲内に存在しないときに、着目するブロック連結領域に前記多値画像内における背景側であることを示す規定した背景側のラベルを付与することを特徴とする請求項１記載の画像の領域分割方法。
前記細分化段階の終了後において前記ブロック連結領域ごとにブロック連結領域に外接する最小の矩形を設定し、設定した矩形の大きさが規定範囲を逸脱するときには当該ブロック連結領域に前記多値画像内における背景側であることを示す規定した背景側のラベルを付与することを特徴とする請求項１記載の画像の領域分割方法。
前記細分化段階の終了後において前記ブロック連結領域ごとに主軸の方向を求め、後処理においてブロック連結領域との類似度を比較するマッチングパターンの主軸の方向にブロック連結領域の主軸の方向が一致するようにブロック連結領域を回転させることを特徴とする請求項１記載の画像の領域分割方法。
前記細分化段階の終了後において前記ブロック連結領域ごとにブロック連結領域に外接する最小の矩形を設定し、当該矩形のサイズが規定したサイズになるように各ブロック連結領域を拡大または縮小することを特徴とする請求項１記載の画像の領域分割方法。
多値画像を記憶する記憶手段と、記憶手段に格納された多値画像をそれぞれ複数個の画素を含む矩形状の複数個のブロックに分割する画像分割処理部と、ブロック内の画素値の分布に関する特徴量を求める特徴量演算部と、隣接する各一対のブロック間で特徴量を比較し特徴量の類似度が規定値以上である各一対のブロックには同じラベルを付与するとともに特徴量の類似度が規定値未満である各一対のブロックには異なるラベルを付与して前記多値画像内のすべてのブロックにラベルを付与する追跡処理部と、同ラベルが付与されているブロックからなるブロック連結領域の境界部分に位置するブロックを複数個の分割ブロックに分割するブロック分割処理部とを備え、特徴量演算部はブロック分割処理部で分割した分割ブロックについて特徴量を求める機能を有し、追跡処理部は、分割前のブロックに隣接するブロックの前記特徴量と分割ブロックの画素値の分布に関する特徴量との類似度が規定値以上になるときに隣接するブロックと同じラベルを当該分割ブロックに付与することにより当該分割ブロックを前記ブロック連結領域を構成するブロックとして前記ブロック連結領域に統合する機能を有し、ブロック分割処理部と特徴量演算部と追跡処理部とによりブロックを分割ブロックに分割してラベルを付与する処理を繰り返すことにより多値画像に含まれる全画素にラベルを付与することを特徴とする画像の領域分割装置。
請求項１ないし請求項１６のいずれか１項に記載の画像の領域分割方法をコンピュータを用いて実現する画像の領域分割プログラム。