JP2008116459A - 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム - Google Patents

Abstract

【課題】自己相似写像を用いる物体領域抽出方式の処理を高速にする。
【解決手段】シェイプデータの輪郭部分に探索基準ブロックを設定する第１のステップと、各探索基準ブロック毎に画像データの図柄が相似であり、かつ、ブロックサイズがそれよりも大きい相似ブロックを同じ画像の中から見つける第２のステップと、各探索基準ブロック内の画像を二値化したデータを各々対応の相似ブロックのシェイプデータと置き換える第３のステップとから成り、第３のステップを所定の回数繰り返すことによりシェイプデータの輪郭線を前記物体の輪郭線に一致させる輪郭抽出処理において、輪郭抽出処理を反復して行い、その反復の初めには画像データとシェイプデータと探索基準ブロックは縮小して輪郭位置補正処理を行うようにする。
【選択図】 図１

Description

本発明は、画像から輪郭抽出対象物体の領域を抽出するための画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システムに関する。

画像から目的の被写体の領域を抽出する技術は、例えば、背景を別の画像に置き換えるといった加工などに有用である。その際、目的の被写体である抽出対象物体の領域が正しく求まっていないと、高い品質の加工画像は得られない。

そのため、何らかの方法で物体の概略形状が求まっているときに、その概略形状を元にして、より高い精度で物体領域を求める技術が求められており、その手法の一つとして、本件発明者らは文献：「自己相似写像による輪郭線のフィッティング」（井田、三本杉、第５回画像センシングシンポジウム講演論文集、Ｃ- １５、pp.１１５-１２０、Ｊｕｎｅ １９９９．）に開示した如きものを提案した。この技術は、自己相似写像を用いる手法であって、その概要を図５〜図８を用いて説明しておく。

この技術は、図５に示すように、処理対象のフレーム画像中における抽出対象物体（正しい物体領域）１の画像部分を斜線で、また、抽出対象物体の概略形状２を太線で表わしている。抽出対象物体の概略形状２は例えば、オペレータが画面に表示されたフレーム画像上において抽出対象物体の外形に沿うようにマニュアル操作で大雑把に描いた外形線であり、抽出対象物体１の輪郭１ａとはズレがある。

そこで、この抽出対象物体の概略形状２の内側の画素に画素値“２５５”を代入し、そして、外側の画素に画素値“０”を代入する。すなわち、抽出対象物体の概略形状２の内側の画素全てが画素値“２５５”に塗りつぶされた、その背景は全て画素値“０”に塗りつぶされた画像（すなわち、二値画像）が得られる。このような処理を施して得た画像（二値画像）をシェイプデータあるいはアルファマップなどと呼ぶ。

自己相似写像を用いる手法によれば、暫定的に与えた抽出対象物体の概略形状２、すなわち、言い換えれば暫定的に設定したシェイプデータの輪郭を、求めたい物体の正しい輪郭である抽出対象物体１の輪郭１ａに一致させることができる。

そのためには、まず、暫定的なシェイプデータ（暫定的なアルファマップ）の輪郭（抽出対象物体の概略形状２）に沿って探索基準ブロックＢ１，Ｂ２，…，Ｂｎ-1，Ｂｎを配置する。

これは、暫定的なシェイプデータ（暫定的なアルファマップ）の画像について左上画素（座標位置０，０）から右方向へ、上のラインから下のラインへ順にスキャンし、すなわち、基準座標位置からＸＹスキャンさせて画素を調べていき、左隣りあるいは上隣りの画素と画素値が異なり、それまでに設定したブロックに含まれない画素である場合に、その画素を中心にして所定の大きさ（ブロックサイズｂ）のブロックを配置することで行う。これにより、図５にＢ１，Ｂ２，…，Ｂｎで示すようにブロックが数珠つなぎに重なり合いながら設定された探索基準ブロックが得られる。

次に、処理対象のフレーム画像中における該当座標位置上にそれぞれの探索基準ブロックＢ１，…，Ｂｎを位置させる。これにより、抽出対象物体（正しい物体領域）１の輪郭位置を一部に含む抽出対象物体１の部分領域をそれぞれの探索基準ブロックＢ１，…，Ｂｎが含むことになるので、それぞれそのブロック内の画素状況が似ている相似ブロックを求める。

相似ブロックは対応する探索基準ブロックを領域拡大した範囲で試行錯誤的に各相似候補ブロックを設定し、その相似候補ブロック内の画像を縮小したものと探索基準ブロック内の画像との誤差が最小となるものを見つけてそれを相似ブロックとして求める。例えば、図６に、探索基準ブロックＢ１の相似ブロックＢｓ１を示すが、この図の如き対応となる。

このようにして、それぞれの探索基準ブロックＢ１，…，Ｂｎに対しての抽出対象物体（正しい物体領域）１の相似ブロックを求める。
このように、相似ブロックとは、対応する探索基準ブロックよりも大きく、その画像データを縮小したときの画素値が、探索基準ブロック内の画像データとほぼ等しくなるものをいう。

相似ブロックを見つけるための具体的手法は、次の如きである。例えば、探索基準ブロックＢ１の相似ブロックを見つけるためには、図７に示したように、探索基準ブロックＢ１の周囲に適宜な大きさの探索領域Ｆｓ１を設定する。そして、この探索領域Ｆｓ１の内部において相似候補ブロックＢｃを様々に設定しながら、その度にブロックサイズヘの縮小処理と探索基準ブロックＢ１との誤差評価を行い、誤差が最小となった相似候補ブロックを相似ブロックＢｃｄとして決定する。

図７の例では、探索基準ブロックＢ１の縦横２倍で中心が同じ位置である相似候補ブロックＢｃを基準にしてこれを上下左右に各々ｗ画素の範囲で１画素ずつずらしながら誤差評価を行う。

なお、図６では探索基準ブロックＢ１の相似ブロックＢｓ１しか示していないが、もちろん図５に示した全ての探索基準ブロックＢ１，…Ｂｎに対してそれぞれ相似ブロックを求める。

次に、シェイプデータ（アルファマップ）に対して、各探索基準ブロックＢ１，…Ｂｎの位置に該当するデータについて、その探索基準ブロック対応の相似ブロック内の画像から得たシェイプデータ（アルファマップ）で置き換えると云う手法で補正する。相似ブロックは探索基準ブロックよりサイズが大きいので、当然のことながらサイズは縮小処理して合わせる（サイズの正規化）。

このようにして探索基準ブロック対応の相似ブロック内の画像から得た正規化済みのシェイプデータ（アルファマップ）で置き換えると云う手法で補正する。これを全ての探索基準ブロックＢ１，…Ｂｎにおいて１回ずつ行うと、シェイプデータの輪郭（抽出対象物体の概略形状２）は正しい物体領域１の輪郭１ａに近づく。そして、置き換えを再帰的に反復することにより、図８に示したように、シェイプデータの輪郭（抽出対象物体の概略形状２）は正しい物体領域１の輪郭１ａの近くに収束する。

この手法では探索基準ブロックＢ１，…Ｂｎに正しい物体領域１の輪郭線が含まれている必要がある。従って、正しい物体領域１の輪郭線に対する探索基準ブロックＢ１，…Ｂｎのずれが大きい場合には、まず、大きなブロックを用いて上述した処理を行うことで、シェイプデータの輪郭（抽出対象物体の概略形状２）を正しい物体領域１の輪郭１ａの近くに寄せ、次に、小さなブロックで上述の処理を行うことで、細かな凸凹を一致させる。
これにより、輪郭のずれが大きい場合でも高い精度で輪郭の抽出が可能となる。そのフローチャートを図９に示す。図９のフローチャートに従って処理を説明すると、まず、
［ステップＳ１の処理］：探索基準ブロックのブロックサイズをｂとすると、このブロックサイズｂをＡと置く。

［ステップＳ２の処理］：このブロックサイズｂを用いて、先に図５〜図８を用いて説明した輪郭位置補正処理を行う。

［ステップＳ３の処理］：次に、探索基準ブロックのブロックサイズｂを前回の半分の値にする。

［ステップＳ４の処理］：その結果、探索基準ブロックのブロックサイズｂがＺ（＜Ａ）よりも小さい場合には処理を終了し、そうでない場合にはステップＳ２の処理に戻る。

このような処理により、暫定的に与えたシェイプデータ（暫定的に与えたアルファマップ）の輪郭が、目的の抽出対象の輪郭とずれが大きいような場合でも、目的の抽出対象の輪郭に一致させるように輪郭位置補正処理することができ、従って、この輪郭位置補正処理による補正済みのシェイプデータ（アルファマップ）を用いることで画像中から高い精度で当該目的の抽出対象画像の輪郭を抽出できるようになる。

画像データから目的の画像部分を抽出する方法として、何らかの方法で物体の概略形状が求まっているときに、その概略形状をもとにして、抽出対象物体の領域を求める技術が求められており、その手法の一つとして、自己相似写像を用いる手法がある。

この技術は、画像中の目的の画像部分の概略形状をオペレータがマニュアル操作で大雑把に描くことにより、抽出対象物体の概略形状２を得、この抽出対象物体の概略形状２の内側の画素に画素値“２５５”を代入し、そして、外側の画素に画素値“０”を代入する処理（つまり、二値化）を施すことで、シェイプデータを得る。

そして、シェイプデータの輪郭（抽出対象物体の概略形状２）に沿って探索基準ブロックＢ１，Ｂ２，…,Ｂｎ-1，Ｂｎを配置する。

次に、それぞれの探索基準ブロックＢ１，…，Ｂｎについてそれぞれ相似ブロックを求める。

次に、シェイプデータについて、各探索基準ブロックＢ１，…Ｂｎの位置のデータを、その探索基準ブロック対応の相似ブロックにて切り出して縮小したもので置き換える。これを全ての探索基準ブロックＢ１，…Ｂｎにおいて１回ずつ行うと、シェイプデータの輪郭（抽出対象物体の概略形状２）は正しい物体領域１の輪郭１ａに近づく。そして、置き換えを再帰的に反復することにより、図８に示したように、シェイプデータの輪郭（抽出対象物体の概略形状２）は正しい物体領域１の輪郭１ａの近くに収束することになる。それは、各相似ブロックが、それぞれが対応している探索基準ブロックよりも大きく、その画像データを縮小したときの画素値が、探索基準ブロック内の画像データとほぼ等しくなるものだからである。

この手法では探索基準ブロックＢ１，…Ｂｎに正しい物体領域１の輪郭線が含まれている必要がある。従って、正しい物体領域１の輪郭線に対する探索基準ブロックＢ１，…Ｂｎのずれが大きい場合には、まず、大きなブロックを用いて上述した処理を行うことで、暫定的に与えたシェイプデータの輪郭（抽出対象物体の概略形状２）を正しい物体領域１の輪郭１ａの近くに寄せ、次に、小さなブロックで上述の処理を行うことで、細かな凸凹までもを一致させる補正ができる。そして、これにより、輪郭のずれが大きい場合でも高い精度で輪郭の抽出が可能となる。

自己相似写像を用いるこのような手法によれば、暫定的に与えた抽出対象物体の概略形状２、すなわち、言い換えれば暫定的に与えたシェイプデータの輪郭を、正しい物体領域１の輪郭１ａに一致させることができる。

しかしながら、この手法の場合、相似ブロック探索の演算量が多く、画像から目的画像部分を高速で抽出することが困難であるという問題があった。そのため、動画像などに適用するにはさらなる改善が必要である。

そこで、この発明の目的とするところは、処理量を削減でき、画像から目的画像部分を高速で抽出することが可能となる画像の輪郭抽出方法を提供することにある。

上記目的を達成するため、本発明は次のように構成する。

［１］第１には、輪郭抽出対象物体が撮像された画像データと、この画像データ内の輪郭抽出対象物体の領域を表わす暫定的な輪郭形状の二値化画像であるシェイプデータを入力とし、前記シェイプデータの輪郭部分に、それぞれ中心位置を置いて所定サイズの探索基準ブロックを、互いの位置をずらして複数設定する第１のステップと、各探索基準ブロック毎に、そのブロック内での前記画像データの図柄が相似で、かつ、前記探索基準ブロックよりも大きいブロックサイズの相似ブロックを同じ画像の中から探索する第２のステップと、シェイプデータのうち、前記各探索基準ブロック内におけるシェイプデータを、各々の前記相似ブロックより得た縮小処理によるサイズ調整済みの補正用シェイプデータと置き換えることによりシェイプデータの補正処理をする第３のステップとから成り、前記第３のステップを所定の回数繰り返すことにより、シェイプデータの輪郭線を前記物体の輪郭線に一致させる輪郭抽出処理方法において、
前記輪郭抽出処理を所定の回数反復して行い、
その反復の初めには前記画像データとシェイプデータを縮小して輪郭抽出処理を行うことを特徴とする。

本発明においては、自己写像を用いる方法を採用して暫定のシェイプデータ （アルファマップ）を輪郭抽出対象物体の輪郭に一致するように修正するが、そのために輪郭抽出対象物体が撮像された画像データと、この画像データ内の輪郭抽出対象物体の領域を表わす暫定的な輪郭形状の二値化画像であるシェイプデータを用い、前記シェイプデータの輪郭部分に、それぞれ中心位置を置いて所定サイズの探索基準ブロックを、互いの位置をずらして複数設定する。そして、各探索基準ブロック毎に、そのブロック内での前記画像データの図柄が相似で、かつ、前記探索基準ブロックよりも大きいブロックサイズの相似ブロックを同じ画像の中から探索する。そして、シェイプデータのうち、前記各探索基準ブロック内におけるシェイプデータを、各々の前記相似ブロックより得た縮小処理によるサイズ調整済みの補正用シェイプデータと置き換えることにより、シェイプデータの補正処理をする。

本発明では、前記輪郭抽出処理を所定の回数反復して行い、その反復の初めには前記画像データとシェイプデータを縮小して輪郭抽出処理を行う。

すなわち、複数回繰り返される輪郭抽出処理においては、そのはじめの方では前記画像データとシェイプデータを縮小して輪郭抽出処理を行うが、処理対象の画像サイズを小さくすれば、それに合わせて輪郭のずれの画素数も小さくなることから、探索基準ブロックのブロックサイズをそれほど大きくしなくてもシェイプデータの輪郭を正しい位置に近づけることができることを利用している。故に、本発明では、はじめの方の回の輪郭抽出処理においては、画像データは縮小したものを用いると共に、あわせてシェイプデータおよび探索基準ブロックも縮小したものを用いて輪郭抽出処理を行う。

ここでの処理に従来よりも小さなサイズのブロックで処理が行えるのでその分、演算量も少なくて済む。輪郭抽出処理の回数が進むと、元の画像サイズでの輪郭抽出処理が行われることで、最終的には輪郭抽出対象物体の持つ輪郭の細かい凸凹も反映されるようにシェイプデータの補正がなされ、この補正されたシェイプデータを用いることで、輪郭抽出対象物体の輪郭を精度良く抽出できるようになる。

従って、この発明によれば、シェイプデータ（アルファマップ画像）の輪郭位置補正の処理量を軽減でき、画像から目的画像部分を高速で抽出することが可能となる画像の輪郭抽出方法を提供できる。

［２］また、本発明は、輪郭抽出対象物体が撮像された画像データと、この画像データ内の輪郭抽出対象物体の領域を表わす暫定的な輪郭形状の二値化画像であるシェイプデータを入力とし、前記シェイプデータの輪郭部分に、それぞれ中心位置を置いて所定サイズの探索基準ブロックを、互いの位置をずらして複数設定する第１のステップと、各探索基準ブロック毎に、そのブロック内での前記画像データの図柄が相似で、かつ、前記探索基準ブロックよりも大きいブロックサイズの相似ブロックを同じ画像の中から探索する第２のステップと、シェイプデータのうち、前記各探索基準ブロック内におけるシェイプデータを、各々の前記相似ブロックより得た縮小処理によるサイズ調整済みの補正用シェイプデータと置き換えることによりシェイプデータの補正処理をする第３のステップとから成り、前記第３のステップを所定の回数繰り返すことにより、シェイプデータの輪郭線を前記物体の輪郭線に一致させる輪郭抽出処理方法において、
前記第２のステップでの処理は、相似ブロックの探索範囲を探索基準ブロック内のシェイプデータの輪郭の方向と垂直な方向に制限することを特徴とする。

本発明においては、自己写像を用いる方法を採用してシェイプデータ（アルファマップ）を輪郭抽出対象物体の輪郭に一致するように修正するが、そのために輪郭抽出対象物体が撮像された画像データと、この画像データ内の輪郭抽出対象物体の領域を表わす暫定的な輪郭形状の二値化画像であるシェイプデータを用い、前記シェイプデータの輪郭部分に、それぞれ中心位置を置いて所定サイズの探索基準ブロックを、互いの位置をずらして複数設定する。各探索基準ブロック毎に、そのブロック内での前記画像データの図柄が相似で、かつ、前記探索基準ブロックよりも大きいブロックサイズの相似ブロックを同じ画像の中から探索する。シェイプデータのうち、各探索基準ブロック内におけるシェイプデータを、各々の相似ブロックより得た縮小処理によるサイズ調整済みの補正用シェイプデータと置き換えることによりシェイプデータの補正処理をする。

本発明では、前記第２のステップでの処理、すなわち、各探索基準ブロック毎に、そのブロック内での前記画像データの図柄が相似で、かつ、前記探索基準ブロックよりも大きいブロックサイズの相似ブロックを同じ画像の中から探索する相似ブロック探索処理は、相似ブロックの探索範囲を探索基準ブロック内のシェイプデータの輪郭の方向と垂直な方向に制限するようにする。

すなわち、ある探索基準ブロックに対する相似ブロック探索処理は、従来手法によれば、その探索基準ブロックを中心に、上下左右所定の範囲内でブロックサイズを拡張して類似の画素パターンを示すものを探すことで実施するが、本発明では相似ブロックの探索範囲を探索基準ブロック内のシェイプデータの輪郭の方向と垂直な方向に制限する。これにより、演算量を軽減する。

輪郭抽出対象物体の輪郭は、もちろん未知であり、暫定的に与えたシェイプデータの輪郭をどちらに動かせば輪郭抽出対象物体の輪郭に近づくのかも、相似ブロック探索時には当然分からないわけであるが、シェイプデータの輪郭の方向と輪郭抽出対象物体の輪郭の方向は経験的にみて、ほぼ合っていることがほとんどなので、シェイプデータの輪郭の方向と垂直な方向に対して探索するのが最も合理的である。

従って、この発明によれば、シェイプデータ（アルファマップ）の輪郭位置補正の処理量を軽減でき、画像か-ら目的画像部分を高速で抽出することが可能となる画像の輪郭抽出方法を提供できる。

更に、本発明は、抽出対象物体が撮像された画像データの各部分を同じ画像データの別の部分または別の画像データと比較することにより、この画像データ内の抽出対象物体の暫定的な領域を表わす画像であるシェイプデータを生成する第１のステップと、前記画像データと暫定的に生成した前記シェイプデータとを用いて、前記シェイプデータの輪郭を前記抽出対象物体の輪郭に一致させる第２のステップとから成ることを特徴とする画像からの物体抽出方法を提供する。

本発明によると、物体を所定位置に固定しなくとも適正に物体を抽出できる。

本発明は、抽出対象物体が撮像された画像データと、前記画像データ内の抽出対象物体の暫定的な領域を表す画像であるシェイプデータを入力とし、前記シェイプデータの輪郭部分に、それぞれ中心部分をおいて所定サイズの探索基準ブロックを、互いの位置をずらして複数設定する第１のステップと、各探索基準ブロック毎に、そのブロック内での前記画像データの図柄が相似で、かつ、前記探索基準ブロックよりも大きいブロックサイズの相似ブロックを同じ画像の中から探索する第２のステップと、前記シェイプデータのうち、前記各探索基準ブロック内におけるシェイプデータを、前記相似ブロックより得た縮小処理によるサイズ補正済みの補正用シェイプデータと置き換えることによりシェイプデータの補正処理をする第３のステップとから成る物体抽出方法において、
前記シェイプデータは、互いに異なる物体の領域と背景領域ではそれぞれ互いに異なる画素値を有し、前記第３のステップにおける縮小処理では、前記シェイプデータのサンプリング点の周囲のいずれかの画素の画素値をサンプリング値とすることを特徴とする画像からの物体抽出方法を提供する。

本発明は、 送受信データを相互に送受するサーバーとクライアントからなる伝送システムにおいて、前記クライアントは、抽出対象物体が撮像された画像データから物体を抽出して抽出画像データを得る物体抽出手段と、前記抽出画像データをそのままか、あるいは圧縮し、上り送受信データとして前記サーバーに送るクライアント送信手段と、前記サーバーから送られてくる下り送受信データを受信して、その送受信データが圧縮されていない場合にはそのまま画像データとし、圧縮されている場合には画像データを再生するクライアント受信手段と、前記画像データを表示する手段とで構成され、
前記サーバーは、前記上り送受信データを受信して、その送受信データが圧縮されていない場合にはそのまま抽出画像データとし、圧縮されている場合には抽出面像データを再生するサーバー受信手段と、前記抽出画像データを一つの合成画像データに合成する合成手段と、前記合成画像データをそのままか、あるいは圧縮し、前記下り送受信データとして送信するサーバー送信手段とで構成される、ことを特徴とする伝送システムを提供する。

本発明によれば、暫定的に与えたシェイプデータ（アルファマップ）の輪郭を輪郭抽出対象物体の輪郭に近付ける処理を、演算量を大幅に軽減して実行できる。従って、その分、高速な輪郭抽出が可能となる画像の輪郭抽出方法を提供できる。

また、本発明によれば、抽出対象の物体が画面内のどこにあっても自動的に初期シェイプデータが得られ、利用者の操作が不要か、非常に少ない操作で物体を抽出できる。

以下、本発明の実施形態について図面を参照して説明する。本発明においては、第１には、画像データと暫定的なシェイプデータと探索基準ブロックを用いて画像中の輪郭抽出対象物体の輪郭抽出に用いるシェイプデータ（アルファマップ）を輪郭抽出対象物体の輪郭に一致させるべく修正する輪郭補正処理を反復して行い、その反復の初めには画像データとシェイプデータと探索基準ブロックを縮小して輪郭補正処理を行う。

すなわち、この第１の発明では、はじめの方の回では輪郭補正処理は、画像サイズを小さくして処理するようにするので、それに合わせて輪郭のずれの画素数も小さくなることから、探索基準ブロックのブロックサイズをそれほど大きくしなくてもシェイプデータ（アルファマップ）の輪郭を正しい位置に近づけることができることを利用する。このように、従来よりも小さなブロックサイズの探索基準ブロックで処理が行えるので演算量も少なくできる。そして、最後には元の画像サイズで輪郭補正処理をすることで輪郭の細かい凸凹にもフィットさせたシェイプデータ（アルファマップ）を得ることができるようにする。

以下、本発明の実施形態について、図面を用いて説明する。

（本発明で用いる基本処理内容）
本発明においても輪郭補正処理の基本的な処理内容は従来例で説明した手法を踏襲する。

［基本部分の手法］
すなわち、基本部分の手法は、次のようなものである。いま、図５に示すように、抽出処理対象の画像が撮像されたフレーム画像（原画像）中における当該抽出対象物体（正しい物体領域）１の画像があり、これを輪郭抽出処理することを考える。

［処理１］
＜抽出対象物体の概略形状設定＞
オペレータは、原画像をディスプレイ画面に表示させ、画面上において当該抽出対象物体（正しい物体領域）１の画像に抽出対象物体の概略形状２を設定する。フレーム画像（原画像）と、抽出対象物体の概略形状２のデータは座標位置は両者で共通化されているが、レイヤを別にするなど、重ね表示はできても、両者のデータが混在しないように管理する。

抽出対象物体の概略形状２は例えば、オペレータが画面に表示されたフレーム画像（原画像）上において抽出対象物体の外形に沿うようにマニュアル操作で大雑把に描いた外形線であり、抽出対象物体１の輪郭１ａとはズレがある。

そこで、抽出対象物体の概略形状２の輪郭を、求めたい物体の正しい輪郭である抽出対象物体１の輪郭１ａに一致させるための処理を、自己相似写像の手法により行う。
［処理２］
自己相似写像法は次の通りである。

［処理２−１］
＜シェイプデータ（アルファマップ）生成＞
まず、前記抽出対象物体の概略形状２のデータを対象に、当該抽出対象物体の概略形状２の内側の画素に画素値“２５５”を代入し、そして、外側の画素に画素値“０”を代入する処理を施す。これにより、抽出対象物体の概略形状２の内側の画素全てが画素値“２５５”に塗りつぶされ、また、その背景は全て画素値“０”に塗りつぶされた画像（つまり、二値画像）であるシェイプデータ（アルファマップ）が得られる。

［処理２−２］
＜探索基準ブロックの配置＞
次に、シェイプデータ（アルファマップ）の輪郭（抽出対象物体の概略形状２）に沿って探索基準ブロックＢ１，Ｂ２，…，Ｂｎ-1，Ｂｎを配置する。

これは、アルファマップの左上画素（座標位置０，０）から右方向へ、上のラインから下のラインへ順にスキャンし、すなわち、基準座標位置からＸＹスキャンさせて画素を調べていき、左隣りあるいは上隣りの画素と画素値が異なり、それまでに設定したブロックに含まれない画素である場合に、その画素を中心にして所定の大きさ（ブロックサイズｂ）のブロックを配置することで行う。これにより、図５にＢ１，Ｂ２，…，Ｂｎで示すようにそれぞれ固有の位置座標を以て配置される探索基準ブロックが得られる。この例では、探索基準ブロックＢ１，Ｂ２，…，Ｂｎが数珠つなぎに重なり合いながら設定されている。

［処理２−３］
＜相似ブロックの取得＞
それぞれ固有の位置座標を持つ探索基準ブロックＢ１，Ｂ２，…，Ｂｎが得られたならば、次に、処理対象のフレーム画像（原画像）上にそれぞれの探索基準ブロックＢ１，…，Ｂｎを座標位置を合わせて配置させる。
これにより、それぞれの探索基準ブロックＢ１，…，Ｂｎはそれぞれの座標位置において、自己の持つブロックサイズの範囲で抽出対象物体（正しい物体領域）１の輪郭位置を一部に含む抽出対象物体１の部分領域を特定することになるので、これを用いてそれぞれそのブロック内の画素状況が似ている相似ブロックを求める。

ここで、相似ブロックとは、対応する探索基準ブロックよりも大きく、その画像データを縮小したときの画素値が、探索基準ブロック内の画像データとほぼ等しくなるものをいう。

相似ブロックは、対応する探索基準ブロックを領域拡大した範囲で試行錯誤的に各相似候補ブロックを設定し、そのブロックの範囲の画像について探索基準ブロックのブロックサイズに縮小したものと、対応する探索基準ブロックのブロック内画像の画素状況（簡単に云えばブロック内の図柄）が似ているか否かの度合いを誤差評価により調べ、誤差が最小（評価結果が最良）となるものを見つけてそれを相似ブロックとして求める。

このようにして、それぞれの探索基準ブロックＢ１，…，Ｂｎに対しての抽出対象物体（正しい物体領域）１の相似ブロックを求める。

相似ブロックを見つけるための具体的手法は、次の如きである。
例えば、探索基準ブロックＢ１の相似ブロックを見つけるためには、図７に示したように、探索基準ブロックＢ１の周囲に適宜な大きさの探索領域Ｆｓ１を設定する。そして、この探索領域Ｆｓ１の内部において相似候補ブロックＢｃを様々に設定しながら、その度に探索基準ブロックＢ１のブロックサイズヘの縮小処理と、縮小処理後の相似候補ブロックと探索基準ブロックＢ１との画素分布の類似度を評価する誤差評価を行い、誤差が最小（評価結果が最良）となった相似候補ブロックを相似ブロックＢｃｄとして決定する。

図７の例では、探索基準ブロックＢ１の縦横２倍で中心の座標位置が同位置である相似候補ブロックＢｃを基準にして、これを上下左右に各々ｗ画素の範囲で１画素ずつずらすことで得られる新たな相似候補ブロックを用い、探索基準ブロックＢ１の画素分布に対する誤差評価を行う。

なお、図６では探索基準ブロックＢ１の相似ブロックＢｓ１しか示していないが、もちろん図５に示した全ての探索基準ブロックＢ１，…Ｂｎに対してそれぞれ最終的な相似ブロックＢｃｄ１，…Ｂｃｄｎを求める。

［処理２−４］
＜輪郭位置補正処理＞
全ての探索基準ブロックＢ１，…Ｂｎに対してそれぞれ相似ブロックＢｃｄ１，…Ｂｃｄｎが求められたならば、次に、シェイプデータ（アルファマップ）に対し、各探索基準ブロックＢ１，…Ｂｎ内の部分を、補正用のシェイプデータ（アルファマップ）で置き換えると云う処理をする。この補正用のシェイプデータ（アルファマップ）は、それぞれその探索基準ブロックに対応する相似ブロックＢｃｄ１，…Ｂｃｄｎでシェイプデータ（アルファマップ）から切り出し、探索基準ブロックのブロックサイズに縮小処理したものである。

これを全ての探索基準ブロックＢ１，…Ｂｎにおいて１回ずつ行うと、シェイプデータの輪郭（抽出対象物体の概略形状２）は正しい物体領域１の輪郭１ａに近づく。そして、このような置き換え処理を再帰的に反復することにより、図８に示したように、シェイプデータの輪郭（抽出対象物体の概略形状２）は正しい物体領域１の輪郭１ａの近くに収束する。

このような処理により、シェイプデータ（アルファマップ）の輪郭は正しい物体領域１の持つ輪郭と細かな凸凹まで一致させることができる。

但し、この手法では「フレーム画像（原画像）上に探索基準ブロックＢ１，…Ｂｎを配置した場合に、各探索基準ブロックＢ１，…Ｂｎ内には正しい物体領域１の輪郭線が含まれている」という条件が成立している必要がある。従って、正しい物体領域１の輪郭線に対する探索基準ブロックＢ１，…Ｂｎのずれが大きい場合には、まず、大きなブロックを用いて上述した処理を行うことで、シェイプデータの輪郭（抽出対象物体の概略形状２）を正しい物体領域１の輪郭１ａの近くに寄せる処理をして必要条件を整え、次に、小さなブロックで上述の処理を再帰的に行うことで、最終的に正しい物体領域１の輪郭に一致させる。

このような処理により得られた補正済みのシェイプデータ（アルファマップ）の輪郭は、輪郭抽出対象物体（正しい物体領域１）の持つ輪郭１ａと細かな凸凹まで一致させることができる。
そして、これにより、輪郭のずれが大きい場合でも高い精度で輪郭の抽出が可能となる。

以上が、シェイプデータ（アルファマップ）の輪郭位置補正処理であり、本発明においても、基本的な処理の内容は、従来からあるこのような自己相似写像法を踏襲している。但し、本発明では、演算処理の負担を軽減させるために、輪郭位置補正処理で用いる探索基準ブロックのブロックサイズを従来手法より小さくするようにしている。手法の詳細を説明する。

（第１の実施形態）
すなわち、従来手法においては、図９に示したように、シェイプデータ（アルファマップ）も、また、原画像（抽出対象の撮像されているフレーム画像）も、また、探索基準ブロックも元々のサイズのままのもの（縮小していないもの）を用いた。しかし、それを本発明では演算処理低減のために、サイズを縦横それぞれ今までの半分のサイズにして処理を進めるようにする。

すなわち、従来は、探索基準ブロックの一辺あたりのブロックサイズをｂとすると、このｂはＡと置いた。そして、このＡなるブロックサイズｂの探索基準ブロックを用い、かつ、原画像（抽出対象の撮像されているフレーム画像）およびシェイプデータ（アルファマップ）も元々のサイズの画像を用い、先に図５〜図８を用いて説明した輪郭位置補正処理を行った。そして、次に、Ａなるブロックサイズｂを、その半分の値にし、ブロックサイズｂがＺ（＜Ａ）よりも小さい場合には終了し、そうでない場合にはブロックサイズをさらに半分にしてこれを用いて輪郭位置補正処理を行うと云う処理を繰り返した。

そして、このような処理により、輪郭のずれが大きい場合でも高い精度で輪郭抽出できるようにした。

これに対して、本発明では、輪郭位置補正処理は粗調整段階と、本調整段階との２段処理とし、粗調整段階での輪郭位置補正処理では、はじめから暫定的なシェイプデータ（アルファマップ）を縦横１／２に縮小したものを、また、原画像も縦横１／２に縮小した画像を用いるようにし、それに合わせて探索基準ブロックもブロックサイズはｂ／２にしたものを用い、輪郭位置補正処理を行うようにする。そして、これにより、演算処理を軽減するようにした。

図１は、本発明の一実施形態を示すフローチャートであり、このフローチャートを参照して本発明を説明する。本発明では、第１段階としてシェイプデータ（アルファマップ）および原画像および探索基準ブロックをサイズ縮小して輪郭位置補正処理を行うようにして、これにより、暫定的なシェイプデータ（アルファマップ）を抽出対象物体の正しい輪郭の形状に近付けておき（粗調整段階）、次に、粗調整された暫定的シェイプデータ（アルファマップ）を抽出対象物体の正しい輪郭の形状にフィットさせるために、この粗調整されたシェイプデータ（アルファマップ）および原画像については本来のサイズで使用し、探索基準ブロックについては粗調整段階で使用した小さいサイズのものを使用して輪郭位置補正処理を行うようにする（本調整段階）ことで、演算量を大幅に低減した輪郭抽出処理を実施可能にする。

本発明び要部を説明する。
最初の段階でのシェイプデータ（アルファマップ）、すなわち、暫定的なシェイプデータ（暫定的なアルファマップ）が得られたならば、まず、粗調整段階では、前述の［処理２−２］における処理である「シェイプデータ（アルファマップ）の輪郭（抽出対象物体の概略形状２）に沿って探索基準ブロックＢ１，Ｂ２，…，Ｂｎ-1，Ｂｎを配置する」と云う処理に先立ち、探索基準ブロックのブロックサイズを定める。

［ステップＳ１１］：既存技術と同様、探索基準ブロックのブロックサイズｂを初期値はＡとする。

［ステップＳ１２］：最初の段階でのシェイプデータ（アルファマップ）である暫定的なシェイプデータ（暫定的なアルファマップ）を縦横１／２に縮小する。この縮小は元となる暫定的なシェイプデータ（暫定的なアルファマップ）について１画素とびの間引きを行うことにより、あるいは、サンプリング点近傍４画素の多数決フィルタなどを用いてフィルタ処理することで得られる。

［ステップＳ１３］：フレーム画像（原画像）を縦横１／２に縮小処理し、また、探索基準ブロックのブロックサイズを縦横１／２に縮小処理する。
そして、この縮小処理済みのフレーム画像（原画像），探索基準ブロック，シェイプデータ（アルファマップ）を用いて前述の［処理２−２］以降の輪郭位置補正処理を行う。

［ステップＳ１４］：次に、上述の輪郭位置補正処理で用いた探索基準ブロックのブロックサイズをさらに縦横１／２に縮小処理する。
［ステップＳ１５］：そして、Ｓ１４において縮小処理された探索基準ブロックのブロックサイズｂがＹよりも小さいか否かを調べる。Ｙは予め設定した所望の値であり、Ｙ＜Ａの関係にある。ｂとＹとの大小比較の結果、ｂがＹよりも小さい場合にはステップＳ１６の処理に進む。そうでない場合にはステップＳ１３の処理に戻る。これは粗調整での輪郭位置補正処理に用いる探索基準ブロックのブロックサイズが縮小され過ぎて探索基準ブロック内の画像が少なくなり過ぎるのを避けるための処置である。

このようにしてブロックサイズが所定のサイズに到達するまでこの処理を繰り返すことで、暫定的なシェイプデータ（暫定的はアルファマップ）を抽出対象物体の正しい輪郭の形状に大まかに近付けることができる（粗調整段階）。

ｂとＹとの大小比較の結果、ｂがＹよりも小さい場合には粗調整段階終了であり、本調整段階に処理を移すことになる。本調整段階はステップＳ１６以降の処理が該当する。

［ステップＳ１６］：本調整段階ではまずはじめに粗調整段階では縮小して使用していたシェイプデータ（アルファマップ）を本来のサイズに戻すことを行う。すなわち、粗調整段階で使用して粗調整されたシェイプデータ（アルファマップ）である粗調整済みシェイプデータ（粗調整済みアルファマップ）のサイズを縦横２倍に拡大する。これにより本来の原画像と同じサイズになる。

［ステップＳ１７］：本来のサイズの原画像を用い、また、粗調整段階最後の処理で使用したブロックサイズｂの探索基準ブロックと本来のサイズに戻された粗調整済みのシェイプデータ（粗調整済みアルファマップ）とを用いて輪郭位置補正処理を行う。

［ステップＳ１８］：次に、探索基準ブロックのブロックサイズｂの値を１／２にする。

［ステップＳ１９］：探索基準ブロックのブロックサイズｂがＺよりも小さいか否かを調べる。Ｚは予め設定した所望の値であり、Ｚ＜Ｙの関係にある。ｂとＺとの大小比較の結果、ｂがＺよりも小さい場合には処理を終了し、ｂがＺよりも大きい場合にはステップＳ１７の処理に戻る。

これは本調整における輪郭位置補正処理に用いる探索基準ブロックのブロックサイズが縮小され過ぎて探索基準ブロック内の画像が少なくなり過ぎるのを避けるための処置である。探索基準ブロックのサイズが次第に小さくなることで、細かい凹凸までフィットさせることが可能になる。

このようにして探索基準ブロックのサイズが小さい所定サイズに到達するまでこの処理を繰り返すことで、シェイプデータ（アルファマップ）を抽出対象物体の正しい輪郭の形状に細かいところまで近付けることができる。

＜輪郭位置補正処理フロー＞
ここで、ステップＳ１３とステップＳ１７での処理である輪郭位置補正処理の詳しいフローチャートを図２に示す。なお、Ｓ１３では原画像の１／２の画像サイズ、Ｓ１７では原画像と同じ画像サイズでの処理である。

［ステップＳ２１］：暫定的なシェイプデータ（暫定的なアルファマップ）の輪郭部分に図５のようにブロックを設定する。ここで、Ｓ１３では、探索基準ブロックの一辺のサイズがｂ／２なるブロックサイズ、Ｓ１７では探索基準ブロックの一辺のサイズがｂなるブロックサイズとする。

［ステップＳ２２］：画像データを用いて探索基準ブロックの相似ブロックを求める。

［ステップＳ２３］：ステップＳ２１で設定した全ての探索基準ブロックについて相似ブロックを求め終わった場合はステップＳ２４の処理に進む。そうでない場合には他の探索基準ブロックの相似ブロックを求めるためにステップＳ２２の処理に戻る。

［ステップＳ２４］：探索基準ブロックのシェイプデータを、相似ブロックのシェイプデータを縮小したもので置き換える。

［ステップＳ２５］：全ての探索基準ブロックについて置き換えが終わった場合はステップＳ２６の処理に進む。そうでない場合には、他の探索基準ブロックの置き換えを行うためにステップＳ２４の処理に戻る。

［ステップＳ２６］：置き換えの回数が所定の回数に達した場合は終了し、そうでない場合は、ステップＳ２４の処理に戻る。

本発明おいて、この輪郭位置補正処理は、例えばフレーム画像（原画像）のサイズが３２０×２４０画素、Ａ＝３２、Ｙ＝１６、Ｚ＝４の場合、下表のようになる。なお、Ａ，Ｙ，Ｚのこのような値は、適宜に設定した値である。Ａは本来のサイズであり、Ｙは粗調整段階で粗調整としての輪郭位置補正処理をどこで打ち切るかその閾値として使用し、また、Ｚは本調整段階での輪郭位置補正処理をどこで打ち切るかその閾値として使用する。

表：
---------------------------------------------
[回] [ｂ] [画像サイズ] [ブロックサイズ]
---------------------------------------------
ｉ回目 ３２ １６０×１２０ １６
ii回目 １６ １６０×１２０ ８
iii回目 ８ ３２０×２４０ ８
iv回目 ４ ３２０×２４０ ４
---------------------------------------------
すなわち、探索基準ブロックの本来のブロックサイズｂ＝Ａが“３２”であったとして、粗調整段階では“３２０×２４０画素”構成のフレーム画像（原画像）を第１回目の処理（表におけるｉ回目）では１／２のサイズにした“１６０×１２０画素”構成で使用し、そのときの探索基準ブロックは縦および横がそれぞれ１６画素のブロックサイズとなっている。そして、この第１回目の処理が終了した段階ではｂは“３２”であるので、これを１／２して“１６”を得、これをＹの値と大小比較する。この“１６”なる値は、“１６”に設定したＹの値より小さくはないので、粗調整段階での第２回目（表におけるii回目）の処理に移る。粗調整段階での第２回目の処理では第１回目の処理で使用したものと同様に “３２０×２４０画素”構成のフレーム画像（原画像）の１／２のサイズである“１６０×１２０画素”構成の縮小版フレーム画像（原画像）使用し、そのときの探索基準ブロックは第１回目の半分のサイズである縦および横がそれぞれ８画素のブロックサイズとなっている。

そして、この第２回目の処理が終了した段階ではｂは“１６”であるので、これを１／２して“８”を得、これをＹの値と大小比較する。“８”なる値は、 “１６”に設定したＹの値より小さいので、粗調整段階は終了し、本調整段階に移る。

本調整段階では、ｂは粗調整段階最終処理での値を踏襲し、また、探索基準ブロックのサイズも粗調整段階最終処理での値を踏襲するが、フレーム画像（原画像）は本来のサイズのものを用いる。すなわち、この例では“３２０×２４０画素”構成のフレーム画像（原画像）を用い、探索基準ブロックのサイズは“８”、ｂは“８”である。

本調整段階では“３２０×２４０画素”構成のフルサイズフレーム画像（原画像）を毎回の処理に使用する。本調整段階での第１回目（表における iii回目）の処理では探索基準ブロックは縦および横がそれぞれ８画素のブロックサイズとなっている。そして、この第１回目（表における iii回目）の処理が終了した段階ではｂは“８”であるので、これを１／２して“４”を得、これをＺの値と大小比較する。この“４”なる値は、“４”に設定したＺの値より小さくはないので、本調整段階での第２回目（表におけるiv回目）の処理に移る。本調整段階での第２回目（表におけるiv回目）の処理でも本調整段階での第１回目（表における iii回目）の処理で使用したものと同様に“３２０×２４０画素”構成のフレーム画像（原画像）のフルサイズフレーム画像（原画像）使用し、そのときの探索基準ブロックは本調整段階での第１回目の処理での半分のサイズである縦および横がそれぞれ４画素のブロックサイズとなっている。

そして、この第２回目（表におけるiv回目）の処理が終了した段階ではｂは “４”であるので、これを１／２して“２”を得、これをＺの値と大小比較する。“２”なる値は、“８”に設定したＺの値より小さいので、本調整段階も終了条件が整うので終了して処理を完了する。

このように本発明おいて、輪郭位置補正処理は、フレーム画像（原画像）のサイズが３２０×２４０画素、Ａ＝３２、Ｙ＝１６、Ｚ＝４なる条件である場合、粗調整段階処理を２回、本調整段階処理を２回、計４回で処理を完了するが、粗調整は演算に使用する画素数が毎回、半減し、本調整段階ではフレーム画像（原画像）およびシェイプデータ（アルファマップ）についてはフルサイズのものに戻すものの、探索基準ブロックは粗調整段階からのサイズを処理毎に１／２ずつにサイズ変更していくので、トータルとしての演算処理の負担は大幅に軽減される。しかも、探索基準ブロックのサイズを粗調整段階から継続して、処理毎に１／２ずつにサイズ縮小できるのは、粗調整段階でシェイプデータ（アルファマップ）が輪郭抽出対象物体の輪郭にほぼ近づけることができているからである。

従って、自己相似写像を用いる手法を採用して輪郭抽出する場合に、はじめに与えた抽出対象物体の概略形状を、少ない演算処理によって、輪郭抽出対象物体の輪郭に一致させることができるようになり、暫定的に与えたシェイプデータの輪郭を、輪郭抽出対象物体の輪郭に高速で一致させることができる輪郭抽出方法が得られる。

なお、上記例において、探索基準ブロックのブロックサイズｂは必ずしも１／２ずつ小さくする必要はない。例えば、“３２”、“８”、“４”の如きとしてもよく、このようにすれば、処理量をさらに削減できるようになる。

以上は、シェイプデータ（アルファマップ）の輪郭位置調整処理を粗調整段階、本調整段階の２段階で実施すると共に、粗調整段階では、原画像も探索基準ブロックもまた、シェイプデータ（アルファマップ）も縮小したものを用い、また、縮小するブロックサイズが所定の条件に達するまで前回の輪郭位置調整処理での縮小よりもさらに縮小させて輪郭位置調整処理を実施し、条件に到達したならば次に本調整段階に入り、この本調整段階では原画像もまた、シェイプデータ（アルファマップ）も本来のサイズのものを使用し、探索基準ブロックは粗調整段階の最終時点で使用したサイズのものを使用し、以後、ブロックサイズが所定の条件に達するまで、探索基準ブロックについては毎回、前回より縮小したものを用いて輪郭位置調整処理を実施し、これによって所望に与えたシェイプデータ（アルファマップ）の形状を抽出対象の輪郭形状に合わせるようにしたものである。

この輪郭位置調整処理において、相似ブロックを探索するに際して、相似候補を探索基準ブロックの上下左右方向に暫時、拡大して該当のものを探していくようにしているが、常に上下左右方向に拡大するのではなく、探索基準ブロック内のシェイプデータの輪郭の存在する方向に従ってその方向対応に拡大していくようにすればより合理的である。その例を次に第２の実施形態として説明する。

（第２の実施形態）
相似ブロックの探索範囲を探索基準ブロック内のシェイプデータの輪郭の方向によって切り替える実施形態を説明する。

図７を用いて説明したように、従来においては、相似ブロックの探索範囲は、探索基準ブロックとの相対的な位置によって決まり、画面の場所やシェイプデータや画像データによっては制御されない。

しかし、例えば、図３に示した探索基準ブロックＢ１のように、シェイプデータの輪郭がその内部を横切っている場合には、左右方向を省略し、上下方向へＷ画素分、動かした範囲Ｂｓ１′で探索するだけでも、抽出性能はほとんど劣化しない。
なぜなら、相似ブロックＢｓ１のような場合には、シェイプデータの輪郭は置き換えのときに上下方向に移動して初めて補正の効果が得られるものであり、従って、この例の場合、上下方向に移動させるのは、そのために上下方向にずれた相似ブロックを選べるようにしたいがためである。

背景や物体の細かい図柄の影響で、左右にずらした場合の誤差が最小となる場合もあるが、それよりも誤差は多少大きくても、シェイプデータの輪郭が上下方向に移動する方が正しい輪郭に近づく。

輪郭抽出対象物体（正しい物体領域）１の輪郭１ａは、もちろん未知であり、暫定的に与えたシェイプデータの輪郭（抽出対象物体の概略形状２）をどちらに動かせば輪郭抽出対象物体（正しい物体領域）１の輪郭１ａに近づくのかも、相似ブロック探索時には当然分からないのであるが、シェイプデータの輪郭（抽出対象物体の概略形状２）の方向と輪郭抽出対象物体（正しい物体領域）１の輪郭１ａの方向は経験的にみて、ほぼ合っていることがほとんどなので、シェイプデータの輪郭（抽出対象物体の概略形状２）の方向と垂直な方向に相似候補ブロックを動かすのが最も合理的である。

例えば、シェイプデータのブロックの左上、右上、左下、右下の４画素の値を比較し、左上と右上が等しく、左下と右下が等しい場合には横方向の輪郭と判定し、相似候補ブロックは上下方向のみの範囲を動かしていき、相似ブロックを探索していく。
同様に、左上と左下が等しく、右上と右下が等しい場合には縦方向の輪郭と判定し、左右方向に相似候補ブロックを変化させて相似ブロックを探索する。

また、そのいずれでもない場合は、従来方法と同様に、全方向で探索する。
このようにすることで抽出精度を劣化させずに相似ブロックの探索の処理量を削減できる。

ここで、相似ブロックの探索時には、探索範囲内で誤差最小の相似候補ブロックを以てそこでの相似ブロックに決定するのではなく、順次相似候補ブロックを変えて誤差評価をする際に、予め定める許容誤差よりも誤差が小さくなった相似候補ブロックが見つかった時点で探索を打ち切り、その相似候補ブロックを相似ブロックとして決定すると良い。

このようにすることにより、抽出精度を劣化させずにさらに処理量を削減できるようになる。

また、ブロックの画面内での位置によって、探索範囲を切り替えるのが有効な場合もある。例えば、特願平１１−１８６５３７号「画像輪郭抽出装置」で提案したように、抽出対象が頭部を含めた自己の顔画像部分であったとして、この場合、人間の頭部輪郭線像を予め用意しておき、画面にこの頭部輪郭線像を表示させると共に、画面に表示されたこの頭部輪郭線像としての枠線内に自己の頭部を合わせるように位置決めして撮像し、その枠線をシェイプデータの初期状態（暫定的なシェイプデータ（暫定的なアルファマップ））として用い、画像中から頭部を輪郭に沿って抽出する技術があるが、この技術を適用する場合において、ユーザが常にあごの位置を枠線の下限に合わせるとすると、あごの部分の輪郭のずれは他の部分よりも小さくなる。

このような時には、枠線の下の部分では、大きいブロックサイズでの処理を省略したほうが、誤抽出の確率が低くなる。あるいは、探索範囲を狭くしたほうが、やはり誤抽出の確率が低くなる。大きいブロックでの処理の省略や探索範囲を狭くすることは処理量の削減にもなる。また、上のように初期シェイプが既知の場合には、探索基準ブロックの配置も一意に決まるので、その配置を記憶しておき、探索基準ブロックを配置するステップＳ２１では、それを読み出すだけにすれば、シェイプデータの輪郭を検出する処理を省略できる。

また、図５のように、数珠つなぎになった探索基準ブロックＢ１，…Ｂｎの全てについて相似ブロックを求めるようなことはせずに、間欠的に、例えば、一つ置きに求めるようにし、間のブロックの相似ブロックはその両端のブロックの相似ブロックの中間位置にあるものとして処理することで、探索の処理を大幅に省略できる。

また、各探索基準ブロックが互いが重ならないように配置する方法もある。このようにすると、探索基準ブロックの総数が減ることから、当然のことながら処理量が減ることになる。

また、相似候補ブロックを設定するたびに縮小処理を施すのではなく、予め画面全体を縮小したものを用意しておき、相似候補ブロックを設定したときに、それに対応する部分を当該縮小画像から取り出して、探索基準ブロック内の画像との誤差比較をする方法もある。このようにすることによっても、全体の処理量を削減できるようになる。

このとき、例えば、探索基準ブロックと相似ブロックのサイズが１対２で、相似候補ブロックを１画素ずつずらしながら設定する場合、図４に円で示した如くＡ，Ｂ，Ｃ，Ｄなる原画像の画素位置に対して、Ａの画素位置でサンプリングした画素を用いて縦横半分のサイズの縮小画面を作成する。また、サンプリング点がＢ、Ｃ、Ｄ点の画素位置にずれた、つまり、位相がずれた場合のそれぞれの画像の縮小画像を作る。これにより、合計４枚の縮小画面が作られたことになる。このとき、相似候補ブロックの位置を例えば縦座標、横座標とも偶数値だけにして、つまり、探索範囲内で２画素ずつずらしながら探索する場合には、Ａ，Ｂ，Ｃ，Ｄのうち、一つだけを予め作れば十分であり、この場合、他の３枚を作る処理を省略できる。

１画素ずらしを２画素ずらしにするとそれだけ相似探索のための相似候補ブロックの数が減り、探索処理は少なくなるが、縮小画面を用いる方法では、さらに縮小画面を作る処理も大幅に削減できる。

また、初期シェイプデータが小さい場合、縮小画面は画面全体を作る必要はない。予め、相似ブロックの探索範囲には入らない部分が分かる場合には、その部分の縮小画面を作る処理を省いて良い。

なお、以上においては、相似ブロック探索時の縮小画面の生成について述べたが、見つけた相似ブロックの画像をシェイプデータ（アルファマップ）上に置き換え変換する時も同様に、最初に縮小したシェイプ画面を作っておき、各探索基準ブロックのシェイプデータをその縮小したシェイプ画面から抜き取ってきて置き換えるようにできる。
このようにすると、置き換えのたびの縮小処理を省略できるようになり、演算処理の一層の負担低減を図ることができるようになる。

以上、第２の実施形態によれば、相似ブロックを探索するにあたり、その探索範囲を探索基準ブロック内のシェイプデータ（アルファマップ）の輪郭方向と垂直の方向に制限することで、暫定的に与えたシェイプデータ（アルファマップ）の輪郭を輪郭抽出対象物体の輪郭に近付ける処理を合理的に行うことができ、しかも、演算処理量を大幅に軽減できる。また、シェイプデータ（アルファマップ）の輪郭上に配置する探索基準ブロックは互いが重ならないようにすることで、演算処理量を大幅に軽減できる。また、相似候補ブロックを設定するたびに縮小処理を施すのではなく、予め画面全体を縮小したものを用意しておき、相似候補ブロックを設定したときに、それに対応する部分を当該縮小画像から取り出して、探索基準ブロック内の画像との誤差比較をするようにすることにより、全体の演算処理量を削減できるようになる。

ところで、画像から被写体の領域を抽出する場合、利用者がマニュアル操作によって物体のおよその形状を描くか、あるいは、利用者が画面を見ながら、そこに表示される輪郭線に自分の頭部を合わせることで、物体のおよそのシェイプデータを得て、次に、そのシェイプデータの輪郭を画像データ内の物体の輪郭の位置に補正する方法が取られ、これらにより、ほとんどの状況において正確な抽出が行われる。この場合、画面中央の楕円の領域を表すシェイプデータが生成され、利用者が画面に表示される楕円の輪郭線に自分の頭部を合わせることにより、楕円のシェイプデータは次のステップで頭部の領域を抽出するに足る程度に頭部を近似している。楕円のシェイプデータを初期シェイプとして、そのシェイプデータの輸郭の位置が画像データ内の頭部の輪郭の位置に補正される。

しかしながら、初期シェイプデータを得るために利用者が自分で画面内の所定の位置に頭部を固定するのは不便である。背景が比較的平坦であったり、背景に動きがない場合など、物体の抽出が比較的容易な状況では、自動的に初期シェイプデータが得られることが望まれる。

そこで、この要望に沿った実施形態を以下に説明する。

（第３の実施形態）
図１０に第３の実施形態の画像からの物体抽出方法を説明するフローチャートを示す。本実施形態では分離度という統計的指標を用いる。分離度Ｓは、次式により表される(福井「領域間の分離度に基づく物体輪郭抽出」、電子情報通信学会論文誌、D-II、Ｖｏｌ．J８０−D−II、Ｎo．６、pp．１４０６-１４１４、１９９７)。即ち、
Ｓ=Ｘ／Ｙ
Ｘ=Ｎｂ＊(Ａｂ−Ａ)＊(Ａｂ-Ａ)＋Ｎｆ＊（Ａｆ−Ａ)＊（Ａｆ−Ａ）
Ｎｂ：背景領域の画素数
Ｎf：物体領域の画素数
Ａ：全画素値の平均値
Ａｂ：背景領域の画素値の平均値
Ａｆ：物体領域の画素値の平均値
Y：各画素値とＡの差分の二乗の全画素の和
蒸気式から明らかなように物体領域と背景領域の平均値の差が大きいほど、１に近づき、それらの平均値の差が小さいほど０に近づく。通常、物体と背景では画素値の平均値などの統計的性質は互いに異なるので、分離度が大きいほどより正しい物体領域であると推定できる。

そこで、予めシェイプデータの候補領域を図１１に示したように、シェイプ１〜１０の１０個を用意し、これらの各々に対して分離度を求め、その値が最も大きいシェイプデータを探索し、それを初期シェイプデータとするのが本実施形態である。図１０のフローチャートに従ってこの処理を説明する。

先ず、分離度の最大値を保持する変数Ｍにゼロを代入する（Ｓ３１）。数字の順に初期シェイプデータの候補を逐次設定する（Ｓ３２）。そのシェイプデータを用いた時の現入力画像データにおける分離度Ｓを求める（Ｓ３３）。ＳがＭよりも大きい場合にはステップＳ３５に進み、そうでない場合には、ステップＳ３６に進む。

ステップＳ３５では、今、分離度を求めたシェイプデータを初期シェイプデータとして記憶する。それ以前に初期シェイプデータとして記憶していたものがある場合は、以前のものを破棄する。また、Ｍ＝Ｓとする。

全ての初期シェイプデータの候補に対する処理が終わったかが判断される（Ｓ３６）。処理が終わっていれば、ステップＳ１７に進み、そうでない場合は、ステップＳ３２に戻る。ステップＳ３７では、初期シェイプデータと現入力画像データを用いて、シェイプデータの輪郭線を画像データ内の物体の輪郭線に一致させる。

物体の動きが比較的ゆるやかであることが分かっている場合には、初期シェイプデータを常に画面全体で探索するのではなく、例えば毎フレームで選択された初期シェイプデータ候補を記憶しておき、前のフレームで選択された初期シェイプデータの近くだけで探索するようにすれば、処理量を削減できる。例えば、前のフレームでは図１２のシェイプ１１が選択されたとすると、図示したように、その上下左右の４つとそれ自身の５個で探索すれば、１０個で探索する場合よりも探索の処理量を半分に減らせる。あるいは、シェイプ１１の近くに互いに少しずつずらしながら１０個のシェイプデータ候補を設定すれば、同じ処理量でより高い精度の初期シェイプデータが得られる。このように、前フレームのシェイプを中心に初期シェイプデータの探索範囲を設定して人物の頭部を抽出する場合、探索範囲は、画面の上下方向よりも左右方向に広くする。なぜなら、頭部は上下に動くよりも左右に揺れる確率が高いからである。

また、分離度を求める際の領域はシェイプデータと全く同じである必要はない。楕円よりも長方形の方が、処理を節約できる場合には、図１３（ａ）に示したような長方形の領域を用いて分離度を求め、その分離度が最大になった長方形の角をおとして図１３（ｂ）のような８角形を初期シェイプデータとする方法もある。角をおとすのは、人物の頭部の形に多少でも近づけるためである。

また、人物の頭部はおおまかに上方の髪と中央以下の顔の２つの領域に分かれる。そこで、図１３（ｃ）のように長方形をさらに２つの領域に分け、分離度Ｓを以下の式により求める。

Ｓ=Ｘ／Ｙ
Ｘ=Ｎｂ＊(Ａｂ−Ａ)＊(Ａｂ-Ａ)＋Ｎｆ１＊（Ａｆ１−Ａ)＊（Ａｆ１−Ａ）＋Ｎｆ２＊（Ａｆ２−Ａ）＊（Ａｆ２−Ａ）
Ｎｂ：背景領域の画素数
Ｎi１：第１の物体領域の画素数
Ｎf２：第２の物体領域の画素数
Ａ：全画素値の平均値
Ａｂ：背景領域の画素値の平均値
Ａｆ１：第１の物体領域の画素値の平均値
Ａｆ２：第２の物体領域の画素値の平均値
Ｙ：各画素値とＡの差分の二乗の全画素の和
これにより、より正確に人物の頭部を検出できることがある。

ステップＳ３７の輪郭位置補正処理は、図１４のフローチャートに従って行われる。即ち、先ずシェイプデータの輪郭部分にブロックが設定される（Ｓ４１）。次に、画像データを用いてブロックの相似ブロックを求める（Ｓ４２）。ステップ４１で設定した全てのブロックについて相似ブロックを求め終わったかが判断され（Ｓ４３）、終わった場合は、処理はステップＳ４４に進む。そうでない場合には他のブロックの相似ブロックを求めるためにステップＳ４２に戻る。

ステップＳ４４では、ブロックのシェイプデータを相似ブロックのシェイプデータを縮小したもので置き換える。全てのブロックについて置き換えが終わったかが判断され（Ｓ４５）、終わっていれば、処理はステップＳ４６に進む。そうでない場合には、他のブロックの置き換えを行うためにステップＳ４４に戻る。ステップＳ４６での判定で、置き換えの回数が所定の回数に達した場合は処理は、終了する。そうでない場合は、処理はステップＳ４４に戻る。

背景に初期シェイプデータ候補のいずれかに合う物体があると、これにおける分離度の方が、頭部における分離度よりも高くなることがある。しかし、背景が比較的平坦な場合には、本実施形態により頭部が画面のどこにあっても良好な初期シェイプが得られる。

（第４の実施形態）
次に、図１５および図１６を参照して、第４の実施形態を説明する。本実施形態では、抽出を始める前に背景画像を取得しておき、その後は、入力画像と背景画像の差が一定値以上となる領域を物体領域と判定することで初期シェイプデータを生成する方法である。

先ず、抽出すべきオブジェクトが撮影範囲に入っていない画像（図１６（ａ））を背景面像として利用者が確認しながら取得する（Ｓ５１）。次に、図１６（ｂ）に示すようにオブジェクト（人物）が画面に入ると、このとき、現入力フレームと背景画像の差分を求め、差分の絶対値が一定値以上となる画素を物体画素、そうでない画素を背景画素として初期シェイプデータ（図１６（ｃ）））を生成する（Ｓ５２）。

ただし、単純に画素単位でこの処理を行うと領域が粒状に分割される場合が多い。そこで、背景画像をブロックに分割し、それぞれのブロックにおいて画素値のブロック平均値を求めておく。入力画像でも同じくブロック平均値を求め、入力画像と背景画像のブロック平均値の差の絶対値が所定値よりも大きいブロックを物体領域とし、そうでないブロックを背景領域として初期シェイプデータを生成する。このようにブロック単位にすると、輪郭に段差があるシェイプデータしか得られないが、ステップＳ５３において輪郭補正を行うので問題はない。さらに、先に述べた画素単位で求めた差分の絶対値のブロック内での和を求め、このブロック内での和が所定値よりも大きい場合に、そのブロックも物体領域に加える。これにより、本来、背景と図柄が異なる物体領域が、ブロック平均値をとったために背景のブロック平均値に近くなってしまい、物体と判定されないという誤検出を回避できる。

ステップＳ５３では、初期シェイプデータと現入力画像データを用いて、シェイプデータの輪郭線を画像データ内の物体の輪郭線に一致させ、処理を次のフレームに進める（Ｓ５４）。背景が静止している場合には、本実施形態によって、どのような形状の物体でも、あるいは、複数の物体でも、それらが画面内のどこにあっても高い精度で抽出できる。

（第５の実施形態）
次に、基準フレームとの動き補償によって初期シェイプデータを生成する第５の実施形態を図１７を用いて説明する。

先ず、固定の初期シェイプデータを用いる方法で、利用者が頭部を画面表示に合わせながら頭部の輪郭が抽出される。この輪郭抽出は、正しく抽出されていることを利用者が確認しながら画像取得操作を行う。そのときの画像と最終的なシェイプデータをそれぞれ基準画像データ、基準シェイプデータとする（Ｓ６１）。次に、図１８に示すような基準画像データから現入力フレームの画像データへの動き検出を行う。その動き検出結果を用いて、基準シェイプデータに対して動き補償を行うことで、現入力フレームの初期シェイプデータを生成する（Ｓ６２）。例えば、基準フレームの物体領域の画像データを切り出し、それを現入力フレーム内で、平行移動しながらマッチングをとる。マッチング誤差が最小となった部分に基準シェイプデータの物体領域を平行移動させて初期シェイプデータを生成する。この後、初期シェイプデータと現人力画像データを用いて、シェイプデータの輪郭線を画像データ内の物体の輪郭線に一致させる、即ち輪郭位置の補正処理が行われる（Ｓ６３）。次いで、処理は次のフレームに進める（Ｓ６４）。

本実施形態によって、初めは利用者が画面を確かめながら自分で頭部の位置の調整をしなければならないが、基準画像を取得した後は、動き補償によって、物体の同じ面がカメラに向いているかぎり、画面内のどこにあっても抽出されるようになる。動き検出は平行移動の２パラメータに限らず、回転を含めた３パラメータ、さらに拡大/縮小を含めた４パラメータ、アフィン変換の６パラメータなど、パラメータ数を増やせば処理量は多くなるが、精度は向上する。

物体が最初の位置からあまり動かないことが予め分かっている場合は、基準フレームは最初のままで変更する必要はない。しかし、物体が最初の位置から徐々に動いていく場合には、基準フレームは適宜更新し、例えば、フレーム毎に更新し、常に直前のフレームと動き補償を行うようにすれば、物体が時間を経て大きく動くときにも正しく抽出できる。

次に、複数の物体を区別しながら同時に抽出する実施形態を説明する。図１９のようにあるフレームで物体Ａと物体Ｂが離れて抽出されたとして、以降のフレームでもこれらを区別しながら追跡と抽出を行うとする。この場合、第３実施形態や第４実施形態に従って物体をそれぞれ抽出し、フレーム間で重なる画素数が多いもの同士を同じ物体だと判定するのが簡便に実現できる方法である。しかし、これらの方法では、図１９（ａ）の状態だったものが、１９（ｂ）、（ｃ）、（ｄ）というように変化し、物体が途中で一部重なると、図１９（ｂ）や（ｃ）のときに物体領域が融合してしまい、その結果、図１９（ｄ）のときに、どちらが物体Ａでどちらが物体Ｂかが分からなくなる。このような場合に対応するためには、第５実施形態を２つの物体に対してそれぞれ用い、動き補償を行ったもの同士を同じ物体だと区別する。

動き補償によって初期シェイプデータが図１９（ｂ）の様に求まったときに、特願平１１−００１８９１号や特願平１１-３０１４１５号に記載された自己相似写像法を用いて輪郭位置の補正を行う例を図２０と図２１を用いて説明する。ここで、シェイプデータにおいては、物体Ａの領域とされた画素には画素値１が代入され、物体Ｂの画素には画素値２が代入され、物体Ａでも物体Ｂでもない画素には画素値０が代入されているとする。このようなシェイプデータの輪郭、すなわち、０と１の境界、０と２の境界、１と２の境界を画像データにおける物体の輪郭、すなわち、背景と物体Ａの境界、背景と物体Ｂの境界、物体Ａと物体Ｂの境界にそれぞれ補正するのが目的である。先願ではシェイプデータ(アルファマップ、アルファデータ、アルファマスクと同じ)は、２値の画像であったが、ここでは、｛０、１、２｝の３値の画像であることに注意する。

まず、図２１に示したようにシェイプデータの輪郭に沿ってブロックを配置する。そのために、シェイプデータをラスタスキャンし、隣接する画素と画素値が異なり、かつ、それまでに設定したブロックに含まれない画素を中心にして逐次、ブロックを設定する。この方法だと、ブロックが互いに重なり合いながら数珠つなぎに配置される。あるいは、特願平１１-００１８９１号に示したようにブロックが重ならないように配置する方法もある。次に、画像データを用いてブロックごとに、相似ブロックを探索する。

最後に、ブロックのシェイプデータを相似ブロックのシェイプデータを縮小したもので置き換える。例えば、図２０に示したように、ブロックが２×２画素で、相似ブロックが４×４画素の場合、画素１２に対する相似ブロック内でのサンプリングポイントは点１３になる。そこで、点１３の周囲４画素の画素値を調べ、最も数が多かった画素値(０、１、２のいずれか)をサンプリング値として、この値で画素１２を置き換える。画素１４に対しても点１５の周囲４面素を用いて同様に置き換える。このようにして全ブロックの画素値の置き換えを複数回繰り返すことで、シェイプデータの輪郭は画像データ内の物体の輪郭に近づき、それと一致した状態で収束する。

この方法によれば、物体を区別しながら追跡して、なおかつ輪郭に沿った抽出を行える。なお物体の数が３つ以上の場合はそれに応じて画素値の種類すなわちラベルを増やす。ラベルが増えても、サンプリング値を多数決で決めるのは同じである。

また、ブロックが重なる部分では、一つの画素に複数のサンプリング点が対応する。その場合には、上述したブロック毎の置き換えにおいて最後に置き換えた値を有効とする。あるいは、複数のサンプリング点の周囲の画索、例えば３個のサンプリング点の周囲の合計１２個の画素を用いた多数決で置き換える値を決める。

本実施形態で用いた、３つ以上のラベルを用いる輪郭抽出補正法は、画像のセグメンテーションに用いることもできる。その際、ブロックの配置は図２２（ａ）に示したように、画面全体を分割したものとする。次に、この画像データを用いて各ブロックに対して相似ブロックを求めるのは図１４のステップＳ４２等と同じである。そして、初期シェイプデータとしては、例えばランダムに各画素にラベルを配置したものを用意する。ラベルの数は予め決めておく。あるいは、画面を正方形のブロックに分割してブロック毎にラベルをつける。このブロック分割は図１４と同じ方法であっても異なっても良い。あるいは、画像データの画素値を量子化し、各量子レベルにラベルを割り当てる。

このようにして作成した初期シェイプデータに対して、相似ブロックからブロックヘの置き換えを繰り返すとあるシェイプデータに収束する。セグメンテーション画像は、収束したシェイプデータのラベルごとに色分けした画像として図２２（ｂ）のように得られる。第５の実施形態において基準フレームを設定する際に、このセグメンテーション画像を表示し、利用者が物体に属する領域を一つずつ選択することでその基準フレームの物体領域を設定してもよい。

（第６の実施形態）
次に、図２３、図２４および図２５を参照して本発明の物体抽出方法を用いた面像伝送システムを第６の実施形態として説明する。

図２３において、具体的には、例えば携帯電話やパソコン、ゲーム機である画像送受信端末Ｘは、端末付属のカメラ１６、画像切り出し器１８、符号器２０，復号器３６および表示器３８を備えている。他の画像送受信端末Ｙ、Ｚも端末Ｘと同様に構成されている。

これら画像送受信端末Ｘ、Ｙ、Ｚに接続される画像配信センターＡは、端末Ｘ、Ｙ、Ｚにそれぞれ接続される復号器２４，２５，２６、これら復号器に接続される合成器３０、背景メモリ３１および符号器３４を備えている。

このような構成において、端末付属のカメラ１６によって端末Ｘの利用者の画像が撮影され、その画像データ１７が切り出し器１８に送られる。切り出し器１８では利用者の顔画像が第３、４、５の実施形態などの手法で切り出され、顔画像データ１９が符号器２０に送られる。顔画像データとは、画像データ１７と同じものと、その顔領域を表すシェイプデータ(アルファマップ、アルファデータ、アルファマスク)をあわせたものである。符号器２０では、例えば、動画像符号化の国際標準であるＭＰＥＧ−４方式によって顔画像データがオブジェクト符号化され、圧縮データ２１が通信回線を介して画像配信センターＡに送られる。

端末Ｘとは離れたところにある端末Ｙ、Ｚからも同様にそれぞれの利用者の顔画像が圧縮され、圧縮データ２２、２３としてそれぞれ、センターＡに送られる。センターＡでは受信した圧縮データ２１、２２、２３がそれぞれ、復号器２４、２５、２６で顔画像データ２７、２８、２９に再生され、画像合成器３０に送られる。

合成器３０には背景メモリ３１から背景画像３２も入力される。合成器３０では図２４に示したように背景画像３２に顔画像データ２７、２８、２９が合成され、この合成画像３３が符号器３４に送られる。符号器３４では、合成画像３３がＭＰＥＧ−４方式などで通常の矩形画像として圧縮され、圧縮データ３５が端末Ｘ、Ｙ、Ｚのそれぞれに送られる。

端末Ｘでは受信した圧縮データ３５は復号器３６に送られる。復号器３６では合成画像が再生され、その合成画像３７は端末付属の表示部３８に送られ、図２４と同じ画像が表示される。端末ＹとＺにも圧縮データ３５がおくられ、同様の合成画像が端末ＹとＺに表示される。

音声も別途伝送すれば、本システムにより、互いの顔を見ながら、サイバー空間を共有しながらの楽しいリアルタイムチャットシステムを実現できる。

本システムの端末と画像配送センターでの手順は図２５に示されている。同図２５では、左側フローが端末での手順を示し、右側のフローは画像配送センターでの手順を示している。

この手順では、先ず、画像を撮像する（Ｓ７１）。次に、顔画像を切り出す（Ｓ７２）。その後、顔画像データを圧縮し、その圧縮データをセンターに送信する（Ｓ７３）。

センターは、端末から圧縮データを受信し、顔画像データに再生する（Ｓ７４）。再生した顔画像データを合成して合成画像を作る（Ｓ７５）。合成画像を圧縮し、その圧縮データを端末に送信する（Ｓ７６）。

端末は、センターから圧縮データを受信し、合成画像に再生する（Ｓ７７）。この再生合成画像を端末のディスプレイに表示する（Ｓ７８）。この後、フローはステップＳ７１に戻る。

なお、画像配送センターでのＳ７４では、複数の圧縮データを受信することで、複数の顔画像を合成する。

（第７の実施形態）
同様の機能を面像配信センターを介さずに実現する第７の実施形態に従った別の画像伝送システムを図２６を参照して説明する。このシステムでは、端末Ｘにおいて、顔画像データ１９を生成し、符号器２０を介して圧縮データ２１を生成する点は、先のシステムと同じであるので説明は省略する。

圧縮データ２１は、端末ＹとＺにそれぞれ通信回線を介して送られる。端末ＹとＺからも同様に、圧縮データ２２、２３が送出され、端末Ｘに送られる。また、端末ＹとＺの間でも相互に圧縮データの送信を行う。端末Ｘで受信した圧縮データ２２、２３はそれぞれ、復号器３９、４０で復号され、顔画像データ４１、４２が合成器４３に送られる。合成器４３には、端末Ｘの利用者の顔画像データ１９も入力され、これらが、背景メモリ４４から送らてくる背景面像４５と合成される。合成画像４６は表示部４７に送られて表示される。端末ＹとＺも上記と同様にデータの送受が行われ、合成画像がそれぞれの表示部に表示される。

このシステムでは、各端末での処理が多くなり、複数の相手と同時に通信する必要があるが、画像配信センターが不要で、背景画像や顔画像の配置を各端末で利用者が好きなように決められる利点がある。

図２６のシステムの端末での手順が図２７に示されている。これによると、最初に、画像を撮像する（Ｓ８１）。次に、物体を抽出する。即ち、顔画像を切り出す（Ｓ８２）。切り出した画像、例えば自分の顔画像データを圧縮し、その圧縮データを別の端末に送信する（Ｓ８３）。このとき同時に、別の端末から圧縮データを受信して相手の顔画像データに再生する。自分の顔画像データと相手の顔画像データを合成して合成画像を作る（Ｓ８４）。この合成画像を表示する（Ｓ８５）と、フローはステップＳ８１に戻る。

図２７の右側には別の端末での手順が示されているが、この手順は左側の手順と同じである。

また、合成画像を生成する際に、顔画像が正しく得られたかどうか、つまり顔が正しく抽出されてきたかどうかを自動的に判定し、顔画像が得られた場合には背景に合成し抽出に失敗して顔画像が得られていない場合には合成しないようにすれば、顔以外の不要なものが誤って合成されることがなくなる。この判定は、例えば、物体領域の肌色の画素数を数え、その肌色の画素数の物体領域全体に対する割合が一定値以上なら顔画像であり、それ以下なら顔画像ではないと判定する。ここで、肌色の判定は例えば、各画素の色がＹ、Ｕ、Ｖの３色で、おのおの０〜２５５の値で表された画像の場合、Ｕ＝１１０、Ｖ＝１６０を肌色の基準とし、画像データのＵと１１０の差の絶対値が所定値よりも小さく、かつ、Ｖと１６０の差の絶対値が所定値よりも小さい画素を肌色と判定する。

顔画像か否かの判定は合成器３０や４３で行うのが一つの方法であるが、符号器において判定を行い、顔画像でない場合には符号化しないようにすれば通信量を削減できる。

表示部３８や４７は端末とは別の例えばテレビを用いても良い。その際、テレビヘの画像の送信はブルートゥースなどの無線を用いると配線の煩わしさがなくてよい。また、背景画像３２、４５は背景メモリ３１、４４から読み出すのではなく、テレビなどの放送映像を受信して用いてもよい。そうすると、離れた場所にいる人同士が互いの様子を見ながら一緒に同じテレビ番組を楽しめる。

配送センターＡでは、合成する画像として、予めタレントなどの顔画像を用意しておき、端末利用者からの求めに応じてそのタレントの顔を利用者の顔と並べて合成して送信するなどのサービスも可能である。背景画像についても同じく、キャラクタの背景を用意しておき、利用者の希望に応じて背景を選択する。

なお、本発明は上述した実施形態に限定されるものではなく、種々変形して実施可能である。また、実施形態に記載した手法は、コンピュータに読み取り実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。

本発明の第１の実施形態に従った画像輪郭抽出方法を説明するためのフローチャート。 図１におけるステップＳ１３とステップＳ１７の処理である輪郭位置補正処理の詳しい処理内容を示すフローチャート。 本発明の第２の実施形態における相似ブロックの探索範囲の例を説明するための図。 本発明の第２の実施形態における縮小画面のサンプリング位置を説明するための図。 自己相似写像を用いた手法による輪郭位置補正処理で使用するシェイプデータ（アルファマップ）上の探索基準ブロックの配置例。 自己相似写像を用いた手法による輪郭位置補正処理で使用する探索基準ブロックと相似ブロックの例。 自己相似写像を用いた手法による輪郭位置補正処理での従来の相似ブロックの探索範囲の例。 自己相似写像を用いた手法による輪郭位置補正処理でのシェイプデータ（アルファマップ）の補正結果を示す図。 自己相似写像を用いた手法による従来の輪郭位置補正処理内容を示すフローチャート。 本発明の第３の実施形態に従った画像輪郭抽出方法を説明するためのフローチャート。 第３の実施形態により生成される複数の初期シェイプデータ候補を示す図。 他の初期シェイプデータ候補を示す図。 （ａ）分離度を求める領域、（ｂ）初期シェイプデータ、（ｃ）分離度を求める領域を示す図。 輪郭位置補正処理を説明するフローチャート。 本発明の第４の実施形態に従った画像輪郭抽出方法を説明するためのフローチャート。 第４の実施形態の画像輪郭抽出方法を説明するための図。 本発明の第５の実施形態に従った画像輪郭抽出方法を説明するためのフローチャート。 第５の実施形態の画像輪郭抽出方法を説明するための画面図。 物体が交差する様子を説明するための図。 画素値のサンプリングを説明するための図。 複数の物体を識別するブロックの配置を説明する図。 ブロック分割した画面およびセグメンテーション画像を示す図 第６の実施形態に従った画像伝送システムのブロック図。 第６の実施形態で形成される合成画像を示す図。 第６の実施形態の伝送システムでの手順を示すフローチャート。 第７の実施形態の画像伝送システムのブロック図。 第７の実施形態の伝送システムでの手順を示すフローチャート。

符号の説明

１…輪郭抽出対象物体（正しい物体領域）、１ａ…輪郭抽出対象物体の輪郭（正しい物体領域１の輪郭）、２…シェイプデータの輪郭（抽出対象物体の概略形状）、１６…端末付属のカメラ、１８…画像切り出し器、２０、３４…符号器、２４，２５，２６、３６…復号器、３０…合成器、３１…背景メモリ、３８…表示器、Ｂ１，〜Ｂｎ…探索基準ブロック、Ｂｓ１〜Ｂｓｎ…探索基準ブロックＢ１〜Ｂｎの相似ブロック、Ｆｓ１…探索基準ブロックＢ１の周囲に適宜な大きさの探索領域、Ｂｃ…相似候補ブロック、Ｂｃｄ…探索基準ブロックＢ１との誤差評価を行った結果、誤差最小で相似ブロックとして決定されることとなった相似候補ブロック、Ｘ、Ｙ、Ｚ…画像送受信端末

Claims (1)

1. 画像輪郭抽出装置を用いた画像の輪郭抽出方法であって、
   画像輪郭抽出装置の第1の処理手段が輪郭抽出対象物体が撮像された画像データと、この画像データ内の輪郭抽出対象物体の領域を表わす暫定的な輪郭形状の二値化画像であるシェイプデータを入力とし、前記シェイプデータの輪郭部分に、それぞれ中心位置を置いて所定サイズの複数の探索基準ブロックを、互いの位置をずらして設定する第１のステップと、
   画像輪郭抽出装置の第２の処理手段が各探索基準ブロック毎に、そのブロック内での前記画像データの図柄が相似で、かつ、前記探索基準ブロックよりも大きいブロックサイズの相似ブロックを同じ画像の中から探索する第２のステップと、
   画像輪郭抽出装置の第３の処理手段がシェイプデータのうち、前記各探索基準ブロック内におけるシェイプデータを、各々の前記相似ブロックより得た縮小処理によるサイズ調整済みの補正用シェイプデータと置き換えることによりシェイプデータの補正処理をする第３のステップと、
   画像輪郭抽出装置の第４の処理手段が前記第1乃至第３のステップを所定の回数繰り返すことにより、シェイプデータの輪郭線を前記物体の輪郭線に一致させる輪郭一致処理を行う第４のステップと、
   を含み、
   前記第２のステップでの処理は、相似ブロックの探索範囲を探索基準ブロック内のシェイプデータの輪郭の方向と垂直な方向に制限することを特徴とする画像の輪郭抽出方法。

Images