JP2001188910A - 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム - Google Patents

Abstract

(57)【要約】 【課題】自己相似写像を用いる物体領域抽出方式の処理
を高速にする。 【解決手段】シェイプデータの輪郭部分に探索基準ブロ
ックを設定する第１のステップと、各探索基準ブロック
毎に画像データの図柄が相似であり、かつ、ブロックサ
イズがそれよりも大きい相似ブロックを同じ画像の中か
ら見つける第２のステップと、各探索基準ブロック内の
画像を二値化したデータを各々対応の相似ブロックのシ
ェイプデータと置き換える第３のステップとから成り、
第３のステップを所定の回数繰り返すことによりシェイ
プデータの輪郭線を前記物体の輪郭線に一致させる輪郭
抽出処理において、輪郭抽出処理を反復して行い、その
反復の初めには画像データとシェイプデータと探索基準
ブロックは縮小して輪郭位置補正処理を行うようにす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像から輪郭抽出
対象物体の領域を抽出するための画像の輪郭抽出方法、
画像からの物体抽出方法およびこの物体抽出方法を用い
た画像伝送システムに関する。

【０００２】

【従来の技術】画像から目的の被写体の領域を抽出する
技術は、例えば、背景を別の画像に置き換えるといった
加工などに有用である。その際、目的の被写体である抽
出対象物体の領域が正しく求まっていないと、高い品質
の加工画像は得られない。

【０００３】そのため、何らかの方法で物体の概略形状
が求まっているときに、その概略形状を元にして、より
高い精度で物体領域を求める技術が求められており、そ
の手法の一つとして、本件発明者らは文献：「自己相似
写像による輪郭線のフィッティング」（井田、三本杉、
第５回画像センシングシンポジウム講演論文集、Ｃ-１
５、pp.１１５-１２０、Ｊｕｎｅ １９９９．）に開示
した如きものを提案した。この技術は、自己相似写像を
用いる手法であって、その概要を図５〜図８を用いて説
明しておく。

【０００４】この技術は、図５に示すように、処理対象
のフレーム画像中における抽出対象物体（正しい物体領
域）１の画像部分を斜線で、また、抽出対象物体の概略
形状２を太線で表わしている。抽出対象物体の概略形状
２は例えば、オペレータが画面に表示されたフレーム画
像上において抽出対象物体の外形に沿うようにマニュア
ル操作で大雑把に描いた外形線であり、抽出対象物体１
の輪郭１ａとはズレがある。

【０００５】そこで、この抽出対象物体の概略形状２の
内側の画素に画素値“２５５”を代入し、そして、外側
の画素に画素値“０”を代入する。すなわち、抽出対象
物体の概略形状２の内側の画素全てが画素値“２５５”
に塗りつぶされた、その背景は全て画素値“０”に塗り
つぶされた画像（すなわち、二値画像）が得られる。こ
のような処理を施して得た画像（二値画像）をシェイプ
データあるいはアルファマップなどと呼ぶ。

【０００６】自己相似写像を用いる手法によれば、暫定
的に与えた抽出対象物体の概略形状２、すなわち、言い
換えれば暫定的に設定したシェイプデータの輪郭を、求
めたい物体の正しい輪郭である抽出対象物体１の輪郭１
ａに一致させることができる。

【０００７】そのためには、まず、暫定的なシェイプデ
ータ（暫定的なアルファマップ）の輪郭（抽出対象物体
の概略形状２）に沿って探索基準ブロックＢ１，Ｂ２，
…，Ｂｎ-1，Ｂｎを配置する。

【０００８】これは、暫定的なシェイプデータ（暫定的
なアルファマップ）の画像について左上画素（座標位置
０，０）から右方向へ、上のラインから下のラインへ順
にスキャンし、すなわち、基準座標位置からＸＹスキャ
ンさせて画素を調べていき、左隣りあるいは上隣りの画
素と画素値が異なり、それまでに設定したブロックに含
まれない画素である場合に、その画素を中心にして所定
の大きさ（ブロックサイズｂ）のブロックを配置するこ
とで行う。これにより、図５にＢ１，Ｂ２，…，Ｂｎで
示すようにブロックが数珠つなぎに重なり合いながら設
定された探索基準ブロックが得られる。

【０００９】次に、処理対象のフレーム画像中における
該当座標位置上にそれぞれの探索基準ブロックＢ１，
…，Ｂｎを位置させる。これにより、抽出対象物体（正
しい物体領域）１の輪郭位置を一部に含む抽出対象物体
１の部分領域をそれぞれの探索基準ブロックＢ１，…，
Ｂｎが含むことになるので、それぞれそのブロック内の
画素状況が似ている相似ブロックを求める。

【００１０】相似ブロックは対応する探索基準ブロック
を領域拡大した範囲で試行錯誤的に各相似候補ブロック
を設定し、その相似候補ブロック内の画像を縮小したも
のと探索基準ブロック内の画像との誤差が最小となるも
のを見つけてそれを相似ブロックとして求める。例え
ば、図６に、探索基準ブロックＢ１の相似ブロックＢｓ
１を示すが、この図の如き対応となる。

【００１１】このようにして、それぞれの探索基準ブロ
ックＢ１，…，Ｂｎに対しての抽出対象物体（正しい物
体領域）１の相似ブロックを求める。このように、相似
ブロックとは、対応する探索基準ブロックよりも大き
く、その画像データを縮小したときの画素値が、探索基
準ブロック内の画像データとほぼ等しくなるものをい
う。

【００１２】相似ブロックを見つけるための具体的手法
は、次の如きである。例えば、探索基準ブロックＢ１の
相似ブロックを見つけるためには、図７に示したよう
に、探索基準ブロックＢ１の周囲に適宜な大きさの探索
領域Ｆｓ１を設定する。そして、この探索領域Ｆｓ１の
内部において相似候補ブロックＢｃを様々に設定しなが
ら、その度にブロックサイズヘの縮小処理と探索基準ブ
ロックＢ１との誤差評価を行い、誤差が最小となった相
似候補ブロックを相似ブロックＢｃｄとして決定する。

【００１３】図７の例では、探索基準ブロックＢ１の縦
横２倍で中心が同じ位置である相似候補ブロックＢｃを
基準にしてこれを上下左右に各々ｗ画素の範囲で１画素
ずつずらしながら誤差評価を行う。

【００１４】なお、図６では探索基準ブロックＢ１の相
似ブロックＢｓ１しか示していないが、もちろん図５に
示した全ての探索基準ブロックＢ１，…Ｂｎに対してそ
れぞれ相似ブロックを求める。

【００１５】次に、シェイプデータ（アルファマップ）
に対して、各探索基準ブロックＢ１，…Ｂｎの位置に該
当するデータについて、その探索基準ブロック対応の相
似ブロック内の画像から得たシェイプデータ（アルファ
マップ）で置き換えると云う手法で補正する。相似ブロ
ックは探索基準ブロックよりサイズが大きいので、当然
のことながらサイズは縮小処理して合わせる（サイズの
正規化）。

【００１６】このようにして探索基準ブロック対応の相
似ブロック内の画像から得た正規化済みのシェイプデー
タ（アルファマップ）で置き換えると云う手法で補正す
る。これを全ての探索基準ブロックＢ１，…Ｂｎにおい
て１回ずつ行うと、シェイプデータの輪郭（抽出対象物
体の概略形状２）は正しい物体領域１の輪郭１ａに近づ
く。そして、置き換えを再帰的に反復することにより、
図８に示したように、シェイプデータの輪郭（抽出対象
物体の概略形状２）は正しい物体領域１の輪郭１ａの近
くに収束する。

【００１７】この手法では探索基準ブロックＢ１，…Ｂ
ｎに正しい物体領域１の輪郭線が含まれている必要があ
る。従って、正しい物体領域１の輪郭線に対する探索基
準ブロックＢ１，…Ｂｎのずれが大きい場合には、ま
ず、大きなブロックを用いて上述した処理を行うこと
で、シェイプデータの輪郭（抽出対象物体の概略形状
２）を正しい物体領域１の輪郭１ａの近くに寄せ、次
に、小さなブロックで上述の処理を行うことで、細かな
凸凹を一致させる。これにより、輪郭のずれが大きい場
合でも高い精度で輪郭の抽出が可能となる。そのフロー
チャートを図９に示す。図９のフローチャートに従って
処理を説明すると、まず、 ［ステップＳ１の処理］：探索基準ブロックのブロック
サイズをｂとすると、このブロックサイズｂをＡと置
く。

【００１８】［ステップＳ２の処理］：このブロックサ
イズｂを用いて、先に図５〜図８を用いて説明した輪郭
位置補正処理を行う。

【００１９】［ステップＳ３の処理］：次に、探索基準
ブロックのブロックサイズｂを前回の半分の値にする。

【００２０】［ステップＳ４の処理］：その結果、探索
基準ブロックのブロックサイズｂがＺ（＜Ａ）よりも小
さい場合には処理を終了し、そうでない場合にはステッ
プＳ２の処理に戻る。

【００２１】このような処理により、暫定的に与えたシ
ェイプデータ（暫定的に与えたアルファマップ）の輪郭
が、目的の抽出対象の輪郭とずれが大きいような場合で
も、目的の抽出対象の輪郭に一致させるように輪郭位置
補正処理することができ、従って、この輪郭位置補正処
理による補正済みのシェイプデータ（アルファマップ）
を用いることで画像中から高い精度で当該目的の抽出対
象画像の輪郭を抽出できるようになる。

【００２２】

【発明が解決しようとする課題】画像データから目的の
画像部分を抽出する方法として、何らかの方法で物体の
概略形状が求まっているときに、その概略形状をもとに
して、抽出対象物体の領域を求める技術が求められてお
り、その手法の一つとして、自己相似写像を用いる手法
がある。

【００２３】この技術は、画像中の目的の画像部分の概
略形状をオペレータがマニュアル操作で大雑把に描くこ
とにより、抽出対象物体の概略形状２を得、この抽出対
象物体の概略形状２の内側の画素に画素値“２５５”を
代入し、そして、外側の画素に画素値“０”を代入する
処理（つまり、二値化）を施すことで、シェイプデータ
を得る。

【００２４】そして、シェイプデータの輪郭（抽出対象
物体の概略形状２）に沿って探索基準ブロックＢ１，Ｂ
２，…,Ｂｎ-1，Ｂｎを配置する。

【００２５】次に、それぞれの探索基準ブロックＢ１，
…，Ｂｎについてそれぞれ相似ブロックを求める。

【００２６】次に、シェイプデータについて、各探索基
準ブロックＢ１，…Ｂｎの位置のデータを、その探索基
準ブロック対応の相似ブロックにて切り出して縮小した
もので置き換える。これを全ての探索基準ブロックＢ
１，…Ｂｎにおいて１回ずつ行うと、シェイプデータの
輪郭（抽出対象物体の概略形状２）は正しい物体領域１
の輪郭１ａに近づく。そして、置き換えを再帰的に反復
することにより、図８に示したように、シェイプデータ
の輪郭（抽出対象物体の概略形状２）は正しい物体領域
１の輪郭１ａの近くに収束することになる。それは、各
相似ブロックが、それぞれが対応している探索基準ブロ
ックよりも大きく、その画像データを縮小したときの画
素値が、探索基準ブロック内の画像データとほぼ等しく
なるものだからである。

【００２７】この手法では探索基準ブロックＢ１，…Ｂ
ｎに正しい物体領域１の輪郭線が含まれている必要があ
る。従って、正しい物体領域１の輪郭線に対する探索基
準ブロックＢ１，…Ｂｎのずれが大きい場合には、ま
ず、大きなブロックを用いて上述した処理を行うこと
で、暫定的に与えたシェイプデータの輪郭（抽出対象物
体の概略形状２）を正しい物体領域１の輪郭１ａの近く
に寄せ、次に、小さなブロックで上述の処理を行うこと
で、細かな凸凹までもを一致させる補正ができる。そし
て、これにより、輪郭のずれが大きい場合でも高い精度
で輪郭の抽出が可能となる。

【００２８】自己相似写像を用いるこのような手法によ
れば、暫定的に与えた抽出対象物体の概略形状２、すな
わち、言い換えれば暫定的に与えたシェイプデータの輪
郭を、正しい物体領域１の輪郭１ａに一致させることが
できる。

【００２９】しかしながら、この手法の場合、相似ブロ
ック探索の演算量が多く、画像から目的画像部分を高速
で抽出することが困難であるという問題があった。その
ため、動画像などに適用するにはさらなる改善が必要で
ある。

【００３０】そこで、この発明の目的とするところは、
処理量を削減でき、画像から目的画像部分を高速で抽出
することが可能となる画像の輪郭抽出方法を提供するこ
とにある。

【００３１】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。

【００３２】［１］第１には、輪郭抽出対象物体が撮像
された画像データと、この画像データ内の輪郭抽出対象
物体の領域を表わす暫定的な輪郭形状の二値化画像であ
るシェイプデータを入力とし、前記シェイプデータの輪
郭部分に、それぞれ中心位置を置いて所定サイズの探索
基準ブロックを、互いの位置をずらして複数設定する第
１のステップと、各探索基準ブロック毎に、そのブロッ
ク内での前記画像データの図柄が相似で、かつ、前記探
索基準ブロックよりも大きいブロックサイズの相似ブロ
ックを同じ画像の中から探索する第２のステップと、シ
ェイプデータのうち、前記各探索基準ブロック内におけ
るシェイプデータを、各々の前記相似ブロックより得た
縮小処理によるサイズ調整済みの補正用シェイプデータ
と置き換えることによりシェイプデータの補正処理をす
る第３のステップとから成り、前記第３のステップを所
定の回数繰り返すことにより、シェイプデータの輪郭線
を前記物体の輪郭線に一致させる輪郭抽出処理方法にお
いて、前記輪郭抽出処理を所定の回数反復して行い、そ
の反復の初めには前記画像データとシェイプデータを縮
小して輪郭抽出処理を行うことを特徴とする。

【００３３】本発明においては、自己写像を用いる方法
を採用して暫定のシェイプデータ（アルファマップ）を
輪郭抽出対象物体の輪郭に一致するように修正するが、
そのために輪郭抽出対象物体が撮像された画像データ
と、この画像データ内の輪郭抽出対象物体の領域を表わ
す暫定的な輪郭形状の二値化画像であるシェイプデータ
を用い、前記シェイプデータの輪郭部分に、それぞれ中
心位置を置いて所定サイズの探索基準ブロックを、互い
の位置をずらして複数設定する。そして、各探索基準ブ
ロック毎に、そのブロック内での前記画像データの図柄
が相似で、かつ、前記探索基準ブロックよりも大きいブ
ロックサイズの相似ブロックを同じ画像の中から探索す
る。そして、シェイプデータのうち、前記各探索基準ブ
ロック内におけるシェイプデータを、各々の前記相似ブ
ロックより得た縮小処理によるサイズ調整済みの補正用
シェイプデータと置き換えることにより、シェイプデー
タの補正処理をする。

【００３４】本発明では、前記輪郭抽出処理を所定の回
数反復して行い、その反復の初めには前記画像データと
シェイプデータを縮小して輪郭抽出処理を行う。

【００３５】すなわち、複数回繰り返される輪郭抽出処
理においては、そのはじめの方では前記画像データとシ
ェイプデータを縮小して輪郭抽出処理を行うが、処理対
象の画像サイズを小さくすれば、それに合わせて輪郭の
ずれの画素数も小さくなることから、探索基準ブロック
のブロックサイズをそれほど大きくしなくてもシェイプ
データの輪郭を正しい位置に近づけることができること
を利用している。故に、本発明では、はじめの方の回の
輪郭抽出処理においては、画像データは縮小したものを
用いると共に、あわせてシェイプデータおよび探索基準
ブロックも縮小したものを用いて輪郭抽出処理を行う。

【００３６】ここでの処理に従来よりも小さなサイズの
ブロックで処理が行えるのでその分、演算量も少なくて
済む。輪郭抽出処理の回数が進むと、元の画像サイズで
の輪郭抽出処理が行われることで、最終的には輪郭抽出
対象物体の持つ輪郭の細かい凸凹も反映されるようにシ
ェイプデータの補正がなされ、この補正されたシェイプ
データを用いることで、輪郭抽出対象物体の輪郭を精度
良く抽出できるようになる。

【００３７】従って、この発明によれば、シェイプデー
タ（アルファマップ画像）の輪郭位置補正の処理量を軽
減でき、画像から目的画像部分を高速で抽出することが
可能となる画像の輪郭抽出方法を提供できる。

【００３８】［２］また、本発明は、輪郭抽出対象物体
が撮像された画像データと、この画像データ内の輪郭抽
出対象物体の領域を表わす暫定的な輪郭形状の二値化画
像であるシェイプデータを入力とし、前記シェイプデー
タの輪郭部分に、それぞれ中心位置を置いて所定サイズ
の探索基準ブロックを、互いの位置をずらして複数設定
する第１のステップと、各探索基準ブロック毎に、その
ブロック内での前記画像データの図柄が相似で、かつ、
前記探索基準ブロックよりも大きいブロックサイズの相
似ブロックを同じ画像の中から探索する第２のステップ
と、シェイプデータのうち、前記各探索基準ブロック内
におけるシェイプデータを、各々の前記相似ブロックよ
り得た縮小処理によるサイズ調整済みの補正用シェイプ
データと置き換えることによりシェイプデータの補正処
理をする第３のステップとから成り、前記第３のステッ
プを所定の回数繰り返すことにより、シェイプデータの
輪郭線を前記物体の輪郭線に一致させる輪郭抽出処理方
法において、前記第２のステップでの処理は、相似ブロ
ックの探索範囲を探索基準ブロック内のシェイプデータ
の輪郭の方向と垂直な方向に制限することを特徴とす
る。

【００３９】本発明においては、自己写像を用いる方法
を採用してシェイプデータ（アルファマップ）を輪郭抽
出対象物体の輪郭に一致するように修正するが、そのた
めに輪郭抽出対象物体が撮像された画像データと、この
画像データ内の輪郭抽出対象物体の領域を表わす暫定的
な輪郭形状の二値化画像であるシェイプデータを用い、
前記シェイプデータの輪郭部分に、それぞれ中心位置を
置いて所定サイズの探索基準ブロックを、互いの位置を
ずらして複数設定する。各探索基準ブロック毎に、その
ブロック内での前記画像データの図柄が相似で、かつ、
前記探索基準ブロックよりも大きいブロックサイズの相
似ブロックを同じ画像の中から探索する。シェイプデー
タのうち、各探索基準ブロック内におけるシェイプデー
タを、各々の相似ブロックより得た縮小処理によるサイ
ズ調整済みの補正用シェイプデータと置き換えることに
よりシェイプデータの補正処理をする。

【００４０】本発明では、前記第２のステップでの処
理、すなわち、各探索基準ブロック毎に、そのブロック
内での前記画像データの図柄が相似で、かつ、前記探索
基準ブロックよりも大きいブロックサイズの相似ブロッ
クを同じ画像の中から探索する相似ブロック探索処理
は、相似ブロックの探索範囲を探索基準ブロック内のシ
ェイプデータの輪郭の方向と垂直な方向に制限するよう
にする。

【００４１】すなわち、ある探索基準ブロックに対する
相似ブロック探索処理は、従来手法によれば、その探索
基準ブロックを中心に、上下左右所定の範囲内でブロッ
クサイズを拡張して類似の画素パターンを示すものを探
すことで実施するが、本発明では相似ブロックの探索範
囲を探索基準ブロック内のシェイプデータの輪郭の方向
と垂直な方向に制限する。これにより、演算量を軽減す
る。

【００４２】輪郭抽出対象物体の輪郭は、もちろん未知
であり、暫定的に与えたシェイプデータの輪郭をどちら
に動かせば輪郭抽出対象物体の輪郭に近づくのかも、相
似ブロック探索時には当然分からないわけであるが、シ
ェイプデータの輪郭の方向と輪郭抽出対象物体の輪郭の
方向は経験的にみて、ほぼ合っていることがほとんどな
ので、シェイプデータの輪郭の方向と垂直な方向に対し
て探索するのが最も合理的である。

【００４３】従って、この発明によれば、シェイプデー
タ（アルファマップ）の輪郭位置補正の処理量を軽減で
き、画像か-ら目的画像部分を高速で抽出することが可
能となる画像の輪郭抽出方法を提供できる。

【００４４】更に、本発明は、抽出対象物体が撮像され
た画像データの各部分を同じ画像データの別の部分また
は別の画像データと比較することにより、この画像デー
タ内の抽出対象物体の暫定的な領域を表わす画像である
シェイプデータを生成する第１のステップと、前記画像
データと暫定的に生成した前記シェイプデータとを用い
て、前記シェイプデータの輪郭を前記抽出対象物体の輪
郭に一致させる第２のステップとから成ることを特徴と
する画像からの物体抽出方法を提供する。

【００４５】本発明によると、物体を所定位置に固定し
なくとも適正に物体を抽出できる。

【００４６】本発明は、抽出対象物体が撮像された画像
データと、前記画像データ内の抽出対象物体の暫定的な
領域を表す画像であるシェイプデータを入力とし、前記
シェイプデータの輪郭部分に、それぞれ中心部分をおい
て所定サイズの探索基準ブロックを、互いの位置をずら
して複数設定する第１のステップと、各探索基準ブロッ
ク毎に、そのブロック内での前記画像データの図柄が相
似で、かつ、前記探索基準ブロックよりも大きいブロッ
クサイズの相似ブロックを同じ画像の中から探索する第
２のステップと、前記シェイプデータのうち、前記各探
索基準ブロック内におけるシェイプデータを、前記相似
ブロックより得た縮小処理によるサイズ補正済みの補正
用シェイプデータと置き換えることによりシェイプデー
タの補正処理をする第３のステップとから成る物体抽出
方法において、前記シェイプデータは、互いに異なる物
体の領域と背景領域ではそれぞれ互いに異なる画素値を
有し、前記第３のステップにおける縮小処理では、前記
シェイプデータのサンプリング点の周囲のいずれかの画
素の画素値をサンプリング値とすることを特徴とする画
像からの物体抽出方法を提供する。

【００４７】本発明は、 送受信データを相互に送受す
るサーバーとクライアントからなる伝送システムにおい
て、前記クライアントは、抽出対象物体が撮像された画
像データから物体を抽出して抽出画像データを得る物体
抽出手段と、前記抽出画像データをそのままか、あるい
は圧縮し、上り送受信データとして前記サーバーに送る
クライアント送信手段と、前記サーバーから送られてく
る下り送受信データを受信して、その送受信データが圧
縮されていない場合にはそのまま画像データとし、圧縮
されている場合には画像データを再生するクライアント
受信手段と、前記画像データを表示する手段とで構成さ
れ、前記サーバーは、前記上り送受信データを受信し
て、その送受信データが圧縮されていない場合にはその
まま抽出画像データとし、圧縮されている場合には抽出
面像データを再生するサーバー受信手段と、前記抽出画
像データを一つの合成画像データに合成する合成手段
と、前記合成画像データをそのままか、あるいは圧縮
し、前記下り送受信データとして送信するサーバー送信
手段とで構成される、ことを特徴とする伝送システムを
提供する。

【００４８】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。本発明においては、第１に
は、画像データと暫定的なシェイプデータと探索基準ブ
ロックを用いて画像中の輪郭抽出対象物体の輪郭抽出に
用いるシェイプデータ（アルファマップ）を輪郭抽出対
象物体の輪郭に一致させるべく修正する輪郭補正処理を
反復して行い、その反復の初めには画像データとシェイ
プデータと探索基準ブロックを縮小して輪郭補正処理を
行う。

【００４９】すなわち、この第１の発明では、はじめの
方の回では輪郭補正処理は、画像サイズを小さくして処
理するようにするので、それに合わせて輪郭のずれの画
素数も小さくなることから、探索基準ブロックのブロッ
クサイズをそれほど大きくしなくてもシェイプデータ
（アルファマップ）の輪郭を正しい位置に近づけること
ができることを利用する。このように、従来よりも小さ
なブロックサイズの探索基準ブロックで処理が行えるの
で演算量も少なくできる。そして、最後には元の画像サ
イズで輪郭補正処理をすることで輪郭の細かい凸凹にも
フィットさせたシェイプデータ（アルファマップ）を得
ることができるようにする。

【００５０】以下、本発明の実施形態について、図面を
用いて説明する。

【００５１】（本発明で用いる基本処理内容）本発明に
おいても輪郭補正処理の基本的な処理内容は従来例で説
明した手法を踏襲する。

【００５２】［基本部分の手法］すなわち、基本部分の
手法は、次のようなものである。いま、図５に示すよう
に、抽出処理対象の画像が撮像されたフレーム画像（原
画像）中における当該抽出対象物体（正しい物体領域）
１の画像があり、これを輪郭抽出処理することを考え
る。

【００５３】［処理１］ ＜抽出対象物体の概略形状設定＞オペレータは、原画像
をディスプレイ画面に表示させ、画面上において当該抽
出対象物体（正しい物体領域）１の画像に抽出対象物体
の概略形状２を設定する。フレーム画像（原画像）と、
抽出対象物体の概略形状２のデータは座標位置は両者で
共通化されているが、レイヤを別にするなど、重ね表示
はできても、両者のデータが混在しないように管理す
る。

【００５４】抽出対象物体の概略形状２は例えば、オペ
レータが画面に表示されたフレーム画像（原画像）上に
おいて抽出対象物体の外形に沿うようにマニュアル操作
で大雑把に描いた外形線であり、抽出対象物体１の輪郭
１ａとはズレがある。

【００５５】そこで、抽出対象物体の概略形状２の輪郭
を、求めたい物体の正しい輪郭である抽出対象物体１の
輪郭１ａに一致させるための処理を、自己相似写像の手
法により行う。 ［処理２］自己相似写像法は次の通りである。

【００５６】［処理２−１］ ＜シェイプデータ（アルファマップ）生成＞まず、前記
抽出対象物体の概略形状２のデータを対象に、当該抽出
対象物体の概略形状２の内側の画素に画素値“２５５”
を代入し、そして、外側の画素に画素値“０”を代入す
る処理を施こす。これにより、抽出対象物体の概略形状
２の内側の画素全てが画素値“２５５”に塗りつぶさ
れ、また、その背景は全て画素値“０”に塗りつぶされ
た画像（つまり、二値画像）であるシェイプデータ（ア
ルファマップ）が得られる。

【００５７】［処理２−２］ ＜探索基準ブロックの配置＞次に、シェイプデータ（ア
ルファマップ）の輪郭（抽出対象物体の概略形状２）に
沿って探索基準ブロックＢ１，Ｂ２，…，Ｂｎ-1，Ｂｎ
を配置する。

【００５８】これは、アルファマップの左上画素（座標
位置０，０）から右方向へ、上のラインから下のライン
へ順にスキャンし、すなわち、基準座標位置からＸＹス
キャンさせて画素を調べていき、左隣りあるいは上隣り
の画素と画素値が異なり、それまでに設定したブロック
に含まれない画素である場合に、その画素を中心にして
所定の大きさ（ブロックサイズｂ）のブロックを配置す
ることで行う。これにより、図５にＢ１，Ｂ２，…，Ｂ
ｎで示すようにそれぞれ固有の位置座標を以て配置され
る探索基準ブロックが得られる。この例では、探索基準
ブロックＢ１，Ｂ２，…，Ｂｎが数珠つなぎに重なり合
いながら設定されている。

【００５９】［処理２−３］ ＜相似ブロックの取得＞それぞれ固有の位置座標を持つ
探索基準ブロックＢ１，Ｂ２，…，Ｂｎが得られたなら
ば、次に、処理対象のフレーム画像（原画像）上にそれ
ぞれの探索基準ブロックＢ１，…，Ｂｎを座標位置を合
わせて配置させる。これにより、それぞれの探索基準ブ
ロックＢ１，…，Ｂｎはそれぞれの座標位置において、
自己の持つブロックサイズの範囲で抽出対象物体（正し
い物体領域）１の輪郭位置を一部に含む抽出対象物体１
の部分領域を特定することになるので、これを用いてそ
れぞれそのブロック内の画素状況が似ている相似ブロッ
クを求める。

【００６０】ここで、相似ブロックとは、対応する探索
基準ブロックよりも大きく、その画像データを縮小した
ときの画素値が、探索基準ブロック内の画像データとほ
ぼ等しくなるものをいう。

【００６１】相似ブロックは、対応する探索基準ブロッ
クを領域拡大した範囲で試行錯誤的に各相似候補ブロッ
クを設定し、そのブロックの範囲の画像について探索基
準ブロックのブロックサイズに縮小したものと、対応す
る探索基準ブロックのブロック内画像の画素状況（簡単
に云えばブロック内の図柄）が似ているか否かの度合い
を誤差評価により調べ、誤差が最小（評価結果が最良）
となるものを見つけてそれを相似ブロックとして求め
る。

【００６２】このようにして、それぞれの探索基準ブロ
ックＢ１，…，Ｂｎに対しての抽出対象物体（正しい物
体領域）１の相似ブロックを求める。

【００６３】相似ブロックを見つけるための具体的手法
は、次の如きである。例えば、探索基準ブロックＢ１の
相似ブロックを見つけるためには、図７に示したよう
に、探索基準ブロックＢ１の周囲に適宜な大きさの探索
領域Ｆｓ１を設定する。そして、この探索領域Ｆｓ１の
内部において相似候補ブロックＢｃを様々に設定しなが
ら、その度に探索基準ブロックＢ１のブロックサイズヘ
の縮小処理と、縮小処理後の相似候補ブロックと探索基
準ブロックＢ１との画素分布の類似度を評価する誤差評
価を行い、誤差が最小（評価結果が最良）となった相似
候補ブロックを相似ブロックＢｃｄとして決定する。

【００６４】図７の例では、探索基準ブロックＢ１の縦
横２倍で中心の座標位置が同位置である相似候補ブロッ
クＢｃを基準にして、これを上下左右に各々ｗ画素の範
囲で１画素ずつずらすことで得られる新たな相似候補ブ
ロックを用い、探索基準ブロックＢ１の画素分布に対す
る誤差評価を行う。

【００６５】なお、図６では探索基準ブロックＢ１の相
似ブロックＢｓ１しか示していないが、もちろん図５に
示した全ての探索基準ブロックＢ１，…Ｂｎに対してそ
れぞれ最終的な相似ブロックＢｃｄ１，…Ｂｃｄｎを求
める。

【００６６】［処理２−４］ ＜輪郭位置補正処理＞全ての探索基準ブロックＢ１，…
Ｂｎに対してそれぞれ相似ブロックＢｃｄ１，…Ｂｃｄ
ｎが求められたならば、次に、シェイプデータ（アルフ
ァマップ）に対し、各探索基準ブロックＢ１，…Ｂｎ内
の部分を、補正用のシェイプデータ（アルファマップ）
で置き換えると云う処理をする。この補正用のシェイプ
データ（アルファマップ）は、それぞれその探索基準ブ
ロックに対応する相似ブロックＢｃｄ１，…Ｂｃｄｎで
シェイプデータ（アルファマップ）から切り出し、探索
基準ブロックのブロックサイズに縮小処理したものであ
る。

【００６７】これを全ての探索基準ブロックＢ１，…Ｂ
ｎにおいて１回ずつ行うと、シェイプデータの輪郭（抽
出対象物体の概略形状２）は正しい物体領域１の輪郭１
ａに近づく。そして、このような置き換え処理を再帰的
に反復することにより、図８に示したように、シェイプ
データの輪郭（抽出対象物体の概略形状２）は正しい物
体領域１の輪郭１ａの近くに収束する。

【００６８】このような処理により、シェイプデータ
（アルファマップ）の輪郭は正しい物体領域１の持つ輪
郭と細かな凸凹まで一致させることができる。

【００６９】但し、この手法では「フレーム画像（原画
像）上に探索基準ブロックＢ１，…Ｂｎを配置した場合
に、各探索基準ブロックＢ１，…Ｂｎ内には正しい物体
領域１の輪郭線が含まれている」という条件が成立して
いる必要がある。従って、正しい物体領域１の輪郭線に
対する探索基準ブロックＢ１，…Ｂｎのずれが大きい場
合には、まず、大きなブロックを用いて上述した処理を
行うことで、シェイプデータの輪郭（抽出対象物体の概
略形状２）を正しい物体領域１の輪郭１ａの近くに寄せ
る処理をして必要条件を整え、次に、小さなブロックで
上述の処理を再帰的に行うことで、最終的に正しい物体
領域１の輪郭に一致させる。

【００７０】このような処理により得られた補正済みの
シェイプデータ（アルファマップ）の輪郭は、輪郭抽出
対象物体（正しい物体領域１）の持つ輪郭１ａと細かな
凸凹まで一致させることができる。そして、これによ
り、輪郭のずれが大きい場合でも高い精度で輪郭の抽出
が可能となる。

【００７１】以上が、シェイプデータ（アルファマッ
プ）の輪郭位置補正処理であり、本発明においても、基
本的な処理の内容は、従来からあるこのような自己相似
写像法を踏襲している。但し、本発明では、演算処理の
負担を軽減させるために、輪郭位置補正処理で用いる探
索基準ブロックのブロックサイズを従来手法より小さく
するようにしている。手法の詳細を説明する。

【００７２】（第１の実施形態）すなわち、従来手法に
おいては、図９に示したように、シェイプデータ（アル
ファマップ）も、また、原画像（抽出対象の撮像されて
いるフレーム画像）も、また、探索基準ブロックも元々
のサイズのままのもの（縮小していないもの）を用い
た。しかし、それを本発明では演算処理低減のために、
サイズを縦横それぞれ今までの半分のサイズにして処理
を進めるようにする。

【００７３】すなわち、従来は、探索基準ブロックの一
辺あたりのブロックサイズをｂとすると、このｂはＡと
置いた。そして、このＡなるブロックサイズｂの探索基
準ブロックを用い、かつ、原画像（抽出対象の撮像され
ているフレーム画像）およびシェイプデータ（アルファ
マップ）も元々のサイズの画像を用い、先に図５〜図８
を用いて説明した輪郭位置補正処理を行った。そして、
次に、Ａなるブロックサイズｂを、その半分の値にし、
ブロックサイズｂがＺ（＜Ａ）よりも小さい場合には終
了し、そうでない場合にはブロックサイズをさらに半分
にしてこれを用いて輪郭位置補正処理を行うと云う処理
を繰り返した。

【００７４】そして、このような処理により、輪郭のず
れが大きい場合でも高い精度で輪郭抽出できるようにし
た。

【００７５】これに対して、本発明では、輪郭位置補正
処理は粗調整段階と、本調整段階との２段処理とし、粗
調整段階での輪郭位置補正処理では、はじめから暫定的
なシェイプデータ（アルファマップ）を縦横１／２に縮
小したものを、また、原画像も縦横１／２に縮小した画
像を用いるようにし、それに合わせて探索基準ブロック
もブロックサイズはｂ／２にしたものを用い、輪郭位置
補正処理を行うようにする。そして、これにより、演算
処理を軽減するようにした。

【００７６】図１は、本発明の一実施形態を示すフロー
チャートであり、このフローチャートを参照して本発明
を説明する。本発明では、第１段階としてシェイプデー
タ（アルファマップ）および原画像および探索基準ブロ
ックをサイズ縮小して輪郭位置補正処理を行うようにし
て、これにより、暫定的なシェイプデータ（アルファマ
ップ）を抽出対象物体の正しい輪郭の形状に近付けてお
き（粗調整段階）、次に、粗調整された暫定的シェイプ
データ（アルファマップ）を抽出対象物体の正しい輪郭
の形状にフィットさせるために、この粗調整されたシェ
イプデータ（アルファマップ）および原画像については
本来のサイズで使用し、探索基準ブロックについては粗
調整段階で使用した小さいサイズのものを使用して輪郭
位置補正処理を行うようにする（本調整段階）ことで、
演算量を大幅に低減した輪郭抽出処理を実施可能にす
る。

【００７７】本発明び要部を説明する。最初の段階での
シェイプデータ（アルファマップ）、すなわち、暫定的
なシェイプデータ（暫定的なアルファマップ）が得られ
たならば、まず、粗調整段階では、前述の［処理２−
２］における処理である「シェイプデータ（アルファマ
ップ）の輪郭（抽出対象物体の概略形状２）に沿って探
索基準ブロックＢ１，Ｂ２，…，Ｂｎ-1，Ｂｎを配置す
る」と云う処理に先立ち、探索基準ブロックのブロック
サイズを定める。

【００７８】［ステップＳ１１］：既存技術と同様、探
索基準ブロックのブロックサイズｂを初期値はＡとす
る。

【００７９】［ステップＳ１２］：最初の段階でのシェ
イプデータ（アルファマップ）である暫定的なシェイプ
データ（暫定的なアルファマップ）を縦横１／２に縮小
する。この縮小は元となる暫定的なシェイプデータ（暫
定的なアルファマップ）について１画素とびの間引きを
行うことにより、あるいは、サンプリング点近傍４画素
の多数決フィルタなどを用いてフィルタ処理することで
得られる。

【００８０】［ステップＳ１３］：フレーム画像（原画
像）を縦横１／２に縮小処理し、また、探索基準ブロッ
クのブロックサイズを縦横１／２に縮小処理する。そし
て、この縮小処理済みのフレーム画像（原画像），探索
基準ブロック，シェイプデータ（アルファマップ）を用
いて前述の［処理２−２］以降の輪郭位置補正処理を行
う。

【００８１】［ステップＳ１４］：次に、上述の輪郭位
置補正処理で用いた探索基準ブロックのブロックサイズ
をさらに縦横１／２に縮小処理する。 ［ステップＳ１５］：そして、Ｓ１４において縮小処理
された探索基準ブロックのブロックサイズｂがＹよりも
小さいか否かを調べる。Ｙは予め設定した所望の値であ
り、Ｙ＜Ａの関係にある。ｂとＹとの大小比較の結果、
ｂがＹよりも小さい場合にはステップＳ１６の処理に進
む。そうでない場合にはステップＳ１３の処理に戻る。
これは粗調整での輪郭位置補正処理に用いる探索基準ブ
ロックのブロックサイズが縮小され過ぎて探索基準ブロ
ック内の画像が少なくなり過ぎるのを避けるための処置
である。

【００８２】このようにしてブロックサイズが所定のサ
イズに到達するまでこの処理を繰り返すことで、暫定的
なシェイプデータ（暫定的はアルファマップ）を抽出対
象物体の正しい輪郭の形状に大まかに近付けることがで
きる（粗調整段階）。

【００８３】ｂとＹとの大小比較の結果、ｂがＹよりも
小さい場合には粗調整段階終了であり、本調整段階に処
理を移すことになる。本調整段階はステップＳ１６以降
の処理が該当する。

【００８４】［ステップＳ１６］：本調整段階ではまず
はじめに粗調整段階では縮小して使用していたシェイプ
データ（アルファマップ）を本来のサイズに戻すことを
行う。すなわち、粗調整段階で使用して粗調整されたシ
ェイプデータ（アルファマップ）である粗調整済みシェ
イプデータ（粗調整済みアルファマップ）のサイズを縦
横２倍に拡大する。これにより本来の原画像と同じサイ
ズになる。

【００８５】［ステップＳ１７］：本来のサイズの原画
像を用い、また、粗調整段階最後の処理で使用したブロ
ックサイズｂの探索基準ブロックと本来のサイズに戻さ
れた粗調整済みのシェイプデータ（粗調整済みアルファ
マップ）とを用いて輪郭位置補正処理を行う。

【００８６】［ステップＳ１８］：次に、探索基準ブロ
ックのブロックサイズｂの値を１／２にする。

【００８７】［ステップＳ１９］：探索基準ブロックの
ブロックサイズｂがＺよりも小さいか否かを調べる。Ｚ
は予め設定した所望の値であり、Ｚ＜Ｙの関係にある。
ｂとＺとの大小比較の結果、ｂがＺよりも小さい場合に
は処理を終了し、ｂがＺよりも大きい場合にはステップ
Ｓ１７の処理に戻る。

【００８８】これは本調整における輪郭位置補正処理に
用いる探索基準ブロックのブロックサイズが縮小され過
ぎて探索基準ブロック内の画像が少なくなり過ぎるのを
避けるための処置である。探索基準ブロックのサイズが
次第に小さくなることで、細かい凹凸までフィットさせ
ることが可能になる。

【００８９】このようにして探索基準ブロックのサイズ
が小さい所定サイズに到達するまでこの処理を繰り返す
ことで、シェイプデータ（アルファマップ）を抽出対象
物体の正しい輪郭の形状に細かいところまで近付けるこ
とができる。

【００９０】＜輪郭位置補正処理フロー＞ここで、ステ
ップＳ１３とステップＳ１７での処理である輪郭位置補
正処理の詳しいフローチャートを図２に示す。なお、Ｓ
１３では原画像の１／２の画像サイズ、Ｓ１７では原画
像と同じ画像サイズでの処理である。

【００９１】［ステップＳ２１］：暫定的なシェイプデ
ータ（暫定的なアルファマップ）の輪郭部分に図５のよ
うにブロックを設定する。ここで、Ｓ１３では、探索基
準ブロックの一辺のサイズがｂ／２なるブロックサイ
ズ、Ｓ１７では探索基準ブロックの一辺のサイズがｂな
るブロックサイズとする。

【００９２】［ステップＳ２２］：画像データを用いて
探索基準ブロックの相似ブロックを求める。

【００９３】［ステップＳ２３］：ステップＳ２１で設
定した全ての探索基準ブロックについて相似ブロックを
求め終わった場合はステップＳ２４の処理に進む。そう
でない場合には他の探索基準ブロックの相似ブロックを
求めるためにステップＳ２２の処理に戻る。

【００９４】［ステップＳ２４］：探索基準ブロックの
シェイプデータを、相似ブロックのシェイプデータを縮
小したもので置き換える。

【００９５】［ステップＳ２５］：全ての探索基準ブロ
ックについて置き換えが終わった場合はステップＳ２６
の処理に進む。そうでない場合には、他の探索基準ブロ
ックの置き換えを行うためにステップＳ２４の処理に戻
る。

【００９６】［ステップＳ２６］：置き換えの回数が所
定の回数に達した場合は終了し、そうでない場合は、ス
テップＳ２４の処理に戻る。

【００９７】本発明おいて、この輪郭位置補正処理は、
例えばフレーム画像（原画像）のサイズが３２０×２４
０画素、Ａ＝３２、Ｙ＝１６、Ｚ＝４の場合、下表のよ
うになる。なお、Ａ，Ｙ，Ｚのこのような値は、適宜に
設定した値である。Ａは本来のサイズであり、Ｙは粗調
整段階で粗調整としての輪郭位置補正処理をどこで打ち
切るかその閾値として使用し、また、Ｚは本調整段階で
の輪郭位置補正処理をどこで打ち切るかその閾値として
使用する。

【００９８】表： --------------------------------------------- [回] [ｂ] [画像サイズ] [ブロックサイズ] --------------------------------------------- ｉ回目 ３２ １６０×１２０ １６ ii回目 １６ １６０×１２０ ８ iii回目 ８ ３２０×２４０ ８ iv回目 ４ ３２０×２４０ ４ --------------------------------------------- すなわち、探索基準ブロックの本来のブロックサイズｂ
＝Ａが“３２”であったとして、粗調整段階では“３２
０×２４０画素”構成のフレーム画像（原画像）を第１
回目の処理（表におけるｉ回目）では１／２のサイズに
した“１６０×１２０画素”構成で使用し、そのときの
探索基準ブロックは縦および横がそれぞれ１６画素のブ
ロックサイズとなっている。そして、この第１回目の処
理が終了した段階ではｂは“３２”であるので、これを
１／２して“１６”を得、これをＹの値と大小比較す
る。この“１６”なる値は、“１６”に設定したＹの値
より小さくはないので、粗調整段階での第２回目（表に
おけるii回目）の処理に移る。粗調整段階での第２回目
の処理では第１回目の処理で使用したものと同様に“３
２０×２４０画素”構成のフレーム画像（原画像）の１
／２のサイズである“１６０×１２０画素”構成の縮小
版フレーム画像（原画像）使用し、そのときの探索基準
ブロックは第１回目の半分のサイズである縦および横が
それぞれ８画素のブロックサイズとなっている。

【００９９】そして、この第２回目の処理が終了した段
階ではｂは“１６”であるので、これを１／２して
“８”を得、これをＹの値と大小比較する。“８”なる
値は、“１６”に設定したＹの値より小さいので、粗調
整段階は終了し、本調整段階に移る。

【０１００】本調整段階では、ｂは粗調整段階最終処理
での値を踏襲し、また、探索基準ブロックのサイズも粗
調整段階最終処理での値を踏襲するが、フレーム画像
（原画像）は本来のサイズのものを用いる。すなわち、
この例では“３２０×２４０画素”構成のフレーム画像
（原画像）を用い、探索基準ブロックのサイズは
“８”、ｂは“８”である。

【０１０１】本調整段階では“３２０×２４０画素”構
成のフルサイズフレーム画像（原画像）を毎回の処理に
使用する。本調整段階での第１回目（表における iii回
目）の処理では探索基準ブロックは縦および横がそれぞ
れ８画素のブロックサイズとなっている。そして、この
第１回目（表における iii回目）の処理が終了した段階
ではｂは“８”であるので、これを１／２して“４”を
得、これをＺの値と大小比較する。この“４”なる値
は、“４”に設定したＺの値より小さくはないので、本
調整段階での第２回目（表におけるiv回目）の処理に移
る。本調整段階での第２回目（表におけるiv回目）の処
理でも本調整段階での第１回目（表における iii回目）
の処理で使用したものと同様に“３２０×２４０画素”
構成のフレーム画像（原画像）のフルサイズフレーム画
像（原画像）使用し、そのときの探索基準ブロックは本
調整段階での第１回目の処理での半分のサイズである縦
および横がそれぞれ４画素のブロックサイズとなってい
る。

【０１０２】そして、この第２回目（表におけるiv回
目）の処理が終了した段階ではｂは“４”であるので、
これを１／２して“２”を得、これをＺの値と大小比較
する。“２”なる値は、“８”に設定したＺの値より小
さいので、本調整段階も終了条件が整うので終了して処
理を完了する。

【０１０３】このように本発明おいて、輪郭位置補正処
理は、フレーム画像（原画像）のサイズが３２０×２４
０画素、Ａ＝３２、Ｙ＝１６、Ｚ＝４なる条件である場
合、粗調整段階処理を２回、本調整段階処理を２回、計
４回で処理を完了するが、粗調整は演算に使用する画素
数が毎回、半減し、本調整段階ではフレーム画像（原画
像）およびシェイプデータ（アルファマップ）について
はフルサイズのものに戻すものの、探索基準ブロックは
粗調整段階からのサイズを処理毎に１／２ずつにサイズ
変更していくので、トータルとしての演算処理の負担は
大幅に軽減される。しかも、探索基準ブロックのサイズ
を粗調整段階から継続して、処理毎に１／２ずつにサイ
ズ縮小できるのは、粗調整段階でシェイプデータ（アル
ファマップ）が輪郭抽出対象物体の輪郭にほぼ近づける
ことができているからである。

【０１０４】従って、自己相似写像を用いる手法を採用
して輪郭抽出する場合に、はじめに与えた抽出対象物体
の概略形状を、少ない演算処理によって、輪郭抽出対象
物体の輪郭に一致させることができるようになり、暫定
的に与えたシェイプデータの輪郭を、輪郭抽出対象物体
の輪郭に高速で一致させることができる輪郭抽出方法が
得られる。

【０１０５】なお、上記例において、探索基準ブロック
のブロックサイズｂは必ずしも１／２ずつ小さくする必
要はない。例えば、“３２”、“８”、“４”の如きと
してもよく、このようにすれば、処理量をさらに削減で
きるようになる。

【０１０６】以上は、シェイプデータ（アルファマッ
プ）の輪郭位置調整処理を粗調整段階、本調整段階の２
段階で実施すると共に、粗調整段階では、原画像も探索
基準ブロックもまた、シェイプデータ（アルファマッ
プ）も縮小したものを用い、また、縮小するブロックサ
イズが所定の条件に達するまで前回の輪郭位置調整処理
での縮小よりもさらに縮小させて輪郭位置調整処理を実
施し、条件に到達したならば次に本調整段階に入り、こ
の本調整段階では原画像もまた、シェイプデータ（アル
ファマップ）も本来のサイズのものを使用し、探索基準
ブロックは粗調整段階の最終時点で使用したサイズのも
のを使用し、以後、ブロックサイズが所定の条件に達す
るまで、探索基準ブロックについては毎回、前回より縮
小したものを用いて輪郭位置調整処理を実施し、これに
よって所望に与えたシェイプデータ（アルファマップ）
の形状を抽出対象の輪郭形状に合わせるようにしたもの
である。

【０１０７】この輪郭位置調整処理において、相似ブロ
ックを探索するに際して、相似候補を探索基準ブロック
の上下左右方向に暫時、拡大して該当のものを探してい
くようにしているが、常に上下左右方向に拡大するので
はなく、探索基準ブロック内のシェイプデータの輪郭の
存在する方向に従ってその方向対応に拡大していくよう
にすればより合理的である。その例を次に第２の実施形
態として説明する。

【０１０８】（第２の実施形態）相似ブロックの探索範
囲を探索基準ブロック内のシェイプデータの輪郭の方向
によって切り替える実施形態を説明する。

【０１０９】図７を用いて説明したように、従来におい
ては、相似ブロックの探索範囲は、探索基準ブロックと
の相対的な位置によって決まり、画面の場所やシェイプ
データや画像データによっては制御されない。

【０１１０】しかし、例えば、図３に示した探索基準ブ
ロックＢ１のように、シェイプデータの輪郭がその内部
を横切っている場合には、左右方向を省略し、上下方向
へＷ画素分、動かした範囲Ｂｓ１′で探索するだけで
も、抽出性能はほとんど劣化しない。なぜなら、相似ブ
ロックＢｓ１のような場合には、シェイプデータの輪郭
は置き換えのときに上下方向に移動して初めて補正の効
果が得られるものであり、従って、この例の場合、上下
方向に移動させるのは、そのために上下方向にずれた相
似ブロックを選べるようにしたいがためである。

【０１１１】背景や物体の細かい図柄の影響で、左右に
ずらした場合の誤差が最小となる場合もあるが、それよ
りも誤差は多少大きくても、シェイプデータの輪郭が上
下方向に移動する方が正しい輪郭に近づく。

【０１１２】輪郭抽出対象物体（正しい物体領域）１の
輪郭１ａは、もちろん未知であり、暫定的に与えたシェ
イプデータの輪郭（抽出対象物体の概略形状２）をどち
らに動かせば輪郭抽出対象物体（正しい物体領域）１の
輪郭１ａに近づくのかも、相似ブロック探索時には当然
分からないのであるが、シェイプデータの輪郭（抽出対
象物体の概略形状２）の方向と輪郭抽出対象物体（正し
い物体領域）１の輪郭１ａの方向は経験的にみて、ほぼ
合っていることがほとんどなので、シェイプデータの輪
郭（抽出対象物体の概略形状２）の方向と垂直な方向に
相似候補ブロックを動かすのが最も合理的である。

【０１１３】例えば、シェイプデータのブロックの左
上、右上、左下、右下の４画素の値を比較し、左上と右
上が等しく、左下と右下が等しい場合には横方向の輪郭
と判定し、相似候補ブロックは上下方向のみの範囲を動
かしていき、相似ブロックを探索していく。同様に、左
上と左下が等しく、右上と右下が等しい場合には縦方向
の輪郭と判定し、左右方向に相似候補ブロックを変化さ
せて相似ブロックを探索する。

【０１１４】また、そのいずれでもない場合は、従来方
法と同様に、全方向で探索する。このようにすることで
抽出精度を劣化させずに相似ブロックの探索の処理量を
削減できる。

【０１１５】ここで、相似ブロックの探索時には、探索
範囲内で誤差最小の相似候補ブロックを以てそこでの相
似ブロックに決定するのではなく、順次相似候補ブロッ
クを変えて誤差評価をする際に、予め定める許容誤差よ
りも誤差が小さくなった相似候補ブロックが見つかった
時点で探索を打ち切り、その相似候補ブロックを相似ブ
ロックとして決定すると良い。

【０１１６】このようにすることにより、抽出精度を劣
化させずにさらに処理量を削減できるようになる。

【０１１７】また、ブロックの画面内での位置によっ
て、探索範囲を切り替えるのが有効な場合もある。例え
ば、特願平１１−１８６５３７号「画像輪郭抽出装置」
で提案したように、抽出対象が頭部を含めた自己の顔画
像部分であったとして、この場合、人間の頭部輪郭線像
を予め用意しておき、画面にこの頭部輪郭線像を表示さ
せると共に、画面に表示されたこの頭部輪郭線像として
の枠線内に自己の頭部を合わせるように位置決めして撮
像し、その枠線をシェイプデータの初期状態（暫定的な
シェイプデータ（暫定的なアルファマップ））として用
い、画像中から頭部を輪郭に沿って抽出する技術がある
が、この技術を適用する場合において、ユーザが常にあ
ごの位置を枠線の下限に合わせるとすると、あごの部分
の輪郭のずれは他の部分よりも小さくなる。

【０１１８】このような時には、枠線の下の部分では、
大きいブロックサイズでの処理を省略したほうが、誤抽
出の確率が低くなる。あるいは、探索範囲を狭くしたほ
うが、やはり誤抽出の確率が低くなる。大きいブロック
での処理の省略や探索範囲を狭くすることは処理量の削
減にもなる。また、上のように初期シェイプが既知の場
合には、探索基準ブロックの配置も一意に決まるので、
その配置を記憶しておき、探索基準ブロックを配置する
ステップＳ２１では、それを読み出すだけにすれば、シ
ェイプデータの輪郭を検出する処理を省略できる。

【０１１９】また、図５のように、数珠つなぎになった
探索基準ブロックＢ１，…Ｂｎの全てについて相似ブロ
ックを求めるようなことはせずに、間欠的に、例えば、
一つ置きに求めるようにし、間のブロックの相似ブロッ
クはその両端のブロックの相似ブロックの中間位置にあ
るものとして処理することで、探索の処理を大幅に省略
できる。

【０１２０】また、各探索基準ブロックが互いが重なら
ないように配置する方法もある。このようにすると、探
索基準ブロックの総数が減ることから、当然のことなが
ら処理量が減ることになる。

【０１２１】また、相似候補ブロックを設定するたびに
縮小処理を施すのではなく、予め画面全体を縮小したも
のを用意しておき、相似候補ブロックを設定したとき
に、それに対応する部分を当該縮小画像から取り出し
て、探索基準ブロック内の画像との誤差比較をする方法
もある。このようにすることによっても、全体の処理量
を削減できるようになる。

【０１２２】このとき、例えば、探索基準ブロックと相
似ブロックのサイズが１対２で、相似候補ブロックを１
画素ずつずらしながら設定する場合、図４に円で示した
如くＡ，Ｂ，Ｃ，Ｄなる原画像の画素位置に対して、Ａ
の画素位置でサンプリングした画素を用いて縦横半分の
サイズの縮小画面を作成する。また、サンプリング点が
Ｂ、Ｃ、Ｄ点の画素位置にずれた、つまり、位相がずれ
た場合のそれぞれの画像の縮小画像を作る。これによ
り、合計４枚の縮小画面が作られたことになる。このと
き、相似候補ブロックの位置を例えば縦座標、横座標と
も偶数値だけにして、つまり、探索範囲内で２画素ずつ
ずらしながら探索する場合には、Ａ，Ｂ，Ｃ，Ｄのう
ち、一つだけを予め作れば十分であり、この場合、他の
３枚を作る処理を省略できる。

【０１２３】１画素ずらしを２画素ずらしにするとそれ
だけ相似探索のための相似候補ブロックの数が減り、探
索処理は少なくなるが、縮小画面を用いる方法では、さ
らに縮小画面を作る処理も大幅に削減できる。

【０１２４】また、初期シェイプデータが小さい場合、
縮小画面は画面全体を作る必要はない。予め、相似ブロ
ックの探索範囲には入らない部分が分かる場合には、そ
の部分の縮小画面を作る処理を省いて良い。

【０１２５】なお、以上においては、相似ブロック探索
時の縮小画面の生成について述べたが、見つけた相似ブ
ロックの画像をシェイプデータ（アルファマップ）上に
置き換え変換する時も同様に、最初に縮小したシェイプ
画面を作っておき、各探索基準ブロックのシェイプデー
タをその縮小したシェイプ画面から抜き取ってきて置き
換えるようにできる。このようにすると、置き換えのた
びの縮小処理を省略できるようになり、演算処理の一層
の負担低減を図ることができるようになる。

【０１２６】以上、第２の実施形態によれば、相似ブロ
ックを探索するにあたり、その探索範囲を探索基準ブロ
ック内のシェイプデータ（アルファマップ）の輪郭方向
と垂直の方向に制限することで、暫定的に与えたシェイ
プデータ（アルファマップ）の輪郭を輪郭抽出対象物体
の輪郭に近付ける処理を合理的に行うことができ、しか
も、演算処理量を大幅に軽減できる。また、シェイプデ
ータ（アルファマップ）の輪郭上に配置する探索基準ブ
ロックは互いが重ならないようにすることで、演算処理
量を大幅に軽減できる。また、相似候補ブロックを設定
するたびに縮小処理を施すのではなく、予め画面全体を
縮小したものを用意しておき、相似候補ブロックを設定
したときに、それに対応する部分を当該縮小画像から取
り出して、探索基準ブロック内の画像との誤差比較をす
るようにすることにより、全体の演算処理量を削減でき
るようになる。

【０１２７】ところで、画像から被写体の領域を抽出す
る場合、利用者がマニュアル操作によって物体のおよそ
の形状を描くか、あるいは、利用者が画面を見ながら、
そこに表示される輪郭線に自分の頭部を合わせること
で、物体のおよそのシェイプデータを得て、次に、その
シェイプデータの輪郭を画像データ内の物体の輪郭の位
置に補正する方法が取られ、これらにより、ほとんどの
状況において正確な抽出が行われる。この場合、画面中
央の楕円の領域を表すシェイプデータが生成され、利用
者が画面に表示される楕円の輪郭線に自分の頭部を合わ
せることにより、楕円のシェイプデータは次のステップ
で頭部の領域を抽出するに足る程度に頭部を近似してい
る。楕円のシェイプデータを初期シェイプとして、その
シェイプデータの輸郭の位置が画像データ内の頭部の輪
郭の位置に補正される。

【０１２８】しかしながら、初期シェイプデータを得る
ために利用者が自分で画面内の所定の位置に頭部を固定
するのは不便である。背景が比較的平坦であったり、背
景に動きがない場合など、物体の抽出が比較的容易な状
況では、自動的に初期シェイプデータが得られることが
望まれる。

【０１２９】そこで、この要望に沿った実施形態を以下
に説明する。

【０１３０】（第３の実施形態）図１０に第３の実施形
態の画像からの物体抽出方法を説明するフローチャート
を示す。本実施形態では分離度という統計的指標を用い
る。分離度Ｓは、次式により表される(福井「領域間の
分離度に基づく物体輪郭抽出」、電子情報通信学会論文
誌、D-II、Ｖｏｌ．J８０−D−II、Ｎo．６、pp．１４
０６-１４１４、１９９７)。即ち、 Ｓ=Ｘ／Ｙ Ｘ=Ｎｂ＊(Ａｂ−Ａ)＊(Ａｂ-Ａ)＋Ｎｆ＊（Ａｆ−Ａ)
＊（Ａｆ−Ａ） Ｎｂ：背景領域の画素数 Ｎf：物体領域の画素数 Ａ：全画素値の平均値 Ａｂ：背景領域の画素値の平均値 Ａｆ：物体領域の画素値の平均値 Y：各画素値とＡの差分の二乗の全画素の和 蒸気式から明らかなように物体領域と背景領域の平均値
の差が大きいほど、１に近づき、それらの平均値の差が
小さいほど０に近づく。通常、物体と背景では画素値の
平均値などの統計的性質は互いに異なるので、分離度が
大きいほどより正しい物体領域であると推定できる。

【０１３１】そこで、予めシェイプデータの候補領域を
図１１に示したように、シェイプ１〜１０の１０個を用
意し、これらの各々に対して分離度を求め、その値が最
も大きいシェイプデータを探索し、それを初期シェイプ
データとするのが本実施形態である。図１０のフローチ
ャートに従ってこの処理を説明する。

【０１３２】先ず、分離度の最大値を保持する変数Ｍに
ゼロを代入する（Ｓ３１）。数字の順に初期シェイプデ
ータの候補を逐次設定する（Ｓ３２）。そのシェイプデ
ータを用いた時の現入力画像データにおける分離度Ｓを
求める（Ｓ３３）。ＳがＭよりも大きい場合にはステッ
プＳ３５に進み、そうでない場合には、ステップＳ３６
に進む。

【０１３３】ステップＳ３５では、今、分離度を求めた
シェイプデータを初期シェイプデータとして記憶する。
それ以前に初期シェイプデータとして記憶していたもの
がある場合は、以前のものを破棄する。また、Ｍ＝Ｓと
する。

【０１３４】全ての初期シェイプデータの候補に対する
処理が終わったかが判断される（Ｓ３６）。処理が終わ
っていれば、ステップＳ１７に進み、そうでない場合
は、ステップＳ３２に戻る。ステップＳ３７では、初期
シェイプデータと現入力画像データを用いて、シェイプ
データの輪郭線を画像データ内の物体の輪郭線に一致さ
せる。

【０１３５】物体の動きが比較的ゆるやかであることが
分かっている場合には、初期シェイプデータを常に画面
全体で探索するのではなく、例えば毎フレームで選択さ
れた初期シェイプデータ候補を記憶しておき、前のフレ
ームで選択された初期シェイプデータの近くだけで探索
するようにすれば、処理量を削減できる。例えば、前の
フレームでは図１２のシェイプ１１が選択されたとする
と、図示したように、その上下左右の４つとそれ自身の
５個で探索すれば、１０個で探索する場合よりも探索の
処理量を半分に減らせる。あるいは、シェイプ１１の近
くに互いに少しずつずらしながら１０個のシェイプデー
タ候補を設定すれば、同じ処理量でより高い精度の初期
シェイプデータが得られる。このように、前フレームの
シェイプを中心に初期シェイプデータの探索範囲を設定
して人物の頭部を抽出する場合、探索範囲は、画面の上
下方向よりも左右方向に広くする。なぜなら、頭部は上
下に動くよりも左右に揺れる確率が高いからである。

【０１３６】また、分離度を求める際の領域はシェイプ
データと全く同じである必要はない。楕円よりも長方形
の方が、処理を節約できる場合には、図１３（ａ）に示
したような長方形の領域を用いて分離度を求め、その分
離度が最大になった長方形の角をおとして図１３（ｂ）
のような８角形を初期シェイプデータとする方法もあ
る。角をおとすのは、人物の頭部の形に多少でも近づけ
るためである。

【０１３７】また、人物の頭部はおおまかに上方の髪と
中央以下の顔の２つの領域に分かれる。そこで、図１３
（ｃ）のように長方形をさらに２つの領域に分け、分離
度Ｓを以下の式により求める。

【０１３８】Ｓ=Ｘ／Ｙ Ｘ=Ｎｂ＊(Ａｂ−Ａ)＊(Ａｂ-Ａ)＋Ｎｆ１＊（Ａｆ１−
Ａ)＊（Ａｆ１−Ａ）＋Ｎｆ２＊（Ａｆ２−Ａ）＊（Ａ
ｆ２−Ａ） Ｎｂ：背景領域の画素数 Ｎi１：第１の物体領域の画素数 Ｎf２：第２の物体領域の画素数 Ａ：全画素値の平均値 Ａｂ：背景領域の画素値の平均値 Ａｆ１：第１の物体領域の画素値の平均値 Ａｆ２：第２の物体領域の画素値の平均値 Ｙ：各画素値とＡの差分の二乗の全画素の和 これにより、より正確に人物の頭部を検出できることが
ある。

【０１３９】ステップＳ３７の輪郭位置補正処理は、図
１４のフローチャートに従って行われる。即ち、先ずシ
ェイプデータの輪郭部分にブロックが設定される（Ｓ４
１）。次に、画像データを用いてブロックの相似ブロッ
クを求める（Ｓ４２）。ステップ４１で設定した全ての
ブロックについて相似ブロックを求め終わったかが判断
され（Ｓ４３）、終わった場合は、処理はステップＳ４
４に進む。そうでない場合には他のブロックの相似ブロ
ックを求めるためにステップＳ４２に戻る。

【０１４０】ステップＳ４４では、ブロックのシェイプ
データを相似ブロックのシェイプデータを縮小したもの
で置き換える。全てのブロックについて置き換えが終わ
ったかが判断され（Ｓ４５）、終わっていれば、処理は
ステップＳ４６に進む。そうでない場合には、他のブロ
ックの置き換えを行うためにステップＳ４４に戻る。ス
テップＳ４６での判定で、置き換えの回数が所定の回数
に達した場合は処理は、終了する。そうでない場合は、
処理はステップＳ４４に戻る。

【０１４１】背景に初期シェイプデータ候補のいずれか
に合う物体があると、これにおける分離度の方が、頭部
における分離度よりも高くなることがある。しかし、背
景が比較的平坦な場合には、本実施形態により頭部が画
面のどこにあっても良好な初期シェイプが得られる。

【０１４２】（第４の実施形態）次に、図１５および図
１６を参照して、第４の実施形態を説明する。本実施形
態では、抽出を始める前に背景画像を取得しておき、そ
の後は、入力画像と背景画像の差が一定値以上となる領
域を物体領域と判定することで初期シェイプデータを生
成する方法である。

【０１４３】先ず、抽出すべきオブジェクトが撮影範囲
に入っていない画像（図１６（ａ））を背景面像として
利用者が確認しながら取得する（Ｓ５１）。次に、図１
６（ｂ）に示すようにオブジェクト（人物）が画面に入
ると、このとき、現入力フレームと背景画像の差分を求
め、差分の絶対値が一定値以上となる画素を物体画素、
そうでない画素を背景画素として初期シェイプデータ
（図１６（ｃ）））を生成する（Ｓ５２）。

【０１４４】ただし、単純に画素単位でこの処理を行う
と領域が粒状に分割される場合が多い。そこで、背景画
像をブロックに分割し、それぞれのブロックにおいて画
素値のブロック平均値を求めておく。入力画像でも同じ
くブロック平均値を求め、入力画像と背景画像のブロッ
ク平均値の差の絶対値が所定値よりも大きいブロックを
物体領域とし、そうでないブロックを背景領域として初
期シェイプデータを生成する。このようにブロック単位
にすると、輪郭に段差があるシェイプデータしか得られ
ないが、ステップＳ５３において輪郭補正を行うので問
題はない。さらに、先に述べた画素単位で求めた差分の
絶対値のブロック内での和を求め、このブロック内での
和が所定値よりも大きい場合に、そのブロックも物体領
域に加える。これにより、本来、背景と図柄が異なる物
体領域が、ブロック平均値をとったために背景のブロッ
ク平均値に近くなってしまい、物体と判定されないとい
う誤検出を回避できる。

【０１４５】ステップＳ５３では、初期シェイプデータ
と現入力画像データを用いて、シェイプデータの輪郭線
を画像データ内の物体の輪郭線に一致させ、処理を次の
フレームに進める（Ｓ５４）。背景が静止している場合
には、本実施形態によって、どのような形状の物体で
も、あるいは、複数の物体でも、それらが画面内のどこ
にあっても高い精度で抽出できる。

【０１４６】（第５の実施形態）次に、基準フレームと
の動き補償によって初期シェイプデータを生成する第５
の実施形態を図１７を用いて説明する。

【０１４７】先ず、固定の初期シェイプデータを用いる
方法で、利用者が頭部を画面表示に合わせながら頭部の
輪郭が抽出される。この輪郭抽出は、正しく抽出されて
いることを利用者が確認しながら画像取得操作を行う。
そのときの画像と最終的なシェイプデータをそれぞれ基
準画像データ、基準シェイプデータとする（Ｓ６１）。
次に、図１８に示すような基準画像データから現入力フ
レームの画像データへの動き検出を行う。その動き検出
結果を用いて、基準シェイプデータに対して動き補償を
行うことで、現入力フレームの初期シェイプデータを生
成する（Ｓ６２）。例えば、基準フレームの物体領域の
画像データを切り出し、それを現入力フレーム内で、平
行移動しながらマッチングをとる。マッチング誤差が最
小となった部分に基準シェイプデータの物体領域を平行
移動させて初期シェイプデータを生成する。この後、初
期シェイプデータと現人力画像データを用いて、シェイ
プデータの輪郭線を画像データ内の物体の輪郭線に一致
させる、即ち輪郭位置の補正処理が行われる（Ｓ６
３）。次いで、処理は次のフレームに進める（Ｓ６
４）。

【０１４８】本実施形態によって、初めは利用者が画面
を確かめながら自分で頭部の位置の調整をしなければな
らないが、基準画像を取得した後は、動き補償によっ
て、物体の同じ面がカメラに向いているかぎり、画面内
のどこにあっても抽出されるようになる。動き検出は平
行移動の２パラメータに限らず、回転を含めた３パラメ
ータ、さらに拡大/縮小を含めた４パラメータ、アフィ
ン変換の６パラメータなど、パラメータ数を増やせば処
理量は多くなるが、精度は向上する。

【０１４９】物体が最初の位置からあまり動かないこと
が予め分かっている場合は、基準フレームは最初のまま
で変更する必要はない。しかし、物体が最初の位置から
徐々に動いていく場合には、基準フレームは適宜更新
し、例えば、フレーム毎に更新し、常に直前のフレーム
と動き補償を行うようにすれば、物体が時間を経て大き
く動くときにも正しく抽出できる。

【０１５０】次に、複数の物体を区別しながら同時に抽
出する実施形態を説明する。図１９のようにあるフレー
ムで物体Ａと物体Ｂが離れて抽出されたとして、以降の
フレームでもこれらを区別しながら追跡と抽出を行うと
する。この場合、第３実施形態や第４実施形態に従って
物体をそれぞれ抽出し、フレーム間で重なる画素数が多
いもの同士を同じ物体だと判定するのが簡便に実現でき
る方法である。しかし、これらの方法では、図１９
（ａ）の状態だったものが、１９（ｂ）、（ｃ）、
（ｄ）というように変化し、物体が途中で一部重なる
と、図１９（ｂ）や（ｃ）のときに物体領域が融合して
しまい、その結果、図１９（ｄ）のときに、どちらが物
体Ａでどちらが物体Ｂかが分からなくなる。このような
場合に対応するためには、第５実施形態を２つの物体に
対してそれぞれ用い、動き補償を行ったもの同士を同じ
物体だと区別する。

【０１５１】動き補償によって初期シェイプデータが図
１９（ｂ）の様に求まったときに、特願平１１−００１
８９１号や特願平１１-３０１４１５号に記載された自
己相似写像法を用いて輪郭位置の補正を行う例を図２０
と図２１を用いて説明する。ここで、シェイプデータに
おいては、物体Ａの領域とされた画素には画素値１が代
入され、物体Ｂの画素には画素値２が代入され、物体Ａ
でも物体Ｂでもない画素には画素値０が代入されている
とする。このようなシェイプデータの輪郭、すなわち、
０と１の境界、０と２の境界、１と２の境界を画像デー
タにおける物体の輪郭、すなわち、背景と物体Ａの境
界、背景と物体Ｂの境界、物体Ａと物体Ｂの境界にそれ
ぞれ補正するのが目的である。先願ではシェイプデータ
(アルファマップ、アルファデータ、アルファマスクと
同じ)は、２値の画像であったが、ここでは、｛０、
１、２｝の３値の画像であることに注意する。

【０１５２】まず、図２１に示したようにシェイプデー
タの輪郭に沿ってブロックを配置する。そのために、シ
ェイプデータをラスタスキャンし、隣接する画素と画素
値が異なり、かつ、それまでに設定したブロックに含ま
れない画素を中心にして逐次、ブロックを設定する。こ
の方法だと、ブロックが互いに重なり合いながら数珠つ
なぎに配置される。あるいは、特願平１１-００１８９
１号に示したようにブロックが重ならないように配置す
る方法もある。次に、画像データを用いてブロックごと
に、相似ブロックを探索する。

【０１５３】最後に、ブロックのシェイプデータを相似
ブロックのシェイプデータを縮小したもので置き換え
る。例えば、図２０に示したように、ブロックが２×２
画素で、相似ブロックが４×４画素の場合、画素１２に
対する相似ブロック内でのサンプリングポイントは点１
３になる。そこで、点１３の周囲４画素の画素値を調
べ、最も数が多かった画素値(０、１、２のいずれか)を
サンプリング値として、この値で画素１２を置き換え
る。画素１４に対しても点１５の周囲４面素を用いて同
様に置き換える。このようにして全ブロックの画素値の
置き換えを複数回繰り返すことで、シェイプデータの輪
郭は画像データ内の物体の輪郭に近づき、それと一致し
た状態で収束する。

【０１５４】この方法によれば、物体を区別しながら追
跡して、なおかつ輪郭に沿った抽出を行える。なお物体
の数が３つ以上の場合はそれに応じて画素値の種類すな
わちラベルを増やす。ラベルが増えても、サンプリング
値を多数決で決めるのは同じである。

【０１５５】また、ブロックが重なる部分では、一つの
画素に複数のサンプリング点が対応する。その場合に
は、上述したブロック毎の置き換えにおいて最後に置き
換えた値を有効とする。あるいは、複数のサンプリング
点の周囲の画索、例えば３個のサンプリング点の周囲の
合計１２個の画素を用いた多数決で置き換える値を決め
る。

【０１５６】本実施形態で用いた、３つ以上のラベルを
用いる輪郭抽出補正法は、画像のセグメンテーションに
用いることもできる。その際、ブロックの配置は図２２
（ａ）に示したように、画面全体を分割したものとす
る。次に、この画像データを用いて各ブロックに対して
相似ブロックを求めるのは図１４のステップＳ４２等と
同じである。そして、初期シェイプデータとしては、例
えばランダムに各画素にラベルを配置したものを用意す
る。ラベルの数は予め決めておく。あるいは、画面を正
方形のブロックに分割してブロック毎にラベルをつけ
る。このブロック分割は図１４と同じ方法であっても異
なっても良い。あるいは、画像データの画素値を量子化
し、各量子レベルにラベルを割り当てる。

【０１５７】このようにして作成した初期シェイプデー
タに対して、相似ブロックからブロックヘの置き換えを
繰り返すとあるシェイプデータに収束する。セグメンテ
ーション画像は、収束したシェイプデータのラベルごと
に色分けした画像として図２２（ｂ）のように得られ
る。第５の実施形態において基準フレームを設定する際
に、このセグメンテーション画像を表示し、利用者が物
体に属する領域を一つずつ選択することでその基準フレ
ームの物体領域を設定してもよい。

【０１５８】（第６の実施形態）次に、図２３、図２４
および図２５を参照して本発明の物体抽出方法を用いた
面像伝送システムを第６の実施形態として説明する。

【０１５９】図２３において、具体的には、例えば携帯
電話やパソコン、ゲーム機である画像送受信端末Ｘは、
端末付属のカメラ１６、画像切り出し器１８、符号器２
０，復号器３６および表示器３８を備えている。他の画
像送受信端末Ｙ、Ｚも端末Ｘと同様に構成されている。

【０１６０】これら画像送受信端末Ｘ、Ｙ、Ｚに接続さ
れる画像配信センターＡは、端末Ｘ、Ｙ、Ｚにそれぞれ
接続される復号器２４，２５，２６、これら復号器に接
続される合成器３０、背景メモリ３１および符号器３４
を備えている。

【０１６１】このような構成において、端末付属のカメ
ラ１６によって端末Ｘの利用者の画像が撮影され、その
画像データ１７が切り出し器１８に送られる。切り出し
器１８では利用者の顔画像が第３、４、５の実施形態な
どの手法で切り出され、顔画像データ１９が符号器２０
に送られる。顔画像データとは、画像データ１７と同じ
ものと、その顔領域を表すシェイプデータ(アルファマ
ップ、アルファデータ、アルファマスク)をあわせたも
のである。符号器２０では、例えば、動画像符号化の国
際標準であるＭＰＥＧ−４方式によって顔画像データが
オブジェクト符号化され、圧縮データ２１が通信回線を
介して画像配信センターＡに送られる。

【０１６２】端末Ｘとは離れたところにある端末Ｙ、Ｚ
からも同様にそれぞれの利用者の顔画像が圧縮され、圧
縮データ２２、２３としてそれぞれ、センターＡに送ら
れる。センターＡでは受信した圧縮データ２１、２２、
２３がそれぞれ、復号器２４、２５、２６で顔画像デー
タ２７、２８、２９に再生され、画像合成器３０に送ら
れる。

【０１６３】合成器３０には背景メモリ３１から背景画
像３２も入力される。合成器３０では図２４に示したよ
うに背景画像３２に顔画像データ２７、２８、２９が合
成され、この合成画像３３が符号器３４に送られる。符
号器３４では、合成画像３３がＭＰＥＧ−４方式などで
通常の矩形画像として圧縮され、圧縮データ３５が端末
Ｘ、Ｙ、Ｚのそれぞれに送られる。

【０１６４】端末Ｘでは受信した圧縮データ３５は復号
器３６に送られる。復号器３６では合成画像が再生さ
れ、その合成画像３７は端末付属の表示部３８に送ら
れ、図２４と同じ画像が表示される。端末ＹとＺにも圧
縮データ３５がおくられ、同様の合成画像が端末ＹとＺ
に表示される。

【０１６５】音声も別途伝送すれば、本システムによ
り、互いの顔を見ながら、サイバー空間を共有しながら
の楽しいリアルタイムチャットシステムを実現できる。

【０１６６】本システムの端末と画像配送センターでの
手順は図２５に示されている。同図２５では、左側フロ
ーが端末での手順を示し、右側のフローは画像配送セン
ターでの手順を示している。

【０１６７】この手順では、先ず、画像を撮像する（Ｓ
７１）。次に、顔画像を切り出す（Ｓ７２）。その後、
顔画像データを圧縮し、その圧縮データをセンターに送
信する（Ｓ７３）。

【０１６８】センターは、端末から圧縮データを受信
し、顔画像データに再生する（Ｓ７４）。再生した顔画
像データを合成して合成画像を作る（Ｓ７５）。合成画
像を圧縮し、その圧縮データを端末に送信する（Ｓ７
６）。

【０１６９】端末は、センターから圧縮データを受信
し、合成画像に再生する（Ｓ７７）。この再生合成画像
を端末のディスプレイに表示する（Ｓ７８）。この後、
フローはステップＳ７１に戻る。

【０１７０】なお、画像配送センターでのＳ７４では、
複数の圧縮データを受信することで、複数の顔画像を合
成する。

【０１７１】（第７の実施形態）同様の機能を面像配信
センターを介さずに実現する第７の実施形態に従った別
の画像伝送システムを図２６を参照して説明する。この
システムでは、端末Ｘにおいて、顔画像データ１９を生
成し、符号器２０を介して圧縮データ２１を生成する点
は、先のシステムと同じであるので説明は省略する。

【０１７２】圧縮データ２１は、端末ＹとＺにそれぞれ
通信回線を介して送られる。端末ＹとＺからも同様に、
圧縮データ２２、２３が送出され、端末Ｘに送られる。
また、端末ＹとＺの間でも相互に圧縮データの送信を行
う。端末Ｘで受信した圧縮データ２２、２３はそれぞ
れ、復号器３９、４０で復号され、顔画像データ４１、
４２が合成器４３に送られる。合成器４３には、端末Ｘ
の利用者の顔画像データ１９も入力され、これらが、背
景メモリ４４から送らてくる背景面像４５と合成され
る。合成画像４６は表示部４７に送られて表示される。
端末ＹとＺも上記と同様にデータの送受が行われ、合成
画像がそれぞれの表示部に表示される。

【０１７３】このシステムでは、各端末での処理が多く
なり、複数の相手と同時に通信する必要があるが、画像
配信センターが不要で、背景画像や顔画像の配置を各端
末で利用者が好きなように決められる利点がある。

【０１７４】図２６のシステムの端末での手順が図２７
に示されている。これによると、最初に、画像を撮像す
る（Ｓ８１）。次に、物体を抽出する。即ち、顔画像を
切り出す（Ｓ８２）。切り出した画像、例えば自分の顔
画像データを圧縮し、その圧縮データを別の端末に送信
する（Ｓ８３）。このとき同時に、別の端末から圧縮デ
ータを受信して相手の顔画像データに再生する。自分の
顔画像データと相手の顔画像データを合成して合成画像
を作る（Ｓ８４）。この合成画像を表示する（Ｓ８５）
と、フローはステップＳ８１に戻る。

【０１７５】図２７の右側には別の端末での手順が示さ
れているが、この手順は左側の手順と同じである。

【０１７６】また、合成画像を生成する際に、顔画像が
正しく得られたかどうか、つまり顔が正しく抽出されて
きたかどうかを自動的に判定し、顔画像が得られた場合
には背景に合成し抽出に失敗して顔画像が得られていな
い場合には合成しないようにすれば、顔以外の不要なも
のが誤って合成されることがなくなる。この判定は、例
えば、物体領域の肌色の画素数を数え、その肌色の画素
数の物体領域全体に対する割合が一定値以上なら顔画像
であり、それ以下なら顔画像ではないと判定する。ここ
で、肌色の判定は例えば、各画素の色がＹ、Ｕ、Ｖの３
色で、おのおの０〜２５５の値で表された画像の場合、
Ｕ＝１１０、Ｖ＝１６０を肌色の基準とし、画像データ
のＵと１１０の差の絶対値が所定値よりも小さく、か
つ、Ｖと１６０の差の絶対値が所定値よりも小さい画素
を肌色と判定する。

【０１７７】顔画像か否かの判定は合成器３０や４３で
行うのが一つの方法であるが、符号器において判定を行
い、顔画像でない場合には符号化しないようにすれば通
信量を削減できる。

【０１７８】表示部３８や４７は端末とは別の例えばテ
レビを用いても良い。その際、テレビヘの画像の送信は
ブルートゥースなどの無線を用いると配線の煩わしさが
なくてよい。また、背景画像３２、４５は背景メモリ３
１、４４から読み出すのではなく、テレビなどの放送映
像を受信して用いてもよい。そうすると、離れた場所に
いる人同士が互いの様子を見ながら一緒に同じテレビ番
組を楽しめる。

【０１７９】配送センターＡでは、合成する画像とし
て、予めタレントなどの顔画像を用意しておき、端末利
用者からの求めに応じてそのタレントの顔を利用者の顔
と並べて合成して送信するなどのサービスも可能であ
る。背景画像についても同じく、キャラクタの背景を用
意しておき、利用者の希望に応じて背景を選択する。

【０１８０】なお、本発明は上述した実施形態に限定さ
れるものではなく、種々変形して実施可能である。ま
た、実施形態に記載した手法は、コンピュータに読み取
り実行させることのできるプログラムとして、磁気ディ
スク（フロッピー（登録商標）ディスク、ハードディス
クなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、
半導体メモリなどの記録媒体に格納して頒布することも
できる。

【０１８１】

【発明の効果】以上述べたように、本発明によれば、暫
定的に与えたシェイプデータ（アルファマップ）の輪郭
を輪郭抽出対象物体の輪郭に近付ける処理を、演算量を
大幅に軽減して実行できる。従って、その分、高速な輪
郭抽出が可能となる画像の輪郭抽出方法を提供できる。

【０１８２】また、本発明によれば、抽出対象の物体が
画面内のどこにあっても自動的に初期シェイプデータが
得られ、利用者の操作が不要か、非常に少ない操作で物
体を抽出できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に従った画像輪郭抽出
方法を説明するためのフローチャート。

【図２】図１におけるステップＳ１３とステップＳ１７
の処理である輪郭位置補正処理の詳しい処理内容を示す
フローチャート。

【図３】本発明の第２の実施形態における相似ブロック
の探索範囲の例を説明するための図。

【図４】本発明の第２の実施形態における縮小画面のサ
ンプリング位置を説明するための図。

【図５】自己相似写像を用いた手法による輪郭位置補正
処理で使用するシェイプデータ（アルファマップ）上の
探索基準ブロックの配置例。

【図６】自己相似写像を用いた手法による輪郭位置補正
処理で使用する探索基準ブロックと相似ブロックの例。

【図７】自己相似写像を用いた手法による輪郭位置補正
処理での従来の相似ブロックの探索範囲の例。

【図８】自己相似写像を用いた手法による輪郭位置補正
処理でのシェイプデータ（アルファマップ）の補正結果
を示す図。

【図９】自己相似写像を用いた手法による従来の輪郭位
置補正処理内容を示すフローチャート。

【図１０】本発明の第３の実施形態に従った画像輪郭抽
出方法を説明するためのフローチャート。

【図１１】第３の実施形態により生成される複数の初期
シェイプデータ候補を示す図。

【図１２】他の初期シェイプデータ候補を示す図。

【図１３】（ａ）分離度を求める領域、（ｂ）初期シェ
イプデータ、（ｃ）分離度を求める領域を示す図。

【図１４】輪郭位置補正処理を説明するフローチャー
ト。

【図１５】本発明の第４の実施形態に従った画像輪郭抽
出方法を説明するためのフローチャート。

【図１６】第４の実施形態の画像輪郭抽出方法を説明す
るための図。

【図１７】本発明の第５の実施形態に従った画像輪郭抽
出方法を説明するためのフローチャート。

【図１８】第５の実施形態の画像輪郭抽出方法を説明す
るための画面図。

【図１９】物体が交差する様子を説明するための図。

【図２０】画素値のサンプリングを説明するための図。

【図２１】複数の物体を識別するブロックの配置を説明
する図。

【図２２】ブロック分割した画面およびセグメンテーシ
ョン画像を示す図

【図２３】第６の実施形態に従った画像伝送システムの
ブロック図。

【図２４】第６の実施形態で形成される合成画像を示す
図。

【図２５】第６の実施形態の伝送システムでの手順を示
すフローチャート。

【図２６】第７の実施形態の画像伝送システムのブロッ
ク図。

【図２７】第７の実施形態の伝送システムでの手順を示
すフローチャート。

【符号の説明】

１…輪郭抽出対象物体（正しい物体領域） １ａ…輪郭抽出対象物体の輪郭（正しい物体領域１の輪
郭） ２…シェイプデータの輪郭（抽出対象物体の概略形状） １６…端末付属のカメラ １８…画像切り出し器 ２０、３４…符号器 ２４，２５，２６、３６…復号器 ３０…合成器 ３１…背景メモリ ３８…表示器 Ｂ１，〜Ｂｎ…探索基準ブロック Ｂｓ１〜Ｂｓｎ…探索基準ブロックＢ１〜Ｂｎの相似ブ
ロック Ｆｓ１…探索基準ブロックＢ１の周囲に適宜な大きさの
探索領域 Ｂｃ…相似候補ブロック Ｂｃｄ…探索基準ブロックＢ１との誤差評価を行った結
果、誤差最小で相似ブロックとして決定されることとな
った相似候補ブロック Ｘ、Ｙ、Ｚ…画像送受信端末

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 Ｚ (72)発明者 堀 修 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B057 CC03 CD05 CE08 CE12 CG01 DA08 DA16 DB02 DC17 DC32 DC36 5C059 KK00 MB00 MB03 MB04 MB11 MB12 MB21 TA00 TB18 TC00 TC02 TC47 TD00 TD05 TD17 5C076 AA01 AA13 AA19 AA22 AA36 BA05 CA10 5L096 CA02 CA24 DA04 EA03 EA43 FA06 FA62 FA78 GA08 GA19 HA04 JA03

Claims (10)

【特許請求の範囲】
1. 【請求項１】輪郭抽出対象物体が撮像された画像データ
   と、この画像データ内の輪郭抽出対象物体の領域を表わ
   す暫定的な輪郭形状の二値化画像であるシェイプデータ
   を入力とし、前記シェイプデータの輪郭部分に、それぞ
   れ中心位置を置いて所定サイズの探索基準ブロックを、
   互いの位置をずらして複数設定する第１のステップと、
   各探索基準ブロック毎に、そのブロック内での前記画像
   データの図柄が相似で、かつ、前記探索基準ブロックよ
   りも大きいブロックサイズの相似ブロックを同じ画像の
   中から探索する第２のステップと、シェイプデータのう
   ち、前記各探索基準ブロック内におけるシェイプデータ
   を、各々の前記相似ブロックより得た縮小処理によるサ
   イズ調整済みの補正用シェイプデータと置き換えること
   によりシェイプデータの補正処理をする第３のステップ
   とから成り、前記第３のステップを所定の回数繰り返す
   ことにより、シェイプデータの輪郭線を前記物体の輪郭
   線に一致させる輪郭抽出処理方法において、 前記輪郭抽出処理を所定の回数反復して行い、 その反復の初めには前記画像データとシェイプデータを
   縮小して輪郭抽出処理を行うことを特徴とする画像の輪
   郭抽出方法。
2. 【請求項２】前記輸郭抽出処理は、輸郭抽出処理の反復
   回数が進むにつれて前記探索基準ブロックのサイズは小
   さくすることを特徴とする請求項１記載の画像の輪郭抽
   出方法。
3. 【請求項３】輪郭抽出対象物体が撮像された画像データ
   と、この画像データ内の輪郭抽出対象物体の領域を表わ
   す暫定的な輪郭形状の二値化画像であるシェイプデータ
   を入力とし、前記シェイプデータの輪郭部分に、それぞ
   れ中心位置を置いて所定サイズの探索基準ブロックを、
   互いの位置をずらして複数設定する第１のステップと、
   各探索基準ブロック毎に、そのブロック内での前記画像
   データの図柄が相似で、かつ、前記探索基準ブロックよ
   りも大きいブロックサイズの相似ブロックを同じ画像の
   中から探索する第２のステップと、シェイプデータのう
   ち、前記各探索基準ブロック内におけるシェイプデータ
   を、各々の前記相似ブロックより得た縮小処理によるサ
   イズ調整済みの補正用シェイプデータと置き換えること
   によりシェイプデータの補正処理をする第３のステップ
   とから成り、前記第３のステップを所定の回数繰り返す
   ことにより、シェイプデータの輪郭線を前記物体の輪郭
   線に一致させる輪郭抽出処理方法において、 前記第２のステップでの処理は、相似ブロックの探索範
   囲を探索基準ブロック内のシェイプデータの輪郭の方向
   と垂直な方向に制限することを特徴とする画像の輪郭抽
   出方法。
4. 【請求項４】抽出対象物体が撮像された画像データの各
   部分を同じ画像データの別の部分または別の画像データ
   と比較することにより、この画像データ内の抽出対象物
   体の暫定的な領域を表わす画像であるシェイプデータを
   生成する第１のステップと、前記画像データと暫定的に
   生成した前記シェイプデータとを用いて、前記シェイプ
   データの輪郭を前記抽出対象物体の輪郭に一致させる第
   ２のステップとから成ることを特徴とする画像からの物
   体抽出方法。
5. 【請求項５】前記第１のステップは、予め複数の候補領
   域を決めておき、これら候補領域を選択的に画像データ
   内に設定した場合に、前記候補領域の内側と外側の画素
   値の統計的な性質が最も隔たるような候補領域を前記抽
   出対象物体の暫定的な領域として設定することを含むこ
   とを特徴とする請求項４記載の画像からの物体抽出方
   法。
6. 【請求項６】前記第１のステップは、現入力画像データ
   と、予め取得しておく前記抽出対象物体が写っていない
   背景画像データとを比較し、現入力画像データと背景画
   像データの値が異なる領域を前記抽出対象物体の暫定的
   な領域として設定することを含むことを特徴とする請求
   項４記載の画像からの物体抽出方法。
7. 【請求項７】前記第１のステップは、既に抽出対象物体
   の領域が求められたフレームの画像データとシェイプデ
   ータをそれぞれ基準面像データ、基準シェイプデータと
   して保持し、現入力画像データに対して、前記基準画像
   データを参照して動き検出を行い、その動き検出結果に
   基づいて前記基準シェイプデータに動き補償を行うこと
   で前記暫定的なシェイプデータを生成することを含むこ
   とを特徴とする請求項１記載の画像からの物体抽出方
   法。
8. 【請求項８】抽出対象物体が撮像された画像データと、 前記画像データ内の抽出対象物体の暫定的な領域を表す
   画像であるシェイプデータを入力とし、前記シェイプデ
   ータの輪郭部分に、それぞれ中心部分をおいて所定サイ
   ズの探索基準ブロックを、互いの位置をずらして複数設
   定する第１のステップと、 各探索基準ブロック毎に、そのブロック内での前記画像
   データの図柄が相似で、かつ、前記探索基準ブロックよ
   りも大きいブロックサイズの相似ブロックを同じ画像の
   中から探索する第２のステップと、 前記シェイプデータのうち、前記各探索基準ブロック内
   におけるシェイプデータを、前記相似ブロックより得た
   縮小処理によるサイズ補正済みの補正用シェイプデータ
   と置き換えることによりシェイプデータの補正処理をす
   る第３のステップとから成る物体抽出方法において、 前記シェイプデータは、互いに異なる物体の領域と背景
   領域ではそれぞれ互いに異なる画素値を有し、 前記第３のステップにおける縮小処理では、前記シェイ
   プデータのサンプリング点の周囲のいずれかの画素の画
   素値をサンプリング値とすることを特徴とする画像から
   の物体抽出方法。
9. 【請求項９】送受信データを相互に送受するサーバーと
   クライアントからなる伝送システムにおいて、 前記クライアントは、 抽出対象物体が撮像された画像データから物体を抽出し
   て抽出画像データを得る物体抽出手段と、 前記抽出画像データをそのままか、あるいは圧縮し、上
   り送受信データとして前記サーバーに送るクライアント
   送信手段と、 前記サーバーから送られてくる下り送受信データを受信
   して、その送受信データが圧縮されていない場合にはそ
   のまま画像データとし、圧縮されている場合には画像デ
   ータを再生するクライアント受信手段と、 前記画像データを表示する手段とで構成され、 前記サーバーは、 前記上り送受信データを受信して、その送受信データが
   圧縮されていない場合にはそのまま抽出画像データと
   し、圧縮されている場合には抽出面像データを再生する
   サーバー受信手段と、 前記抽出画像データを一つの合成画像データに合成する
   合成手段と、 前記合成画像データをそのままか、あるいは圧縮し、前
   記下り送受信データとして送信するサーバー送信手段と
   で構成される、ことを特徴とする伝送システム。
10. 【請求項１０】送受信データを相互に送受する複数の通
    信端末からなる伝送システムにおいて、 前記通信端末は、 抽出対象物体が撮像された画像データから物体を抽出し
    て抽出画像データを得る物体抽出手段と、 前記抽出画像データをそのままか、あるいは圧縮し、通
    信端末間送受信データとして別の通信端末に送る送信手
    段と、 別の通信端末から送られてくる前記通信端末間送受信デ
    ータを受信して、その送受信データが圧縮されていない
    場合にはそのまま抽出画像データとし、圧縮されている
    場合には抽出画像データを再生する受信手段と、 前記抽出画像データを一つの合成画像データに合成する
    合成手段と、 前記合成画像データを表示する手段とにより構成され
    る、ことを特徴とする伝送システム。