JP2000137817A

JP2000137817A - 画像処理方法及び装置

Info

Publication number: JP2000137817A
Application number: JP10312275A
Authority: JP
Inventors: Atsunobu Hiraiwa; 篤信平岩; Keisuke Fuse; 圭介布施
Original assignee: Sony Corp; Telecommunications Advancement Organization
Current assignee: Sony Corp; Telecommunications Advancement Organization
Priority date: 1998-11-02
Filing date: 1998-11-02
Publication date: 2000-05-16
Anticipated expiration: 2018-11-02
Also published as: JP4235854B2

Abstract

(57)【要約】【課題】オブジェクトのみならず背景にも動きを有す
る動画像や非線形な動きを有するオブジェクトを含む動
画像中から動画オブジェクトを自動的に抽出する。【解決手段】画像全体が複数の領域に分割されてなる
第１の画像に含まれるオブジェクトを指定し、指定され
たオブジェクトを構成する各領域の形状を変化させ、形
状が変化された複数の領域と、第１の画像と時間的に隣
接する第２の画像を構成する複数の領域とを用いてマッ
チングを行い、マッチングにより得た第２の画像に含ま
れオブジェクトを示す複数の領域と、この複数の領域の
周囲に配置された領域とを併合して第２の画像に含まれ
るオブジェクトを指定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像に含まれる
例えば動物、構造物、乗り物等のオブジェクトを検出
し、動画像を構成する複数の画像について前記オブジェ
クトを自動的に連続抽出する画像処理方法及び装置に関
する。

【０００２】

【従来の技術】現在のＷＷＷ（would wide web）browsi
ng systemは、ＨＴＭＬ（hypertext markup language）
により関連付けを記述し、約１００〜４００ＭＩＰＳの
クライアントと６４kbpsの帯域ネットワークで実行され
ている。このbrowsing systemのアーキテクチャはテキ
ストベースである。これに対して、動画中のオブジェク
トについて、関連づけを行うのが動画ベースのbrowsing
systemである。

【０００３】従来のbrowsing systemにおいて、例えば
動物、構造物、乗り物等のオブジェクトを動画像におい
て抽出するオブジェクト抽出処理は、主としてオブジェ
クトの背景に動きを有しない動画像について行われるこ
とが多かった。このとき、上記オブジェクト抽出処理で
は、オブジェクトの動きのみを抽出する処理を行ってい
た。

【０００４】

【発明が解決しようとする課題】しかし、上記オブジェ
クト抽出処理において、動画ベースは、テキストベース
と異なり、動画中のオブジェクトを表現することが困難
であり、特に、オブジェクトとともに、当該オブジェク
トの背景も動きを有している場合には更に動画中のオブ
ジェクトを表現することが困難となる。

【０００５】更に、現在の動画では、例えば単純な拡
大、縮小、平行移動等の線形の動きを抽出するよりも、
非線形な動きをするものや上述のように背景にも動きを
有するものが多く、従来のbrowsing systemでは、動画
（ビデオストリーム）からオブジェクトを抽出すること
ができないために動画中のオブジェクトへの関連づけが
実現していない。

【０００６】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、例えばオブジェクトのみ
ならず背景にも動きを有する動画像や非線形な動きを有
するオブジェクトを含む動画像中から動画オブジェクト
を自動的に抽出することができる画像処理方法及び装置
を提供することを目的とする。

【０００７】

【課題を解決するための手段】上述の課題を解決する本
発明に係る画像処理方法及び装置は、画像全体が複数の
領域に分割されてなる第１の画像に含まれるオブジェク
トを指定し、指定されたオブジェクトを構成する各領域
の形状を変化させ、形状が変化された複数の領域と、第
１の画像と時間的に隣接する第２の画像を構成する複数
の領域とを用いてマッチングを行い、マッチングにより
得た第２の画像に含まれオブジェクトを示す複数の領域
と、この複数の領域の周囲に配置された領域とを併合し
て第２の画像に含まれるオブジェクトを指定することを
特徴とする。

【０００８】このような画像処理方法及び装置によれ
ば、オブジェクトを構成する各領域を変形させてマッチ
ング処理を行って、マッチングがとれた複数の領域と当
該領域の周囲に配置された領域とを併合することで第２
の画像についてのオブジェクトを指定する。

【０００９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１０】本発明は、例えば図１に示すように構成さ
れた画像処理装置１に適用される。この画像処理装置１
は、以下に説明するskip-labeling法により画像を複数
の領域に分割することを示す領域分割プログラムを格納
した記録媒体２と、この記録媒体２に格納された領域分
割プログラムに従って処理を行うＣＰＵ３を備える。す
なわち、ＣＰＵ３は、例えば外部からインターフェイス
（Ｉ／Ｆ）回路４を介して画像データが入力されたこと
に応じて、一旦画像データを画像メモリ５に格納し、記
録媒体２に格納された領域分割プログラムを読み込んで
実行する処理を行うことで、入力された画像データが示
す画像を複数の領域（セグメント）に分割する処理を行
う。そして、この画像処理装置１においては、生成した
画像を表示モニタ６に表示することで例えばユーザに処
理結果を提示する。このとき、ＣＰＵ３は、入力された
画像から任意に選択した基準領域と、当該基準領域を中
心として設定された検索範囲内に含まれる参照領域とを
比較し、比較結果に応じて基準領域と参照領域とを併合
することでセグメントを生成して入力された画像を複数
のセグメントに分割する。

【００１１】このＣＰＵ３では、画像を複数のセグメン
トに分割する処理を行うとき、記録媒体２に格納された
領域分割プログラムを起動するとともに、処理の対象と
なる画像データを画像メモリ５から読み込むことで図２
のフローチャートに示す処理を行う。

【００１２】先ず、ステップＳＴ１において、ＣＰＵ３
は、上記検索範囲Ｓを構成する画素数を設定するととも
に、上記基準領域と上記参照領域との画素パターンの関
係を示すピクセル閾値Ｔを零に近い値とする初期設定を
行う。また、ＣＰＵ３は、セグメントとするときの最小
限の面積を示す最小面積値ＭＳＡを設定する。なお、こ
の初期設定は、例えばユーザからの指示に基づいて行っ
ても良く、さらには領域分割プログラムに従って行って
も良い。

【００１３】次のステップＳＴ２において、ＣＰＵ３
は、上述のステップＳＴ１で設定したピクセル閾値Ｔ、
検索範囲Ｓ及び最小面積値ＭＳＡを用いて、入力された
画像を構成する複数のセグメントを生成する処理を行
う。なお、このステップＳＴ２の処理の詳細については
後述する。

【００１４】次のステップＳＴ３において、ＣＰＵ３
は、ステップＳＴ２で示す処理を行うことにより、画面
全体についてセグメントを生成して、複数のセグメント
からなる画像を生成したか否かを判断する。そして、Ｃ
ＰＵ３は、画面全体についてセグメントを生成したと判
断したときには処理を終了し、画面全体についてセグメ
ントを生成していないと判断したときにはステップＳＴ
４に進む。

【００１５】次のステップＳＴ４において、ＣＰＵ３
は、ピクセル閾値Ｔ及び検索範囲Ｓを変更する処理を行
い、変更後のピクセル閾値Ｔ及び検索範囲Ｓで示す処理
を行って上述のステップＳＴ２に戻る処理を行う。すな
わち、ＣＰＵ３は、設定したピクセル閾値Ｔ及び検索範
囲Ｓで画面全体について処理を行うことで、当該ピクセ
ル閾値Ｔ及び検索範囲Ｓに適合する画像の一部にセグメ
ントを生成し、ステップＳＴ４で新たに設定したピクセ
ル閾値Ｔ及び検索範囲Ｓで更にセグメントを生成するこ
とで、結果的に画面全体がセグメントで分割されてなる
画像を生成する。更に、このステップＳＴ４において、
ＣＰＵ３は、上述のピクセル閾値Ｔ及び検索範囲Ｓを変
更するとともに、上記最小面積値ＭＳＡを変更する処理
を行っても良い。

【００１６】つぎに、上述のステップＳＴ２において示
した処理について図３に示すフローチャートを参照して
説明する。

【００１７】先ず、ステップＳＴ１１において、ＣＰＵ
３は、上記検索範囲Ｓを３×３画素とし、上記基準領域
と上記参照領域との画素パターンの関係を示すピクセル
閾値Ｔを零に近い正の値とする初期設定を行う。また、
ＣＰＵ３は、セグメントとするときの最低限の面積を示
す最小面積ＭＳＡを設定する。なお、この初期設定は、
例えばユーザからの指示に基づいて行っても良く、領域
分割プログラムに従って行っても良い。

【００１８】次のステップＳＴ１２において、ＣＰＵ３
は、画像内に含まれる複数の画素からなる領域を上記基
準領域Ｐとして指定する処理を行う。ここで、ＣＰＵ３
は、画像を構成するｉ＝１，２，・・・，ｎからなり基
準領域Ｐからｉ＝１番目の基準領域を指定する。また、
ＣＰＵ３は、セグメントの初期値をＡ＝Ｐとする。すな
わち、ＣＰＵ３は、セグメントＡの面積を基準領域Ｐと
同じ面積とする処理を行う。また、ＣＰＵ３は、基準領
域Ｐを中心とし、当該基準領域Ｐよりも画素数が大きい
検索範囲Ｓを設定するとともに、上記参照領域として、
ステップＳ１３において当該基準領域Ｐを中心とした検
索範囲Ｓに含まれる微小領域Ｑを指定する処理を行う。
また、微小領域Ｑは、ｊ＝１，２，・・・，ｍからなり
ｍ個で基準領域Ｐを構成している。

【００１９】次のステップＳＴ１４において、ＣＰＵ３
は、下記式１に示すように、上述のステップＳＴ１２に
おいて指定した基準領域Ｐの画素値と上述のステップＳ
Ｔ１３において指定した微小領域Ｑの画素値との差分の
絶対値と、上述のステップＳＴ１１で設定したピクセル
閾値Ｔとを比較する処理を行う。｜Ｐ−Ｑ｜＜Ｔ（式１）ここで、上記式１は、微小領域Ｑと基準領域Ｐとの関係
が、ピクセル閾値Ｔで略同一の画素パターンであると許
容する範囲内であることを示す。そして、ＣＰＵ３は、
上記差分の絶対値がピクセル閾値Ｔよりも小さいと判断
したときにはステップＳＴ１５に進み、上記差分の絶対
値がピクセル閾値Ｔよりも小さくないと判断したときに
はステップＳＴ１６に進む。

【００２０】ステップＳＴ１５において、ＣＰＵ３は、
微小領域Ｑを、セグメントＡ（基準領域Ｐ）に併合する
処理を行う。このようにＣＰＵ３は、上述のステップＳ
Ｔ１４において基準領域Ｐ（セグメントＡ）の画素値と
微小領域Ｑの画素値との差分の絶対値が、ピクセル閾値
Ｔ以下の値となるとき、すなわち基準領域Ｐ（セグメン
トＡ）と微小領域Ｑとの関係がピクセル閾値Ｔ以下であ
るときには基準領域Ｐ（セグメントＡ）と微小領域Ｑと
が略同一の画素パターンであると判断して、基準領域Ｐ
（セグメントＡ）と微小領域Ｑとを併合してセグメント
Ａの面積を増加させる処理を行う。

【００２１】次のステップＳＴ１６において、上述のス
テップＳＴ１３で指定した微小領域Ｑについてインクリ
メントすることで、次の微小領域を指定してステップＳ
Ｔ１７に進む。

【００２２】次のステップＳＴ１７において、上述のス
テップＳＴ１７において指定された微小領域Ｑを用い
て、上述のステップＳＴ１４〜ステップＳＴ１６までの
処理を検索範囲Ｓ（ｊ＝ｍ）の全体に亘って行ったか否
かを判断する。そして、ＣＰＵ３は、検索範囲Ｓの全体
に亘ってステップＳＴ１４〜ステップＳＴ１６までの処
理を行ったと判断したときにはステップＳＴ１８に進
み、検索範囲Ｓの全体に亘ってステップＳＴ１４〜ステ
ップＳＴ１６までの処理を行っていないと判断したとき
には、ステップＳＴ１４に戻り、検索範囲Ｓの全体に亘
って処理を行うまでステップＳＴ１４〜ステップＳＴ１
６までの処理を繰り返す。

【００２３】ステップＳＴ１８において、ＣＰＵ３は、
上述したステップＳＴ１４〜ステップＳＴ１７を繰り返
すことで生成したセグメントＡの面積と上述のステップ
ＳＴ１１で設定した最小面積値ＭＳＡとの大きさを比較
する。そして、ＣＰＵ３は、セグメントＡの面積が最小
面積値ＭＳＡよりも小さいときには、ステップＳＴ１９
に進み、セグメントＡの面積が最小面積値ＭＳＡよりも
小さくないときには、ステップＳＴ２０に進む。

【００２４】ステップＳＴ１９において、ＣＰＵ３は、
上述のステップＳＴ１６で上述のステップＳＴ１４〜ス
テップＳＴ１７までの処理を行うことによりで生成され
たセグメントＡを、画像を構成するセグメントとして認
識しない処理を行ってステップＳＴ２１に進む。

【００２５】ステップＳＴ２０において、ＣＰＵ３は、
上述のステップＳＴ１８で上述のステップＳＴ１４〜ス
テップＳＴ１７までの処理を行うことにより生成された
セグメントＡを、画像を構成するセグメントとして認識
する処理を行ってステップＳＴ２１に進む。

【００２６】次のステップＳＴ２１において、ＣＰＵ３
は、上述した処理の対象となっていた基準領域から次の
基準領域に進める処理を行う。

【００２７】次のステップＳＴ２２において、ＣＰＵ３
は、上述のステップＳＴ２１で処理の対象を進めたこと
に応じて、上述のステップＳＴ１１で設定したピクセル
閾値Ｔ及び検索範囲Ｓを用いて画面全体についてセグメ
ントＡを生成する処理を行ったか否かを判断する。そし
て、ＣＰＵ３は、画面全体についてセグメントＡを生成
する処理を行ったと判断しときには処理を終了し、画面
全体についてセグメントＡを生成する処理を行っていな
いと判断したときにはステップＳＴ１３に戻ってステッ
プＳＴ１３〜ステップＳＴ２１に示す処理を繰り返し行
うことで入力された画像を複数のセグメントに分割す
る。

【００２８】このような画像処理装置１は、Ｉ／Ｆ回路
４を介して画像メモリ５に記憶された画像について記録
媒体２に格納された領域分割プログラムを起動すること
で、図４に示すように、画像空間Iにおいてはステップ
ＳＴ１で設定したピクセル閾値Ｔ及び検索範囲Ｓを小さ
くしてステップＳＴ２、すなわち図３に示す処理を行う
ことでセグメントＡ₁を生成し、弱いエッジ部分におい
てセグメントＡ₁の生成を終了する。また、画像空間II
においては、画像空間IについてセグメントＡ₁を生成し
たときよりも大きいピクセル閾値Ｔ及び検索範囲Ｓをス
テップＳＴ４で指定してステップＳＴ２、すなわち図３
に示す処理を行うことでセグメントＡ₂を生成する。

【００２９】したがって、画像処理装置１によれば、ス
テップＳＴ１においてピクセル閾値Ｔ及び検索範囲Ｓを
変化させて設定することで、図４中の画像空間Iのよう
な画素値が均一な部分を示すセグメントＡ₁を生成する
とともに、画像空間IIのように画素値が周期的に変化す
る部分（テクスチャ）を示すセグメントＡ₂を生成する
ことができる。

【００３０】したがって、この画像処理装置１によれ
ば、例えば図５に示すような原画像について、先ずステ
ップＳＴ１においてピクセル閾値Ｔ及び検索範囲Ｓを小
さい値に設定して図３に示す処理を行うことで、図６中
の白部分で示す画素値が均一な画像領域と、図６中の黒
部分で示す画素値が均一でない領域とに分割する。続い
て画像処理装置１は、上述のステップＳＴ４で説明した
ように、ピクセル閾値Ｔ及び検索範囲Ｓを大きくするよ
うに変更して図３に示す処理を行うことで、図７中の白
部分で示すように画素値が均一な画像領域及び画素値が
滑らかに変化する画像領域と、それ以外の画像領域に分
割する。続いて画像処理装置１は、ピクセル閾値Ｔ及び
検索領域ＳをステップＳＴ４で大きくするように設定し
て図３に示す処理を行うことで、図８中の白部分に示す
画素値が均一な画像領域、画素値が滑らかに変化する画
像領域及びテクスチャ状となっている画像領域と、それ
以外の画像領域とに分割し、更にピクセル閾値Ｔ及び検
索領域Ｓを大きくすることで図９中の白部分にエッジ部
分を示す画像領域を示すセグメントを加えることができ
る。

【００３１】このように画像処理装置１は、ステップＳ
Ｔ４において段階的にピクセル閾値Ｔ及び検索領域Ｓを
変化させて設定して図３に示す処理を行うことで、図６
〜図９に示すように画素値が均一な画像領域、画素値が
滑らかに変化する画像領域、テクスチャ状となっている
画像領域、エッジ部分を示す画像領域を順次に抽出する
ことができる。したがって、この画像処理装置１によれ
ば、図５に示すような画像を複数の領域に分割されてな
る図１０に示すような画像を作成することができる。

【００３２】したがって、このような画像処理装置１に
よれば、ステップＳＴ４でピクセル閾値及び検索範囲Ｓ
を段階的に変化させて設定して図３に示す処理を行うこ
とにより、図５に示す画像から図６に示すように先ず画
素値が均一な「空」を示す画像部分をセグメントとし、
次に図７に示すように画素値が滑らかに変化する「雲や
山」を示す画像部分をセグメントとし、更に図８に示す
ようにテクスチャ状の画素値がランダムな「波や森」を
示す画像部分をセグメントとし、更にまた図９に示すよ
うに画素値がエッジとなっている画像部分をセグメント
とすることができる。すなわち、画像処理装置１によれ
ば、原画像の絵柄に応じてピクセル閾値Ｔ及び検索領域
Ｓを設定することにより、絵柄に対応した効果的な領域
分割処理を行うことができる。

【００３３】また、この画像処理装置１によれば、絵柄
に応じて検索範囲Ｓを変化させてセグメントを生成する
処理を行うので、画素値の変化が単調な画像部分につい
ては単一のセグメントとするとともに画素値の変化が複
雑な画像部分については微小なセグメントとすることが
でき、k-mean法のようにクラスタの初期値により結果画
像が左右されクラスタ数が多くなると処理時間が膨大と
なるようなことがなく、比較的に短時間で領域分割処理
を行うことができる。

【００３４】更に、画像処理装置１によれば、絵柄に応
じてピクセル閾値Ｔを変化させてセグメントを生成する
処理を行うので、labeling法のようにテクスチャ領域が
多数の微小セグメントとなるようなことがなく、テクス
チャ領域のように周期的に画素値が変化する領域であっ
ても、単一のセグメントとして領域分割処理を行うこと
ができる。

【００３５】つぎに、上述のような処理を行うことで、
複数の領域に分割された画像について、動画像中に含ま
れる動画オブジェクトを抽出する処理について説明す
る。この動画オブジェクトを抽出する処理は、上述と同
様に、記録媒体２に格納された動画オブジェクト抽出プ
ログラムを読み込んで実行する処理を行うことで、入力
された動画像に含まれるオブジェクトを抽出する処理を
複数のフレームについて行う。

【００３６】このＣＰＵ３では、動画像に含まれるオブ
ジェクトを抽出する処理を行うとき、記録媒体２に格納
された動画オブジェクト抽出プログラムを起動するとと
もに、処理の対象となる動画像を画像メモリ５から読み
込むことで図１１のフローチャートに示す処理を行う。
なお、以下の説明においては、フレーム画像（ｎ）に含
まれる動画像オブジェクトを示す画像を用いて、フレー
ム画像（ｎ）と１フレーム分だけ時間的に後に位置する
フレーム画像（ｎ＋１）の動きオブジェクトを示す画像
を抽出する処理について説明する。

【００３７】先ず、ステップＳＴ３１において、ＣＰＵ
３は、入力されて画像メモリ５に格納された動画像デー
タを読み込んで、フレーム画像（ｎ）に含まれる動画像
オブジェクトを構成するセグメントを指定する処理を行
う。ここで、ＣＰＵ３は、例えば図１２に示すような動
画像を構成するフレーム画像（ｎ）から、動画像オブジ
ェクトとしてヘリコプター及びボートを抽出する処理を
行う。また、このフレーム画像（ｎ）は、上述した領域
分割プログラムに従って処理されることで複数のセグメ
ントに分割されてなる画像である。

【００３８】次のステップＳＴ３２において、ＣＰＵ３
は、上述のステップＳＴ３１において抽出した動画像オ
ブジェクトについて、上述の図２を用いて説明した領域
分割プログラムを起動することで、図１３中のＡに示す
ように、動画像オブジェクトを示すセグメントを、図１
４に示すようにｎ個のセグメントＡ₁〜Ａ₄に分割する処
理を行う。

【００３９】次のステップＳＴ３３において、ＣＰＵ３
は、上述のステップＳＴ３２において領域分割された複
数のセグメントを用いて、フレーム画像（ｎ）と１フレ
ーム分だけ時間的に後に位置するフレーム画像（ｎ＋
１）とのマッチングをとる処理を行う。

【００４０】次のステップＳＴ３４において、ＣＰＵ３
は、上述のステップＳＴ３３において用いたフレーム画
像（ｎ）に含まれる動画オブジェクトを構成する複数の
セグメントを例えば図１４のセグメントＡ₁〜Ａ₄に示す
ように縮小するように変形する処理を行う。このとき、
ＣＰＵ３は、上述のステップＳＴ３３のマッチング処理
において用いた各セグメントの面積を用いて正規化した
マッチング閾値を各セグメント毎に設定する。そしてＣ
ＰＵ３は、上述のステップＳＴ３３でマッチングしたと
きのマッチング距離が各セグメント毎に設定したマッチ
ング閾値よりも大きいときには、当該マッチング閾値よ
りも小さいマッチング距離となるように各セグメントを
変形する処理を行う。このとき、ＣＰＵ３は、例えば拡
大、縮小、又は回転させることで、マッチング距離をマ
ッチング閾値よりも小さくなるように変形させる処理を
行う。

【００４１】次のステップＳＴ３５において、ＣＰＵ３
は、上述のステップＳＴ３４においてマッチング処理を
行うことによりフレーム画像（ｎ＋１）に含まれる複数
のセグメントを図１５に示す動画オブジェクト候補Ａ’
を構成するセグメントとして決定する処理を行う。

【００４２】次のステップＳＴ３６において、上述のス
テップＳＴ３５において指定した複数のセグメントを併
合することにより動画オブジェクト候補とする。

【００４３】次のステップＳＴ３７において、ＣＰＵ３
は、上述のステップＳＴ３５で併合することにより生成
した動画オブジェクト候補に隣接する各周辺セグメント
について、時空間における動画オブジェクトの連続性、
背景の連続性、動画オブジェクトと背景の拡張と浸食等
の形態学的画像処理を利用することにより、動きベクト
ル及び面積、ピクセル閾値Ｔ、検索範囲Ｓ、分散比、形
状、周囲長、モーメント等のセグメント属性とを検出す
る処理を行う。

【００４４】次のステップＳＴ３８において、ＣＰＵ３
は、上述のステップＳＴ３７において検出して得た各周
辺セグメント毎の動きベクトルを用いて、動画オブジェ
クト候補を構成する各セグメントと周辺セグメントとの
動きベクトルを比較する。そして、ＣＰＵ３は、双方の
動きベクトルが近いときであって、フレーム画像（ｎ）
に含まれる動画オブジェクトを構成する各セグメントの
面積と周辺長の比、モーメント、分散比に近づくときに
は、比較した各セグメントと当該各セグメントに隣接す
る周辺セグメントを併合する処理を行う。そして、ＣＰ
Ｕ３は、動画セグメント候補を構成する各セグメントと
周辺セグメントとについて、上述した処理を行うこと
で、図１６に示すようにフレーム画像（ｎ＋１）に含ま
れる動画オブジェクトＡ”を示すセグメントを得る。

【００４５】したがって、このような画像処理装置１に
入力された示すフレーム画像（ｎ）とフレーム画像（ｎ
＋１）とを含むビデオストリームは、図１７に示すよう
に、先ずステップＳＴ４１で領域分割プログラムを起動
することでフレーム画像（ｎ）及びフレーム画像（ｎ＋
１）が複数のセグメントからなる画像とされ、次のステ
ップＳＴ４２において動画オブジェクト抽出プログラム
により、フレーム画像（ｎ）及びフレーム画像（ｎ＋
１）は、動画オブジェクトと背景の連続性及び形態学的
画像処理が適用されることでセグメント属性や動きベク
トル等が抽出される。一方、動画オブジェクト抽出プロ
グラムを起動することで抽出されたフレーム画像（ｎ）
の動画オブジェクトは、ステップＳＴ４３で変形処理さ
れ、ステップＳＴ４４でフレーム画像（ｎ＋１）を用い
てマッチング処理され、更にステップＳＴ４５でマッチ
ングされた範囲に含まれるステップＳＴ４１で領域分割
されたフレーム画像（ｎ＋１）のセグメントをオブジェ
クト候補として決定し、続いてステップＳＴ４６で上述
のステップＳＴ４２において抽出されたパラメータを用
いて併合処理がされることで、フレーム画像（ｎ＋１）
に含まれる動画オブジェクトとされる。

【００４６】つぎに、このような画像処理装置１により
上述の図２及び図１１に示す処理を行うことで図１２に
示したような動画像中に含まれる動画オブジェクトを連
続する１〜４５０枚のフレーム画像に亘って抽出した処
理結果について説明する。ここで、図１２に示すフレー
ム画像及び以下図１８〜図２２のフレーム画像において
は、動画オブジェクトＯ₁，Ｏ₂とともに、動画オブジェ
クトＯ₁，Ｏ₂の背景も動きを有する動画像について領域
分割プログラム及び動画オブジェクト抽出プログラムを
起動することで図２及び図１１に示す処理を行った結果
の一例を示している。また、図１２及び図１８〜図１９
は、動画オブジェクトＯ₁，Ｏ₂についてのみ上記図２に
示す処理を行った結果を示している。

【００４７】このような画像処理装置１は、例えば図１
２に示すようなビデオストリームの最初に位置する開始
フレーム画像についてステップＳＴ３１に示す処理を行
うことで、図１２中のヘリコプターを示す動画像オブジ
ェクトＯ₁を指定するとともに図１２中のボートを示す
動画像オブジェクトＯ₂を指定する。ここで、図１２に
おいては、開始フレーム画像について図２に示す処理を
行うことで作成した複数のセグメントを黒色で示してい
る。

【００４８】そして、画像処理装置１は、図１８に示す
ように、図１１に示す処理を行うことで、開始フレーム
画像から３秒後の第９０番目のフレーム画像に含まれる
動画オブジェクトＯ₁，Ｏ₂であっても追尾することがで
きる。ここで、図１８においては、上述のステップＳＴ
３５における動画オブジェクト候補を白抜きの領域で示
し、上述のステップＳＴ３７における周辺セグメントを
上記白抜きの領域の周囲に配色された黒色で示してい
る。更に、画像処理装置１は、図１９に示す開始フレー
ム画像から６秒後の第１８０番目のフレーム画像、図２
０に示す開始フレーム画像から９秒後の第２７０番目の
フレーム画像、図２１に示す開始フレーム画像から１２
秒後の第３６０番目のフレーム画像、図２２に示す開始
フレーム画像から１５秒後の第４５０番目のフレーム画
像についても、上述の図１１に示す処理を行うことで、
動画オブジェクトＯ₁，Ｏ₂を追尾することができる。

【００４９】したがって、この画像処理装置１によれ
ば、図１２に示す開始フレーム画像の動画オブジェクト
を指定して図２及び図１１に示す処理を行うことで、図
１２及び図１８〜図２２に示すような動きを有する背景
と動画像オブジェクトＯ₁，Ｏ₂とを含む動画像であっ
て、動画オブジェクトＯ₁，Ｏ₂が拡大しながら回転する
ような非線形な動きを有する動画像について１５秒間
（４５０フレーム）に亘って動画オブジェクトＯ₁，Ｏ₂
を抽出することができた。

【００５０】したがって、この画像処理装置１によれ
ば、上述の図１１に示す処理を行うことにより、上述の
ステップＳＴ３７及びステップＳＴ３８において、動画
オブジェクト候補と隣接する周辺セグメントについてセ
グメント属性、及び動きベクトル等の動画オブジェクト
及び背景の連続性と拡張と浸食等の形態学的画像処理を
利用して得たセグメント属性及び動きベクトルを用いて
動画オブジェクト候補と周辺セグメントとを併合する処
理を行うので、自動的に、且つ動画オブジェクトの抽出
効率を向上させて動画オブジェクトを複数のフレーム画
像に亘って抽出することができる。

【００５１】なお、本実施の形態においては、動画像オ
ブジェクト候補を構成する複数のセグメントと当該セグ
メントの周囲に位置する周辺セグメントを併合するパラ
メータとしてステップＳＴ３７で動きベクトルや各セグ
メントの面積等を用いる一例について説明したが、上述
したように時空間における動画オブジェクトの連続性、
背景の連続性、動画オブジェクトと背景の拡張と浸食等
の形態学的画像処理を利用したパラメータで併合処理に
用いることができる他のパラメータを用いても良い。

【００５２】

【発明の効果】以上詳細に説明したように、本発明に係
る画像処理方法及び装置によれば、指定されたオブジェ
クトを構成する各領域の形状を変化させ、形状が変化さ
れた複数の領域と、第１の画像と時間的に隣接する第２
の画像を構成する複数の領域とを用いてマッチングを行
い、マッチングすることにより得た第２の画像に含まれ
オブジェクトを示す複数の領域と、この複数の領域の周
囲に配置された領域とを併合して第２の画像に含まれる
オブジェクトを指定するので、オブジェクトを構成する
各領域を変形させてマッチングを行って、マッチングが
とれた複数の領域と当該領域の周囲に配置された領域と
を併合することで第２の画像に含まれるオブジェクトを
指定することができ、例えば背景にも動きを有する動画
像や非線形な動きを有するオブジェクトを含む動画像中
から動画オブジェクトを抽出する処理の効率を向上させ
ることができ、自動的に抽出することができる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成を示すブ
ロック図である。

【図２】本発明を適用した画像処理装置に備えられるＣ
ＰＵにより行われる領域分割処理を示すフローチャート
である。

【図３】本発明を適用した画像処理装置に備えられるＣ
ＰＵにより指定したピクセル閾値及び検索範囲でセグメ
ントを生成する処理を示すフローチャートである。

【図４】画素値の変化に応じてピクセル閾値及び検索範
囲を変化させて領域分割処理を行うことによりセグメン
トを生成することを説明するための図である。

【図５】本発明を適用した画像処理装置に備えられるＣ
ＰＵにより領域分割処理が行われる原画像を示す図であ
る。

【図６】本発明を適用した画像処理装置に備えられるＣ
ＰＵにより領域分割処理が行われることで画素値が均一
な画像領域をセグメントとすることを説明するための図
である。

【図７】本発明を適用した画像処理装置に備えられるＣ
ＰＵにより領域分割処理が行われることで画素値が滑ら
かに変化する画像領域をセグメントとすることを説明す
るための図である。

【図８】本発明を適用した画像処理装置に備えられるＣ
ＰＵにより領域分割処理が行われることでテクスチャ状
となっている画像領域をセグメントとすることを説明す
るための図である。

【図９】本発明を適用した画像処理装置に備えられるＣ
ＰＵにより領域分割処理が行われることでエッジ部分を
示す画像領域をセグメントとすることを説明するための
図である。

【図１０】本発明を適用した画像処理装置に備えられる
ＣＰＵにより領域分割処理が行われることで生成した複
数のセグメントで分割された画像を示す図である。

【図１１】本発明を適用した画像処理装置に備えられる
ＣＰＵにより動画オブジェクトを抽出する処理を示すフ
ローチャートである。

【図１２】本発明を適用した画像処理装置に備えられる
ＣＰＵにより図２に示す処理に示す処理を行うことで動
画像中に含まれる動画オブジェクトを指定することを説
明するための図である。

【図１３】領域分割処理がなされたフレーム画像（ｎ）
に含まれる動画像オブジェクトＡついて動画オブジェク
トを抽出する処理を説明するための図である。

【図１４】図１３に示す動画像オブジェクトＡをｎ個の
セグメントＡ₁〜Ａ₄に分割する処理について説明する図
である。

【図１５】マッチング処理を行うことによりフレーム画
像（ｎ＋１）に含まれる複数のセグメントを動画オブジ
ェクト候補Ａ’を構成するセグメントとして指定する処
理を説明するための図である。

【図１６】各セグメントと当該各セグメントに隣接する
周辺セグメントを併合する処理を行うことで、フレーム
画像（ｎ＋１）に含まれる動画オブジェクトＡ”を示す
セグメントを得ることを説明するための図である。

【図１７】画像処理装置に入力された示すフレーム画像
（ｎ）とフレーム画像（ｎ＋１）とを含むビデオストリ
ームを、領域分割プログラム及び動画オブジェクト抽出
プログラムを起動して処理する一例について説明するた
めの図である。

【図１８】開始フレーム画像から３秒後の第９０番目の
フレーム画像に含まれる動画オブジェクトが追尾可能で
あることを説明するための図である。

【図１９】開始フレーム画像から６秒後の第１８０番目
のフレーム画像のフレーム画像に含まれる動画オブジェ
クトが追尾可能であることを説明するための図である。

【図２０】開始フレーム画像から９秒後の第２７０番目
のフレーム画像に含まれる動画オブジェクトが追尾可能
であることを説明するための図である。

【図２１】開始フレーム画像から１２秒後の第３６０番
目のフレーム画像に含まれる動画オブジェクトが追尾可
能であることを説明するための図である。

【図２２】開始フレーム画像から１５秒後の第４５０番
目のフレーム画像に含まれる動画オブジェクトが追尾可
能であることを説明するための図である。

【符号の説明】

１画像処理装置、３ＣＰＵ

───────────────────────────────────────────────────── フロントページの続き (72)発明者布施圭介東京都港区芝二丁目31番19号通信・放送機構内Ｆターム(参考） 5B075 ND12 NK07 PQ02 PQ20 PR06 QM08 QS03 5L096 AA03 AA06 BA07 CA27 DA01 EA03 EA16 EA35 FA02 FA45 GA08 GA19 GA51 HA03 JA04 LA05

Claims

【特許請求の範囲】

【請求項１】画像全体が複数の領域に分割されてなる
第１の画像に含まれるオブジェクトを指定するオブジェ
クト指定処理と、指定された上記オブジェクトを構成する各領域の形状を
変化させる領域変形処理と、上記形状が変化された複数の領域と、上記第１の画像と
時間的に隣接する第２の画像を構成する複数の領域とを
用いてマッチングを行うマッチング処理と、上記マッチング処理により得た第２の画像に含まれ上記
オブジェクトを示す複数の領域と、この複数の領域の周
囲に配置された領域とを併合して第２の画像に含まれる
オブジェクトを指定する領域併合処理とを有することを
特徴とする画像処理方法。
【請求項２】上記マッチング処理を行うときに用いる
オブジェクトを構成する各領域の面積で正規化した閾値
を設定する閾値設定処理を有し、上記領域変形処理では、上記マッチング処理におけるマ
ッチング距離を上記閾値設定処理で設定された閾値より
も小さくするように、領域の形状を変化させることを特
徴とする請求項１記載の画像処理方法。
【請求項３】上記領域変形処理では、オブジェクトを
構成する複数の領域を回転、縮小又は拡大する処理を行
うことを特徴とする請求項１記載の画像処理方法。
【請求項４】上記マッチング処理により得た第２の画
像に含まれ上記オブジェクトを示す複数の領域及び当該
複数の領域の周囲に位置する領域の属性及び動きベクト
ルを検出する属性検出処理を有し、上記領域併合処理では、上記属性検出処理で検出したオ
ブジェクトを示す領域の動きベクトル及び属性と、オブ
ジェクトを示す複数の領域の周囲に位置する領域の動き
ベクトル及び属性とを比較して併合する処理を行うこと
を特徴とする請求項１記載の画像処理方法。
【請求項５】画像全体が複数の領域に分割されてなる
第１の画像に含まれるオブジェクトを指定するオブジェ
クト指定手段と、上記オブジェクト指定手段により指定されたオブジェク
トを構成する各領域の形状を変化させる領域変形手段
と、上記領域変形手段により形状が変化された複数の領域
と、第１の画像と時間的に隣接する第２の画像を構成す
る複数の領域とを用いてマッチングを行うマッチング手
段と、上記マッチング手段により得た第２の画像に含まれオブ
ジェクトを示す複数の領域と、この複数の領域の周囲に
配置された領域とを併合して第２の画像に含まれるオブ
ジェクトを指定する領域併合手段とを備えることを特徴
とする画像処理装置。
【請求項６】上記マッチング手段を行うときに用いる
オブジェクトを構成する各領域の面積で正規化した閾値
を設定する閾値設定手段を有し、上記領域変形手段は、上記マッチング手段におけるマッ
チング距離を上記閾値設定手段で設定された閾値よりも
小さくするように、領域の形状を変化させることを特徴
とする請求項５記載の画像処理装置。
【請求項７】上記領域変形手段は、オブジェクトを構
成する複数の領域を回転、縮小又は拡大することを特徴
とする請求項５記載の画像処理装置。
【請求項８】上記マッチング手段により得た第２の画
像に含まれオブジェクトを示す複数の領域及び当該複数
の領域の周囲に位置する領域の属性及び動きベクトルを
検出する属性検出手段を有し、上記領域併合手段は、上記属性検出手段で検出したオブ
ジェクトを示す領域の動きベクトル及び属性と、オブジ
ェクトを示す複数の領域の周囲に位置する領域の動きベ
クトル及び属性とを比較して併合することを特徴とする
請求項５記載の画像処理装置。