JP2001109891A - 物体領域抽出方法 - Google Patents

物体領域抽出方法

Info

Publication number
JP2001109891A
JP2001109891A JP28751599A JP28751599A JP2001109891A JP 2001109891 A JP2001109891 A JP 2001109891A JP 28751599 A JP28751599 A JP 28751599A JP 28751599 A JP28751599 A JP 28751599A JP 2001109891 A JP2001109891 A JP 2001109891A
Authority
JP
Japan
Prior art keywords
target object
image data
region
contour
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP28751599A
Other languages
English (en)
Other versions
JP2001109891A5 (ja
Inventor
Kenichi Ide
賢一 井手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP28751599A priority Critical patent/JP2001109891A/ja
Publication of JP2001109891A publication Critical patent/JP2001109891A/ja
Publication of JP2001109891A5 publication Critical patent/JP2001109891A5/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 輪郭抽出精度を高め、また領域抽出の処理速
度が向上する物体領域抽出方法を提供する。 【解決手段】 時間的に連続する複数の画像データ間に
おける背景および対象物体の動き方向を、あらかじめ定
められた複数の小区画毎に求め、各小区画の動き方向の
類似性にしたがって動画像データを区画に沿って複数の
画像データに分類し、分類された画像データから対象物
体が存在する領域を推定して抽出する。さらに、第1の
輪郭探索モデルを用いた対象物体の輪郭探索により第1
の対象物体領域抽出を行い、その後自動的に、第1の輪
郭モデルを用いた輪郭探索よりも精度の高い第2の輪郭
探索モデルを用いた対象物体の輪郭探索により第2の対
象物体領域抽出を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、たとえば、背景を
背にした人物の輪郭を自動的に求める等、物体領域と背
景の境界検出および物体の輪郭抽出を行う物体領域抽出
方法に関する。
【0002】
【従来の技術】ある物体が写っている画像の中から、物
体領域と背景領域の境界である物体の輪郭線を抽出する
ための方法としては特開平7−271989に記載され
た方法がある。この方法は画像中の対象物体について特
定の場所を検出し、検出場所を基に対象物体を取り囲む
初期輪郭形状を設定する。その上で、弾性輪郭モデルを
用いた物体輪郭の探索処理を行い、所望の物体と背景と
の境界線を求める。
【0003】
【発明が解決しようとする課題】上記方法は対象物体の
背景に様々な物が写っているような状況では、対象物体
における特定の場所の検出が困難なため、適切な初期輪
郭形状を設定することが困難であった。また、初期輪郭
と対象物体の輪郭との間に様々な物体の輪郭が存在する
と、対象物体の輪郭を誤抽出する可能性があった。さら
に、初期輪郭形状の設定では画像全体のスキャンが必要
であり、大きな画像での初期輪郭形状の設定には時間が
かかっていた。そこで、本発明は、輪郭抽出の精度を高
め、さらに処理速度を向上させた物体領域抽出方法を提
供することを目的とする。
【0004】
【課題を解決するための手段】本発明の物体領域抽出方
法は以下のように構成されている。本発明の物体領域抽
出方法は、動画像データを連続的に入力し、入力された
時間的に連続する複数の画像データ間における背景およ
び対象物体の動き方向を、あらかじめ定められた複数の
小区画毎に求め、各小区画の動き方向の類似性にしたが
って動画像データを区画に沿って複数の画像データに分
類し、分類された画像データから対象物体が存在する領
域を推定して抽出する。
【0005】また、本発明の物体領域抽出方法は、動画
像データを連続的に入力し、この入力された時間的に連
続する複数の画像データ間における背景および対象物体
の動き方向をあらかじめ定められた複数の小区画毎に求
め、各小区画の動き方向の類似性にしたがって動画像デ
ータを区画に沿って複数の画像データに分類し、この分
類された画像データから対象物体が存在する矩形領域を
推定し、推定された矩形領域を基準として弾性輪郭モデ
ルを用いた対象物体の輪郭探索を行い対象物体の領域を
抽出する。
【0006】また、本発明の物体領域抽出方法は、動画
像データを連続的に入力し、この入力された画像データ
について、第1の輪郭探索モデルを用いた対象物体の輪
郭探索により第1の対象物体領域抽出を行い、その後自
動的に、第1の輪郭モデルを用いた輪郭探索よりも精度
の高い第2の輪郭探索モデルを用いた対象物体の輪郭探
索により第2の対象物体領域抽出を行う。
【0007】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図1は、本発明に係る物体
領域抽出方法が適用される画像処理装置の構成を概略的
に示すものである。本画像処理装置は具体的にはパーソ
ナルコンピュータとパーソナルコンピュータに搭載され
た物体領域抽出プログラムから構成される。なお、ここ
では動画像を扱うものとする。この装置はCCDカメラ
等から構成されるの撮像部11から入力されたアナログ
画像データが画像入力部12でA/D変換され、変換さ
れたデジタル画像データが画像メモリ13に格納され
る。HDDやROMから構成される不揮発性記憶部14
に物体輪郭抽出プログラムが格納されており、CPU1
5がこのプログラムをRAM16に移してプログラムを
実行する。抽出された画像は表示部17に表示される。
また、キーボード等の入力装置18から各種キーデータ
が入力される。
【0008】次に、本装置における物体領域抽出方法に
ついて図2を参照して説明する。図2はCPU14がプ
ログラムを実行することで動作する物体輪郭抽出方法を
説明するためのフローチャートである。本形態では所定
時間毎に繰り返しこのプログラムを実行することで切り
出された画像を動画像として表示部17に表示する。
【0009】まず、画像メモリ13に格納された入力画
像が予め定められた小領域に分割される(ステップS2
1)。図3に入力画像と小領域の区分の例を示す。図3
中に表示されている物体のうち、点線で描かれているも
のは時刻t−1における物体の位置、実線で描かれてい
るものは時刻tにおける物体の位置である。また、図3
において入力画像は領域R1、R2、…、R9の9個の
小領域に区分されている。
【0010】ステップS21の処理後、入力画面上の各
領域毎の動き情報として各小領域を代表する動きベクト
ル(オプティカルフロー)が求められる(ステップS2
2)。オプティカルフローは、各領域を例えば4ドット
*4ドット等の区画に分割し、時刻t−1と時刻tとの
間における各区画の移動方向をそれぞれ判断し、各区画
の移動方向を累積して区画の移動方向が最多数の方向を
小領域のオプティカルフローとすることにより求められ
る。図3の画像の場合、図4に示されるオプティカルフ
ローV1、V2、…、V9が求められる。
【0011】次に、求められたオプティカルフローの類
似性が求められ、類似性によって各小領域が分類され
る。図4の場合、V5とV8が同じベクトルに、V1、
V2、V3、V4、V6、V7、V9が同じベクトルと
判断され、領域はR5、R8のクループAとR1、R
2、R3、R4、R6、R7、R9のグループBに分類
される。
【0012】次に、分類された領域の位置等から対象物
が存在する領域が推定される(ステップS24)。この
画像処理装置では入力手段18から輪郭抽出モードの選
択データが入力される。抽出モードとしては「人物上半
身」モード、「顔」モード、「その他」モードが設定可
能である。「人物上半身」モードは対象が人物でカメラ
撮影された画像の輪郭抽出を行うもので、対象物が画面
の両端に位置する確率は小さいと判断されたうえで対象
物体の存在が推定される。「顔」モードが設定される
と、対象物体は画面中央に存在する可能性が高いと判断
され対象物体の存在が推定される。「その他」モードが
設定されると、対象物体は画面全体にわたって存在する
と判断され対象物体の存在が推定される。本装置では
「人物上半身」モードが設定されており、ステップS2
4でグループAの領域内に対象物体が存在すると推定さ
れる。このとき、グループBの領域は背景領域と推定さ
れる。図5は領域分類結果と対象物体領域の推定結果を
示しており、Rtargetが対象物体領域、Rbac
kが背景領域である。
【0013】対象物体領域の抽出のみを行う際は、ステ
ップS24にて対象物体領域の推定が行われた後、対象
物体領域Rtargetの画像が表示装置17または画
像メモリ13に出力され(ステップS25)、処理が終
了する。
【0014】本形態によれば、物体を撮影しているカメ
ラがぶれて動いた場合でも、対象物体(この場合は人
物)が背景に対して相対的に動き、対象物体領域と背景
領域とは異なる領域として検出できるため対象物体領域
を正しく抽出できる可能性が高くなる。たとえば、携帯
情報機器等に組み込まれたカメラで人物を撮影し、撮影
した画像から人物領域を抽出する場合を考える。この
際、携帯情報機器を手で持った状態でカメラを使用する
ことでカメラが動く状況が考えられる。このような状況
においても、本形態によれば人物領域の抽出が正しく行
われる。
【0015】物体輪郭を抽出する際は、ステップS24
にて対象物体領域の推定が行われた後、対象物体領域に
おいて第1の輪郭探索処理が行われる(ステップS2
6)。対象物体領域がRtargetと推定された後、
特開平7−271989号公報に記載された弾性輪郭抽
出方法を用いる。この方法は、Rtarget中の対象
物体の特定の場所を検出し、この検出結果を基に輪郭探
索の初期形状である初期輪郭が設定される。図6は図5
を基にして画像に輪郭探索の初期形状が設定された例を
示す。この初期輪郭を出発点として物体輪郭の探索処理
が行われ、所望の物体と背景の境界(物体の輪郭)が求
められる。図7に弾性輪郭抽出方法により図3に写った
人物の輪郭が得られた画像を示す。図7において、太線
で示された部分が求められた輪郭である。求められた物
体輪郭画像は表示装置17または画像メモリ13に出力
され(ステップS27)、処理が終了する。
【0016】このように、対象物体領域を基に弾性輪郭
モデルを用いて輪郭探索をすることで、探索範囲を対象
物体近傍の適切な範囲に限定でき、探索範囲が広い場合
に比べて輪郭抽出を短時間で処理できる。
【0017】高精度の輪郭抽出を行う場合には、ステッ
プS26による輪郭抽出結果を基に第2の輪郭探索方法
である輪郭補正処理が行われる(ステップS28)。こ
の補正は「電子情報通信学会論文誌 D−II Vo
l.J82−D−II No.8 pp.1282−1
289 1999年8月」に記載された方法を用いる。
この方法は弾性輪郭抽出方法に比べ、細かな凹凸や鋭角
状の追従性が高く、図7における耳部分のように輪郭の
曲率が大きい部分について輪郭補正ができる。図8に輪
郭補正された画像を示す。図8において太線で示される
部分が補正して得られた輪郭である。求められた物体輪
郭画像は表示装置17または画像メモリ13に出力され
(ステップS27)、処理が終了する。
【0018】上述した輪郭補正処理は、画像の細部の形
状に注目して探索を行うため、探索範囲が狭く、対象物
体の近傍に初期輪郭を設定する必要があるが、第1の輪
郭探索方法である弾性輪郭抽出処理で得られた輪郭情報
を基に処理を行うことで、補正処理における初期輪郭の
設定が容易になる。
【0019】パーソナルコンピュータに輪郭抽出プログ
ラムを搭載することで、パーソナルコンピュータの画面
上で様々な画像合成を行うことが可能になる。図9はス
テップS26またはS28で得られた物体輪郭を基に対
象物体に対して擬似的に影を生成した例を示す。影のよ
うな特殊効果を付与することで切り出した境界部分の不
自然さを補正し、画像に自然な印象を与え、画像に対し
て様々な疑似環境を表現することが可能になる。
【0020】また、距離情報を付与することでステップ
S26またはS28で得られた対象物体の大きさの変化
に応じて他の画像との前後関係を変化させ、現実味のあ
る画像合成表示を行うことも可能になる。すなわち、対
象物体が大きい場合には他の画像に視点からの距離が近
くなるような距離情報を与え、対象物体が小さい場合に
は他の画像に視点からの距離が大きくなるような距離情
報を与える。図10は対象物体が大きい際の合成画像を
示し、図11は対象物体が小さい際の合成画像を示す。
なお、合成する画像が複数ある場合には、それぞれに距
離情報を付与して立体感のある画像合成を表示すること
が可能になる。
【0021】また、得られた画像と動画像を合成してパ
ーソナルコンピュータの画面に表示することも可能にな
る。図12は輪郭抽出方法より得られた画像、図13は
合成される動画像、図14は輪郭抽出方法より得られた
画像と動画像を合成した際の画像を示す。輪郭抽出方法
より得られた画像は動画像のため、動画像との合成の方
が静止画と合成する場合に比べ相性が良く、現実感のあ
る合成画像が表示できる。また、現実感の向上により輪
郭の誤抽出部分に対する注意が低下し、視覚的・感覚的
な抽出精度が向上する。
【0022】
【発明の効果】本発明によれば、対象物体と背景との動
きの違いを調べることで対象物体が存在する候補領域を
判断するので、撮像部が動いた場合でも候補領域の推定
精度の低下が防げる。
【0023】また、本発明によれば、候補領域を基に輪
郭探索を行うので探索範囲が対象物体近傍の範囲に限定
でき、輪郭抽出処理速度が向上する。また、本発明によ
れば、第1の領域抽出方法によりある程度の領域抽出を
行った上で、自動的に第2の輪郭抽出方法で精度の高い
輪郭抽出を行うので、精度の高い領域抽出処理における
処理速度が向上する。
【図面の簡単な説明】
【図1】本発明が係る領域抽出方法が適用される画像処
理装置の概略構成を示すブロック図である。
【図2】本装置における物体領域抽出方法を説明するた
めのフローチャートである。
【図3】入力画像と小領域の区分の例を示した図であ
る。
【図4】各領域の動きベクトルを示した図である。
【図5】領域分類結果と対象物体領域の推定結果を示し
た図である。
【図6】図5を基にして画像に輪郭探索の初期形状が設
定された例を示した図である。
【図7】弾性輪郭抽出方法により図3に写った人物の輪
郭が得られた画像を示した図である。
【図8】輪郭補正により図3に写った人物の輪郭が得ら
れた画像を示した図である。
【図9】物体輪郭を基に対象物体に対して擬似的に影を
生成した画像を示した図である。
【図10】対象物体が大きい際の合成画像を示した図で
ある。
【図11】対象物体が小さい際の合成画像を示した図で
ある。
【図12】輪郭抽出方法より得られた画像を示した図で
ある。
【図13】輪郭抽出方法より得られた画像に合成される
動画像を示した図である。
【図14】輪郭抽出方法より得られた画像と動画像を合
成した際の画像を示した図である。
【符号の説明】
11 撮像部 12 画像入力部 13 画像メモリ 14 不揮発性記憶部 15 CPU 16 RAM 17 表示部 18 キーボード
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC03 DA08 DB02 DB09 DC16 DC32 5L096 BA08 CA04 CA14 DA01 FA06 GA19 GA30 HA03 9A001 BB03 EE02 EE05 HH20 HH28 HH30

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 背景および対象物体からなる動画像デー
    タから対象物体の領域を抽出する物体領域抽出方法にお
    いて、 前記動画像データを連続的に入力し、 この入力された時間的に連続する複数の画像データ間に
    おける背景および対象物体の動き方向を、あらかじめ定
    められた複数の小区画毎に求め、 各小区画の動き方向の類似性にしたがって前記動画像デ
    ータを区画に沿って複数の画像データに分類し、 前記分類された画像データから対象物体が存在する領域
    を推定して抽出することを特徴とする物体領域抽出方
    法。
  2. 【請求項2】 背景および対象物体からなる動画像デー
    タから対象物体の領域を抽出する物体領域抽出方法にお
    いて、 前記動画像データを連続的に入力し、 この入力された時間的に連続する複数の画像データ間に
    おける背景および対象物体の動き方向を、あらかじめ定
    められた複数の小区画毎に求め、 各小区画の動き方向の類似性にしたがって前記動画像デ
    ータを区画に沿って複数の画像データに分類し、 前記分類された画像データから対象物体が存在する矩形
    領域を推定し、 推定された矩形領域を基準として弾性輪郭モデルを用い
    た対象物体の輪郭探索を行い、対象物体の領域を抽出す
    ることを特徴とする物体領域抽出方法。
  3. 【請求項3】 背景および対象物体からなる動画像デー
    タから対象物体の領域を抽出する物体領域抽出方法にお
    いて、 前記動画像データを連続的に入力し、 この入力された画像データについて、第1の輪郭探索モ
    デルを用いた対象物体の輪郭探索により第1の対象物体
    領域抽出を行い、 この第1の領域抽出後、自動的に、前記第1の輪郭モデ
    ルを用いた輪郭探索よりも精度の高い第2の輪郭探索モ
    デルを用いた対象物体の輪郭探索により第2の対象物体
    領域抽出を行うことを特徴とする物体領域抽出方法。
JP28751599A 1999-10-08 1999-10-08 物体領域抽出方法 Pending JP2001109891A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28751599A JP2001109891A (ja) 1999-10-08 1999-10-08 物体領域抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28751599A JP2001109891A (ja) 1999-10-08 1999-10-08 物体領域抽出方法

Publications (2)

Publication Number Publication Date
JP2001109891A true JP2001109891A (ja) 2001-04-20
JP2001109891A5 JP2001109891A5 (ja) 2004-10-07

Family

ID=17718351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28751599A Pending JP2001109891A (ja) 1999-10-08 1999-10-08 物体領域抽出方法

Country Status (1)

Country Link
JP (1) JP2001109891A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005020152A1 (ja) * 2003-08-21 2005-03-03 Matsushita Electric Industrial Co., Ltd. 人物検出装置および人物検出方法
WO2005050565A1 (ja) * 2003-11-20 2005-06-02 Matsushita Electric Industrial Co., Ltd. 移動物体検出装置及び移動物体検出方法
US8467571B2 (en) 2008-10-02 2013-06-18 Akiyoshi Momoi Ordered recognition of connected objects

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005020152A1 (ja) * 2003-08-21 2005-03-03 Matsushita Electric Industrial Co., Ltd. 人物検出装置および人物検出方法
US7613325B2 (en) 2003-08-21 2009-11-03 Panasonic Corporation Human detection device and human detection method
WO2005050565A1 (ja) * 2003-11-20 2005-06-02 Matsushita Electric Industrial Co., Ltd. 移動物体検出装置及び移動物体検出方法
US7702019B2 (en) 2003-11-20 2010-04-20 Panasonic Corporation Moving object detection device and moving object detection method
US8467571B2 (en) 2008-10-02 2013-06-18 Akiyoshi Momoi Ordered recognition of connected objects

Similar Documents

Publication Publication Date Title
JP4473754B2 (ja) 仮想試着装置
JP2915894B2 (ja) ターゲット追跡方法及び装置
EP2360644A2 (en) Digital image manipulation
US7477289B2 (en) Image processing apparatus and method, and image pickup apparatus
KR960035351A (ko) 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법
JP2009070314A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2005123824A (ja) 映像オブジェクト軌跡合成装置、その方法及びそのプログラム
JP3810943B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2000105829A (ja) 顔パーツ検出方法及びその装置
JP2006330800A (ja) 画像合成システム、画像合成方法、この方法のプログラム
JP2018124890A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN110717452B (zh) 图像识别方法、装置、终端及计算机可读存储介质
KR101726692B1 (ko) 객체 추출 장치 및 방법
JP2001109891A (ja) 物体領域抽出方法
JP5020920B2 (ja) 歩行者検出装置及びプログラム
JPH09322061A (ja) 画像合成装置
JPH10111946A (ja) 画像追跡装置
JP3149221B2 (ja) 画像処理装置
JP4238323B2 (ja) 画像処理方法及び画像処理装置
JPH07302271A (ja) 合成顔検索装置
JP6910622B2 (ja) 画像処理システム
JP4221681B2 (ja) ジェスチャ認識装置
JP2007304675A (ja) 画像合成方法および装置ならびにプログラム
JPH1069542A (ja) テンプレートマッチング方法
JP4380376B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070612