JP2001307104A - 動画像のオブジェクト抽出装置 - Google Patents
動画像のオブジェクト抽出装置Info
- Publication number
- JP2001307104A JP2001307104A JP2000125577A JP2000125577A JP2001307104A JP 2001307104 A JP2001307104 A JP 2001307104A JP 2000125577 A JP2000125577 A JP 2000125577A JP 2000125577 A JP2000125577 A JP 2000125577A JP 2001307104 A JP2001307104 A JP 2001307104A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- moving image
- current frame
- parameter
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 動画像のオブジェクトの形状及びその運動を
比較的少ないフレーム数でロバストに推定する。 【解決手段】 Hough 変換回路２は、動きベクトルをHo
ugh 変換して運動パラメータを取得する。誤差検出部４
は、予測部３によって予測された現フレームと実際の現
フレームとの間の誤差を検出する。動き分類回路５は、
動きごとにオブジェクトを分類し及び抽出する。これら
オブジェクトの形状及び運動パラメータを表現すること
によって、複数のオブジェクトを有する動画像を効率的
に符号化することができるようになる。
比較的少ないフレーム数でロバストに推定する。 【解決手段】 Hough 変換回路２は、動きベクトルをHo
ugh 変換して運動パラメータを取得する。誤差検出部４
は、予測部３によって予測された現フレームと実際の現
フレームとの間の誤差を検出する。動き分類回路５は、
動きごとにオブジェクトを分類し及び抽出する。これら
オブジェクトの形状及び運動パラメータを表現すること
によって、複数のオブジェクトを有する動画像を効率的
に符号化することができるようになる。
Description
【０００１】
【発明の属する技術分野】本発明は、オブジェクトベー
ス画像符号化の際にオブジェクトを抽出する動画像のオ
ブジェクト抽出装置に関するものである。
ス画像符号化の際にオブジェクトを抽出する動画像のオ
ブジェクト抽出装置に関するものである。
【０００２】
【従来の技術】従来、オブジェクトを抽出するに当た
り、クロマキーにおける背景のように特別の仕掛けを必
要とするものや、レンジファインダのような特別のセン
サを必要とするものが実用化されている。
り、クロマキーにおける背景のように特別の仕掛けを必
要とするものや、レンジファインダのような特別のセン
サを必要とするものが実用化されている。
【０００３】一方、通常のカメラなどによって取得され
た自然画像からオブジェクトを切り出す技術のうちの代
表的なものとして、次のものがある。 １．輝度・色情報やベクトル場に基づいて画像を領域分
割する手法 ２．輝度値の時間方向の統計情報を用いて背景と前景と
を互いに分離する手法 ３．人為的に大体の位置・輪郭を付与してエッジ情報に
基づいて切り出す手法
た自然画像からオブジェクトを切り出す技術のうちの代
表的なものとして、次のものがある。 １．輝度・色情報やベクトル場に基づいて画像を領域分
割する手法 ２．輝度値の時間方向の統計情報を用いて背景と前景と
を互いに分離する手法 ３．人為的に大体の位置・輪郭を付与してエッジ情報に
基づいて切り出す手法
【０００４】輝度・色情報や動きベクトル場に基づく領
域分割手法は、色などの類似及び空間的な距離を考慮
し、色などが類似した空間的に近接する画素を統合して
領域分割する方法である。代表的なアルゴリズムとし
て、Ｋ平均アルゴリズム(S.Z.Selim等, “K-means-type
algorithms," IEEE Trans. PAMI. Vol.6,No.1, pp.81-
87(1984))や、領域成長法(S.W.Zucker, “Region growi
ng: Childhood and adolescence," Computer Graphics
and Image Processing, Vol.5, pp.382-399(1976))があ
る。
域分割手法は、色などの類似及び空間的な距離を考慮
し、色などが類似した空間的に近接する画素を統合して
領域分割する方法である。代表的なアルゴリズムとし
て、Ｋ平均アルゴリズム(S.Z.Selim等, “K-means-type
algorithms," IEEE Trans. PAMI. Vol.6,No.1, pp.81-
87(1984))や、領域成長法(S.W.Zucker, “Region growi
ng: Childhood and adolescence," Computer Graphics
and Image Processing, Vol.5, pp.382-399(1976))があ
る。
【０００５】輝度値の時間方向の統計情報を用いる手法
は、輝度の時間変化から背景の輝度値を推定し、その背
景輝度と入力フレームとの差分から前景オブジェクトを
抽出する手法である。背景が固定されている場合などに
適用することができ、背景画像と前景の両者が得られる
という特徴を有する（境田等による「背景差分による動
オブジェクト抽出手法の検討」。1999年電子情報通信学
会総合大会）。
は、輝度の時間変化から背景の輝度値を推定し、その背
景輝度と入力フレームとの差分から前景オブジェクトを
抽出する手法である。背景が固定されている場合などに
適用することができ、背景画像と前景の両者が得られる
という特徴を有する（境田等による「背景差分による動
オブジェクト抽出手法の検討」。1999年電子情報通信学
会総合大会）。
【０００６】エッジ情報に基づく手法としては、エネル
ギー最小化問題を反復的に解くことによって輪郭線を画
像のエッジへ収束させる動的輪郭モデルsnakes(Kass
等,“Snakes: Active Contour Models," Proceedings o
f First International Conference on Computer Visio
n, pp.259-269(London UK, 1987))が代表的なものであ
る。
ギー最小化問題を反復的に解くことによって輪郭線を画
像のエッジへ収束させる動的輪郭モデルsnakes(Kass
等,“Snakes: Active Contour Models," Proceedings o
f First International Conference on Computer Visio
n, pp.259-269(London UK, 1987))が代表的なものであ
る。
【０００７】snakesの制御に動的計画法を用いる手法(A
mir 等,“Using Dynamic Programming for solving Var
iational Problems in Vision," IEEE Trans. PAMI, Vo
l.12, No.9, pp.855-867(1990))、greedyアルゴリズム
による高速化手法(Williams等,“A Fast Algorithm for
Active Contours and Curvature Estimation,", CVGI
P: Image Understanding, Vol.55, No.1, pp.14-26(199
2))等がある。
mir 等,“Using Dynamic Programming for solving Var
iational Problems in Vision," IEEE Trans. PAMI, Vo
l.12, No.9, pp.855-867(1990))、greedyアルゴリズム
による高速化手法(Williams等,“A Fast Algorithm for
Active Contours and Curvature Estimation,", CVGI
P: Image Understanding, Vol.55, No.1, pp.14-26(199
2))等がある。
【０００８】輝度のLaplacian のゼロクロス、輝度勾
配、輝度値等を統合的に取り扱い、Dijkstraの最小コス
ト経路計画のアルゴリズムによって輪郭を追跡してオブ
ジェクトを切り出す手法も提案されており、種々のシー
ンにおいて安定した切り出しが可能となる(Mortensen
等,“Interactive Segmentation with Intelligent Sci
ssors," Graphical Models and Image Processing, Vo
l.60, pp.349-384(1998))。
配、輝度値等を統合的に取り扱い、Dijkstraの最小コス
ト経路計画のアルゴリズムによって輪郭を追跡してオブ
ジェクトを切り出す手法も提案されており、種々のシー
ンにおいて安定した切り出しが可能となる(Mortensen
等,“Interactive Segmentation with Intelligent Sci
ssors," Graphical Models and Image Processing, Vo
l.60, pp.349-384(1998))。
【０００９】抽出対象を限定することによって抽出を安
定化するアプローチとして、顔輪郭抽出の研究がある
（横山等、「顔輪郭抽出のための動的輪郭モデルの提
案」情処学論, Vol.40, No.3, pp1127-1137(1999) ）。
定化するアプローチとして、顔輪郭抽出の研究がある
（横山等、「顔輪郭抽出のための動的輪郭モデルの提
案」情処学論, Vol.40, No.3, pp1127-1137(1999) ）。
【００１０】また、輪郭エッジを明示的に取り扱う代わ
りに画像から抽出された自己相似構造に基づいて局所反
復写像系(Local Iterated Function Systems) を適用し
てオブジェクト領域を取得する手法によれば、滑らかな
輪郭だけでなく尖った部分も正確に切り出すことができ
る（井田等「LIFSを用いた被写体輪郭線の高精度な抽
出」信学論D-II, Vol.J82-D-II, No.8, pp1282-1289(19
99) ）。
りに画像から抽出された自己相似構造に基づいて局所反
復写像系(Local Iterated Function Systems) を適用し
てオブジェクト領域を取得する手法によれば、滑らかな
輪郭だけでなく尖った部分も正確に切り出すことができ
る（井田等「LIFSを用いた被写体輪郭線の高精度な抽
出」信学論D-II, Vol.J82-D-II, No.8, pp1282-1289(19
99) ）。
【００１１】
【発明が解決しようとする課題】動画像符号化におい
て、オブジェクトの形状とその運動の情報すなわち運動
パラメータを付加することによって高圧縮率を得ること
ができる。しかしながら、オブジェクトの形状及びその
運動を比較的少ないフレーム数でロバストすなわち安定
に推定するのが困難である。
て、オブジェクトの形状とその運動の情報すなわち運動
パラメータを付加することによって高圧縮率を得ること
ができる。しかしながら、オブジェクトの形状及びその
運動を比較的少ないフレーム数でロバストすなわち安定
に推定するのが困難である。
【００１２】本発明の目的は、オブジェクトの形状及び
その運動を比較的少ないフレーム数でロバストに推定す
ることができる動画像のオブジェクト抽出装置を提供す
ることである。
その運動を比較的少ないフレーム数でロバストに推定す
ることができる動画像のオブジェクト抽出装置を提供す
ることである。
【００１３】
【課題を解決するための手段】本発明による動画像のオ
ブジェクト抽出装置は、動画像の動きベクトルから運動
パラメータを取得する運動パラメータ取得手段と、前記
運動パラメータ及び前記動画像の前フレームから前記動
画像の現フレームを予測する現フレーム予測手段と、前
記フレーム予測手段によって予測された現フレームと実
際の現フレームとの差分を検出する差分検出手段と、前
記差分に基づいて前記動画像のオブジェクトをそれぞれ
分類して出力するオブジェクト分類手段とを具えること
を特徴とするものである。
ブジェクト抽出装置は、動画像の動きベクトルから運動
パラメータを取得する運動パラメータ取得手段と、前記
運動パラメータ及び前記動画像の前フレームから前記動
画像の現フレームを予測する現フレーム予測手段と、前
記フレーム予測手段によって予測された現フレームと実
際の現フレームとの差分を検出する差分検出手段と、前
記差分に基づいて前記動画像のオブジェクトをそれぞれ
分類して出力するオブジェクト分類手段とを具えること
を特徴とするものである。
【００１４】本発明によれば、比較的少ない個数のフレ
ーム、すなわち、前フレームと現フレームとの２個のフ
レームのみを使用して、オブジェクトの形状及び運動パ
ラメータを取得する。これらオブジェクトの形状及び運
動パラメータを表現することによって、複数のオブジェ
クトを有する動画像を効率的に符号化することができ
る。本発明によれば、画素単位ではなくオブジェクト単
位の運動を推定するため、オブジェクトの形状及びその
運動を比較的少ないフレーム数でロバストに推定するこ
とができるようになる。
ーム、すなわち、前フレームと現フレームとの２個のフ
レームのみを使用して、オブジェクトの形状及び運動パ
ラメータを取得する。これらオブジェクトの形状及び運
動パラメータを表現することによって、複数のオブジェ
クトを有する動画像を効率的に符号化することができ
る。本発明によれば、画素単位ではなくオブジェクト単
位の運動を推定するため、オブジェクトの形状及びその
運動を比較的少ないフレーム数でロバストに推定するこ
とができるようになる。
【００１５】なお、本明細書中、動きベクトルとは、フ
レーム内の注目する画素が１フレーム前においてどの画
素に対応するかを求め、その移動量を表す２次元ベクト
ル量のことを意味し、この動きベクトルをフレーム内全
体に亘ってある所定の間隔で求めた集合を動きベクトル
場と称する。
レーム内の注目する画素が１フレーム前においてどの画
素に対応するかを求め、その移動量を表す２次元ベクト
ル量のことを意味し、この動きベクトルをフレーム内全
体に亘ってある所定の間隔で求めた集合を動きベクトル
場と称する。
【００１６】好適には、前記運動パラメータ取得手段
が、前記動きベクトルを一般化Hough変換することによ
って前記運動パラメータを取得する。一般化Hough （ハ
フ）変換はパラメータ推定の一手法であり、観測された
情報を生成し得る全てのパラメータ候補に対して投票を
行い、得票数が集中したパラメータを以て推定値とす
る。画面内に複数の運動が混在する場合、パラメータ空
間において複数の点に得票が集中するので、それらを順
次探索することによって複数の運動の推定が可能とな
る。
が、前記動きベクトルを一般化Hough変換することによ
って前記運動パラメータを取得する。一般化Hough （ハ
フ）変換はパラメータ推定の一手法であり、観測された
情報を生成し得る全てのパラメータ候補に対して投票を
行い、得票数が集中したパラメータを以て推定値とす
る。画面内に複数の運動が混在する場合、パラメータ空
間において複数の点に得票が集中するので、それらを順
次探索することによって複数の運動の推定が可能とな
る。
【００１７】さらに好適には、前記運動パラメータとし
て、拡大及び／又は縮小、垂直並進及び水平並進並びに
回転を用いる。これによって、複数のオブジェクトを有
する動画像を一層効率的に符号化することができる。
て、拡大及び／又は縮小、垂直並進及び水平並進並びに
回転を用いる。これによって、複数のオブジェクトを有
する動画像を一層効率的に符号化することができる。
【００１８】前記運動パラメータとして、例えば、アフ
ィンパラメータ及び／又はアフィンパラメータ空間中の
独立する１個以上のパラメータを用いる。
ィンパラメータ及び／又はアフィンパラメータ空間中の
独立する１個以上のパラメータを用いる。
【００１９】
【発明の実施の形態】本発明によるの実施の形態を、図
面を参照して詳細に説明する。図１は、本発明による動
画像のオブジェクト抽出装置の実施の形態を示す図であ
る。この動画像のオブジェクト抽出装置は、Hough 変換
を用いて動きベクトル場を運動パラメータ空間に写像す
ることによって、動画像中に含まれる複数の運動を推定
し、運動ごとのオブジェクトとして抽出するものであ
る。
面を参照して詳細に説明する。図１は、本発明による動
画像のオブジェクト抽出装置の実施の形態を示す図であ
る。この動画像のオブジェクト抽出装置は、Hough 変換
を用いて動きベクトル場を運動パラメータ空間に写像す
ることによって、動画像中に含まれる複数の運動を推定
し、運動ごとのオブジェクトとして抽出するものであ
る。
【００２０】図１に示す動画像のオブジェクト抽出装置
は、動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））から
動きベクトル場を演算する動きベクトル演算回路１と、
動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））をHough
変換して運動パラメータ
は、動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））から
動きベクトル場を演算する動きベクトル演算回路１と、
動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））をHough
変換して運動パラメータ
【外１】 を取得する運動パラメータ取得手段としてのHough 変換
回路２と、現フレームを予測する予測部３と、予測され
た現フレームと実際の現フレームとの間の誤差を検出す
る誤差検出部４と、動きごとにオブジェクトを分類し及
び抽出する動き分類回路５と、入力される動画像信号を
１フレーム分遅延させる遅延回路６とを具える。
回路２と、現フレームを予測する予測部３と、予測され
た現フレームと実際の現フレームとの間の誤差を検出す
る誤差検出部４と、動きごとにオブジェクトを分類し及
び抽出する動き分類回路５と、入力される動画像信号を
１フレーム分遅延させる遅延回路６とを具える。
【００２１】予測部３は、各運動パラメータに対応して
動きを補償する動き補償回路３−１，３−２，３−３及
び３−４を有し、誤差検出部４は、各運動パラメータに
対応して差分を演算する差分回路４−１，４−２，４−
３及び４−４を有する。これら動き補償回路及び差分回
路の個数はそれぞれ、抽出したオブジェクトの数（Ｍ
個）と同一になる。本実施の形態では、後に説明するよ
うに４パラメータの線形結合で表現される個々のオブジ
ェクトの運動が動きベクトル場として観測されると仮定
する。なお、本実施の形態では、前記４パラメータとし
て、例えば、水平並進、垂直並進、回転及び拡大を用い
る。
動きを補償する動き補償回路３−１，３−２，３−３及
び３−４を有し、誤差検出部４は、各運動パラメータに
対応して差分を演算する差分回路４−１，４−２，４−
３及び４−４を有する。これら動き補償回路及び差分回
路の個数はそれぞれ、抽出したオブジェクトの数（Ｍ
個）と同一になる。本実施の形態では、後に説明するよ
うに４パラメータの線形結合で表現される個々のオブジ
ェクトの運動が動きベクトル場として観測されると仮定
する。なお、本実施の形態では、前記４パラメータとし
て、例えば、水平並進、垂直並進、回転及び拡大を用い
る。
【００２２】本実施の形態の動作を説明する。先ず、動
画像信号が動きベクトル演算回路１、誤差検出部４及び
遅延回路６にそれぞれ入力される。なお、入力される動
画像は、水平画素数Ｈ及び垂直画素数Ｖ（Ｈ及びＶを共
に自然数とする。）からなる１画面を単位とし、時間間
隔Ｔ（Ｔを実数とする。）で更新される信号とする。本
実施の形態において、Ｈ×Ｖ画素からなる１画面をフレ
ームと称し、図１においてｎ−１番目のフレーム（前フ
レーム）及びｎ番目のフレーム（現フレーム）をそれぞ
れＩ(n-1) （ｘ，ｙ）及びＩ(n) （ｘ，ｙ）で表現する
（ｎを自然数とする。）。
画像信号が動きベクトル演算回路１、誤差検出部４及び
遅延回路６にそれぞれ入力される。なお、入力される動
画像は、水平画素数Ｈ及び垂直画素数Ｖ（Ｈ及びＶを共
に自然数とする。）からなる１画面を単位とし、時間間
隔Ｔ（Ｔを実数とする。）で更新される信号とする。本
実施の形態において、Ｈ×Ｖ画素からなる１画面をフレ
ームと称し、図１においてｎ−１番目のフレーム（前フ
レーム）及びｎ番目のフレーム（現フレーム）をそれぞ
れＩ(n-1) （ｘ，ｙ）及びＩ(n) （ｘ，ｙ）で表現する
（ｎを自然数とする。）。
【００２３】動きベクトル場演算回路１は、入力された
動画像から動きベクトル場を計算する。なお、動きベク
トル場の計算アルゴリズムは、ブロックマッチング法、
輝度勾配法等手法を問わない。取得するベクトル場も全
画素に対して求める必要がなく、例えば４×４画素間隔
の代表点に対して求める等、適切な間隔で得られればよ
い。
動画像から動きベクトル場を計算する。なお、動きベク
トル場の計算アルゴリズムは、ブロックマッチング法、
輝度勾配法等手法を問わない。取得するベクトル場も全
画素に対して求める必要がなく、例えば４×４画素間隔
の代表点に対して求める等、適切な間隔で得られればよ
い。
【００２４】その後、Hough 変換回路２は、このように
計算された動きベクトル場を構成する全ての動きベクト
ルを用いて、運動パラメータを取得する。本実施の形態
では、取得する運動パラメータを、垂直並進、水平並
進、回転及び拡大の４個の２次元運動とする。
計算された動きベクトル場を構成する全ての動きベクト
ルを用いて、運動パラメータを取得する。本実施の形態
では、取得する運動パラメータを、垂直並進、水平並
進、回転及び拡大の４個の２次元運動とする。
【００２５】ここで、Hough 変換の原理及び計算手順
を、フレーム画像内オブジェクトの１フレーム間隔での
運動として説明する。画像中心を原点とする画像座標
（ｘ，ｙ）における動きベクトルを（ｕ（ｘ，ｙ），ｖ
（ｘ，ｙ））とし、オブジェクトの１フレーム間隔にお
ける水平並進量をξ［画素］とし、垂直並進量をη［画
素］とし、回転量をφとし、拡大量をμとする。なお、
回転量は角度の勾配で表す。すなわち、tan -1φが弧度
角となる。拡大量μを、拡大倍率から１を減じたもので
表す。すなわち、１＋μが拡大倍率となる。この場合、
このオブジェクトが生成する動きベクトル場は以下の式
を満足する。
を、フレーム画像内オブジェクトの１フレーム間隔での
運動として説明する。画像中心を原点とする画像座標
（ｘ，ｙ）における動きベクトルを（ｕ（ｘ，ｙ），ｖ
（ｘ，ｙ））とし、オブジェクトの１フレーム間隔にお
ける水平並進量をξ［画素］とし、垂直並進量をη［画
素］とし、回転量をφとし、拡大量をμとする。なお、
回転量は角度の勾配で表す。すなわち、tan -1φが弧度
角となる。拡大量μを、拡大倍率から１を減じたもので
表す。すなわち、１＋μが拡大倍率となる。この場合、
このオブジェクトが生成する動きベクトル場は以下の式
を満足する。
【数１】ｕ（ｘ，ｙ）＝μｘ−φｙ＋ξ ｖ（ｘ，ｙ）＝φｘ＋μｙ＋η
【００２６】観測された動きベクトル場から運動パラメ
ータξ，η，φ，μを求めることを考える。画像座標
（ｘ0 ，ｙ0 ）における動きベクトルが（ｕ0 ，ｖ0 ）
である場合、これら４個の観測量ｘ0 ，ｙ0 ，ｕ0 ，ｖ
0 の組合せを生じ得る運動パラメータξ，η，φ，μの
候補は無数に存在するが、以下の式を満足する。
ータξ，η，φ，μを求めることを考える。画像座標
（ｘ0 ，ｙ0 ）における動きベクトルが（ｕ0 ，ｖ0 ）
である場合、これら４個の観測量ｘ0 ，ｙ0 ，ｕ0 ，ｖ
0 の組合せを生じ得る運動パラメータξ，η，φ，μの
候補は無数に存在するが、以下の式を満足する。
【数２】ξ −ｙ0 φ＋ｘ0 μ−ｕ0 ＝０ η＋ｘ0 φ＋ｙ0 μ−ｖ0 ＝０
【００２７】数２の解空間を全ての動きベクトルに対し
て計算すると、運動パラメータξ，η，φ，μの張る空
間において、オブジェクトの運動パラメータに対応する
点に解空間が多数交差する。互いに相違する動きの複数
のオブジェクトが存在する場合、対応する複数の点に多
数の解空間が交差する。その交点を抽出するためにHoug
h 変換が行われる。
て計算すると、運動パラメータξ，η，φ，μの張る空
間において、オブジェクトの運動パラメータに対応する
点に解空間が多数交差する。互いに相違する動きの複数
のオブジェクトが存在する場合、対応する複数の点に多
数の解空間が交差する。その交点を抽出するためにHoug
h 変換が行われる。
【００２８】なお、この説明では垂直並進、水平並進、
回転及び拡大に関する４次元の運動パラメータを用いた
が、必要に応じて回転や拡大の除去、アフィン変換まで
の考慮など、運動パラメータを増減して定式化を行うこ
ともできる。
回転及び拡大に関する４次元の運動パラメータを用いた
が、必要に応じて回転や拡大の除去、アフィン変換まで
の考慮など、運動パラメータを増減して定式化を行うこ
ともできる。
【００２９】次に、Hough 変換回路２の実装法を説明す
る。先ず、パラメータ空間を離散化して４次元配列で表
現する。４次元配列の要素の初期値を全て０にする。次
いで、動きベクトル場を構成する個々の動きベクトル
（ｕ0 （ｘ0 ，ｙ0 ），ｖ0 （ｘ0 ，ｙ0 ））につい
て、これらｘ0 ，ｙ0 ，ｕ0 ，ｖ0 の組合せを生じ得る
全ての解の候補点（ξ，η，φ，μ）に対応する４次元
配列の要素の値に正の値（例えば１）を加える。この操
作を投票と呼ぶ。
る。先ず、パラメータ空間を離散化して４次元配列で表
現する。４次元配列の要素の初期値を全て０にする。次
いで、動きベクトル場を構成する個々の動きベクトル
（ｕ0 （ｘ0 ，ｙ0 ），ｖ0 （ｘ0 ，ｙ0 ））につい
て、これらｘ0 ，ｙ0 ，ｕ0 ，ｖ0 の組合せを生じ得る
全ての解の候補点（ξ，η，φ，μ）に対応する４次元
配列の要素の値に正の値（例えば１）を加える。この操
作を投票と呼ぶ。
【００３０】全ての動きベクトルに対して投票操作を行
った後、得票数の集中した要素を探索する。この要素に
対応する運動パラメータが、オブジェクトの動きであ
る。互いに相違する動きの複数のオブジェクトが存在す
る場合、複数の要素に得票が集中する。その集中した要
素から複数のオブジェクトの動きを検出することができ
る。なお、以下の説明において、オブジェクトの個数を
Ｍとし、第ｉオブジェクトの運動パラメータを
った後、得票数の集中した要素を探索する。この要素に
対応する運動パラメータが、オブジェクトの動きであ
る。互いに相違する動きの複数のオブジェクトが存在す
る場合、複数の要素に得票が集中する。その集中した要
素から複数のオブジェクトの動きを検出することができ
る。なお、以下の説明において、オブジェクトの個数を
Ｍとし、第ｉオブジェクトの運動パラメータを
【外２】 とする。但し、ｉ＝１，２，．．．，Ｍとする。
【００３１】次に、Hough 変換回路２で得られた複数の
動きパラメータの各々について、対応する動き補償回路
３−１，３−２，３−３又は３−４が動き補償を行う。
これら動き補償回路３−１，３−２，３−３又は３−４
は、運動パラメータ
動きパラメータの各々について、対応する動き補償回路
３−１，３−２，３−３又は３−４が動き補償を行う。
これら動き補償回路３−１，３−２，３−３又は３−４
は、運動パラメータ
【外３】 に従って、前フレームＩ(n-1) （ｘ，ｙ）をそれぞれ垂
直並進し、水平並進し、回転し又は拡大する。
直並進し、水平並進し、回転し又は拡大する。
【００３２】これら垂直並進、水平並進、回転及び拡大
の結果が現フレームＩ(n) （ｘ，ｙ）と重複した領域
が、対応する運動パラメータの領域となる。一方、重複
しない領域は、互いに相違する動きを有する領域とな
る。運動パラメータ〔外３〕による動き補償の結果を
の結果が現フレームＩ(n) （ｘ，ｙ）と重複した領域
が、対応する運動パラメータの領域となる。一方、重複
しない領域は、互いに相違する動きを有する領域とな
る。運動パラメータ〔外３〕による動き補償の結果を
【外４】 とすると、
【数３】 と表現することができる。
【００３３】次に、差分回路４−１，４−２，４−３及
び４−４のそれぞれは、対応する動き補償回路３−１，
３−２，３−３又は３−４から出力された〔外４〕と現
フレームＩ(n) （ｘ，ｙ）との差分Ｄi （ｘ，ｙ）を、
び４−４のそれぞれは、対応する動き補償回路３−１，
３−２，３−３又は３−４から出力された〔外４〕と現
フレームＩ(n) （ｘ，ｙ）との差分Ｄi （ｘ，ｙ）を、
【数４】 に従って演算する。
【００３４】最後に、動き分類回路５は、差分回路４−
１，４−２，４−３及び４−４の結果Ｄi （ｘ，ｙ）を
用いて、動きごとにオブジェクトを抽出し及び分類す
る。具体的には、フレームの各画素（ｘ，ｙ）に対し
て、全ての運動パラメータ〔外３〕に対するＤi （ｘ，
ｙ）を求め、その絶対値｜Ｄi （ｘ，ｙ）｜を最小にす
る運動パラメータ〔外３〕を以てその画素の動きとす
る。フレームを画素ごとに動きの分類を行った結果をＣ
（ｘ，ｙ）とする。結果Ｃ（ｘ，ｙ）は、オブジェクト
の番号ｉを値として有する。すなわち、
１，４−２，４−３及び４−４の結果Ｄi （ｘ，ｙ）を
用いて、動きごとにオブジェクトを抽出し及び分類す
る。具体的には、フレームの各画素（ｘ，ｙ）に対し
て、全ての運動パラメータ〔外３〕に対するＤi （ｘ，
ｙ）を求め、その絶対値｜Ｄi （ｘ，ｙ）｜を最小にす
る運動パラメータ〔外３〕を以てその画素の動きとす
る。フレームを画素ごとに動きの分類を行った結果をＣ
（ｘ，ｙ）とする。結果Ｃ（ｘ，ｙ）は、オブジェクト
の番号ｉを値として有する。すなわち、
【数５】 と表現される。なお、オブジェクトにテクスチャが比較
的少ない場合のように所定の画素において｜Ｄi （ｘ，
ｙ）｜に有効な差が生じないときには、その画素を分類
をこの際には未定とし、後に周囲から補間することもで
きる。また、ノイズ除去フィルタなどを付加してオブジ
ェクトの形状を整形することもできる。
的少ない場合のように所定の画素において｜Ｄi （ｘ，
ｙ）｜に有効な差が生じないときには、その画素を分類
をこの際には未定とし、後に周囲から補間することもで
きる。また、ノイズ除去フィルタなどを付加してオブジ
ェクトの形状を整形することもできる。
【００３５】本実施の形態によれば、前フレームと現フ
レームとの２個のフレームのみを使用して、オブジェク
トの形状及び運動パラメータをロバストに取得すること
ができる。これらオブジェクトの形状及び運動パラメー
タを表現することによって、複数のオブジェクトを有す
る動画像を効率的に符号化することができる。
レームとの２個のフレームのみを使用して、オブジェク
トの形状及び運動パラメータをロバストに取得すること
ができる。これらオブジェクトの形状及び運動パラメー
タを表現することによって、複数のオブジェクトを有す
る動画像を効率的に符号化することができる。
【００３６】本発明は、上記実施の形態に限定されるも
のではなく、幾多の変更及び変形が可能である。例え
ば、運動パラメータをHough 変換以外の方法によって取
得することができ、運動パラメータの組合せを任意に設
定することができる。
のではなく、幾多の変更及び変形が可能である。例え
ば、運動パラメータをHough 変換以外の方法によって取
得することができ、運動パラメータの組合せを任意に設
定することができる。
【図１】 本発明による動画像のオブジェクト抽出装置
の実施の形態を示す図である。
の実施の形態を示す図である。
１ 動きベクトル場演算回路 ２ Hough 変換回路 ３ 予測部 ３−１，３−２，３−３，．．．，３−Ｍ 動き補償回
路 ４ 誤差検出部 ４−１，４−２，４−３，．．．，４−Ｍ 差分回路 ５ 動き分類回路 ６ 遅延回路
路 ４ 誤差検出部 ４−１，４−２，４−３，．．．，４−Ｍ 差分回路 ５ 動き分類回路 ６ 遅延回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 曽根原 源 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 境田 慎一 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 鄭 文涛 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C059 KK19 MA05 MB03 MB04 MB16 NN01 NN21 NN38 PP04 UA34 5L096 FA24 FA66 FA67 GA08 HA04 JA22
Claims (4)
- 【請求項１】 動画像の動きベクトルから運動パラメー
タを取得する運動パラメータ取得手段と、 前記運動パラメータ及び前記動画像の前フレームから前
記動画像の現フレームを予測する現フレーム予測手段
と、 前記フレーム予測手段によって予測された現フレームと
実際の現フレームとの差分を検出する差分検出手段と、 前記差分に基づいて前記動画像のオブジェクトをそれぞ
れ分類して出力するオブジェクト分類手段とを具えるこ
とを特徴とする動画像のオブジェクト抽出装置。 - 【請求項２】 前記運動パラメータ取得手段が、前記動
きベクトルを一般化Hough 変換することによって前記運
動パラメータを取得するように構成したことを特徴とす
る請求項１記載の動画像のオブジェクト抽出装置。 - 【請求項３】 前記運動パラメータを、拡大及び／又は
縮小、垂直並進及び水平並進並びに回転とすることを特
徴とする請求項１又は２記載の動画像のオブジェクト抽
出装置。 - 【請求項４】 前記運動パラメータとして、アフィンパ
ラメータ及び／又はアフィンパラメータ空間内の独立す
る１個以上のパラメータを用いたことを特徴とする請求
項１から３のうちのいずれか１項に記載の動画像のオブ
ジェクト抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125577A JP4201958B2 (ja) | 2000-04-26 | 2000-04-26 | 動画像のオブジェクト抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125577A JP4201958B2 (ja) | 2000-04-26 | 2000-04-26 | 動画像のオブジェクト抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001307104A true JP2001307104A (ja) | 2001-11-02 |
| JP4201958B2 JP4201958B2 (ja) | 2008-12-24 |
Family
ID=18635506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000125577A Expired - Fee Related JP4201958B2 (ja) | 2000-04-26 | 2000-04-26 | 動画像のオブジェクト抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4201958B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004057537A1 (ja) * | 2002-12-20 | 2004-07-08 | The Foundation For The Promotion Of Industrial Science | 画像における移動物体の追跡方法及び装置 |
| JP2005157779A (ja) * | 2003-11-26 | 2005-06-16 | Gifu Univ | 測距装置 |
| JP2007104516A (ja) * | 2005-10-07 | 2007-04-19 | Sony Corp | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 |
| JP2008140155A (ja) * | 2006-12-01 | 2008-06-19 | Fujitsu Ltd | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
| KR101016095B1 (ko) * | 2009-02-20 | 2011-02-17 | 성균관대학교산학협력단 | 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 |
| JP2014207554A (ja) * | 2013-04-12 | 2014-10-30 | 三菱電機株式会社 | 画像対応付け装置および画像対応付け方法 |
| JP2017103799A (ja) * | 2012-04-24 | 2017-06-08 | リリカル ラブズ ビデオ コンプレッション テクノロジー、エルエルシー | ビデオ符号化システム及びビデオを符号化する方法 |
-
2000
- 2000-04-26 JP JP2000125577A patent/JP4201958B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004057537A1 (ja) * | 2002-12-20 | 2004-07-08 | The Foundation For The Promotion Of Industrial Science | 画像における移動物体の追跡方法及び装置 |
| CN100385462C (zh) * | 2002-12-20 | 2008-04-30 | 财团法人生产技术研究奖励会 | 图像中的移动物体的跟踪方法及装置 |
| JP2005157779A (ja) * | 2003-11-26 | 2005-06-16 | Gifu Univ | 測距装置 |
| US7286688B2 (en) | 2003-11-26 | 2007-10-23 | Gifu University | Object detection apparatus, distance measuring apparatus and object detection method |
| JP2007104516A (ja) * | 2005-10-07 | 2007-04-19 | Sony Corp | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 |
| JP4661514B2 (ja) * | 2005-10-07 | 2011-03-30 | ソニー株式会社 | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 |
| JP2008140155A (ja) * | 2006-12-01 | 2008-06-19 | Fujitsu Ltd | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
| KR101016095B1 (ko) * | 2009-02-20 | 2011-02-17 | 성균관대학교산학협력단 | 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 |
| JP2017103799A (ja) * | 2012-04-24 | 2017-06-08 | リリカル ラブズ ビデオ コンプレッション テクノロジー、エルエルシー | ビデオ符号化システム及びビデオを符号化する方法 |
| JP2014207554A (ja) * | 2013-04-12 | 2014-10-30 | 三菱電機株式会社 | 画像対応付け装置および画像対応付け方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4201958B2 (ja) | 2008-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Efficient road detection and tracking for unmanned aerial vehicle | |
| Hötter et al. | Image segmentation based on object oriented mapping parameter estimation | |
| Rout | A survey on object detection and tracking algorithms | |
| JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
| JPH0660183A (ja) | 時空的画像におけるエッジおよび角の検出・追跡方法 | |
| CN110599522B (zh) | 一种视频序列中动态目标检测剔除方法 | |
| Shukla et al. | Moving object tracking of vehicle detection: a concise review | |
| US11593949B2 (en) | Method of detecting moving objects via a moving camera, and related processing system, device and computer-program product | |
| Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
| Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
| Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
| Angelo | A novel approach on object detection and tracking using adaptive background subtraction method | |
| Mohanty et al. | A survey on moving object detection using background subtraction methods in video | |
| JP4201958B2 (ja) | 動画像のオブジェクト抽出装置 | |
| Delibasoglu et al. | Motion detection in moving camera videos using background modeling and FlowNet | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| Liu et al. | A joint optical flow and principal component analysis approach for motion detection | |
| KR101394473B1 (ko) | 이동 물체 탐지 방법 및 그 감시 시스템 | |
| Sincan et al. | Moving object detection by a mounted moving camera | |
| Li et al. | Fast visual tracking using motion saliency in video | |
| KR100566629B1 (ko) | 이동물체 검출 시스템 및 방법 | |
| Tistarelli | Computation of coherent optical flow by using multiple constraints | |
| Mangal et al. | Real time moving object detection for video surveillance based on improved GMM | |
| Bhuyan et al. | Estimation of 2D motion trajectories from video object planes and its application in hand gesture recognition | |
| Ude et al. | Probabilistic detection and tracking at high frame rates using affine warping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080822 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080822 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081008 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141017 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |