JP2011018269A - 半透明物体の動き検出装置および方法 - Google Patents

Abstract

【課題】半透明物体の動き検出装置を提供する。
【解決手段】時系列な複数の画像を取り込むデータ入力手段１と、前記画像を蓄積するデータ蓄積手段２と、蓄積された画像を読み出し、複数の前記画像にそれぞれ含まれる同じ位置の画素から最大彩度を有する画素を抽出する処理を各画素の位置について行い、当該各位置について抽出した画素からなる背景画像を生成する背景抽出手段３と、前記背景画像を用いて前記画像から降雪などの半透明物体の部分を抽出し、予め定められた半透明性恒常性モデルを使用して、該半透明物体の部分の動きベクトルを検出する半透明動き推定手段４と、前記動きベクトルの始点と終点を粒子とみなしエネルギー最適化計算を行う最適化手段５と、前記エネルギー最適化計算の結果を表示する表示手段６とを設ける。
【選択図】図１

Description

本発明は、マルチメディア分野、符号化分野、通信分野において、実環境における天候変化のような環境外乱を含んだ映像シーンをモニタリングする映像製作などに関係する産業分野に属するものである。

近年、カメラの映像を使用した様々な監視システムが増えている。その中で、人や車の状況をモニタリングすることに加えて、様々な自然現象の変化を知る機会が増え、活用されつつある。一方、天候変化については、現状ではすべての気象に関する物理量をセンサで計測することができず、経験者による目視の観測が続けられている。対象として雨、雪、霧などを挙げることができる。そのため、限られた時間と場所での観測情報しか得られないことが課題となっている。

そこで、画像処理によるオプティカルフロー法のような動き推定法（非特許文献１参照）の適用も考えられるが、映像で捉えられる対象はカメラのシャッタスピードと対象の移動速度の関係から、非物理的なものになってしまうことが知られている。一つには雨粒や雪粒がカメラ近くを落下していくときに、映像では細長い対象として検出される現象を挙げることができる（非特許文献２参照）。その形状や落下速度、方向は時々刻々変化しているため、自動処理化が望まれている。

M.J. Black, "The robust estimation of multiple motions: Parametric and piecewise-smooth flow fields", Computer Vision and Image Understanding, p.75-104, 1996. K. Garg, S.K. Nayar, "Detection and Removal of Rain from Videos", CVPR, pp.528-535, 2004.

本発明の背景となった第１の問題点は、降雪のフローが安定かつ精度よく推定できないことである。第２の問題点は、大きな変位のフローが推定できないことである。第３の問題点は、降雪のフロー推定法において、客観的な基準が示されていないことである。

上記課題を解決するために、第１の本発明に係る半透明物体の動き検出装置は、時系列な複数の画像を取り込むデータ入力手段と、前記画像を蓄積するデータ蓄積手段と、複数の前記画像にそれぞれ含まれる同じ位置の画素から最大彩度を有する画素を抽出する処理を各画素の位置について行い、当該各位置について抽出した画素からなる背景画像を生成する背景抽出手段と、前記背景画像を用いて前記画像から半透明物体の部分を抽出し、予め定められた半透明性恒常性モデルを使用して、該半透明物体の部分の動きベクトルを検出する半透明動き推定手段と、前記動きベクトルの始点と終点を粒子とみなしエネルギー最適化計算を行う最適化手段と、前記エネルギー最適化計算の結果を表示する表示手段とを備えることを特徴とする。

第２の本発明に係る半透明物体の動き検出方法は、半透明物体の動き検出装置が行う半透明物体の動き検出方法であって、前記半透明物体の動き検出装置のデータ入力手段が、時系列な複数の画像を取り込み、前記半透明物体の動き検出装置のデータ蓄積手段が前記画像を蓄積し、前記半透明物体の動き検出装置の背景抽出手段が、複数の前記画像にそれぞれ含まれる同じ位置の画素から最大彩度を有する画素を抽出する処理を各画素の位置について行い、当該各位置について抽出した画素からなる背景画像を生成し、前記半透明物体の動き検出装置の半透明動き推定手段が、前記背景画像を用いて前記画像から半透明物体の部分を抽出し、予め定められた半透明性恒常性モデルを使用して、該半透明物体の部分の動きベクトルを検出し、前記半透明物体の動き検出装置の最適化手段が、前記動きベクトルの始点と終点を粒子とみなしエネルギー最適化計算を行い、前記半透明物体の動き検出装置の表示手段が、前記エネルギー最適化計算の結果を表示することを特徴とする。

本発明によれば、映像から、降雪のように大きな変位を示す半透明状の対象の動きベクトルが精度よく推定できる。また、最適化計算により客観的に動きベクトルを推定できる。また、風による旗、樹木の揺らぎを含んだシーンからでも降雪だけの動きベクトルを安定に推定できる。

本実施の形態に係る半透明物体の動き検出装置の構成図である。 背景画像の生成に関する説明のための図である。 降雪シーンを用いた本実施の形態と従来法の比較実験の結果を示す図である。 評価用の背景が白色の降雪シーンを示す図である。 評価に用いた、旗や樹木が風によりたなびいている降雪シーンを示す図である。

以下、本発明の実施の形態を図面を参照して説明する。

本実施の形態では、降雪の動きを２段階の方法により推定する方法について述べている。第１段階は時間フィルタを適用して、背景から降雪を抽出している。第２段階では降雪が半透明性を微小時間の間、保っているという輝度拘束条件を与えて、エネルギー最小化問題に帰着させている。これによりこれまで対応づけが困難であった降雪の動きが推定できるようになっていることが示されている。

図１は、本実施の形態に係る半透明物体の動き検出装置の構成図である。
半透明物体の動き検出装置は、データ入力手段１と、データ蓄積手段２と、背景抽出手段３と、半透明動き推定手段４と、最適化手段５と、表示手段６とを備える。

データ入力手段１は、図示しないカメラを通じて、時系列な複数の画像を取り込み、データ蓄積手段２は前記画像を蓄積する。背景抽出手段３は、蓄積された画像を読み出し、複数の前記画像にそれぞれ含まれる同じ位置の画素から最大彩度を有する画素を抽出する処理を各画素の位置について行い、当該各位置について抽出した画素からなる背景画像を生成する。半透明動き推定手段４は、前記背景画像を用いて前記画像から降雪などの半透明物体の部分を抽出し、予め定められた半透明性恒常性モデルを使用して、該半透明物体の部分の動きベクトルを検出する。最適化手段５は、前記動きベクトルの始点と終点を粒子とみなしエネルギー最適化計算を行う。表示手段は、前記エネルギー最適化計算の結果を表示する。

本実施の形態では、降雪が示す大きな変位に対応するために、粒子軌跡法の適用を提案する。以下、動きベクトルをフローと呼ぶ。一般的に、降雪のように、輝度が平坦もしくは半透明の対象から安定してフローを推定することは容易ではない。従来からのフローの多くは画像フレーム間において輝度恒常性を仮定しているため、半透明な対象ではその仮定が成り立たなくなる。そこで、降雪の特性により近い半透明性に関する恒常性モデルを提案する。従来から、フロー推定問題では、輝度に関する恒常性モデル（非特許文献１参照）が広く適用されている。

その処理のアルゴリズムについて述べる。まず、背景から前景の降雪領域を抽出するために、時間フィルタを用いる。必要とされる画像生成モデルは次のようなモデルである。

モーションブラーのためにビデオ上の雪は半透明であると仮定し、式（１）を定義する。

ここで、αは雪の透明度、Ｐは１枚の画像の画素値、Ｆは前景である雪、Ｂは背景である。雪粒がほとんど白色であると仮定したとき、式（１）から雪のモーションブラーはＨＳＶ色空間において背景のsaturation（彩度）を減少させる。また、背景は前景に比べて急峻に変化しないと仮定した。このことに基づいて、最大彩度をもつ画素は背景に属するものと仮定した。経験的に、ビデオレイト３０ｆｐｓ（フレーム毎秒）の場合、２０〜４０フレームを用いている。

ここで、α_ｉ（ｘ，ｙ）は、ｉ番目の画像で最大彩度をもっているときの値を示す。

背景Ｂが推定された後、ビデオの各フレームでの雪の透明度を計算する。式（１）において、ＰとＢは既知であり、Ｆは雪の色度である。このことから、式（３）のように、αを各フレームについて得ることができる。

背景が大きく変化したり、カメラ自身に大きな揺れが生じない限り、式（３）は１秒ごとに更新するようにした。次に、ＨＳＶ色空間において、ＨとＶがそのフレームで最も近い画素を推定された背景の近傍領域より見つける。Ｂは式（３）においてこの画素の色により代入される。

図２は、背景画像の生成に関する説明のための図である。図２（ａ）の符号２００で示すような時系列画像から本実施の形態で抽出した背景（図２（ｂ）の符号２１０）と、単純な移動平均法により抽出した背景（図２（ｃ）の符号２２０）を比較した。なお、矩形点線領域の拡大図を並べて示す。

ここで移動平均法とは、例えば、連続した５枚の時系列画像を用いて、その５枚の和をとり、輝度について５で割って平均をとるものである。和をとるときは同一画素について計算し、平均をとるときも同様である。各符号２１０、２２０の背景を得るときは、３０フレームが適用された。本実施の形態では、明瞭な背景が推定されたが、従来法ではぼやけたものになった。このようにぼやけたのは、明らかに、白く半透明な降雪が平均処理によって背景に広ろげられたことによるものである。このような不完全な背景（符号２２０）では、前景である降雪のフローを推定することが困難である。以上より、時間フィルタの効果が示された。

複雑な背景から降雪領域が抽出された後、降雪のフロー問題が緩和される。しかし、降雪はビデオにおいてさまざまな速度、形状を伴って変化している。特に、カメラに近い降雪であるほど高速に移動するため、画像フレーム間の対応づけに工夫が必要となる。こういった諸物理的な特性に対処するために、単位時間当たりが大きい変位に対応したフロー推定法を考案する。屋内での手の動きと違って、屋外での雪粒は空間的な連続性を満たさない。その理由として、降雪には風による動きの乱れも含まれており、複雑な動きを示すことが挙げられる。さらに、カメラから奥行き方向に沿って見かけの雪粒の移動速度が異なっているために、２次元画像の平面上にはさまざまな不連続的な動きとして映し出されるためである。そこで階層画像を次のように適用した。多重解像度の画像を縮小率ｒにより逐次的に生成した。ここでは各層において、ｒ=０．８とし、１０層の多重解像度の画像を生成した。各層ではガウスフィルタを適用した。階層画像において、非常に小さい動きについては無視することにした。"Lucas-Kanade: LK"法に基づいて、輝度恒常性モデルから透明性に関する恒常性モデルとして扱う。

式（４）右辺のKσは、重み係数であり、括弧の２乗項の値の大きさに反比例した値を与える。Ｉ_ｘ、Ｉ_ｙはそれぞれ、画像輝度Ｉのｘ、ｙに関する空間一次微分であり、Ｉ_ｔは、時間一次微分である。ｕ、ｖは推定される対象の動きベクトル（フロー）である。

また、式（４）の右辺は、一定画像領域（例えば、３×３〜２０×２０画素程度）についての和をとる。

（降雪の軌跡の最適化）
ここでは大きい変位を示す降雪の移動軌跡（フロー）を推定する方法について述べる。

ある雪粒ｉは、時間依存の位置（ｘ_ｉ（ｔ），ｘ_ｉ（ｔ））をもつものとする。各画像（フレーム）において、次の４ステップを用いる。

１）伝播：
式（４）よりフローを求める。フローベクトルの始点と終点を粒子の位置とみなす。

２）結合：
同一のフレーム内において、隣接する粒子を結合する。ここでは、仮の結合とし、次の最適化計算により、再結合を行う。

３）最適化：
式（５）〜（１１）を用いて、エネルギー関数の最適化を行う。

４）枝切：
推定された動きの信頼性が低い粒子を削減する。

目的関数として３つのエネルギー項からなる関数を提案し、これを最適化計算していく。３つのエネルギー項とはデータ項、歪項、フロー項である。データ項は前のフレームと現在のフレームでの雪粒がどれだけ一致するかを計測する。歪項は雪粒が空間的な連続性を満たすかどうかを計測する。

ロバスト関数

を定義する。

ｕ_ｉ（ｔ）とｖ_ｉ（ｔ）はフレームｔでの雪粒ｉのフロー成分である。

ａ（ｘ_ｉ，ｙ_ｉ，ｔ）はフレームｔでの雪粒ｉの透明度である。

３つ目のフロー項は個々の粒子の軌跡がフローと一致するかを計測するためのものに導入した。同時に、ビデオにおける雪粒の軌跡を最適化する。

以上より、フレームｔにおける雪粒ｉの全エネルギーＥ（ｉ，ｔ）は式（８）で定義される。２つの係数ａ_{ｄｉｓｔｏｒｔ}，ａ_ｆｌｏｗは経験的に決定される。ここでは、それぞれ５，０、１，０とした。前者は風による乱流の程度が大きい場合は大きくするのが妥当である。

次に、用いる時間と空間方向での時系列画像に含まれるすべての雪粒のエネルギーは式（９）により定義される。

Ｆ は１枚の画像における粒子数であり、Ｖは時系列画像の枚数である。すべてのフレームにおいて、（ｘ_ｉ（ｔ），ｙ_ｉ（ｔ））を最適化するために、（ｄｘ_ｉ（ｔ）＋ｘ_ｉ（ｔ），ｄｙ_ｉ（ｔ）＋ｙ_ｉ（ｔ））を（ｘ_ｉ（ｔ），ｙ_ｉ（ｔ））に代入した。

エネルギーの最適化は、式（９）が最小値をもつように、各粒子の位置を求めることである。これにより、フローが推定される。そこで、全エネルギーＥの（ｘ_ｉ（ｔ），ｙ_ｉ（ｔ））に関する１次微分が０になる必要条件として与えた。

Ｒは偏微分の非線形関数を、Ｇは線形関数を表す。式（１１）は線形連立一次方程式をなす。これを解くにはさまざまな方法が考えられるが、共役勾配法を適用した。（ｄｘ_ｉ，ｄｙ_ｉ）について初期値として、（０，０）を与えた。反復回数は最大１０回とした。これにより、十分に収束する。

本実施の形態の有効性について示すために、３種類の降雪シーンが適用された。各ビデオは数分間のものである。

図３、４、５に示すように、各シーンの特徴は、１)森林を背景とし、高い密度で大きい雪粒が降るシーン、２)降雪と積雪がある道路と斜面があるシーン、３)家、樹木を背景とし、風により旗と樹木が揺らいでいるシーン、である。いずれも従来からの輝度恒常性モデルでは安定したフロー検出が困難であった。

図３は、降雪シーンを用いた本実施の形態と従来法の比較実験の結果を示す図である。

図３（ａ）の符号３００は降雪シーンの原画像、図３（ｂ）の符号３１０は本実施の形態で抽出された背景、図３（ｃ）の符号３２０は本実施の形態で推定されたフローである。図３（ｄ）の符号３３０は、従来法（非特許文献２）で推定されたフローである。本実施の形態によるフローは風により斜めに降る雪粒の動きが良好に得られている。局所的な方向が異なる降雪領域についても実際の降雪のビデオとの対応づけで的確に推定できていることが確認された。これについては用いたビデオフレームすべてにわたって確認された。従来法では近傍で誤対応が多数生じており、視覚的に明らかに不自然なフローとなった。この誤対応の要因の一つとして、単純に隣接している雪粒同士の対応づけがエネルギー関数の最小化を導いたと考えられる。これは従来法が輝度恒常性モデルに基づいているため、輝度以外の移動距離、形状などの拘束条件が含まれていないことから明らかな結果である。

背景が異なる別の降雪について実験を行った。図３（ｅ）の符号３４０で示す本実施の形態のフローでは降雪によるフローが良好に検出された。一方、図３（ｆ）の符号３５０で示す従来法のフローでは局所的に不自然なフローが得られた。これは近傍の誤対応によるものである。

映像だけの情報では、一般に定量的な評価が容易ではない。そこで、映像において幾つかの評価用の矩形領域（窓）を設定した。その中で、窓の中の降雪の方向と移動距離についての評価を行った。視覚的にトレースしたときの結果を正解とした。用いた全フレームにおける平均値を用いて比較した。

画像において、２次元の座標系を想定し、画面の上方向をｙ軸、右方向をｘ軸とした。その結果、降雪の正解の移動方向は１１６度、推定された角度は１３０．０度となった。

図４は、評価用の背景が白色の降雪シーンを示す図である。

図４（ａ）の符号４００は正解のフローの全体図、図４（ｂ）の符号４１０は推定されたフローの全体図である。正解のフローの角度、推定されたフローの角度は、それぞれ１１３度、１２３．９７度となった。

図５は、評価に用いた、旗や樹木が風によりたなびいている降雪シーンを示す図である。

図５（ａ）の符号５００は正解のフローの全体図、符号５１０はその拡大図、図５（ｂ）の符号５２０は推定されたフローの全体図、符号５３０はその拡大図である。正解のフローの角度、推定されたフローの角度は、それぞれ５５度、５５．８８度となった。本実施の形態では、風により、旗や樹木の揺らぎが背景に存在しても、最適化計算の過程で余分な動きが客観的に排除された。

上述のように、フローの推定誤差は２〜１４度の範囲に留まった。本実施の形態による大きい変位を示すような降雪フロー推定法の有効性が示された。

なお、このような半透明物体の動き検出方法を半透明物体の動き検出装置に実行させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録したり、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

１…データ入力手段
２…データ蓄積手段
３…背景抽出手段
４…半透明動き推定手段
５…最適化手段
６…表示手段

Claims (3)

1. 時系列な複数の画像を取り込むデータ入力手段と、
   前記画像を蓄積するデータ蓄積手段と、
   複数の前記画像にそれぞれ含まれる同じ位置の画素から最大彩度を有する画素を抽出する処理を各画素の位置について行い、当該各位置について抽出した画素からなる背景画像を生成する背景抽出手段と、
   前記背景画像を用いて前記画像から半透明物体の部分を抽出し、予め定められた半透明性恒常性モデルを使用して、該半透明物体の部分の動きベクトルを検出する半透明動き推定手段と、
   前記動きベクトルの始点と終点を粒子とみなしエネルギー最適化計算を行う最適化手段と、
   前記エネルギー最適化計算の結果を表示する表示手段と
   を備えることを特徴とする半透明物体の動き検出装置。
2. 半透明物体の動き検出装置が行う半透明物体の動き検出方法であって、
   前記半透明物体の動き検出装置のデータ入力手段が、時系列な複数の画像を取り込み、
   前記半透明物体の動き検出装置のデータ蓄積手段が前記画像を蓄積し、
   前記半透明物体の動き検出装置の背景抽出手段が、複数の前記画像にそれぞれ含まれる同じ位置の画素から最大彩度を有する画素を抽出する処理を各画素の位置について行い、当該各位置について抽出した画素からなる背景画像を生成し、
   前記半透明物体の動き検出装置の半透明動き推定手段が、前記背景画像を用いて前記画像から半透明物体の部分を抽出し、予め定められた半透明性恒常性モデルを使用して、該半透明物体の部分の動きベクトルを検出し、
   前記半透明物体の動き検出装置の最適化手段が、前記動きベクトルの始点と終点を粒子とみなしエネルギー最適化計算を行い、
   前記半透明物体の動き検出装置の表示手段が、前記エネルギー最適化計算の結果を表示する
   ことを特徴とする半透明物体の動き検出方法。
3. 請求項２記載の半透明物体の動き検出方法を半透明物体の動き検出装置に実行させるコンピュータプログラム。