JP2007018269A - 映像中の動き確率計算方法、映像中の動き確率マップ計算方法、変化検出方法、及びプログラム - Google Patents

Abstract

【課題】 速度ベクトルを画像から計算するのではなく、予め速度ベクトルを想定し、その動きであった場合に画像にどれだけ整合性があるかを確率的な計算により求める技術を提供する。
【解決手段】 カメラで撮影された映像を解析して動き確率をコンピュータを用いて計算する方法であり、確認したい動きの量を設定する要求動き量設定処理、映像中の定常的ノイズを設定するノイズ量設定処理、映像から２枚の画像を選択する２画像選択処理、２枚の画像の各点毎の特徴量を計算する画像特徴量計算処理、ノイズ量、画像特徴量、及び要求動き量に基づいて２枚の画像において要求動き量に一致する動きが得られていることについての確率を示す動き確率を計算する動き確率計算処理、を行う映像中の動き確率計算方法を用いて各点の動き確率を計算する。
【選択図】 図１

Description

本発明は、カメラで撮影された物体の移動の有無を推定するため、予めカメラの動き等から得られる速度ベクトルを推定できている場合に、その動きと合致する可能性を各点毎に計算する技術に関する。また、これを様々な速度のベクトルで行うことによって、動きの確率マップ、つまり信頼度付きオプティカルフローを計算する技術に関する。

速度ベクトルが推定できている場合にその動きと合致するか否かを判断するには、オプティカルフローを計算してその結果と推定するベクトルとを比較する方法が考えられる(例えば、特許文献１、２参照。)。

実際、各点において正確に速度ベクトルが計算されていれば、原理的に推定した動きと一致するか否かを判断できる。しかし、速度ベクトル計算はノイズなどの影響を受けやすく不安定である。

このため様々なパラメータ調整と繰り返し演算を行って、速度ベクトルの不連続さを抑制するなども行われる。しかし、全体としての整合性が向上するだけであり、各速度ベクトルの精度が改善するわけではない。したがって、速度ベクトルには信頼性の問題があり、推定した速度ベクトルとの比較は不正確になる。

すでに速度ベクトルが推定できている場合に、その動きと合致するか否かを判断する別の方法としては、実際に画像をその動き分だけ動かして、マッチング処理を行う方法も考えられる。しかし推定される動きがサブピクセルの場合、実際にその動き分をずらした画像を生成する手間がかかる。

動きの有無を判定することによって行う変化検出も、監視などに広く利用される技術である（例えば、特許文献３参照。）。しかし変化、つまり動きがゼロであるか否かのみを検知しており、特定の動きであるか否かを判断することはできない。
特開平８−２４９４７０号公報 特開平９−２９７８５１号公報 特開平１１−３２８３１１号公報

そこで、速度ベクトルを画像から計算するのではなく、予め速度ベクトルを想定し、その動きであった場合に画像にどれだけ整合性があるかを確率的な計算により求める技術を提供する。

これにより、誤差が多くなりがちの速度ベクトル計算に頼らず、想定した速度ベクトルに矛盾ないかを判断する技術を提供して、動きを想定した画像を生成することなく処理を行うことを可能とする。

そこで、上記課題を解決するために、請求項１に記載の発明は、カメラで撮影された映像を解析して動き確率をコンピュータを用いて計算する方法であって、確認したい動きの量を設定する要求動き量設定ステップと、映像中の定常的ノイズを設定するノイズ量設定ステップと、映像から２枚の画像を選択する２画像選択ステップと、前記２枚の画像の各点毎の特徴量を計算する画像特徴量計算ステップと、前記ノイズ量、前記画像特徴量、及び前記要求動き量に基づいて前記２枚の画像において該要求動き量に一致する動きが得られていることについての確率を示す動き確率を計算する動き確率計算ステップと、を有することを特徴とする。

また、請求項２に記載の発明は、前記画像特徴計算ステップでは、前記２画像選択ステップで選択された第１の画像についてヘッセ行列を計算し、第１の画像と第２の画像との差分画像のグラジエントを計算することを特徴とする。

また、請求項３に記載の発明は、カメラで撮影された映像を解析して動き確率をコンピュータを用いて計算し、動き確率マップを作成する方法であって、確認したい動きの量をテーブル化して蓄積おき、各動きの量をそれぞれ設定する要求動き量設定ステップと、映像中の定常的ノイズを設定するノイズ量設定ステップと、映像から２枚の画像を選択する２画像選択ステップと、前記２枚の画像の各点毎の特徴量を計算する画像特徴量計算ステップと、前記ノイズ量、前記画像特徴量、及び前記各設定された要求動き量に基づいて前記２枚の画像において該要求動き量に一致する動きが得られていることについての確率を示す動き確率を計算する動き確率計算ステップと、を有し、前記設定された要求動き量毎に映像中の動き確率を計算してマップとして保持することを特徴とする。

また、請求項４に記載の発明は、前記画像特徴計算ステップでは、前記２画像選択ステップで選択された第１の画像についてヘッセ行列を計算し、第１の画像と第２の画像との差分画像のグラジエントを計算することを特徴とする。

また、請求項５に記載の発明は、カメラで撮影された映像を解析して動き確率をコンピュータを用いて計算し、確認したい動きと異なる動きを検出することで変化を検出する方法であって、確認したい動きの量を設定する要求動き量設定ステップと、映像中の定常的ノイズを設定するノイズ量設定ステップと、映像から２枚の画像を選択する２画像選択ステップと、前記２枚の画像の各点毎の特徴量を計算する画像特徴量計算ステップと、前記ノイズ量、前記画像特徴量、及び前記要求動き量に基づいて前記２枚の画像において該要求動き量に一致する動きが得られていることについての確率を示す動き確率を計算する動き確率計算ステップと、確率についてのしきい値を蓄積し、該しきい値と前記算出した確率とを比較して、該しきい値よりも小さい確率を有する点を前記確認したい動きと異なる動きが検出された点とするしきい値比較ステップと、を有することを特徴とする。

また、請求項６に記載の発明は、前記画像特徴計算ステップでは、前記２画像選択ステップで選択された第１の画像についてヘッセ行列を計算し、第１の画像と第２の画像との差分画像のグラジエントを計算することを特徴とする。

また、請求項７に記載の発明は、上記請求項１〜６に記載の方法をコンピュータに実行させるプログラムである。

請求項１〜７に記載の発明では、設定した速度ベクトルが撮影した２枚の画像間に現れる動きと比較して矛盾があるかどうかを判定することが可能である。例えば、設定した速度ベクトルを０とすれば、２枚の画像間の速度が０であったときは確率が高い値に、速度が０ではないときは確率が低い値になる。

さらに、請求項５、６では、確率にしきい値を設定することで、設定する速度ベクトルが０のときには動いている点、動いていない点を判断することが可能である。また、設定する速度ベクトルが０ではないときすなわち背景の動きが得られているような状況では、各点において映像に現れる動きが背景の動きと同じであるかを判断することが可能である。

請求項１〜７に記載の発明によれば、あらかじめ速度ベクトルを設定し、撮影した画像の各点においてこの速度ベクトルとどれだけ整合性があるかを求めることが可能となり、設定した速度ベクトルに矛盾があるかを判断することが可能となる。

(実施形態)
以下、図面を用いて実施形態について説明する。

図１は動き確率マップ計算方法手順の説明図である。図１に示すように、確率マップ計算手順は要求動き量設定処理１１、ノイズ量設定処理１２、２画像選択処理１３、画像特徴量計算処理１４、及び動き確率計処理１５を行い、動き確率１６を得る。

要求動き量設定処理１１は、予め計算しようとする動きベクトルを設定する処理を行う。要求動き量は各点毎に２次元ベクトル値として与えられる。要求動き量は各点毎、時間毎に異なる大きさでもよく、各点、各処理画像ペア毎に決まっていればよく、方法は特には限定されないが既知の技術を用いることが可能である。

例えば全点ゼロであってもよい。カメラの設置位置、カメラのズーム、及び回転等の動きから、背景に想定される動き量を映像内２次元ベクトルとして計算してもよい。また、複数の要求動き量を用意して、順次マップ化することも可能である。

以下、動きベクトルを

と表現する。これは、上記のとおり場所毎、時間毎に異なる値であってもよいが、説明の簡単のために場所、時間のインデックスは省略して記す。

ノイズ量設定処理１２は映像内のノイズ量を推定して設定する。基本的にはノイズ量は２×２の行列Λであって、固有ベクトルはゼロ以上の正の値とする。但し、簡単には正のスカラー値として定義することもできる。この場合は、２×２の行列は、単位行列のスカラー値倍と考えればよい。推定方法は、画像内で固定の値でもよいし、場所毎に異なる値であってもよい。いずれに場合の、大きいほどノイズ量が多いことを意味する。

以下、ノイズ量はΛとして表現するが、上記動きベクトルと同じく、場所毎、時間毎に異なる値であってもよいが、説明の簡単のためにインデックスは省略して記す。

ノイズ量は、画質がよい場合は原理的には１で十分であるが、実際にはノイズが発生するため多少大きな値とする。但しその設定は、実験的に行ってもよいし、経験的に決めてもよいが、詳細はここでは規定しない。

２画像選択処理１３は時系列映像から処理対象とする２枚を選択する処理である。以下、２枚の処理対象画像をｇ₁，ｇ₂とあらわす。ここでは２枚の画像を選択して動き確率を計算していくが、これを繰り返すことも当然ながら簡単な応用として可能である。なお、撮影時間が比較的近い２枚の画像を選択するようにして処理を行うことが可能である。

画像特徴量計算処理１４は２枚の画像の画像特徴を計算する処理である。以下に、具体的な計算方法を述べる。

ｇ（ｇ（ｘ，ｙ））を画像とする。このグラジエント画像を

と書くことにする。また画像のヘッセ行列を

と書く。

ここでは選択する２枚の画像ｇ₁，ｇ₂を用いて、▽（ｇ₂−ｇ₁）を計算する。また１枚目の画像ｇ₁についてはそのヘッセ行列を計算しておく。

動き確率計処理１５は、以上の準備の元で、各点において、その動きが動きベクトル

である確率を計算する。この結果は各点毎に確率的な数値で得られるので、画像のサイズと同じ大きさの画像（動き確率１６；動き確率マップ）が得られる。

動き確率の具体的計算方法例を述べる。確率は、

で与える。ここで

は、

が成り立つベクトルである。ｇ₁のヘッセ行列の行列式がゼロでない場合は、当然、

である。行列式がゼロの場合は、

は一意に定めることはできないが、数７が成立する限りどの値であってもよい。

数５にあらわれる

は、２次微分で記述されたオプティカルフローの拘束式

と関連がある。この式は、オプティカルフローの拘束式として一般に利用される
式Ｉ_xｕ＋Ｉ_yｖ＋Ｉ_t＝０
の両辺をｔについて微分したものである。ここで、
Ｉ＝Ｉ（ｘ，ｙ，ｔ）
はある時間の画像１点の輝度値、

などを意味する。

とおき、

時間微分を差分で置き換えると、

は、

と変形される。

一方、

であるので、

は、

がオプティカルフローの拘束式、を満足する時に最小値をとる。

数５は、必ずゼロから１の範囲の値となる。画像の特徴的でない点（つまり平坦な部分）では

が多少変わっても、数５の値はほとんど変化しない。一方、画像の特徴的な点では、

が

に一致する場合のみ大きな値が得られる。

また数５は、Λのそれぞれの固有ベクトル、又は行列式が大きいほど広い範囲の

において大きな値が得られる。

また、要求動き量蓄積処理を行うことも可能である。これは各点毎に要求する動き量を設定して、その動きに対応する動き確率を各点毎に計算する処理である。

図２は、要求する動きベクトル

を一定のベクトルに固定して動き確率を計算し、マップ化した例である。

図２(ａ)は、２枚目の画像は１枚目の画像を（０．５，０．５）ドットずらし、動きベクトルは（０．５，０．５）として生成した画像の動き確率マップ例である。

図２(ｂ)は、２枚目の画像は１枚目の画像を（０．５，０．５）ドットずらし、動きベクトルは（０．０，０．０）として生成した画像の動き確率マップ例である。

図２(ｃ)は、実際に動きのある画像に対し、動き量をゼロとして生成した画像の動き確率マップ例である。

図２(ａ)は、１枚の画像をｘｙ方向それぞれ０．５ドットずらし、この動き量を

として与えて動き確率マップを計算した結果である。確率が高い結果が得られた画素は白く、確率が低い場所では黒く表示されている。図２(ａ)に示すようにほぼ前面にわたり白い画面が得られている。

図２(ｂ)は、同じく１枚の画像をｘｙ方向それぞれ０．５ドットずらし、但し動き量

はゼロとして動き確率マップを計算した例である。図２(ｂ)に示すように画面右上方向は、元々特徴が少ないため白く、その他の領域では黒が多い画像になっている。つまり、動き量

をゼロとした場合は、動きの検知に利用できることがわかる。

図２(ｃ)は、実際に時系列画像２枚を利用して、動き量

をゼロとした場合の動き確率マップを計算した例である。図２(ｃ)に示すように人が二人画面内に立っている例であって、僅かではあるが動いていることがわかる。

図２(ａ)の例から明らかなように、１ドット単位以下であっても速度ベクトルとの整合性を確率分布で求めることができるので、例えばずらしマッチングでサブピクセル単位で画像を生成して照合を行う際の困難さを回避できることがわかる。

また、図２(ｃ)の例から明らかなように、精度が高い変化検知としても利用可能であることがわかる。

また、予めしきい値を用意して、映像中の動き確率マップの値をしきい値処理して変化の有無を判定することも可能である。特徴的な点では、実際の動きが想定する動きベクトル

と異なる場合、動き確率マップの値は小さくなるため、しきい値より小さな場所では

とは異なる動きであると判断する。図２(ｃ)をしきい値処理することによって、この場合は動きがあった場所だけを特定することができる。

特別な例として、

がゼロである場合、数５は

となる。従ってこの場合は、２枚の画像にグラジエント処理を施して、差分２乗の値

をしきい値処理した結果と同様な（変化抽出）結果が得られる。

このしきい値は、Ｐの値の範囲のゼロ以上１以下の場合に意味があり、実際には０．５など中間的な値が適当と考えられるが、実験的に決めても構わない。また、しきい値処理は、１点でのみ行う必要はなく、局所的な平均値でしきい値処理することも考えられる。

なお、１点につき１つの動きだけでなく、複数の動きについて同様の処理を行うこともできる。例えば上下の動きだけを検知したい場合は、上下方向にのみ動き確率計算を行えばよい。

以上、すべて画像を直接処理する方法を示したが、実際の処理にあたり、画像に対して何らかの前処理を施しておいてもよい。例えば、微分処理の前処理として平滑化や対数変換を行っておくことが可能である。平滑化処理では、高周波成分の影響を取り除くことが期待できる。対数変換によって、微分処理が加わることで照明変動の影響が大きく低減できる。

また、以上の定義は１点（ｘ，ｙ）のみを利用する形で説明したが、実際にはＨｅｓｓ（ｇ₁（ｘ，ｙ）），▽ｇ_i（ｘ，ｙ）などの近傍において積分（または総和）を計算しても、全く同様の議論が成り立つ。

(動き確率計算装置の構成例)
上記各処理を行い動き確率を計算する動き確率計算装置の構成例について説明する。

動き確率計算装置は、映像を入力する入力部、要求動き量設定、ノイズ量設定、画像特徴量計算、及び動き確率計算に必要な数式を記録する記録部、情報を出力する出力部、並びに要求動き量設定、ノイズ量設定、画像特徴量計算、及び動き確率計算を行う制御部を備える構成にすることができる。

例えば、ＣＰＵを用いて制御部を実現し、上記各処理の処理結果である画像特徴量、確率マップ等を書き込み次の処理で必要なときにこれらを読み出すメモリ、出力部であるディスプレイ、入力部である画像入力装置、記憶部であるハードディスクがこのＣＰＵに接続される。ハードディスクには要求動き量設定プログラム、ノイズ量設定プログラム、画像特徴量計算プログラム、動き確率計算プログラム、要求動き量蓄設定積プログラム、及びしきい値蓄積比較プログラム、数式、しきい値、並びにオペレーティングシステムが記憶されている。プログラムはＣＤ−ＲＯＭドライブを介してＣＤ−ＲＯＭからインストールことが可能である。

(実施形態の効果)
上記実施形態で説明したように、カメラが動かない場合の変化抽出、又は特定の動きが想定できる映像内での特定の動き以外の動きの抽出ができるようになる。すなわち、固定位置に設置したカメラを動かして予め想定できる見かけの動き以外の動きのみを検出できる。

上記方法は例外処理を含まないため、簡単なプログラミングで処理を実現できるようになる。

動き確率マップ計算方法手順の説明図。 要求する動きベクトルを一定のベクトルに固定し、動き確率を計算してマップ化した例を示す図。

符号の説明

１１ 要求動き量設定処理
１２ ノイズ量設定処理
１３ ２画像選択処理
１４ 画像特徴量計算処理
１５ 動き確率計算処理
１６ 動き確率

Claims (7)

1. カメラで撮影された映像を解析して動き確率をコンピュータを用いて計算する方法であって、
   確認したい動きの量を設定する要求動き量設定ステップと、
   映像中の定常的ノイズを設定するノイズ量設定ステップと、
   映像から２枚の画像を選択する２画像選択ステップと、
   前記２枚の画像の各点毎の特徴量を計算する画像特徴量計算ステップと、
   前記ノイズ量、前記画像特徴量、及び前記要求動き量に基づいて前記２枚の画像において該要求動き量に一致する動きが得られていることについての確率を示す動き確率を計算する動き確率計算ステップと、
   を有することを特徴とする映像中の動き確率計算方法。
2. 前記画像特徴計算ステップでは、
   前記２画像選択ステップで選択された第１の画像についてヘッセ行列を計算し、第１の画像と第２の画像との差分画像のグラジエントを計算することを特徴とする請求項１に記載の映像中の動き確率計算方法。
3. カメラで撮影された映像を解析して動き確率をコンピュータを用いて計算し、動き確率マップを作成する方法であって、
   確認したい動きの量をテーブル化して蓄積おき、各動きの量をそれぞれ設定する要求動き量設定ステップと、
   映像中の定常的ノイズを設定するノイズ量設定ステップと、
   映像から２枚の画像を選択する２画像選択ステップと、
   前記２枚の画像の各点毎の特徴量を計算する画像特徴量計算ステップと、
   前記ノイズ量、前記画像特徴量、及び前記各設定された要求動き量に基づいて前記２枚の画像において該要求動き量に一致する動きが得られていることについての確率を示す動き確率を計算する動き確率計算ステップと、を有し、
   前記設定された要求動き量毎に映像中の動き確率を計算してマップとして保持することを特徴とする映像中の動き確率マップ計算方法。
4. 前記画像特徴計算ステップでは、
   前記２画像選択ステップで選択された第１の画像についてヘッセ行列を計算し、第１の画像と第２の画像との差分画像のグラジエントを計算することを特徴とする請求項３に記載の映像中の動き確率マップ計算方法。
5. カメラで撮影された映像を解析して動き確率をコンピュータを用いて計算し、確認したい動きと異なる動きを検出することで変化を検出する方法であって、
   確認したい動きの量を設定する要求動き量設定ステップと、
   映像中の定常的ノイズを設定するノイズ量設定ステップと、
   映像から２枚の画像を選択する２画像選択ステップと、
   前記２枚の画像の各点毎の特徴量を計算する画像特徴量計算ステップと、
   前記ノイズ量、前記画像特徴量、及び前記要求動き量に基づいて前記２枚の画像において該要求動き量に一致する動きが得られていることについての確率を示す動き確率を計算する動き確率計算ステップと、
   確率についてのしきい値を蓄積し、該しきい値と前記算出した確率とを比較して、該しきい値よりも小さい確率を有する点を前記確認したい動きと異なる動きが検出された点とするしきい値比較ステップと、を有することを特徴とする変化検出方法。
6. 前記画像特徴計算ステップでは、
   前記２画像選択ステップで選択された第１の画像についてヘッセ行列を計算し、第１の画像と第２の画像との差分画像のグラジエントを計算することを特徴とする請求項５に記載の変化検出方法。
7. 上記請求項１〜６に記載の方法をコンピュータに実行させるプログラム。