JP2007018271A - 映像中のノイズ特性推定方法、映像中の物体の速度ベクトルの分布推定方法、及びプログラム - Google Patents

Abstract

【課題】 得られた画像の各点毎にノイズ量を直接推定して、定常的な変化をノイズ量として推定する技術を提供する。この結果は速度計算に利用することができ、結果として安定的な速度ベクトルの分布を推定する技術を併せて提案する。
【解決手段】 撮影した画像の中で定常状態にある画像を定常状態画像１２として蓄積する定常状態情報蓄積処理１１、定常状態画像を解析して画像上の各点毎にノイズ特性を推定するノイズ特性推定処理１３を有するノイズ特性推定方法によりノイズ特性を推定する。そして、撮影した画像中から速度ベクトルを求めようとする対象画像を選択する処理対象画像選択処理、上記推定したノイズ特性、及び選択された画像中の２枚の画像に基づいて速度ベクトルの分布を画像中の各点毎に推定する速度分布推定処理を有する速度ベクトルの分布推定方法により速度ベクトル分布を推定する。
【選択図】 図１

Description

本発明は、カメラで撮影された物体の移動の有無を推定するため、画像内にあらわれる速度ベクトル計算を精度よく行うための技術を提供するものであり、さらに、映像内に発生するノイズ特性を自動的に計算して、定常的な変化へ反応しない監視技術、画像の各点毎に異なるノイズ量であっても対応を実現するための要素技術を提供する。

速度ベクトル計算を精度よく行うための技術には、オプティカルフローの連続性を仮定して、ある程度の領域において最適化する方法がとられる。この方法は信頼できる速度ベクトルを重視すると言う意味でノイズを考慮している（例えば、特許文献１、２参照。）。

しかし、フローの連続性や処理領域の範囲など各種パラメータ内に隠れた形でノイズは現れる。このためカメラを固定して、自動的にノイズ量を測定し、速度ベクトル計算にノイズ量を反映させることができなかった。

単純な変化抽出においては、しきい値の設定において自然にノイズを反映することは行われるが、速度ベクトル計算においてこれを応用することはできなかった（例えば、特許文献３参照。）。
特開平８−２４９４７０号公報 特開平９−２９７８５１号公報 特開平７−３０２３２８号公報

そこで、画像の１点（局所的情報）で速度ベクトルを計算可能な方法（例えば、Ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ ｔｏ ｍｏｔｉｏｎ ｐｅｒｃｅｐｔｉｏｎ，Ｓ．Ｕｒａｓ，Ｆ．Ｇｉｒｏｓｉ，Ａ ｖｅｒｒｉ，Ｖ．Ｔｏｒｒｅ，Ｂｉｏｌ．Ｃｙｂｅｒｎ．，ｖｏｌ６０，ｐｐ．７９−９７，１９８８参照。）を改良した技術において、得られた画像の各点毎にノイズ量を直接推定して、定常的な変化をノイズ量として推定する技術を提供する。この結果は速度計算に利用することができ、結果として安定的な速度ベクトルの分布を推定する技術を併せて提案する。

そこで上記課題を解決するために、請求項１に記載の発明は、カメラで撮影された映像を解析してノイズ特性をコンピュータを用いて推定する方法であって、撮影した画像の中で定常状態にある画像を定常状態画像群として蓄積する定常状態情報蓄積ステップと、前記定常状態画像を解析して画像上の各点毎にノイズ特性を推定するノイズ特性推定ステップと、を有することを特徴とする。

また、請求項２に記載の発明は、前記ノイズ特性推定ステップは、前記定常状態画像群から１枚の画像を選択する処理画像選択ステップと、前記選択された画像の各点におけるグラジエントの差を計算するグラジエント計算ステップと、前記処理画像選択ステップおよびグラジエント計算ステップを複数回繰り返しグラジエント画像を複数枚分計算するグラジエント群計算ステップと、前記複数枚のグラジエント画像から各点毎の定常ノイズ特性を推定する点毎定常ノイズ特性推定ステップと、を有することを特徴とする。

また、請求項３に記載の発明は、カメラで撮影された映像を解析して映像中の物体の速度ベクトルの分布をコンピュータを用いて推定する方法であって、撮影した画像中から速度ベクトルを求めようとする処理対象画像を必要枚数選択する処理対象画像選択ステップと、前記請求項１又は２に記載のノイズ特性推定方法によって推定したノイズ特性、及び前記選択された画像中の２枚の画像に基づいて映像中の各点における速度ベクトルの分布を推定する速度ベクトル分布推定ステップと、を有することを特徴とする。

また、請求項４に記載の発明は、前記処理対象画像選択ステップでは、撮影した画像中から２枚の画像を選択し、該処理を繰り返すことで２枚以上を処理することを特徴とする。

また、請求項５に記載の発明は、前記速度ベクトル分布推定ステップでは、前記選択された２枚の画像から１枚目の画像のヘッセ行列と２枚の画像との差のグラジエントとを計算し、前記ヘッセ行列、前記グラジエント、及び前記ノイズ特性から速度ベクトルの分布を画像中の各点毎に推定することを特徴とする。

また、請求項６に記載の発明は、前記速度ベクトル分布推定ステップでは、あらかじめ速度ベクトルを規定して、前記選択された２枚の画像のうち一枚の画像を規定した速度ベクトル分ずらし、前記選択された他の１枚の画像と比較して類似度を算出して、該類似度に基づいて画像中の各点における速度ベクトルの分布を推定することを特徴とする。

また、請求項７に記載の発明は、上記請求項１〜６いずれかに記載の方法をコンピュータに実施させるプログラムである。

請求項１及び２に記載の発明では、映像内に発生する定常的ノイズ量を計算することが可能である。このノイズ量を用いて請求項３〜６に記載の発明では各点毎に速度ベクトルを確率分布によって算出することが可能である。したがって、簡単に各点毎に信頼性尺度付き速度ベクトル計算に利用でき、速度ベクトル計算の精度を向上させることが可能である。

また、映像中のオプティカルフローを計算する際に必要であった定常的な変化を反映して調整するという手間の多くを不要とする。このため、カメラを設置するだけ、又はカメラの向きやズームを変えた場合にも自動的に定常的ノイズ量を計算して、速度ベクトルの可能性に関する分布の計算が可能である。

請求項１及び２に記載の発明によれば、画像の各点毎にノイズ量を直接推定して定常的な変化をノイズ量として推定することが可能となる。

請求項３〜６に記載の発明によれば、上記ノイズ量を速度ベクトル計算に利用することができ、結果として安定的な速度ベクトルの分布を推定することが可能となる。

(実施形態)
以下、図面を用いて実施形態について説明する。

図１は映像中のノイズ特性推定方法手順の説明図である。このノイズ特性推定方法は、図１に示すように定常状態画像群１２を蓄積する定常状態情報蓄積処理１１、及びノイズ特性１４を推定するノイズ特性推定処理１３によりノイズ特性を推定する。

定常状態情報蓄積処理１１は、定常状態にある画像を定常状態画像群１２として蓄積する。この時、最低２枚以上の画像を蓄積しておく。基本的には固定のカメラからの映像を蓄積することを想定しているが、場所毎に定常的な動き、定常的とみなしたい動きが発生していてもよい。例えば、画面の一部に揺れる木の枝や葉が写っていたり、特定の場所では常に車や人が動いている状態であってもよい。

ノイズ特性推定処理１３は、ノイズ特性１４を推定する処理である。この方法には様々なものが考えられる。

例えば、映像の各点毎に時間と共に変化する輝度の平均と分散を計算し、平均と分散をノイズ特性と考え、平均±分散より輝度が大きいまたは小さい時、変化ありという形で利用する方法が考えられる。

また、各点毎に輝度の変化度合いを計算して、急激な変化と考えられる変化レベルを定常状態画像群から推定し、それをノイズ特性とし、急激な変化を検知する方法も考えられる。

ノイズ特性推定処理１３として、図１に示すように処理画像選択処理１５、グラジエント計算処理１６、グラジエント群計算処理１７、及び点毎定常ノイズ特性推定処理１８を行うことが可能である
処理画像選択処理１５は、処理する画像を定常状態画像群１２から１枚選択する。

グラジエント計算処理１６は、処理画像選択処理１５で選択された処理対象の画像の各点におけるグラジエントを計算する処理である。グラジエントは、各点において２次元ベクトルとして表現される。

グラジエント群計算処理１７は、処理画像選択処理１５、及びグラジエント計算処理１６を繰り返して、グラジエント画像を必要な枚数分（多数）計算する。

点毎定常ノイズ特性推定処理１８は、グラジエント群計算処理１７の結果から、各点毎のノイズ特性を推定する。

ここで、ノイズ特性の推定方法の例を示す。なお、ノイズ特性は、

と表現する。実際に推定する値は２つの数値σ_x，σ_yである。

まず、画像ｇ（ｇ（ｘ，ｙ））に対してグラジエント画像を

と書くことにする。グラジエントは２次元ベクトルであるので、各点（ｘ，ｙ）毎に、ベクトル群▽ｇ_i（ｘ，ｙ），ｉ＝０，１，２，・・・が得られる。

のそれぞれについて、ｉ＝０，１，２，・・・を変化させた時の平均値と分散を計算し、このうち分散をσ_x，σ_yとする。これは▽ｇ_i（ｘ，ｙ）の平均と分散と考えてもよい。

別の方法としては、画像ｇ_i，ｉ＝０，１，２，・・・の中から、ｉ，ｊの２枚選択し、選んだ２枚の画像の差のグラジエント▽（ｇ_i−ｇ_j）のｘ方向、ｙ方向の２乗和を計算して、これらの平方根をσ_x，σ_yとする。つまり、

と書くことができる。

さらに別の方法として、｜▽（ｇ_i−ｇ_j）｜の２乗和の平方根をσ_x，σ_yの値（つまりσ_xとσ_yが同じ値）としてもよい。これは等方的なノイズ量推定に当たる。

さらに別の方法として、上記結果に対し、余裕を持たせるため、または短時間（つまり少ない画像枚数）の定常状態で適切な値を得るため、適当な値で掛け算しておいても構わない。

次に図２を用いて、速度ベクトル分布の計算方法を述べる。この速度ベクトル分布の計算は、処理対象映像２２を入力して処理対象画像選択処理２３を行い、ノイズ特性２１、及び選択した処理対象画像を用いて速度ベクトル分布推定処理２４を行い速度ベクトル分布２５を得る。

ノイズ特性２１は、ノイズ特性１４と同じである。

処理対象映像２２は、画像群である。具体的には固定カメラ等で撮影された類似した画像群であることを想定する。

処理対象画像選択処理２３は、処理対象映像２２から処理対象とする画像を必要枚数分選択する。処理の基本として２枚の画像を選ぶ。２枚の画像は比較的近い時間に撮影されたものを選択するが、必要に応じて多少時間が離れた２枚の画像を選択してもよい。また、２枚以上を処理する場合は、２枚の組を選択し、処理を繰り返すこととする。

速度ベクトル分布推定処理２４は、各点における速度ベクトルの分布を推定する。以下に速度ベクトル分布推定方法の具体的例を説明する。

まず処理対象画像選択処理２３において選択された２枚の画像をｆ₁，ｆ₂とする。この２枚の画像から、ｆ₁のヘッセ行列

と、２枚の画像の差のグラジエント▽（ｆ₂−ｆ₁）を計算する。さらに、２次元ベクトルであって、

が成り立つベクトル

を選ぶ。
そして各点

毎に

を計算する。ここで

はノイズ特性である。

の値は１以下の正の値となる分布である。次に、

の全可能性の範囲で、積分値が１になるように

となるｍを選択してＰ（ｘ，ｙ；ｕ_(x,y)，ｖ_(x,y)）＝Ｐ（ｘ，ｙ；ｕ，ｖ）を定義する。Ｐは、（ｘ，ｙ）を固定する毎に、（ｕ，ｖ）を変数とする正値、積分値が１である。もし、

が速度ベクトルと推定される場合には大きな値となる。

はいずれも速度ベクトル分布２５と考えることができる。

以上の式では、Λの行列式｜Λ｜が小さな値であるほど、またヘッセ行列の行列式が大きいほど、分布が局在する。｜Λ｜が大きくなる、又はヘッセ行列の行列式が小さいほど、広い範囲で確率が分布する。但し、ヘッセ行列のトレース（対角和）がゼロに近い場合は分布は広い範囲に広がるが、ゼロでない場合はある方向に広がりその垂直方向では狭い範囲になる。

ここで速度ベクトル分布推定処理２４における、他の速度ベクトル分布の推定方法を述べる。

予め速度ベクトルを規定すると、２枚の画像のうち１枚を規定された速度ベクトル分ずらし、その上でもう１枚の画像と比較照合することができる。この時、速度ベクトルが実際の速度を反映していれば、比較照合では類似しているとの結果が得られる。速度ベクトルが実際の速度を反映していない場合は、多くの場合、類似していないとの結果が得られる。これを利用して、各速度ベクトル毎に画像を対応する分だけずらし、照合処理を行って、その類似度に従って分布を生成することができる。

さらに別の方法として、予め速度ベクトルを規定し２枚の画像のうち１枚を規定された速度ベクトル分ずらし、その上でももう１枚の画像と比較照合し、その照合結果が類似すると判断されるほど信頼度が高く、予め定めた距離分だけ遠のくと信頼度が低くなる分布を生成させることもできる。

また、その他の方法でも、正しい移動ベクトルでは高い確率、可能性がないベクトルでは低い確率が定義できれば、これを分布とすることができる。

図３は、速度ベクトルの分布の例を示した図である。図３では白いほど確率が高いことを示す。図３において、図３(ａ)は、｜Λ｜が小さく、ヘッセ行列の行列式が大きな例である。

また、図３(ｂ)は、ヘッセ行列の行列式が小さいが、トレースの絶対値が小さくない場合の例である。

また、図３(ｃ)は、｜Λ｜が大きい、またはヘッセ行列の行列式がゼロに近い例である。

このように、ヘッセ行列、Λの形によっては、分布が高い場所は円状ではなく、楕円状になる。

この速度ベクトル分布２５は、近傍の点において簡単に統合できる。最も単純には例えば重み付き平均

を計算すればよく、さらに簡単には画像の８近傍（９点）で重み付け平均

を求めることができる。また、別の例としては、近傍での結果の積

を計算する方法も考えられる。このうち重み付き平均の結果例を図３(ｄ)に示す。なお、積の計算であっても、根本的な特徴は変わらない。画像の点の特徴の違いの中で最も矛盾が少ない動きベクトルが、高い確率として得られる。

なお、処理にあたり実際には、画像に対して何らかの前処理を施しておいてもよい。例えば、微分処理の前処理として平滑化や対数変換を行っておくことが可能である。平滑化処理では、高周波成分の影響を取り除くことが期待できる。対数変換によって、微分処理が加わることで照明変動の影響が大きく低減できる。

また、以上の定義は１点（ｘ，ｙ）のみを利用する形で説明したが、実際にはＨｅｓｓ（ｆ₁（ｘ，ｙ）），▽ｆ_i（ｘ，ｙ）などの近傍において積分（または総和）を計算しても、全く同様の議論が成り立つ。

(装置の構成例)
上記各処理を行いノイズ特性、速度ベクトル分布を計算するコンピュータの構成例について説明する。

映像を入力する入力部、ノイズ特性推定、及び分布推定に必要な数式を記録する記録部、情報を出力する出力部、並びにノイズ特性推定、及び分布推定を行う制御部を備える構成にすることができる。

例えば、ＣＰＵを用いて制御部を実現し、上記各処理の処理結果であるグラジエント、ノイズ特性等を書き込み次の処理で必要なときにこれらを読み出すメモリ、出力部であるディスプレイ、入力部である画像入力装置、記憶部であるハードディスクがこのＣＰＵに接続される。ハードディスクには定常状態情報蓄積プログラム、ノイズ特性推定プログラム、処理対象画像選択プログラム、分布推定プログラム、数式、しきい値、並びにオペレーティングシステムが記憶されている。プログラムはＣＤ−ＲＯＭドライブを介してＣＤ−ＲＯＭからインストールことが可能である。

(実施形態の効果)
上記実施形態によれば、画素毎に得られる映像のノイズ特性を自動的に測定してパラメータ化するため、速度ベクトルを計算する際にその確度を自動的に推定できるようになる。これによってオプティカルフローの計算において多くのパラメータ調整が必要であったが、その調整量が減らせるようになる。

映像中のノイズ特性推定方法手順の説明図。 速度ベクトル分布の計算方法手順の説明図。 速度ベクトルの分布の例を示した図。

符号の説明

１１ 定常状態情報蓄積処理
１２ 定常状態画像群
１３ ノイズ特性推定処理
１４ ノイズ特性
１５ 処理画像選択処理
１６ グラジエント計算処理
１７ グラジエント群計算処理
１８ 点毎定常ノイズ特性推定処理
２１ ノイズ特性
２２ 処理対象映像
２３ 処理対象画像選択処理
２４ 速度ベクトル分布推定処理
２５ 速度ベクトル分布

Claims (7)

1. カメラで撮影された映像を解析してノイズ特性をコンピュータを用いて推定する方法であって、
   撮影した画像の中で定常状態にある画像を定常状態画像群として蓄積する定常状態情報蓄積ステップと、
   前記定常状態画像を解析して画像上の各点毎にノイズ特性を推定するノイズ特性推定ステップと、を有することを特徴とする映像中のノイズ特性推定方法。
2. 前記ノイズ特性推定ステップは、
   前記定常状態画像群から１枚の画像を選択する処理画像選択ステップと、
   前記選択された画像の各点におけるグラジエントの差を計算するグラジエント計算ステップと、
   前記処理画像選択ステップおよびグラジエント計算ステップを複数回繰り返しグラジエント画像を複数枚分計算するグラジエント群計算ステップと、
   前記複数枚のグラジエント画像から各点毎の定常ノイズ特性を推定する点毎定常ノイズ特性推定ステップと、を有することを特徴とする請求項１に記載の映像中のノイズ特性推定方法。
3. カメラで撮影された映像を解析して映像中の物体の速度ベクトルの分布をコンピュータを用いて推定する方法であって、
   撮影した画像中から速度ベクトルを求めようとする処理対象画像を必要枚数選択する処理対象画像選択ステップと、
   前記請求項１又は２に記載のノイズ特性推定方法によって推定したノイズ特性、及び前記選択された画像中の２枚の画像に基づいて映像中の各点における速度ベクトルの分布を推定する速度ベクトル分布推定ステップと、を有することを特徴とする映像中の物体の速度ベクトルの分布推定方法。
4. 前記処理対象画像選択ステップは、撮影した画像中から２枚の画像を選択し、該処理を繰り返すことで２枚以上を処理することを特徴とする請求項３に記載の映像中の物体の速度ベクトルの分布推定方法。
5. 前記速度ベクトル分布推定ステップでは、前記選択された２枚の画像から１枚目の画像のヘッセ行列と２枚の画像との差のグラジエントとを計算し、
   前記ヘッセ行列、前記グラジエント、及び前記ノイズ特性から速度ベクトルの分布を画像中の各点毎に推定することを特徴とする請求項３又は４に記載の映像中の物体の速度ベクトルの分布推定方法。
6. 前記速度ベクトル分布推定ステップでは、あらかじめ速度ベクトルを規定して、前記選択された２枚の画像のうち一枚の画像を規定した速度ベクトル分ずらし、
   前記選択された他の１枚の画像と比較して類似度を算出して、該類似度に基づいて画像中の各点における速度ベクトルの分布を推定することを特徴とする請求項３又は４に記載の映像中の物体の速度ベクトルの分布推定方法。
7. 上記請求項１〜６いずれかに記載の方法をコンピュータに実施させるプログラム。