JP2008117119A - 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 - Google Patents

Abstract

【課題】所望の動きについて正しい動きベクトルを検出できる動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置を提供する。
【解決手段】特定のフレームＴのブロック（ｍ，ｎ）において、ブロック内の輝度差が小さい場合、あるいは、動きベクトルの周囲のブロックに対する分散値が大きい場合、或いは、動きベクトルの周囲のブロックに対する分散値に、フレームＴ−１におけるブロック（ｍ，ｎ）の動きベクトルの周囲のブロックに対する分散値を重み付けして加算した値が大きい場合、或いは、フレームＴの（ｍ，ｎ）における動きベクトルと、フレームＴ−１のブロック（ｍ−Ｘ，ｎ−Ｙ）における動きベクトルとの分散値が大きい場合に、そのフレームＴのブロック（ｍ，ｎ）の動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）を誤ベクトルと判断して除去し、それ以外の動きベクトルを正しい動きベクトルとする。
【選択図】図２

Description

本発明は、フレーム間の画像に対して動きベクトルを検出する動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置に関する。

撮影した画像を画像処理して動く物体を検出する動き検出技術が、従来監視カメラ等に用いられている。
動き検出技術としては、例えば、時間が異なる２種類以上の画像データから、その画像データの特徴の差分を抽出し、これを動く物体の基に動きベクトルを求めるブロックマッチング法がある。

しかし、上述したブロックマッチング法では、動きベクトルを算出する基となる２枚の画像データにノイズが含まれていた場合、画像内の動く物体以外にノイズに対しても動きベクトルが検出されてしまう、という不利益があった。
また、上述したブロックマッチング法では、ランダムな動きで落ちる木の葉や、カーテンの揺れ等、不規則な動きをする物体に対しても動きベクトルが検出されてしまい、画像内の所望の動く物体の動きベクトル検出に悪影響が及ぼされてしまう、という不利益があった。

本発明は、上述した不利益を解消するために、所望の動きについて正しい動きベクトルを検出できる動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置を提供することを目的とする。

上述した目的を達成するために、第１の発明の動きベクトル検出方法は、フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル検出方法であって、複数のブロックの動きベクトルを求め、ベクトルマップを生成する第１の工程と、特定のフレーム内の複数のブロックのうち特定の１つのブロックの動きベクトルに対し、前記第１の工程において生成された前記ベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定する第２の工程と、前記第２の工程において、信頼性が低いと判定された動きベクトルを無効とする値を前記第１の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する第３の工程と、を有する。

第２の発明の動きベクトル除去方法は、フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル除去方法であって、複数のブロックの動きベクトルを求め、ベクトルマップを生成する第１２の工程と、特定のフレーム内の複数のブロックのうち特定の１つのブロックの動きベクトルに対し、前記第１２の工程において生成された前記ベクトルマップを使用して当該動きベクトルの信頼性が高いか低いかを判定する第１３の工程と、前記第１３の工程において、信頼性が低いと判定された動きベクトルを０として除去する第１４の工程と、を有する。

第３の発明の動きベクトル検出装置は、複数のフレームの画像を記憶するメモリと、前記メモリに記憶された複数のフレームのうち、特定のフレーム内の複数のブロックのうち特定の１つのブロックの動きベクトルに対し、前記複数のブロックの動きベクトルを求めて生成したベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定し、信頼性が低いと判定された動きベクトルを無効とする値を前記第１の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する動きベクトル検出部と、を有する。

本発明によれば、所望の動きについて正しい動きベクトルを検出できる動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置を提供することができる。

以下、本発明の動きベクトル検出方法を適用した撮像装置１００について説明する。
図１は、本実施形態の撮像装置１００の構成を示すブロック図である。
図１に示すように、撮像装置１００は、レンズユニット１、イメージセンサ２、ゲイン調整部３、ＤＳＰ４、メモリ５、タイミング発生器６を有する。
以下、各構成について説明する。

イメージセンサ２は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を受光素子として有し、レンズユニット１を通した被写体からの光を電気信号（画像データ）に変換する。なお、レンズユニット１とイメージセンサ２とによって撮像部１０が形成されている。

ゲイン調整部３は、イメージセンサ２が出力したアナログの画像データをゲイン調整し、デジタル化する。
ゲイン調整部３は、図１に示すように、ＣＤＳ（Correlated Double Sampling＝相関２重サンプリング）回路３１と、ＡＧＣ回路３２と、Ａ／Ｄ変換部３３とを有する。
ＣＤＳ回路３１は、相関２重サンプリング法によりイメージセンサ２からのアナログの画像データをサンプルホールドする。
ＡＧＣ回路３２は、ＣＤＳ回路３１でサンプリングされたデータにＡＧＣ処理を行い、適正なレベルにゲイン調整する。
Ａ／Ｄ変換部３３は、ＡＧＣ回路３２がゲイン調整したアナログのデータをデジタルの画像データに変換する。

ＤＳＰ（Digital Signal Processor）４は、ゲイン調整部３が出力したデジタル画像データを信号処理し、アナログデータに戻してから出力する信号処理装置である。
ＤＳＰ４は、ゲイン調整部３が出力したデジタル画像データをメモリ５に書き込み、また、当該デジタル画像データを読み出して逆光補正をし、信号処理を行った後にアナログの画像データに戻してメモリ５に再度記憶させる。
ＤＳＰ４は、動きベクトル検出部４１、信号処理部４２、Ｄ／Ａ変換部４３を有する。
動きベクトル検出部４１は、ゲイン調整部３が出力した画像データの動きベクトル検出を行う。動きベクトル検出処理については後に詳述する。
信号処理部４２は、動きベクトル検出部４１が動きベクトル検出処理を行った画像データに対し、色信号処理（ホワイトバランス調整、γ処理等）や輝度信号処理（低周波部分抽出、γ処理等）を行う。
Ｄ／Ａ変換部４３は、信号処理部４２が出力したデジタルの画像データをアナログの画像データに変換する。

メモリ５は、上述した画像データや、各構成が行う各処理に必要な種々のデータを記憶する。
タイミング発生器６は、上述した各構成の各処理に必要なパルスを供給する。例えば、ゲイン調整部３のＣＤＳ回路３１にサンプルホールドパルス、Ａ／Ｄ変換部３３にＡ／Ｄ変換のためのクロック、イメージセンサ２に電子シャッタパルスを供給する。

次に、動きベクトル検出部４１の動きベクトル検出処理について説明する。
図２は、動きベクトル検出部４１が実行する動きベクトル検出処理のフローチャートである。
ステップＳＴ１：
ブロックマッチング法等により、ゲイン調整部３から出力された画像データの特定のフレームＴを例えばＭ×Ｎ個（Ｍ，Ｎは正の整数）のブロックに分け、それぞれのブロック内の動きベクトルを求めてベクトルマップを生成する。生成されたベクトルマップはメモリ５に記憶される。フレームＴは、例えば８×８や１６×１６のブロックに分割される。
ここで求められたベクトルマップは、以下のステップにより正しい動きベクトルを求めるために使用される動きベクトルのベクトルマップである。
ステップＳＴ２：
ステップＳＴ１において動きブロックを検出したフレームＴ内のある特定のブロック（ｍ，ｎ）（ｍはＭ以下の非負整数、ｎはＮ以下の非負整数）内の最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差を算出する。

ステップＳＴ３：
ステップＳＴ２において算出された最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差が所定のしきい値Ｙｔｈ以上である場合はステップＳＴ３に進み、Ｙｔｈより小さい場合はステップＳＴ１１に進む。
これは、最大輝度値Ｙｍａｘと最小輝度値Ｙｍｉｎとの差が所定のしきい値Ｙｔｈより小さい場合に、そのブロックから検出された動きベクトルは、輝度値差が小さいブロックから検出された動きベクトルであるため、その動きベクトルを誤ベクトルとして除去するためである。輝度値差が小さいブロックから検出された動きベクトルを除去するのは、当該ブロックが木の揺れ等による背景変動を起こしている可能性が高いからである。
ステップＳＴ４：
以下、ブロック（ｍ，ｎ）の動きベクトルをＶＥＣ_Ｔ（ｍ，ｎ）と表記する。
ステップＳＴ１において生成されたベクトルマップを使用して、動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）の、ブロック（ｍ，ｎ）を中心とした周囲Ｌ×Ｌ個の各ブロックの動きベクトルに対する分散値を算出する。なお、ＬはＭ及びＮより小さい正の整数である。
図３に、ブロック（ｍ，ｎ）を中心とした周囲Ｌ×Ｌ個のブロックの一例を示す。

以下、本ステップＳＴ４における分散値の算出方法について説明する。
動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）のｘ方向成分をＸ、ｙ方向成分をＹとし、動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）の周囲Ｌ×Ｌ内にある動きベクトルのｘ方向成分をＸｋ、ｙ方向成分をＹｋとする（すなわち、ｋは１からＬ×Ｌまでの整数）と、ｘ方向の分散値は次の数式（１）で与えられる。

また、ｙ方向の分散値は次の数式（２）で与えられる。

ステップＳＴ５：
ステップＳＴ４において求められた、ブロック（ｍ，ｎ）の動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）のｘ方向の分散値とｙ方向の分散値の内、値が大きい方を動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）の分散値ａ_Ｔ（ｍ，ｎ）と定義し、分散値ａ_Ｔ（ｍ，ｎ）を所定のしきい値αと比較する。動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）の分散値ａ_Ｔ（ｍ，ｎ）が所定のしきい値αより大きければステップＳＴ１１に進み、所定のしきい値α以下であればステップＳＴ６に進む。
これは、動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）の分散値ａ_Ｔ（ｍ，ｎ）が所定のしきい値α以上である場合は、その動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）の信頼度が低いと判断し、そのベクトルを除去するためである。動きベクトルの分散値が大きい場合に信頼度が低いとする理由は、画像内に動く物体以外にノイズが多数存在する場合には、動きベクトルがばらばらな方向を向く（可能性が高い）からである。
なお、本発明においては、所定時間内の動きベクトルが、ある一定の範囲内にある場合について、信頼性が高い動きベクトルであるとし、そうでない動きベクトルを信頼性が低い動きベクトルであるとしている。
図４に、ある画像内の動く物体検出時の動きベクトルの一例を、図５に、ある画像内のノイズが多い場合の動きベクトルの一例を示す。
図４に示すように、ノイズがない（或いは少ない）場合には、検出された動きベクトルがほぼ全て動く物体の動きの方向を向いているが、図５に示すように、ノイズが多い場合には、ノイズを検出した場合の動きベクトルはランダムな方向を向くために、画像全体の動きベクトルもばらばらな方向を向いていることが分かる。
このような理由から、上述したステップＳＴ５では動きベクトルの分散値が大きい場合に信頼度が低いと判断している。

ステップＳＴ６：
フレームＴの１つ前のフレームＴ−１におけるブロック（ｍ，ｎ）の動きベクトルＶＥＣ_Ｔ−１（ｍ，ｎ）と、その周囲のＬ×Ｌ個のブロックの動きベクトルに対する分散値ａ_Ｔ−１（ｍ，ｎ）を上述したステップと同様の方法で算出する。
ステップＳＴ７：
ステップＳＴ６において算出された動きベクトルＶＥＣ_Ｔ−１（ｍ，ｎ）の分散値ａ_Ｔ−１（ｍ，ｎ）を使用して数式（３）に示す計算を行い、分散値ａ´を求める。

ここでβは時定数（所定の定数）であり、０から１までの任意の値である。この時定数βの値は、自由に設定できるようにしてもよいし、予め設定されていても良い。
本ステップで行う計算の意味については後述する。

ステップＳＴ８：
ステップＳＴ７の数式（３）において算出された分散値ａ´と所定のしきい値γとを比較し、γ以上である場合はステップＳＴ１１に進み、γより小さい場合にはステップＳＴ９に進む。

分散値ａ´により、時間方向のばらつきを抑えることができるようになる。
すなわち、数式（３）において、現在のフレームＴのブロック（ｍ，ｎ）の動きベクトルの周囲のＬ×Ｌ個のブロックに対する分散値に、１つ前のフレームＴ−１ブロック（ｍ，ｎ）の動きベクトルの周囲のブロックに対する分散値を重み付けして加算することにより、フレームＴのブロック（ｍ，ｎ）の動きベクトルの分散値にフレームＴ−１の分散値の影響が及ぼされる。このようにして数式（３）によって求められた新たな分散値ａ´が所定のしきい値γ以上である場合は、フレームＴのみブロック（ｍ，ｎ）の動きベクトルの分散値が小さい（フレームＴ−１以前では分散値が大きかったにもかかわらず、何らかの理由でフレームＴのみ分散値が小さい）ことを意味するため、この動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）の信頼度を低いと判断しこのベクトルを除去することができる。
なお、時定数βは上述したように重み付けのための係数であり、フレームＴ−１の影響をどれほど重くするかに応じて任意に変更することができる。

ステップＳＴ９：
フレームＴにおいてブロック（ｍ，ｎ）に存在する動く物体がフレームＴ−１において存在した座標は、動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）のｘ方向成分及びｙ方向成分は、上述したように（Ｘ，Ｙ）であるため、（ｍ−Ｘ，ｎ−Ｙ）で与えられる。ここで、動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）と、フレームＴ−１のブロック（ｍ−Ｘ，ｎ−Ｙ）の動きベクトルＶＥＣ_Ｔ−１（ｍ−Ｘ，ｎ−Ｙ）との分散値ａ´´を算出する。
ステップＳＴ１０：
ステップＳＴ９において算出した分散値ａ´´が、所定のしきい値θよりも大きい場合はステップＳＴ１１に進み、所定のしきい値θ以下であればステップＳＴ１２に進む。
ステップＳＴ９において算出した分散値ａ´´が大きい場合は、フレームＴのブロック（ｍ，ｎ）に存在する動く物体の動きベクトルと、当該動く物体のフレームＴ−１における動きベクトルが分散している、すなわち、当該動く物体の動く方向がフレームＴ−１とフレームＴとで異なっていることを意味している。このため、分散値ａ´´が大きい場合には、当該動く物体は一定方向に動いていないと判断できる。当該動く物体が一定方向に動いていない場合とは、例えば、木の葉やカーテン等のランダムな動きである場合が考えられるため、分散値ａ´´が所定のしきい値θより大きい場合には、その動きベクトルの信頼度を低いと判断して除去することができる。

ステップＳＴ１１：
動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）を０（無効とする値）とする。
こうすることにより、上述した各ステップにおいて除去されるべきと判断された動きベクトルを０とすることにより、誤ベクトルを除去することができる。
ステップＳＴ１２：
動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）を、ステップＳＴ１において生成されたベクトルマップに登録し、ベクトルマップを更新する。
ステップＳＴ１３：
ｍ及びｎに１を加算してステップＳＴ２に戻る。
すなわち、ブロック（ｍ，ｎ）の次のブロック（ｍ＋１，ｎ＋１）に関して、上述したステップＳＴ２〜１２の処理を繰り返す。また、このようにしてフレームＴの全てのブロックについて動きベクトルを検出したら、処理を終了する。

以上説明したように、本実施形態の撮像装置１００によれば、特定のフレームＴのブロック（ｍ，ｎ）において、
（１） ブロック内の輝度差が小さい場合（背景変動）
（２） 動きベクトルの周囲のブロックに対する分散値（動きベクトルのｘ方向成分の分散値とｙ方向成分の分散値のうち大きい方）が大きい場合（ノイズ）
（３） 動きベクトルの周囲のブロックに対する分散値に、フレームＴ−１におけるブロック（ｍ，ｎ）の動きベクトルの周囲のブロックに対する分散値を重み付けして加算した値が大きい場合（ランダムな動く物体）
（４） フレームＴの（ｍ，ｎ）における動きベクトルと、フレームＴ−１のブロック（ｍ−Ｘ，ｎ−Ｙ）における動きベクトルとの分散値が大きい場合（ランダムな動く物体）
のそれぞれの場合に、そのフレームＴのブロック（ｍ，ｎ）の動きベクトルＶＥＣ_Ｔ（ｍ，ｎ）を誤ベクトル（信頼度が低いベクトル）と判断して除去し、それ以外の動きベクトルを正しい動きベクトルとするため、背景変動、ノイズ、ランダムな動きをする動く物体等に起因する誤ベクトルを除去することができ、検出される動きベクトルの精度を向上させることができる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
上述した実施形態における所定のしきい値Ｙｔｈ、α、γ、θは、例えば、経験的に定められた適切な値を使用すればよく、本発明ではこれらのしきい値を限定しない。また、所定のしきい値Ｙｔｈ、α、γ、θはそれぞれ無関係の値である。

上述した実施形態では、ブロックマッチング方により各ブロックの動きベクトルを求めるとしたが、本発明はこれには限定されない。すなわち、他の方法により動きベクトルを求めても良い。他の方法とは、例えば、背景差分法、フレーム差分法、テンプレートマッチング法、勾配法等、フレーム間の差分により動きベクトルを求める方法であればどの方法で動きベクトルを求めてもよい。

図１は、撮像装置１００の構成を示すブロック図である。 図２は、動きベクトル検出部４１が実行する動きベクトル検出処理のフローチャートである。 図３は、ブロック（ｍ，ｎ）を中心とした周囲Ｌ×Ｌ個のブロックの一例を示す。 図４は、ある画像内の動く物体検出時の動きベクトルの一例を示す図である。 図５は、ある画像内のノイズが多い場合の動きベクトルの一例を示す図である。

符号の説明

１００…撮像装置、１…レンズユニット、２…イメージセンサ、３…ゲイン調整部、３１…ＣＤＳ回路、３２…ＡＧＣ回路、３３…Ａ／Ｄ変換部、４…ＤＳＰ、４１…ベクトル検出部、４２…信号処理部、４３…Ｄ／Ａ変換部、５…メモリ、６…タイミング発生器、１０…撮像部

Claims (7)

1. フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル検出方法であって、
   複数のブロックの動きベクトルを求め、ベクトルマップを生成する第１の工程と、
   特定のフレーム内の複数のブロックのうち特定の１つのブロックの動きベクトルに対し、前記第１の工程において生成された前記ベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定する第２の工程と、
   前記第２の工程において、信頼性が低いと判定された動きベクトルを無効とする値を前記第１の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する第３の工程と、
   を有する動きベクトル検出方法。
2. 前記第２の工程は、
   前記ブロックにおける、輝度値の最大値と最小値との差を求める第４の工程と、
   前記第４の工程において求められた当該輝度値の最大値と最小値との差が所定の第１のしきい値よりも小さい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第５の工程と、
   を有する請求項１に記載の動きベクトル検出方法。
3. 前記第２の工程は、
   前記ブロックにおける動きベクトルと、当該ブロックの周囲所定数のブロックの動きベクトルとの分散値を算出する第６の工程と、
   前記第６の工程において算出された前記分散値が所定の第２のしきい値よりも大きい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第７の工程と、
   を有する請求項１に記載の動きベクトル検出方法。
4. 前記第２の工程は、
   前記ブロックにおける動きベクトルと当該ブロックの周囲所定数のブロックの動きベクトルとの分散値と、前記ブロックにおける当該動きベクトルが存在するフレームの１つ前のフレームにおける同じ位置に存在するブロックの動きベクトルのその周囲のブロックの動きベクトルに対する分散値に重み付けをして加算した新たな分散値を算出する第８の工程と、
   前記第８の工程において算出された前記新たな分散値が所定の第３のしきい値よりも大きい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第９の工程と、
   を有する請求項２に記載の動きベクトル検出方法。
5. 前記第２の工程は、
   前記ブロックにおける動きベクトルと、当該動きベクトルが存在するフレームの１つ前のフレームにおける前記ブロックに存在する動く物体の動きベクトルとの分散値を算出する第１０の工程と、
   前記第１０の工程において算出された前記分散値が所定の第４のしきい値よりも大きい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第１１の工程と、
   を有する請求項１に記載の動きベクトル検出方法。
6. フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル除去方法であって、
   複数のブロックの動きベクトルを求め、ベクトルマップを生成する第１２の工程と、
   特定のフレーム内の複数のブロックのうち特定の１つのブロックの動きベクトルに対し、前記第１２の工程において生成された前記ベクトルマップを使用して当該動きベクトルの信頼性が高いか低いかを判定する第１３の工程と、
   前記第１３の工程において、信頼性が低いと判定された動きベクトルを無効とする値を除去する第１４の工程と、
   を有する動きベクトル除去方法。
7. 複数のフレームの画像を記憶するメモリと、
   前記メモリに記憶された複数のフレームのうち、特定のフレーム内の複数のブロックのうち特定の１つのブロックの動きベクトルに対し、前記複数のブロックの動きベクトルを求めて生成したベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定し、信頼性が低いと判定された動きベクトルを無効とする値を前記第１の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する動きベクトル検出部と、
   を有する動きベクトル検出装置。

Images