JP2008117119A - 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 - Google Patents
動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 Download PDFInfo
- Publication number
- JP2008117119A JP2008117119A JP2006298914A JP2006298914A JP2008117119A JP 2008117119 A JP2008117119 A JP 2008117119A JP 2006298914 A JP2006298914 A JP 2006298914A JP 2006298914 A JP2006298914 A JP 2006298914A JP 2008117119 A JP2008117119 A JP 2008117119A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- vector
- blocks
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】所望の動きについて正しい動きベクトルを検出できる動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置を提供する。
【解決手段】特定のフレームTのブロック(m,n)において、ブロック内の輝度差が小さい場合、あるいは、動きベクトルの周囲のブロックに対する分散値が大きい場合、或いは、動きベクトルの周囲のブロックに対する分散値に、フレームT−1におけるブロック(m,n)の動きベクトルの周囲のブロックに対する分散値を重み付けして加算した値が大きい場合、或いは、フレームTの(m,n)における動きベクトルと、フレームT−1のブロック(m−X,n−Y)における動きベクトルとの分散値が大きい場合に、そのフレームTのブロック(m,n)の動きベクトルVECT(m,n)を誤ベクトルと判断して除去し、それ以外の動きベクトルを正しい動きベクトルとする。
【選択図】図2
【解決手段】特定のフレームTのブロック(m,n)において、ブロック内の輝度差が小さい場合、あるいは、動きベクトルの周囲のブロックに対する分散値が大きい場合、或いは、動きベクトルの周囲のブロックに対する分散値に、フレームT−1におけるブロック(m,n)の動きベクトルの周囲のブロックに対する分散値を重み付けして加算した値が大きい場合、或いは、フレームTの(m,n)における動きベクトルと、フレームT−1のブロック(m−X,n−Y)における動きベクトルとの分散値が大きい場合に、そのフレームTのブロック(m,n)の動きベクトルVECT(m,n)を誤ベクトルと判断して除去し、それ以外の動きベクトルを正しい動きベクトルとする。
【選択図】図2
Description
本発明は、フレーム間の画像に対して動きベクトルを検出する動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置に関する。
撮影した画像を画像処理して動く物体を検出する動き検出技術が、従来監視カメラ等に用いられている。
動き検出技術としては、例えば、時間が異なる2種類以上の画像データから、その画像データの特徴の差分を抽出し、これを動く物体の基に動きベクトルを求めるブロックマッチング法がある。
動き検出技術としては、例えば、時間が異なる2種類以上の画像データから、その画像データの特徴の差分を抽出し、これを動く物体の基に動きベクトルを求めるブロックマッチング法がある。
しかし、上述したブロックマッチング法では、動きベクトルを算出する基となる2枚の画像データにノイズが含まれていた場合、画像内の動く物体以外にノイズに対しても動きベクトルが検出されてしまう、という不利益があった。
また、上述したブロックマッチング法では、ランダムな動きで落ちる木の葉や、カーテンの揺れ等、不規則な動きをする物体に対しても動きベクトルが検出されてしまい、画像内の所望の動く物体の動きベクトル検出に悪影響が及ぼされてしまう、という不利益があった。
また、上述したブロックマッチング法では、ランダムな動きで落ちる木の葉や、カーテンの揺れ等、不規則な動きをする物体に対しても動きベクトルが検出されてしまい、画像内の所望の動く物体の動きベクトル検出に悪影響が及ぼされてしまう、という不利益があった。
本発明は、上述した不利益を解消するために、所望の動きについて正しい動きベクトルを検出できる動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置を提供することを目的とする。
上述した目的を達成するために、第1の発明の動きベクトル検出方法は、フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル検出方法であって、複数のブロックの動きベクトルを求め、ベクトルマップを生成する第1の工程と、特定のフレーム内の複数のブロックのうち特定の1つのブロックの動きベクトルに対し、前記第1の工程において生成された前記ベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定する第2の工程と、前記第2の工程において、信頼性が低いと判定された動きベクトルを無効とする値を前記第1の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する第3の工程と、を有する。
第2の発明の動きベクトル除去方法は、フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル除去方法であって、複数のブロックの動きベクトルを求め、ベクトルマップを生成する第12の工程と、特定のフレーム内の複数のブロックのうち特定の1つのブロックの動きベクトルに対し、前記第12の工程において生成された前記ベクトルマップを使用して当該動きベクトルの信頼性が高いか低いかを判定する第13の工程と、前記第13の工程において、信頼性が低いと判定された動きベクトルを0として除去する第14の工程と、を有する。
第3の発明の動きベクトル検出装置は、複数のフレームの画像を記憶するメモリと、前記メモリに記憶された複数のフレームのうち、特定のフレーム内の複数のブロックのうち特定の1つのブロックの動きベクトルに対し、前記複数のブロックの動きベクトルを求めて生成したベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定し、信頼性が低いと判定された動きベクトルを無効とする値を前記第1の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する動きベクトル検出部と、を有する。
本発明によれば、所望の動きについて正しい動きベクトルを検出できる動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置を提供することができる。
以下、本発明の動きベクトル検出方法を適用した撮像装置100について説明する。
図1は、本実施形態の撮像装置100の構成を示すブロック図である。
図1に示すように、撮像装置100は、レンズユニット1、イメージセンサ2、ゲイン調整部3、DSP4、メモリ5、タイミング発生器6を有する。
以下、各構成について説明する。
図1は、本実施形態の撮像装置100の構成を示すブロック図である。
図1に示すように、撮像装置100は、レンズユニット1、イメージセンサ2、ゲイン調整部3、DSP4、メモリ5、タイミング発生器6を有する。
以下、各構成について説明する。
イメージセンサ2は、CCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)等を受光素子として有し、レンズユニット1を通した被写体からの光を電気信号(画像データ)に変換する。なお、レンズユニット1とイメージセンサ2とによって撮像部10が形成されている。
ゲイン調整部3は、イメージセンサ2が出力したアナログの画像データをゲイン調整し、デジタル化する。
ゲイン調整部3は、図1に示すように、CDS(Correlated Double Sampling=相関2重サンプリング)回路31と、AGC回路32と、A/D変換部33とを有する。
CDS回路31は、相関2重サンプリング法によりイメージセンサ2からのアナログの画像データをサンプルホールドする。
AGC回路32は、CDS回路31でサンプリングされたデータにAGC処理を行い、適正なレベルにゲイン調整する。
A/D変換部33は、AGC回路32がゲイン調整したアナログのデータをデジタルの画像データに変換する。
ゲイン調整部3は、図1に示すように、CDS(Correlated Double Sampling=相関2重サンプリング)回路31と、AGC回路32と、A/D変換部33とを有する。
CDS回路31は、相関2重サンプリング法によりイメージセンサ2からのアナログの画像データをサンプルホールドする。
AGC回路32は、CDS回路31でサンプリングされたデータにAGC処理を行い、適正なレベルにゲイン調整する。
A/D変換部33は、AGC回路32がゲイン調整したアナログのデータをデジタルの画像データに変換する。
DSP(Digital Signal Processor)4は、ゲイン調整部3が出力したデジタル画像データを信号処理し、アナログデータに戻してから出力する信号処理装置である。
DSP4は、ゲイン調整部3が出力したデジタル画像データをメモリ5に書き込み、また、当該デジタル画像データを読み出して逆光補正をし、信号処理を行った後にアナログの画像データに戻してメモリ5に再度記憶させる。
DSP4は、動きベクトル検出部41、信号処理部42、D/A変換部43を有する。
動きベクトル検出部41は、ゲイン調整部3が出力した画像データの動きベクトル検出を行う。動きベクトル検出処理については後に詳述する。
信号処理部42は、動きベクトル検出部41が動きベクトル検出処理を行った画像データに対し、色信号処理(ホワイトバランス調整、γ処理等)や輝度信号処理(低周波部分抽出、γ処理等)を行う。
D/A変換部43は、信号処理部42が出力したデジタルの画像データをアナログの画像データに変換する。
DSP4は、ゲイン調整部3が出力したデジタル画像データをメモリ5に書き込み、また、当該デジタル画像データを読み出して逆光補正をし、信号処理を行った後にアナログの画像データに戻してメモリ5に再度記憶させる。
DSP4は、動きベクトル検出部41、信号処理部42、D/A変換部43を有する。
動きベクトル検出部41は、ゲイン調整部3が出力した画像データの動きベクトル検出を行う。動きベクトル検出処理については後に詳述する。
信号処理部42は、動きベクトル検出部41が動きベクトル検出処理を行った画像データに対し、色信号処理(ホワイトバランス調整、γ処理等)や輝度信号処理(低周波部分抽出、γ処理等)を行う。
D/A変換部43は、信号処理部42が出力したデジタルの画像データをアナログの画像データに変換する。
メモリ5は、上述した画像データや、各構成が行う各処理に必要な種々のデータを記憶する。
タイミング発生器6は、上述した各構成の各処理に必要なパルスを供給する。例えば、ゲイン調整部3のCDS回路31にサンプルホールドパルス、A/D変換部33にA/D変換のためのクロック、イメージセンサ2に電子シャッタパルスを供給する。
タイミング発生器6は、上述した各構成の各処理に必要なパルスを供給する。例えば、ゲイン調整部3のCDS回路31にサンプルホールドパルス、A/D変換部33にA/D変換のためのクロック、イメージセンサ2に電子シャッタパルスを供給する。
次に、動きベクトル検出部41の動きベクトル検出処理について説明する。
図2は、動きベクトル検出部41が実行する動きベクトル検出処理のフローチャートである。
ステップST1:
ブロックマッチング法等により、ゲイン調整部3から出力された画像データの特定のフレームTを例えばM×N個(M,Nは正の整数)のブロックに分け、それぞれのブロック内の動きベクトルを求めてベクトルマップを生成する。生成されたベクトルマップはメモリ5に記憶される。フレームTは、例えば8×8や16×16のブロックに分割される。
ここで求められたベクトルマップは、以下のステップにより正しい動きベクトルを求めるために使用される動きベクトルのベクトルマップである。
ステップST2:
ステップST1において動きブロックを検出したフレームT内のある特定のブロック(m,n)(mはM以下の非負整数、nはN以下の非負整数)内の最大輝度値Ymaxと最小輝度値Yminとの差を算出する。
図2は、動きベクトル検出部41が実行する動きベクトル検出処理のフローチャートである。
ステップST1:
ブロックマッチング法等により、ゲイン調整部3から出力された画像データの特定のフレームTを例えばM×N個(M,Nは正の整数)のブロックに分け、それぞれのブロック内の動きベクトルを求めてベクトルマップを生成する。生成されたベクトルマップはメモリ5に記憶される。フレームTは、例えば8×8や16×16のブロックに分割される。
ここで求められたベクトルマップは、以下のステップにより正しい動きベクトルを求めるために使用される動きベクトルのベクトルマップである。
ステップST2:
ステップST1において動きブロックを検出したフレームT内のある特定のブロック(m,n)(mはM以下の非負整数、nはN以下の非負整数)内の最大輝度値Ymaxと最小輝度値Yminとの差を算出する。
ステップST3:
ステップST2において算出された最大輝度値Ymaxと最小輝度値Yminとの差が所定のしきい値Yth以上である場合はステップST3に進み、Ythより小さい場合はステップST11に進む。
これは、最大輝度値Ymaxと最小輝度値Yminとの差が所定のしきい値Ythより小さい場合に、そのブロックから検出された動きベクトルは、輝度値差が小さいブロックから検出された動きベクトルであるため、その動きベクトルを誤ベクトルとして除去するためである。輝度値差が小さいブロックから検出された動きベクトルを除去するのは、当該ブロックが木の揺れ等による背景変動を起こしている可能性が高いからである。
ステップST4:
以下、ブロック(m,n)の動きベクトルをVECT(m,n)と表記する。
ステップST1において生成されたベクトルマップを使用して、動きベクトルVECT(m,n)の、ブロック(m,n)を中心とした周囲L×L個の各ブロックの動きベクトルに対する分散値を算出する。なお、LはM及びNより小さい正の整数である。
図3に、ブロック(m,n)を中心とした周囲L×L個のブロックの一例を示す。
ステップST2において算出された最大輝度値Ymaxと最小輝度値Yminとの差が所定のしきい値Yth以上である場合はステップST3に進み、Ythより小さい場合はステップST11に進む。
これは、最大輝度値Ymaxと最小輝度値Yminとの差が所定のしきい値Ythより小さい場合に、そのブロックから検出された動きベクトルは、輝度値差が小さいブロックから検出された動きベクトルであるため、その動きベクトルを誤ベクトルとして除去するためである。輝度値差が小さいブロックから検出された動きベクトルを除去するのは、当該ブロックが木の揺れ等による背景変動を起こしている可能性が高いからである。
ステップST4:
以下、ブロック(m,n)の動きベクトルをVECT(m,n)と表記する。
ステップST1において生成されたベクトルマップを使用して、動きベクトルVECT(m,n)の、ブロック(m,n)を中心とした周囲L×L個の各ブロックの動きベクトルに対する分散値を算出する。なお、LはM及びNより小さい正の整数である。
図3に、ブロック(m,n)を中心とした周囲L×L個のブロックの一例を示す。
以下、本ステップST4における分散値の算出方法について説明する。
動きベクトルVECT(m,n)のx方向成分をX、y方向成分をYとし、動きベクトルVECT(m,n)の周囲L×L内にある動きベクトルのx方向成分をXk、y方向成分をYkとする(すなわち、kは1からL×Lまでの整数)と、x方向の分散値は次の数式(1)で与えられる。
動きベクトルVECT(m,n)のx方向成分をX、y方向成分をYとし、動きベクトルVECT(m,n)の周囲L×L内にある動きベクトルのx方向成分をXk、y方向成分をYkとする(すなわち、kは1からL×Lまでの整数)と、x方向の分散値は次の数式(1)で与えられる。
また、y方向の分散値は次の数式(2)で与えられる。
ステップST5:
ステップST4において求められた、ブロック(m,n)の動きベクトルVECT(m,n)のx方向の分散値とy方向の分散値の内、値が大きい方を動きベクトルVECT(m,n)の分散値aT(m,n)と定義し、分散値aT(m,n)を所定のしきい値αと比較する。動きベクトルVECT(m,n)の分散値aT(m,n)が所定のしきい値αより大きければステップST11に進み、所定のしきい値α以下であればステップST6に進む。
これは、動きベクトルVECT(m,n)の分散値aT(m,n)が所定のしきい値α以上である場合は、その動きベクトルVECT(m,n)の信頼度が低いと判断し、そのベクトルを除去するためである。動きベクトルの分散値が大きい場合に信頼度が低いとする理由は、画像内に動く物体以外にノイズが多数存在する場合には、動きベクトルがばらばらな方向を向く(可能性が高い)からである。
なお、本発明においては、所定時間内の動きベクトルが、ある一定の範囲内にある場合について、信頼性が高い動きベクトルであるとし、そうでない動きベクトルを信頼性が低い動きベクトルであるとしている。
図4に、ある画像内の動く物体検出時の動きベクトルの一例を、図5に、ある画像内のノイズが多い場合の動きベクトルの一例を示す。
図4に示すように、ノイズがない(或いは少ない)場合には、検出された動きベクトルがほぼ全て動く物体の動きの方向を向いているが、図5に示すように、ノイズが多い場合には、ノイズを検出した場合の動きベクトルはランダムな方向を向くために、画像全体の動きベクトルもばらばらな方向を向いていることが分かる。
このような理由から、上述したステップST5では動きベクトルの分散値が大きい場合に信頼度が低いと判断している。
ステップST4において求められた、ブロック(m,n)の動きベクトルVECT(m,n)のx方向の分散値とy方向の分散値の内、値が大きい方を動きベクトルVECT(m,n)の分散値aT(m,n)と定義し、分散値aT(m,n)を所定のしきい値αと比較する。動きベクトルVECT(m,n)の分散値aT(m,n)が所定のしきい値αより大きければステップST11に進み、所定のしきい値α以下であればステップST6に進む。
これは、動きベクトルVECT(m,n)の分散値aT(m,n)が所定のしきい値α以上である場合は、その動きベクトルVECT(m,n)の信頼度が低いと判断し、そのベクトルを除去するためである。動きベクトルの分散値が大きい場合に信頼度が低いとする理由は、画像内に動く物体以外にノイズが多数存在する場合には、動きベクトルがばらばらな方向を向く(可能性が高い)からである。
なお、本発明においては、所定時間内の動きベクトルが、ある一定の範囲内にある場合について、信頼性が高い動きベクトルであるとし、そうでない動きベクトルを信頼性が低い動きベクトルであるとしている。
図4に、ある画像内の動く物体検出時の動きベクトルの一例を、図5に、ある画像内のノイズが多い場合の動きベクトルの一例を示す。
図4に示すように、ノイズがない(或いは少ない)場合には、検出された動きベクトルがほぼ全て動く物体の動きの方向を向いているが、図5に示すように、ノイズが多い場合には、ノイズを検出した場合の動きベクトルはランダムな方向を向くために、画像全体の動きベクトルもばらばらな方向を向いていることが分かる。
このような理由から、上述したステップST5では動きベクトルの分散値が大きい場合に信頼度が低いと判断している。
ステップST6:
フレームTの1つ前のフレームT−1におけるブロック(m,n)の動きベクトルVECT−1(m,n)と、その周囲のL×L個のブロックの動きベクトルに対する分散値aT−1(m,n)を上述したステップと同様の方法で算出する。
ステップST7:
ステップST6において算出された動きベクトルVECT−1(m,n)の分散値aT−1(m,n)を使用して数式(3)に示す計算を行い、分散値a´を求める。
フレームTの1つ前のフレームT−1におけるブロック(m,n)の動きベクトルVECT−1(m,n)と、その周囲のL×L個のブロックの動きベクトルに対する分散値aT−1(m,n)を上述したステップと同様の方法で算出する。
ステップST7:
ステップST6において算出された動きベクトルVECT−1(m,n)の分散値aT−1(m,n)を使用して数式(3)に示す計算を行い、分散値a´を求める。
ここでβは時定数(所定の定数)であり、0から1までの任意の値である。この時定数βの値は、自由に設定できるようにしてもよいし、予め設定されていても良い。
本ステップで行う計算の意味については後述する。
本ステップで行う計算の意味については後述する。
ステップST8:
ステップST7の数式(3)において算出された分散値a´と所定のしきい値γとを比較し、γ以上である場合はステップST11に進み、γより小さい場合にはステップST9に進む。
ステップST7の数式(3)において算出された分散値a´と所定のしきい値γとを比較し、γ以上である場合はステップST11に進み、γより小さい場合にはステップST9に進む。
分散値a´により、時間方向のばらつきを抑えることができるようになる。
すなわち、数式(3)において、現在のフレームTのブロック(m,n)の動きベクトルの周囲のL×L個のブロックに対する分散値に、1つ前のフレームT−1ブロック(m,n)の動きベクトルの周囲のブロックに対する分散値を重み付けして加算することにより、フレームTのブロック(m,n)の動きベクトルの分散値にフレームT−1の分散値の影響が及ぼされる。このようにして数式(3)によって求められた新たな分散値a´が所定のしきい値γ以上である場合は、フレームTのみブロック(m,n)の動きベクトルの分散値が小さい(フレームT−1以前では分散値が大きかったにもかかわらず、何らかの理由でフレームTのみ分散値が小さい)ことを意味するため、この動きベクトルVECT(m,n)の信頼度を低いと判断しこのベクトルを除去することができる。
なお、時定数βは上述したように重み付けのための係数であり、フレームT−1の影響をどれほど重くするかに応じて任意に変更することができる。
すなわち、数式(3)において、現在のフレームTのブロック(m,n)の動きベクトルの周囲のL×L個のブロックに対する分散値に、1つ前のフレームT−1ブロック(m,n)の動きベクトルの周囲のブロックに対する分散値を重み付けして加算することにより、フレームTのブロック(m,n)の動きベクトルの分散値にフレームT−1の分散値の影響が及ぼされる。このようにして数式(3)によって求められた新たな分散値a´が所定のしきい値γ以上である場合は、フレームTのみブロック(m,n)の動きベクトルの分散値が小さい(フレームT−1以前では分散値が大きかったにもかかわらず、何らかの理由でフレームTのみ分散値が小さい)ことを意味するため、この動きベクトルVECT(m,n)の信頼度を低いと判断しこのベクトルを除去することができる。
なお、時定数βは上述したように重み付けのための係数であり、フレームT−1の影響をどれほど重くするかに応じて任意に変更することができる。
ステップST9:
フレームTにおいてブロック(m,n)に存在する動く物体がフレームT−1において存在した座標は、動きベクトルVECT(m,n)のx方向成分及びy方向成分は、上述したように(X,Y)であるため、(m−X,n−Y)で与えられる。ここで、動きベクトルVECT(m,n)と、フレームT−1のブロック(m−X,n−Y)の動きベクトルVECT−1(m−X,n−Y)との分散値a´´を算出する。
ステップST10:
ステップST9において算出した分散値a´´が、所定のしきい値θよりも大きい場合はステップST11に進み、所定のしきい値θ以下であればステップST12に進む。
ステップST9において算出した分散値a´´が大きい場合は、フレームTのブロック(m,n)に存在する動く物体の動きベクトルと、当該動く物体のフレームT−1における動きベクトルが分散している、すなわち、当該動く物体の動く方向がフレームT−1とフレームTとで異なっていることを意味している。このため、分散値a´´が大きい場合には、当該動く物体は一定方向に動いていないと判断できる。当該動く物体が一定方向に動いていない場合とは、例えば、木の葉やカーテン等のランダムな動きである場合が考えられるため、分散値a´´が所定のしきい値θより大きい場合には、その動きベクトルの信頼度を低いと判断して除去することができる。
フレームTにおいてブロック(m,n)に存在する動く物体がフレームT−1において存在した座標は、動きベクトルVECT(m,n)のx方向成分及びy方向成分は、上述したように(X,Y)であるため、(m−X,n−Y)で与えられる。ここで、動きベクトルVECT(m,n)と、フレームT−1のブロック(m−X,n−Y)の動きベクトルVECT−1(m−X,n−Y)との分散値a´´を算出する。
ステップST10:
ステップST9において算出した分散値a´´が、所定のしきい値θよりも大きい場合はステップST11に進み、所定のしきい値θ以下であればステップST12に進む。
ステップST9において算出した分散値a´´が大きい場合は、フレームTのブロック(m,n)に存在する動く物体の動きベクトルと、当該動く物体のフレームT−1における動きベクトルが分散している、すなわち、当該動く物体の動く方向がフレームT−1とフレームTとで異なっていることを意味している。このため、分散値a´´が大きい場合には、当該動く物体は一定方向に動いていないと判断できる。当該動く物体が一定方向に動いていない場合とは、例えば、木の葉やカーテン等のランダムな動きである場合が考えられるため、分散値a´´が所定のしきい値θより大きい場合には、その動きベクトルの信頼度を低いと判断して除去することができる。
ステップST11:
動きベクトルVECT(m,n)を0(無効とする値)とする。
こうすることにより、上述した各ステップにおいて除去されるべきと判断された動きベクトルを0とすることにより、誤ベクトルを除去することができる。
ステップST12:
動きベクトルVECT(m,n)を、ステップST1において生成されたベクトルマップに登録し、ベクトルマップを更新する。
ステップST13:
m及びnに1を加算してステップST2に戻る。
すなわち、ブロック(m,n)の次のブロック(m+1,n+1)に関して、上述したステップST2〜12の処理を繰り返す。また、このようにしてフレームTの全てのブロックについて動きベクトルを検出したら、処理を終了する。
動きベクトルVECT(m,n)を0(無効とする値)とする。
こうすることにより、上述した各ステップにおいて除去されるべきと判断された動きベクトルを0とすることにより、誤ベクトルを除去することができる。
ステップST12:
動きベクトルVECT(m,n)を、ステップST1において生成されたベクトルマップに登録し、ベクトルマップを更新する。
ステップST13:
m及びnに1を加算してステップST2に戻る。
すなわち、ブロック(m,n)の次のブロック(m+1,n+1)に関して、上述したステップST2〜12の処理を繰り返す。また、このようにしてフレームTの全てのブロックについて動きベクトルを検出したら、処理を終了する。
以上説明したように、本実施形態の撮像装置100によれば、特定のフレームTのブロック(m,n)において、
(1) ブロック内の輝度差が小さい場合(背景変動)
(2) 動きベクトルの周囲のブロックに対する分散値(動きベクトルのx方向成分の分散値とy方向成分の分散値のうち大きい方)が大きい場合(ノイズ)
(3) 動きベクトルの周囲のブロックに対する分散値に、フレームT−1におけるブロック(m,n)の動きベクトルの周囲のブロックに対する分散値を重み付けして加算した値が大きい場合(ランダムな動く物体)
(4) フレームTの(m,n)における動きベクトルと、フレームT−1のブロック(m−X,n−Y)における動きベクトルとの分散値が大きい場合(ランダムな動く物体)
のそれぞれの場合に、そのフレームTのブロック(m,n)の動きベクトルVECT(m,n)を誤ベクトル(信頼度が低いベクトル)と判断して除去し、それ以外の動きベクトルを正しい動きベクトルとするため、背景変動、ノイズ、ランダムな動きをする動く物体等に起因する誤ベクトルを除去することができ、検出される動きベクトルの精度を向上させることができる。
(1) ブロック内の輝度差が小さい場合(背景変動)
(2) 動きベクトルの周囲のブロックに対する分散値(動きベクトルのx方向成分の分散値とy方向成分の分散値のうち大きい方)が大きい場合(ノイズ)
(3) 動きベクトルの周囲のブロックに対する分散値に、フレームT−1におけるブロック(m,n)の動きベクトルの周囲のブロックに対する分散値を重み付けして加算した値が大きい場合(ランダムな動く物体)
(4) フレームTの(m,n)における動きベクトルと、フレームT−1のブロック(m−X,n−Y)における動きベクトルとの分散値が大きい場合(ランダムな動く物体)
のそれぞれの場合に、そのフレームTのブロック(m,n)の動きベクトルVECT(m,n)を誤ベクトル(信頼度が低いベクトル)と判断して除去し、それ以外の動きベクトルを正しい動きベクトルとするため、背景変動、ノイズ、ランダムな動きをする動く物体等に起因する誤ベクトルを除去することができ、検出される動きベクトルの精度を向上させることができる。
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
上述した実施形態における所定のしきい値Yth、α、γ、θは、例えば、経験的に定められた適切な値を使用すればよく、本発明ではこれらのしきい値を限定しない。また、所定のしきい値Yth、α、γ、θはそれぞれ無関係の値である。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
上述した実施形態における所定のしきい値Yth、α、γ、θは、例えば、経験的に定められた適切な値を使用すればよく、本発明ではこれらのしきい値を限定しない。また、所定のしきい値Yth、α、γ、θはそれぞれ無関係の値である。
上述した実施形態では、ブロックマッチング方により各ブロックの動きベクトルを求めるとしたが、本発明はこれには限定されない。すなわち、他の方法により動きベクトルを求めても良い。他の方法とは、例えば、背景差分法、フレーム差分法、テンプレートマッチング法、勾配法等、フレーム間の差分により動きベクトルを求める方法であればどの方法で動きベクトルを求めてもよい。
100…撮像装置、1…レンズユニット、2…イメージセンサ、3…ゲイン調整部、31…CDS回路、32…AGC回路、33…A/D変換部、4…DSP、41…ベクトル検出部、42…信号処理部、43…D/A変換部、5…メモリ、6…タイミング発生器、10…撮像部
Claims (7)
- フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル検出方法であって、
複数のブロックの動きベクトルを求め、ベクトルマップを生成する第1の工程と、
特定のフレーム内の複数のブロックのうち特定の1つのブロックの動きベクトルに対し、前記第1の工程において生成された前記ベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定する第2の工程と、
前記第2の工程において、信頼性が低いと判定された動きベクトルを無効とする値を前記第1の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する第3の工程と、
を有する動きベクトル検出方法。 - 前記第2の工程は、
前記ブロックにおける、輝度値の最大値と最小値との差を求める第4の工程と、
前記第4の工程において求められた当該輝度値の最大値と最小値との差が所定の第1のしきい値よりも小さい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第5の工程と、
を有する請求項1に記載の動きベクトル検出方法。 - 前記第2の工程は、
前記ブロックにおける動きベクトルと、当該ブロックの周囲所定数のブロックの動きベクトルとの分散値を算出する第6の工程と、
前記第6の工程において算出された前記分散値が所定の第2のしきい値よりも大きい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第7の工程と、
を有する請求項1に記載の動きベクトル検出方法。 - 前記第2の工程は、
前記ブロックにおける動きベクトルと当該ブロックの周囲所定数のブロックの動きベクトルとの分散値と、前記ブロックにおける当該動きベクトルが存在するフレームの1つ前のフレームにおける同じ位置に存在するブロックの動きベクトルのその周囲のブロックの動きベクトルに対する分散値に重み付けをして加算した新たな分散値を算出する第8の工程と、
前記第8の工程において算出された前記新たな分散値が所定の第3のしきい値よりも大きい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第9の工程と、
を有する請求項2に記載の動きベクトル検出方法。 - 前記第2の工程は、
前記ブロックにおける動きベクトルと、当該動きベクトルが存在するフレームの1つ前のフレームにおける前記ブロックに存在する動く物体の動きベクトルとの分散値を算出する第10の工程と、
前記第10の工程において算出された前記分散値が所定の第4のしきい値よりも大きい場合に、当該ブロックの動きベクトルを信頼性が低いと判定する第11の工程と、
を有する請求項1に記載の動きベクトル検出方法。 - フレームを複数のブロックに分割して各ブロックの動きベクトルを求める際に、信頼性の低い動きベクトルを誤ベクトルとして除去する動きベクトル除去方法であって、
複数のブロックの動きベクトルを求め、ベクトルマップを生成する第12の工程と、
特定のフレーム内の複数のブロックのうち特定の1つのブロックの動きベクトルに対し、前記第12の工程において生成された前記ベクトルマップを使用して当該動きベクトルの信頼性が高いか低いかを判定する第13の工程と、
前記第13の工程において、信頼性が低いと判定された動きベクトルを無効とする値を除去する第14の工程と、
を有する動きベクトル除去方法。 - 複数のフレームの画像を記憶するメモリと、
前記メモリに記憶された複数のフレームのうち、特定のフレーム内の複数のブロックのうち特定の1つのブロックの動きベクトルに対し、前記複数のブロックの動きベクトルを求めて生成したベクトルマップを使用し、所定の時間内においてある一定の範囲内にある動きベクトルを信頼性が高い動きベクトルであると判定し、そうでない動きベクトルを信頼性が低い動きベクトルであると判定し、信頼性が低いと判定された動きベクトルを無効とする値を前記第1の工程において生成された前記ベクトルマップに登録し、前記ベクトルマップから信頼性が低いと判定された動きベクトルを除去する動きベクトル検出部と、
を有する動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006298914A JP2008117119A (ja) | 2006-11-02 | 2006-11-02 | 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006298914A JP2008117119A (ja) | 2006-11-02 | 2006-11-02 | 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008117119A true JP2008117119A (ja) | 2008-05-22 |
Family
ID=39502985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006298914A Pending JP2008117119A (ja) | 2006-11-02 | 2006-11-02 | 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008117119A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012160657A1 (ja) * | 2011-05-24 | 2012-11-29 | 富士通株式会社 | 物体接近検知装置、物体接近検知方法、及びプログラム |
JP2015225667A (ja) * | 2014-05-26 | 2015-12-14 | 富士通株式会社 | 移動目標の検出方法及び移動目標の検出装置 |
-
2006
- 2006-11-02 JP JP2006298914A patent/JP2008117119A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012160657A1 (ja) * | 2011-05-24 | 2012-11-29 | 富士通株式会社 | 物体接近検知装置、物体接近検知方法、及びプログラム |
US9183448B2 (en) | 2011-05-24 | 2015-11-10 | Fujitsu Limited | Approaching-object detector, approaching object detecting method, and recording medium storing its program |
JP2015225667A (ja) * | 2014-05-26 | 2015-12-14 | 富士通株式会社 | 移動目標の検出方法及び移動目標の検出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107241544B (zh) | 视频稳像方法、装置及摄像终端 | |
WO2017090458A1 (ja) | 撮影装置、および撮影方法、並びにプログラム | |
JP4500875B2 (ja) | モーションブラー効果を除去する方法および装置 | |
KR101594300B1 (ko) | P s f를 추정하기 위한 장치 및 방법 | |
US8422827B2 (en) | Image correction apparatus and image correction method | |
WO2019071613A1 (zh) | 一种图像处理方法及装置 | |
US20150103193A1 (en) | Method and apparatus for long term image exposure with image stabilization on a mobile device | |
US20070127574A1 (en) | Algorithm description on non-motion blur image generation project | |
CN106550187B (zh) | 用于图像稳定的设备和方法 | |
JP2010118862A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
CN106998425B (zh) | 振动检测设备、振动检测方法和摄像设备 | |
WO2017113917A1 (zh) | 成像方法、成像装置和终端 | |
JP2010187348A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2006101447A (ja) | 画像撮像装置及び画像復元方法 | |
KR101783990B1 (ko) | 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법 | |
JP2019176424A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法 | |
JP2008117119A (ja) | 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 | |
JP2011071925A (ja) | 移動体追尾装置および方法 | |
JP2006270523A5 (ja) | ||
JP2015154334A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2010074315A (ja) | 被写体追尾方法及び撮像装置 | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
US10178312B2 (en) | Image processing apparatus and image processing method to position images to position images | |
JP2012085205A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2021061458A (ja) | 情報処理装置、情報処理方法及びプログラム |