JP2013149110A - 移動量検出装置、移動体検出装置及び移動量検出方法 - Google Patents

Abstract

【課題】複数の画像に存在する任意の物体のフレーム内の位置の移動量の検出を簡素な計算方法で実現する装置及び方法を提供する。
【解決手段】移動量検出装置１００は、測定部１１０と制御部１２０とを備える。測定部１１０は、撮像装置が第１画像と第２画像とを撮像する間に撮像装置が動いた動き量を測定する。制御部１２０は、第１画像及び第２画像それぞれのフレームを複数の領域に分割する個数を指定する分割個数、及び、動き量と、第１画像に対して前記第２画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を保持する。そして、制御部１２０は、動き量を測定部から受け、移動量取得情報を用いて動き量に応じた移動量を取得して出力する。
【選択図】図１

Description

本発明は、連続して撮像する画像（例えば、動画像）中の移動体を検出する技術に関し、特に、フレーム内に存在する任意の物体の位置が、時間経過に伴って移動する大きさを検出する技術に関する。

従来から、動画像中の物体を追跡／抽出するためのアルゴリズムが考えられている。このアルゴリズムは、様々な物体と背景とが混在する画像から任意の物体を抽出するための技術である。この技術は動画像の加工や編集に有用であり、例えば、動画像から抽出した人物を別の背景に合成するなどができる。
ビデオカメラやデジタルスチルカメラなどの撮像装置を用いて移動する物体（移動体）を撮影する場合、撮影者は移動体を追跡しながら撮像装置を動かす。このような場合に、上述した任意の物体を抽出する技術を用いることにより、撮像装置は撮影した画像から移動体を抽出することできる。加えて、撮像装置自体を速く動かして、速く動く移動体を撮像する場合、速く動かすことによる撮像後のブレが無く、一方、移動体に関しては、通常通りに物体追跡を実現できる現象が望ましい。

例えば、特許文献１では、目的の物体以外の周囲の余分な動きに影響されずに、動画像から目的の物体を精度よく抽出／追跡する技術が開示されている。特許文献２、３では、１フレームを複数のブロックに分割し、そのブロック毎に１つのベクトルを関連付けて、物体が動く方向や距離を感知している。特許文献４では、特許文献２、３と同様に１フレームを複数のブロックに分割し、フレームに写された画像の明るさや輝度信号の分布により物体を認識している。特許文献５では、通常の手振れ補正の品位を維持しながら、画像の流れがはっきりとわかるような大きな手振れが発生した時にも良好な画像が得られる振れ補正に関する技術が開示されている。加えて、特許文献５では、距離をプロセッサで処理せず、加速度センサを用いて計算している。特許文献６には動画撮影時の手ぶれによる画像のぶれを確実に解消する技術が開示され、角速度センサにより、動画を構成する角フレームにおける手振れ量を取得して、手振れ量に基づくフレーム内／フレーム間不正処理を実行している。

特開２００５−４７９９号公報 特開平６−２０３１６３号公報 特開２００６−１２０１３号公報 特開平７−２３４９３８号公報 特開２００２−１４８６７０号公報 特開２００７−２２１７１０号公報

しかしながら、特許文献１の技術では、背景の動きと物体の動きを分けるため、その物体を事前にユーザが指定しなければならない。特許文献２、３では、１ブロックに対応するベクトルが大きい場合、たとえば瞬時にカメラを大きく動かすと、そのベクトルの表現範囲を超えることにより、背景処理が実行不可能となる可能性が高い。また、ベクトルが大きくなると物体が動く距離等の計算量も多くなり、精度よく移動体抽出／追跡ができなくなる可能性がある。特許文献４の技術では、明るさや輝度の閾値は手作業で決めなければならず、勘や経験に基づく判断が必要となる。特許文献５の技術では、システムに用いられている積分回路の習性により、加速度センサから出力される周波数が急激に高くなった後、元には戻らない可能性がある。そのため、加速度センサから出力される周波数が高くなるに従い、修正距離の誤差を緩和してピントをずらしたような自然な画像を実現している。しかしこの方法では、高精細な画像は再現されない。
上述したように、移動体の移動量を検出する処理が煩雑であったり、撮像装置を瞬時にフレームの幅以上に大きく動かした場合、撮像装置の動きの制限や取り込んだ画像の処理方法により、移動体の検出が不可能な場合が生じるという課題があった。

本発明に係る移動量検出装置の一態様は、測定部と制御部とを備える。測定部は、撮像装置が第１画像と第２画像とを撮像する間に前記撮像装置が動いた動き量を測定する。制御部は、分割個数と移動量取得情報とを保持する。前記分割個数は、前記第１画像及び前記第２画像それぞれのフレームを複数の領域に分割する個数を指定する個数である。前記移動量取得情報は、前記動き量と、前記第１画像に対して前記第２画像が移動した領域の数を示す移動量とを対応づける情報である。制御部は、前記動き量を測定部から受けると、前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する。
制御部は、測定部が出力する動き量、言い換えると撮像装置の動いた大きさを示す値を用いて、複数の画像中に存在する任意の物体のフレーム内の位置が、撮像装置の動き量に応じて移動した移動量を取得するものである。制御部は、フレームを複数の領域に分割し、当該位置が移動した大きさ（移動量）を、領域の数として取得する。これにより、移動量の絶対値は整数として取り扱うことが可能となる。その結果、任意の物体の移動量に関する計算を、整数を用いて演算することが可能になり、簡易な計算によって移動量の取得を実現する。

本発明に係る移動体検出装置の一態様は、バッファ、測定部、制御部、第１差分処理部、第２差分処理部、及び検出部を備える。
バッファは、第１画像、前記第１画像に続く第２画像、及び、前記第２画像に続く第３画像を格納する。
測定部は、撮像装置が二つの画像を撮像する間に前記撮像装置が動いた動き量を測定する。
制御部は、前記画像のフレームを複数の領域に分割する個数を指定する分割個数、及び、前記動き量と、一つの画像に対して前記一つの画像に続く画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を保持し、前記動き量を測定部から受け、前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する。
第１差分処理部は、前記制御部から前記移動量として、前記第１画像と前記第２画像との間の第１の移動量を受け、前記第１の移動量に応じて前記第１画像から前記第２画像へ移動したときに喪失する領域を、前記第１画像から除いた第１共通画像、及び、前記第１画像から前記第２画像へ移動したときに追加される領域を前記第２画像から除いた第２共通画像を取得し、前記第１共通画像と前記第２共通画像との差分を抽出した第１差分画像を生成する。
第２差分処理部は、前記制御部から前記移動量として、前記第２画像と前記第３画像との間の第２の移動量を受け、前記第２の移動量に応じて前記第２画像から前記第３画像へ移動したときに喪失する領域を、前記第２画像から除いた第３共通画像、及び、前記第２画像から前記第３画像へ移動したときに追加される領域を前記第３画像から除いた第４共通画像を取得し、前記第３共通画像と前記第４共通画像との差分を抽出した第２差分画像を生成する。
検出部は、前記第１差分画像と前記第２差分画像との重複部分を、前記第２画像に含まれる移動体として検出し、前記移動体の近傍範囲を前記移動体の追跡範囲として設定する。
移動体検出装置では、移動量として領域の数を取得するため、移動量を用いて移動体の検出を実現する場合に、移動量を用いる演算処理の負荷を大幅に軽減することができる。言い換えると、移動量として、実際に動いた距離ではなく上述した領域の数を用いて表すため、移動量を実数値ではなく整数値として保持する。このため、移動量を保持するレジスタの数および計算量を削減することができる。その結果、移動体検出における消費電力も削減することが可能になる。

本発明に係る移動量検出方法の一態様は、複数の画像に存在する任意の物体のフレーム内の位置が、撮像装置が動いた動き量に応じて移動する移動量を検出する移動量検出方法であって、第１画像及び第２画像それぞれのフレームを複数の領域に分割する個数を指定する分割個数、及び、前記動き量と、前記第１画像に対して前記第２画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を記録領域に保持し、測定手段（例えば、加速度センサ）を用いて、前記撮像装置が前記第１画像と前記第２画像とを撮像する間の前記動き量を測定し、前記測定手段が測定した結果を受けると、前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する。

本発明に係る移動量検出方法を実現するプログラムの一態様は、複数の画像に存在する任意の物体のフレーム内の位置が、撮像装置が動いた動き量に応じて移動する移動量を検出する移動量検出方法を実現するプログラムであって、コンピュータに、第１画像及び第２画像それぞれのフレームを複数の領域に分割する個数を指定する分割個数、及び、前記動き量と、前記第１画像に対して前記第２画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を記録領域に保持する処理と、前記撮像装置が前記第１画像と前記第２画像とを撮像する間の前記動き量を測定した結果を受ける処理と、前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する処理を実行させる。

本発明によれば、複数の画像に存在する任意の物体のフレーム内の位置の移動量の検出や移動体の検出を簡素な計算方法で実現することが可能となる。

本発明の実施形態１に係る移動量検出装置の構成例を示すブロック図である。 測定部における振動周波数と電圧との関係例を示す図である。 測定部における振動周波数と電圧との他の関係例を示す図である。 実施形態１における、動き量と移動量との関係例を示す図である。 実施形態１における、動き量と移動量との他の関係例を示す図である。 実施形態１における、動き量と移動量との関係例を示すテーブルである。 実施形態１における、フレームを横方向に分割した複数の領域の一例を示す図である。 実施形態１における、フレームを縦方向に分割した複数の領域の一例を示す図である。 撮像装置が横方向に右から左に動いたときのフレームの画像の移動の様子を示す図である。 撮像装置が横方向に左から右に動いたときのフレームの画像の移動の様子を示す図である。 本発明の実施形態２に係る移動体検出装置の構成例を示すブロック図である。 実施形態２に係る移動体検出装置の処理の流れを説明する図である。 実施形態２に係る移動体検出装置の差分画像生成処理の動作例を示すフローチャートである。 実施形態３に係る移動体検出装置の差分画像生成処理の動作例を示すフローチャートである。 実施形態４に係る移動量検出装置の変形例の構成例を示すブロック図である。 本発明に係る移動量検出装置の制御部の動作例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。

本発明の実施形態の一態様は、任意の物体を追跡して撮像装置（カメラ）を動かして撮像を行うときに、当該撮像装置を動かすことによって、フレーム内に存在する任意の物体の位置が移動した大きさ（移動量）を求める手段を提供する。撮像装置の動きの測定は、一例として加速度センサなどから出力される振動周波数、及び、撮像装置が動くことによって生じる電圧を用いる。
以降の説明において、撮像装置には、動画を撮像するビデオカメラ、静止画を撮像するデジタルカメラなどが含まれる。

移動体を対象とする場合、撮像装置が撮像中に動くと、当該撮像装置が撮像する物体のうち、自ら移動しない物体についてはフレーム内の画像の位置が、撮像装置の動き量、言い換えると撮像装置が動いた長さに応じて移動する。時系列の複数の画像、例えば、画像Ａと、画像Ａに続いて撮像された画像Ｂとに着目すると、画像Ａに対して画像Ｂは移動したとらえることが可能であり、撮像装置の動き量に応じて、フレーム内で任意の物体の画像が移動した移動量を特定することができる。本発明は、移動量を簡易な演算によって取得することを実現する。
実施形態１では、まず、本発明に係る移動量検出装置の説明をし、実施形態２では、実施形態１の移動量検出装置を搭載した移動体検出装置について説明する。

実施形態１．
＊ 実施形態１の構成
図１に、本発明の実施形態１に係る移動量検出装置の構成例を示す。移動量検出装置１００は、撮像装置が画像を撮像中に動いた動き量に応じて、撮像した二つの画像の間で、画像がフレーム内で移動した移動量を検出する。ここで、フレームは、画像領域を特定する枠である。撮像した二つの画像は、撮像装置が異なるタイミング（時刻）で撮像した、第１画像と、第１画像に続いて撮像された第２画像とを一例として用いて説明する。移動量検出装置１００は、移動量として、撮像装置の動き量に応じて、第１画像と第２画像との間で、画像がフレーム内で移動した距離に替えて、フレームを複数の領域に分割し、フレーム内の複数の領域の数を示す移動量を用いる。言い換えると、撮像装置の動きに伴って、第１画像のうち、第２画像では撮像されなくなった画像の領域の数を移動量として示す、ともいえる。以下、図１を参照して具体的な構成例を説明する。

移動量検出装置１００は、測定部１１０と制御部１２０とを備える。
測定部１１０は、撮像装置が画像を撮像中に動いた動き量を測定する。測定部１１０は、例えば、加速度センサ１１１を備える。ここでは、加速度センサ１１１として、２軸の加速度センサを用い、撮像装置の動きに対して、横方向（水平方向、ｘ軸方向）の振動周波数ｆｘと、縦方向（垂直方向、ｙ軸方向）の振動周波数ｆｙとを測定する。加速度センサ１１１は、振動周波数ｆｘ、ｆｙを用いて、任意の処理により、電圧ΔＶｘ、ΔＶｙを算出する。電圧ΔＶｘ，ΔＶｙは、撮像装置の動き量を示す。加速度センサ１１１は、例えば、図２Ａ、２Ｂに示すような関係式を用いて振動周波数ｆｘ、ｆｙから電圧ΔＶｘ、ΔＶｙを算出し、出力する。ここでは、加速度センサ１１１は、電圧ΔＶｘ、ΔＶｙとしてデジタルの数値を出力することを前提として説明する。

図２は、測定部１１０における振動周波数と電圧との関係例を示す図である。加速度センサ１１１は、測定した振動周波数ｆｘ、ｆｙ、及び、所定の関係式を用いて、電圧ΔＶｘ、ΔＶｙを算出し、動き量、具体的には、横方向動き量（電圧ΔＶｘ）と、縦方向動き量（電圧ΔＶｙ）とを出力する。このとき、加速度センサ１１１は、振動周波数と電圧とを関係づける関係式とした関数αを用いる。関数αの種類は、特に限定されるものではなく、図２Ａに示すような一次関数でも良いし、図２Ｂに示すような二次関数でも良い。
なお、図１では、説明を容易にするため、測定部１１０が加速度センサ１１１を備える構成例を示しているが、これに限られるわけではなく、加速度センサ１１１に加え、増幅器・Ａ／Ｄ変換器等を備える構成であってもよい。これについては後述する。

制御部１２０は、フレームを複数の領域に分割する個数を指定する分割個数を保持し、第１画像に対して第２画像が移動した領域の数を示す移動量を出力する。ここで、移動量は、第１画像に対して、第２画像から削除された画像、あるいは、第１画像に対して、第２画像に新たに追加された画像が、全フレームに対してどのくらい存在するかを示すともいえる。ここでは、第１画像に対して、第２画像から削除された画像と第２画像へ追加された画像とは、全フレームに対して同じ割合になる。言い換えると、撮像装置が第１画像の撮像地点から動いて第２画像を撮像すると、第２画像には、第１画像の少なくとも一部分の画像は削除され、新たな画像が追加されることになる。
移動量は、第１画像のフレームを複数の領域に分割した場合、第２画像が分割個数の何個分移動したかを示している。従って、移動量は、撮像装置の動きに応じて、１フレームに対する移動の割合を示すともいえる。例えば、分割個数が２５６であり、１フレームを２５６個の領域に分割し、第２画像が、第１画像のフレームのうち１２８個の領域が右に移動したものとする。この場合には、移動量は１２８となり、分割個数２５６に対して、移動量の１２８は、５０％であることが算出できる。従って、第２画像は、第１画像のフレームに対して、５０％右に移動したということができる。別の言い方をすれば、分割個数と移動量とは、移動した後の画像が、移動する前の１フレームの画像に対して、どの程度の割合で移動したかを示すことを可能とする。

具体的には、制御部１２０は、次のような処理を実施して移動量を取得する。制御部１２０は、上述した分割個数に加え、移動量取得情報を保持し、測定部１１０が測定した動き量を受けると、動き量と移動量取得情報とを用いて動き量を取得し、出力する。移動量取得情報は、動き量と、移動量とを対応づける情報である。例えば、移動量取得情報として、動き量と移動量とを対応づける関係式やテーブルなどを用いることができる。分割個数あるいは移動量取得情報は予め設定された値や情報を制御部１２０が保持するように構成してもよいし、システム稼働後にユーザが外部から入力する値や情報を制御部１２０が保持するように構成してもよい。例えば、制御部１２０が保持する分割個数や移動量取得情報を、ユーザが、マンマシンインターフェースなどを用いて入力や変更ができるように構成してもよい。
図１では、制御部１２０は、情報保持部（メモリ）１２１へ分割個数及び移動量取得情報を格納する構成例を示しているが、これに限られるわけではない。分割個数及び移動量取得情報は、制御部１２０が参照可能な記録領域に保持されていればよい。

図３Ａ〜３Ｃに、動き量と移動量との関係を対応づける移動量取得情報の一例を示す。
まず、測定部１１０から動き量△Ｖを受けると、その動き量ΔＶに対して移動量Ｐｖを取得できる関数βを作成する。制御部１２０が、移動量取得情報として、関係式Ｐｖ＝β（ΔＶ）を保持する。関数βの種類は、図３Ａに示すような一次関数でも良いし、図３Ｂに示すような二次関数でも良い。
図３Ａ、３Ｂでは、横方向と縦方向と区別しないで示しているが、実際には多くの場合、制御部１２０は、横方向及び縦方向それぞれに対応する、横方向移動量取得情報と縦方向移動量取得情報とを保持する。横方向移動量取得情報は、横方向動き量と、分割個数（または横方向分割個数）でフレームを分割した複数の領域のうち、第１画像に対して第２画像が移動した領域数を示す横方向移動量Ｐｖ＿ｘとを対応づける。縦方向移動量取得情報は、縦方向動き量と、分割個数（または縦方向分割個数）でフレームを分割した複数の領域のうち、第１画像に対して第２画像が移動した領域数を示す縦方向移動量とを対応づける。

さらに、制御部１２０は、移動量取得情報として、図３Ｃに示すようなテーブルを保持していてもよい。図３Ｃは、動き量に応じて、移動量を一意に決定するテーブルである。図３Ｃでは、Ｐｖを４ビットの２進数で表す場合を一例として示す。図３Ｃ中、ｖｘ＿１〜ｖｘ＿ｍａｘ−１、ｖｙ＿ｍａｘ、ｖｙ＿１〜ｖｙ＿ｍａｘ−１、ｖｙ＿ｍａｘ等は、電圧ΔＶｘまたは電圧ΔＶｙが採り得る値を意味し、ｖｘ＿ｍａｘ及びｖｙ＿ｍａｘはその最大値である。
移動量は、図３Ａ、３Ｂに示すように、正の値、ゼロ、負の値を採るように対応づけてもよい。または、移動量がゼロ、または正の値のみとなるように対応づけ、移動の方向を示す情報を別に保持してもよい。

本実施形態では、制御部１２０は、分割個数Ｎ（Ｎは１以上の整数）として２のべき乗の値を保持することが好ましい。これは、制御部１２０あるいは移動量を用いる他の構成要素において、移動量をＮ個のビット数のレジスタで保持することが可能になるからである。２のべき乗の値を用いることにより、レジスタのビットを有効に利用することができるとともに、演算処理を容易にすることができる。しかしながら、分割個数Ｎが２のべき乗以外の数値を採ることを排除するものではない。分割個数Ｎは、任意の整数値を用いることができる。
加えて制御部１２０は、分割個数Ｎを保持する場合、移動量の絶対値として、ゼロから分割個数Ｎ未満の範囲の値を取得するように構成される。言い換えると、移動量取得情報は、移動量の絶対値として、ゼロからＮ未満の範囲の数値を対応づけるように生成される。例えば、移動量の絶対値は、ゼロから（Ｎ−１）までの範囲の整数を取り得る。

なお、本実施形態では、横方向と縦方向との分割個数が異なる場合には、制御部１２０は、横方向と縦方向それぞれに対応する、横方向分割個数Ｎｘ（Ｎｘは１以上の整数）と縦方向分割個数Ｎｙ（Ｎｙは１以上の整数）を保持し、横方向移動量Ｐｖ＿ｘの絶対値としてゼロから（Ｎｘ−１）までの整数を取得し、縦方向移動量Ｐｖ＿ｙの絶対値としてゼロから（Ｎｙ−１）までの整数を取得することになる。図４Ａ、４Ｂにフレームを横方向または縦方向に分割した例を示す。図４Ａは、横方向分割個数Ｎｘが１６個の場合を示し、図４Ｂは、縦方向分割個数Ｎｙが８個の場合を示す。

また、移動量は、フレームの対向する二つの端部のうち、一方の端部を基点とし、他方の端部を分割個数から１を差し引いた数値を設定する座標として考えることもできる。例えば、図４Ａでは、対向する二つの端部Ｘ＿Ｌ、Ｘ＿Ｒのうち、一方をゼロ、他方を（Ｎｘ−１）と設定することができる。例えば、一方の端部Ｘ＿Ｌを基点（ゼロ）とし、他方の端部Ｘ＿Ｒを（Ｎｘ−１）の座標値であると設定し、分割した複数の領域の位置を、基点からの座標値として表すことができる。図４Ｂに示す対向する二つの端部Ｙ＿Ｂ、Ｙ＿Ｔも同様である。その結果、移動値は、座標値として取得することが可能になる。加えて、図３Ａ、３Ｂでは、移動量として負の値を採る例を示しているが、二つの端部のうちどちらが基点となるかを設定する情報を保持し、移動量を基点からの座標値として表すことも可能である。この場合、制御部１２０は、ゼロまたは正の整数の移動量と、基点の位置を示す情報（基点情報）を取得し、出力すればよい。

なお、図１には明示していないが、制御部１２０は、各種演算処理を実行するプロセッサ（ＣＰＵ：Central Processing Unit）、当該演算処理を実施するために必要な各種メモリ、例えば、制御プログラムや各種データを格納する書き換え可能なＲＯＭ（Read Only Memory）や、各種演算処理におけるワークエリアとして用いるＲＡＭ（Random Access Memory）、等を備える。

＊ 実施形態１の動作
次に、上述した図面を参照して移動量検出装置１００の動作例を説明する。ここでは、横方向の動き量と縦方向の動き量とは、同じ処理によって算出する。説明を容易にするため、横方向または縦方向とのいずれかの振動周波数、電圧、及び移動量を、振動周波数ｆ、電圧ΔＶ、及び移動量Ｐｖとして説明する。
加速度センサ１１１は、撮像装置の動きを測定し、振動周波数ｆを取得する。加速度センサ１１１は、測定した振動周波数ｆを用いて、例えば、図２Ａまたは図２Ｂのような関数に従って電圧ΔＶを算出し、出力する。加速度センサ１１１に２軸の加速度センサを用いると、横方向の動きに対して、例えば、撮像装置（フレーム）を右に動かしたとき、ゼロ（動き量がゼロ）または正の値（ΔＶ≧０）になり、フレームを左に動かしたとき、負の値（ΔＶ＜０）となる。加速度センサ１１は、左右の動きに加え、上下の動きにも対応できる。従って、図２Ａ、２Ｂにおいて、例えば、撮像装置が右または上に動くと、電圧ΔＶがゼロまたは正の値（ΔＶ≧０）、左または下に動くと、電圧ΔＶが負の値（ΔＶ＜０）を採る。

なお、以降の説明では、撮像装置が時間間隔Ｔ（Ｔは正の数値であり、時間を示す）で連続する画像を撮像する場合を一例として説明する。振動周波数ｆと電圧ΔＶとは、時間間隔Ｔの期間では不変であることを前提とする。このため、例えば、振動周波数ｆと電圧ΔＶとの値は時間間隔Ｔの期間の最大値を用いても良い。
測定部１１０は、動き量として電圧ΔＶを制御部１２０へ出力する。

次に、制御部１２０は、電圧ΔＶから移動量Ｐｖを求める。本実施形態では、制御部１２０は、例えば、図３Ａ〜３Ｃに示すような移動量取得情報を用いて、移動量Ｐｖとして、絶対値がゼロから（Ｎ−１）までの整数を取得する。
例えば、図４Ａにおいて、横方向分割個数Ｎｘを、例えば２５６とするならば、横方向の座標軸（横軸）、言い換えると端部Ｘ＿ＬからＸ＿Ｒまでの間は２５６個に分割され、Ｐｖ＿ｘは０から２５５までの整数値をとる。
図５Ａ、５Ｂを参照して、画像の移動を具体的に説明する。図５Ａでは、撮像装置が横方向に左から右に動いた場合の、図５Ｂでは、横方向に右から左に動いた場合のフレームの画像の移動を示す。例えば、撮影した画像Ｉ（ｔ）が画像Ｉ（ｔ＋１）に変化するとき、画像Ｉ（ｔ）ではこの変化により消えた領域（右下がり斜線部分の領域）が削除され、画像Ｉ（ｔ＋１）ではこの変化により新規に撮像された領域（右上がり斜線部分の領域）が存在する。ｔは任意の時刻を表し、（ｔ＋１）は、時刻ｔから時間間隔Ｔを経過した時刻、（ｔ−１）は、時刻ｔより時間間隔Ｔの期間前の時刻を表す。加えて、図５Ａ、５Ｂでは、分割個数を２５６（２の８乗）とし、移動量Ｐｖ＿ｘがゼロから２５５の範囲の値を採る場合を一例として示す。

図５Ａ、５Ｂに示すように、測定部１１０が取得する移動量は、座標軸上に数値として取り扱うことができる。図５Ａ、５Ｂでは、画像Ｉ（ｔ）から画像Ｉ（ｔ＋１）へ画像が移動した場合、測定部１１０は、移動量Ｐｖ＿ｘを取得する。移動量の絶対値は、画像が移動した領域の数を表す。このため、フレームの一端を基点ゼロ、他端を移動量の最大値とすると、移動量Ｐｖ＿ｘは、座標軸上の基点からの大きさを表すことになる。加えて、画像の移動に伴って画像Ｉ（ｔ）から削除される領域（喪失する画像の領域）を、基点から移動量Ｐｖ＿ｘまでの領域として取り扱うことができる。また、画像Ｉ（ｔ＋１）に追加される領域（加わる画像の領域）を、移動量Ｐｖ＿ｘを反転した値と、フレームの他端の座標値までの領域として表すことができる。一方、画像Ｉ（ｔ）及び画像（ｔ＋１）に含まれる領域（共通する画像の領域）を、画像Ｉ（ｔ）では、Ｐｖ＿ｘからフレームの他端の座標値として取り扱うことが可能になる。
図５Ａ、５Ｂに示すように、画像Ｉ（ｔ）と画像Ｉ（ｔ＋１）との間の移動量を用いて計算されるので、実数を用いた複雑な演算は行わない。具体的には、整数の値である移動量及び分割個数を用いて、移動後の画像について、移動前の１フレームの画像に対する移動した割合を取得し、演算を実施することを可能にする。ゆえに、実距離ではなく、複数の領域の数を用いて、後述する動画像の物体追跡の処理を実現することができる。このため、計算量が削減され、その計算量を削減することにより消費電力の削減の効果にも期待できる。

＊ 実施形態１のメカニズムおよび効果
撮像装置の移動距離を、実距離ではなく、フレームを複数の領域に分割し、どの領域の範囲が移動しているかという、領域の数で表現する。このため、撮像装置を動かしたときの距離を表わす具体的な実数値を用いて演算処理する必要がなくなる。このため、精度の高い処理をするための高度なプロセッサを必要とせず、簡素なハードウェアおよびファームウェアで実現可能である。加えて、特許文献２及び特許文献３で示したような、分割されたブロック毎にベクトル演算するというに多大な計算を必要としない。その結果、実行時の消費電力を抑制するという効果を奏することができる。
さらに、加速度センサを用いるとき、特許文献５では積分回路を合わせて用いるが、本発明では、本実施形態では積分回路を用いないので、撮像装置の動きの修正距離に関して、誤差の緩和を行わなくて済む。さらに加えて、特許文献２、３では、ベクトル演算を用いる場合、撮像装置の動き量の範囲に制限があったが、本実施形態では、撮像装置の動き量の範囲に制限が設けられることはない。ゆえに、ユーザは撮像装置の動く距離の制限を気にすることなく利用することが可能となる。

実施形態２．
実施形態２では、実施形態１の移動量検出装置１００を搭載した移動体検出装置２００に関して説明する。移動体検出装置２００は、異なる時間に撮像された複数の画像（例えば、時系列に撮像された複数の画像）から移動体を検出する装置である。
＊ 実施形態２の構成
図６に、実施形態１の移動量検出装置を適用した移動体検出装置の構成例を示す。移動体検出装置２００は、移動量検出装置１００、バッファメモリ２２０、差分画像生成部２３０、検出部２４０を備える。カメラ１１から撮像された画像データは、キャプチャ用バッファ１２に格納され、画像変換器１３などを用いて、バッファメモリ２２０に画像データが保存される。

バッファメモリ２２０は、第１画像、第１画像に続く第２画像、及び、第２画像に続く第３画像それぞれを格納する、バッファ（第１画像バッファ）２２１、バッファ（第２画像バッファ）２２２、及びバッファ（第３画像バッファ）２２３を備える。バッファ２２１はバッファ２２２の画像より時間間隔Ｔの期間早く撮影された画像を保持し、バッファ２２２はバッファ２２３の画像より時間間隔Ｔの期間早く撮影された画像を保持する。図６では、バッファ２２２の撮像時刻を（ｔ）とし、バッファ２２１の撮像時刻を（ｔ−１）、バッファ２２３の撮像時刻を（ｔ＋１）として表し、第１画像を画像Ｉ（ｔ−１）、第２画像を画像Ｉ（ｔ）、第３画像を画像Ｉ（ｔ＋１）として表す。

差分画像生成部２３０は、移動量検出装置１００が取得した移動量に応じて二つの画像の差分を抽出する。具体的には、差分画像生成部２３０は、第１画像と第２画像との差分画像を生成する第１差分処理部２３１、第２画像と第３画像との差分画像を生成する第２差分処理部２３２、遅延素子２３３、バッファ（第１差分バッファ）２３４、及び、バッファ（第２差分バッファ）２３５を備える。バッファ２２１〜２２３に格納される画像（フレーム）のサイズに関する情報については、移動体検出装置２００内に保持することを前提とする。例えば、バッファ２２１〜２２３にヘッダ情報として画像のサイズを保持するように構成してもよいし、他の構成要素内に画像のサイズを保持するように構成してもよい。
第１差分処理部２３１は、第１画像と第２画像とについて、移動量を制御部１２０から受け、移動量に応じて第１画像から第２画像へ移動したときに喪失する画像の領域（削除される領域、削除領域）を、第１画像から除いた第１共通画像、及び、第１画像から第２画像へ移動したときに追加される画像の領域（新たに加わる領域、追加領域）を第２画像から除いた第２共通画像を取得し、第１共通画像と第２共通画像との差分を抽出した第１差分画像を生成し、バッファ２３４へ格納する。

第２差分処理部２３２は、第２画像と第３画像とについて、移動量を制御部１２０から受け、移動量に応じて第２画像から第３画像へ移動したときに喪失する画像の領域を、第２画像から除いた第３共通画像、及び、第２画像から前記第３画像へ移動したときに追加される画像の領域を第３画像から除いた第４共通画像を取得し、第３共通画像と第４共通画像との差分を抽出した第２差分画像を生成し、バッファ２３５へ格納する。
遅延素子２３３は、制御部１２０から出力される移動量が、第２差分処理部で処理する画像データに対応するように時間調整を行う。
バッファ２３４は、第１差分処理部２３１が生成した第１差分画像を保持し、バッファ２３５は、第２差分処理部２３２が生成した第２差分画像を保持する。バッファ２３４、２３５が保持する画像は、後述する処理において、検出部２４０によって読み出される。

検出部２４０は、第１差分画像と第２差分画像との重複部分を第２画像に含まれる移動体として検出し、移動体の近傍範囲を移動体の追跡範囲として設定する。具体的には、検出部２４０は、設定部２４１、及び、バッファ（対象範囲バッファ）２４２を備える。
設定部２４１は、論理積回路を用いて第１差分画像と第２差分画像との重複部分を検出する。そして、論理積回路が検出した重複部分に基づいて、移動体の追跡範囲を設定し、バッファ２４２へ格納する。

なお、キャプチャ用バッファ１２に格納される画像は明るさを表現するので、画像変換器１３は、２値画像への変換処理を実施しても輝度信号への変換を実施しても良い。バッファ２２１、バッファ２２２及びバッファ２２３に格納した各画像データ、移動量検出装置１００（測定部１１０、制御部１２０）、及び、遅延素子２３３を用いて１フレームに対するカメラ１１の移動の割合が計算される。そして、差分画像生成部２３０及び検出部２４０を用いて、撮像された画像の中で動く物体（移動体）が検出され、移動体を追跡する対象範囲が設定されバッファ２４２に保存される。バッファ２４２に保存された対象範囲を示す情報（例えば、移動体を囲む矩形の領域）が、キャプチャ用バッファ１２の画像と共に、ディスプレイ７１に表示される。

＊ 実施形態２の動作
図７に、実施形態２に係る移動体検出装置の処理の流れを示す。図７を参照して動作例を説明する。図７では、撮像装置が横方向に移動する場合について説明する。加えて、図８に、図７に示す各Ｓｔｅｐを含む、移動体検出装置２００の動作をフローチャートに示す。差分画像生成部２３０において、第１差分処理部２３１は、バッファ２２１、２２２に第１画像及び第２画像が格納され、制御部１２０から移動量を取得すると（Ｓ２１）、第１差分画像生成処理Ｓ２２、Ｓ２３を実施する。第２差分処理部２３２は、バッファ２２２、２２３に第２画像及び第３画像が格納され、制御部１２０から移動量を取得すると（Ｓ２４）、第２差分画像生成処理Ｓ２２、Ｓ２３を実施する。その後、検出部２４０が検出処理（Ｓ２７〜Ｓ２８）によって、移動体を検出し（Ｓ２７）、検出された情報が出力される（Ｓ２８）。以下、図７、８を参照して差分画像生成処理及び検出処理について詳細に説明する。

Ｓｔｅｐ１：第１画像と第２画像との移動量の取得（Ｓ２１）
移動量検出装置１００は、バッファ２２１とバッファ２２２とに保存された画像Ｉ（ｔ−１）及び画像Ｉ（ｔ）から、測定部１１０によってカメラ１１の動き量を測定するとともに、制御部１２０によって移動量を取得する。移動量検出装置１００から出力される移動量は、１時刻早いので、時間間隔Ｔを合わせるために遅延素子３３を用い、バッファ２２１に画像Ｉ（ｔ−１）、バッファ２２２に画像Ｉ（ｔ）が保存されたタイミングで処理を実施するように構成する。図７では、Ｓｔｅｐ１で測定部１１０が取得した移動量を画像Ｉ（ｔ）の下に矢印で示す。制御部１２０は、取得した移動量を第１の差分処理部２３１へ出力する。

Ｓｔｅｐ２：第１画像と第２画像との共通画像の生成（Ｓ２２）
カメラ１１が動いたことによって、移動量に基づいて画像の移動が生じ、バッファ２２１の画像Ｉ（ｔ−１）には含まれるものの、バッファ２２２の画像Ｉ（ｔ）からは喪失する画像の領域（削除された領域）及びバッファ２２１の画像Ｉ（ｔ−１）には撮像されていないが、バッファ２２２の画像ｔ（ｔ）に新たに加わる画像の領域（追加された領域）が生じる。そこで、第１差分処理部２３１は、制御部１２０から移動量を受け、画像Ｉ（ｔ−１）から、削除された領域（右側の右下がり斜線部分の領域）を削除し、第１共通画像を生成する。また、バッファ２２２の画像Ｉ（ｔ）から追加された領域（左側の右上がり斜線部分の領域）を削除し、第２共通画像を生成する。
Ｓｔｅｐ３：第１画像と第２画像との差分画像生成（Ｓ２３）
Ｓｔｅｐ２で求めた２つの画像の差分をとる。具体的には、第１差分処理部２３１は、第１共通画像と第２共通画像の差分を抽出した第１差分画像を生成し、バッファ２３４へ格納する。第１共通画像と第２共通画像とは、背景は同じとなるので、動体の軌跡のみが残る。

Ｓｔｅｐ４：第２画像と第３画像との移動量の取得（Ｓ２４）
移動量検出装置１００は、バッファ２２２とバッファ２２３とに保存された画像Ｉ（ｔ）及び画像Ｉ（ｔ＋１）から、測定部１１０によってカメラ１１の動き量を測定するとともに、制御部１２０によって移動量を取得する。図７では、Ｓｔｅｐ４で測定部１１０が取得した移動量を画像Ｉ（ｔ＋１）の下に矢印で示す。制御部１２０は、取得した移動量を第２の差分処理部２３２へ出力する。
Ｓｔｅｐ５：第２画像と第３画像との共通画像生成（Ｓ２５）
カメラ１１が動いたことによって、移動量に基づいて画像の移動が生じ、バッファ２２２の画像Ｉ（ｔ）には含まれるものの、バッファ２２３の画像ｔ（ｔ＋１）からは削除される画像の領域（削除された領域）及びバッファ２２２の画像Ｉ（ｔ）には撮像されていないが、バッファ２２３の画像ｔ（ｔ＋１）に新たに加わる画像の領域（追加された領域）が生じる。そこで、第２差分処理部２３２は、制御部１２０から移動量を受け、画像Ｉ（ｔ）から、消去された領域（右側）を削除し、第３共通画像を生成する。また、バッファ２２３の画像Ｉ（ｔ＋１）から追加された領域（左側）を削除し、第４共通画像を生成する。
Ｓｔｅｐ６：第２画像と第３画像との差分画像生成（Ｓ２６）
Ｓｔｅｐ５で求めた２つの画像の差分をとる。具体的には、第２差分処理部２３２は、第３共通画像と第４共通画像の差分を抽出した第２差分画像を生成し、バッファ２３５へ格納する。第３共通画像と第４共通画像とは、背景は同じとなるので、動体の軌跡のみが残る。なお、図６の例にあるバッファ２４２では、動体の重なった箇所が差分によって消去されている。

Ｓｔｅｐ７：差分画像の重複部分検出（Ｓ２７）
検出部２４０の設定部２４１は、論理積の計算を用いて、バッファ２３４の第１差分画像とバッファ２３５の第２差分画像との重複部分を抽出する。言い換えると、第１差分画像と第２差分画像との交わりをとる。そして、抽出した重複部分の近傍を物体追跡の範囲と設定し、設定した範囲を示す情報をバッファ２４２に格納する。
Ｓｔｅｐ８：移動体情報の出力（Ｓ２８）
Ｓｔｅｐ７によって得られた物体の近傍を物体追跡の領域を示す図形（例えば、長方形、矩形、あるいは円形等で、移動体追跡の範囲を示すマーク）がキャプチャ用バッファ１２に保存されている画像と共にディスプレイ７１に表示される。

なお、図８中、説明を容易にするために、ステップＳ２１〜Ｓ２３と、ステップＳ２４〜Ｓ２６とを順番に処理するように表している。第１差分処理部２３１が第１差分画像生成処理（Ｓ２２〜Ｓ２３）を実施中であっても、第２差分処理部２３２は並行して処理を実施することができる。従って、ステップＳ２４において、第２画像と第３画像がバッファ２２２、２２３に格納され、第２差分処理部２３２が第２画像と第３画像との移動量を取得すると、第２差分処理部２３２は、第１差分画像生成処理と並行して、第２差分画像生成処理（Ｓ２５〜Ｓ２６）を開始してもよい。
加えて、第１差分処理部２３１は、ステップＳ２１で取得した移動量がゼロである場合、第１及び第２共通画像生成処理（Ｓ２２）を実施することなく、第１画像と第２画像から第１差分画像を生成するように構成することができる。同様に、第２差分処理部２３２は、ステップＳ２４で取得した移動量がゼロである場合、第３及び第３共通画像生成処理（Ｓ２５）を実施することなく、第３画像と第４画像から第２差分画像を生成するように構成することができる。

図３に示すように、結果として完全な物体の形状は抽出されないが、今回の目的は物体の場所を探索することであるため、物体の形状の完全な再現は考慮しない。また、図７では、画像が横方向に移動する場合を一例として説明したが、画像が縦方向に移動した場合にも同様の動作によって移動体を検出することができる。

＊ 実施形態２のメカニズムおよび効果
この適用例は、ユーザが対象となる物体を指定せずに、動く背景の中で動く物体を抽出できる。この技術を用いてＡＦ（ＡｕｔｏＦｏｃｕｓ）にも適用できる。その他のメカニズム及び効果は、実施形態１と同じである。ＡＦに適用する場合、カメラは、撮像対象とする物体に焦点を合わせた後、任意の時間経過後に撮像対象とする物体が移動している場合に焦点を再度合わせることになる。このとき、カメラは移動体を撮像対象と判断し、移動体を検出する。移動体を検出するときに本発明を適用することができる。

実施形態３．
実施形態２の図７では、撮像装置が横方向に動く場合を一例として説明した。本実施形態では、移動体検出装置２００が、横方向及び縦方向に動く撮像装置の画像から移動体を検出する場合を説明する。例えば、差分画像生成部２３０は、制御部１２０が取得した移動量として、横方向移動量Ｐｖ＿ｘ及び縦方向移動量Ｐｖ＿ｙを受け、横方向の共通画像（第１〜第４共通画像）を生成し、続いて生成された横方向の共通画像を用いて、縦方向の移動量を加味した共通画像を調整し、共通画像から差分画像（第１差分画像及び第２差分画像）を生成するように構成する。図６の移動体検出装置２００を以下に示す動作例を実現するように構成することによって実現できる。

図９に横方向及び縦方向に画像が移動する場合の移動体検出装置の動作例を示す。第１差分処理部２３１は、制御部１２０から第１画像及び第２画像の横方向及び縦方向移動量Ｐｖ＿ｘ、Ｐｖ＿ｙを取得すると（Ｓ３１でＹＥＳ）、まず、横方向移動量Ｐｖ＿ｘを用いて、第１及び第２共通画像を生成する（Ｓ３２）。第１及び第２共通画像の生成処理は、図８に示すステップＳ２２の処理と同様である。具体的には、横方向移動量Ｐｖ＿ｘに応じて、バッファ２２１が保持する画像Ｉ（ｔ−１）、及びバッファ２２２が保持する画像Ｉ（ｔ）から移動に伴ってフレームから除外された領域を削除し、第１及び第２共通画像を生成する。次に、差分処理部２３１は、縦方向の編集を実施する（Ｓ３３）。具体的には、第１の差分処理部２３１は、第１及び第２共通画像に対して、縦方向移動量Ｐｖ＿ｙを用いて、図８のステップＳ２２と同様の処理を実施する。言い換えると、差分処理部２３１は、バッファ２２１の画像Ｉ（ｔ−１）の替わりに第１共通画像を用いい、バッファ２２２の画像Ｉ（ｔ）の替わりに第２共通画像を用いる点が異なるだけで、共通画像を生成する処理は同様である。ステップＳ３３の処理により、横方向と縦方向との移動量に応じた領域が削除される。第１及び第２共通画像が生成されると、差分処理部２３１は、差分処理を実施し、第１差分画像を生成する（Ｓ３４）。
第１差分画像及び第２差分画像が生成されると、図８と同様に、検出部２４０によって移動体検出処理が実施される。

第２差分処理部２３２は、制御部１２０から第２画像及び第３画像の横方向及び縦方向移動量Ｐｖ＿ｘ、Ｐｖ＿ｙを取得すると（Ｓ３５でＹＥＳ）、まず、横方向移動量Ｐｖ＿ｘを用いて、第３及び第４共通画像を生成する（Ｓ３６）。次に、第２差分処理部２３２は、縦方向の編集を実施し（Ｓ３７）、その後、第２差分画像を生成する（Ｓ３８）。ステップＳ３６〜Ｓ３８の各処理の詳細は、ステップＳ３２〜Ｓ３４それぞれと同様であるため説明を省略する。
なお、ステップＳ３２〜Ｓ３４、Ｓ３６〜Ｓ３８において、横方向と縦方向との処理は順番を逆にしてもよいことは言うまでもない。

なお、図８と同様に図９中、説明を容易にするために、ステップＳ３１〜Ｓ３４と、ステップＳ３５〜Ｓ３８とを順番に処理するように表している。第１差分処理部２３１が第１差分画像生成処理（Ｓ３２〜Ｓ３４）を実施中であっても、第２差分処理部２３２は並行して処理を実施することができる。従って、ステップＳ３５において、第２画像と第３画像がバッファ２２２、２２３に格納され、第２画像と第３画像との移動量が制御部１２０によって取得され、第２差分処理部２３２が第２画像と第３画像との移動量を受け取ると、第２差分処理部２３２は、第１差分画像生成処理と並行して、第２差分画像生成処理（Ｓ３６〜Ｓ３８）を開始してもよい。

加えて、実施形態１の図８と同様に、第１差分処理部２３１は、ステップＳ３１で取得した横方向移動量Ｐｖ＿ｘがゼロである場合、第１及び第２共通画像生成処理（Ｓ３２）を実施することなく、第１画像と第２画像を第１及び第２共通画像として保持するように構成してもよい。加えて、第１差分処理部２３１は、縦方向移動量Ｐｖ＿ｙがゼロである場合、保持する第１及び第２共通画像を編集することなく差分画像を生成するように構成してもよい。第１差分処理部２３１は、移動量の値を確認するステップを追加することによって、横方向と縦方向との一方の移動量のみを取り扱う場合には、いずれかの値をゼロに設定することによって、横方向と縦方向との両方あるいは一方のいずれの場合にも適用できるように構成することができる。加えて、処理内容を削減することが可能となる。第２差分処理部２３２も第１差分処理部２３１と同様に、横方向と縦方向との両方あるいは一方のいずれの場合にも適用するように構成することができる。

移動体検出装置２００が図９に示す動作を実施することにより、移動体が横方向と縦方向との一方または両方に動いた場合にも移動体を検出することができる。撮像装置を固定してゆっくりと動く被写体を撮像する場合、例えば、防犯用カメラが撮像するセキュリティ画像などでは、撮像装置自体の動き量はゼロであり、移動量としてはゼロの値が取得される。撮像装置を動かして速く動く被写体を撮像する場合、例えば、球技でのボール、格闘技などの動きの速いスポーツ競技者などでは、撮像装置自体の動き量に応じて移動量が取得できる。

実施形態４．
図１では、測定部１１０が加速度センサ１１１を備える例を説明したが、さらに増幅器・Ａ／Ｄ（Analog/Digital）変換器１１２を備える場合であってもよい。図１０に構成例を示す。例えば、加速度センサ１１１が移動量をアナログデータとして出力する場合には、増幅器・Ａ／Ｄ変換器１１２により移動量の増幅、アナログデータからデジタルデータへの変換が実施される。
加えて、図１及び図１０では、加速度センサ１１１を用いて測定部１１０を構成する場合を示しているが、例えば、ジャイロセンサなどその他の測定機器を用いて測定部１１０を構成することも可能である。撮像装置の動き量を測定できる機器であれば他の機器を用いて実現する場合であってもよい。

その他の実施形態．
上記各実施形態で説明した移動量検出装置における制御部１２０の処理は、プログラムで実現することも可能である。プログラムは、コンピュータに例えば図１１の各処理を実行させる。まず、予め分割個数と移動量取得情報とを、プログラムが参照可能な記録領域（メモリ）に格納する情報格納処理を実施する（Ｓ４１）。次に、測定部１１０から測定された動き量が受け渡されるのを待ち受ける（Ｓ４２）。動き量を受け取ると（Ｓ４２でＹｅｓ）、移動量取得情報を格納した記録領域から読み出し、動き量に応じた移動量を取得する（Ｓ４３）。移動量取得情報を関数で実現する場合、プログラムは、動き量を用いた演算処理を実施することによって移動量を取得するように作成される。移動量取得情報をテーブルによって実現する場合、プログラムは、当該テーブルを検索して動き量に対応する移動量を取得するように作成される。

加えて、図８または図９に示した移動体の検出は、プログラムで実現することも可能である。プログラムは、上述したステップＳ４１〜Ｓ４３の各処理に加え、次の処理をコンピュータに実行させる。以下の処理の説明では、説明をわかりやすくするため、図６に示す構成例の各構成要素を用いて説明する。図６に示す各バッファは、プログラムが読み書き可能な記録領域によって構成されていればよい。
バッファ２２１、２２２に画像Ｉ（ｔ−１）（第１画像）と、画像Ｉ（ｔ）（第１画像に続く第２画像）とが格納されると、図１１に示す各処理に従って、画像Ｉ（ｔ−１）と画像Ｉ（ｔ）との移動量（以降、第１の移動量とする）が取得される。
第１の移動量を受け取ると、第１の移動量に応じて画像Ｉ（ｔ−１）から画像Ｉ（ｔ）へ移動したときに喪失する領域を、画像Ｉ（ｔ−１）から除いた第１共通画像、及び、画像Ｉ（ｔ−１）から画像Ｉ（ｔ）へ移動したときに追加される領域を画像Ｉ（ｔ）から除いた第２共通画像を取得する（第１及び第２共通画像生成処理）。次に、第１共通画像と第２共通画像との差分を抽出した第１差分画像を生成し、バッファ２３４へ格納する（第１差分画像生成処理）。

バッファ２２２、２２３に画像Ｉ（ｔ）と、画像Ｉ（ｔ＋１）（第２画像に続く第３画像）とが格納されると、図１１に示す各処理に従って、画像Ｉ（ｔ）と画像Ｉ（ｔ＋１）との移動量（以降、第２の移動量とする）が取得される。
第２の移動量を受け取ると、第２の移動量に応じて画像Ｉ（ｔ）から画像Ｉ（ｔ＋１）へ移動したときに喪失する領域を、画像Ｉ（ｔ）から除いた第３共通画像、及び、画像Ｉ（ｔ）から画像Ｉ（ｔ＋１）へ移動したときに追加される領域を画像Ｉ（ｔ＋１）から除いた第４共通画像を取得する（第３及び第４共通画像生成処理）。次に、第３共通画像と第４共通画像との差分を抽出した第２差分画像を生成し、バッファ２３５へ格納する（第２差分画像生成処理）。
第１差分画像と第２差分画像とが各バッファに格納されると、第１差分画像と第２差分画像との重複部分を、画像Ｉ（ｔ）に含まれる移動体として検出し、移動体の近傍範囲を移動体の追跡範囲として設定する（移動体領域検出処理）。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記各実施形態では、２軸の加速度センサを用いる場合を一例として説明したが、これに限られるわけではない。例えば、横方向あるいは縦方向のいずれか一方の移動体を検出する移動体検出装置である場合には、２軸の加速度センサを用いることなく、横方向あるいは縦方向のいずれか一方の加速度を検出可能な加速度センサを用いることができる。このような場合、図１に示す測定部１１０は、横方向あるいは縦方向のいずれか一方の動き量を測定する。制御部１２０は、横方向あるいは縦方向のいずれか一方の移動量を取得し、出力する。例えば、監視カメラなどの動きが一定の範囲に特定されている画像について、移動体を検出する場合には、横方向あるいは縦方向のいずれか一方の処理を実施する場合が適用可能である。また、横方向あるいは縦方向のいずれかに限られることなく、加速度センサが一つの振動周波数を測定することによって検出できる一つの方向の動きであれば、一つの動き量と一つの移動量とを用いて移動量検出装置及び移動体検出装置を実現することができる。

なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。

１１ カメラ
１２ キャプチャ用バッファ
１３ 画像変換器
７１ ディスプレイ
１００ 移動量検出装置
１１０ 測定部
１１１ 加速度センサ
１１２ 増幅器・Ａ／Ｄ変換器
１２０ 制御部
１２１ 情報保持部
２００ 移動体検出装置
２２０ バッファメモリ
２３０ 差分画像生成部
２２１〜２２３、２３４〜２３５、２４２ バッファ
２３１ 第１差分処理部
２３２ 第２差分処理部
２３３ 遅延素子
２４０ 検出部
２４１ 設定部

Claims (11)

1. 撮像装置が第１画像と第２画像とを撮像する間に前記撮像装置が動いた動き量を測定する測定部と、
   前記第１画像及び前記第２画像それぞれのフレームを複数の領域に分割する個数を指定する分割個数、及び、前記動き量と、前記第１画像に対して前記第２画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を保持し、前記動き量を測定部から受け、前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する制御部と、を備える移動量検出装置。
2. 前記制御部は、前記分割個数として２のべき乗の値を保持することを特徴とする請求項１記載の移動量検出装置。
3. 前記制御部は、前記移動量取得情報として、前記移動量の絶対値が、ゼロから前記分割個数未満の範囲の整数となる情報を保持することを特徴とする請求項２記載の移動量検出装置。
4. 前記制御部は、前記移動量取得情報に基づいて、前記フレームの対向する二つの端部のうち、一方の端部を基点とし、他方の端部を前記分割個数から１を差し引いた数値を設定する座標をしたときに、前記基点から移動した位置までの座標上の整数値を移動量として対応づけるように構成されていることを特徴とする請求項１または２記載の移動量検出装置。
5. 前記測定部は、加速度センサにより構成されていることを特徴とする請求項１乃至４のいずれか一項に記載の移動量検出装置。
6. 第１画像、前記第１画像に続く第２画像、及び、前記第２画像に続く第３画像を格納するバッファと、
   撮像装置が二つの画像を撮像する間に前記撮像装置が動いた動き量を測定する測定部と、
   前記画像のフレームを複数の領域に分割する個数を指定する分割個数、及び、前記動き量と、一つの画像に対して前記一つの画像に続く画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を保持し、前記動き量を測定部から受け、前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する制御部と、
   前記制御部から前記移動量として、前記第１画像と前記第２画像との間の第１の移動量を受け、前記第１の移動量に応じて前記第１画像から前記第２画像へ移動したときに喪失する領域を、前記第１画像から除いた第１共通画像、及び、前記第１画像から前記第２画像へ移動したときに追加される領域を前記第２画像から除いた第２共通画像を取得し、前記第１共通画像と前記第２共通画像との差分を抽出した第１差分画像を生成する第１差分処理部と、
   前記制御部から前記移動量として、前記第２画像と前記第３画像との間の第２の移動量を受け、前記第２の移動量に応じて前記第２画像から前記第３画像へ移動したときに喪失する領域を、前記第２画像から除いた第３共通画像、及び、前記第２画像から前記第３画像へ移動したときに追加される領域を前記第３画像から除いた第４共通画像を取得し、前記第３共通画像と前記第４共通画像との差分を抽出した第２差分画像を生成する第２差分処理部と、
   前記第１差分画像と前記第２差分画像との重複部分を、前記第２画像に含まれる移動体として検出し、前記移動体の近傍範囲を前記移動体の追跡範囲として設定する検出部と、を備える移動体検出装置。
7. 前記制御部は、前記分割個数として２のべき乗の値を保持し、
   前記制御部は、前記移動量取得情報として、前記移動量の絶対値が、ゼロから前記分割個数未満の範囲の整数である情報を保持することを特徴とする請求項６記載の移動体検出装置。
8. 前記第１差分処理部は、前記分割個数と同じビット数のレジスタに前記第１の移動量を保持し、前記第１の移動量の絶対値の数の領域を前記第１画像から削除して前記第１共通画像を取得し、前記移動量の絶対値の数の領域を前記第２画像から削除して前記第２共通画像を取得し、
   前記第２差分処理部は、前記分割個数と同じビット数のレジスタに前記移動量を保持し、前記第２の移動量の絶対値の数の領域を前記第２画像から削除して前記第３共通画像を取得し、前記第２の移動量の絶対値の数の領域を前記第３画像から削除して前記第４共通画像を取得することを特徴とする請求項７記載の移動体検出装置。
9. 前記第１差分処理部は、前記第１画像と前記第２画像それぞれの基点を前記第１の移動量に基づいて決定し、前記第１の移動量を座標上の値として取り扱い、前記第１画像について、前記基点から前記第１の移動量が示す値の領域を削除して前記第１共通画像を取得し、前記第２画像について、前記基点から前記第１の移動量を反転させた値が示す値の領域を削除して前記第２共通画像を取得し、
   前記第２差分処理部は、前記第２画像と前記第３画像それぞれの基点を前記第２の移動量に基づいて決定し、前記第２の移動量を座標上の値として取り扱い、前記第２画像について、前記基点から前記第２の移動量が示す値の領域を削除して前記第３共通画像を取得し、前記第３画像について、前記基点から前記第２の移動量を反転させた値が示す値の領域を削除して前記第４共通画像を取得することを特徴とする請求項８記載の移動体検出装置。
10. 複数の画像に存在する任意の物体のフレーム内の位置が、撮像装置が動いた動き量に応じて移動する移動量を検出する移動量検出方法であって、
    第１画像及び第２画像それぞれのフレームを複数の領域に分割する個数を指定する分割個数、及び、前記動き量と、前記第１画像に対して前記第２画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を記録領域に保持し、
    測定手段を用いて、前記撮像装置が前記第１画像と前記第２画像とを撮像する間の前記動き量を測定し、
    前記測定手段が測定した結果を受けると、前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する移動量検出方法。
11. 複数の画像に存在する任意の物体のフレーム内の位置が、撮像装置が動いた動き量に応じて移動する移動量を検出する移動量検出方法を実現するプログラムであって、
    コンピュータに、
    第１画像及び第２画像それぞれのフレームを複数の領域に分割する個数を指定する分割個数、及び、前記動き量と、前記第１画像に対して前記第２画像が移動した領域の数を示す移動量とを対応づける移動量取得情報を記録領域に保持する処理と、
    前記撮像装置が前記第１画像と前記第２画像とを撮像する間の前記動き量を測定した結果を受ける処理と、
    前記移動量取得情報を用いて前記動き量に応じた前記移動量を出力する処理と、を実行させるプログラム。

Images