JP2021118523A - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】画像上の被写体に並進成分以外の動きがあった場合でも、正確な動きベクトルを検出することができる画像処理装置を提供する。【解決手段】２つの画像間での被写体の動きを検出する動き検出部と、動き検出部の検出結果に基づいて、２つの画像間で生じている被写体の幾何変形量を算出する算出部と、算出部の算出結果に基づいて、２つの画像のうちの１つにおけるテンプレートブロック画像に幾何変形処理を施す幾何変形処理部と、幾何変形処理が施されたテンプレートブロック画像を用いて、２つの画像間での動きベクトルを検出する動きベクトル検出部とを備える。【選択図】図２

Description

本発明は、２枚のフレーム画像間における被写体の動きを高精度に検出する画像処理技術に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して像ブレ補正処理を施すためには、フレーム画像間における被写体の動き量を検出して複数枚の画像の位置合わせ処理を行う必要がある。フレーム画像間における被写体の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。

フレーム画像を用いて被写体の動き量を推定する方法は種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出方法がある。テンプレートマッチングでは、まず映像中の任意の２枚のフレーム画像の一方を原画像、もう一方を参照画像と定義する。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の輝度値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロック中の被写体の移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。

このようにして求められた複数の動きベクトルを用いて、統計的な処理等によりフレーム画像間における被写体の動きを幾何変形量として算出する。このとき、画面全域から多数の動きベクトルを精度良く算出することが出来れば、正確なフレーム画像間の幾何変形量を求めることが可能となる。

しかしながら、テンプレートマッチングは、テンプレートブロック内のテクスチャと同じテクスチャが参照画像中のどこに存在しているかを探索する手法である。そのため、参照画像に並進以外の動き、例えば回転や拡大縮小等の動きが生じていた場合にはテクスチャの形状が維持されていないため、精度良く動きベクトルを検出することが困難になる。

上記のような問題を解決するために、撮影しているシーン情報を解析し、その結果に基づいてテンプレートブロックの形状を変更させる方法が提案されている。特許文献１に記載の画像処理装置は、テンプレートブロックのサイズの基準となる被写体を設定し、その被写体の撮影された画像上での大きさから、実際にマッチング処理に使用するテンプレートブロックのサイズを決定している。

特開平１０−１５４２９２号公報

しかしながら、上述の特許文献１では、テンプレートブロックのサイズを適応的に変更することは記載されているが、回転等の他の動きについての記述は無い。さらに、テンプレートブロックのサイズを決定するためには、基準となる被写体が撮影シーン中に存在している必要があるため、適用可能な状況が限定されるという問題もある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像上の被写体に並進成分以外の動きがあった場合でも、正確な動きベクトルを検出することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、２つの画像間での被写体の動きを検出する動き検出手段と、前記動き検出手段の検出結果に基づいて、前記２つの画像間で生じている被写体の幾何変形量を算出する算出手段と、前記算出手段の算出結果に基づいて、前記２つの画像のうちの１つにおけるテンプレートブロック画像に幾何変形処理を施す幾何変形処理手段と、前記幾何変形処理が施されたテンプレートブロック画像を用いて、前記２つの画像間での動きベクトルを検出する動きベクトル検出手段と、を備えることを特徴とする。

本発明によれば、画像上の被写体に並進成分以外の動きがあった場合でも、正確な動きベクトルを検出することができる画像処理装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態の撮像装置の動作を示すフローチャート。 撮像装置の座標系を示す図。 テンプレートマッチングの概要図。 テンプレートマッチングの課題を説明するための図。 第２の実施形態に係わる撮像装置の構成を示すブロック図。 第３の実施形態に係わる撮像装置の構成を示すブロック図。 第３の実施形態の撮像装置の動作を示すフローチャート。 テンプレートブロックの配置状態を示す図。 第４の実施形態に係わる撮像装置の構成を示すブロック図。 第４の実施形態の撮像装置の動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示す図である。

図１において、光学系１０１は、被写体からの光を集光し、撮像素子１０２上に被写体像を結像させる。撮像素子１０２は、光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等から成る撮像素子である。現像処理部１０３は、撮像素子１０２から出力される電気信号から画像信号を形成する。現像処理部１０３は、不図示のＡ／Ｄ変換回路、オートゲイン制御回路（ＡＧＣ回路）、オートホワイトバランス回路（ＡＷＢ回路）を含み、アナログの画像信号からデジタル画像データを生成する。撮像素子１０２及び現像処理部１０３により、画像の取得を行う撮像系が構成される。メモリ１０４は、現像処理部１０３により生成された画像データの１フレーム又は複数のフレーム画像を一時的に記憶保持する。

動き情報取得部１０５は、例えばジャイロセンサ（角速度計）のような動き検出センサ等を用いて、撮像装置１００の位置情報及び姿勢情報を取得する。動き解析部１０６は、動き情報取得部１０５から得られる撮像装置１００の動き情報を解析することにより、撮像装置１００にどのような動きが生じているかを解析する。幾何変形部１０７は、動き解析部１０６から得られる撮像装置１００の動きの解析結果に従って、テンプレートブロック内のテクスチャに幾何変形処理を施す。

動きベクトル検出部１０８は、現像処理部１０３から入力されるフレーム画像と幾何変形部１０７から入力されるテンプレートブロックとの間での動きベクトルを検出する。

図２は、上記のように構成された撮像装置の動作を示すフローチャートである。

図２において、ステップＳ２０１では、光学系１０１によって形成された被写体像が、撮像素子１０２により被写体輝度に応じたアナログ信号に変換され、現像処理部１０３の処理により映像信号が生成される。現像処理部１０３は、不図示のＡ／Ｄ変換回路によってアナログ信号を、例えば１２ビットのデジタル信号に変換する。さらに、不図示のＡＧＣ回路及びＡＷＢ回路によって信号レベル補正や白レベル補正が行われたデジタル映像信号が、メモリ１０４に記憶保持されると共に動きベクトル検出部１０８に伝送される。本実施形態の撮像装置では、所定のフレームレートで順次フレーム画像が生成され、動きベクトル検出部１０８に順次伝送されると共に、メモリ１０４に記憶保持されたフレーム画像も順次更新され、幾何変形部１０７に伝送される。

ステップＳ２０２では、動き情報取得部１０５において撮像装置１００に生じている動き情報を取得する。ここで、本実施形態における撮像装置１００の動き情報とは、撮像装置１００の位置及び姿勢の時間的な変動のことを表しており、手振れのような撮影者が意図していない動きの他に、パンニングやチルティングといった撮影者の意図による動きも含まれる。撮像装置１００の動き情報を取得する手段としては、例えばジャイロセンサや加速度センサ（加速度計）を用いてもよいし、撮像装置１００本体の動き情報が計測可能であれば他の方法を用いてもよい。ステップＳ２０２で取得された動き情報は、動き解析部１０６に伝送される。

ステップＳ２０３では、まず動き解析部１０６において、動き情報取得部１０５で取得された撮像装置１００の動き情報を用いて撮像装置１００にどのような動きが生じているかを解析する。そして、その動き解析の結果を用いて、幾何変形部１０７において、テンプレートブロック内のテクスチャに幾何変形処理を施す。

ここからは、撮像装置１００にヨー方向、ピッチ方向、ロール方向の動きを検出することが可能な３軸のジャイロセンサが搭載されている場合について説明する。

図３は、本実施形態における座標系の設定を示す図である。図３において、３０２は座標系の原点Ｏを示している。原点Ｏは、撮像装置１００のカメラ中心との位置関係が既知であればどこに設定してもよいし、カメラ中心と一致させてもよい。以降からはカメラ中心と座標系の原点が一致しているものとして説明を行う。そして、図３より、Ｘ軸は撮像装置１００の光軸と垂直かつ水平な方向とし、Ｙ軸は光軸及びＸ軸と垂直な方向とする。さらに、撮像装置１００の光軸と平行で、Ｘ軸及びＹ軸と垂直な方向をＺ軸と定める。

このとき、実空間上の点Ｐ、
Ｐ＝［Ｘ，Ｙ，Ｚ］^T （式１）
が、撮像面上の点ｕ、
ｕ＝［ｘ，ｙ，１］^T （式２）
に、投影されているとすると、その関係は以下の式のように表すことが出来る。

ｕ＝Ｋ・Ｐ （式３）
ここで、（式１）及び（式２）の添字Ｔは転置行列であることを示す記号である。また、（式３）のＫはカメラ内部パラメータの一部であり、（式４）に示す３×３の行列式となる。（式４）のｆは、フレーム画像が撮影されたときの焦点距離の値を表している。

そして、撮像装置に回転Ｒの動きが生じた場合の点Ｐの撮像面上での投影点ｖ、
ｖ＝［ｘ’，ｙ’，１］^T
は、以下のように表すことができる。

ｖ＝Ｋ・Ｒ・Ｐ （式６）
上式の回転Ｒは、以下のような３×３の行列式であり、その３×３の行列式はヨー方向の回転行列Ｒｙ、ピッチ方向の回転行列Ｒｐ、及びロール方向の回転行列Ｒｒの３つの回転行列を合成したものとなっている。

ここで、（式８）から（式１０）のα、β、γは、それぞれ撮像装置１００のヨー方向、ピッチ方向、及びロール方向の回転角を表している。

また、（式３）より、実空間上の点Ｐは撮像面上の点ｕを用いて以下のように求めることが出来る。

Ｐ＝Ｋ^-1・ｕ （式１１）
ただし、上式によって求められた点Ｐは、撮像面上の全ての点が同じ奥行き位置に存在すると仮定して、計算の都合上便宜的に求めたものであり、実際の実空間上の点の位置を表しているものではない。

そして、（式６）に（式１１）を代入することにより、撮像装置が動いた時の撮像面上の各点の移動量を得ることが可能となる。

ｖ＝Ｋ・Ｒ・Ｋ^-1・ｕ （式１２）
このときの幾何変形行列を、
Ｈ＝Ｋ・Ｒ・Ｋ^-1 （式１３）
とすると、動き解析部１０６は、この幾何変形行列Ｈを、動き解析の結果として幾何変形部１０７に伝送する。

ここまでは、撮像装置１００にヨー方向、ピッチ方向、ロール方向の回転の動きが生じた場合における動き解析部１０６での処理について説明した。しかし、撮像装置１００にさらに加速度センサが搭載されていれば、撮像装置１００の並進方向の動きＴを検出することが可能となる。この場合の撮像面上の投影点ｖは以下のように求められる。

ｖ＝Ｋ［Ｒ｜Ｔ］Ｐ （式１４）
上式において並進方向の動きＴは、以下のような３×１の行列式として表される。

Ｔ＝［Ｔｘ,Ｔｙ，Ｔｚ］^T （式５）
ここで、Ｔｘ，Ｔｙ，Ｔｚはそれぞれ撮像装置１００のｘ方向、ｙ方向、ｚ方向の並進移動量を表している。

ただし、本実施形態で取得したい情報は、テンプレートブロック内のテクスチャの変形量であり、像面上での並進の移動量は対象とはならない。そのため、Ｔｘ及びＴｙについては無視してよく、Ｔｚの動きによる前後方向への移動による拡大縮小の変形のみを反映させる。そして、この場合の幾何変形行列は以下のようになる。

Ｈ＝Ｋ［Ｒ｜Ｔ］Ｋ^-1 （式１６）
上記では、撮像装置１００の動きによるテンプレートブロック内のテクスチャの変形の様子を表す方法について説明してきた。しかし、それ以外に、撮影中にズーミングを行った際の焦点距離の変動でもテクスチャに拡大縮小の変形が生じる。

ズーミング前の焦点距離をｆ１、ズーミング後の焦点距離をｆ２とすると、カメラ内部パラメータＫはそれぞれ以下のようになる。

Ｋ１及びＫ２を用いて（式１３）に変更を加えることにより、ズーミングによる焦点距離の変動を反映させた（式１９）の幾何変形行列を生成することが出来る。これは（式１６）についても同様である。

Ｈ＝Ｋ２・Ｒ・Ｋ１^-1 （式１９）
以上のようにして求められた幾何変形行列は、幾何変形部１０７に伝送される。

ステップＳ２０４では、動き解析部１０６での動き解析の結果として得られる幾何変形行列を用いて幾何変形部１０７でテンプレートブロック内のテクスチャに幾何変形処理を施す。

ここで、テンプレートブロック内のテクスチャに幾何変形処理を施すことの有効性を示すために、まずテンプレートマッチングの概要について説明する。図４は、テンプレートマッチングの概要を示す図である。

図４において、図４（ａ）は原画像を、図４（ｂ）は参照画像を示しており、これらの画像は、撮像素子１０２で撮像され現像処理部１０３で現像されたフレーム画像や、メモリ１０４に記憶保持されているフレーム画像である。

そして、図４の４０１に示すように、原画像中の任意の位置にテンプレートブロックを配置し、テンプレートブロック４０１と参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には４０２に示すように参照画像上の相関値を算出する矩形領域をサーチ範囲として設定する。ここで、サーチ範囲４０２の位置や大きさについては特に制限は無いが、サーチ範囲４０２の内部にテンプレートブロック４０１の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することは出来ない。本実施形態では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。ＳＡＤの計算式を（式２０）に示す。

（式２０）において、ｆ（ｉ，ｊ）はテンプレートブロック４０１内の座標（ｉ，ｊ）における輝度値を表しており、ｇ（ｉ，ｊ）はサーチ範囲４０２での相関値算出の対象となるブロック４０３内の各輝度値を表す。そしてＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）とｇ（ｉ，ｊ）の差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック４０１と相関値算出領域４０３のブロック内のテクスチャが類似していることを表している。

本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。ただし、ＳＡＤ以外の相関値を使用する場合には、その特性に応じて、相関値が小さいほど類似度が高い場合と、大きいほど類似度が高い場合の２通りがあるため、それに応じて以降の処理も変更する必要がある。

そして、サーチ範囲４０２の全領域について相関値対象ブロック４０３を移動させて相関値を算出する。テンプレートブロック４０１とサーチ範囲４０２との間で相関値を算出し、その値が最も小さくなる位置を判定することにより、原画像上のテンプレートブロックが参照画像においてどの位置に移動したか、つまり画像間の動きベクトルを検出することが可能となる。以上のような動きベクトル検出処理を、入力されたフレーム画像間の複数の領域で行うことにより、画像の全域から動きベクトルを検出する。以上の処理は後述の動きベクトル検出部１０８で行われる。

テンプレートマッチングは、テンプレートブロックと同じテクスチャを有する領域が参照画像のどこにあるのかを、テンプレートブロックを上下左右に平行移動させながら算出した各座標位置での相関値を比較することで探し当てるという手法である。そのため、原画像と参照画像との間で並進以外の動き、つまり回転、拡大縮小、あおり及びせん断の動きが生じていると、参照画像中にテンプレートブロックと同じテクスチャが存在しなくなり、動きベクトルの検出が困難となる。その一例として、原画像と参照画像との間に回転の動きが生じていた場合のテンプレートマッチングの模式図を図５に示す。

図５（ａ）の符号５０１は、原画像上で設定されたテンプレートブロックを表しており、その内部にはテクスチャとして被写体５０２が存在している。また、図５（ｂ）の符号５０３は、参照画像上で設定されたサーチ範囲を表しており、５０４で示す位置に被写体５０２と同じ被写体がテクスチャとして存在している。ただし、原画像と参照画像との間で回転の動きが生じているため、被写体５０４は被写体５０２に対して傾いた状態となっている。

このような状況においてテンプレートマッチングで動きベクトルの検出を行なっても、被写体５０２と被写体５０４のテクスチャは同一であるとは言えないため、被写体５０４の座標位置で算出した相関値がサーチ範囲中で最小になるとは限らなくなる。つまり、正しい動きベクトルを検出することが困難になっている。ここでは、テンプレートマッチングが良好に行えなくなる例として回転の動きが生じている場合について説明したが、それ以外の拡大縮小、あおり及びせん断の動きについても同様のことが言える。

このような課題を解決するために、本実施形態ではテンプレートブロックとサーチ範囲のテクスチャが同じになるように、テンプレートマッチングの実行前にテンプレートブロックに幾何変形処理を施す。テンプレートブロックの幾何変形には動き解析部１０６から得られる原画像と参照画像との間の幾何変形行列Ｈを用いる。

変形前のテンプレートブロック内のある画素ａ、
ａ＝［ｘ，ｙ，１］^T （式２１）
が、変形後に点ａ’
ａ’＝［ｘ’，ｙ’，１］^T （式２２）
に移動したとする。このときの点ａの座標値ｘ及びｙは原画像上での原点を基準とした値である。（式２１）の点ａと（式２２）の点ａ’の対応関係は、幾何変形行列Ｈを用いることにより、
ａ’＝Ｈａ （式２３）
と表すことができる。この変形をテンプレートブロック内の各画素に適用することにより、テンプレートブロック内のテクスチャの形状を参照画像中のものと一致させることが出来る。

ただし、（式２３）の変形はフィードフォワードマッピングであり、テンプレートブロックの矩形形状を維持するために、変形のための余剰領域を確保したり、変形後の画素間に生じた隙間を別途補間したりする必要がある。このような処理を省くために、バックワードマッピングによる幾何変形を用いるという方法がある。バックワードマッピングは、変形後のテンプレートブロックの各画素が原画像中のどの画素に相当するかを辿る方法であり、下式のような関係式となる。

ａ＝Ｈ^-1ａ’ （式２４）
原画像中での辿った先の座標位置がサブピクセル精度の場合には、参照の際に周囲の画素値で補間して必要な画素値を算出すればよい。

以上の処理により、図５の（ｃ）に示すようなテンプレートブロック５０５を生成することが出来る。テンプレートブロック５０５内の被写体５０６は、幾何変形処理により回転しており、サーチ範囲５０３内の被写体５０４と同じ形状となっている。そして、テンプレートブロック５０５を用いてサーチ範囲５０３内の各座標位置で相関値を算出すると、被写体５０４の位置で最も相関の高い値を得ることが可能となる。

また、本実施形態ではテンプレートブロック内のテクスチャを変形しているが、参照画像の方を変形するという方法も考えられる。しかしながらその場合には、参照画像全体を変形しなければならないため処理のリソースが多く必要となるという課題がある。さらに、テンプレートブロックを変形させれば、リソースの節約が図れる上に、変形が完了したテンプレートブロックから順次マッチングを行なうことが出来るので、処理の効率化を図ることも出来る。以上のようにして生成されたテンプレートブロックは、動きベクトル検出部１０８に伝送される。

ステップＳ２０５では、動きベクトル検出部１０８において、幾何変形部１０７で生成された幾何変形後のテンプレートブロック及び現像処理部１０３から入力されるフレーム画像を用いてテンプレートマッチングによる動きベクトルの検出を行う。テンプレートマッチングの処理内容は、ステップＳ２０４で説明した通りであり、画像中の複数の領域から動きベクトルの検出を行う。そして、検出された動きベクトル群はメモリ１０４に記憶保持される。

以上説明したように、テンプレートマッチングで動きベクトルを検出する際に、並進成分以外の動きに対して、予めテンプレートブロック画像に幾何変形処理を施しておく。これにより、テンプレートマッチングが苦手とする動きがフレーム画像間に生じていたとしても、良好に動きベクトルを検出することが可能となる。

（第２の実施形態）
図６は、本発明の第２の実施形態の撮像装置６００の構成を示す図である。図６の撮像装置６００は、第１の実施形態である図１の構成に対して、動きベクトル検出部１０８の出力結果が動き情報取得部１０５へも入力されるように構成されている。その他の構成要素については図１と同じであるため、同符号を付して説明を省略する。

第１の実施形態では、ジャイロセンサ等から得られる撮像装置の動き情報を用いて動き解析を行っていた。それに対して本実施形態では、動き情報取得部１０５は動きベクトル検出部１０８で検出された動きベクトルを取得する。そして、動き解析部１０６は、それを撮像装置６００の動き情報として、フレーム画像間に生じている幾何変形量（算出結果）を算出する。本実施形態の動作のフローチャートは、図２で示した第１の実施形態のものと同様であり、ここでは、動き解析部１０６内での第１の実施形態と処理が異なる部分について説明する。

第１の実施形態では、ジャイロセンサ等から得られる撮像装置の動き情報を組み合わせて幾何変形行列を生成したが、本実施形態では、幾何変形モデルの一つであるホモグラフィについて説明する。ホモグラフィの行列式Ｈは画像間の並進、回転、拡大縮小、せん断、あおりによる変形量を示しており、以下の式により表すことができる。

ホモグラフィ行列Ｈの各要素は、動きベクトル検出部１０８から得られる動きベクトル群を用いて、最小二乗法等の統計的処理を適用することにより算出することが出来る。このようにして求められたホモグラフィ行列Ｈは、画像上でのシーンの見えの変化を表す行列式であり、撮像装置６００の動きによる画像の変形だけでなくズーミング操作で焦点距離が変更された際の拡大縮小の動きも含まれている。

ここで、ホモグラフィ行列で表される変形量は、実際に撮影を行った際に生じる撮像装置６００のカメラワークに対応している。例えば、上下及び左右方向への並進の動きは、それぞれの方向に対するドリーというカメラワークに対応している。また、回転の動きは光軸と平行な方向を回転中心とした撮像装置のローリングを表しており、あおりの動きはパンニング及びチルティングのカメラワークを表している。

そして、拡大縮小の動きは、撮影中にズーミングを行うことによって生じる像倍率変動や、前後方向への並進移動による動きを表している。さらに、せん断の動きは撮像装置６００が左右方向に並進移動したり、パンニングの動きをしたりした場合に画像上に現れる撮像素子のローリングシャッタに起因する歪みに対応している。

以上のことから、本実施形態で説明した幾何変形量を用いてテンプレートブロックに対して幾何変形処理を施すことにより、撮影時にカメラワークやズーム操作が生じても、良好に動きベクトルを検出することが可能となる。

ここでは、幾何変形量のモデルとしてホモグラフィ行列を求めているが、演算量の削減や推定処理の安定化のために、アフィンやヘルマート等の他のモデルを使用してもよい。また、本実施形態は動き解析のためにジャイロセンサや加速度センサを必要としないため、安価で小型な撮像装置にも適用可能であり、撮影済みの映像に対しても後処理的に適用することも可能である。

以上説明したように、本実施形態では、テンプレートブロックに幾何変形処理を施す際の幾何変形量の推定に動きベクトルを使用する。これにより、ジャイロセンサや加速度センサを搭載していない撮像装置でも良好なテンプレートマッチングによる動きベクトル検出が可能となる。

（第３の実施形態
図７は、本発明の第３の実施形態の撮像装置７００の構成を示す図である。本実施形態では、撮影シーンの領域毎に幾何変形量を算出してテンプレートブロックの変形を行う。図７において、図１に示した構成要素と共通するものについては、図１と同符号を付して説明を省略する。本実施形態の撮像装置７００では、図１に示した構成に、領域判定部７０１が追加されている。また、本実施形態におけるフローチャートを図８に示す。本実施形態では、図８において第１の実施形態と異なる処理を行う部分についてのみ説明する。ステップＳ２０１、Ｓ２０２及びＳ２０５は図２におけるステップＳ２０１、Ｓ２０２及びＳ２０５と同じである。

ステップＳ８０１では、領域判定部７０１において、現像処理部１０３もしくはメモリ１０４から入力されるフレーム画像の各領域を構成する被写体の判定を行う。第１及び第２の実施形態では、フレーム画像間に生じている動きは撮像装置の動きに起因しているとして、ジャイロセンサや動きベクトルを用いて撮像装置の動き、言い換えればフレーム画像間の背景領域の動きを幾何変形量として算出していた。

しかしながら、撮影シーン中に人物や車両などの背景の動きとは異なる動きをしている被写体が存在している場合、前述の方法ではその被写体の動きを検出することが出来ない。そこで、本実施形態では入力されたフレーム画像に対して領域判定処理を行い、背景領域と被写体領域を分離させる。領域判定の方法には特に制限は無く、例えば一般的なカメラ全般に搭載されているような顔認識処理や、機械学習による一般物体認識処理等といったようにフレーム画像上で背景領域と被写体領域の分離が可能であればよい。以上のようにして判定された領域情報は、動き解析部１０６に伝送される。

ステップＳ２０３では、動き解析部１０６において、領域判定部７０１で判定された領域情報に基づいて、領域毎の動きを解析して幾何変形量を算出する。

ここでは、図９を用いて領域判定されたフレーム画像９０１での動き解析の概要について説明する。図９において、符号９０２は動いている被写体を示し、撮像装置７００の動きを表すフレーム画像９０１の背景領域の動きとは異なる動きをしている。背景領域は、フレーム画像９０１から被写体９０２の領域を除いた残りの領域のことを示す。また、符号９０３、９０４、及び９０５で示した矩形領域は、フレーム画像９０１上に配置されたテンプレートブロックを表している。そして、テンプレートブロック９０３は被写体領域９０２の内部に配置され、テンプレートブロック９０４は背景領域に配置され、さらにテンプレートブロック９０５は被写体領域と背景領域の両方が含まれる位置に配置されている。

この場合、被写体領域９０２に生じている動き情報は、前フレームでの領域判定の結果及び動きベクトルの検出結果から知ることが可能であり、その動き情報に基づいて幾何変形量を算出すればよい。また、背景領域に配置されたテンプレートブロック９０４は、前述の第１および第２の実施形態と同様の方法で幾何変形量を算出することが出来る。そして、被写体領域と背景領域の両方が含まれている場合には、どちらの領域に合わせた幾何変形を行うかを選択することが出来る。選択の方法としては、例えばテンプレートブロック内でより多くの面積を占めている方や、テクスチャが多く含まれている方に合わせて幾何変形を行なえば、合わせた方の領域の動きをより検出しやすくなる。

選択の他の方法としては、検出された動きベクトルの用途に応じて決めるという方法もある。例えば手振れ補正のような撮像装置７００に生じている動きを補正したい場合には背景領域の動きを検出できるように幾何変形を施せばよい。また、被写体追尾のような処理に動きベクトルを使用したい場合には被写体領域の動きを検出できるように幾何変形を施せばよい。他にも、フレーム画像中でより多くの面積を占めている方を選択するなどの方法もあるが、動きを検出したい方に合わせて幾何変形量を算出すればよく、目的に応じて自動もしくは手動で選択すればよい。

以上説明したように、本実施形態では、フレーム画像の領域判定を行い、領域ごとに異なる幾何変形処理を施す。これにより、フレーム画像中に異なる動きをする被写体が複数存在していた場合でも、どの領域からでも良好に動きベクトルを検出することが可能となる。

（第４の実施形態）
図１０は、本発明の第４の実施形態の撮像装置１０００の構成を示す図である。本実施形態では、手振れを補正するために手振れ補正部材を駆動させた場合の動き解析の方法について説明する。

図１０において、図１に示した構成要素と共通するものについては、図１と同符号を付して説明を省略する。本実施形態の撮像装置１０００は、図１に示した構成に、振れ補正部材制御部１００１が追加されている。また、本実施形態におけるフローチャートを図１１に示す。本実施形態では、図１１において第１の実施形態と異なる処理を行う部分についてのみ説明する。ステップＳ２０１、Ｓ２０２は、図２におけるステップＳ２０１、Ｓ２０２と同じである。

ステップＳ１１０１では、振れ補正部材制御部１００１において、動き情報取得部１０５から得られる撮像装置１０００の動き情報を用いて撮像装置１０００に生じている振れによる像ブレを補正するための振れ補正量を算出する（補正量算出）。そして、算出された振れ補正量に基づいて、光学系１０１が有する振れ補正光学系及び撮像素子１０２が有する撮像素子揺動機構を駆動制御することにより、手振れ等の撮像装置の振れに起因する像ブレを補正する。

振れ補正量を算出するには、動き情報取得部１０５から取得した撮像装置１０００の動き情報の周波数成分のうち、予め設定された低域カットオフ周波数以下の低周波成分を遮断する。そして、低域カットオフ周波数を超える高周波成分を出力するようなハイパスフィルタをかける。ハイパスフィルタがかけられた撮像装置１０００の動き情報には振れの動きである高周波の動きのみが残っているので、この動きを打ち消すことができる値が振れ補正量となる。

算出された振れ補正量は、撮像装置１０００の振れに起因する像ブレを補正するために、光学系１０１が有する振れ補正光学系及び撮像素子１０２が有する撮像素子揺動機構を駆動制御するために用いられると共に、動き解析部１０６に伝送される。

ステップＳ２０３では、動き解析部１０６において、動き情報取得部１０５で取得された撮像装置１０００の動き情報及び振れ補正部材制御部１００１から得られる振れ補正量を用いてフレーム画像間でどのような動きが生じているかを解析する。本実施形態のように、振れ補正部材の駆動によって撮像装置１０００の像ブレが補正されている場合、動きベクトル検出を行う対象となるフレーム画像は振れの動きが補正された画像となっている。そのため、動き情報取得部１０５においてジャイロセンサ等によって取得された撮像装置の動き情報をそのままフレーム画像間に生じている動きとするとフレーム画像間で実際に生じている動きと整合が取れなくなってしまう。この状態で幾何変形量を算出しても、フレーム画像間で生じている実際の動きに対して過剰な変形量となる。

そこで本実施形態では、フレーム画像間に生じている実際の動きと、幾何変形量を算出するために用いる動き情報の整合を取るために、動き情報取得部１０５から得られる撮像装置１０００の動き情報から振れ補正部材制御部１００１から得られる振れ補正量を差し引く（減算する）。撮像装置１０００の動き情報から振れ補正量を差し引いた値というのは、つまり振れ補正部材の駆動では補正しきれなかった振れの補正残りの動きであり、振れ補正が施された状態で撮影されたフレーム画像に生じているのはこの振れ補正残りの動きとなる。従って、撮像装置１０００の動き情報そのものではなく、この振れ補正残りの動きを用いて、第１の実施形態で説明した方法と同様にしてテンプレートブロックに施すべき幾何変形行列を算出すればよいことになる。以上のようにして求められた幾何変形行列は、幾何変形部１０７に伝送される。

ステップＳ２０４、Ｓ２０５は、図２におけるステップＳ２０４、Ｓ２０５と同じである。

以上説明したように、本実施形態では、振れ補正を行うことが可能な撮像装置において、撮像装置の動き情報に加えて振れ補正量を用いてフレーム画像間で生じている動きを取得する。これにより、振れ補正が行われている最中に撮影されたフレーム画像に対しても、良好な幾何変形量を算出することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０２：撮像素子、１０５：動き情報取得部、１０６：動き解析部、１０７：幾何変形部、１０８：動きベクトル検出部

Claims (14)

1. ２つの画像間での被写体の動きを検出する動き検出手段と、
   前記動き検出手段の検出結果に基づいて、前記２つの画像間で生じている被写体の幾何変形量を算出する算出手段と、
   前記算出手段の算出結果に基づいて、前記２つの画像のうちの１つにおけるテンプレートブロック画像に幾何変形処理を施す幾何変形処理手段と、
   前記幾何変形処理が施されたテンプレートブロック画像を用いて、前記２つの画像間での動きベクトルを検出する動きベクトル検出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記動き検出手段は、前記被写体の並進成分以外の動きを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記動き検出手段は、前記画像処理装置の振れを検出する振れ検出手段により、前記被写体の動きを検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記振れ検出手段は、角速度計および加速度計の少なくとも１つを備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記動き検出手段は、前記２つの画像間での動きベクトルを検出することにより、前記２つの画像間での被写体の動きを検出することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記幾何変形処理は、回転、あおり、拡大縮小、せん断の少なくともいずれかであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記幾何変形処理手段は、前記２つの画像間で検出された動き量から推定された幾何変形量を用いて前記テンプレートブロック画像に幾何変形処理を施すことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記２つの画像について、被写体ごとに領域を判定する領域判定手段をさらに備え、前記算出手段は、判定された領域ごとに幾何変形量を算出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記領域判定手段は、被写体の領域と背景の領域を判定することを特徴とする請求項８に記載の画像処理装置。
10. 被写体像を撮像する撮像手段と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
11. 前記撮像装置の振れに起因する像ブレを補正する補正部材の補正量を算出する補正量算出手段をさらに備え、前記算出手段は、前記撮像装置の動き情報から前記補正量を減算した値を用いて、前記幾何変形処理の変形量を算出することを特徴とする請求項１０に記載の撮像装置。
12. ２つの画像間での被写体の動きを検出する動き検出工程と、
    前記動き検出工程での検出結果に基づいて、前記２つの画像間で生じている被写体の幾何変形量を算出する算出工程と、
    前記算出工程での算出結果に基づいて、前記２つの画像のうちの１つにおけるテンプレートブロック画像に幾何変形処理を施す幾何変形処理工程と、
    前記幾何変形処理が施されたテンプレートブロック画像を用いて、前記２つの画像間での動きベクトルを検出する動きベクトル検出工程と、
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images