JP2019176261A - 画像処理装置 - Google Patents

Abstract

【課題】背景や主被写体の動きが激しいダイナミックな撮影シーンにおいて、着目対象に対する動きベクトルを、精度を維持しながら、途切れることなく安定的に検出する。【解決手段】本発明は、カメラ情報を取得するカメラ情報取得手段と、カメラ情報に基づいて撮影時の着目対象を推定する着目対象推定手段と、着目対象の移動量を予測する移動量予測手段と、入力画像に対して着目点座標を設定する着目点設定手段と、リサイズ率を決定するリサイズ率決定手段と、入力画像および着目点座標を前記リサイズ率でリサイズするリサイズ手段と、リサイズ手段によりリサイズされた入力画像と着目点座標とに基づいて、動きベクトルを検出する動きベクトル検出手段とを有し、移動量予測手段は、着目対象推定手段の推定結果に基づいて、着目対象の移動量を予測し、リサイズ率決定手段は、着目対象の移動量の予測結果に基づいて、リサイズ率を決定する。【選択図】図１

Description

本発明は、複数のフレーム画像間で動きベクトルを検出する画像処理装置に関する。

デジタルカメラ等の撮像装置による画像撮像時に、カメラ本体部を保持するユーザの手振れ等で被写体像に振れ（像振れ）が生ずる場合がある。手振れによる像振れを補正するためには、撮像装置の位置姿勢変化を検出する必要があり、例えば角速度センサや加速度センサ等のセンシングデバイスが用いられる。

また、センシングデバイスの代わりに、撮像画像に基づいて撮像装置の位置姿勢変化を検出する動きベクトル検出手法を用いることもできる。動きベクトル検出手法を用いた場合には、撮像画像から手振れに伴う「背景の動き」だけでなく、「主被写体の動き」も検出することができる。「主被写体の動き」が分かれば、主被写体像の位置が撮影画像内の特定の位置に留まるように主被写体を追尾する動作（主被写体追尾動作）などにも応用できる。

動きベクトル検出手法を、背景や主被写体の動きが激しいダイナミックな撮影シーンに適用する場合、フレーム画像間の動き量が検出可能な範囲（サーチ領域）を超えてしまうと、検出が途絶えてしまう問題がある。

そこで、例えば特許文献１では、動きベクトル検出に用いる画像をリサイズ（縮小）することで、相対的にサーチ領域を広げるようにしている。

特開２０１５−１５４３３４号公報

画像を小さくリサイズするほどサーチ領域は広がるが、画像の解像度が低下することで、動きベクトルの検出精度も低下してしまう。特許文献１では、動きベクトル検出に用いる画像のリサイズ率を撮像装置の振れ量に応じて制御する技術が開示されている。これにより、撮像装置の振れ量が小さい場合には、サーチ領域は狭くても構わないため、画像のリサイズを控えることで、検出精度を高く保つことができる。

一方、撮像装置の振れ量が大きい場合には、サーチ領域を広げるため、画像を小さくリサイズすることで、安定的に動きベクトルを検出できるようになる。

しかしながら、特許文献１に開示された技術では、撮像装置の振れしか考慮しておらず、画像内の主被写体の動きには言及していない。そのため、前述の主被写体追尾動作のように主被写体の動きベクトルが必要な場面において、主被写体の動きベクトルを安定的に検出することはできない。

本発明は、カメラ情報等の撮像装置の情報に基づいて着目対象を推定し、着目対象の動き量に応じてベクトル検出に用いる画像をリサイズすることで、背景や主被写体の動きが激しいダイナミックな撮影シーンにおいても、着目対象に対しても安定的に動きベクトルを検出できるようにした画像処理装置を提供することを目的とする。

上記の課題を解決するために本発明は、撮像装置情報を取得する撮像装置情報取得手段と、前記撮像装置情報に基づいて撮影時の着目対象を推定する着目対象推定手段と、前記着目対象の移動量を予測する移動量予測手段と、入力画像に対して着目点座標を設定する着目点設定手段と、リサイズ率を決定するリサイズ率決定手段と、前記入力画像および前記着目点座標を前記リサイズ率でリサイズするリサイズ手段と、前記リサイズ手段によりリサイズされた前記入力画像および前記着目点座標に基づいて、動きベクトルを検出する動きベクトル検出手段とを有し、前記移動量予測手段は、前記着目対象推定手段の推定結果に基づいて、前記着目対象の移動量を予測し、前記リサイズ率決定手段は、前記着目対象の移動量に基づいて、前記リサイズ率を決定することを特徴とする。

本発明によれば、背景や主被写体の動きが激しいダイナミックな撮影シーンにおいても、着目対象に対する動きベクトルを、精度を維持しながら、途切れることなく安定的に検出することができる。

第１の実施形態における画像処理装置の構成を示すブロック図 第１の実施形態で行われる画像処理を説明するフローチャート 第１の実施形態における移動量とリサイズ率の関係を説明する図 画像の領域分割および着目点設定を説明する図 テンプレートマッチングを説明する図 相関値マップを説明する図 第２の実施形態における画像処理装置の構成を示すブロック図 第２の実施形態で行われる画像処理を説明するフローチャート 第２の実施形態の予測誤差と誤差要因の関係を説明する図 第２の実施形態における移動量とリサイズ率の関係を説明する図

以下、本発明の実施例について撮像装置をカメラを例として、図面を参照しながら説明する。

［第１の実施形態］
図１に、本発明の第１の実施形態である画像処理装置の構成を示す。

画像入力部１０１は画像を入力する。
着目点設定部１０２は、画像入力部１０１からの入力画像データに対して、所定数の着目点の座標を設定する。

画像メモリ１０３は、画像入力部１０１からの入力画像データを１フレームまたは複数のフレーム分、一時的に記憶保持する。

リサイズ部１０４は、リサイズ率決定部１０９により決定されるリサイズ率に基づいて、画像入力部１０１および画像メモリ１０３からの入力画像、および着目点設定部１０２からの着目点座標をリサイズする。

動きベクトル検出部１０５は、リサイズ部１０４でリサイズされた着目点設定部１０２からの着目点座標に基づいて、同じくリサイズ部１０４でリサイズされた画像入力部１０１および画像メモリ１０３からの入力画像データに対して動きベクトルを検出する。動きベクトル検出には、例えばテンプレートマッチングを使用する。

撮像装置情報取得部１０６は、撮影状況を推定するために必要な撮像装置情報を取得する。撮像装置情報とは、例えば撮影モード、主被写体情報、シャッタースピード、焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報である。

着目対象推定部１０７は、撮像装置情報取得部１０６が取得した撮像装置情報に基づいて、撮影時に背景と主被写体のいずれに着目して動きベクトル検出を行うべきかを推定する。

移動量予測部１０８は、着目対象推定部１０７の推定結果に基づいて、動きベクトル検出部１０５により検出すべき移動量を予測する。

リサイズ率決定部１０９は、移動量予測部１０８からの移動量に基づいて、動きベクトル検出に用いる画像および着目点座標に対するリサイズ率を決定し、リサイズ部１０４に出力する。

これらの構成要素１０１〜１０９を含む画像処理装置１００の動作について、図２に示すフローチャートを用いて詳細に説明する。

ステップＳ２０１において、撮像装置情報取得部１０６は、撮影状況を推定するために必要な撮像装置情報を取得する。撮像装置情報の例として、撮影モード、主被写体情報、シャッタースピード、焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報を用いるものとする。

主被写体情報は例えば、主被写体の人物らしさ、主被写体の大きさ、主被写体の動きである。主被写体の人物らしさおよび大きさは、例えば主被写体を人物の顔とする場合、主被写体の色や輪郭の情報を用いる公知の顔検出技術によって得る事ができる。主被写体の動きは、顔検出位置の変化量か、あるいは、画像フレーム間で後述の動きベクトル検出技術により検出される動きベクトルから得る事ができる。

また、奥行き情報は、例えば測距センサを用いるか、あるいは、撮像画像から公知のＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により推定できる。

ステップＳ２０２において、着目対象推定部１０７は、ステップＳ２０１で取得した撮像装置情報に基づいて、撮影状況を推定し、背景と主被写体のいずれに着目して動きベクトル検出を行うべきかを推定する。

撮像装置情報に基づいて、着目対象を推定する方法について説明する。ここでは、まず撮像装置情報ごとに着目対象が背景である度合いを表す背景度合いと、着目対象が主被写体である度合いを表す主被写体度合いを算出する。ここでは、背景度合いと主被写体度合いを合計して１になる数値として表現する。なお、背景度合いと主被写体度合いのいずれか一方だけを算出するようにしても良い。

撮影モードについては、例えば、ポートレートモードの場合には人物（＝主被写体）に着目して撮影している可能性が高いので、主被写体度合を高く（例えば０．９）、背景度合いを低く（例えば０．１）する。一方、風景モードの場合には風景に着目して撮影している可能性が高いため、主被写体度合いを低く（例えば０．１）、背景度合いを高く（例えば０．９）する。このように、撮影モードによって可能性の高い撮影状況を想定することで、背景度合いおよび主被写体度合いを決められる。

主被写体の人物らしさについては、主被写体がより人物らしいほど、主被写体に着目して撮影している可能性が高いので、主被写体度合いを高く（例えば０．７）、背景度合いを低く（例えば０．３）する。

主被写体の大きさについては、主被写体が大きいほど、主被写体に着目して撮影している可能性が高いので、主被写体度合いを高く（例えば０．８）、背景度合いを低く（例えば０．２）する。

主被写体の動きについては、主被写体の動きが小さいほど、主被写体を捉えようとカメラを構えていることが想定され、主被写体に着目して撮影している可能性が高いので、主被写体度合いを高く（例えば０．６）、背景度合いを低く（例えば０．４）する。

シャッタースピードについては、シャッタースピードが速いほど、高速に移動する主被写体に着目して撮影している可能性が高いので、主被写体度合いを高く（例えば０．７）、背景度合いを低く（例えば０．３）する。

以上までの撮像装置情報と着目対象の関係について表１にまとめた。（ ）内の数値は、前述した背景度合い／主被写体度合いの一例を示している。

次に、焦点距離と奥行き情報については、それぞれ単独では撮影者の意図を汲み取ることが難しい。そこで、両者を組み合わせて着目対象を推定する方法の一例を説明する。

焦点距離ｆ［ｍｍ］と、主被写体までの距離（奥行き情報）ｄ［ｍｍ］が与えられている場合、撮像面上での主被写体の大きさをｍ［ｍｍ］とすれば、実際の主被写体の大きさＭ［ｍｍ］は、以下の式（１）で算出できる。

実際の主被写体の大きさが分かれば、像面上での主被写体の大きさや焦点距離との関係から、撮影者の意図を汲み取ることができる。例えば、実際の主被写体の大きさは小さいが、像面上での主被写体の大きさが大きく、焦点距離が長い場合は、主被写体に非常に着目していることになる。そのため、実際の主被写体の大きさが小さい、かつ、像面上での主被写体の大きさが大きい、かつ、焦点距離が長いほど主被写体度合いを高く、背景度合いを低くする。

慣性センサ情報についても、単独では撮影者の意図を汲み取ることが難しい。そこで、慣性センサ情報と主被写体の動き情報を組み合わせて着目対象を推定する方法の一例を説明する。撮影者の着目対象が主被写体である場合、主被写体を画面の定位置に収めようとカメラを動かすため、主被写体の動きはカメラの動きに比べて相対的に小さくなる。

よって、慣性センサ情報により得られるフレーム画像間のカメラの移動量に対して、主被写体の移動量が小さくなるほど、主被写体を捉えようとカメラを構えていることが想定される。この場合は、主被写体に着目して撮影している可能性が高いので、主被写体度合いを高く、背景度合いを低くする。

着目対象の推定に利用できる撮像装置情報が複数ある場合、撮像装置情報ごとに得られる背景度合いおよび主被写体度合いに対してそれぞれ重み付け加算を行い、最終的な背景度合いおよび主被写体度合いを算出すれば良い。重みは、例えば各情報源の確からしさに基づいて設定すれば良い。

表１の例で説明する。撮影モード、主被写体の人物らしさ、主被写体の大きさ、主被写体の動き、シャッタースピードのそれぞれから得られる背景度合いをＤａ、Ｄｂ、Ｄｃ、Ｄｄ、Ｄｅ、重みをＧａ、Ｇｂ、Ｇｃ、Ｇｄ、Ｇｅとする。最終的な背景度合いＤは、以下の式（２）で計算できる。

例えば、重みをＧａ＝０．３、Ｇｂ＝０．２、Ｇｃ＝０．２、Ｇｄ＝０．１、Ｇｅ＝０．２とする。ここで、重みは合計が１になるよう正規化した。いま撮影モードが風景モード（Ｄａ＝０．９）、主被写体の人物らしさが高い（Ｄｂ＝０．３）、主被写体の大きさが小さい（Ｄｃ＝０．８）、主被写体の動きが小さい（Ｄｄ＝０．４）、シャッタースピードが遅い（Ｄｅ＝０．７）とすれば、式（２）よりＤ＝０．６となる。最終的な主被写体度合いについても同じように算出できる。
各情報源の確からしさが同一または不明の場合は、全ての重みを同じにすれば良い。

なお、撮像装置情報としてユーザ指示情報を用いる場合、例えば背景と主被写体の着目度合いをユーザに指示させることで、推定することなく背景度合いと主被写体度合いを決めることができる。

ステップＳ２０３では、移動量予測部１０８は、ステップＳ２０２で得られた背景度合いおよび主被写体度合いに基づいて、動きベクトル検出部１０５により検出すべき移動量を予測する。

移動量予測部１０８は、最初にステップＳ２０１で得られた撮像装置情報を用いて、背景および主被写体の移動量をそれぞれ予測する。

背景の移動量には、例えば、慣性センサ情報から得られる振れ角度θと、焦点距離ｆを用いることで、撮像面上での背景の移動量をｆｔａｎθとして予測できる。

一方、主被写体の移動量には、例えば、前述の主被写体情報のうち主被写体の動き量を予測値として用いることができる。

次に移動量予測部１０８は、ステップＳ２０２で得られた背景度合いおよび主被写体度合いに基づいて、最終的な予測移動量を算出する。

背景度合いをα（このとき前述の通り主被写体度合いは１−α）、背景の予測移動量をＡ、主被写体の予測移動量をＢとすれば、最終的な予測移動量Ｘは、例えば式（３）のように求められる。

式（３）より、α＝１のときＸ＝Ａ、α＝０のときＸ＝Ｂとなる。よって、着目対象が背景であれば背景の予測移動量、着目対象が主被写体であれば主被写体の予測移動量が支配的になり、着目対象を考慮した上で必要な移動量を算出できる。

ステップＳ２０４において、リサイズ率決定部１０９は、ステップＳ２０３で得られた移動量に基づいて、リサイズ部１０４のリサイズ率を決定する。

移動量Ｘとリサイズ率Ｒの関係を図３に示す。Ｘｔｈは画像をリサイズしない場合（＝リサイズ率が１．０の場合）のサーチ領域を表す。

図３に示すように、移動量ＸがＸｔｈ以下の場合は、画像をリサイズしなくてもサーチ領域が足りるため、リサイズ率Ｒ＝１．０とすれば良い。一方、移動量ＸがＸｔｈを上回る場合は、サーチ領域が不足するため、リサイズ率Ｒを移動量Ｘに反比例するよう小さくすれば良い。これらの関係は式（４）のように表現できる。

よって、ステップＳ２０３で得られた移動量をＸ０（＞Ｘｔｈ）とすれば、そのときに必要なリサイズ率Ｒ０はＸｔｈ／Ｘ０と決定される。

次にステップＳ２０１〜Ｓ２０４と並行して、ステップＳ２０５において、着目点設定部１０２は、画像入力部１０１により入力された画像を分割し、この分割された複数の画像領域ごとに所定数の着目点を設定する。着目点としては、例えば各領域における特徴点を用いれば良い。

図４（ａ）において、白い矩形領域が特徴点抽出を行う特徴抽出領域であり、特徴点抽出領域の周辺には斜線で示す周辺領域を設けている。これは、抽出される特徴点４０１の位置によっては、後述する動きベクトル検出に用いるテンプレート領域およびサーチ領域が特徴抽出領域をはみ出すため、そのはみ出し分だけ設けた余剰の画像領域である。

図４（ｂ）は格子状に分割された画像領域ごとに１個の特徴点４０１を抽出する様子を示している。

特徴点４０１の抽出方法としては、公知の特徴子でよく、例えばＨａｒｒｉｓ ｃｏｒｎｅｒ検出器もしくはＳｈｉ ａｎｄ Ｔｏｍａｓｉの手法で説明する。これらの手法では、画像の画素（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）と表現し、画像に対して水平および垂直の１次微分フィルタを適用した結果Ｉｘ，Ｉｙから、式（５）で示す自己相関行列Ｈを作成する。
式（５）において、Ｇは式（６）に示すガウス分布による平滑化を表し、σは標準偏差を表す。

Ｈａｒｒｉｓ検出器は、式（７）に示す特徴評価式により、特徴量が大きくなる画素を特徴点４０１として抽出する。
式（７）において、ｄｅｔは行列式を、ｔｒは対角成分の和を表す。また、αは定数であり、実験的に０．０４〜０．１５の値が良いとされている。

一方、Ｓｈｉ ａｎｄ Ｔｏｍａｓｉは、式（８）に示す特徴評価式を用いる。
式（８）は、式（５）の自己相関行列Ｈの固有値λ１，λ２のうち小さい方の固有値を特徴量とすることを表す。Ｓｈｉ ａｎｄ Ｔｏｍａｓｉを用いる場合でも、特徴量が大きくなる画素を特徴点４０１として抽出する。

分割された画像領域ごとに、式（７）または式（８）により画素の特徴量を算出し、特徴量が高い方から所定数の画素を特徴点として抽出し、着目点として設定する。

ステップＳ２０６において、リサイズ部１０４は、画像入力部１０１および画像メモリ１０３から入力される画像と、ステップＳ２０５で設定された着目点の座標に対して、ステップＳ２０４で決定されたリサイズ率に基づいて、リサイズ処理を行う。

ステップＳ２０７において、動きベクトル検出部１０５は、ステップＳ２０６でリサイズされた画像および着目点を用いて、テンプレートマッチングにより動きベクトルを検出する。

図５には、テンプレートマッチングの概要を示している。図５（ａ）は２つのベクトル検出画像のうち一方である基準画像を示し、図５（ｂ）は他方である参照画像を示している。ここでは、基準画像として画像メモリ１０３からリサイズ部１０４を通じて入力されるフレーム画像、参照画像として画像入力部１０１からリサイズ部１０４を通じて入力される画像データを用いる。これらを対比することにより、過去のフレーム画像から現在のフレーム画像への動きベクトルを算出する。

なお、基準画像と参照画像は逆に入れ替えてもよく、その場合は現在のフレーム画像から過去のフレーム画像への動きベクトルを算出することを意味する。

動きベクトル検出部１０５は、基準画像にテンプレート領域５０１を、参照画像にサーチ領域５０２を配置し、該テンプレート領域５０１と該サーチ領域５０２との相関値を算出する。ここで、テンプレート領域５０１は、ステップＳ２０６でリサイズされた着目点の座標を中心に配置し、サーチ領域はテンプレート領域を上下左右均等に包含するように所定の大きさで配置すれば良い。

本実施形態では、相関値の算出方法として、差分絶対値和（Sum of Absolute Difference：以下、ＳＡＤと略す）を使用する。ＳＡＤの計算式を式（９）に示す。

式（９）において、ｆ（ｉ，ｊ）はテンプレート領域５０１内の座標（ｉ，ｊ）での輝度値を示している。また、ｇ（ｉ，ｊ）はサーチ領域５０２内において相関値の算出対象となる領域（以下、相関値算出領域という）５０３内の各座標での輝度値を示す。ＳＡＤでは、サーチ領域５０２および相関値算出領域５０３内の輝度値ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）の差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得る。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレート領域５０１と相関値算出領域５０３のテクスチャの類似度が高いことを表す。

なお、相関値の算出にＳＡＤ以外の方法を用いてもよく、例えば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を用いてもよい。

動きベクトル検出部１０５は、サーチ領域５０２の全域にて相関値算出領域５０３を移動させて相関値を算出する。これにより、サーチ領域５０２に対して図６に示すような相関値マップを作成する。

図６（ａ）はサーチ領域５０２の座標系で算出した相関値マップを示しており、Ｘ軸とＹ軸は相関値マップ座標、Ｚ軸は各座標での相関値の大きさを表している。また図６（ｂ）は、図６（ａ）の等高線を示したものである。

図６（ａ）および図６（ｂ）において、相関値が最も小さいのは極小値６０１であり、サーチ領域５０２内で極小値６０１が算出された領域にはテンプレート領域５０１と非常に類似したテクスチャが存在していると判定できる。６０２は二番目の極小値、６０３は三番目の極小値を表わしており、これらは６０１に次いで類似したテクスチャが存在していることを意味する。

このように、動きベクトル検出部１０５は、テンプレート領域５０１とサーチ領域５０２との間で相関値を算出し、その値が最も小さくなる相関値算出領域５０３の位置を判定する。これにより、基準画像上のテンプレート領域５０１の参照画像上での移動先を特定することができる。そして、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量を方向および大きさとした動きベクトルを検出することができる。

なお、ここでの動きベクトルは、ステップＳ２０６でリサイズされた画像および着目点に対して検出されている。リサイズ前の元の状態での動きベクトルが必要な場合は、本ステップＳ２０７で検出された動きベクトルに対してリサイズ率の逆数を乗算すれば良い。

最後のステップＳ２０８では、画像処理装置１００は、最終フレームまで処理が完了したかどうかを判定する。最終フレームまで処理が完了していない場合はステップＳ２０１に移行する。

以上説明したように、本実施形態では、カメラ情報に基づいて着目対象を推定し、着目対象の予測移動量に応じてベクトル検出に用いる画像をリサイズすることで、背景だけでなく主被写体に対しても安定的に動きベクトルを検出することができる。

［第２の実施形態］
図７に、本発明の第２の実施形態である画像処理装置の構成を示す。同図において、図１に示した構成要素と共通するものについては、図１と同符号を付す。

本実施形態の画像処理装置は、図１に示した構成に加えて、予測誤差推定部７０１を有する。本実施形態では、第１の実施形態と異なる処理を行う部分についてのみ説明する。

本実施形態が第１の実施形態と異なるのは、予測誤差推定部７０１が着目対象の予測移動量の誤差を推定し、その推定結果に基づいて、リサイズ率決定部１０９が１つ以上のリサイズ率を決定する点である。

第１の実施形態では、着目対象の予測移動量に基づいて１つのリサイズ率を決定した。しかしながら、移動量の予測には誤差が生じる場合がある。例えば、人物のような主被写体では、フレーム画像間で人物が不規則な運動を行うことで、予測した移動量が大幅にずれてしまう場合が考えられる。また、カメラ情報から推定したユーザの意図が実際と異なり、所望の着目対象の移動量を予測できていない場合も考えられる。

そこで、本実施形態では、移動量の予測誤差を考慮して、１つ以上のリサイズ率を決定し、１つ以上のリサイズ率に基づいて動きベクトル検出を行うことで、移動量の予測誤差が大きい場合でも、安定的に動きベクトルを検出することを目的とする。

図８に示すフローチャートを用いて実施形態２について詳細に説明する。同図において図２に示したステップと共通するものについては、図２と同符号を付し説明を割愛する。

ステップＳ８０１では、予測誤差推定部７０１が、ステップＳ２０１で得られたカメラ情報を用いて、ステップＳ２０３で得られた着目対象の移動量の予測誤差を推定する。

予測誤差の要因としては、前述の通り、主被写体の不規則な動きやユーザ意図の誤推定が挙げられる。

前者に関しては、例えば、フレーム間の主被写体の動きの相関が低いほど、主被写体が不規則に動いていることを表すため、予測誤差が大きくなると考えられる（図９（ａ））。相関は、例えば、フレーム間の動きベクトルの大きさと向きの変化から算出できる。また、主被写体の人物らしさが高くなるほど、主被写体が不規則に動く可能性が高くなるため、予測誤差が大きくなると考えられる（図９（ｂ））。

後者に関しては、例えば、推定される着目対象の変化頻度が高くなるほど、ユーザ意図が正しく推定できていない可能性が高まるため、予測誤差が大きくなると考えられる（図９（ｃ））。また、背景度合いと主被写体度合いの差分が小さいほど、両者が拮抗しており、ユーザの意図が明確に推定できていないことを示しているため、予測誤差が大きくなると考えられる（図９（ｄ））。

ステップＳ２０４ａにおいて、リサイズ率決定部１０９は、ステップＳ２０３で予測された移動量および、ステップＳ８０１で推定された予測誤差に基づいて、リサイズ部１０４のリサイズ率を１つ以上決定する。

決定するリサイズ率の個数は、例えば予測誤差の大きさに基づいて決めれば良い。例えば、予測誤差が大きくなるほど、リサイズ率の個数を多くする。

１つ以上のリサイズ率の決定方法について、図１０を用いて説明する。
図３と同様に、Ｘｔｈは画像をリサイズしない場合（＝リサイズ率が１．０の場合）のサーチ領域、Ｘ０はステップＳ２０３で予測された移動量、Ｒ０は移動量Ｘ０に対して必要なリサイズ率を表す。

図１０では移動量Ｘ０に基づいて、２つのリサイズ率Ｒ１およびＲ２を決定することを考える。移動量Ｘ０に予測誤差ΔＸが含まれるとすれば、移動量の下限Ｘ１および上限Ｘ２を、例えば、式（１０）のように設定できる。
ここで、ｋは移動量Ｘ０に対する予測誤差ΔＸの偏り度合いを表し、０≦ｋ≦１である。ｋ＝０．５の場合、移動量Ｘ０に対して予測誤差は偏りがなく均等であることを意味する。ｋは、例えば、ステップＳ２０３で移動量Ｘ０の予測に用いた撮像装置情報に応じて変更しても良い。

リサイズ率Ｒ１、Ｒ２は、式（１０）のＸ１、Ｘ２をそれぞれ式（４）に代入することで、式（１１）のように決定できる。
ここで、各リサイズ率の関係はＲ２＜Ｒ０＜Ｒ１である。Ｒ２はＲ０よりも小さい（画像がより縮小される）ため、動きベクトルの検出精度は低下するが、より大きな移動量に対応することができる。一方、Ｒ１はＲ０よりも大きい（画像がより拡大される）ため、対応できる移動量は小さくなるが、動きベクトルの検出精度は向上する。

以上のようにして、移動量Ｘ０に対して予測誤差を考慮し、移動量と検出精度が両立するように複数のリサイズ率を決定することができる。

なお、図１０では２つのリサイズ率を決定する例を説明したが、３つ以上のリサイズ率を決定しても良い。その場合は、例えば、移動量の下限Ｘ１と上限Ｘ２に加え、中間の値Ｘ３を設定して、それに対応するリサイズ率Ｒ３を求めれば良い。

ステップＳ２０６ａでは、リサイズ部１０４は、画像入力部１０１および画像メモリ１０３から入力される画像と、ステップＳ２０５で設定された着目点の座標に対して、ステップＳ２０４ａで決定された複数のリサイズ率に基づいて、複数のリサイズ処理を行う。その結果、複数のリサイズ率の画像および着目点の座標が得られる。

ステップＳ２０７ａでは、動きベクトル検出部１０５は、ステップＳ２０６ａで複数のリサイズ率によりリサイズされた画像および着目点を用いて、テンプレートマッチングにより動きベクトルを検出する。

ここでは、リサイズ率Ｒ１でリサイズされた画像と着目点、リサイズ率Ｒ２でリサイズされた画像と着目点の組をそれぞれ順次または並列に処理して動きベクトル検出を行う。

検出された動きベクトルは、それぞれ異なるリサイズ率の画像および着目点に対するものなので、各リサイズ率の逆数を乗じることで、リサイズ前の元の状態での動きベクトルに換算できる。

以上説明したように、本実施形態では、移動量の予測誤差を考慮して、複数のリサイズ率を決定し、複数のリサイズ率に基づいて動きベクトル検出を行うことで、第１の実施形態よりもさらに安定的に動きベクトルを検出できる効果が得られる。

１００ 画像処理装置
１０１ 画像入力部
１０２ 着目点設定部
１０３ 画像メモリ
１０４ リサイズ部
１０５ 動きベクトル検出部
１０６ 撮像装置情報取得部
１０７ 着目対象推定部
１０８ 移動量予測部
１０９ リサイズ率決定部

Claims (7)

1. 撮像装置情報を取得する撮像装置情報取得手段と、
   前記撮像装置情報に基づいて撮影時の着目対象を推定する着目対象推定手段と、
   前記着目対象の移動量を予測する移動量予測手段と、
   入力画像に対して着目点座標を設定する着目点設定手段と、
   リサイズ率を決定するリサイズ率決定手段と、
   前記入力画像および前記着目点座標を前記リサイズ率でリサイズするリサイズ手段と、
   前記リサイズ手段によりリサイズされた前記入力画像および前記着目点座標に基づいて、動きベクトルを検出する動きベクトル検出手段とを有し、
   前記移動量予測手段は、前記着目対象推定手段の推定結果に基づいて、前記着目対象の移動量を予測し、
   前記リサイズ率決定手段は、前記着目対象の移動量に基づいて、前記リサイズ率を決定することを特徴とする画像処理装置。
2. 前記撮像装置情報は、撮影モード、主被写体情報、シャッタースピード、焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報の少なくともいずれかを含むことを特徴とする請求項１に記載の画像処理装置。
3. さらに前記撮像装置情報に基づいて、前記着目対象の移動量の予測誤差を推定する予測誤差推定手段を有することを特徴とする請求項１に記載の画像処理装置。
4. 前記リサイズ率決定手段は、前記予測誤差推定手段による前記着目対象の移動量の予測誤差に応じて、前記リサイズ率を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記リサイズ率決定手段は、前記予測誤差推定手段による前記着目対象の移動量の予測誤差が小さいほど、前記動きベクトル検出手段によって検出可能な移動量が、予測された前記着目対象の移動量に近づくよう、前記リサイズ率を決定することを特徴とする請求項３に記載の画像処理装置。
6. 前記リサイズ率決定手段は、前記予測誤差推定手段による予測誤差が大きいほど、リサイズ率の個数を多くすることを特徴とする請求項３に記載の画像処理装置。
7. 前記リサイズ手段および前記動きベクトル検出手段は、前記リサイズ率決定手段により複数のリサイズ率が決定された場合に、各リサイズ率に対して順次もしくは並列に処理を行うことを特徴とする請求項６に記載の画像処理装置。