JP2015100065A - 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】動きベクトルを探索する際、撮影場面に拘わらず探索性能を向上させて、かつバス帯域の圧迫および消費電力の増大などを回避する。【解決手段】撮像装置１００では複数の入力画像のうちの１つを基準画像とし、残りの入力画像を参照画像として前記基準画像と前記参照画像との対応点に応じて動きベクトルを検出する。ベクトル探索部１０５は、基準画像に設定された所定の大きさのブロックを参照画像内で対応探索して動きベクトルを検出する。視差競合頻度推定部１０６はブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、ベクトル探索部に視差競合の発生頻度が判定閾値以下である際よりも入力画像を縮小させて動きベクトルの検出を行わせる。【選択図】図１

Description

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、複数の画像の間における対応点又は動きベクトルを探索する対応点探索手法に関する。

一般に、動画フレーム（つまり、画像）間における対応点又は動きベクトル（以下、動きベクトルと総称する）を探索する際には、テンプレートマッチング（ＴＭ）が用いられている。一方、近年、撮像装置の多画素化および高性能化に起因してベクトル探索性能（探索可能率、アウトライア率、および精度）の向上が求められている。

ここで、探索可能率とは、相関値マップ上において唯一のピークを得られる可能性の割合をいう。また、アウトライア率とは、ＴＭが正しいとして出力した動きベクトルが大きく間違っている割合をいう。そして、精度とは、アウトライア程は大きく外れていないが、真値の動きベクトルからのずれに関する指標をいう。

一般的なＴＭにおいては、探索範囲、テンプレートサイズ、判定閾値、および入力画像の縮小率がベクトル探索性能を左右する主な基本設計値となる。設計上、探索範囲は、対象とする画像間の動きの大きさにより決定される。近年では、探索範囲を削減することによって、探索計算量の削減に加えて性能向上する手法がある（特許文献１参照）。

ところが、特許文献１に記載の手法では、動体の動きの予測が成立可能であるか又は姿勢センサなどの補助的なセンシング手段が使用できるかなど、限られた条件下でのみ有効となる。よって、多くの場合、必ずしも特許文献１に記載の手法を用いることは困難である。

テンプレートサイズに関しては、探索可能率を高く、かつアウトライア率を低く保つことによって得られるロバスト性を維持しようとすれば、探索範囲に従って従属的に決定されるように設計される。

例えば、大きなブレに対応しようとすると、探索範囲を広く設定して探索を行う必要がある。そして、広い探索範囲においても唯一のピークを決定するためには、繰り返しパターンおよび平坦部などに影響されることなく大きな領域を捉えるために、テンプレートを大きくする必要がある。

判定閾値として、探索可能性およびアウトライアを判定するための閾値があるが、判定閾値は被写体像に依存して正答の除却率およびアウトライアの受け入れ率を考慮して決定される。よって、探索性能の向上のため設計において、判定閾値を任意に操作することは難しい。

一方、縮小率は、サブピクセル探索と組み合わせて、入力画像を縮小して動きベクトル探索し、得られた動きベクトルを縮小率分拡大するパラメータである。縮小率は、入力画像に十分細かな画像情報が含まれる場合には、低縮小率としたほうがよい。そして、可能ならばむしろ拡大して探索した方が高い精度が得られる。

しかしながら、大きなテンプレートを用い、低縮小率（特に等倍）で探索を行うと、演算量が増加するばかりでなく、メモリ占有率の増加および伝送バスの圧迫、そして、消費電力の増加などが発生する。よって、このような問題に対処するためには、入力画像を縮小して探索（縮小探索）することが望ましい。

ここで、防振、つまり、手ぶれから歩き撮りまでの様々な場面で用いられる動きベクトル利用アプリケーションを想定すると、縮小探索を用いても問題は少ない可能性がある。

何故ならば、一般に等倍探索である程動きベクトル精度が高いが、撮像装置又は被写体の平行移動で生じる視差、人体などの非剛体動き、ローリングシャッタ歪、および光学系の歪曲収差に対してはテンプレートが大きい程影響を受けて、精度および探索可能率が低下してしまうためである。つまり、大きなテンプレートを用いた探索に起因する精度の低下によって等倍探索のメリットが小さくなるためである。

特に、テンプレートに複数の視差の影響が入って生じる視差競合による探索性能の低下の影響が大きい。但し、動きベクトル利用アプリケーションを利用する場面を細かく考慮すると、探索性能向上の余地がある。

従来、防振が対象とする振れ角の小さな手ブレ又は被写体が遠距離である際の撮影の場合には視差の影響は小さい。このため、低縮小率、例えば、等倍とすることによって探索精度を向上させることができる。しかしながら、常に等倍探索を行うとなると、バス帯域の圧迫および消費電力の増加などが目立ってしまう。

さらに、視差競合に対する手法として、まず相対的に大きなテンプレートで探索を行い、最終的にテンプレートサイズを限りなく小さくして探索を行う階層的探索処理が知られている（特許文献２参照）。

特開２０１２−１６０８８６号公報 特開２０１１−１６４９０５号公報

しかしながら、特許文献２に記載の手法では、階層画像の構築などによって処理が複雑化してリアルタイム処理が困難になることがある。さらには、処理が複雑化する関係上、回路規模およびメモリの占有が大きくなり過ぎるなどの原因で、特に、小型化する撮像装置に用いることは困難となる。このため、特許文献２に記載の手法を用いる際には、最下層レイヤ（つまり、最終的な）画像を縮小するなどの妥協が必要となる。

なお、当然のことながら、特許文献２に記載の手法を用いて最終的な画像を縮小して探索するよりも、条件によっては特許文献２に記載の手法を用いることなく等倍探索を行った方が探索精度は高くなることがある。

このように、動きベクトル探索の際に入力画像の縮小率を下げて探索を行うと、探索性能が向上することがあるものの、手ぶれおよび歩き撮りなどの撮影場面において常に探索性能が向上するものではなく、入力画像の縮小率を下げて探索を行うと、バス帯域の圧迫および消費電力の増大などが生じてしまう。

従って、本発明の目的は、動きベクトルを探索する際、撮影場面に拘わらず探索性能を向上させて、かつバス帯域の圧迫および消費電力の増大などが生じることのない画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、複数の入力画像のうちの１つを基準画像とし、残りの入力画像を参照画像として受け、前記基準画像と前記参照画像との対応点に応じて動きベクトルを検出する画像処理装置であって、前記基準画像に設定された所定の大きさのブロックに対応する参照画像内の位置である前記対応点を探索して前記動きベクトルを検出するベクトル探索手段と、前記ブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、前記ベクトル探索手段に前記視差競合の発生頻度が前記判定閾値以下である際よりも前記入力画像を縮小させて前記動きベクトルの検出を行わせる制御手段と、を有することを特徴とする。

本発明による撮像装置は、撮像光学系を介して被写体を撮像して入力画像を得る撮像手段と、上記の画像処理装置と、前記入力画像に対して前記動きベクトルに応じて所定の処理を行って画像データを得る画像処理手段と、を有することを特徴とする。

本発明による制御方法は、複数の入力画像のうちの１つを基準画像とし、残りの入力画像を参照画像として受け、前記基準画像と前記参照画像との対応点に応じて動きベクトルを検出する画像処理装置の制御方法であって、前記基準画像に設定された所定の大きさのブロックに対応する参照画像内の位置である前記対応点を探索して前記動きベクトルを検出するベクトル探索ステップと、前記ブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、前記ベクトル探索ステップで前記視差競合の発生頻度が前記判定閾値以下である際よりも前記入力画像を縮小させて前記動きベクトルの検出を行う制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、複数の入力画像のうちの１つを基準画像とし、残りの入力画像を参照画像として受け、前記基準画像と前記参照画像との対応点に応じて動きベクトルを検出する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記基準画像に設定された所定の大きさのブロックに対応する参照画像内のブロック位置である前記対応点を探索して前記動きベクトルを検出するベクトル探索ステップと、前記ブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、前記ベクトル探索ステップで前記視差競合の発生頻度が前記判定閾値以下である際よりも前記入力画像を縮小させて前記動きベクトルの検出を行う制御ステップと、を実行させることを特徴とする。

本発明によれば、テンプレートなどのブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、視差競合の発生頻度が前記判定閾値以下である際よりも入力画像を縮小させて動きベクトルの検出を行う。これによって、動きベクトルを探索する際、撮影場面に拘わらず探索性能を向上させて、かつバス帯域の圧迫および消費電力の増大などを回避することができる。

本発明の第１の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示すベクトル探索部で行われる動きベクトルの探索を説明するための図であり、（ａ）はテンプレートマッチング（ＴＭ）の１つであるブロックマッチングの一例を示す図、（ｂ）はベクトル探索で用いられる主要な制御パラメータを示す図である。 図１に示すベクトル探索部における動きベクトル探索の性能について説明するための図であり、（ａ）は探索可能率を示す図、（ｂ）はアウトライア率を示す図、（ｃ）は精度を示す図である。 図１に示すベクトル探索部で行われるベクトル探索処理の画像縮小の一例を示す図である。 図１に示すベクトル探索部において奥行方向に延びる壁について動きベクトルを求める場合を説明するための図であり、（ａ）は奥行方向に延びる壁を撮影した画像を示す図、（ｂ）はカメラを並行移動させる状態を示す図、（ｃ）はカメラを光学系の主点周りに回転させる状態を示す図である。 視差競合が顕著に生じる一例を説明するための図であり、（ａ）は前景に人物が存在する画像を示す図、（ｂ）は背景の動きに応じたベクトルを示す図、（ｃ）は前景の動きに応じた動きベクトルを示す図、（ｄ）は動きベクトル探索結果の一例を示す図である。 図１に示すカメラで行われる動きベクトル探索処理の一例を説明するためのフローチャートである。 本発明の第２の実施形態による画像処理装置を備えるカメラの一例についてその構成を示すブロック図である。 図８に示す視差競合頻度推定部で行われるカメラ姿勢の推定処理を説明するためのフローチャートである。 本発明の第３の実施形態による画像処理装置を備えるカメラで行われる注目点の探索を説明するための図であり、（ａ）はピラミッド画像階層を探索する際の探索範囲の変化の一例を示す図、（ｂ）はピラミッド画像階層を探索する際のテンプレートサイズの変化の一例を示す図である。 本発明の第３の実施形態による画像処理装置を備えるカメラで行われるベクトル探索手法の切り替えを説明するための図であり、（ａ）はベクトル探索手法の切り替えの一例を示す図、（ｂ）はベクトル探索手法の切り替えの他の例を示す図である。

以下、本発明の実施の形態による画像処理装置を備える撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、撮像光学系（以下単に光学系と呼ぶ）１０１、撮像素子１０２、前処理部１０３、メモリ１０４、ベクトル探索部１０５、視差競合頻度推定部１０６、後処理部１０７、およびＣＰＵ１０８を有している。そして、光学系１０１は、被写体１０９からの光（光学像又は被写体像）を撮像素子００２上に結像させる。なお、光学系１０１は複数枚のレンズおよびミラーなどを有している。

撮像素子１０２は、例えば、ＣＣＤ又はＣＭＯＳイメージセンサであり、光学系１０１によって受光面（結像面ともいう）に結像された光学像に応じた電気信号（アナログ信号）を出力する。前処理部１０３は、撮像素子１０２の出力であるアナログ信号を受けて、当該アナログ信号について、例えば、相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）を用いたゲインアップによる露出制御、黒レベル補正、およびＡ／Ｄ変換などの前処理を行う。そして、前処理部１０３はデジタル画像信号（以下前処理済み画像信号と呼ぶ）を出力する。この前処理済み画像信号は画像メモリ１０４に一旦保存される。

なお、前処理部１０３においては、前処理済み画像信号についてベイヤー配列補間などによるカラー画像信号生成又は輝度画像信号生成を行ってベクトル探索部１０５に与えるようにしてもよい。カラー画像信号又は輝度画像信号の生成についてはベクトル探索のためであるので簡易レベルで行えばよい。

さらに、前処理部１０３においては、動きベクトル検出処理の精度およびロバスト性を向上させるため、ローパスおよびハイパスなどのフィルタリング処理、そして、トーンマッピングなどの諧調調整処理を行うようにしてもよい。

ベクトル探索部１０５は、前処理部００３の出力である前処理済み画像信号と画像メモリ００４に保存された過去の前処理済み画像信号（ともに入力画像である）とを用いて画像間における動きベクトルを探索して推定する。

ＣＰＵ１０８はカメラ１００の制御を統括し、制御プログラムをメモリ（図示せず）から読み出して実行して、カメラ１００の各部の動作を制御する。例えば、ＣＰＵ１０８はカメラ１００のズーム状態（焦点距離）、フォーカス距離を示す被写体距離などの撮影条件、および動画撮影の際のフレームレートなどの動作状態をメモリに保持する。

視差競合頻度推定部１０６は、視差競合の発生頻度を後述するセンシング情報とＣＰＵ００８から得られる撮影条件および動作状態とに応じて推定する。そして、視差競合頻度推定部１０６は視差競合の発生頻度を示す推定情報をベクトル探索部００５に送る。

なお、視差競合頻度推定部１０６は当該推定情報に基づいてベクトル探索部００５を制御するようにしてもよい。例えば、図１には信号線が示されていないが、視差競合頻度推定部１０６は、ベクトル探索部００５に入力される画像間の視差の大小を推定する。そして、視差競合頻度推定部１０６は画像間で生じる視差が小さいと判定すると、画像の縮小率を小さくしてベクトル探索を行うようにベクトル探索部００５を制御する。

一方、画像間で生じる視差が大きいと判定すると、視差競合頻度推定部１０６は画像の縮小率を大きくしてベクトル探索を行うようにベクトル探索部００５を制御する。

後処理部１０７は、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・諧調・コントラスト補正、およびエッジ強調などのバックエンド画像処理を、前処理画像信号に対して行う。

当該バックエンド処理は前処理部１０３で行われるＡＦＥ処理に対してＤＢＥ（デジタルバックエンド）処理と呼ばれる。このようにして、ＡＦＥ処理（フロントエンド処理）およびバックエンド処理を行うことによって、後処理部１０７から一枚の出力画像（つまり、画像）が出力される。

ここで、ベクトル探索部１０４による動きベクトルの探索結果に応じて、後処理部１０７は、複数枚の画像データを合成して広ダイナミックレンジ画像を生成するダイナミックレンジ拡張処理を行う。さらには、後処理部１０７は複数枚の画像についてノイズリダクション処理および超解像処理などの付加価値向上処理を行うようにしてもよい。これら処理は後処理に含まれる。

なお、動きベクトルは画像データの補足情報であるメタ情報又は別途に管理される情報として扱われ、３次元再構成および人物認識などに用いるようにしてもよい。

後処理部１０７の出力である画像データ（後処理済み画像データ）はＤＲＡＭなどのワークメモリ（図示せず）に一旦保存されるか又は後段処理部（図示せず）に直接送られる。

後段処理部は、例えば、半導体メモリからなる記録部、液晶などのディスプレイからなる表示部、および無線ＬＡＮおよびＵＳＢなど有線ケーブルに接続可能なＩ／Ｆ（インターフェース）を備える外部入出力Ｉ／Ｆを有している。

ベクトル探索部１０５は、前述のように、複数の映像フレーム（画像）間における動きベクトルを検出する。ここでは、ベクトル探索部１０５は、前処理部００３において直近に前処理されたカレントフレームとメモリ１０４に一旦保存された過去フレームとの間において動きベクトルを算出する。なお、カレントフレームと過去フレームとは必ずしも隣接するフレームでなくてもよい。

動きベクトルの算出に当たっては、例えば、テンプレートマッチング（ＴＭ）、各フレームで得られた特徴点間のテーブルマッチング、又は勾配法に基づく動きベクトル推定などによって、フレーム間の動きベクトル又は特徴点間の軌跡が算出される。

図２は、図１に示すベクトル探索部１０５で行われる動きベクトルの探索を説明するための図である。そして、図２（ａ）はテンプレートマッチング（ＴＭ）の１つであるブロックマッチングの一例を示す図であり、図２（ｂ）はベクトル探索で用いられる主要な制御パラメータを示す図である。

まず、図２（ａ）を参照して、ここでは、左側に位置する画像２０１を基準画像とし、右側に位置する画像２０２を参照画像とする。例えば、ベクトル探索部１０５は先に入力された映像フレームを基準画像とし、後から入力されたカレントフレームを参照画像として、これら基準画像と参照画像との間において動きベクトルを検出する。

ベクトル探索部１０５は、基準画像２０１においてグリッド状に配置した注目点２０４を中心とする所定のサイズの部分領域をテンプレート２０３とする。そして、ベクトル探索部１０５は参照画像２０２において探索範囲２０７を設定して、当該探索範囲２０７においてテンプレート２０３移動しつつテンプレートが最も合致する領域を探索する。

なお、前述のように、ベクトル探索部１０５に入力される画像はカラー画像、輝度画像、又は微分画像などの変調画像であってもよい。

続いて、ベクトル探索部１０５は、参照画像２０２における注目画素２０５を基準とする部分領域２０６と基準画像２０１のテンプレート２０３との類似度を算出する。類似度として、例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、又は正規相互相関値（正規相互相関類似度）が用いられる。なお、実写映像のようにフレーム間の輝度変動が激しい場合は正規相互相関値が類似度として主に用いられる。正規相互相関における類似度スコアは次の式（１）に応じて求められる。

また、（ｘ，ｙ）および（ｘ’，ｙ’）は基準画像Ｉおよび参照画像Ｉ’におけるテンプレートの位置を示し、Ｉ_{（ｘ，ｙ）}（ｉ，ｊ）およびＩ’_{（ｘ’，ｙ’）}（ｉ，ｊ）は部分画像を示す。

ベクトル探索部１０５は、探索範囲２０７における部分領域２０６毎の類似度を算出して、最も類似度（例えば、相関スコア）の高い位置を基準画像と参照画像とが対応する対応位置とみなして動きベクトルを求める。

オクルージョンがなければ、基本的に基準画像で設定した注目点２０４の数だけ動きベクトルが算出されることになる。動きベクトルは基準画像における注目点の位置を始点として、参照画像における対応点の位置を終点とするベクトルで表現される（式（４）参照）。

次に、図２（ｂ）を参照して、ベクトル探索の際に用いられる制御パラメータとして、探索範囲、テンプレートサイズ、縮小率、および判定閾値がある。探索範囲は対象とする画像間における動きの大きさによって決定される。また、テンプレートサイズは探索範囲に応じて従属的に決定される。そして、前述のように、動きベクトル探索の性能は探索可能率、アウトライア率、および精度で規定される。

図３は、図１に示すベクトル探索部１０５における動きベクトル探索の性能について説明するための図である。そして、図３（ａ）は探索可能率を示す図であり、図３（ｂ）はアウトライア率を示す図である。また、図３（ｃ）は精度を示す図である。

図３（ａ）に示す例では、２次元の相関値マップが説明の簡略化のため１次元の相関値マップとして示されている。探索可能率は、相関値マップにおいて唯一のピークを得られる可能性の割合をいう。探索範囲における注目点毎の相関スコアを求めることによって相関値グラフ（つまり、２次元マップ）が得られる。

図３（ａ）において、左側の図は唯一のピークが得られる場合を示しており、最大の相関スコアの候補ピークの相関値に対して、次点のピークの相関値が閾値で設定した相関値差よりも十分低い状態である。

一方、右側の図では、候補ピークの相関値に対して、次点ピークの相関値との差が閾値以下の状態であり、唯一のピークが得られない。

このようにして、相関スコアのピークの唯一性について候補ピークの相関値と次のピークとの相関値との差に応じて判定して、当該唯一性に基づいて探索可能性を判定する。なお、相関値の差と閾値とに応じて探索可能性を判定する代わりに、ピークの鋭さに応じて探索可能性を判定するようにしてもよい。

また、相関値については、唯一のピークが得られる必要条件としてテンプレートに十分なテクスチャ性が存在することが求められる。このため、曖昧な対応を除くべくテンプレートにおけるテクスチャ性の不足を、分散などのスコアに応じて動きベクトルの探索前に事前に判定して探索可能性を判定するようにしてもよい。

図３（ｂ）に示す例では、ベクトル探索対象の画像が静止の像面に平行な平面シーンを撮影した画像であって、カメラ１００を被写体に向かって左下にシフトさせて撮影したものとする。図３（ｂ）においては、全ての注目点３０１について同一の方向の動きベクトルが得られるはずである。ところが、正解ベクトル（同一方向の動きベクトル）に対して、探索エラーに起因して大きく方向がことなる動きベクトル３０２が生じることがある。

このような状態をアウトライアと呼び、その割合をアウトライア率という。そして、アウトライアは、所謂オクルージョン部で起こり易い。当該オクルージョン部は、図２に示す基準画像２０１と参照画像２０２とを入れ替えて探索することによって検査可能な双方向性および最低相関スコアに応じた閾値判定などで検出する。

精度とは、アウトライアほどには動きベクトルが大きく外れていないものの、真値の動きベクトルからのずれに関する指標である。例えば、図３（ｃ）に示すように、特定の注目点４０２の周囲を切り出したテンプレート４０１に係る動きベクトルが、アウトライアほどにはずれていないものの、微小な誤差（ずれ）を含む場合に当該誤差に関する指標が精度である。

精度のずれは主に後述する視差競合により発生する。アウトライアと非アウトライアとの相違は動きベクトル探索の際には判別できない。正解であるＧｒｏｕｎｄ Ｔｒｕｔｈ、つまり、理想的な正解値の動きベクトルと対となる画像対を入力して得られた動きベクトルとを比較することによって、アウトライアと非アウトライアとの相違が判別可能となる。精度に係る定量値についても同様である。アウトライアはベクトル誤差に対する判定閾値を定義して判別する。

また、人体などの非剛体の動き、ローリングシャッタ歪、および光学系の歪曲収差などに起因する変形によって精度の低下が生じる。テンプレートにおける注目点に対して注目点以外の領域が変形で移動して当該領域が顕著な特徴を持つ場合に、ベクトル探索がこの相対的な移動、つまり、視差の競合の影響を受ける。これによって、精度の劣化が生じる。当然のことながら、テンプレートが大きいほど、上記の歪および変形の影響を受け易くなって精度が低下する。

さらに、探索領域における相関スコアに対して多項式フィッティングを行って高精度に類似度のピーク位置を算出するか又はテンプレートと参照画像とを高画素化するなどの処理を行って、サブピクセル精度で動きベクトル又は対応点の軌跡を算出するようにしてもよい。

上述の例では、注目点をグリッド状に固定的に配置したブロックマッチングの例について説明したが、動きベクトルを算出しやすい特徴点を基準画像で抽出して、その位置を注目点として動きベクトルの探索を行うようにしてもよい。注目点を抽出する際には、通常Ｈａｒｒｉｓオペレータなどの画像処理フィルタが用いられる。当該画像フィルタを用いて、画像のコーナー位置を特徴点として抽出し、適切な特徴のない位置で探索を行う。これによって、開口問題および「滑り」の問題を抑制して、探索可能率を向上させるとともに、アウトライア率の低下および精度の向上を期待することできる。

なお、Ｈａｒｒｉｓオペレータについては、例えば、Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈｅｎｓ， “Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ”， Ｆｏｕｒｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ．１４７−１５１， １９８８に記載されている。

Ｈａｒｒｉｓオペレータにおいては、まずウィンドウサイズＷを決定し、水平および垂直方向について微分画像（Ｉ_ｄｘ，Ｉ_ｄｙ）を求める。微分画像を求める際には、Ｓｏｂｅｌフィルタなどが用いられる。

例えば、当該フィルタにおいて、ｈ＝｜１，√２，１｜／（２＋√２）を横方向として、縦方向に３つ並べた３×３フィルタｈ_ｘを画像に適用するとともに、ｈ＝｜１，√２，１｜／（２＋√２）を縦方向として、横方向に３つ並べた３×３フィルタｈ_ｙを画像に適用して、微分画像（Ｉ_ｄｘ，Ｉ_ｄｙ）を得る。

そして、画像における全ての座標（ｘ、ｙ）について、ウィンドウＷを用いて、式（５）によってマトリクスＧを求める。

続いて、マトリクスの最小特異値が大きい座標（ｘ，ｙ）の順に特徴点を抽出する。この際、特徴点はあまり密集しないほうが好ましい。そこで、既に特徴点が抽出済みの座標（ｘ，ｙ）のウィンドウサイズＷの周辺について特徴点を算出しないなどの条件を設定するようにしてもよい。

なお、連続するフレーム間において、動きベクトルを探索する際には、再度特徴点を求めてＴＭを行うようにしてもよい、さらに、得られた動きベクトルの終端を注目点として新たなフレーム間でＴＭを行って特徴点の軌跡を追跡するようにしてもよい。

また、テンプレートに対応するウィンドウ、言い換えると、ブロックを参照画像内に設定された探索範囲内を移動して検出するのではなく、探索範囲内の候補点との相関で対応点を検出しても良い。各フレームにおいて算出した特徴点間で特徴量をキー情報としてテーブルマッチング、例えば、このベクトル特徴量の内積演算による相関演算を行って、対応付けするようにしてもよい。加えて、例えば、所謂枝刈りアルゴリズムを用いれば冗長な対応付け演算を削減することができるので、効率的に対応付けを行うことができる。

このようにして、動きベクトル探索処理では、前処理部１０３で生成した前処理済み画像信号と画像メモリ１０４に保存された過去の画像信号とを用いて、動きベクトル探索を行うようにしてもよいが、これら画像信号を縮小して動きベクトル探索処理を行うようにしてもよい。

図４は、図１に示すベクトル探索部１０５で行われるベクトル探索処理の画像縮小の一例を示す図である。

図４に示す例では、ベクトル探索部１０５は、画像信号が示す画像（つまり、基準画像および参照画像）を適宜縮小して動きベクトル探索処理を行う。この際、ベクトル探索部１０５は、基準画像および参照画像に関して動きベクトル探索性能を同等としたい場合には、テンプレートサイズおよび探索範囲について、縮小率に応じて同一の比で縮小する。

このように、画像の縮小を行うと、探索領域およびテンプレートサイズに相当する画素毎の差分又は積和の演算回数である総和（Σ）の繰り返し回数を削減することができる。

当然ながら画像を縮小すると、縮小後の画像から切り出される探索領域およびテンプレートを保存するための画像メモリ１０４の領域、そして、相関演算結果を保存するための領域は少なくて済む。その結果、ベクトル探索部１０５と画像メモリ１０４とのデータの送受（つまり、データ量）が少なくなって、データバス（図示せず）の帯域がデータで圧迫される可能性が少なくなる。

上述の動きベクトル探索処理においては、テンプレートサイズと当該テンプレートによって切り出されるシーンの奥行の関係とによって視差競合が生じる可能性がある。ここで、視差競合とは、設定テンプレートにおいて視差の異なる被写体が含まれる状態のことである。

具体的には、遠距離の被写体と近距離の被写体の双方が設定テンプレートに含まれている状態において、視差競合は、カメラ１００を並行移動させた際に生じる像の動きベクトルを求める状態に対応する。そして、テンプレートに異なる視差が含まれているので、テンプレートの注目位置の視差が正しく求まらない。

図５は、図１に示すベクトル探索部１０５において奥行方向に延びる壁について動きベクトルを求める場合を説明するための図である。そして、図５（ａ）は奥行方向に延びる壁を撮影した画像を示す図であり、図５（ｂ）はカメラ１００を並行移動させる状態を示す図である。また、図５（ｃ）はカメラ１００を光学系の主点周りに回転させる状態を示す図である。

図５（ａ）に示す画像５０１では奥行方向に延びる壁５０４が撮影されており、当該画像５０１において注目点５０３を中心とするテンプレート５０２を設定する。この際、図５（ｂ）に示すように、カメラ１００を並行移動させると、奥行方向に延びる壁５０４において奥行きが異なる被写体毎に大きさが異なる視差が生じる。

図５（ａ）においては、テンプレート５０２におけるテクスチャが明瞭で同一距離の領域が大きい近距離が支配的となる。このため、注目点の動きベクトルに、近距離の領域と注目点位置の領域との視差分に起因する誤差が生じてしまう。

一方、図５（ｃ）に示すように、カメラ１００を光学系の主点周りに回転させると、動きベクトル探索の前に射影変換ホモグラフィによって動きの補正を行えば、奥行きの異なる被写体がテンプレート５０２に含まれていても視差は発生しない。このため、視差競合に起因する精度の劣化が生じることない。

また、視差がない場合には、テンプレートサイズを大きくすれば、ノイズおよび微小変形にも強く高精度の動きベクトルを得ることができる。加えて、縮小率の低い等倍探索を用いることによって動きベクトルの精度が向上する。

図６は、視差競合が顕著に生じる一例を説明するための図である。そして、図６（ａ）は前景に人物が存在する画像を示す図であり、図６（ｂ）は背景の動きに応じたベクトルを示す図である。また、図６（ｃ）は前景の動きに応じた動きベクトルを示す図であり、図６（ｄ）は動きベクトル探索結果の一例を示す図である。

図６（ａ）において、画像６０１に前景の人物６０２と背景が存在する場合、前景と背景との間で視差が生じているとする。このような場合、前景の人物６０２と背景との境界近傍にテンプレート６０３が設定されると、テンプレート６０３において異なる視差を有する動き競合が生じる可能性がある。この際、注目点６０４に係る動きベクトルは、注目点６０４が背景に位置する画素であるので、図６（ｂ）に示すように背景の動きに応じた動きベクトルが得られることになる。

ところが、前景のテクスチャが強い場合又は前景と背景との境界が明瞭な場合には、前景に引きずられて、図６（ｃ）に示すように前景の動きに応じた動きベクトルが得られてしまう。そして、当該動きベクトルは精度の大きく劣化するか又はアウトライアと判定される動きベクトルとなる。この結果、図６（ｄ）に白領域６０５で示すように、奥行方向の被写体境界において動きベクトル探索結果にアウトライア又は視差精度の劣化した部分が大きく発生してしまうことになる。

このような点を防止するため、図１に示すカメラ１００においては、視差競合頻度推定部１０６は、視差競合の発生の度合い（頻度）を各種のセンシング情報から推定する。そして、視差競合頻度推定部１０６は動きベクトル算出部００５に視差頻度情報を与えて、動きベクトル探索部１０５によるベクトル探索の方法又は設定値、つまり、画像の縮小率の変更を指示する。

前述のように、画像間で生じる視差競合の頻度が小さいと判定した場合には、視差競合頻度推定部１０６は画像に対する縮小率を小さくしてベクトル探索を行うようにベクトル探索部１０５に指示する。

一方、画像間で生じる視差競合の頻度が大きいと判定すると、視差競合頻度推定部１０６は画像に対する縮小率を大きくしてベクトル探索を行うようにベクトル探索部１０５に指示する。

撮影画像における視差の発生度合い（頻度）は、カメラ１００と被写体シーンとの間の相対位置関係、つまり、被写体に対するカメラ１００の相対的な並行移動量および被写体距離に依存する。並行移動量が大きいほど、そして、被写体距離が近く写っている被写体間の距離差が大きいほど発生する視差の度合いは大きくなる。

また、ズーム状態（つまり、撮像倍率）によって定まる焦点距離が長いと、画像における視差変化は大きくなる。加えて、カメラ１００の動作状態、例えば、フレームレートの高低によっても視差は変化する。フレームレートが低いとフレーム間の動きが大きくなるため、視差が大きくなる。なお、前述のように、撮影条件およびカメラ１００の動作状態は、ＣＰＵ１０８がセンサおよびエンコーダ（図示せず）から取得して、内蔵メモリ（図示せず）に保存する。

上述のように、視差の発生度合いは並行移動量［Ｔ］、被写体ボリューム距離［Ｖ］と被写体距離［ｌ］との比、焦点距離［ｆ］、およびフレームレート［ｆｐｓ］などのカメラ１００の動作状態によって指標化することができる。ここで、被写体ボリューム距離とは、写っている被写体の最遠距離から最近接距離の差分をいう。

加えて、視差競合の発生の度合いを考慮する際には、所定値以上の奥行き差のある被写体の細かさを考慮する必要がある。但し、被写体の奥行き差およびその大きさは瞬間毎に細かく変化して、閾値判定処理を切り替える基準にすることは不安定さがある。

このため、例えば、視差の発生度合いが大きいと視差競合の発生の度合いも大きいという類推を用いて、奥行き差のある被写体の細かさの影響を省略する。これによって、推定に必要な構成および処理を簡略化することができるばかりでなく、指標も安定化し易い。

次の式（６）は判定指標の一例を算出するための式である。

式（６）に示す指標Ｘが視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}よりも大きければ、視差競合頻度推定部１０６は視差の発生度合い（頻度）が大きいと判定して視差競合の発生頻度も大きいと類推する。この結果、ベクトル探索部１０５は縮小探索を行う。

一方、指標Ｘが視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}以下であると、視差競合頻度推定部１０６は視差競合の発生頻度は小さいと判定する。この結果、ベクトル探索部１０５はベクトル探索の際の画像の縮小率を下げるか又は等倍探索を行う。

また、式（７）に示すように、視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}を多段階に設定して、これら視差判定閾値に対応して縮小率を多段階に変化させるようにしてもよい。

上述のようにして視差競合の発生頻度を判定する際には、図１には示されていないが、視差競合頻度推定部１０６は、例えば、カメラ１００の並行移動量を計測するセンサ、指標値算出部、および発生頻度を備えて、ＣＰＵ１０８から撮影条件およびカメラ１００の動作状態の情報を得る。そして、視差競合頻度推定部１０６は、式（６）に示す指標Ｘを求めて、当該指標Ｘと視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}とを比較して、当該比較結果に応じて視差競合頻度の大小を推定する。

ところで、並行移動量は、通常カメラ１００の３軸に対するベクトル量として得られる。このため、指標値もベクトル量として得られる。この際には、各軸に対応して視差判定閾値を設定して視差競合判定を行う。

なお、動きベクトル探索に影響の大きな光軸に垂直な２軸に関してのみ視差競合判定を行うようにしてもよい。さらには、変位の大きな並行移動量についてのみ視差競合判定に用いるようにしてもよい。

例えば、画像の並行移動量を計測するセンサとして所謂多軸姿勢センサが用いられる。この姿勢センサは、加速度センサおよびジャイロを備えて、回転軸および並進軸に関して移動方向および移動量を測定する。なお、単に指標を求めるのみであれば、加速度センサなどの並進軸に関する姿勢センサだけでもよい。そして、加速度センサによって得られた加速度を積分することによって速度値および並進量が算出される。

さらに、手ぶれ又は歩きぶれに起因するカメラ１００のゆれ、つまり、カメラ１００の姿勢変化に関して、カメラ１００の回転ぶれと並行移動ぶれとの間には正の相関がある。言い換えると、回転ぶれが大きくなれば、並行移動ぶれも一定の比率で同様に大きくなる。回転ぶれと並行移動ぶれとの増加比率については、手ぶれ又は歩きぶれなどのぶれの発生原因の動作により異なるが、基本的に正の相関関係が存在する。

このため、視差競合頻度推定部１０６におけるセンシング対象である並行移動量の計測を、ジャイロなどの回転センサを用いた回転および回転ブレ量に置き換えてもよい。

図７は、図１に示すカメラ１００で行われる動きベクトル探索処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、ＣＰＵ１０８の制御下で行われる。

動きベクトル探索処理を開始すると、視差競合頻度推定部１０６は式（６）によって求めた指標Ｘが視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}よりも大きいか否かを判定する。つまり、視差競合頻度推定部１０６は視差が大であるか否かを判定する（ステップＳ７０１）。視差が大でないと、つまり、指標Ｘが視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}以下であると（ステップＳ７０１において、ＮＯ）、視差競合頻度推定部１０６は画像に対する縮小率を小さくしてベクトル探索を行うようにベクトル探索部１０５に指示する。

これによって、ベクトル探索部１０５は縮小率を小さくするか又は等倍で動きベクトルの検出を行う（ステップＳ７０２１）。そして、ベクトル探索部１０５は動きベクトル探索処理を終了する。

一方、視差が大であると、つまり、指標Ｘが視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}よりも大きいと（ステップＳ７０１において、ＹＥＳ）、視差競合頻度推定部１０６は画像に対する縮小率を大きくして予め設定された縮小率でベクトル探索を行うようにベクトル探索部１０５に指示する。

これによって、ベクトル探索部１０５は縮小率を予め設定された縮小率に大きくして動きベクトルの検出を行う（ステップＳ７０２２）。そして、ベクトル探索部１０５は動きベクトル探索処理を終了する。

なお、前述のように、動きベクトル探索処理を行う際には、視差競合頻度推定結果に応じて多段階に縮小率を変化させるようにしてもよい。また、カメラ１００が回転軸および並進軸に関するセンサを備える場合には、ベクトル探索部１０５は、動きベクトル探索を行う前に、カメラ１００の姿勢変化に応じて画像に対して並行化処理を行ってもよい。

並行化処理を行うことによって、撮影シーンが静止である場合、視差以外の画像間の動きを除去することができる。この並行化処理は、エピポーラ幾何に応じて、画像間の視差以外の動きを射影変形などの幾何変形によって除去して対応点を同一のスキャンライン上に移動させる画像処理方法である。

この並行化処理については、例えば、Ｒ．Ｓｚｅｌｉｓｋｉ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ”，ｐ．ｐ．４６５に記載されている。

さらに、視差競合頻度推定部１０６はＧＵＩ（図示せず）を備える撮影モード設定部を有していてもよい。そして、ジャイロおよび加速度センサなどのセンシング情報に応じて姿勢変化を得て、当該姿勢変化に応じて視差競合の発生頻度の推定を行うことなく、ユーザが直感的に視差競合の発生頻度を推定するようにしてもよい。この際には、ユーザは、撮影モード設定部を用いて視差競合発生頻度を入力することになる。

なお、撮影モード設定部には、撮影モードとして手持ち撮影又は歩き撮り撮影のような撮影状態とカメラ１００の把持状態（両手持ち、片手持ち）などが例示として表示される。これによって、ユーザに対して視差競合の発生頻度の推定をアシストするようにしてもよい。

例えば、両手持ちの撮影を示す状態が撮影モード設定部から入力されると、視差競合頻度推定部１０６は視差競合の発生頻度を小として、ベクトル探索の際の画像の縮小率を下げてベクトル探索を行うようにベクトル探索部１０５に指示するか又は等倍探索を行うようにベクトル探索部１０５に指示する。

一方、片手持ちでかつ歩き撮りの状態が撮影モード設定部から入力されると、視差競合頻度推定部１０６は視差競合の発生頻度を大として、縮小探索を行うようにベクトル探索部１０５に指示する。

このように、撮影モード設定部を用いたユーザの入力に応じて、視差競合の発生頻度を推定するようにすれば、ユーザの意図に応じた縮小率でベクトル探索を行うことができる。

このように、本発明の第１の実施の形態では、手ぶれ又は歩き撮りなどの撮影状態に応じて画像の縮小率を変更するようにしたので（つまり、選択的に切り替えるようにしたので）、探索可能率および精度に対するバス帯域および消費電力などのバランスを考慮してベクトル探索を行うことができる。この結果、視差競合による精度の劣化を抑制して動きベクトルを検出することができる。

［第２の実施形態］
次に、本発明の第２の実施形態による画像処理装置を備えるカメラについて説明する。

図８は、本発明の第２の実施形態による画像処理装置を備えるカメラの一例についてその構成を示すブロック図である。

なお、第２の実施形態に係るカメラ８００の構成は、図１に示すカメラ１００と同様であるが、視差競合頻度推定部の機能が図１に示すカメラと異なる。よって、ここでは、視差競合頻度推定部に参照番号８０６を付す。

視差競合頻度推定部８０６は、ＣＰＵ１０８から撮影条件およびカメラ１００の動作状態を得るとともに、ベクトル探索部１０５から動きベクトル探索結果である動きベクトルを得て、視差競合の発生頻度を判定する。

図８には示されていないが、視差競合頻度推定部８０６は、例えば、動きベクトルに応じてカメラ８００の並行移動量を求める姿勢変化計算部を備えるとともに、前述の指標算出部および視差競合頻度判定部を有している。そして、視差競合頻度推定部８０６は、ＣＰＵ１０８から撮影条件およびカメラ８００の動作状態を示す情報を得て、前述の式（６）に応じて指標Ｘを求める。さらに、視差競合頻度推定部８０６は指標Ｘと視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}とを比較して、その比較結果に応じて視差競合頻度を判定して視差競合頻度の大小を推定する。

視差競合頻度推定部８０６に備えられた姿勢変化計算部は、動きベクトルについて撮影条件に基づいて正規化を行って、カメラ８００の回転および並行移動量を推定する。

なお、動きベクトルから求められるカメラ８００の並行移動量は被写体距離と結合した形態で得られるので、ＡＦ測距部（図示せず）によって得られる被写体距離に応じて、並行移動量を分離して、式（６）を用いて視差競合頻度の推定のための指標を求めるようにしてもよい。さらには、被写体距離と結合したカメラ８００の並行移動量［Ｔ’］を用いて、次の式（８）によって指標Ｘを求めるようにしてもよい。

ここでは、第１の実施形態で説明したようにして、式（６）又は式（８）によって求められた指標Ｘが視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}よりも大きいと、視差競合頻度推定部８０６は視差競合の発生頻度が大きいと判定して、ベクトル探索部１０５に対して縮小探索を行うように指示する。一方、指標Ｘが視差判定閾値ｔｈ_{ｐａｒａｌｌａｘ}以下（判定閾値以下）であると、視差競合頻度推定部８０６は視差競合の発生頻度は小さいと判定して、ベクトル探索の際の縮小率を下げるか又は等倍として探索を行うように、ベクトル探索部１０５に指示する。

なお、第２の実施形態においても、視差判定閾値を多段階に設定して縮小率を多段階に変化させるようにしてもよい。さらには、姿勢変化計算部で求められる並行移動量を用いることなく、カメラ８００の回転量の推定結果を用いて指標を得るようにしてもよい。

ここで、視差競合頻度推定部８０６に備えられた姿勢変化計算部において行われるカメラ８００の回転および並行移動量の推定について説明する。

まず、姿勢変化計算部は、計算精度の向上および計算の安定化のため、対応点を入力フレームのピクセル座標系の対応点から正規化画像座標系における対応点に変換する。以下、（ｘ，ｙ）は入力フレーム上のピクセル座標（ｕ_ｄ，ｖ_ｄ）は歪みを含む正規化画像座標とし、（ｕ，ｖ）は歪みを除去した正規化画像座標とする。

姿勢変化計算部は、内部パラメータを用いて式（９）によって、ピクセル座標（ｘ，ｙ）を正規化画像座標（ｕ_ｄ，ｖ_ｄ）に変換する。ここで、内部パラメータの行列はカメラ行列Ｋと呼ばれ、カメラ行列Ｋは次の式（１０）で表される。続いて、姿勢変化計算部は、式（１１）で示すように、歪み係数によって正規化画像座標（ｕ_ｄ，ｖ_ｄ）から歪みを除去して、正規化画像座標（ｕ，ｖ）を得る。式（１１）に示す→の演算は次の処理で行われる。ここでは、歪み除去は、式（１２）および式（１３）に示す放射歪の関係を用いて行われる。

ここで、ｋ_１、ｋ_２、およびｋ_３はそれぞれ１次、２次、および３次の放射方向の歪み係数を示す。これら歪み係数は光学系の収差より生じる歪みである。歪みは光学系の焦点距離および被写体距離などの撮影条件に応じて変化する。

このため、焦点距離などと歪みとの関係は、予め設計値に応じて算出される。そして、焦点距離などに対応するルックアップテーブル又は焦点距離などに関する変換式をＲＯＭ（図示せず）などに格納しておき、ＣＰＵ１０８が撮影条件に基づいてＲＯＭから歪みを読み出す。

なお、ここでは、放射方向の歪みを除去するようにしたが、動径方向の歪みのような別の歪みが顕著であるならば、別途に当該歪みを除去する歪み除去処理を追加して行うようにしてもよい。

さらに、姿勢変化計算部は、カレントフレームと過去フレームと間の補正済み対応点を入力して、当該フレーム間におけるカメラ８００の姿勢変化を推定する。例えば、姿勢変化計算部は、対応点補正において正規化画像座標系に変換した対応点に対して、基本行列の分解に基づく姿勢推定又は５点法のようなピンホールカメラモデルに応じた姿勢推定を行って、カメラ８００の姿勢変化を推定する。

なお、一般的に、基本行列の分解に基づく姿勢推定の方が計算が容易であるので、基本行列の分解に基づく姿勢推定が用いられる。

しかしながら、対応点の算出において、その算出位置がマップされた空間配置が平面上のような特異配置の場合には、基本行列の分解に基づく姿勢推定では縮退に起因して解が得られなくなる。この場合には、射影ホモグラフィを求めて分解操作によってカメラ姿勢を推定する手法を用いる。

図９は、図８に示す視差競合頻度推定部８０６で行われるカメラ姿勢の推定処理を説明するためのフローチャートである。なお、図示のフローチャートにおける処理はＣＰＵ１０８の制御下で行われる。

カメラ姿勢推定処理を開始すると、視差競合頻度推定部８０６に備えられた姿勢変化計算部は、対応点に応じて求められたデータ行列の条件数の大小に基づいて平面度を算出する（ステップＳ９０１）。そして、姿勢変化計算部は、当該平面度が予め設定された平面閾値よりも高いか否かを判定する。つまり、姿勢変化計算部は平面度高であるか否かを判定する（ステップＳ９０２）。

平面度高であると（ステップＳ９０２において、ＹＥＳ）、姿勢変化計算部は射影行列の分解によるカメラ姿勢の推定を行う（ステップＳ９０２１）。そして、姿勢変化計算部はカメラ姿勢推定処理を終了する。

一方、平面度高でないと（ステップＳ９０２において、ＮＯ）、姿勢変化計算部は基本行列・５点法によるカメラ姿勢の推定を行う（ステップＳ９０２２）。そして、姿勢変化計算部はカメラ姿勢推定処理を終了する。

以下、射影ホモグラフィに基づく姿勢推定について説明する。

過去のフレームにおける正規化画像座標を（ｕ_ｉ，ｖ_ｉ）とし、カレントフレームにおける正規化画像座標を（ｕ_ｉ’，ｖ_ｉ’）とする。そして、ｉ＝１，…，ｍ（ｍは対応点数）とする。この場合、次の式（１４）によって射影ホモグラフィについての線形式を得ることができる。式（１４）に示す線形式は対応点数ｍ≧８であると過決定となる。そして、線形最小二乗式として解くことによって、ｈ＝｛ｈ_１１，…，ｈ_３３｝が求められる。これを３×３のマトリクスに整形することによって、式（１５）が得られる。そして、式（１５）から射影ホモグラフィ、つまり、フレーム間の画像の変化量を求めることができる。

続いて、姿勢変化計算部は、射影ホモグラフィをカメラワーク回転Ｒ、撮影シーンの被写体を近似した面の方向ｎ（ベクトル）、そして、並進ｔ（ベクトル）と深度ｄの積ｔ（ベクトル）／ｄに分解する。そして、姿勢変化計算部は、次の手順によって可能な２つの解を算出する。

射影ホモグラフィの２つの解への分解は固有値分解および特異値分解を用いて、不変量を見出すことで行われる。種々の解法が知られているが、ここでは、例えば、Ｂ．Ｔｒｉｇｇｓ，”Ａｕｔｏ ｃａｌｉｂｒａｔｉｏｎ ｆｒｏｍ Ｐｌａｎａｒ Ｓｃｅｎｅ”，ＥＣＣＶ９８に記載のアプローチが用いられる。

射影ホモグラフィとカメラワークおよびシーン配置との関係は式（１６）によって表される。

ここで、Ｒおよびｔ（ベクトル）はそれぞれカメラの回転および並進、ｄは基準面までの距離、ｎ（ベクトル）は基準面のカメラから離れる向きの法線、λは定数である。

２画像間からの算出においては、空間平面の距離ｄとカメラワーク並進のノルムｎｏｒｍ｛ｔ（ベクトル）｝の積を分けることはできない。なお、ノルムとはベクトルの大きさを表す量である。つまり、ｔ（ベクトル）は並進方向を表す単位方向ベクトルｎｏｒｍ｛ｔ（ベクトル）｝＝１、ｄは空間平面までの距離と並進量の大きさの積として扱われる。

最初に、Ｈの符号は、平面上の全ての対応点ｘ_１（ベクトル）、ｘ_２（ベクトル）に対して、式（１７）を満たすように選択されるとする。Ｈの特異値分解は、式（１８）となる。ここで、ＵおよびＶは３×３の回転マトリクスで、Ｓは式（１９）で示される。正の降順対角要素σ_１、σ_２、およびσ_３は式（２０）に示す関係であり、Ｈの特異値とする。そして、関連する直交マトリクスＵおよびＶの列要素をｕ_１，ｕ_２，ｕ_３、およびｖ_１，ｖ_２，ｖ_３で表す。

第１カメラの参照系を採用して、３次元平面を式（２１）で示すものとする。ここでｎ（ベクトル）は外向き（カメラから離れる方向）の法線とする。また、ζは平面に対する距離の逆数であり、式（２２）で表される。この参照系においては、第１カメラは、式（２３）で示す３×４の射影マトリクスを有する。そして、第２カメラは、式（２４）で示す射影マトリクスを有する。

ここで、ｔ’＝−Ｒｔであり、ｔ、ｔ’はカメラ間の並進（つまり、第１カメラ光軸中心から第２カメラの光軸中心への移動）、Ｒカメラ間の回転を表す。

第１の画像（画像１）から第２の画像（画像２）へのホモグラフィは、式（２５）で示される。ここでは、Ｈ_１は式（２６）で示され、平面上の３次元点ｘ（ベクトル）に対して式（２７）で示されるようになる。何故ならば、そこでは、式（２８）が成り立つためである。そして、ｘ（ベクトル）を画像１内の任意点と扱うと、その相違は全体のスケール因子のみである。次の式（２９）で示す積のみが復元可能であり、このため、式（３０）によって正規化する。

つまり、平面距離１／ζは単位基線長｜｜ｔ｜｜において測定される。そして、可能な符号を決定するために、後述するデプス正制約テストを行う。

式（１８）で示す特異値分解のＨとＨ_１はＲ要素まで同一である。つまり、式（３１）となる。Ｈ_１において、外積ベクトルｔ（ベクトル）×ｎ（ベクトル）は不変ある。特異値が明確ならば、ｔ（ベクトル）×ｎ（ベクトル）は特異ベクトルに対応しなければならない。これにより、いつも２番目の特異ベクトルｖ_２であると分かる。それ故、式（３２）で示すＨの補正正規化は式（３３）である。

以下、σ_２による正規化が済まされているものとする。

画像フレーム１において、ｔ（ベクトル）×ｎ（ベクトル）がｖ_２に対応することが与えられると、｛ｔ（ベクトル），ｎ（ベクトル）｝部分空間は｛ｖ_１，ｖ_３｝により占められなければならない、つまり、任意のパラメータα、β（α^２＋β^２＝１）に対して、式（３４）となる。ｎ（ベクトル）に直交する任意方向（特に、ｎ（ベクトル）×｛ｔ（ベクトル）×ｎ（ベクトル）｝はＨもしくはＨ_１）によって変化しないノルムを有する。ここで、式（３５）であるから、ｔ（ベクトル）×ｎ（ベクトル）を上記のｖ_１もしくはｖ_３に対応させると、解がなくなってしまう。それ故、Ｖ_２のみが可能となる。厳密には、左辺の同一の引数が式（３６）を示す。ｔ（ベクトル）が式（３７）で示すＨ_１の固有値の固有ベクトルを満たすならば、式（３８）を得る。故に、式（３９）となり、単純化すると、式（４０）となる。

Ｈ_１の特異値分解の左辺｛Ｕ_１の列ｕ_１，ｕ_２，ｕ_３（ともにベクトル）｝は表記ｕ_２（ベクトル）＝ｖ_２（ベクトル）により復元可能であり、ｔ（ベクトル）がＨ_１の固有ベクトルであることが必要である。そこでは、式（４１）であり、そして、単純化後では式（４２）である。よって、式（４３）によって、回転Ｒが得られる。

以下に、画像変化量を、回転と並進からなるカメラワークＲ、ｔ（方向ベクトル）と空間の基準面の深さ位置ｄと方向ｎ（ベクトル）からなるシーン配置との可能な２つの解を算出するための一連の具体的な処理を説明する。

次の式（４４）〜式（５２）を用いて、可能な２つの解｛Ｒ_１，ｔ_１（ベクトル），ｎ_１（ベクトル）｝、｛Ｒ_２，ｔ_２（ベクトル），ｎ_２（ベクトル）｝を求めることができる。いま、式（５３）〜式（５５）の解の組に対して、式（５６）および式（５７）で示す方位ベクトルｎが外向きの約束（デプス正制約）を導入する。

符号の整合性を取ることにより、可能な２つの解が算出される。その後、エピポーラ誤差のチェックを行い、誤差の少ない１つの解を抽出する。

エピポーラ誤差のチェックは次のようにして行われる。

対応点ｘ_１（ベクトル），ｘ_２（ベクトル）から求められたホモグラフィを分解して得られる姿勢変化とシーン情報の可能な式（５８）で示す２つの解のセットについて、対応点を用いてエピポーラ誤差を算出する。エピポーラ誤差は、次の式（５９）で表される。

そして、エピポーラ誤差の小さな解を真の解として選択する。これによって、入力されたフレーム間のカメラワークを表す｛Ｒ，ｔ（ベクトル），ｎ（ベクトル），ｄ｝の唯一の解が求まる。

なお、ここでは、説明を省略したピンホールカメラモデルによる非平面シーンに対するカメラの姿勢推定である基本行列に基づく姿勢推定については、例えば、Ｒ．Ｈａｒｔｌｅｙ，Ａ．Ｚｉｓｓｅｒｍａｎ，” Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ． Ｐｒｅｓｓ （２０００）に記載されている。

また、５点法については、例えば、Ｂｉｌｌ Ｔｒｉｇｇｓ，”Ｒｏｕｔｉｎｅｓ ｆｏｒ Ｒｅｌａｔｉｖｅ Ｐｏｓｅ ｏｆ Ｔｗｏ Ｃａｌｉｂｒａｔｅｄ Ｃａｍｅｒａｓ ｆｒｏｍ ５ Ｐｏｉｎｔｓ”，Ｄｏｃｕｍｅｎｔａｔｉｏｎ， ＩＮＲＩＡ． ｊｕｉｌｌｅｔ ２０００．に記載されている。

上述のカメラ８００の回転および並行移動量の推定では、撮影条件および動きベクトルに応じて推定を行う手法について説明したが、視差競合頻度推定部８０６が姿勢センサを備える場合には、姿勢変化の推定において併用してもよい。

例えば、姿勢センサであるジャイロセンサ（ジャイロスコープ）の出力（検出信号）の積分値から求まるフレーム間の回転情報を式（１６）に示す回転情報とみなす。そして、フレーム間の動きベクトル変化、つまり、対応点の変化に対してカメラ８００の回転に関する像変化の補正、即ち、打ち消しを先に実施する。その後、フィッティング処理を行って、カメラ８００の平行移動量の推定を行うようにしてもよい。

また、ジャイロセンサの出力の積分値から求まるフレーム間の回転情報を式（１６）に示す回転の初期値とする。そして、フレーム間の動きベクトル変化、つまり、対応点の変化に対してフィッティング処理を行って、平行移動量に加えて回転情報を推定するようにしてもよい。これによって、量子化などのノイズ影響が大きい場合においても、性能および安定度が向上する。

同様に、ジャイロセンサの出力の積分値から求まるフレーム間の回転情報を式（１６）に示す回転の初期値とする。そして、加速度センサの出力の積分値から求まるフレーム間の平行移動量を式（１６）に示す平行移動量の初期値とする。フレーム間の動きベクトル変化、つまり、対応点の変化に対してフィッティング処理を行って、カメラ８００の回転および平行移動量についてセンサ性能を越える高精度な推定を行うようにしてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態による画像処理装置を備えるカメラの一例について説明する。なお、第３の実施形態に係るカメラの構成は、図１又は図８に示すカメラの構成と同様である。ここでは、第３の実施形態に係るカメラの構成は、図１に示すカメラと同様であるものとして説明する。

第３の実施形態においては、ベクトル探索部１０５は、第１の実施形態で説明した単一の倍率である単層における動きベクトルの探索（第１の探索モード）に加えて、所謂階層動きベクトル探索（第２の探索モード）を行うことができる。

ベクトル探索部１０５は、階層動きベクトル探索を行う際に用いられるピラミッド画像階層作成部および注目点追跡部を有している。ピラミッド画像階層作成部は、ベースとなる最低縮小率の画像を最下層レイヤとして、第２および第３の画像を段階的に縮小してピラミッド画像階層を構成する。注目点追跡部はピラミッド画像階層を最上位レイヤから順番に最下層レイヤに向けて注目点を追跡して探索する。

ピラミッド画像階層作成部は、例えば、平均画素法を用いて画像を縮小してピラミッド画像階層を形成する。一般に、３段又は４段のピラミッド画像階層を作成することが効果的である。ここでは、ベースとなる最低縮小率の最下層レイヤを基準に１、１／２、１／４、および１／８倍に画像を縮小したピラミッド階層画像を生成する。なお、１、１／√２、１／４、および１／８倍などの倍率校正も用いられる。

注目点追跡部は、ピラミッド画像階層において注目点を追跡する。この際、最上位レイヤから下位レイヤに向かって順に注目点を追跡して、探索範囲を相対的に徐々に狭める。また、ここでは、テンプレートサイズを画像が拡大に対して一定か又は縮小させる。

図１０は、本発明の第３の実施形態による画像処理装置を備えるカメラで行われる注目点の探索を説明するための図である。そして、図１０（ａ）はピラミッド画像階層を探索する際の探索範囲の変化の一例を示す図であり、図１０（ｂ）はピラミッド画像階層を探索する際のテンプレートサイズの変化の一例を示す図である。

図１０（ａ）において、ピラミッド画像階層を最上層１００１から最下層１００２に向けて探索する際、最上層１００１では単層探索における探索範囲と同様にして対象とする画像間の動きの大きさに応じて決定した探索範囲１００３によって探索が行われる。そして、以後最下層までの探索においては画像が拡大されて、テンプレートが相対的に縮小される。

これによって、補正される精度の範囲で探索をすればよい。例えば、参照画像中のある上層においてピーク相関値が得られた位置の周囲８画素近傍又は周囲２４画素近傍を探索すればよい。

図１０（ｂ）において、最上層１００１から最下層１００２に向けて探索する途中では、テンプレートサイズ１００４を一定に保つことで、ベース画像を基準として画像を徐々に縮小させていくことに繋がる。そして、ベース画像上で探索する際には徐々にテンプレートサイズを縮めていくことによって、動きベクトル探索精度を向上させることができる。

これによって、最終的な最下層レイヤにおけるテンプレートサイズを小さくすることができ、視差競合の影響をより小さくすることができる。つまり、テンプレートサイズを大きくし過ぎることによる弊害、例えば、視差競合による精度の劣化を気にすることなく初期テンプレートサイズを決定することができる。よって、探索範囲に対し初期テンプレートサイズを大きく取ることができ、探索可能率を高く保つことが可能となる。

しかしながら、単層探索の場合に比べて、ピラミッド画像階層作成を行う必要があり、ピラミッド画像階層を構築・保持するために回路規模および占有メモリが増加するばかりでなく、バス帯域の圧迫などの影響を無視することができない。このため、リソースの厳しい組込機器における実装においては、ベースとなる最低縮小率の最下層レイヤにおいても縮小探索を行わなければならない場合がある。

加えて、処理の複雑化に起因してリアルタイム処理を実現するため縮小探索で行わなければならない場合もある。この際には、視差競合のない手ぶれなどの撮影条件の場合には、等倍画像で探索する単層マッチング処理に、最下層レイヤが縮小探索である階層マッチング処理が劣るという場合がある。

さらには、階層動きベクトル探索においては、最上層レイヤでは特徴が消えてしまい、中間層レイヤにならないと画像特徴が現れず対応点探索ができない場合が生じて、中間階層から探索を開始しなければならない場合がある。また、階層探索においては、基準画像の注目点をオクルージョン部に設定してしまった際には、オクルージョン部を探索していることを検知する手段を備えなければならないなど探索手法が複雑になりがちである。

加えて、各レイヤにおけるテンプレートサイズ、探索範囲、および相関スコアの唯一性、そして、テンプレートのテクスチャ性を判定する際の判定閾値、各レイヤの縮小率などのパラメータが爆発的に増加してしまう。その結果、多数のパラメータを調整して期待通りの性能を得ることが難しくなって、最下層レイヤにおいて単層マッチングと同様の等倍探索を行えたとしても、視差競合のない手ぶれなどの撮影条件の場合には単層マッチング処理に階層マッチング処理が劣るという場合がある。

そこで、ここでは、視差競合頻度推定部１０６は、前述のように、視差競合の発生の度合い（頻度）を各種センシング情報から推定する。

図１１は、本発明の第３の実施形態による画像処理装置を備えるカメラで行われるベクトル探索手法の切り替えを説明するための図である。そして、図１１（ａ）はベクトル探索手法の切り替えの一例を示す図であり、図１１（ｂ）はベクトル探索手法の切り替えの他の例を示す図である。

視差競合頻度推定部１０６はベクトル探索部００５に頻度情報を与えて画像の縮小率に加えベクトル探索手法の変更を指示する。前述のように、画像間で生じる視差競合の頻度が小さい場合には、視差競合頻度推定部１０６は画像に対する縮小率を小さくしてベクトル探索を行うようにベクトル探索部１０５に指示する。

この場合、図１１（ａ）に示すように、ベクトル探索部１０５は探索手法として単層マッチングを採用する（左側の図）。

一方、画像間で生じる視差競合の頻度が大きい場合には、視差競合頻度推定部１０６は画像に対する縮小率を大きくしてベクトル探索を行うようにベクトル探索部１０５に指示する。

この際、図１１（ａ）に示すように、ベクトル探索部１０５は探索手法として階層マッチングを採用する（右側の図）。

代わりに、図１１（ｂ）に示すように、ベクトル探索手法を階層探索から変更せずに、画像の縮小率のみを変更するようにしてもよい。ここでは、画像間で生じる視差競合の頻度が小さい場合には、視差競合頻度推定部１０６は画像に対する縮小率を小さるか又は等倍で階層探索を行うようにベクトル探索部１０５に指示する。

一方、画像間で生じる視差競合の頻度が大きい場合には、視差競合頻度推定部１０６は画像に対する縮小率を大きくして階層探索を行うようにベクトル探索部１０５に指示する。

このように、本発明の第３の実施の形態では、手ぶれ又は歩き撮りなどの場合においても性能（探索可能率および精度）に対する負荷（バス帯域および消費電力など）バランスを考慮してベクトル探索手法および対象画像の縮小率を選択する。これによって、視差競合による精度の劣化を抑制して動きベクトルを検出することができる。

上述の説明から明らかなように、図１に示す例においては、ベクトル探索部１０５およびＣＰＵ１０８がベクトル探索手段として機能し、視差競合頻度推定部１０６およびＣＰＵ１０８が制御手段として機能する。また、撮像素子１０２、前処理部１０３、およびメモリ１０４は撮像手段として機能し、後処理部１０７およびＣＰＵ１０８は画像処理手段として機能する。

なお、図１に示す例では、少なくともベクトル探索部１０５、視差競合頻度推定部１０６、およびＣＰＵ１０８が画像処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくともベクトル探索ステップおよび制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 光学系
１０２ 撮像素子
１０３ 前処理部
１０４ メモリ
１０５ ベクトル探索部
１０６，８０６ 視差競合頻度推定部
１０７ 後処理部
１０８ ＣＰＵ

Claims (13)

1. 複数の入力画像のうちの１つを基準画像とし、残りの入力画像を参照画像として受け、前記基準画像と前記参照画像との対応点に応じて動きベクトルを検出する画像処理装置であって、
   前記基準画像に設定された所定の大きさのブロックに対応する参照画像内の位置である前記対応点を探索して前記動きベクトルを検出するベクトル探索手段と、
   前記ブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、前記ベクトル探索手段に前記視差競合の発生頻度が前記判定閾値以下である際よりも前記入力画像を縮小させて前記動きベクトルの検出を行わせる制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記ベクトル探索手段は、単一の倍率である単層の入力画像を用いて前記動きベクトルを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記ベクトル探索手段は、単一の倍率である単層の入力画像を用いて前記動きベクトルを検出する第１の探索モードおよび前記入力画像をベースとして倍率を変化させた複数の階層からなる階層画像を用いて前記動きベクトルを検出する第２の探索モードとを選択的に切り替えることを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、加速度センサおよびジャイロスコープの少なくとも１つから得られた検出信号に応じて前記入力画像を取得した機器の移動方向および移動量を求めて、当該移動方向および移動量に応じて前記入力画像における前記視差競合の発生頻度を推定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、ベクトル探索手段で得られた前記動きベクトルに応じて、前記入力画像を取得した機器の姿勢を推定してその推定結果に応じて前記入力画像における前記視差競合の発生頻度を判定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、加速度センサおよびジャイロスコープの少なくとも１つから得られた検出信号に応じて前記入力画像を取得した機器の移動方向および移動量を求めるとともに、前記ベクトル探索手段で得られた前記動きベクトルに応じて前記機器の姿勢を推定してその推定結果を求めて、前記移動方向、前記移動量、前記推定結果に応じて前記入力画像における前記視差競合の発生頻度を推定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、被写体までの距離を示す被写体距離を参照して前記視差競合の発生頻度を推定することを特徴とする請求項４〜６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、前記入力画像の撮像倍率を参照して前記視差競合の発生頻度を推定することを特徴とする請求項４〜７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、前記入力画像におけるフレームレートを参照して前記視差競合の発生頻度を推定することを特徴とする請求項４〜８のいずれか１項に記載の画像処理装置。
10. 前記制御手段に、前記視差競合の発生頻度を設定するための設定手段を有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
11. 撮像光学系を介して被写体を撮像して入力画像を得る撮像手段と、
    請求項１〜１０のいずれか１項に記載の画像処理装置と、
    前記入力画像に対して前記動きベクトルに応じて所定の処理を行って画像データを得る画像処理手段と、
    を有することを特徴とする撮像装置。
12. 複数の入力画像のうちの１つを基準画像とし、残りの入力画像を参照画像として受け、前記基準画像と前記参照画像との対応点に応じて動きベクトルを検出する画像処理装置の制御方法であって、
    前記基準画像に設定された所定の大きさのブロックに対応する参照画像内の位置である前記対応点を探索して前記動きベクトルを検出するベクトル探索ステップと、
    前記ブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、前記ベクトル探索ステップで前記視差競合の発生頻度が前記判定閾値以下である際よりも前記入力画像を縮小させて前記動きベクトルの検出を行う制御ステップと、
    を有することを特徴とする制御方法。
13. 複数の入力画像のうちの１つを基準画像とし、残りの入力画像を参照画像として受け、前記基準画像と前記参照画像との対応点に応じて動きベクトルを検出する画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記基準画像に設定された所定の大きさのブロックに対応する参照画像内の対応位置である前記対応点を探索して前記動きベクトルを検出するベクトル探索ステップと、
    前記ブロックで生じる視差競合の発生頻度が所定の判定閾値よりも大きいと、前記ベクトル探索ステップで前記視差競合の発生頻度が前記判定閾値以下である際よりも前記入力画像を縮小させて前記動きベクトルの検出を行う制御ステップと、
    を実行させることを特徴とする制御プログラム。

Images