JP2005260753A - カメラ選択装置、及びカメラ選択方法 - Google Patents

Abstract

【課題】 複数のカメラの中から、動物体を正面から撮影可能なカメラを選択することである。
【解決手段】 本発明に係る動物体撮影用データ算出装置１９２は、領域抽出部１９ａにより、ステレオペアカメラに対応する矩形領域の頂点とカメラの中心点とを結ぶベクトルの交点に囲まれた画像領域を動物体の存在する画像領域として抽出する。重心推定部１９ｂは、この画像領域に外接する矩形領域の重心を算出する。方向推定部１９ｃは、当該矩形領域の重心の時間的変化を動物体の移動ベクトルとして抽出する。カメラ選択部１５は、移動ベクトルと反対方向、すなわち動物体に対向する方向に位置するカメラを、画像提示用のカメラに選択する。
【選択図】 図３

Description

本発明は、異なる位置に配設された複数のカメラを切り替えながら動物体を撮影する技術に関する。

従来、複数箇所に設置されたカメラを使用して、被写界に存在する動物体の撮影を行うシステムが実用化されている。このようなシステムでは、動物体の状態を監視者が容易に把握できるように、動物体を正面から撮影することが望ましい。例えば、特許文献１には、動体としてのナンバープレートが、対物レンズに対向する位置を通過する時に、この対物レンズに対する結像面の対向位置と対向角度とを自在に調整可能なビデオカメラ装置が開示されている。この装置は、移動体を正面から捉えられるようにカメラを自動制御するものであるが、複数のカメラの切替えを想定したものではないので、撮像範囲は限られている。このため、可動範囲が広く、移動方向の変動範囲も大きい動物体の撮影には適さない。

また、特許文献２には、それぞれ異なる方向を撮影可能な四台のカメラを設置しておき、人物の動きを検出して、その正面を撮影しているカメラを自動的に選択する人物監視装置が開示されている。かかる監視装置は、複数のカメラの中から、画像提示に実際に使用するカメラを適宜切替え可能に選択するものであり、可動範囲が広く、移動方向が頻繁に変動する動物体の撮影にも対応することができる。
特開平７−１２３３０４号公報 特開平１１−２５０３６４号公報

特許文献２に記載の技術によれば、人物の動き検出に際して、現在フレームのデジタル画像を複数のブロックに分割し、これら各ブロックの動きベクトルを検出する。その後、全ブロックについて、Ｘ，Ｙ方向それぞれの動きベクトルを平均することにより、計９状態の何れかが判定される。ところが、本従来技術には、人物の動きを検出するに際して、動物体自体の存在領域の認識、あるいは、重心位置の特定などといった、動体の移動状態を正確に把握する上で欠かすことのできない情報が勘案されていない。このことは、動物体に正対する最適なカメラを選択すると共に、カメラの設置位置の変化に柔軟に対応する上での阻害要因となることが懸念される。

そこで、本発明の課題は、複数のカメラの中から、動物体を正面から撮影可能なカメラを選択することである。

上記課題を解決するために、本発明に係るカメラ選択装置は、複数のカメラによる撮影画像から、動物体の存在する画像領域を抽出する抽出手段と、前記抽出手段により抽出された前記画像領域を使用して、前記動物体の重心位置を推定する重心推定手段と、前記重心推定手段により推定された前記重心位置の時間的変化を示すベクトル（移動方向ベクトル）から、前記動物体の移動方向を推定する方向推定手段と、前記方向推定手段により推定された前記移動方向の反対方向を撮影方向とするカメラを選択する選択手段とを備える。

本発明に係るカメラ選択方法は、複数のカメラによる撮影画像から、動物体の存在する画像領域を抽出する抽出ステップと、前記抽出ステップにて抽出された前記画像領域を使用して、前記動物体の重心位置を推定する重心推定ステップと、前記重心推定ステップにて推定された前記重心位置の時間的変化を示すベクトルから、前記動物体の移動方向を推定する方向推定ステップと、前記方向推定ステップにて推定された前記移動方向の反対方向を撮影方向とするカメラを選択する選択ステップとを含む。

これらの発明によれば、動物体の撮影用カメラとして、動物体の移動方向に対向する位置に設置されたカメラが選択される。動物体が更に移動した場合には、その重心位置の変化から移動方向を推定し、その移動方向に追従して、カメラの切替えが行われる。一般的に、人を始めとする動物体は、正面を進行方向として移動するものと予測できるので、その進行方向と反対の方向から撮影を行うことにより、動物体を常に正面から捉えることができる。

特に、これらの発明では、動物体を検出するに際して、動物体自体の存在領域（従来技術では撮影画像全体の領域であった。）の認識、あるいは、重心位置の特定などといった、動体の移動状態を正確に把握する上で欠かすことのできない情報が勘案される。したがって、動物体の移動方向及びその変化に合わせて柔軟にカメラを選択できると共に、カメラの設置位置の変化（従来技術では四方向のみであった。）に対しても柔軟に対応することができる。

本発明によれば、複数のカメラの中から、動物体を正面から撮影可能なカメラを選択することが可能となる。

以下、例示のみの為に添付された図面を参照しながら、本発明の一実施形態について説明する。まず、本実施の形態における画像処理システム１の構成について説明する。図１に示すように、画像処理システム１は、画像処理装置１０（カメラ選択装置に対応）と、被写界を同一とする５台のカメラＣ１〜Ｃ５とを備える。更に、画像処理装置１０は、機能的な構成要素として、視者情報入力部１１と、撮影環境設定部１２と、視者位置特定部１３（特定手段に対応）と、視者位置類似性演算部１４（算出手段に対応）と、カメラ選択部１５（選択手段に対応）と、任意視点画像生成部１６（生成手段に対応）と、画像平滑化部１７（画像処理手段に対応）と、キャリブレーション部１８と、動物体自動追従部１９とを備える。これら各部はバスを介して接続されている。

以下、画像処理システム１の各構成要素について詳細に説明する。
カメラＣ１〜Ｃ５は、各カメラに固有の撮影方向及び視野角を有し、動物体やその背景を含む被写界を撮影する。撮影された被写界の画像は、後述の任意視点画像生成部１６に出力された後、所定の処理が施された提示画像としてユーザに提供される。カメラＣ１〜Ｃ５は、魚眼カメラ、ピンホールカメラ、全方位カメラなど、その種類を限定するものではないが、一度に獲得可能な撮像範囲を広くする観点から、魚眼レンズを搭載した広角カメラを使用することが望ましい。

視者情報入力部１１は、被写界に存在するユーザに関する情報を設定する。ユーザに関する情報とは、例えばユーザの位置や視線方向である。視者情報入力部１１は、必要に応じて、動物体自動追従部１９により追従される動物体の位置及び移動方向を視者情報として使用する。ユーザは、実存するユーザに限らず、仮想的なユーザであってもよい。また、被写界Ａと外界との境界面に関しても、壁面に限らず、仮想面であってもよい。視者情報入力部１１をネットワーク経由で外部機器と接続することで、遠隔監視（テレモニタリング）が実現される。

撮影環境設定部１２は、ユーザによる指示操作に従って、撮影環境に関する情報の設定を行う。例えば、撮影環境設定部１２には、カメラＣ１〜Ｃ５の配設された位置に関する情報が登録される。また、高さＨ_０における被写界Ａの断面がレイアウトマップとして定義付けされた情報が登録される。

本実施の形態では、図２に示すような形状の被写界Ａを想定する。図２は、ｘ軸とｙ軸とにより規定されるｘｙ平面による被写界Ａの断面図である。カメラＣ１〜Ｃ５は、被写界Ａの一部を撮影可能な位置にそれぞれ配置されており、カメラＣ１〜Ｃ５の何れによっても撮影不能な位置は被写界Ａ内に存在しないもとする。カメラＣ１の位置座標をＣ_１（ｃ_１ｘ，ｃ_１ｙ）とし、以下同様に、カメラＣ２〜Ｃ５の位置座標をそれぞれＣ_２（ｃ_２ｘ，ｃ_２ｙ）〜Ｃ_５（ｃ_５ｘ，ｃ_５ｙ）とする。また、各カメラＣ１〜Ｃ５の光軸中心ベクトルをそれぞれベクトルｅ_１⊥〜ｅ_５⊥とする。更に、視者の位置座標をＰ（ｘ，ｙ）、視者が視点Ｑ（Ｘ，Ｙ）を見ているときの光軸中心ベクトルに対する角度をαとする。このとき、△Ｃ_ｋＰＱの面積は、式（１）により表される。

視者位置特定部１３は、視者情報入力部１１による設定内容を参照して、被写界Ａにおける視者の位置Ｐ（ｘ，ｙ）を特定する。
視者位置類似性演算部１４は、撮影環境設定部１２により予め登録されている各カメラＣ１〜Ｃ５の位置座標Ｃ_１（ｃ_１ｘ，ｃ_１ｙ）〜Ｃ_５（ｃ_５ｘ，ｃ_５ｙ）の中から、視点Ｑ（Ｘ，Ｙ）に関して、現時点における視者位置Ｐ（ｘ，ｙ）と類似性の高いカメラを２台選択する。具体的な処理内容に関しては、動作説明において後述するが、視者位置類似性演算部１４は、視者位置特定部１３により特定された視者位置Ｐとカメラの位置（例えばＣ_１，Ｃ_２）と視点Ｑとが形成する三角形の面積、及び、カメラの光軸中心ベクトル（例えばｅ_１⊥，ｅ_２⊥）とベクトルＰＱとの為す角度を算出する。

カメラ選択部１５は、視者位置類似性演算部１４による演算結果から、最小二乗法を用いて、視点Ｑに関する視者位置Ｐとの類似性の高い２台のカメラ（例えばＣ１，Ｃ２）を選択する。選択された２台のカメラは、視点Ｑを中心として被写界Ａを撮影し、任意視点画像生成部１６に撮影画像を出力する。カメラ選択部１５は、後述の動物体撮影用データ算出装置１９２の方向推定部１９ｃにより推定された動物体の移動方向とは反対の方向を撮影方向とするカメラ（動物体に対向するカメラ）を、画像提示用のカメラとして選択する。

任意視点画像生成部１６は、提示画像の生成に際して、選択された２台のカメラによる撮影画像を個々に平面展開し、より画質の高い方のカメラによる撮影画像を優先的に使用する。画質の高い方のカメラとは、例えば、撮影画像の解像度が高いカメラである。但し、一方のカメラの視野角にオクルージョンが発生する場合には、任意視点画像生成部１６は、画質の低いカメラの撮影画像により、死角部分を補う（合成する）こともできる。

画像平滑化部１７は、任意視点画像生成部１６により生成された画像に平滑化処理（スムージング）を施す。このとき、対象画像が、解像度の異なる複数の撮影画像を組み合わせたものである場合には、画像平滑化部１７は、その解像度に応じた平滑化を行う。すなわち、解像度の低い画素に関しては、自画素の周辺画素（大きい画素）による平滑化を行うと共に、解像度の高い画素に関しては、当該画素の周辺画素（小さい画素）による平滑化を行う。これにより、高解像度部分の画質を劣化させることなく、画素の輪郭が消失した滑らかな提示画像を得る。

キャリブレーション部１８は、補正変換用行列算出部１８１と基礎行列算出部１８２とを有する。補正変換用行列算出部１８１は、カメラＣ１〜Ｃ５により撮影された画像のうち、魚眼展開画像面（ＣＣＤ（Charge-Coupled Device）面）に射影されない領域と、射影される領域との境界位置（境界特徴点）の座標を算出する。その後、当該座標から推定された、魚眼展開画像領域の輪郭の曲線係数から、補正変換用行列を算出し、この行列を用いて撮影画像のキャリブレーションを行う。基礎行列算出部１８２は、２つの魚眼カメラの視線方向を変化させて複数の境界特徴点を同時に撮影することで、同様の手法により、複数のカメラを利用したキャリブレーションを行う。

動物体自動追従部１９は、動物体検出部１９１と動物体撮影用データ算出装置１９２とを有する。動物体検出部１９１は、ステレオペアとなる２つのカメラ間に共通の撮影領域における時間的な差分画像から連結領域を抽出し、該領域の画素値が閾値を超える場合に動物体の検出を認識する。同時に、動物体検出部１９１は、ステレオペアとなる２つのカメラ間に共通の撮影領域における参照視差画像（リファレンス画像）との差分画像から連結領域を抽出し、該領域の画素値が閾値を超える場合にも動物体の検出を認識する。つまり、動物体検出部１９１は、時間的な差分と参照画像からの差分との少なくとも一方の発生を以って、動物体の検出を認識する。

図３に示すように、動物体撮影用データ算出装置１９２は、領域抽出部１９ａと重心推定部１９ｂと方向推定部１９ｃとを備える。これら各部はバスを介して接続されている。領域抽出部１９ａは、動物体検出部１９１によって動物体の存在する領域と認識された画像領域を、撮影画像から抽出する。重心推定部１９ｂは、領域抽出部１９ａが抽出した画像領域に外接する矩形領域の重心Ｇ_ｉ（ｔ）を算出し、この重心点を動物体の重心位置と推定する。方向推定部１９ｃは、重心推定部１９ｂにより推定された重心位置の単位時間における差分ベクトルDiffＧ_ｉ（ｔ）を算出し、このベクトル（移動ベクトル）の方向を動物体の移動方向と推定する。

次に、画像処理システム１の動作、併せて、本発明に係るカメラ選択方法を構成する各ステップについて説明する。まず、図２及び図４を参照しながら、カメラ選択部１５により実行されるカメラ選択処理について説明する。

説明の前提として、本実施の形態におけるカメラ選択処理においては、図２に示した状況（被写界Ａ、カメラ位置Ｃ_１〜Ｃ_５、視者位置Ｐ、視点Ｑ）を想定し、カメラ選択部１５は、視者位置Ｐから視点Ｑに対する視線に最も近いカメラの選択を試行するものとする。

図４のＳ１では、撮影環境設定部１２により、カメラ情報が定義される。カメラ情報としては、位置Ｃ_ｋ（ｃ_ｋｘ，ｃ_ｋｙ）と光軸中心ベクトルｅ_ｋ⊥とが定義される。但し、本実施の形態では、被写界Ａにおいて５台のカメラの存在を仮定しているので、ｋは１〜５の整数である。

続いてＳ２では、撮影環境設定部１２により、高さＨ_０における被写界Ａの平面図がレイアウトマップとして定義される。ここで、高さＨ_０は、地面から光軸中心ベクトルｅ_ｋ⊥までの距離であり、固定値である。このレイアウトマップは、図２に示したように、外界との境界線が直線となるように定義される。

Ｓ３では、視者情報入力部１１により、遠隔サイトにおける視者の仮想位置Ｐ（ｘ，ｙ）が入力される。仮想位置Ｐの視点方向水平面角をαとし、仰角をβとする。
撮影環境及び視者情報が確定すると、視者位置類似性演算部１４により、視者位置Ｐを通りｅ_ｋ⊥に対する傾きがαの直線と、レイアウトマップの境界線との交点Ｑ（Ｘ，Ｙ）が算出される（Ｓ４）。

Ｓ５では、視者位置類似性演算部１４は、各カメラの位置Ｃ_ｋに関して、下記評価式Ｅ（Ｃ_ｋ）を算出する。なお、λは、カメラＣｋの解像度特性を表す定数であり、魚眼カメラの場合には、例えばθ若しくはｓｉｎθが使用される。
Ｅ（Ｃ_ｋ）＝（△Ｃ_ｋＰＱの面積）^２＋λ（ベクトルｅ_ｋ⊥とベクトルＣ_ｋＱとのなす角θ）^２

Ｓ６では、カメラ選択部１５が、Ｓ５における演算結果を基に、Ｅ（Ｃ_ｋ）を最小にするものから順に２つのカメラを選択する。上記想定下では、ｋ_ｍｉｎ１＝１とｋ_ｍｉｎ２＝２とが算出され、視者位置に最も類似性の高いカメラとしてＣ１が、二番目に類似性の高いカメラとしてＣ２が選択される。

カメラ選択部１５は、Ｓ２で定義されたレイアウトマップの表示制御機能を有しており、Ｓ６で選択された２台のカメラと視者情報（視点や視野角）とをレイアウトマップ上に表示させる（Ｓ７）。これにより、ユーザは、配設された５台のカメラのうち、画像の提示に使用されているカメラ、及び視者に関する情報を簡易迅速に把握することができる。

カメラ選択部１５は、ユーザによる終了指示を検知すると（Ｓ８；ＹＥＳ）、カメラ選択処理を終了させる。使用されるカメラや視点は、視者位置の移動に伴って経時的に変化するが、画像処理装置１０が、上述した一連のカメラ選択処理を繰り返し実行することで、常に最新の情報をユーザに提示することができる。

続いて、図５〜図８を参照しながら、任意視点画像生成部１６が、カメラより入力された撮影画像から提示画像を生成する処理について説明する。本任意視点画像生成処理においては、オクルージョンの発生を想定し、これを解決する手法についても併せて説明する。

本実施の形態では、高さＨ_０における被写界Ａのｘｙ平面及びカメラＣ１〜Ｃ５の配設位置として、図５に示す状況を想定する。図５においては、視者の位置Ｐと視点Ｑとを三次元として捉え、それぞれの座標をＰ（ｘ，ｙ，０），Ｑ（ｑ_ｘ，ｑ_ｙ，ｑ_ｚ）とする。また、図中水平方向にｘ軸を規定し、垂直方向にｙ軸を規定した場合に、ベクトルＰＱがｘ軸と為す水平角度をθ_ｐとし、視者の視線水平角（ｚ軸回り）をα、視野水平角幅をΔα、視者の視線仰角（ｙ軸回り）をβ、視野仰角幅をΔβとする。このとき、θ_ｐは、図５に示す式（２）を満たす。また、ＰＱ間の距離をｄとすると、θ_ｐとｑ_ｚとの間には、下記の式（３）に示す関係が成り立つ。

なお、Δθ_Ｃ１は、視者の視野角に応じて決定されたカメラＣ１の視野角である。Ｒ_Ｍ２，Ｒ_Ｍ３は、カメラＣ２の光線と境界壁との交点である。θ_Ｃ１は、視点を点Ｑにおいた時のカメラ視線方向角である。Ｓ_１〜Ｓ_２は、オクルージョンの発生範囲を示す。Δθ_Ｃ２は、オクルージョンの発生範囲に応じて決定されたカメラＣ２の視野角である。Ｓ_１〜Ｓ_２〜Ｓ_３〜Ｓ_４は、仮想的な展開画像面を示す。

図６のＳ１１，Ｓ１２では、撮影環境設定部１２により、カメラ選択処理と同様の手法でカメラ情報が定義される。その結果、以降のカメラ情報として、位置Ｃ_ｋ（ｃ_ｋｘ，ｃ_ｋｙ）と光軸中心ベクトルｅ_ｋ⊥とが使用され、高さＨ_０における被写界Ａの平面図がレイアウトマップとして使用される。
Ｓ１３では、視者情報入力部１１により、視者の仮想位置Ｐ（ｘ，ｙ）が入力される。

Ｓ１４ではまず、任意視点画像生成部１６は、視者位置座標Ｐを通りｅ_ｋ⊥に対する傾きをαとする直線と、上記レイアウトマップの境界線との、交点であるＱ_ｖ（ｑ_ｖｘ，ｑ_ｖｙ，ｑ_ｖｚ）の座標を算出する。同様に、任意視点画像生成部１６は、視者位置座標Ｐを通りｅ_ｋ⊥に対する傾きをα±Δαとする直線と、上記レイアウトマップの境界線との、交点であるＲ_ｓ（ｑ_ｒｓｘ，ｑ_ｒｓｙ，ｑ_ｒｓｚ），Ｒ_ｅ（ｑ_ｒｅｘ，ｑ_ｒｅｙ，ｑ_ｒｅｚ）の座標をそれぞれ算出する。

Ｓ１５では、任意視点画像生成部１６は、Ｓ１４で算出された３つの座標とカメラ座標Ｃ_１とから、直線Ｃ_１Ｑ，Ｃ_１Ｒ_ｓ，Ｃ_１Ｒ_ｅを算出し、これらの直線とレイアウトマップの境界線との全ての交点Ｒ_ｔｍｐ（図示せず）の座標を算出する。

Ｓ１６では、φ_ｐの初期値が設定される。φ_ｐは、ベクトルＰＱがｘ軸と為す仰角であり（図７参照）、φ_ｐとＱ（ｑ_ｘ，ｑ_ｙ，ｑ_ｚ）との間には、図７に示す条件式（４）が成立する。ここで設定されたφ_ｐは、視者の視野角（β−Δβ≦φ_ｐ≦β＋Δβ）の範囲内で、図８のＳ２４をループ端として、Δφ_ｐの刻み幅で加算される。同様に、Ｓ１７では、上記条件式（２）及び関係式（３）を満たすθ_ｐの初期値が設定された後、図８のＳ２５をループ端としてΔθ_ｐ単位で加算される。θ_ｐは、固定視野角（α−Δα≦θ_ｐ≦α＋Δα）の範囲内で更新される。

Ｓ１８では、任意視点画像生成部１６は、視者位置座標Ｐを通りベクトルｅ_ｋ⊥に対する傾きがθ_ｐである直線と、上記レイアウトマップ上の対象となる（本実施の形態では視点側の）境界線との、交点であるＱ_{ｐ_ｔｍｐ}（図示せず）の座標を算出する。更に、算出されたＱ_{ｐ_ｔｍｐ}とカメラ位置Ｃ_１とから｜Ｃ_１Ｑ_{ｐ_ｔｍｐ}｜の最小値Ｑ_ｐが算出される（Ｓ１９）。

図８に移り、Ｓ２０では、任意視点画像生成部１６は、Ｓ１９で算出されたＱ_ｐから、直線Ｃ_１Ｑ_ｐと、レイアウトマップ上で対象となる境界線との交点であるＱ_{ｃ１_ｔｍｐ}を算出する。同様の処理により、直線Ｃ_２Ｑ_ｐと、境界線との交点であるＱ_{ｃ２_ｔｍｐ}が算出される。続いて、任意視点画像生成部１６は、算出されたＱ_{ｃ１_ｔｍｐ}とカメラ位置Ｃ_１とから｜Ｃ_１Ｑ_{ｃ１_ｔｍｐ}｜の最小値Ｑ_ｃ１を算出し、Ｑ_{ｃ２_ｔｍｐ}とカメラ位置Ｃ_２とから｜Ｃ_２Ｑ_{ｃ２_ｔｍｐ}｜の最小値Ｑ_ｃ２を算出する（Ｓ２１）。

Ｓ２２では、任意視点画像生成部１６は、Ｓ２１で算出されたＱ_ｃ１が、Ｓ１９で算出されたＱ_ｐと一致するか否かを判定する。当該判定の結果、Ｑ_ｃ１＝Ｑ_ｐである場合には（Ｓ２２；ＹＥＳ）、任意視点画像生成部１６は、魚眼展開画像上においてＱ_ｃ１に対応する画素の値を、任意視点画像の画素値として抽出する（Ｓ２３）。Ｓ１７〜Ｓ２３の一連の処理は、θ_ｐが上限値（α＋Δα）に達するまで各θ_ｐに関して順次実行され、更に、Ｓ１６〜Ｓ２４の一連の処理は、φ_ｐが上限値（β＋Δβ）に達するまで各φ_ｐに関して順次実行される。その結果、視者位置Ｐからの視点Ｑに対する画像が得られる。

一方、Ｓ２２における判定の結果、Ｑ_ｃ１＝Ｑ_ｐでない場合には（Ｓ２２；ＮＯ）、オクルージョンが発生しているものと判断できるため、カメラＣ２による撮影画像により、カメラＣ１の撮影画像を補完することが望ましい。したがって、任意視点画像生成部１６は、Ｑ_ｃ２とＱ_ｐとの同一性を判定することで、Ｑ_ｃ２に対応する画素値による撮影画像の補完が可能であるか否かの判定を行う（Ｓ２５）。判定の結果、Ｑ_ｃ２＝Ｑ_ｐである場合には（Ｓ２６；ＹＥＳ）、任意視点画像生成部１６は、魚眼展開画像上においてＱ_ｃ２に対応する画素の値を、任意視点画像の画素値として抽出する（Ｓ２７）。抽出された画素値は、カメラＣ１から死角となった被写界の一部分の画像生成に使用される。その後は、上述したＳ２４以降の処理を実行する。

ここで、図９は、Ｓ２３，Ｓ２７において実行される処理、すなわち実空間上の点から、これに対応する魚眼展開画像面上の点を算出する手法を説明するための図である。図９に示すように、ｘｙ平面上に魚眼展開画像面が規定され、魚眼展開画像面の中心線にｚ軸が規定されている。なお、座標系の取り方と魚眼展開画像にはキャリブレーションが必要であるが、その方法に関しては後述する。図９において、魚眼レンズ上の任意の点をｑ（Ｘ，Ｙ，Ｚ）とし、射影後における魚眼展開画像面上の任意の点をｐ（ｘ_image，ｙ_image，０）とする。ここで、ベクトルｑがｚ軸となす角度（入射角）をθとし、魚眼展開画像面上でベクトルｐがｘ軸となす角度をφとすると、θとＸ，Ｙ，Ｚとの間には式（５）が成立する。また、φとＸ，Ｙとの間には式（６）が成立する。

かかる条件下において焦点距離ｆを用いると、正射影方式によっては、ｐ（ｘ_image，ｙ_image，０）が以下の式（７）により特定される。焦点距離ｆとしては、例えば、魚眼展開画像の垂直方向の解像度を使用できる。

また、等距離射影方式によっては、ｐ（ｘ_image，ｙ_image，０）は以下の式（８）により特定される。

図８に戻り、Ｓ２６における判定の結果、Ｑ_ｃ２＝Ｑ_ｐでない場合には（Ｓ２６；ＮＯ）、任意視点画像生成部１６は、カメラＣ２を使用してもオクルージョンを回避できないものと判断し、オクルージョン不可避の値を任意視点映像の画素値に代入する。その後は、Ｓ２４以降の処理を実行する。

Ｓ１６〜Ｓ２５の一連の処理が終了すると、画像平滑化部１７による平滑化処理（スムージング）が実行される（Ｓ２９）。画像平滑化部１７は、周知慣用の画像処理技術であるＧａｕｓｓｉａｎフィルタを用いて、上記得られた画像を平滑化する。得られた画像は、部分によっては、オクルージョンを回避した結果、他の画像部分よりも解像度が低くなっている。このため、全ての画素に関して、合成部分に依存しない均一なフィルタ処理を実行すると、その結果、高解像度であった部分まで他の低い解像度の部分の画質と同一になってしまう。そこで、画像平滑化部１７は、処理の特長として、上記画像を構成する各画素の周辺画素に応じたフィルタリングを行う。換言すれば、広角カメラの撮影画像を平面展開した際の解像度特性を考慮したフィルタ形状の平滑化処理を施す。これにより、高解像度部分の画質を活かしつつ、画素間で滑らかな提示画像の生成を可能とする。
任意視点画像生成処理は、ユーザによる指示があると終了する（Ｓ３０）。

以上説明したように、本発明に係る画像処理装置１０は、主要な機能の１つとして、最適カメラ選択機能を有する。最適カメラ選択機能によれば、画像処理装置１０は、カメラ位置Ｃ_ｋ（ｋは１〜５の自然数）と視者位置Ｐと視点Ｑとが形成する三角形の面積が極力小さくなるようなカメラを選択して画像生成を行う。△Ｃ_ｋＰＱの面積を小さくとることで、距離ＰＣ_ｋが短く、かつ、∠Ｃ_ｋＰＱが狭くなり、視者の位置及び視者の視線に近いカメラが選択される。同時に、画像処理装置１０は、カメラの光軸中心ベクトルｅ_ｋ⊥とベクトルＰＱとの為す角度が極力小さくなるようなカメラを選択して画像生成を行う。つまり視者の視線方向に近い光軸方向を有するカメラが選択される。このため、より歪みの少ない画像を得ることができる。

すなわち、従来のカメラ選択技術においては、生成画像との視点の近さが考慮されていたが、カメラの視点に応じた光学特性に基づく解像度特性までは考慮されていなかった。上記のようなカメラの選択基準を採ることで、かかる特性に基づく解像度特性を提示画像に反映させることができるので、魚眼カメラのような広角カメラにも対応したカメラ選択が可能となる。また、オクルージョンを補うカメラの選択に際しても同様に、視点に応じた光学特性に基づく解像度特性を考慮することができ、広角カメラへの対応が可能となる。

任意視点画像生成部１６は、任意視点画像の生成に際して、キャリブレーション部１８により補正された魚眼カメラの撮影画像を使用することができる。以下、図１０〜図１２を参照しながら、魚眼カメラにおけるキャリブレーション処理について説明する。

複数のカメラＣ１〜Ｃ５の撮影画像がキャリブレーション部１８に入力されると（図１０のＳ３１）、補正変換用行列の算出処理と基礎行列の算出処理とが並列に実行される。まず、補正変換用行列の算出処理を説明する。補正変換用行列算出部１８１は、魚眼展開画像面に投影されない黒色領域とそれ以外の領域との境界線上の点（境界特徴点）をエッジ位置座標として抽出する（Ｓ３２）。例えば、レンズのずれ角をφ、光軸中心とｘｙ平面との交点座標をＯ’（ｘ’，ｙ’）とする。この場合、図１１に示すように、黒色領域Ｂ１〜Ｂ４と楕円状の魚眼展開画像領域Ｄ１との境界線を形成する複数の点Ｅが抽出される。このエッジ抽出処理に関しては周知慣用の画像解析技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に説明する。補正変換用行列算出部１８１は、例えばソーベルフィルタを有し、取得された画像中の任意の１画素を中心とした上下左右の９（＝３×３）の画素値に、水平及び垂直方向の２つの係数行列をそれぞれ乗算する。そして、乗算結果に基づいて上記各画素値の変化量を算定し、画素値の変化量が大きい部分（境界特徴点に該当）をエッジとして検出する。画素値は例えば輝度である。

Ｓ３３では、キャリブレーション部１８は、最小二乗法により、Ｓ３２で抽出されたエッジ位置座標からｃｏｎｉｃ係数（二次曲線係数）を推定する。
キャリブレーション部１８は、推定されたｃｏｎｉｃ係数に基づいて、各魚眼カメラの補正変換用行列Ｒ（＝ＲθＴ）を算出する（Ｓ３４）。算出に際しては、まず、推定されたｃｏｎｉｃ係数が楕円の標準形のｃｏｎｉｃ係数となるような回転角を算定し、この回転角から回転行列Ｒθを求める。更に、上記楕円の中心と魚眼展開画像面（ＣＣＤ面）の中心とが一致するような平行移動量を算定し、この移動量から平行移動行列Ｔを求める。そして、回転行列Ｒθと平行移動行列Ｔとを乗算して補正変換用行列Ｒを求める。この補正変換用行列Ｒは、各魚眼カメラ（本実施の形態ではカメラＣ１〜Ｃ５）に関して算出される（Ｓ３５）。

Ｓ３６では、オクルージョン回避のための画像合成、あるいは、動物体の検出のために、更に他の魚眼カメラを利用するか否かが判定される。他の魚眼カメラを利用しない場合には（Ｓ３６；ＮＯ）、キャリブレーション部１８は、魚眼カメラにより撮影された画像を展開（射影）する時に、Ｓ３４で算出された補正変換用行列Ｒ（＝ＲθＴ）からＰ’を算出する。Ｐ’は、魚眼展開画像面の座標Ｐに補正変換用行列Ｒを乗算することで算出される（Ｓ３７）。これにより、キャリブレーションが施された魚眼展開画像面が生成される。

続いて、基礎行列の算出処理を説明する。まず、基礎行列算出部１８２は、複数の魚眼カメラ（本実施の形態ではカメラＣ１〜Ｃ５）の中から任意の２つの魚眼カメラ（例えば、カメラＣ１，Ｃ２）を選択する（Ｓ３８）。基礎行列算出部１８２は、選択された２つの魚眼カメラの視線方向を変化させることにより複数の特徴点を同時に撮影していき（Ｓ３９）、各魚眼カメラで撮影された画像中の特徴点の位置座標を抽出する（Ｓ４０）。特徴点の抽出は、マウス等の操作による手入力で行うことができる。

Ｓ４１では、Ｓ３３と同様の手順で、特徴点の位置座標を入力データとして、最小二乗法に基づく基礎行列Ｆが算出される。基礎行列算出部１８２は、射影行列で一致させた画像同士の色分布が同じになるように色空間（ＲＧＢ空間）の規格化を行う（Ｓ４２）。Ｓ３９〜Ｓ４２の一連の処理は、Ｓ４３をループ端として、視線方向の可動範囲内で繰り返し実行される。更に、これら一連の処理は、Ｓ４４をループ端として、魚眼カメラの全ての組合せに関して繰り返し実行される。その結果、魚眼カメラ単位の基礎行列Ｆが視点毎に算出される（Ｓ４５）。

Ｓ４６は、Ｓ３６にて他の魚眼カメラを利用すると判定された場合（Ｓ３６；ＹＥＳ）に実行される処理である。キャリブレーション部１８は、魚眼カメラにより撮影された画像を展開する時に、Ｓ３４で算出された補正変換用行列Ｒ（＝ＲθＴ）と、Ｓ４５で算出された基礎行列ＦとからＰ’を算出する。Ｐ’は、魚眼展開画像面の座標Ｐに、基礎行列Ｆと補正変換用行列Ｒとの積を乗算することで算出される（Ｓ４６）。これにより、魚眼カメラにおけるキャリブレーション処理が完了する。

魚眼カメラキャリブレーション処理を実行した結果、補正された魚眼展開画像領域Ｄ２の一例を図１２に示す。魚眼レンズが完全半球面であり、その屈折率が点（半球中心）対称であると仮定すると、図１１に示した魚眼展開画像領域Ｄ１は、その中心がレンズの光軸中心となり、かつ、楕円状の領域の長軸・短軸がそれぞれｘ軸・ｙ軸と平行になるように補正される。その結果、魚眼展開画像領域Ｄ２が得られる。このように、画像処理装置１０は、カメラＣ１〜Ｃ５に魚眼カメラを使用した場合であっても、適切なキャリブレーションを適用できるので、撮影画像から生成された任意視点画像、ひいては提示画像の質を向上することができる。

次に、図１３〜図１６を参照しながら動物体自動追従処理について説明する。図１３は、動物体自動追従機能を実現するシステム環境の概要を例示する図である。図１３に示すように、画像処理システムは、動物体自動追従型のテレモニタリングシステムとして機能すべく、遠隔サイト、映像処理サービスサイト、及びユーザサイトを形成している。これら各サイトの構成要素である装置は、有線または無線のＬＡＮ（Local Area Network）を基点として双方向に信号の伝達が可能なように接続されている。

遠隔サイトにおいては、カメラＣ１〜Ｃ５が被写界Ａを撮影し、これらの撮影画像を画像収集装置２０が収集する。収集された撮影画像は、ネットワークＮ経由で画像処理装置１０に送信された後、自律的なカメラワークや任意視点画像生成、あるいは動物体検出といった処理に使用される。映像処理サービスサイトでは、画像処理装置１０は、複数の撮影画像から提示画像を生成し、画像配信装置３０によりネットワークＮを介して通信端末４０にこれを配信させる。ユーザサイトにおいては、通信端末４０が提示画像を受信及び表示することで、ユーザＵによるモニタリングを可能とする。通信端末４０は、例えば、通信機能を有するパーソナルコンピュータ、携帯電話、ＰＤＡ（Personal Digital Assistant）である。

続いて、上記システムが画像処理装置１０により実行する動物体自動追従処理について説明する。
図１４のＳ５１では、撮影環境設定部１２により、カメラ情報が定義される。カメラ情報としては、位置Ｃ_ｋ（ｃ_ｋｘ，ｃ_ｋｙ）と光軸中心ベクトルｅ_ｋ⊥とが定義される。本実施の形態では、被写界Ａにおいて５台のカメラの存在を仮定しているので、ｋは１〜５の整数である。また、カメラ間情報として、射影変換行列及び共通撮影領域が定義される（Ｓ５２）。更に、光軸地上高Ｈ_０における被写界Ａの平面図がレイアウトマップとして定義される（Ｓ５３）。ここで、高さＨ_０は、地面から光軸中心ベクトルｅ_ｋ⊥までの距離であり、固定値である。

カメラＣ１〜Ｃ５による撮影画像が任意視点画像生成部１６に入力されると（Ｓ５４）、動物体検出部１９１は、時刻ｔを初期値として設定し（Ｓ５５）、５台のカメラＣ１〜Ｃ５の中からステレオペアとなる２台のカメラを選択する（Ｓ５６）。続いて、動物体検出部１９１は、選択された２台のカメラのうち、一方の画像Ａ（ｘ，ｙ，ｔ）に射影変換行列ＨＡＢを掛け合わせることで、他方の画像Ｂ（ｘ，ｙ，ｔ）と同一の視点から見た画像Ｂ’（ｘ，ｙ，ｔ）を生成する（Ｓ５７）。

Ｓ５８では、上記画像Ｂ（ｘ，ｙ，ｔ）と、Ｓ５７で生成された画像Ｂ’（ｘ，ｙ，ｔ）との視差画像ＣＡＢ（ｘ，ｙ，ｔ）が算出される。更にＳ５９では、ＣＡＢ（ｘ，ｙ，ｔ）−ＣＡＢ（ｘ，ｙ，ｔ−１）を算出することにより、単位時間における視差画像の差分画像ＴｉｍｅDiff（ｘ，ｙ）が算出される。動物体検出部１９１は、上記２台のカメラ間に共通の撮影領域における時間的な差分画像ＴｉｍｅDiff（ｘ，ｙ）から連結領域ＳＴ_ｉを抽出し（Ｓ６０）、閾値Ｔｈ_Ｔを超える連結領域ＳＴ_ｉの有無を判定することにより、被写界Ａにおける動物体の存否を確認する（図１５のＳ６１）。

上記判定の結果、ＳＴ_ｉ＞閾値Ｔｈ_Ｔを満たす連結領域が有る場合には（Ｓ６１；ＹＥＳ）、動物体検出部１９１は、この時点で、ｘ,ｙ両軸への射影ヒストグラムを用いて、当該連結領域に外接する矩形領域Ｒ_ｉの抽出を行う（Ｓ６２）。一方、ＳＴ_ｉ＞閾値Ｔｈ_Ｔを満たす連結領域が無い場合には（Ｓ６１；ＮＯ）、Ｓ６３に移行し、動物体検出部１９１は、参照視差画像（リファレンス画像）との時刻ｔにおける差分画像ＲｅｆDiff（ｘ，ｙ）を、ＣＡＢ（ｘ，ｙ，ｔ）−Ｃｒｅｆ（ｘ，ｙ）により算出する。

更に、動物体検出部１９１は、上記２台のカメラ間に共通の撮影領域における参照視差画像との差分画像ＲｅｆDiff（ｘ，ｙ）に対して、二値化処理及び膨張縮退処理を施し、連結領域ＳＲ_ｉを抽出する（Ｓ６４）。その後、Ｓ６１と同様の手順で、閾値Ｔｈ_Ｒを超える連結領域ＳＲ_ｉの有無を判定することにより、被写界Ａにおける動物体の存否を確認する（Ｓ６５）。上記判定の結果、ＳＲ_ｉ＞閾値Ｔｈ_Ｒを満たす連結領域が有る場合には（Ｓ６５；ＹＥＳ）、動物体検出部１９１は、当該連結領域ＳＲ_ｉに外接する矩形領域Ｒ_ｉの抽出を行う（Ｓ６２）。

このように、画像処理装置１０の動物体自動追従部１９は、背景差分情報を用いることなく、視差情報の変動を実時間で捉えることで（Ｓ５７〜Ｓ６２）、照明条件に依存することのない動物体の検出を実現する。併せて、動物体自動追従部１９は、環境固有の視差情報と、リアルタイムに検出される視差情報との差異を監視しながら動物体を抽出する（Ｓ６３〜Ｓ６５，Ｓ６２）。これにより、動物体の状態に依存することなく、換言すれば動物体が停留していも移動していても、動物体の検出が可能となる。

Ｓ５６〜Ｓ６６の処理は、被写界Ａを撮影するカメラＣ１〜Ｃ５のうち、全てのステレオペア（２台ずつのカメラ）に関して実行された後、図１６のＳ６７以降の処理、すなわち動物体撮影用データ算出モジュールに移行する。まずＳ６７において、動物体撮影用データ算出装置１９２は、領域抽出部１９ａにより、Ｓ５６で選択されたステレオペアの抽出した連結領域ＳＴ_ｉ又はＳＲ_ｉ毎に、矩形領域Ｒ_ｉの各頂点とカメラの中心点とを結んだ４つの方向ベクトルを抽出する。続いて、領域抽出部１９ａは、抽出された４つの方向ベクトルの交点を算出した後、これらのベクトルで囲まれた領域を動物体の存在する領域と認識する（Ｓ６８）。

動物体撮影用データ算出装置１９２は、重心推定部１９ｂにより、Ｓ６８にて認識された領域に外接する矩形領域の重心Ｇ_ｉ（ｔ）を算出した後（Ｓ６９）、その値を動物体の位置として抽出する。これにより、動物体の位置が推定される。次いで、方向推定部１９ｃは、時刻ｔにおけるＧ_ｉ（ｔ）と、単位時間前の時刻ｔ−１におけるＧ_ｉ（ｔ−１）との差分ベクトルであるDiffＧ_ｉ（ｔ）を動物体の移動ベクトルとして抽出する（Ｓ７０）。これにより、動物体の移動方向が推定される。

上述したＳ５５〜Ｓ７０の一連の処理は、Ｓ７１をループ端として、終了指示があるまで繰り返し実行される。続いて、動物体撮影用データ算出装置１９２は、動物体の位置Ｇ_ｉ（ｔ）、及び、上記差分ベクトルDiffＧ_ｉ（ｔ）の反対方向ベクトルを、任意視点画像生成部１６に出力する（Ｓ７２）。動物体は、通常、移動方向を正面として移動するので、移動方向の反対方向を撮影方向とするカメラ（動物体に対向するカメラ）を画像生成に使用する。これにより、動物体の全貌を正面から捉えることを可能とする。

以上説明したように、本発明に係る画像処理装置１０は、主要な機能の１つとして、動物体追従機能を有する。画像処理装置１０は、フレーム間における時間的な差分を抽出するとともに、射影変換しても初期の視差情報（リファレンス画像）に戻らない画像部分（差分）をも抽出する。そして、１組のカメラが同時に捉えている画像から得られる視差の変動に、これら双方の差分のうち少なくとも一方を加味することで動物体を検出する。このため、更新型背景画像との差分情報を利用した従来の動物体検出方法に対しては、影などの照明条件の変動あるいは停留などの動物体の状態遷移による影響の少ない精確な動物体検出が可能となるという効果がある。また、ステレオカメラの視差情報に基づく従来の動物体検出方法に対しては、横断歩道やナンバープレートといった平面だけなく、立体形状を有する一般の場所への適用が可能となるという効果がある。

更に、画像処理装置１０は、被写界Ａにて検出された動物体の位置情報と移動ベクトルとを算定し、これに上記のカメラ選択基準を適用することで、自律的なカメラワークを実現する。例えば、監視対象の動物体がカメラＣ１側に対面している場合には、動物体に正対する位置若しくはその近傍に設置されているカメラ（カメラＣ１）が画像提示用のカメラとして選択される。そして、複数のカメラの中から選択されるカメラは、動物体の移動方向の変化に伴って、適宜切り替えられる。これにより、動物体を常に正面から撮影することができるので、ユーザは、遠隔地からの効果的なモニタリングが可能となる。

なお、本発明は、本実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲において、適宜変形態様を採ることもできる。
例えば、上記実施の形態では、ユーザの仮想視点を１点としたが、複数の通信端末を画像処理装置１０に接続することで、複数のユーザが同時に自由な視点で遠隔モニタリングを行うことが可能となる。この態様においては、ユーザが通信端末を傾けた方向を視点方向として検出可能なように、通信端末は、３６０度視覚センサや方位センサ（例えばジャイロセンサ）を搭載することが特に効果的である。これにより、例えば、テレビ電話でコミュニケーションをとりながら、通話相手のいる環境を任意の視点でモニタリングするといった用途が可能となる。

また、上記実施の形態では、カメラ選択部１５の選択するカメラの台数を２台としたが、３台以上であっても勿論よい。また、視者位置Ｐからの視点Ｑにオクルージョンが発生しないことが被写界において明らかな場合には、１台のカメラであってもよい。

画像処理装置の機能的構成を示すブロック図である。 カメラ、視者、視点の位置関係の一例を示す被写界のｘｙ平面図である。 本発明に係る動物体撮影用データ算出装置の機能的構成を示すブロック図である。 カメラ選択処理を説明するためのフローチャートである。 オクルージョンの発生する視者と視点、及びカメラの位置関係の一例を示す被写界のｘｙ平面図である。 任意視点画像生成処理の前半部分を説明するためのフローチャートである。 視者位置の高さ及び視線方向の一例を示す被写界のｘｚ平面図である。 任意視点画像生成処理の後半部分を説明するためのフローチャートである。 実空間上の点を魚眼展開する手法の一例を説明するための図である。 魚眼カメラキャリブレーション処理を説明するためのフローチャートである。 キャリブレーションによる補正前における魚眼展開画像領域の一例を示す図である。 キャリブレーションによる補正後における魚眼展開画像領域の一例を示す図である。 動物体自動追従型テレモニタリングを実現するシステム環境の一例を示す概略図である。 動物体自動追従処理を構成する動物体検出モジュールの前半部分を説明するためのフローチャートである。 動物体自動追従処理を構成する動物体検出モジュールの後半部分を説明するためのフローチャートである。 動物体自動追従処理を構成する動物体撮影用データ算出モジュールを説明するためのフローチャートである。

符号の説明

１…画像処理システム、Ｃ１，Ｃ２，Ｃ３〜Ｃｎ…カメラ、１０…画像処理装置、１１…視者情報入力部、１２…撮影環境設定部、１３…視者位置特定部、１４…視者位置類似性演算部、１５…カメラ選択部、１６…任意視点画像生成部、１７…画像平滑化部、１８…キャリブレーション部、１８１…補正変換用行列算出部、１８２…基礎行列算出部、１９…動物体自動追従部、１９１…動物体検出部、１９２…動物体撮影用データ算出装置、１９ａ…領域抽出部、１９ｂ…重心推定部、１９ｃ…方向推定部、２０…画像収集装置、３０…画像配信装置、４０…通信端末、Ａ…被写界、Ｍ…動物体、Ｎ…ネットワーク

Claims (2)

1. 複数のカメラによる撮影画像から、動物体の存在する画像領域を抽出する抽出手段と、
   前記抽出手段により抽出された前記画像領域を使用して、前記動物体の重心位置を推定する重心推定手段と、
   前記重心推定手段により推定された前記重心位置の時間的変化を示すベクトルから、前記動物体の移動方向を推定する方向推定手段と、
   前記方向推定手段により推定された前記移動方向の反対方向を撮影方向とするカメラを選択する選択手段と
   を備えることを特徴とするカメラ選択装置。
2. 複数のカメラによる撮影画像から、動物体の存在する画像領域を抽出する抽出ステップと、
   前記抽出ステップにて抽出された前記画像領域を使用して、前記動物体の重心位置を推定する重心推定ステップと、
   前記重心推定ステップにて推定された前記重心位置の時間的変化を示すベクトルから、前記動物体の移動方向を推定する方向推定ステップと、
   前記方向推定ステップにて推定された前記移動方向の反対方向を撮影方向とするカメラを選択する選択ステップと
   を含むことを特徴とするカメラ選択方法。

Images