JP2010217984A - 像検出装置及び像検出方法 - Google Patents

Abstract

【課題】広角カメラで得られた画像から所定の被写体像をより早く確実に検出することが可能な像検出装置及び像検出方法を提供する。
【解決手段】像検出装置１０は、広角カメラ５により取得した画像２１から所定の被写体像を検出するものであって、広角カメラからの画像を入力画像として受けつける入力部１１と、互いに直交する第１〜第３の軸を有し第３の軸が広角カメラの光軸に対応する直交座標系での第１の軸又は第２の軸を中心軸とする円柱３０の周面３０ａ上に、入力画像を写像することによって円柱面画像３２を生成する円柱面画像生成部１２Ａと、円柱面画像に対して所定の被写体のパターン認識を実行することで所定の被写体像を検出する像検出部１３とを備える。円柱面画像を生成して、歪みの影響が低減された円柱面画像上で所定の被写体像の検出を実施していることから、所定の被写体像をより早く確実に検出することが可能である。
【選択図】図４

Description

本発明は、広角レンズを利用して取得された画像から所定の被写体の画像を検出する装置及びその検出方法に関するものであり、特に、移動する所定の被写体に対する被写体像を検出する装置及びその検出方法に関するものである。

近年、監視システムや、ネット環境を利用したネットミーティング等において、視野の広い広角レンズを有するカメラ装置が利用されてきている。広角カメラとしては、例えば、特許文献１に記載されているような魚眼レンズを有する魚眼カメラが採用される傾向にある。このような魚眼カメラといった視野のより広いカメラ装置を利用すると、より多くの領域を一度に撮影できたり、視野内での人物等の移動範囲の拘束が少なくなったりするので、好ましい。

特開２００８−４８４４３号公報

Viola, P. Jones, M, "Rapid object detection using a boosted cascade of simplefeatures," Proceeding of IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition, 2001, Vol.1, pp511-518

ところで、カメラ等の画像から所定の被写体（例えば、人物の顔など）を検出する場合、所定の被写体のパターン認識を利用したアルゴリズムが知られているが、このようなアルゴリズムは、視野の狭いカメラを対象として開発されている。視野の狭いカメラでは、所定の被写体の画像上の位置変化による顔の変形は殆どないが、魚眼カメラのような広角カメラにおいては、画像上の位置により、所定の被写体の変形（縦横比など）が大きくなる。そのため、従来、視野の狭いカメラに対して、所定の被写体を検出するアルゴリズムを適用しても適切に所定の像を検出することができない場合があった。特許文献１には、広角カメラで取得した画像に対して画像位置による歪補正を実施して、被写体を検出する方法が記載されているが、歪補正の処理に時間を要すると共に、歪補正の仕方によっては適切に所定の被写体を検出できない場合も考えられる。

そこで、本発明は、広角カメラで得られた画像から所定の被写体像をより早く確実に検出することが可能な像検出装置及び像検出方法を提供することを目的とする。

本発明に係る像検出装置は、広角カメラにより取得した画像から所定の被写体像を検出する像検出装置であって、広角カメラにより取得された画像を入力画像として受けつける入力部と、互いに直交する第１〜第３の軸を有し第３の軸が前記広角カメラの光軸に対応する直交座標系での第１の軸又は第２の軸を中心軸とする円柱の周面上に、入力部で受けつけた入力画像を写像することによって円柱面画像を生成する円柱面画像生成部と、円柱面画像に対して所定の被写体のパターン認識を実行することによって所定の被写体像を検出する像検出部と、を備えることを特徴とする

また、本発明に係る像検出方法は、広角カメラにより取得した画像から所定の被写体像を検出する像検出方法であって、広角カメラにより取得された画像を入力画像として受けつける入力工程と、互いに直交する第１〜第３の軸を有し第３の軸が広角カメラの光軸に対応する直交座標系での第１の軸又は第２の軸を中心軸とする円柱の周面上に、入力工程で受けつけた入力画像を写像することによって円柱面画像を生成する円柱面画像生成工程と、円柱面画像に対して所定の被写体のパターン認識を実行することによって所定の被写体像を検出する像検出工程と、を備えることを特徴とする。

上記像検出装置及び像検出方法では、広角カメラで取得された画像を入力画像として受け付け、その入力画像を基に円柱面画像を生成し、円柱面画像に対しパターン認識を実行して所定の被写体像の検出を実施している。円柱面画像は、上記円柱の周面に入力画像が写像されて生成されているものであるから、円柱面画像では、広角カメラで取得された画像である入力画像に比べて画像位置による歪の影響が低減されている。従って、円柱面画像に対してパターン認識を実施することで、所定の被写体像を容易にかつより確実に検出でき、例えば所定の被写体が移動したとしても所定の被写体像を検出することができる。また、円柱面画像は、例えば、円柱の周面上の点と、入力画像上の画素との対応関係を予め算出しておけば、その対応関係を参照することで生成することができるため、所定の被写体像をより早く且つ容易に検出することが可能である。

また、本発明に係る像検出装置では、円柱面画像生成部は、第１及び第２の軸の少なくとも一方の軸方向に対する広角カメラの視野をカバーするように周面上に円柱面画像生成領域を設定し、円柱面画像生成領域を構成する各画素に対する入力画像上の対応画素が有する画像情報を取得して円柱面画像を生成する、ことが好ましい。同様に、本発明に係る像検出方法における円柱面画像生成工程では、第１及び第２の軸の少なくとも一方の軸方向に対する広角カメラの視野をカバーするように周面上に円柱面画像生成領域を設定し、円柱面画像生成領域を構成する各画素に対する入力画像上の対応画素が有する画像情報を取得して円柱面画像を生成する、ことが好ましい。

上記構成により、第１及び第２の軸の少なくとも一方の軸方向に対する広角カメラの視野を確実にカバーした円柱面画像を生成することができる。

また、本発明に係る円柱面画像生成部は、予め算出されている、円柱面画像生成領域を構成する各画素と入力画像上の対応画素との対応関係により、円柱面画像生成領域を構成する各画素に対して画像情報を取得する、ことが好適である。同様に、本発明に係る像検出方法が有する円柱面画像生成工程では、予め算出されている、円柱面画像生成領域を構成する各画素と入力画像上の対応画素との対応関係により、円柱面画像生成領域を構成する各画素に対して画像情報を取得する、ことが好適である。

この場合、円柱面画像を生成する度に、円柱面画像生成領域を構成する各画素に対する入力画像上の対応画素を演算により求める場合に比べて、円柱面画像をより早く生成することができる。

更に、本発明に係る像検出装置では、像検出部で検出された所定の被写体像を含む透視画像を生成する透視画像生成部であって、所定の被写体像の中心に対応する、透視画像平面上の点を画像中心とする透視画像生成領域を透視画像平面上に設定し、広角カメラの射影方程式に従って算出される仮想的な理想画像である仮想理想画像を介して、透視画像生成領域が有する各画素と入力画像の画素とを対応づけ、透視画像生成領域が有する各画素に対する入力画像の対応画素が有する画像情報を取得することで透視画像を生成する透視画像生成部と、透視画像を表示装置に出力する出力部と、を更に備え、透視画像生成部は、透視画像生成領域が有する各画素に対する仮想理想画像上の対応位置を射影方程式に基づいて算出し、仮想理想画像上の対応位置を、予め算出されている、仮想理想画像と入力画像との対応関係に基づいて入力画像の画素と対応づけることによって、透視画像生成領域の各画素に対する前記入力画像の対応画素の画像情報を取得する、ことが好適である。

同様に、本発明に係る像検出方法では、像検出工程で検出された所定の被写体像を含む透視画像を生成する透視画像生成工程であって、所定の被写体像の中心に対応する、透視画像平面上の点を画像中心とする透視画像生成領域を透視画像平面上に設定し、広角カメラの射影方程式に従って算出される仮想的な理想画像である仮想理想画像を介して、透視画像生成領域を構成する各画素と入力画像の画素とを対応づけ、透視画像生成領域を構成する各画素に対する入力画像上の対応画素が有する画像情報を取得することで透視画像を生成する透視画像生成工程と、透視画像を表示装置に出力する出力工程と、を更に備え、透視画像生成工程では、透視画像生成領域を構成する各画素に対する仮想理想画像上の対応位置を射影方程式に基づいて算出し、仮想理想画像上の対応位置を、予め算出されている、仮想理想画像と入力画像との対応関係に基づいて入力画像の画素と対応づけることによって、透視画像生成領域の各画素に対する入力画像の対応画素が有する画像情報を取得する、ことが好ましい。

上記構成では、所定の被写体像が検出されると、所定の被写体像を画像の中心部に有する透視画像を生成し、表示装置で表示させることが可能である。透視画像は、所定の被写体像の検出位置に応じて生成されることから、所定の被写体像の位置に応じて視点の変更された透視画像が生成されることになる。このような可変視点の透視画像において、上記構成では、広角カメラの射影方程式に従って生成される上記仮想理想画像を介して、透視画像を生成しているため、より早く透視画像を生成可能となっている。

通常、広角カメラで実際に取得された画像である入力画像には、レンズの製造誤差などによる歪みも含まれている。可変視点であることから、透視画像平面上の透視画像生成領域の画素に対応する入力画像上の画素を、上記のように仮想理想画像を介さずに演算により算出しようとすると、上記製造誤差による歪を補正のためにより多くの時間を有する。一方、仮想理想画像は、上記のように射影方程式に従った理想的な画像であるため、透視画像平面上の透視画像生成領域の画素に対応する仮想理想画像上の対応位置の算出は容易である。そして、仮想理想画像と入力画像とは、ほぼ同じ解像度であり、仮想理想画像と入力画像との間で視点の変更はないことから、上記のように予め対応関係を準備しておくことが可能である。よって、透視画像平面上の透視画像生成領域の画素に対する仮想理想画像の対応位置を更に、上記対応関係に基づいて入力画像上の画素を対応させることによって、前述したように可変視点に対する透視画像をより早く生成することが可能である。

更に、本発明に係る像検出装置においては、予め算出されている円柱面画像生成領域を構成する各画素と入力画像上の対応画素との対応関係及び予め算出されている、仮想理想画像と入力画像との対応関係は、それぞれ第１及び第２のルックアップテーブルとして格納する記憶部を更に有する、とすることができる。同様に、本発明に係る像検出方法では、予め算出されている、円柱面画像生成領域を構成する各画素と入力画像上の対応画素との対応関係及び予め算出されている、仮想理想画像と入力画像との対応関係は、それぞれ第１及び第２のルックアップテーブルである、とすることができる。

上記所定の被写体は人間の顔であると、することができる。これにより、像検出装置及び像検出方法で、人間の顔を検出できるので、ネットワークミーティングや監視システムに好適に適用することができる。

本発明によれば、広角カメラで得られた画像から所定の被写体像をより早く検出するための像検出装置及び像検出方法を提供することができる。

本発明の像検出装置の一実施形態を適用したネットミーディングシステムの模式図である。 本発明の像検出装置の一実施形態のブロック図である。 図３（ａ）は、魚眼レンズの球面解析モデルを説明する図面である。図３（ｂ）は撮像平面上の表示領域の模式図である。 円柱面画像を説明するための図面である。 円柱面画像生成領域の一例の模式図である。 透視画像の生成方法を模式的に示す図面である。 像検出方法の一例のフローチャートである。 実際の魚眼カメラで撮影して得られた魚眼画像の例を示す図面である。 図８の魚眼画像を基に得られた円柱面画像の一例を示す図面である。 図９に示した円柱面画像で検出された所定の被写体像（顔領域）の検出結果の一例を示す図面である。 カメラ装置が有する広角レンズに対するユーザの移動範囲を例示する図面である。

以下、本発明に係る像検出装置及び像検出方法の実施形態について添付図面を参照して説明する。なお、同一の構成要素は同一の符号で示し、重複する説明は省略する。

図１は、本発明に係る像検出装置の一実施形態を適用したネットミーディングシステムの模式図である。図１に示したネットミーディングシステム１では、２つのパーソナルコンピュータ（ＰＣ）２_１，２_２がネットワーク３に接続されてＰＣ２_１，２_２に対してそれぞれ一人のユーザＵがネットワーク３を介して通信できるものとしている。

各ＰＣ２_１，２_２に接続された、ディスプレイといった表示装置４_１，４_２には、ＷＥＢカメラとしての魚眼カメラ（カメラ装置）５_１，５_２が搭載されている。これにより、魚眼カメラ（カメラ装置）５_１，５_２が各ＰＣ２_１，２_２のユーザＵを撮影し、他方のＰＣ２_１，２_２に画像を転送することで、各ユーザＵはお互いを見ながらミーティングができる。

本発明に係る像検出装置の一実施形態は、上記のようなネットミーディングシステム１において好適に利用される。図２〜図７を参照して、図１に示したネットミーディングシステム１に適用される像検出装置及びその像検出装置を利用した像検出方法について説明する。本実施形態では、図１に示したネットミーディングシステム１において各ユーザＵが有する構成要素は同じものであるとし、特に断らない限り、ＰＣ２_１，２_２をＰＣ２、表示装置４_１，４_２は表示装置４、魚眼カメラ５_１，５_２は、魚眼カメラ５_１，５_２を魚眼カメラ５とも称す。

図２に示した像検出装置１０は、魚眼カメラ（カメラ装置）５により取得した画像から所定の被写体像を検出するためのものである。ここでは、所定の被写体像はＰＣ２のユーザＵの顔であるとする。

図２には、像検出装置１０に画像を入力するカメラ装置として魚眼カメラ５、及び、像検出装置１０で検出された所定の被写体像を表示するための表示装置４もあわせて記載している。像検出装置１０は、ＰＣ２に組み込まれているとし、表示装置４は、魚眼カメラ５が接続されているＰＣとは別のＰＣ側のものとする。

魚眼カメラ５は、約１８０°以上の視野角を有する魚眼レンズ５ａ及びＣＣＤといった撮像素子５ｂを有しており、像検出装置１０に電気的に接続されている、魚眼カメラ５は、例えば、図１に示したように表示装置４に組み込まれたものとすることもできるし、表示装置４上に別途配置されているものとすることできる。本実施形態では、魚眼カメラ５は、その光軸が水平面内に位置するように設置されているとする。魚眼カメラ５は、魚眼レンズ５ａにより結像した像を撮像素子５ｂで検出し、得られた魚眼画像２１（図３参照）を像検出装置１０に出力する。

像検出装置１０は、魚眼カメラ５から出力された魚眼画像２１を入力画像として受けつける入力部１１と、入力部１１で受け付けられた魚眼画像２１を基に種々の画像を生成する画像生成部１２と、魚眼画像２１から所定の被写体像を検出する像検出部１３と、画像生成部１２での画像生成に使用する第１及び第２のルックアップテーブル（ＬＵＴ）１４Ａ，１４Ｂ及び魚眼画像２１や画像生成部１２での生成した画像等を格納する記憶部１４と、像検出装置１０で生成した画像を表示装置４に出力する出力部１５と、を含む。以下、像検出装置１０の主要な構成要素である画像生成部１２及び像検出部１３を中心にして像検出装置１０について説明する。

画像生成部１２は、円柱面画像生成部１２Ａを有する。円柱面画像生成部１２Ａは、魚眼画像２１を基に円柱面画像３２を生成する。図３及び図４を利用して円柱面画像３２の生成方法について説明する。

図３（ａ）は、魚眼レンズの球面解析モデルを説明する図面である。図３（ｂ）は撮像平面上の表示領域の模式図である。図４は円柱面画像を説明するための図面である。以下の説明では、特に断らない限り、魚眼レンズ５ａの射影方式は等距離射影方式とし、魚眼レンズ５ａの焦点距離はｆとする。図３（ｂ）及び図４では、ユーザＵの像を模式的に示している。

図３（ａ）に示すように、魚眼レンズ５ａにより取得された画像は球面解析モデルを用いて解析することができる。球面解析モデルでは、Ｚ_Ｃ軸（第３の軸）方向を光軸とし、Ｚ_ｃ軸に直交するＸ_Ｃ軸（第１の軸）及びＹ_Ｃ軸（第２の軸）を有するカメラ座標系（直交座標系）において、原点Ｏ_Ｃを中心とする半径Ｒ_１の球面Ｓを想定する。そして、このモデルでは、実空間がその球面Ｓ上に投影されたとし、球面Ｓ上の各点を魚眼レンズ５ａの射影方式によって撮像平面に射影されたものが魚眼画像であると考える。球面解析モデルでは、カメラ座標系の原点Ｏ_Ｃに魚眼レンズ５ａがＺ_Ｃ軸方向を向いて配置され、球面Ｓ上の点から魚眼レンズ５ａに光が入射していることを想定していることになる。

半径Ｒ_１は、魚眼カメラ５の倍率などを考慮して決定することができるが、以下の説明では、球面Ｓの半径Ｒ_１は１であり、球面Ｓは単位球面であるとする。また、球面Ｓ上に形成される画像を球面画像とも称す。本実施形態では、説明の便宜上、「球面画像」を利用して説明しているが、この球面画像を物理的には生成していない、すなわち、球面Ｓを離散化し、各画素に対して色情報や輝度値といった画像情報の取得は行っていない。

なお、魚眼レンズ５ａの視野は有限（例えば、１８０°）であることから、球面Ｓのうち魚眼レンズ５ａの視野に応じた領域に実空間が投影される。図３（ａ）及び図３（ｂ）では、魚眼レンズ５ａの視野が１８０°であることを想定して球面Ｓのうちの半球面で表している。また、魚眼カメラ５ａの設置方向に依存するが、本実施形態では、説明の簡略化のため、カメラ座標系においてＸ_ＣＺ_Ｃ平面が水平面に平行であり、Ｙ_Ｃ軸方向が鉛直方向（図３（ｂ）では、例えば−Ｙ_Ｃ方向が鉛直上方向）に対応するものとする。

図３（ａ）に示すように、球面Ｓ上の点Ｐからの光線が魚眼レンズ５ａに入射する場合を考える。点Ｐの天頂角、すなわち、原点Ｏ_Ｃと点Ｐとを繋ぐ直線Ｏ_ＣＰがＺ_Ｃ軸となす角度をθとし、原点Ｏ_Ｃに対する方位角をφとする。この場合、点Ｐからの魚眼レンズ５ａへの入射光線の方向は（θ，φ）で規定され、θは点Ｐからの光線の魚眼レンズ５ａへの入射角に対応する。よって、点Ｐの極座標表示での座標は、上記θ，φ，Ｒ_１（＝１）により表される。なお、Ｒ_１は一定であることから、θ，φを特定することで、球面Ｓ上の点が規定される。

点Ｐの魚眼レンズ５ａに対する撮像平面上の射影点をｐ_ｉとすると、射影方式を等距離射影方式としていることから、撮像平面上に設定したＸ_ＩＹ_Ｉ直交座標系において原点Ｏ_Ｉから点ｐ_ｉへの距離（像高）ｒ_ｉはｆθであり、原点Ｏ_Ｉに対する方位角をφ_ｉとすると、φ_ｉ＝φである。よって、θ，φにより、撮像平面上において画像の表示領域２０内に表示される魚眼画像２１と、球面画像とが対応付けられる。以下では、魚眼画像２１上の点ｐ_ｉを画素ｐ_ｉとも称す。

ここでは、魚眼画像２１の画素の位置と球面Ｓ上の点（或いは、球面画像上の点）とを理論的な射影方程式に基づいて対応づけて説明している。しかし、後述するように、実際の魚眼レンズ５ａを使用して得られる魚眼画像２１には、レンズの製造誤差等が含まれている。よって、魚眼画像２１と球面画像とはレンズの製造誤差による歪を考慮して対応づけることが好ましい。また、魚眼カメラ５の射影方式は、上記等距離射影方式の他に、ｒ_ｉ＝２ｆｔａｎ（θ／２）で表される立体射影、ｒ_ｉ＝２ｆｓｉｎ（θ／２）で表される等立体角射影、ｒ_ｉ＝ｆｓｉｎ（θ）で表される正射影といった射影方式を使用することもできる。

円柱面画像３２は、図４に示すように、互いに直交するＸ_Ｃ軸、Ｙ_Ｃ軸及びＺ_Ｃ軸を有するカメラ座標系の原点Ｏ_Ｃを内側に含む円柱３０の周面３０ａの一部に魚眼画像２１を写像したものである。図４に示したように、Ｚ_Ｃ軸に直交するＹ_Ｃ軸を中心軸として設定する。円柱３０は、円柱３０上の任意の点の座標を（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）とし、半径をＲ_２とすると次式で表される。

なお、式（１）中のａ，ｂは、図４に示したようにＹ_Ｃ軸の負方向及び正方向の円柱３０の高さである。

円柱３０の半径Ｒ_２は、円柱面画像３２を生成する際の拡大・縮小率、すなわち、倍率を考慮して決定すれば良いが、図４では、一例として球面Ｓの半径Ｒ_１より大きく設定した場合を示している。高さＨｅ（＝ａ＋ｂ）は、魚眼カメラ５における鉛直方向の視野を考慮して決定すればよく、例えば、後述するように視野角６０°〜９０°に対応する高さとすることも可能である。

円柱面画像３２は、周面３０ａに設定した円柱面画像生成領域３１（図５参照）が有する複数の画素に対する魚眼画像２１上の対応画素が有する画像情報（ＲＧＢといった色情報や輝度値等）を取得することで生成する。具体的には、円柱３０の周面３０ａにおいて魚眼レンズ５ａの視野をカバーする領域を円柱面画像生成領域３１とし、直交座標系であるＸ_ＥＹ_Ｅ座標系を設定する。図５は、円柱面画像生成領域の一例の模式図である。図５に示すように、Ｘ_Ｅ軸は幅方向（円柱３０の表現では周方向）に延びる軸であり、Ｙ_Ｅ軸はＸ_Ｅ軸に直交する方向（円柱３０では高さ方向）に延びる軸である。これは、周面３０ａを平面展開し、円柱面画像生成領域３１に対応する領域を切り出していることに対応する。図５は、魚眼レンズ５ａの視野は１８０°であって、周面３０ａの半周分を円柱面画像生成領域３１として設定している場合を示している。図５に示した円柱面画像３２の幅をＷ_ｅとする。

円柱面画像３２上の画素ｐ_２のＸ_ＥＹ_Ｅ座標系における座標を直交座標表示で表して（ｘ_ｅ（２），ｙｅ_（２））とした場合、画素ｐ_２のカメラ座標系における座標は、式（２ａ）〜式（２ｃ）で表される。

ただし、ｋはＹ_Ｃ軸（又はＹ_Ｅ軸）方向のスケールファクターである。また、式中の下付の「括弧２」は、画素ｐ_２に対応していることを示している。対応する画素又は点の異なる座標系での表示や、異なる画像表示方法（例えば、魚眼画像、円柱面画像など）において対応する画素を特定する必要がある場合には、同様の表記を採用する。

円柱面画像３２を生成する際には、式（２ａ）〜式（２ｃ）を利用して画素ｐ_２に対する球面Ｓへの投影点を算出し、次いで、その投影点に対する魚眼画像２１上の対応画素を算出する。このように、円柱面画像３２の画素ｐ_２に対する魚眼画像２１上の対応画素を特定し、円柱面画像３２の各画素に対して、魚眼画像２１の対応画素が有する画像情報（ＲＧＢ等）を取得することで、円柱面画像３２を生成する。

通常、実際のカメラを使用して取得した画像には、カメラが有するレンズの製造誤差などにより、径方向の歪みや光軸と画像中心とのズレなどの一定の歪みが含まれていることが知られている（例えば、A Conrady, “Decentering lens system,”Monthly Notices of the Royal Astronomical Soc. 1919, Vol.79, pp.384-390や R. Swaminathan and S. K. Nayar, “Nonmetric Calibration of Wild Angle Lenses and Polycameras,” IEEE Trnas. PAMI, 2000, Vol. 22, No. 10参照）。これは魚眼レンズ５ａを有する魚眼カメラ５についても同様であり、球面Ｓ上の点と魚眼画像２１上の画素とを対応付ける際には、レンズの製造誤差などによる歪みを補正しておくことが好ましい。このような歪を補正する種々の方法が提案されているが、本実施形態では、S. Li, “Monitoringaround a velicle by a spherical image sensor,” IEEE Trans. On ITS, 2006, Vol. 7 No.4, pp.541-550、に記載されている補正方法を採用する。すなわち、球面Ｓ上の点と魚眼画像２１上の画素とを対応付ける際に、以下の非線形連立方程式を解く。

式（３ａ）〜式（３ｄ）では、実際の魚眼レンズ５ａを介して取得された魚眼画像２１上の画素に対するｒ_ｉ，φ_ｉを、_ｒｒ_ｉ，_ｒφ_ｉと表している。なお、点Ｐに対する、射影方程式に基づく理論的な投影位置のｒ_ｉ，φ_ｉは、後述するように、_ｖｒ_ｉ、_ｖφ_ｉと表す。また、式（３ａ）〜式（３ｄ）において、ｋ_１，ｋ_３，ｋ_５が魚眼レンズ５ａの放射歪のパラメータであり、Ｐ_１，Ｐ_２は接線方向歪のパラメータである。

上記式（３ａ）〜（３ｄ）で示される非線形方程式を解くことは、演算上多くの時間を要することになる。そこで、本実施形態では、式（３ａ）〜式（３ｄ）を利用して円柱面画像３２上の各画素に対して、魚眼画像２１上の対応画素を予め一度算出した後、その関係を第１のＬＵＴ１４Ａとしてまとめておき記憶部１４に格納している。円柱面画像生成部１２Ａは、記憶部１４に格納されている第１のＬＵＴ１４Ａを参照して、円柱面画像３２の各画素に対する魚眼画像２１上の対応画素を特定し、その対応画素の画像情報を取得することによって、円柱面画像３２を生成する。画像生成部１２が有する透視画像生成部１２Ｂについては後述する。

像検出部１３は、円柱面画像生成部１２Ａにおいて円柱面画像３２が生成されると、生成された円柱面画像３２に対して顔検出アルゴリズムを実施して、所定の被写体像としてのユーザＵの顔領域Ｆを検出する。顔検出アルゴリズムとしては、パターン認識により顔領域を検出できれば特に限定されず、例えば非特許文献１として記載した、Viola, P. Jones, M, “Rapid object detection using a boosted cascade of simplefeatures,” Proceeding of IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition, 2001, Vol.1, pp511-518に記載されているアルゴリズムを利用することができる。

画像生成部１２が有する透視画像生成部１２Ｂは、像検出部１３が円柱面画像３２において顔領域を検出すると、その顔領域の透視画像４２を生成する。透視画像生成部１２Ｂは、魚眼レンズ５ａの射影方程式に正確に従って生成される理想的な画像であって、歪みを含まない画像である仮想理想画像２２を利用して透視画像４２を生成する。

透視画像４２の生成方法について図６を利用して説明する。図６は、透視画像の生成方法を模式的に示す図面である。図６（ａ）は、透視画像、球面画像、仮想理想画像及び入力画像である魚眼画像の関係を模式的示している。また、図６（ｂ）は透視画像の模式図である。図６（ｂ）では、ユーザＵを模式的に示している。

先ず、透視画像生成部１２Ｂは、次のステップ１−１〜１−３を実施して透視画像生成領域４１を設定する。
(I)ステップ１−１：円柱面画像３２上における顔領域の中心を算出し、その中心に対応する球面Ｓ（或いは球面画像）上の対応点ｓ_ｏを算出する。
(II)ステップ１−２：図６（ａ）に示すように、球面Ｓ上の対応点ｓ_ｏを透視画像平面４０上に投影する。透視画像平面４０は、対応点ｓ_ｏと原点Ｏ_Ｃとを結ぶ直線に直交する平面とすることができる。透視画像平面４０と原点Ｏ_Ｃとの間の距離は倍率などを考慮して設定すればよい。図６（ａ）及び図６（ｂ）では、透視画像平面４０を二点鎖線で示している。透視画像平面４０は無限のものであるが、図６（ｂ）では、便宜的に略矩形状で表している。
(III)ステップ１−３：透視画像生成部１２Ｂは、透視画像平面４０上に透視画像生成領域４１を設定する。透視画像生成領域４１は、図６（ｂ）に示すように例えば長方形状や正方形状とすることができる。この際、透視画像生成部１２Ｂは、直線と透視画像平面４０との交点を画像中心Ｏ_Ｐとして透視画像生成領域４１を設定する。透視画像生成領域４１の大きさは、表示装置４に表示させたい透視画像４２の大きさとすればよい。透視画像平面４０上であって画像中心Ｏ_Ｐを原点とする直交座標系をＸ_ＰＹ_Ｐ座標系と称す。

次に、透視画像生成部１２Ｂは、仮想理想画像２２を介して透視画像生成領域４１を構成する各画素に対する魚眼画像２１の対応画素から色情報や輝度値といった画像情報を以下のステップ２−１，２−２を実行して取得する。

(1)ステップ２−１：透視画像生成領域４１が有する画素ｐ_３に対応する仮想理想画像２２上の対応画素_ｖｐ_ｉ（３）を次のようにして算出する。
・ステップ２−１ａ：画素ｐ_３のカメラ座標系における天頂角θ及び方位角φを算出する。これは画素ｐ_３の球面Ｓ上の対応点ｓ_（３）を特定することに対応する。具体的には、Ｘ_PＹ_P座標系で表される画素ｐ_３の座標（ｘ_ｐ（３），ｙ_ｐ（３））を、カメラ座標系の座標に変換した後、画素ｐ_３のカメラ座標系の原点Ｏ_Ｃに対してθ，φを算出する。算出されたθ，φをそれぞれθ_（３），φ_（３）と称す。
・ステップ２−１ｂ：ステップ２−１ａで算出したθ_（３），φ_（３）に対して射影方程式を適用して、画素ｐ_３の仮想理想画像２２上の対応画素_ｖｐ_ｉ（３）の座標（_ｖｒ_ｉ（３），_ｖφ_ｉ（３））を算出する。
・ステップ２−１ｃ：極座標表示である（_ｖｒ_ｉ（３），_ｖφ_ｉ（３））を直交座標表示である（_ｖｘ_ｉ（３），_ｖｙ_ｉ（３））に変換する。

上記ステップ２−１ａ〜ステップ２−１ｃは、次の式で表される演算過程を実施していることになる。

(2)ステップ２−２：仮想理想画像２２上の各画素と、魚眼画像２１上の各画素との対応関係を示すテーブルであり、予め記憶部１４に格納されている第２のＬＵＴ１４Ｂを参照して、式（４）により算出された仮想理想画像２２の対応画素に対して、魚眼画像２１上の対応画素を特定する。魚眼画像２１における画素の位置座標を（ｘ_ｆ（３），ｙ_ｆ（３））とすると、この過程は次の式で表される。

従って、透視画像生成領域４１を設定した後の透視画像４２を生成する、ステップ２−１，２−２は、次の式で表される処理を実行していることになる。なお、式（６）では、式（４）及び式（５）で付していた点ｐ_３に対応することを示す下付きの「括弧３」は省略している。

ここで、上記第２のＬＵＴ１４Ｂの作成方法について説明する。第２のＬＵＴ１４Ｂは、次の処理過程を実施することで作成する。

すなわち、仮想理想画像２２上の画素_ｖｐ_ｉ（_ｖｘ_ｉ，_ｖｙ_ｉ）に対して球面Ｓ上の対応点を規定するパラメータ、すなわち（θ，φ）を算出する。次いで、その算出された（θ，φ）で規定される球面Ｓ上の点に対する魚眼画像２１の対応画素の座標（_ｒｒ_ｉ，_ｒφ_ｉ）を、式（３ａ）〜式（３ｄ）に基づいて算出した後、直交座標表示である（ｘ_ｆ，ｙ_ｆ）に変換する。これにより、魚眼画像２１の画素と仮想理想画像２２の画素とを対応付けた第２のＬＵＴ１４Ｂを作成する。

以上説明した像検出装置１０では、画像生成部１２や像検出部１３は、ＰＣ２において、ＣＰＵの制御の下、画像生成部１２及び像検出部１３の各種機能を実現するプログラムを実施することで実現することができる。また、入力部１１は、像検出装置１０が組み込まれているＰＣ２におけるデータの入力部とすることができる。また、出力部１５は、同様に、ＰＣ２におけるデータの出力部１５であって、ネットワーク３にデータを送信可能な各種機能を備えたものとすることができる。また、記憶部１４は、ＰＣ２におけるＲＡＭやＲＯＭといったメモリとすることができる。ただし、入力部１１、画像生成部１２、像検出部１３、記憶部１４及び出力部１５は、それぞれ専用の回路とすることもできる。

次に、図７〜図１１を参照して、図２に示した像検出装置１０を利用した像検出方法について説明する。魚眼カメラ５が起動されているものとして説明する。図７は像検出方法の一例のフローチャートである。

先ず、像検出装置１０は、魚眼カメラ５で取得された魚眼画像２１を、入力部１１を介して入力魚眼画像として受けつける（ステップＳ１０）。次に、円柱面画像生成部１２Ａが、上述した第１のＬＵＴ１４Ａを利用して魚眼画像２１から円柱面画像３２を生成する（ステップＳ１１）。具体的には、カメラ座標系において設定されている円柱３０の周面３０ａ上に設定した円柱面画像生成領域３１の各画素に対する入力画像２２上の対応画素を第１のＬＵＴ１４Ａを利用して特定し、その画像情報を取得して円柱面画像３２とする。

像検出装置１０は、円柱面画像３２を生成すると、像検出部１３が、円柱面画像３２に対して顔検出アルゴリズムを実行して、円柱面画像３２上においてユーザＵの顔領域Ｆを検出する（ステップＳ１２）。

像検出部１３が円柱面画像３２上の顔領域Ｆを検出すると、透視画像生成部１２Ｂは、ユーザＵの顔が透視画像生成領域４１の中央部になるように、透視画像４２を形成する（ステップＳ１３）。具体的には、円柱面画像３２の顔領域Ｆの中心に対応する球面Ｓ上の対応点ｓ_ｏを特定する。次いで、その対応点ｓ_ｏとカメラ座標系の原点Ｏ_ｃとをとおる直線に直交する透視画像平面４０を設定した後、透視画像平面４０上に所望の大きさの透視画像生成領域４１を顔領域Ｆの中心が画像中心Ｏ_ｐとなるように設定する。次いで、式（６）に示した過程に従って、透視画像生成領域４１の各画素の魚眼画像２１の対応画素の画像情報を取得して、透視画像４２を生成する。

透視画像生成部１２Ｂが、透視画像４２を生成すると、出力部１５はその透視画像４２を表示装置４に出力する（ステップＳ１４）。

図８は、実際の魚眼カメラで撮影して得られた魚眼画像の例を示す図面である。撮影に使用した魚眼カメラは、ソニー製ディジタルハンディカムに魚眼レンズ５ａを搭載したものである。なお、魚眼レンズ５ａは、オリンパス製魚眼コンバージョンレンズＦＣＯＮ−０２である。図８において、表示領域（画像フレーム）２０の画素数は６４０×４８０としている。領域Ｆ_ｉは、ステップＳ１２において検出した顔領域Ｆに対応する部分である。また、図９は、図８の魚眼画像に対してステップＳ１１で説明した処理により得られた円柱面画像の一例を示す図面である。円柱面画像３２は、水平画角が１８０度、垂直画角が９０度で、画素数は６４０×３２０である。図９中の領域Ｆ_ｅは、円柱面画像３２に対してステップＳ１２の処理により得られた顔領域Ｆを示している。顔領域Ｆの検出は、Viola, P. Jones, M, “Rapid object detection using a boosted cascade of simplefeatures,” Proceeding of IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition, 2001, Vol.1, pp511-518に記載されているアルゴリズムであり、広角レンズではなく視野の狭いレンズに対して開発された顔検出アルゴリズムを適用した。このように、使用した顔検出アルゴリズムは、魚眼画像特有の歪（前述した、周縁部での縦横比の変化など）を考慮したものではないが、円柱面画像３２に適用することで、図９に示すように、顔領域Ｆを検出できていることが分かる。図１０は、図９に示した円柱面画像で検出された所定の被写体像（顔領域）の検出結果の一例を示す図面である。図１０は、本実施形態で説明した方法ではなく、図９で検出した顔領域Ｆを含む魚眼画像２１の部分を切り出し、予め準備していたルックアップテーブルを用いて透視画像に変換している。図１０中の領域Ｆ_ｐは、図８の領域Ｆ_ｉ及び図９の領域Ｆ_ｅに対応する顔領域Ｆである。

本実施形態の像検出装置１０及びその像検出装置１０を用いた像検出方法では、取得された魚眼画像２１ではなく、円柱面画像３２上で顔検出を実施することが一つの重要な点である。この点について、図８及び図９に示した、実際に撮影された魚眼画像２１及びそれに基づいて作成した円柱面画像３２の例を参照して説明する。

図８に示したように、通常、魚眼画像２１は、その周縁部近傍で画像に歪みがでる。その結果、顔の縦横比が魚眼画像２１内の顔の位置によって変化することになる。一方、顔検出アルゴリズムは、顔のパターンを認識して人物の顔を検出するものである。よって、魚眼カメラ５の撮影対象であるユーザＵが魚眼カメラ５の視野内で移動（例えば、水平方向への移動）したりすると、魚眼画像２１上における歪みの影響により顔の領域の縦横比が変わることなどにより顔を表す特徴量が大きく変化するので、顔の領域のパターンが変わる。その結果、本実施形態の場合とは異なり、魚眼画像２１に対して顔検出アルゴリズムを直接適用すると、適切に顔を検出できない場合がある。

これに対して、本実施形態では、魚眼画像２１を基に円柱面画像３２を生成し、その円柱面画像３２を利用して顔検出を実施している。円柱面画像３２を利用することで、顔の変形を魚眼画像２１に比べて抑制することができ、特に、水平方向（左右方向）の人物の移動による顔の変形のバラツキを抑制することができる。その結果、図９に示したように、魚眼画像特有の歪みを考慮していない顔検出アルゴリズムを用いても、ユーザＵの顔を検出することが可能である。

そして、ネットミーティング（或いはＷＥＢ会議）などでは、ユーザＵは魚眼カメラ５に対して移動する場合もあるが、このような移動としては、鉛直方向（上下方向）への移動よりも、図１１に示したように、魚眼レンズ５ａに対して、図１１中の破線で模式的に示される魚眼レンズ５ａの視野内で水平方向（左右方向）へ移動する傾向にあると考えられる。そのため、実空間での水平方向に対応する方向が円柱３０の周方向（或いは、図５に示した場合では幅方向）になるように円柱面画像３２を生成し顔領域を検出することで、移動するユーザＵの顔をより正確に検出することができる。

なお、ユーザＵが水平方向により多く移動する傾向があることを考慮すると、円柱３０の高さは、魚眼レンズ５ａの鉛直方向の視野角を全てカバーするように設定する必要は必ずしもなく、例えば、視野角６０°〜９０°程度（光軸を基準とした場合、光軸から上下にそれぞれ３０°〜４５°）とに対応したものとすることも可能である。

また、本実施形態の像検出装置１０及びその像検出装置１０を用いた像検出方法では、上述のように円柱面画像３２を利用して検出したユーザＵの顔が、画像の中央部に位置する透視画像４２を生成することも重要である。この点について説明する。

魚眼レンズを使用した魚眼カメラでは、取得した円形形状の魚眼画像を透視画像に変換して表示することが知られている。このような透視画像変換では、所定の視点方向に対する透視画像の画素と入力画像との画素との間のルックアップテーブル（ＬＵＴ）を予め作成しておき、そのルックアップテーブルを利用して透視画像を生成することが考えられる。この場合、透視画像と魚眼画像との対応関係を、予め準備しているＬＵＴを利用していることから、視点が固定されていることになる。そのため、ユーザＵが移動したりして、ユーザＵの顔が透視画像の中央部ではなく、透視画像の周縁部に位置したりすると、ユーザＵの顔が透視画像上に表示されない場合も生じることがある。

これに対して、本実施形態の像検出装置１０及びそれを用いた像検出方法では、像検出部１３で検出した顔領域Ｆが透視画像４２の中央部に位置するように、透視画像生成領域４１を設定して透視画像４２を生成している。このように、本実施形態では、顔検出結果に応じて視点を変更して透視画像４２を生成している。そのため、ユーザＵは互いの顔を表示装置４で表示される画像の中央部に見ながらネットミーティングを進めることが可能である。

そして、上記のような可変視点の場合でも、透視画像４２を生成する際に、射影方程式に正確に従った仮想理想画像２２と第２のＬＵＴ１４Ｂとを利用していることから透視画像４２の生成に要する時間の増加を抑制できている。

実際に取得された魚眼画像２１にはレンズの製造誤差などの歪みが生じていることから、歪み補正をするためには、例えば、式（３ａ）〜（３ｄ）を、視点が変わるたびに解かなくてはならないが、この演算処理には時間を要する。この演算処理を短縮化する方法としては、透視画像上の画素と球面画像上の点との対応関係を演算により算出し、球面画像上と魚眼画像２１との間の対応関係はＬＵＴを利用することも考えられる。しかし、球面画像を等サイズの画素に離散化することが難しい。また、地図のような経緯度画像による球面画像の表現では両極に従って歪み大きくなり、好ましくない。更に、測地ドーム法による離散化はデータ構造が複雑になることから計算時間もより多くかかることなる。

これに対して、本実施形態では、透視画像生成領域内の各画素に対する魚眼画像２１上の対応画素を演算によって直接に算出せずに、先ず、射影方程式に正確に従った仮想理想画像２２上の対応画素を特定し、その特定された対応画素に対応する魚眼画像２１上の画素を第２のＬＵＴ１４Ｂを利用して求めている。仮想理想画像２２上の対応画素を特定する際には、演算を実行することになるが、これは射影方程式をそのまま適用するため、式（３ａ）〜式（３ｄ）に示したように非線形連立方程式を解く場合より、演算時間を短縮することができる。従って、本実施形態では、検出された顔領域Ｆを画像の中央部に有する透視画像４２をより早く生成することが可能となっている。また、仮想理想画像２２は、平面画像であり、魚眼画像２１とほぼ同じ解像度に設定できる。そして、仮想理想画像と入力画像としての魚眼画像２１との間で視点の変更はないことから、上記のように予め対応関係を準備しておくことが可能となっている。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、像検出装置１０では、透視画像生成部１２Ｂを備えるとしたが、必ずしも透視画像４２を生成しなくてもよい。この場合は、例えば、円柱面画像３２に対して顔検出アルゴリズムを適用することでユーザＵの顔を検出したら、魚眼画像２１において対応する領域（図８に示す領域Ｆ_ｉ）を特定し、魚眼画像２１からその部分を切り出して、表示すればよい。

また、上記実施形態では、説明の簡略化のため、図１に示したように２台のＰＣ２をそれぞれ一人のユーザＵが操作するとしたが、例えば、１台のＰＣ２の前に複数のユーザＵがいてもよい。この場合は、像検出部１３は、各ユーザＵの顔を円柱面画像３２上でそれぞれ検出し、透視画像生成部１２Ｂは、像検出部１３で検出された顔領域Ｆの各々に対して、各顔領域Ｆを中央部に有する透視画像４２を生成すればよい。

更にまた、実施形態の説明では、像検出装置１０及び像検出装置１０による像検出方法は、ネットミーティングに使用されることを仮定していたがこれに限定されない。魚眼カメラは、視野が広いことから、例えば監視システムに利用されることもあるため、そのような監視システムでの所定の被写体像の検出にも適用することができる。エレベータの監視システムを例として説明する。

複数のエレベータがエレベータホールの一壁面側に並列に配置されている場合、複数のエレベータの扉の開閉位置が一度に視野に入るように魚眼カメラを配置しておく。そして、当該魚眼カメラからの画像を像検出装置に取り込み、像検出装置で、前述したようにして所定の被写体像の検出を行い、表示装置に表示すればよい。像検出装置で検出する所定の被写体像は、人物の顔などにすることができる。これにより、エレベータの出入りに伴う人物の監視を、人物の顔を表示装置に示される画像の中心に見ながら行うことができる。また、特定の人物を探索又は監視したい場合には、その人物特有の顔のパターンを用いて像検出を実施すればよい。

上記エレベータの例では、エレベータホールの一壁面側に複数のエレベータが配置されているとしたが、エレベータホールの対向する２壁面のそれぞれの側に複数のエレベータが配置されている場合には、２つの魚眼カメラを利用してそれぞれの側の複数のエレベータへの人の出入りを監視すればよい。このようにすれば、例えば対向する両壁面の一方の側のエレベータから出た人が他方の側のエレベータに入る場合などを、人物の顔をみながら追跡できることになる。

また、例えば、魚眼レンズといった広角レンズが広い視野を有することから、例えば、広角レンズを有するカメラ装置を備えた追尾システムなどに使用することもできる。すなわち、広角レンズを有するカメラ装置で取得した広い視野を有する画像に対し、本実施形態で説明した像検出装置１０を適用して所定の被写体像を検出し、画像上の検出位置に応じて、他のより視野の狭いカメラ装置で、検出された被写体像をより詳細に撮影しながら追尾することも可能である。
更に、本発明は、魚眼カメラや全天周カメラを取り付けたネットワークロボットにも適用することが可能である。例えば、ネットワークに接続されたロボットに上記魚眼カメラや全天周カメラ並びに像検出装置を搭載しておけば、特定の観測領域（所定の被写体像）に対応した透視画像を、ネットワークを介して監視センターに送付することができる。

また、これまでの説明では、カメラ装置は、魚眼レンズ５ａを利用した魚眼カメラとして説明したが、カメラ装置は、広角レンズを利用したものとすることができる。

本発明は、ネットミーディングシステム（又はＷＥＢ会議システム）及び監視システムに好適に利用することができる。

４，４_１，４_２…表示装置，５，５_１，５_２ …魚眼カメラ（カメラ装置），１０…像検出装置，１１…入力部，１２Ａ…円柱面画像生成部，１２Ｂ…透視画像生成部，１３…像検出部，１４…記憶部，１５…出力部，２１…魚眼画像（入力画像），２２…仮想理想画像，３０…円柱，３０ａ…周面，３１…円柱面画像生成領域，４０…透視画像平面，４１…透視画像生成領域，４２…透視画像，Ｆ…顔領域（所定の被写体像），Ｏ_ｃ…原点，Ｏ_ｐ…画像中心。

Claims (11)

1. 広角カメラにより取得した画像から所定の被写体像を検出する像検出装置であって、
   前記広角カメラにより取得された前記画像を入力画像として受けつける入力部と、
   互いに直交する第１〜第３の軸を有し前記第３の軸が前記広角カメラの光軸に対応する直交座標系での前記第１の軸又は第２の軸を中心軸とする円柱の周面上に、前記入力部で受けつけた前記入力画像を写像することによって円柱面画像を生成する円柱面画像生成部と、
   前記円柱面画像に対して所定の被写体のパターン認識を実行することによって前記所定の被写体像を検出する像検出部と、
   を備えることを特徴とする像検出装置。
2. 前記円柱面画像生成部は、
   前記第１及び第２の軸の少なくとも一方の軸方向に対する前記広角カメラの視野をカバーするように前記周面上に円柱面画像生成領域を設定し、
   前記円柱面画像生成領域を構成する各画素に対する前記入力画像上の対応画素が有する画像情報を取得して前記円柱面画像を生成する、
   ことを特徴とする請求項１に記載の像検出装置。
3. 前記円柱面画像生成部は、
   予め算出されている、前記円柱面画像生成領域を構成する各画素と前記入力画像上の対応画素との対応関係により、前記円柱面画像生成領域を構成する各画素に対して画像情報を取得する、
   ことを特徴とする請求項１に記載の像検出装置。
4. 前記像検出部で検出された前記所定の被写体像を含む透視画像を生成する透視画像生成部であって、前記所定の被写体像の中心に対応する、透視画像平面上の点を画像中心とする透視画像生成領域を前記透視画像平面上に設定し、前記広角カメラの射影方程式に従って算出される仮想的な理想画像である仮想理想画像を介して、前記透視画像生成領域が有する各画素と前記入力画像の画素とを対応づけ、前記透視画像生成領域が有する各画素に対する前記入力画像の対応画素が有する画像情報を取得することで前記透視画像を生成する前記透視画像生成部と、
   前記透視画像を表示装置に出力する出力部と、
   を更に備え、
   前記透視画像生成部は、
   前記透視画像生成領域が有する各画素に対する前記仮想理想画像上の対応位置を前記射影方程式に基づいて算出し、
   前記仮想理想画像上の前記対応位置を、予め算出されている、前記仮想理想画像と前記入力画像との対応関係に基づいて前記入力画像の画素と対応づけることによって、前記透視画像生成領域の各画素に対する前記入力画像の対応画素の画像情報を取得する、
   ことを特徴とする請求項２又は３に記載の像検出装置。
5. 予め算出されている、前記円柱面画像生成領域を構成する各画素と前記入力画像上の対応画素との対応関係及び予め算出されている、前記仮想理想画像と前記入力画像との対応関係を、それぞれ第１及び第２のルックアップテーブルとして格納する記憶部を更に有することを特徴とする請求項４に記載の像検出装置。
6. 広角カメラにより取得した画像から所定の被写体像を検出する像検出方法であって、
   前記広角カメラにより取得された前記画像を入力画像として受けつける入力工程と、
   互いに直交する第１〜第３の軸を有し前記第３の軸が前記広角カメラの光軸に対応する直交座標系での前記第１の軸又は第２の軸を中心軸とする円柱の周面上に、前記入力工程で受けつけた前記入力画像を写像することによって円柱面画像を生成する円柱面画像生成工程と、
   前記円柱面画像に対して所定の被写体のパターン認識を実行することによって前記所定の被写体像を検出する像検出工程と、
   を備えることを特徴とする像検出方法。
7. 前記円柱面画像生成工程では、
   前記第１及び第２の軸の少なくとも一方の軸方向に対する前記広角カメラの視野をカバーするように前記周面上に円柱面画像生成領域を設定し、
   前記円柱面画像生成領域を構成する各画素に対する前記入力画像上の対応画素が有する画像情報を取得して前記円柱面画像を生成する、
   ことを特徴とする請求項６に記載の像検出方法。
8. 前記円柱面画像生成工程では、
   予め算出されている、前記円柱面画像生成領域を構成する各画素と前記入力画像上の対応画素との対応関係により、前記円柱面画像生成領域を構成する各画素に対して画像情報を取得する、
   ことを特徴とする請求項７に記載の像検出方法。
9. 前記像検出工程で検出された前記所定の被写体像を含む透視画像を生成する透視画像生成工程であって、前記所定の被写体像の中心に対応する、透視画像平面上の点を画像中心とする透視画像生成領域を前記透視画像平面上に設定し、前記広角カメラの射影方程式に従って算出される仮想的な理想画像である仮想理想画像を介して、前記透視画像生成領域を構成する各画素と前記入力画像の画素とを対応づけ、前記透視画像生成領域を構成する各画素に対する前記入力画像上の対応画素が有する画像情報を取得することで前記透視画像を生成する透視画像生成工程と、
   前記透視画像を表示装置に出力する出力工程と、
   を更に備え、
   前記透視画像生成工程では、
   前記透視画像生成領域を構成する各画素に対する前記仮想理想画像上の対応位置を前記射影方程式に基づいて算出し、
   前記仮想理想画像上の前記対応位置を、予め算出されている、前記仮想理想画像と前記入力画像との対応関係に基づいて前記入力画像の画素と対応づけることによって、前記透視画像生成領域の各画素に対する前記入力画像の対応画素が有する画像情報を取得する、
   ことを特徴とする請求項７又は８に記載の像検出方法。
10. 予め算出されている、前記円柱面画像生成領域を構成する各画素と前記入力画像上の対応画素との対応関係及び予め算出されている、前記仮想理想画像と前記入力画像との対応関係は、それぞれ第１及び第２のルックアップテーブルである、ことを特徴とする請求項９に記載の像検出方法。
11. 前記所定の被写体は人間の顔であることを特徴とする請求項６〜１０の何れか一項に記載の像検出方法。