JP2010193170A - カメラキャリブレーション装置及び監視エリア設定装置 - Google Patents

Abstract

【課題】撮影範囲の平面図情報とカメラの高さ情報とを利用して簡単な作業でカメラパラメータを算出することができるカメラキャリブレーション装置を提供する。
【解決手段】カメラ２１の撮影範囲及び当該カメラ２１の配置位置を平面図上に規定する平面図情報２２、実世界の三次元空間におけるカメラの高さを規定するカメラ高さ情報２３、平面図情報２２で規定される平面図上の点とこれに対応するカメラ映像画面上の点との対応付け情報を用いて、実世界の三次元空間とカメラ映像画面の二次元空間との対応付けを規定するカメラパラメータ２４を算出する。
【選択図】図１

Description

この発明は、例えば映像監視システムにおける監視カメラのカメラキャリブレーションを行うためのカメラキャリブレーション装置、及びカメラキャリブレーションで得られたカメラパラメータを利用して監視エリアを設定する監視エリア設定装置に関するものである。

商業施設や駅、空港等の公共スペースやマンション等において、監視カメラの導入が増加している。特に、多数のカメラが設置された現場や、危険性や機密性が高い重要施設等では、監視員の見落としが許されず、負担が大きい。そこで、監視員の負担軽減のため、カメラ画像を処理することによって侵入者や不審物体を自動的に検知する映像監視システムの普及が進んでいる。

このような映像監視システムにおいては、撮影範囲内で特に注視すべき領域として監視エリアを指定することが多い。例えば、撮影範囲が鉄道駅のプラットホームであれば、線路部分に監視エリアを設定して、ホームから線路へ転落した人を検知する。また、駐車場であれば、ロット毎に監視エリアを設定し、異常が検知された場合には当該ロットの使用者のみに通報することが行われている。

監視エリアを自動で設定するため、監視カメラのキャリブレーションが行われることがある（例えば、特許文献１、２参照）。ここで、キャリブレーションとは、実世界の三次元空間とカメラ画像の二次元空間との関係を表すパラメータを求める作業のことを指す。実世界の三次元空間の座標（Ｘ_w，Ｙ_w，Ｚ_w）とカメラ画像の二次元座標（ｕ，ｖ）とは、下記式（１）に示すように、ｐ₁₁からｐ₃₄の１２個のパラメータによって関係付けられる（例えば、非特許文献１参照）。ただし、演算子〜は、その両辺が定数倍の違いを許して等しいことを表している。すなわち、カメラキャリブレーションは、下記式（１）に示すｐ₁₁からｐ₃₄の１２個のパラメータを計算することに相当する。

カメラキャリブレーションの原始的な方法としては、大きさが既知の基準物体を撮影範囲に設置し、空間上の点とカメラ画像上の点との組を６組以上与えて計算するものがある（例えば、非特許文献２参照）。また、特許文献１では、電動雲台及びズーム機構を備えたカメラを自動でキャリブレーションするため、水平面上に等間隔に設置した３つのマーカーを検知してカメラパラメータを計算し、これを用いて直線で囲まれた監視エリアを設定する方法が示されている。

特開２００１−２０４００７号公報 特開２００３−２８４０５９号公報

ディジタル画像処理編集委員会著，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４年，ｐ．２５２〜２５６． 井口征士、佐藤宏介共著，「三次元画像計測」，昭晃堂，１９９０年１１月，ｐ．９７〜９９．

しかしながら、非特許文献２に示される従来の方法では、キャリブレーションを精度良く行うためには基準物体が撮影範囲内に大きく写っている必要がある。従って、監視カメラが広範囲を撮影する（例えば、数十メートル四方以上）場合、大きな基準物体を現場に設置する必要があり、キャリブレーション作業が大掛かりで非常に面倒となるという課題があった。

また、特許文献１，２に示されるキャリブレーション手法では、一直線上に等間隔に３点のマーカーを撮影範囲内に設置する必要がある。しかし、監視エリアとして直線で囲まれた範囲しか設定できないという制約があった。また、例えば、人や車の往来が激しい場所等ではマーカーを設置し難いため、適用できる範囲が限定されるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、撮影範囲の平面図情報とカメラの高さ情報とを利用して簡単な作業でカメラパラメータを算出することができるカメラキャリブレーション装置を得ることを目的とし、またこのカメラキャリブレーション装置により得られたカメラパラメータを利用して監視エリアを自動的に設定できる監視エリア設定装置を得ることを目的とする。

この発明に係るカメラキャリブレーション装置は、カメラによって撮影されたカメラ映像を入力する映像入力部と、カメラの撮影範囲及び当該カメラの配置位置を平面図上に規定する平面図情報を入力する平面図入力部と、実世界の三次元空間におけるカメラの高さを規定するカメラ高さ情報を入力するカメラ高さ入力部と、平面図情報で規定される平面図上の点とこれに対応するカメラ映像画面上の点との対応付けを指定する対応点指定部と、平面図情報、カメラ高さ情報、及び平面図情報で規定される平面図上の点とこれに対応するカメラ映像画面上の点との対応付け情報を用いて、実世界の三次元空間とカメラ映像画面の二次元空間との対応付けを規定するカメラパラメータを算出するカメラパラメータ計算部とを備えるものである。

また、この発明に係る監視エリア設定装置は、カメラの撮影範囲及び当該カメラの配置位置を平面図上に規定する平面図情報を入力する平面図入力部と、上記カメラキャリブレーション装置によって算出されたカメラパラメータを入力するカメラパラメータ入力部と、監視エリアの設定条件を入力する監視エリア設定条件入力部と、カメラパラメータ、平面図情報、及び監視エリアの設定条件に基づいて、当該監視エリアの設定条件に合致した監視エリアを算出する監視エリア計算部とを備えるものである。

この発明によれば、カメラの撮影範囲及び当該カメラの配置位置を平面図上に規定する平面図情報、実世界の三次元空間におけるカメラの高さを規定するカメラ高さ情報、平面図情報で規定される平面図上の点とこれに対応するカメラ映像画面上の点との対応付け情報を用いて、実世界の三次元空間とカメラ映像画面の二次元空間との対応付けを規定するカメラパラメータを算出する。このように構成することで、高さを持った基準物体を実空間に配置して使用する代わりに、平面図情報、カメラの配置位置及びカメラ高さに関する情報からカメラキャリブレーションを行うことができる。これにより、基準物体を用いることなく、カメラキャリブレーション作業を簡単に行うことができる。

また、この発明によれば、カメラの撮影範囲及び当該カメラの配置位置を平面図上に規定する平面図情報、上記カメラキャリブレーション装置によって算出されたカメラパラメータ、監視エリアの設定条件に基づいて、当該監視エリアの設定条件に合致した監視エリアを算出する。このように構成することで、カメラパラメータを利用して三次元的な監視エリアを自動的に設定することができる。これにより、高さや奥行きを考慮した監視エリアを正確に計算し設定することが可能である。

この発明の実施の形態１によるカメラキャリブレーション装置の構成を示すブロック図である。 映像監視システムを導入した駐車場における監視カメラの撮影範囲とカメラ位置に関する平面図の一例を示す図である。 図１中のレンズ歪み補正部により提供されるレンズ歪みの補正用画面の一例を示す図である。 図１中の対応点指定部により提供される対応点指定用画面の一例を示す図である。 カメラ映像に関する透視投影モデルを示す図である。 図１中のカメラパラメータ計算部で仮定される座標系を示す図である。 この発明の実施の形態２によるカメラキャリブレーション装置の対応点指定部により提供されるマーカー登録用画面の一例を示す図である。 この発明の実施の形態３による監視エリア設定装置の構成を示すブロック図である。 図８中の監視エリア計算部により提供される監視エリアの計算結果の一例を示す図である。

実施の形態１．
図１は、この発明の実施の形態１によるカメラキャリブレーション装置の構成を示すブロック図であり、監視カメラを備えた映像監視システムに適用した場合を示している。図１において、実施の形態１によるカメラキャリブレーション装置１は、映像入力部１１、平面図入力部１２、カメラ高さ入力部１３、レンズ歪み補正部１４、対応点指定部１５及びカメラパラメータ計算部１６を備える。

カメラ２１で撮影された映像データは、映像入力部１１に入力される。また、平面図入力部１２には、監視カメラの撮影範囲とカメラ位置とに関する平面図情報２２が入力される。図２は、映像監視システムを導入した駐車場における監視カメラの撮影範囲とカメラ位置に関する平面図の一例を示す図である。図２中の数字は長さを表しており、単位はミリメートルである。また、点Ｃは、カメラ２１が取り付けられるポールの位置を表している。

各ロットの位置や大きさ、カメラ２１の位置は、図２に示すような平面図に規定される平面図情報２２から知ることができる。このような平面図情報２２は、通常、駐車場に監視カメラを設置する前の段階で、電子データとして作成される。従って、この発明によるカメラキャリブレーション装置１には、設計時の平面図情報２２をそのまま利用すればよい。

カメラ高さ入力部１３へは、カメラ２１の設置高さに関する情報であるカメラ高さ情報２３が入力される。レンズ歪み補正部１４は、カメラ２１のカメラレンズによる映像の湾曲歪みを補正する手段である。なお、カメラ２１に広角レンズを用いる場合、レンズ半径方向の歪み（歪曲収差）がカメラ映像に発生する（参考文献１参照）。
参考文献１；ディジタル画像処理編集委員会著，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４年，ｐ．４３〜４６．

カメラ映像の画像中に歪曲収差が含まれないときの点（ｘ_u，ｙ_u）が歪曲収差により点（ｘ_d，ｙ_d）に移される場合、両者の関係は、下記式（２）で表すことができる。ここで、ｒ²＝ｘ_u ²＋ｙ_u ²とする。また、κ１とκ２は、レンズ歪みを表す係数である。すなわち、レンズ歪みは２つのパラメータを用いて定式化できる。ただし、実用上はκ２を無視しても歪みをほぼ除去できる。

図３は、図１中のレンズ歪み補正部１４により提供されるレンズ歪みの補正用画面の一例を示す図である。図３に示す例では、補正後のカメラ画像が表示されている。ここで、歪み係数はκ１のみとしている。レンズ歪みが存在する場合、実空間では直線となっていても、カメラ画像では湾曲して見える。

そこで、レンズ歪み補正部１４が、図１において不図示の表示装置の表示画面上にレンズ歪みの補正画面を表示させ、ユーザがマウスやキーボード等の入力装置を用いて画面上の補正後の画像を目視で確認しながら歪み係数を調整することによって、歪曲収差を補正したレンズ歪み係数を求めることができる。なお、補正の際、カメラ２１の撮影範囲に基準物体を配置するのではなく、実空間において直線のもの、例えば駐車場のロットの区画線やビルの梁等が直線に見えるように歪み係数を調節すればよい。

対応点指定部１５は、平面図入力部１２により入力された平面図情報２２で規定される平面図上の点と、映像入力部１１により入力されたカメラ画像上の点とを対応付ける手段である。図４は、図１中の対応点指定部により提供される対応点指定用画面の一例を示す図である。図４に示す例では、監視カメラ（カメラ２１）の撮影範囲が駐車場である場合を示しており、平面図入力部１２より入力された平面図が図４の左側画面１０１に表示され、映像入力部１１よりレンズ歪み補正部１４を介して入力された映像が図４の右側画面１０２に表示されている。左側画面１０１上の星印１０３は、カメラ２１が設置されている位置である。

ユーザは、対応点指定用画面の各画面１０１，１０２に表示された平面図上の点の位置と、その点に対応するカメラ映像画面上の点の位置とをそれぞれ指定する。対応する点の位置の指定には、例えば図１において不図示のマウス等のポインティングデバイスを用いる。平面図上の点とこれに対応するカメラ映像画面上の点を一組指定した後、確定ボタン１０４を押下することにより、対応点の組を確定することができる。この操作を繰り返し、４組以上の点の対応点の組を指定する。４組以上の点の対応を指定した後、確認ボタン１０５を押すことにより、対応点の指定を終了することができる。

ここで、カメラ映像画面上から指定する対応点は、平面図中に示されている点で、かつカメラ２１の撮影範囲内でなければならない。これらの条件を満たしていれば任意の点を指定することができるが、正確に対応付けを行うためには監視範囲に存在する目印となるものを利用するのが望ましい。例えば、建物の扉や柱の位置が平面図に示されている場合は、それらを目印として対応点の指定に利用することができる。また、駐車場の場合であれば、平面図中に示されているロットの白線の交点を目印として利用できる。図４の例では、平面図上の点２０１ａとカメラ映像画面上の点２０１ｂとが対応しており、平面図上の点２０２ａとカメラ映像画面上の点２０２ｂとが対応する。

このように対応点指定部１５が提供するＧＵＩ（Graphical User Interface）を利用した平面図上の点とカメラ映像画面上の点との対応付け操作によって、平面図入力部１２から入力された平面図上の点が、カメラ映像画面上ではどの点に対応するのかを指定する情報をカメラキャリブレーション装置１が得ることができる。

カメラパラメータ計算部１６は、平面図入力部１２に与えられた平面図情報２２、対応点指定部１５で指定されたカメラ映像画面上の点と平面図上の点との対応関係、及びカメラ高さ入力部１３に与えられたカメラ高さ情報２３を利用して、カメラパラメータを計算する。以下では、このパラメータ計算の手順について説明する。

先ず、カメラパラメータ計算部１６は、平面図情報２２から特定されるカメラ２１の位置と、カメラ高さ情報２３から特定される当該カメラ２１の高さの情報を用い、上記式（１）に従ってカメラパラメータ２４を算出する。ここで、非特許文献１に示されるように、上記式（１）で示した関係式は、下記式（３）のように分解される。
ただし、Ａは、下記式（４）に示すカメラ２１の内部パラメータからなる３×３の行列である。また、ｆはカメラ２１の焦点距離であり、δ_uとδ_vは、カメラ２１の撮像素子の横方向と縦方向の画素の物理的な間隔である。
図５は、カメラ映像に関する透視投影モデルを示す図であり、カメラ２１のカメラ座標系と世界座標系との関係、カメラ座標系とカメラ映像画面の画像座標及び正規化画像座標との関係を示している。下記式（４）におけるｃ_uとｃ_vは、図５に示す画像座標系における光軸と画像面との交点の位置（画像中心）を表している。さらに、Ｒとｔは、下記式（５）に示すそれぞれ３×３の回転行列と３次元の平行移動ベクトルである。下記式（５）に示すパラメータは、カメラ２１の外部パラメータと呼ばれ、世界座標系Ｘ_wＹ_wＺ_wとカメラ座標系ＸＹＺとを関係付ける。

次に、世界座標系におけるカメラ位置情報を用いて世界座標（Ｘ_w，Ｙ_w，Ｚ_w）と画像座標（ｕ，ｖ）との関係を求める手順を示す。
先ず、適当な位置に原点を定めた世界座標系Ｘ_wＹ_wＺ_wに対し、原点がカメラ光学中心に一致するように平行移動した座標系Ｘ_w’Ｙ_w’Ｚ_w’を考える。すなわち、世界座標系Ｘ_wＹ_wＺ_wからみたカメラ２１の位置ベクトルをｃ＝（ｃ_x，ｃ_y，ｃ_z）^Tとすると、下記式（６）に示す関係が導き出せる。

ここで、座標系Ｘ_w’Ｙ_w’Ｚ_w’からカメラ座標系ＸＹＺへの変換において、平行移動について考慮する必要がなくなる。つまり、上記式（３）から平行移動に関するパラメータを除去できるため、移動させた世界座標系Ｘ_w’Ｙ_w’Ｚ_w’と画像座標系ｕｖとの間には、下記式（７）の関係が成り立つ。ここで、ＡＲは、下記式（８）のように設定した。

上記式（７）には定数倍の不定性があるので、ｓ₃₃＝１とおいて整理すると、下記式（９）が成り立つ。

上記式（９）を書き換えると、下記式（１０）を導き出せる。

ここで、カメラ２１の位置ベクトルｃが既知である場合、座標系Ｘ_wＹ_wＺ_wから座標系Ｘ_w’Ｙ_w’Ｚ_w’への変換は上記式（６）を用いることができる。従って、空間中の位置（Ｘ_w，Ｙ_w，Ｚ_w）とその投影点の画像上（カメラ映像画面上）の位置（ｕ，ｖ）とが得られれば、上記式（９）で示されるようにＳの各要素に関する２つの方程式が得られる。

未知数の数は全部で８個（ｓ₁₁，・・・，ｓ₃₂）なので、既知の位置座標の組が最低４組あれば行列Ｓを求めることができる。実際には誤差の影響を軽減するため、ある程度多くの既知の点を用いて最小二乗法を利用して求めることが望ましい。その方法を以下に示す。

既知の空間座標と画像座標とをそれぞれ（Ｘ_w1’，Ｙ_w1’，Ｚ_w1’），（Ｘ_w2’，Ｙ_w2’，Ｚ_w2’），・・・と（ｕ₁，ｖ₁），（ｕ₂，ｖ₂），・・・とし、上記式（９）から得られるＳの各要素に関する連立方程式を、行列を用いてまとめて表現すると、下記式（１１）のようになる。

上記式（１１）における行列とベクトルを下記式（１２）のように置き換える。

ここで、ベクトルｓは求めるべきＳの各要素からなるベクトルであり、その最小自乗解は下記式（１３）で得られる。

これにより、行列Ｓの各成分が得られる。なお、上記式（６）を同次座標により表現すると、下記式（１４）のようになる。

上記式（１４）の右辺の３×４の変換行列をＴとおき、上記式（７）に代入すると、下記式（１５）となる。上記式（１）と下記式（１５）とを比較すると、カメラパラメータ２４は行列Ｓと行列Ｔの積として表すことができる。

行列Ｓは、上記式（１２）から求められる。また、Ｔは単に既知のカメラ位置ベクトルを含む行列である。従って、行列ＳとＴの積を求めることにより、世界座標系と画像座標系の関係、すなわち上記式（１）で示したカメラパラメータ２４が得られる。

次に、平面図とカメラ２１の位置及び高さの情報を利用してカメラキャリブレーションを行う手順について説明する。先ず、平面図について二次元座標系ｘ_mｙ_mを定義する。例えば、図２中の平面図の左下（点Ｏ）をｘ_mｙ_m座標系の原点と定め、原点から右方向をｘ_m軸、原点から上方向をｙ_m軸とする。そうすると、点Ａの座標はＡ（４０００，１００００）、点Ｂの座標はＢ（９０００，１５０００）、カメラの位置ＣはＣ（７７００，１０００）となる。

図６は、図１中のカメラパラメータ計算部で仮定される座標系を示す図である。図６に示すように、平面図と３次元実空間とを対応付ける。ここでは、実世界の３次元空間を世界座標系Ｘ_wＹ_wＺ_wと考える。また、Ｚ_w＝０となるＸ_wＹ_w平面が監視エリアの路面に対応するように世界座標系Ｘ_wＹ_wＺ_wを定める。すなわち平面図上のｘ_mｙ_m平面と３次元実空間のＸ_wＹ_w平面とを対応付けて同一とみなす。

平面図上の座標点（ｘ_m，ｙ_m）に対応する実空間の点が、画面内の点（ｕ_m，ｖ_m）に投影されているとする。また、カメラ２１は平面図上の点（ｘ_c，ｙ_c）に設置されており、その高さがｈである場合、座標系Ｘ_wＹ_wＺ_wにおいて、カメラ２１の位置ベクトルは、ｃ＝（ｘ_c，ｙ_c，ｈ）^Tと表される。平面図上の点（ｘ_m，ｙ_m）と、それがカメラ画像（カメラ映像画面）へ投影された点の座標（ｕ_m，ｖ_m）との対応が４組以上得られれば、上記式（１３）を解くことにより行列Ｓの各要素が得られる。

そして、得られたＳの各要素とカメラ２１の位置ベクトルとを上記式（１５）に代入することにより、世界座標系Ｘ_wＹ_wＺ_wと画像座標系ｕｖとの関係、すなわちカメラパラメータ２４を求めることができる。

対応点の指定は、カメラ画像（カメラ映像画面）中の一部分のみから局所的に点を選択するのではなく、画像全体から満遍なく点を選択するのが望ましい。こうすることで、最小自乗計算の誤差が小さくなり、解が安定する。なお、カメラキャリブレーション装置１は、カメラ２１の設置現場の遠隔地に設置されていてもよく、この場合は、カメラ２１とカメラキャリブレーション装置１とをネットワーク接続すればよい。

以上のように、この実施の形態１では、カメラ２１の撮影範囲及び当該カメラ２１の配置位置を平面図上に規定する平面図情報２２、実世界の三次元空間におけるカメラの高さを規定するカメラ高さ情報２３、平面図情報２２で規定される平面図上の点とこれに対応するカメラ映像画面上の点との対応付け情報を用いて、実世界の三次元空間とカメラ映像画面の二次元空間との対応付けを規定するカメラパラメータ２４を算出する。このように構成することで、実際にカメラ撮影範囲に配置した基準物体を利用する代わりに平面図情報２２及びカメラ高さ情報２３を用いてカメラパラメータ２４を計算することができる。これにより、カメラキャリブレーション作業が簡単になる。このカメラキャリブレーション装置１において、既に作られている平面図情報２２を利用すれば、カメラ設置現場での作業は非常に簡単である。すなわち、現場での作業は、平面図上の点とカメラ画像（カメラ映像画面）中の点との対応を、対応点指定部１５によって少なくとも４点指定するだけでよいため、設置作業の省力化につながる。

また、この実施の形態１によれば、カメラキャリブレーション装置１の遠隔地にカメラ２１が設置されている場合、対応点の指定などの設定操作を遠隔地で集中的に行うことができるため、作業が効率化される。

さらに、実施の形態１によるカメラキャリブレーション装置１へは、カメラ２１の内部パラメータ、すなわち焦点距離や画素サイズ等といったカメラ２１の仕様に関するパラメータを与える必要がないため、機器の仕様が不明な場合にもカメラパラメータ２４を計算することができる。

実施の形態２．
上記実施の形態１では、対応点指定部によって平面図上の点とこれに対応するカメラ映像画面上の点とを、ユーザが目視で確認しながら指定する場合を示した。この場合、カメラの状態が変化すると、対応点の指定を手動でやり直す必要がある。例えば、電動雲台機構やズーム機構を備えるカメラにおいて、これらの機構が操作されると、カメラパラメータが変化する可能性がある。

そこで、この実施の形態２では、平面図上の点とこれに対応するカメラ映像画面上の点との対応付けを、マーカーを利用して自動的に実施する構成について説明する。撮影範囲内の目印となる点を目視で指定する代わりに、対応点指定部１５が、撮影範囲内に設置されたマーカーを認識することにより、自動的に対応点を指定するものである。ここで、カメラが識別できるマーカーを４個以上用意し、予めカメラの撮影範囲内に配置しておく。

実施の形態２によるカメラキャリブレーション装置１は、上記実施の形態１と基本的な構成は同一であるが、対応点指定部１５が予め選択されたマーカーを認識して対応点の組を指定する点で異なる。
図７は、この発明の実施の形態２によるカメラキャリブレーション装置の対応点指定部により提供されるマーカー登録用画面の一例を示す図である。図７中の左側画面は、マーカー選択用画面１１１であり、カメラ２１の撮影範囲内に配置するマーカーがリスト表示されている。また、対応点指定部１５が、平面図入力部により入力された平面図を図７中の右側画面１０１ａに表示する。

ユーザは、対応点指定部１５により提供される上記マーカー登録用画面に従って、マウス等のポインティングデバイスを用い、マーカー選択用画面１１１からマーカーを選択し、選択したマーカーを配置する位置を平面図１０１ａ上で指定する。このマーカー登録作業を４つのマーカーについて行う。対応点指定部１５は、映像入力部１１からレンズ歪み補正部１４を介してカメラ２１の映像を入力し、平面図入力部１２より入力した平面図情報２２で特定されるカメラ２１の撮影範囲内に配置されたマーカーを、入力したカメラ映像から認識することにより、平面図上の点とカメラ映像画面上の点との対応付けを行う。この対応付け情報は、対応点指定部１５からカメラパラメータ計算部１６へ出力される。なお、対応点指定部以外の部分の機能は、上記実施の形態１と同様であるので説明を省略する。

以上のように、この実施の形態２によれば、対応点指定部１５が、カメラ２１の撮影範囲内に配置された所定の点に対して予め登録されたマーカーの位置をカメラ映像画面上から認識して、平面図情報２２で規定される平面図上の点とこれに対応するカメラ映像画面上の点との対応付けを自動的に指定し、対応付け情報として出力する。このように対応点の指定を自動で行うようにしたので、カメラ２１の向きやズーム倍率等の状態が変化した場合でも、カメラキャリブレーション装置１が自動的にカメラパラメータ２４の再計算を行うことができる。従って、電動雲台機構やズーム機構を備えた監視カメラに対しても、容易にカメラキャリブレーションを行うことができる。

実施の形態３．
図８は、この発明の実施の形態３による監視エリア設定装置の構成を示すブロック図である。図８において、実施の形態３による監視エリア設定装置１Ａは、カメラパラメータ入力部１７、平面図入力部１２、監視エリア設定条件入力部１８及び監視エリア計算部１９を備える。カメラパラメータ入力部１７は、上記式（１）で示される三次元の実空間とカメラ画像（カメラ映像画面）の二次元空間とを対応付けるカメラパラメータ２４を入力する手段である。カメラパラメータ２４の計算方法としては、例えば、非特許文献１に示されている方法や、上記実施の形態１で示した方法等を用いることができる。

平面図入力部１２については、上記実施の形態１と同様の機能であるので説明を省略する。監視エリア設定条件入力部１８は、平面図入力部１２で入力された平面図情報２２を参照して、設定したい監視エリアの監視エリア設定条件２５を入力する。例えば、駐車場の全てのロットについて、ロットの周囲１メートル、高さ２メートルの範囲を監視エリアとする、というような指定を行う。なお、このような監視範囲の設定は、全てのロットについて同一の設定であってもよいし、ロット毎に異なる設定としてもよい。また、ロットのユーザが自分のロットの監視範囲を自由に設定できるようにしてもよい。

監視エリア計算部１９は、カメラパラメータ２４、平面図情報２２及び監視エリア設定条件２５から監視エリアを計算し、当該監視エリアを規定する監視エリア情報２６を出力する。

次に動作について説明する。
カメラパラメータ入力部１７は、上記実施の形態１又は上記実施の形態２で示したカメラキャリブレーション装置１からカメラパラメータ２４を入力する。監視エリア設定条件入力部１８は、例えば、平面図入力部１２で入力された平面図と、カメラ２１の撮影範囲を示すカメラ映像画面とを含む条件設定用画面を不図示の表示装置に表示して、監視エリア設定条件２５の入力を受け付ける。ユーザは、上記条件設定用画面を参照して、マウス等の入力デバイスを用い、カメラ映像画面上の監視エリアを規定する監視エリア設定条件２５（駐車場の全てのロットについて、ロットの周囲１メートル、高さ２メートルの範囲を監視エリアとする等）を入力する。

監視エリア計算部１９は、カメラパラメータ入力部１７を介して与えられたカメラパラメータ２４、平面図入力部１２で入力された平面図情報２２、及び監視エリア設定条件入力部１８で入力された監視エリア設定条件２５から監視エリアを計算し、当該監視エリアを規定する監視エリア情報２６を出力する。

図９は、図８中の監視エリア計算部により提供される監視エリアの計算結果の一例を示す図であり、駐車場を監視対象とした場合を示している。図９では、カメラ映像画面上の中央のロットに対して、ロットの周囲及び路面からの高さを考慮した監視エリアを、太線の枠で囲んで示している。上記実施の形態１において、図６を用いて説明した世界座標系Ｘ_wＹ_wＺ_w上の点は、上記式（９）によって画像座標系ｕｖ上へ投影されることから、カメラパラメータ２４を用いることにより、監視エリア計算部１９は、上述のような空間の距離や高さを考慮した監視エリアを自動的に計算することができる。

なお、カメラパラメータ２４は、三次元空間と画像平面とを関係付けるものであるが、立体的ではなく、平面的な監視エリアを計算することももちろん可能である。例えば、駐車場の車路の部分に対して水平面の監視エリアを設定したり、あるいは建物の窓や扉の部分のように鉛直面の監視エリアを設定することもできる。

以上のように、この実施の形態３によれば、カメラ２１の撮影範囲及び当該カメラ２１の配置位置を平面図上に規定する平面図情報２２、上記実施の形態１，２で示すカメラキャリブレーション装置１によって算出されたカメラパラメータ２４、監視エリア設定条件２５に基づいて、当該監視エリア設定条件２５に合致した監視エリアを算出する。このように構成することで、カメラパラメータ２４を用いて監視エリアを計算でき、三次元空間における幅や高さを考慮した正確な監視エリアを設定することができる。これにより、例えば、侵入物体や自動車などの監視対象によって、自動的に監視エリアを調節するようなことが可能となる。

また、この実施の形態３によれば、駐車場の各ロットに対して個別に監視エリアを設定したい場合等、多数の監視エリアを設定するときには、与えられた平面図情報２２を利用することによって自動的に監視エリアを計算することができるため、映像監視システムにおける監視エリアの設定作業が簡単になる。例えば、ロット毎にユーザが監視エリアの大きさを自由に設定する、といった機能も簡単に実現できる。

１ カメラキャリブレーション装置、１Ａ 監視エリア設定装置、１１ 映像入力部、１２ 平面図入力部、１３ カメラ高さ入力部、１４ レンズ歪み補正部、１５ 対応点指定部、１６ カメラパラメータ計算部、１７ カメラパラメータ入力部、１８ 監視エリア設定条件入力部、１９ 監視エリア計算部、２１ カメラ、２２ 平面図情報、２３ カメラ高さ情報、２４ カメラパラメータ、２５ 監視エリア設定条件、２６ 監視エリア情報、１０１ 左側画面、１０２，１０１ａ 右側画面、１０３ カメラ設置位置、１０４，１０５ 確認ボタン、２０１ａ，２０２ａ 平面図上の点、２０１ｂ，２０２ｂ カメラ映像画面上の点、１１１ マーカー選択用画面。

Claims (8)

1. カメラによって撮影されたカメラ映像を入力する映像入力部と、
   前記カメラの撮影範囲及び当該カメラの配置位置を平面図上に規定する平面図情報を入力する平面図入力部と、
   実世界の三次元空間における前記カメラの高さを規定するカメラ高さ情報を入力するカメラ高さ入力部と、
   前記平面図情報で規定される平面図上の点とこれに対応する前記カメラ映像画面上の点との対応付けを指定する対応点指定部と、
   前記平面図情報、前記カメラ高さ情報、及び前記平面図情報で規定される平面図上の点とこれに対応する前記カメラ映像画面上の点との対応付け情報を用いて、前記実世界の三次元空間と前記カメラ映像画面の二次元空間との対応付けを規定するカメラパラメータを算出するカメラパラメータ計算部とを備えたカメラキャリブレーション装置。
2. カメラ映像に含まれるカメラのレンズ歪みを補正するレンズ歪み補正部を備えたことを特徴とする請求項１記載のカメラキャリブレーション装置。
3. レンズ歪み補正部は、カメラ映像を表示するカメラ映像画面とレンズ歪み補正係数の調節用入力部とを含む補正用画面を提示して前記レンズ歪み補正係数の調節を受け付け、前記カメラ映像画面を参照して調節されたレンズ歪み補正係数に基づいてカメラのレンズ歪みを補正することを特徴とする請求項２記載のカメラキャリブレーション装置。
4. 対応点指定部は、カメラ映像を表示するカメラ映像画面と平面図情報で規定される平面図とを含む対応点指定用画面を提示して対応点の指定入力を受け付け、前記カメラ映像画面と前記平面図とを参照して指定入力された当該平面図上の点とこれに対応する前記カメラ映像画面上の点との対応付けを対応付け情報として出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載のカメラキャリブレーション装置。
5. 対応点指定部は、カメラの撮影範囲内に配置された所定の点に対して予め登録されたマーカーの位置をカメラ映像画面上から認識して、平面図情報で規定される平面図上の点とこれに対応する前記カメラ映像画面上の点との対応付けを自動的に指定し、対応付け情報として出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載のカメラキャリブレーション装置。
6. カメラパラメータ計算部は、平面図情報で規定される縮尺が既知の平面図と当該平面図上の点とカメラ映像画面上の点との４組以上の対応付け情報、及び、前記平面図上におけるカメラの位置及び高さを規定する情報を用いて、カメラパラメータを算出することを特徴とする請求項１から請求項５のうちのいずれか１項記載のカメラキャリブレーション装置。
7. カメラの撮影範囲及び当該カメラの配置位置を平面図上に規定する平面図情報を入力する平面図入力部と、
   請求項１から請求項６のうちのいずれか１項記載のカメラキャリブレーション装置によって算出されたカメラパラメータを入力するカメラパラメータ入力部と、
   監視エリアの設定条件を入力する監視エリア設定条件入力部と、
   前記カメラパラメータ、前記平面図情報、及び前記監視エリアの設定条件に基づいて、当該監視エリアの設定条件に合致した監視エリアを算出する監視エリア計算部とを備えた監視エリア設定装置。
8. 監視エリア設定条件入力部は、幅、奥行き及び高さで監視エリアを規定する監視エリアの設定条件の入力を受け付け、
   監視エリア計算部は、カメラパラメータを用いて前記監視エリアの設定条件から監視エリアを算出することを特徴とする請求項７記載の監視エリア設定装置。

Images