JP2005003377A

JP2005003377A - 撮影装置

Info

Publication number: JP2005003377A
Application number: JP2003163718A
Authority: JP
Inventors: Hironobu Fujiyoshi; 弘亘藤吉; Takeo Kaneide; 武雄金出; Yuzo Ogawa; 雄三小川
Original assignee: Toa Corp
Current assignee: Toa Corp
Priority date: 2003-06-09
Filing date: 2003-06-09
Publication date: 2005-01-06
Anticipated expiration: 2023-06-09
Also published as: JP4291048B2

Abstract

【課題】１台のカメラによって得られた二次元画像上で、被検知物体を特定することによって被検知物体の高さを自動的に得る。
【解決手段】三次元空間上にある基準面４とこの基準面上にある被検知物体とをマスターカメラ２が二次元で撮影する。カメラ２の二次元画像から被検知物体を確定し、二次元画像において基準面４に相当する二次元基準面４ａ上にある被検知物体の像の第１の二次元座標と、第１の二次元座標から二次元基準面４ａから離れた位置にある被検知物体の第２の二次元座標とをパーソナルコンピュータ８が決定する。パーソナルコンピュータ８が、第１の二次元座標を三次元空間の基準面４上にある第１の三次元座標に変換し、第２の二次元座標を第２の三次元座標に変換する。第２の三次元座標への変換を、第２の三次元座標のうち、第１または第２の三次元座標軸の位置を第１の三次元座標の第１または第２の三次元座標位置に位置させて行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影手段を用いた撮影装置に関し、主に撮影対象点の三次元座標位置を撮影するように、簡単で判りやすい操作で撮影手段を制御することができるものに関する。
【０００２】
【従来の技術】
撮影装置は、例えば監視装置に使用されることがある。ビデオカメラ等の動画像を撮影することができる撮影手段によって撮影領域を撮影する。このような撮影装置では、撮影された画像の中心に撮影対象点が映し出されるように、撮影手段をパン、チルトすることがある。このような装置の一例が特許文献１に示されている。
【０００３】
【特許文献１】
特開２００２−１０１４０８号公報
【０００４】
特許文献１に開示された技術では、ステレオ視法を用いた測定を行うために２台以上の測定用カメラが設置されている。これら測定用カメラで撮影された映像がそれぞれ２台以上の測定用モニタに表示されている。測定用カメラとは別に撮影区域内の監視を行うための監視用カメラも設置されている。２台以上の測定用モニタに表示された各画像において、入力手段によって同一の撮影対象物が指定される。この入力手段により指定された撮影対象物の位置を、各測定用カメラの画像から、位置測定手段が算出する。この算出された撮影対象物の位置に基づいて、監視カメラ駆動制御手段が、監視用カメラによって撮影対象物が撮影できるように監視用カメラの撮影方向を制御する。
【０００５】
【発明が解決しようとする課題】
この特許文献１の技術では、ステレオ視法を用いて、撮影対象物の各測定用カメラからの位置を決定している。そのため、撮影対象物の位置決定のために、２台以上の測定用カメラと２台以上の測定用モニタとが必要であり、撮影装置のコストが高くなる。
【０００６】
しかも、撮影対象物の位置を決定するためには、監視員は、２台以上の測定用モニタの画像それぞれにおいて、撮影対象物を特定するための操作を行わなければなら無い。また、監視員は、２台以上の測定用モニタを見るために、視点の移動を行わなければならない。従って、撮影対象物を速やかに指定することが困難である。
【０００７】
しかも、この撮影対象物の指定は、撮影区域内の同じ位置に撮影対象物が存在する状態で行わなければ、撮影対象物を正確に監視用カメラによって撮影することができない。しかし、撮影対象物が例えば人体のように移動するものである場合、一方の測定用モニタにおいて撮影対象物を指定した後、他の測定用モニタにおいて撮影対象物を指定したときには、撮影対象物が移動している可能性がある。これを避けるためには、各監視用モニタにおいて迅速に撮影対象物を指定する必要がある。従って、１台の監視用モニタにおいて撮影対象物を指定することができる撮影装置が必要である。
【０００８】
本発明は、１台のカメラによって得られた二次元画像上で、被検知物体を特定することによって、被検知物体の三次元座標位置、特に高さを自動的に得ることができる撮影装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明による撮影装置は、１台の撮影手段を有している。この撮影手段は、三次元空間上にある基準面とこの基準面上にある被検知物体とを二次元で撮影する。三次元空間は、第１の三次元座標軸、第１の三次元座標軸に直交する第２の三次元座標軸及び第１及び第２の三次元座標軸に直交する第３の三次元座標軸によって規定されている。基準面は、第３の三次元座標軸に直交するものであり、例えば三次元空間上にある床面とすることもできるし、或いは、この床面よりも所定の高さにあるものとすることもできる。この撮影手段によって撮影される二次元画面は、第１の二次元座標軸と第１の二次元座標軸に直交する第２の二次元座標軸とによって規定されている。二次元座標決定手段が、この撮影手段の二次元画像から前記被検知物体の像を確定し、前記二次元画像において前記基準面に相当する二次元基準面上にある前記被検知物体の像の第１の二次元座標と、第１の二次元座標から前記二次元基準面から離れた位置にある前記被検知物体の像の第２の二次元座標とを決定する。被検知物体の像の確定は、例えば複数フレームの二次元画像を用いて、フレーム間差分をとることによって行うこともできるし、或いは、表示手段に表示されている二次元画像を目視で確認して、マウス等の操作手段を操作することによって行うこともできる。第１の二次元座標を前記三次元空間の前記基準面上にある第１の三次元座標に第１の座標変換手段が変換する。第２の二次元座標を、第２の三次元座標に第２の座標変換手段が変換する。第２の座標変換手段による変換は、第２の三次元座標のうち、第１または第２の三次元座標軸の位置が第１の三次元座標の第１または第２の三次元座標軸の位置に存在するものとして行っている。
【００１０】
一般に二次元座標を三次元座標に変換するには、三次元座標の３つの座標軸のうち少なくとも１つの座標軸上の値が必要である。このように構成した撮影装置では、被検知物体の画像の第１の二次元座標が二次元基準面上にあることを利用して、即ち、三次元座標に変換した場合、基準面上の座標となる（第３の三次元座標軸上の値が判明している）ことを利用して、第１の変換手段が第１の二次元座標を第１の三次元座標に変換している。さらに、第２の二次元座標を三次元座標に変換する場合、第２の三次元座標のうちの第１または第２の三次元座標軸における位置が第１の三次元座標の第１または第２の三次元座標軸の位置に一致することを前提として、即ち、第２の三次元座標の内、第１及び第２の三次元座標軸の一方の軸上の位置が既知であるとし、第２の座標変換手段が第２の二次元座標を第２の三次元座標に変換している。
【００１１】
このようにして第２の三次元座標が求められるので、第１及び第２の三次元座標における第３の三次元座標軸の値の差を求めることによって、被検知物体の基準面からの高さを求めることができる。決定された高さは、適当な表示手段、例えば二次元画面が表示されているのと同じ表示手段に、表示することができる。この高さの決定は、二次元画面において被検知物体を検知することによって自動的に行われ、操作者が三次元空間における高さを設定する必要はない。
【００１２】
前記１台の撮影手段とは別の撮影手段を、少なくともパン及びチルトを調整可能に設けることもできる。１台だけ別の撮影手段を設けることもできるし、複数台の別の撮影手段を設けることもできる。別の撮影手段は、ズーム機能を備えるものであってもよい。この場合、第２の座標変換手段から入力された第２の三次元座標に基づいて前記別の撮影手段の前記パン及びチルトを制御する制御手段が設けられている。このパン及びチルトの制御は、例えば、第２の三次元座標における第１及び第２の座標軸上の位置であって、かつ第２の三次元座標における第３の座標軸上の値に関連する値、例えば第３の座標軸上の値に適当なバイアスを付加した値の位置を、別の撮影手段が撮影するように、行うことができる。
【００１３】
このように構成することによって、被検知物体を撮影するように別の撮影手段を制御することができる。特に、被検知物体の三次元座標を求め、その座標の位置を撮影するように制御しているので、複数台の撮影手段の制御であっても、容易に行うことができる。
【００１４】
さらに、前記二次元座標決定手段は、前記被検知物体が移動するごとにまたは検出されるごとに第１及び第２の二次元座標を決定することができる。この場合、第１の座標変換手段は、第１の二次元座標が決定されるごとに、第１の二次元座標を第１の三次元座標に変換する。第２の座標変換手段は、第２の二次元座標が決定されるごとに、これを第２の三次元座標に変換する。前記制御手段は、第２の三次元座標が得られるごとに、この第２の三次元座標に基づいて前記別の撮影手段を制御する。
【００１５】
このように構成することによって、被検知物体が移動するものであっても、被検知物体を自動追尾して、別の撮影手段によって撮影することができる。
【００１６】
【発明の実施の形態】
本発明の１実施形態の撮影装置は、例えば映像による監視装置に本発明を実施したものである。この監視装置は、図１に示すように、１台の撮影手段、例えばマスターカメラ２を有している。マスターカメラ２は、例えば広角のビデオカメラで、撮影領域、例えば特定の部屋の所定の範囲を撮影するように、例えば特定の部屋の天井若しくは側壁に取り付けられている。この撮影領域は、図２（ｂ）に示すように、第１の三次元座標軸、例えばｘ軸、第２の三次元座標軸、例えばｙ軸及び第３の三次元座標軸、例えばｚ軸で規定される三次元空間である。ｘ軸とｙ軸とは直交し、さらに、ｘ、ｙ軸にｚ軸が直交している。これらｘ、ｙ及びｚ軸の直交点が原点である。この三次元空間は、基準面、例えば床４を有している。この床４は、例えば、ｘ軸とｙ軸とが通る平面上にある。
【００１７】
マスターカメラ２の撮影信号は、ビデオキャプチャーボード６を介して制御手段、例えばパーソナルコンピュータ８に入力され、例えばＬＣＤやＣＲＴ等の表示装置１０上の表示手段、例えばマスターカメラ用ウインドウに表示されている。図２（ａ）にマスターカメラ用ウインドウに表示されている二次元画面を示す。この画面は、左上隅を原点とする第１の二次元座標軸、例えば水平方向のＵ軸と、第１の二次元座標軸と直交する第２の二次元座標軸、例えば垂直方向のＶ軸とによって規定されている。この二次元画面上に、床４が基準二次元領域４ａとして表示されている。
【００１８】
マスターカメラ２はパーソナルコンピュータ８が使用するプログラムによってキャリブレーションされている。例えば、図２（ｂ）に示す三次元空間座標と同図（ａ）に示す二次元座標とを考えた場合、三次元空間座標上の位置に対応する二次元座標位置を決定することができる。このキャリブレーションの手法は公知であるので、詳細な説明は省略する。
【００１９】
マスターカメラ２の他に、複数台、例えば４台の別の撮影手段、例えばスレーブカメラ１２が配置されている。これらスレーブカメラ１２は、パン、チルト及びズーム操作がそれぞれ可能なビデオカメラである。これらスレーブカメラ１２は、それぞれ任意の異なる位置、例えば特定の部屋の天井四隅に配置されている。各スレーブカメラ１２の撮影信号も、ビデオキャプチャーボード６を介してパーソナルコンピュータ８に入力され、表示装置１０の各スレーブカメラ用ウインドウに表示されている。なお、１台の表示装置１０において、マスターカメラ及び各スレーブカメラの画像を表示したが、マスターカメラ、各スレーブカメラ用に１台ずつ表示装置を設けることもできる。
【００２０】
これらスレーブカメラ１２のパン、チルト及びズームの操作は、パーソナルコンピュータ８からの制御信号に基づいて行われる。即ち、パーソナルコンピュータ８は、スレーブカメラ１２の制御手段として機能する。
【００２１】
また、パーソナルコンピュータ８には、例えばマウスや、キーボード等の操作部１４も設けられている。
【００２２】
この実施の形態の監視装置では、図３に示すように、マスターカメラの撮像信号から被検知物体を検出する（ステップＳ２）。この被検知物体は、複数の存在することがある。これら被検知物体の二次元座標を決定し、これら二次元座標から各被検知物体の三次元座標（実世界座標）、被検知物体の高さ及び大きさ（サイズ）を決定する（ステップＳ４）。各被検知物体のサイズを基に、スレーブカメラ１２によって撮影する被検知物体を決定する。即ちサイズに基づくフィルタリングを行う（ステップＳ６）。この決定された被検知物体を各スレーブカメラが撮影するように、各スレーブカメラ１２のパン、チルト及びズームの制御が行われる（ステップＳ８）。そして、再びステップＳ２から実行する。従って、或る被検知物体が床４上を移動していると、この被検知物体をスレーブカメラ１２によって自動追尾して撮影することができる。
【００２３】
そこで、この実施形態では、上述したようにマスターカメラの撮影信号から移動物体を検出している。この検出は、パーソナルコンピュータ８が行う。例えば、マスターカメラ２の撮影信号のうち、連続または接近した複数例えば２枚のフレームの差分をとることによって、移動している物体を抽出し、これを被検知物体の部分と決定する。或いは、被検知物体が撮影されていない背景フレームをメモリに予め記憶させておいて、この背景フレームと撮影された最新のフレームとの差分を取ることによって、被検知物体を検出することもできる。画像処理による被検知物体の検出法として、これら以外にも公知の種々の手法を採用できる。
【００２４】
次に、図２（ａ）に示すように、この被検知物体の部分を接して囲うように、例えば矩形の枠体Ａをパーソナルコンピュータ８が決定する。この枠体Ａは、その下部が必ず基準二次元領域４ａに接触するように決定する。基準面として床４を使用しているので、被検知物体が、例えば人体のような移動物体である場合には、床面上にある確率は非常に高い。この枠体Ａの下部のＶ軸方向の座標をＶｂｏｔｔｏｍと、上部のＶ軸方向の座標をＶｔｏｐと決定する。同じく、枠体Ａの左右方向の右端のＵ軸方向の座標をＵｒｉｇｈｔと、左端のＵ軸方向の座標をＵｌｅｆｔとパーソナルコンピュータ８が決定する。このようにして被検知物体の二次元座標、例えば枠体Ａの４隅の二次元座標が取得され、パーソナルコンピュータ８が、二次元座標検出手段として機能している。
【００２５】
なお、マスターカメラ用ウインドウを目視し、例えば操作部１４を二次元座標指定手段として使用して、被検知物体に接して囲うように、マスターカメラ用ウインドウにおいて枠体Ａを描き、これら枠体Ａの上述した各座標Ｖｂｏｔｔｏｍ、Ｖｔｏｐ、Ｕｒｉｇｈｔ、Ｕｌｅｆｔを、パーソナルコンピュータ８によって取得することによって、移動物体を囲う枠体Ａの４隅の二次元座標を取得することもできる。
【００２６】
このようにして求めた各二次元座標を基に、被検知物体の三次元座標を求めるが、上述したように、マスターカメラ用ウインドウに表示された画像はキャリブレーションされているので、三次元空間である撮影領域との対応が取られ、三次元空間上の或る座標位置を、マスターカメラ用ウインドウの画面上の座標位置に変換することは可能である。しかし、逆に、マスターカメラ用ウインドウの画面上の座標位置（二次元座標）を三次元空間上の座標に直接に変換することはできない。
【００２７】
そこで、図３のステップＳ４の処理は、図４に詳細に示すように行われている。まず、二次元基準領域４ａ上にある座標（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）を三次元空間に変換したとき、基準領域４上にある、即ちｚ軸方向の位置は０であることは明らかであるので、ステップＳ１０において、座標（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）が三次元座標に変換されたｚ軸方向の値ｚｗ＝０を条件として、第１の３次元空間座標（ｘ１、ｙ１、０）にパーソナルコンピュータ８が変換する。同様に、ステップＳ１０において、二次元基準領域４ａ上にあるもう１つの座標（Ｕｒｉｇｈｔ、Ｖｂｏｔｔｏｍ）もｚｗ＝０を条件として第１の３次元空間座標（ｘ２、ｙ２、０）に変換する。このようにパーソナルコンピュータ８は第１の三次元座標変換手段として機能する。上記の前提をおいているので、この座標変換は容易に行える。この変換された基準面４上の座標（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）を図２（ｂ）に示す。
【００２８】
これら座標変換を、図５を参照して説明する。この座標変換では、図５に示すようなマスターカメラ２の中心ｃとマスターカメラ２の画像上の座標（ｕ，ｖ）、例えば上述した（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）または（Ｕｒｉｇｈｔ、Ｖｂｏｔｔｏｍ）を通る３次元座標空間における直線Ａを求め、その直線が床面に交差する点ａを対象物の位置（ｘｗ、ｙｗ、０）として計算する。この（ｘｗ、ｙｗ、０）が、上述した（ｘ１、ｙ１、０）または（ｘ２、ｙ２、０）に相当する。
【００２９】
ここで、図５に示す三次元座標（ｘｗ、ｙｗ、ｚｗ）とマスターカメラ２のカメラ座標（ｘ、ｙ、ｚ）との関係は、次式で表される。次式においてＲは３行３列の回転行列、Ｔは平行移動ベクトル［Ｔｘ、Ｔｙ、Ｔｚ］^Ｔである。
【００３０】
【数１】

【００３１】
まず、マスターカメラ２の画像上の座標（ｕ，ｖ）を、マスターカメラ２の画像平面Ｘ−Ｙ（その中心が原点０であり、この原点０がマスターカメラ２の座標の原点ｃに対応している平面）における座標（Ｘｄ、Ｙｄ）に、次式によって変換する。但し、ｕｃ、ｖｃは、マスターカメラ２の画像座標の中心を表す。
【００３２】
【数２】

【００３３】
座標点（Ｘｄ、Ｙｄ）をマスターカメラ２におけるレンズ歪みを修正した座標点（Ｘｕ、Ｙｕ）に次式によって変換する。但し、ｒは画像中心からの距離であり、Ｓは画像座標の縦横比、ｋ１、ｋ２はレンズ歪み係数である。
【００３４】
【数３】

【００３５】
図５において、マスターカメラ２の座標の原点ｃから画像上の（Ｘｕ、Ｙｕ）点を通過する光線ベクトルＶｒ＝［ｘｖ、ｙｖ、ｚｖ］^Ｔは、次式によって表される。ｆは、マスターカメラ２の座標における焦点距離とする。
【００３６】
【数４】

【００３７】
光線ベクトルＶｒを３次元空間上の直線で表すと、次式となる。但し、αは実数である。
【００３８】
【数５】

【００３９】
ここで、床面４がｘｗ−ｙｗ平面に平行であり、ｚｗ＝０であると仮定しているので、上記直線が床面４と交わるときのαを次式によって決定することができる。
【００４０】
【数６】

【００４１】
数６に求めたαの値を数５に代入することによって、画像座標点（ｕ、ｖ）に対応した三次元座標点（ｘｗ、ｙｗ、０）を、次式によって求めることができる。
【００４２】
【数７】

【００４３】
数７を使用することによって、上述した（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）、（Ｕｒｉｇｈｔ、Ｖｂｏｔｔｏｍ）を、（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）に変換できる。
【００４４】
次に、二次元座標（Ｕｌｅｆｔ、Ｖｔｏｐ）と、（Ｕｒｉｇｈｔ、Ｖｔｏｐ）とを、第２の三次元空間座標に変換するが、このとき、二次元座標（Ｕｌｅｆｔ、Ｖｔｏｐ）は、先の座標（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）とＵｌｅｆｔが共通である。従って、二次元座標（Ｕｌｅｆｔ、Ｖｔｏｐ）を三次元座標に変換したｘ軸及びはｙ軸の値は、（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）を三次元座標に変換した値（ｘ１、ｙ１、０）のｘ軸及びｙ軸の値ｘ１、ｙ１と等しいと考えられる。そこで、ステップＳ１２において、変換されるｘ軸方向の値ｘｗ＝ｘ１またはｙ軸方向の値ｙｗ＝ｙ１を条件として、（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）を三次元空間座標（ｘ１、ｙ１、ｚ１）に変換する。
【００４５】
例えば、（ｘ１、ｙ１、０）を通るｙｗ−ｚｗ平面を考え、（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）を通る光線を数５から求める。ここでは数５における実数αをβとする。その光線が、ｘｗ−ｚｗ平面（この平面はｚｗ≠０）と交差するβを次式によって求める。
【数８】

【００４６】
βの値を数５に代入することで、（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）に対応した三次元座標（ｘ１、ｙ１、ｚ１）を求めることができる。なお、（ｘ１、ｙ１、０）を通るｘｗ−ｚｗ平面を考え、（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）を通る光線を数５から求める際に、βを次式によって求めることもできる。
【００４７】
【数９】

【００４８】
同様にして、ステップＳ１４において、（Ｕｒｉｇｈｔ、Ｖｔｏｐ）の三次元座標への変換後のｘ軸方向の値ｘｗ＝ｘ２またはｙ軸方向の値ｙｗ＝ｙ２を条件として、（Ｕｒｉｇｈｔ、Ｖｔｏｐ）を三次元空間座標（ｘ２、ｙ２、ｚ２）に変換する。従って、パーソナルコンピュータ８は、第２の三次元座標変換手段としても、機能する。変換された三次元空間座標（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）を図２（ａ）に示す。
【００４９】
このようにして被検知物体を囲う枠体Ａの４隅の二次元座標（Ｕｌｅｆｔ、Ｖｂｏｔｔｏｍ）、（Ｕｒｉｇｈｔ、Ｖｂｏｔｔｏｍ）、（Ｕｌｅｆｔ、Ｖｔｏｐ）、（Ｕｒｉｇｈｔ、Ｖｔｏｐ）を三次元座標（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）、（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）に変換する。
【００５０】
これら４つの三次元座標（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）、（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）を用いて、被検知物体の高さｈと、横幅ｗとを算出する。
【００５１】
まず、ステップＳ１６において、ｚ１とｚ２との平均値（ｚ１＋ｚ２）／２を算出し、高さｈを求める。図２（ａ）では、ｚ１とｚ２とを同じ高さに描いてあるが、実際には、異なった高さになることがあるので、その場合に備えて、ｚ１とｚ２との平均を高さｈとしている。
【００５２】
このようにして物体の三次元における注目している部分の床面４からの高さ、例えば物体の床面４からの高さを知ることができる。例えば物体が人体であった場合で、その注目している部分を人体の頭頂部とすれば、その身長を知ることができ、防犯上有用である。この高さｈは、例えばマスターカメラ用ウインドウに表示する。
【００５３】
次に、ステップＳ１８において、（ｘ２−ｘ１）^２＋（ｙ２−ｙ１）^２の平方根を求めることによって、被検知物体の横幅ｗを算出する。この横幅ｗを用いて、ステップＳ６のフィルタリングが行われる。
【００５４】
続いて、ステップＳ２０において、スレーブカメラ１２の中心で撮影する三次元座標を、（ｘ１＋ｘ２）／２、（ｙ１＋ｙ２）／２、ｈ−α（αは予め定めた値）の演算を行って求める。ここで、（ｘ１＋ｘ２）／２、（ｙ１＋ｙ２）／２は、被検知物体の中心が位置するｘ、ｙ軸上の値を示している。またｈ−αの演算を行っているのは次の理由による。ｈが被検知物体の高さを示しており、被検知物体が例えば人体である場合には、ｈは、床面４を基準とした頭の先端の高さを示している。人体を撮影する場合には、その顔の部分がスレーブカメラ１２の中心に捉えられることが望ましい。従って、顔が捉えられるように、ｈよりもαだけ低い位置を撮影するようにｈ−αの演算を行っている。
【００５５】
このようにして被検知物体の撮影しようとしている部分の三次元座標位置が得られる。このとき、複数の被検知物体がある場合、いずれの被検知物体を撮影するかを決定するために、ステップＳ８によって横幅ｗに基づくフィルタリングが行われている。なお、このフィルタリングは、横幅ｗだけでなく高さｈも含めて行うこともできるし、高さｈだけで行うこともできる。高さｈだけでフィルタリングを行う場合には、横幅ｗの算出は不要である。
【００５６】
撮影する被検知物体が決定されると、ステップＳ２０において決定した被検知物体の座標を中心として各スレーブカメラ１２が撮影するように、ステップＳ１０において各スレーブカメラ１２のパン角度、チルト角度、ズーム倍率をパーソナルコンピュータ８が計算し、計算された角度及び倍率となるように各スレーブカメラ１２を制御する。
【００５７】
この角度及び倍率の計算は、物体の撮影しようとしている部分の三次元座標が判明しているので、この三次元座標と、予め判明している各スレーブカメラ１２の三次元座標とを利用して、容易に行える。このように異なる任意の位置にある各スレーブカメラ１２によって物体を同時に撮影することができるので、物体が人体であり、その注目している部分が頭部である場合に、例えば１台のスレーブカメラで物体を撮影したが、後姿しか映し出されていないというような場合、他のスレーブカメラにより別の方向から撮影することにより、顔を捉えることができる確率が高くなる。或いは、撮影領域４上にある何らかの静止物によって遮蔽されて、物体を全く撮影できないと言う事態を回避することもできる。なお、物体が人体等の移動体である場合には、その移動体が移動するごとに、追尾することができる。なお、撮影しようとする物体が静止物体であることもある。
【００５８】
上記の実施の形態では、４台のスレーブカメラ１２を用いたが、その台数は任意に設定することができ、最小限度１台のスレーブカメラ１２を設けることもできる。また、物体の三次元空間における座標及び高さを取得し、適切な表示手段に表示するだけでよい場合には、スレーブカメラ１２は不要である。
【００５９】
また、上記の実施の形態では、枠体Ａの４隅の二次元座標を用いたが、二次元基準領域４ａ上の二次元座標、例えば（Ｕｌｅｆｔ＋Ｕｒｉｇｈｔ）／２、Ｖｂｏｔｔｏｍと、同じＵ軸上の値を持ち、Ｖ軸方向に異なる値を持つ二次元座標、例えば（Ｕｌｅｆｔ＋Ｕｒｉｇｈｔ）／２、Ｖｔｏｐとを、用いてもよい。この場合には、（Ｕｌｅｆｔ＋Ｕｒｉｇｈｔ）／２、Ｖｂｏｔｔｏｍをｚｗ＝０として三次元に座標変換し、これによって得られたｘ軸上の値またはｙ軸上の値が共通するとして、（Ｕｌｅｆｔ＋Ｕｒｉｇｈｔ）／２、Ｖｔｏｐを三次元に座標変換する。
【００６０】
また、上記の実施の形態では、被検知物体が人体である場合に備えて、αの値を顔が撮影できるような場合としたが、αの値を適切に選択することによって、例えば、腰の当たり、胸の当たりを中心にスレーブカメラ１２によって撮影することもできる。また、上記の実施の形態では、高さｈからαを減算したが、適当な係数Ｋを高さｈに乗算しても良い。上記の実施の形態では、基準面を床面４としたが、これに限ったものではなく、床面４から垂直に予め定めた距離だけ離れた位置を基準面とすることもでき、またマスターカメラ２やスレーブカメラ１２の設置位置や物体の通過位置によっては、天井面とすることもできる。
【００６１】
上記の実施の形態では、マスターカメラ２には、固定カメラを使用している。従って、パン、チルト及びズームの制御は行えない。しかし、パン、チルト及びズーム操作可能なカメラをマスターカメラとして使用することもできる。その場合、このカメラによってパン、チルト及びズームがそれぞれ異なる画像が得られるが、これら映像ごとにキャリブレーションを行っておく必要がある。例えば、異なるパン、チルト及びズーム位置をそれぞれプリセット記憶しておいて、これらプリセットそれぞれに対してキャリブレーションを行っておけば、そのプリセット位置を再生してマスターカメラとして使用することも可能である。
【００６２】
上記の実施の形態では、本発明を映像による監視装置に実施したが、これに限ったものではなく、例えばカメラマンが一人で特定の撮影対象物、特に移動物体を多視点で撮影するシステム等に使用することもできる。
【００６３】
【発明の効果】
以上のように、本発明によれば、１台の撮影手段によって得られた映像に基づいて、自動的に被検知物体の三次元座標位置を取得することができ、特に基準面からの高さを取得することができる。また、この取得された三次元座標に基づいて、任意の位置に設けた少なくとも１台の別の撮影手段が、被検知物体を中心として迅速に撮影することもできる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の撮影装置のブロック図である。
【図２】図１の撮影装置において二次元座標位置から三次元座標位置を決定する過程を示す図である。
【図３】図１の撮影装置において実行される処理の概略を示すフローチャートである。
【図４】図４のフローチャートにおけるステップＳ４の処理の詳細なフローチャートである。
【図５】図１の撮影装置において二次元座標位置から床面上の三次元座標位置を決定する手法の説明図である。
【符号の説明】
２マスターカメラ（撮影手段）
４床（基準面）
８パーソナルコンピュータ（二次元座標決定手段、第１及び第２の座標変換手段）
１２スレーブカメラ（別の撮影手段）

Claims

第１の三次元座標軸、第１の三次元座標軸に直交する第２の三次元座標軸及び第１及び第２の三次元座標軸に直交する第３の三次元座標軸によって規定される三次元空間上にある、第３の三次元座標軸に直交する基準面とこの基準面上にある被検知物体とを、第１の二次元座標軸と第１の二次元座標軸に直交する第２の二次元座標軸とによって規定される二次元で撮影する１台の撮影手段と、
この撮影手段の二次元画像から前記被検知物体の像を確定し、前記二次元画像において前記基準面に相当する二次元基準面上にある前記被検知物体の像の第１の二次元座標と、第１の二次元座標から前記二次元基準面から離れた位置にある前記被検知物体の像の第２の二次元座標とを決定する二次元座標決定手段と、
第１の二次元座標を前記三次元空間の前記基準面上にある第１の三次元座標に変換する第１の座標変換手段と、
第２の二次元座標を、第２の三次元座標に変換し、この変換を、第２の三次元座標のうち、第１または第２の三次元座標軸の位置を第１の三次元座標の第１または第２の三次元座標位置に位置させて、行う第２の座標変換手段とを、
具備する撮影装置。
請求項１記載の撮影装置において、
前記１台の撮影手段とは別の撮影手段を、少なくともパン及びチルトを調整可能に設け、
第２の座標変換手段から入力された第２の三次元座標に基づいて前記別の撮影手段の前記パン及びチルトを制御する制御手段が設けられている
撮影装置。
請求項２記載の撮影装置において、
前記二次元座標決定手段は、前記被検知物体が移動するごとに第１及び第２の二次元座標を決定し、
第１の座標変換手段は、第１の二次元座標が決定されるごとに、第１の二次元座標を第１の三次元座標に変換し、
第２の座標変換手段は、第２の二次元座標が決定されるごとに、これを第２の三次元座標に変換し、
前記制御手段は、第２の三次元座標が得られるごとに、この第２の三次元座標に基づいて前記別の撮影手段を制御する
撮影装置。