JP2007142517A - 移動型自動監視装置 - Google Patents

Abstract

【課題】監視範囲を可視可能な範囲全域に広げつつ、全体を監視し、かつ監視対象の拡大画像を取得し、死角を無くして監視対象エリア全体を一枚の映像として表示する。
【解決手段】 車輌とともに移動して車輌周囲の空間情報を取得する空間情報取得部１０と、車輌の三次元位置と姿勢を示す位置座標情報を取得する位置座標取得部２０と、監視領域の三次元地図を備えた三次元地図部３０と、空間情報と車輌の位置座標情報及び監視領域の三次元地図に基づき車輌周囲の三次元空間情報を統合する統合空間情報部４０と、監視領域内にある対象物を検出・特定する自動検出部５０と、特定された対象物の所定の属性情報を認識する自動認識部７０と、車輌の移動に必要な画像情報と、対象物の映像及びＣＧを、車輌からの視点と合致させて実映像中に合成して表示する監視表示部９０とを備える。
【選択図】図１

Description

本発明は、車輌に積載したビデオカメラ等の撮影装置やレーザスキャナ等によって所望の監視対象を自動で監視するための監視カメラ装置に関し、特に、障害物や不審物を自動検出し、自動認識し、該当映像を表示するとともに、監視対象物が決まっている場合には、その監視対象物の移動等を自動追跡して監視・表示することができる移動型自動監視装置に関する。

一般に、防犯システム，セキュリティ・システムとして、ビデオカメラ等の撮影装置によって所望の監視対象を無人・自動で監視するための監視カメラシステムが広く利用されている。
この種の監視カメラシステムは、例えば、銀行やコンビニエンス・ストアの店内やキャッシュ・コーナー、飛行場のターミナルや滑走路等、所定の監視対象物や監視対象エリアに監視カメラを設置し、監視カメラで撮影された映像を遠隔操作で監視することで、不審者の発見や所定の監視対象物の追跡監視等が行われるようになっている。

このような従来の監視カメラシステムでは、監視カメラは、ズーム機能を備えた狭角カメラが雲台に搭載されて視角方向に回転駆動され、一のカメラで一定範囲を撮影・監視できるようになっていた。そして、このような監視カメラが、監視対象物の数や大きさ、監視対象エリアの広さ等に応じて、一又は複数の監視カメラが適切な場所に配設・設置され、所望の監視が行われていた。
このような従来の監視カメラシステムに関する技術としては、例えば、特開平７−２８３９７９号公報（特許文献１）記載の「全周囲装置」や、特開平８−１９４８０９号公報（特許文献２）記載の「３６０度監視システム」などが知られている。

特開平７−２８３９７９号公報（第２−３頁、第１図） 特開平８−１９４８０９号公報（第２−３頁、第１図）

しかしながら、これまでの監視カメラシステムでは、監視用のカメラは雲台により視角方向に回転できるようになっていたが、雲台による回転駆動には限界があり、対象となる監視範囲は限定されたものとなっていた。
また、回転するカメラによる監視では必ず監視されない死角ができてしまい、カメラを３６０度回転させたとしても、カメラ全周を同時に撮影・監視することはできなかった。

さらに、従来の監視カメラシステムでは、周囲の状況・環境等によって監視効果が大きな影響を受けてしまい、特に、夜間の監視や新雪の積雪時の監視等の場合には、映像の解析によって監視対象物を識別・検知することはきわめて困難であった。しかも、夜間用の監視カメラは、通常、固定して設置されるため、死角が生じて、監視エリアを満遍なく撮影・監視することは不可能であった。
このように、従来の監視カメラシステムは、特に防犯システム，セキュリティ・システムとしては万全なものとはいえなかった。

本願発明者は、鋭意研究の結果、視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせることにより、監視範囲を可視可能な範囲全域に広げて、全体を監視しながら、同時に監視対象に対しては、拡大画像を得ることが可能となり、死角を無くして、監視対象エリアの全体を一枚の映像として表示し、画像の高解像度化と監視範囲の広域化の双方を同時に実現することができる監視カメラシステムに想到し、特願２００５−２１８０５３号において「視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム」を提案している。

本発明は、上記の本願発明者提案に係る監視カメラシステムを更に改良・発展させたものであり、監視対象を監視・撮影するカメラ等の計測器を車輌等の移動体に積載し、移動体を移動させつつ監視対象の映像を取得することにより、移動体とともに移動するカメラ等によって監視範囲を可視可能な範囲全域に広げつつ、全体を監視し、かつ、監視対象に対しては詳細な拡大画像を得ることができ、死角を無くし、監視対象エリアの全体を一枚の映像として表示することができ、カメラの高解像度化と監視範囲の広域化の双方を同時に実現できる、万全で漏れのない信頼性の高い監視システム，セキュリティ・システムを実現することができる移動型自動監視装置の提供を目的とする。

上記目的を達成するため、本発明の移動型自動監視装置は、請求項１に記載するように、移動体に搭載され、移動体とともに移動して当該移動体周囲の空間情報を取得する空間情報取得部と、移動する移動体の三次元位置と姿勢を示す位置座標情報を取得する位置座標取得部と、移動体が移動する監視領域及び当該監視領域から前記空間情報取得部が空間情報を取得可能な領域の三次元地図を備えた三次元地図部と、移動体周囲の空間情報と、移動体の位置座標情報、及び監視領域の三次元地図に基づいて、移動体周囲の三次元空間情報を統合して統合空間情報を生成する統合空間情報部と、移動体周囲の空間情報と三次元地図とを対応させ、監視領域内にある監視対象物を検出し特定する自動検出部と、自動検出部で特定された監視対象物の所定の属性情報を認識する自動認識部と、移動体の移動に必要な画像情報と、自動検出部で特定された監視対象物の映像、及び自動認識部で属性認識された監視対象物のＣＧ又は映像を、移動体から観察される視点と合致させて、実映像，実写映像又は三次元地図中に合成して表示する監視表示部と、監視表示部を介して表示される監視対象物の所定のデータを記録する記録部とを備える構成としてある。

また、本発明の移動型自動監視装置は、請求項２に記載するように、前記自動検出部で監視対象物として特定される対象物の大きさ，形状，位置等の変更が検出されると、当該変更を、前記三次元地図部の三次元地図情報及び／又は前記記録部の所定のデータに反映させる地図更新部を備える構成としてある。

また、本発明の移動型自動監視装置は、請求項３に記載するように、前記自動検出部で特定された監視対象物の三次元座標と、前記位置座標取得部で取得される移動体の三次元座標に基づいて決定される当該監視対象物の方向に向けて、前記空間情報取得部に備えられる観測機器を駆動制御する視点方向コントロール部を備える構成としてある。

また、本発明の移動型自動監視装置は、請求項４に記載するように、空間情報取得部が、移動体周囲の映像を広範囲に取得する全周カメラ，指定方向に視点を向ける指定方向カメラ，レーザ光を走査して方向と距離を計測するレーザスキャン装置，レーダ波を発射して反射波の方向と距離を計測するレーダ装置等の各機器の一部又は全部を備え、昼夜、季節、天候等の状況に応じて、これら各機器を単独で又は任意の組み合わせにより、前記移動体周囲の空間情報を取得する構成としてある。

また、本発明の移動型自動監視装置は、請求項５に記載するように、前記自動検出部で特定された監視対象物と、前記自動認識部で認識された当該監視対象物の属性情報に基づいて、前記移動体の次の行動を決定する自動判断部と、前記自動判断部で決定された前記移動体の次の行動に従って、当該移動体を制御する自動制御部とを備えた構成としてある。

さらに、本発明の移動型自動監視装置は、請求項６に記載するように、前記統合空間情報部が、前記空間情報取得部で取得される移動体周囲の空間情報と、前記位置座標取得部で取得される当該移動体の位置座標情報のみに基づいて、移動体周囲の三次元空間情報を統合して統合空間情報を生成するとともに、当該統合空間情報に基づいて、前記三次元地図部に備えられる三次元地図を生成する構成としてある。

以上のような構成からなる本発明の移動型自動監視装置によれば、まず、車輌等の移動体に搭載された全周カメラの映像で、監視対象物（予測される対象物、障害物、不審物等）を検出し、ズームカメラがそこにズームアップすることができる。これにより、全周カメラで不審物を発見し、その三次元位置を求めその座標に対してズームカメラがズームアップすることができる。また、既存の対象物に対しては、対象物をクリックすることで属性登録、属性更新、属性検索属性表示をすることができる。
これは、本出願人が先に出願した特願２００５−２１８０５３号の「視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム」に提案されており、本発明においてもその技術を一部分踏襲している。

そして、本発明では、移動する車輌に積載した機器により、監視対象物や監視対象物（予測される対象物、障害物、不審物等）を監視するものであり、移動する車輌を停止させ、停止した状態で機器を作動させれば、画像処理に関する一部技術は上述した本出願人の先願（特願２００５−２１８０５３号）記載の発明となる。なお、この場合には、先願における狭角カメラが、本発明の車輌に設置されるカメラ、又は既設のカメラと対応することになる。
しかしながら、上記先願では、監視用のカメラが所定位置に固定的に設置される場合を対象とするものであり、移動するカメラによる対象物の三次元計測と、監視対象物（予測される対象物、障害物、不審物等）の検出，認識等については提案されていない。

そこで、本発明の移動型自動監視装置は、予め取得してある監視領域及びその周辺の三次元地図を基準とし、移動体に搭載したカメラで撮影される動画映像と比較し、移動体の三次元位置座標と姿勢を高精度に取得するようにしたものである。
また、本発明の移動型自動監視装置は、移動体に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、多数の特徴点について重複演算してカメラ位置と回転角を示すＣＶデータを高精度に求めることができ、これによって、移動体に伴って移動するカメラの三次元位置座標を高精度に取得するようにしたものである。
これによって、車輌等の移動体に搭載したカメラによる監視対象物の三次元計測と、任意の監視対象物の検出・認識が可能となり、移動体とともに移動するカメラ等によって監視範囲を可視可能な範囲全域に広げつつ、全体を監視し、かつ、監視対象に対しては、詳細な拡大画像を得ることができるようになる。

従って、本発明によれば、監視領域において、死角を無くし、しかも夜間等であっても、路面形状や監視対象物（予測される対象物、障害物、不審物等）等を確実に発見することができ、最も条件の悪い新雪の積雪状況等においても、走行しながら、又は停止して、任意の監視対象物の三次元形状を検出することが可能となる。
これにより、万全で漏れのない信頼性の高い監視システム，セキュリティ・システムを実現することができる。

本発明の移動型自動監視装置によれば、三次元地図を基準とし、又は三次元地図を生成しながら、動画映像の複数のフレーム画像から、カメラ位置、カメラ回転角等を高精度に示すＣＶ（カメラベクトル）を演算により自動的に求め、移動するカメラの高精度の位置情報をリアルタイムに生成・取得することができ、得られた高精度の位置情報を用いて、カメラにより撮影・監視される監視対象物の三次元計測と、任意の監視対象物の検出・認識が行える。
これにより、移動体とともに移動するカメラ等によって監視範囲を可視可能な範囲全域に広げつつ、全体を監視し、かつ、監視対象に対しては詳細な拡大画像を得ることができ、死角を無くし、監視対象エリアの全体を一枚の映像として表示することができ、カメラの高解像度化と監視範囲の広域化の双方を同時に実現できる、万全で漏れのない信頼性の高い監視システム，セキュリティ・システムを提供することができる。

以下、本発明に係る移動型自動監視装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の移動型自動監視装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，映像と三次元地図との比較，カメラベクトルの演算，監視対象物の自動検出・自動認識，監視対象物の三次元座標の算出，監視対象物画像のＣＧ化等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［基本構成］
まず、本発明の一実施形態に係る移動型自動監視装置の基本構成について図１を参照しつつ説明する。
図１は、本発明の一実施形態に係る移動型自動監視装置の基本構成を示すブロック図である。
同図に示す本実施形態の移動型自動監視装置１は、空間情報取得部１０と、位置座標取得部２０と、統合空間情報部３０と、三次元地図部４０と、自動検出部５０と、地図更新部６０と、視点方向コントロール部７０と、自動認識部８０と、監視表示部９０と、データ記録部１００と、自動判断部１１０と、自動制御部１２０とを備えている。

空間情報取得部１０は、車輌等の移動体（後述する図３〜図４に示す移動体１０ａ参照）に積載されるカメラ，レーザスキャナ，レーダ等の空間を把握する機器・機材等からなり、監視区域を走行し、車輌周囲の三次元の空間情報をこれら複数の機器を切り替えて、又は組み合わせて使用することで、広範囲に亘って把握する。
具体的には、空間情報取得部１０に備えられる計測機器類としては、車輌周囲の映像を広範囲に取得する全周カメラ（後述する図３〜図４参照）や、指定方向に視点を向ける指定方向カメラ、レーザ光を走査して方向と距離を計測するレーザスキャン装置、レーダ波を発射して反射波の方向と距離を計測するレーダ装置等があり、これら機器類が選択的に車輌等の移動体に搭載されて、監視領域の映像等の空間情報を取得する。

そして、これら機器類は、昼夜，季節，天候等の状況により、機器のうちの何れか、又はその組み合わせにより適切な機器を選択して、空間情報を取得することができ、後述する統合空間情報部４０において、状況により適切な選択によって得られた空間情報から三次元空間情報を統合して生成することができる。
従って、昼間、夜間、晴れ、雨、雪等の様々な条件で空間情報を取得できるように、複数の機器を車輌に積載し、それらの機器を切り替えて、又は複合的に使用して、車輌周囲の空間情報を取得することが好ましい。

空間情報の取得は、基本的には、車輌は走行しながら情報を取得するが、天候や路面等の条件が悪い場合には、車輌を適切な地点に停止させ、時間をかけて空間情報を取得するようにしてもよい。
視界の良い昼間であれば、広角カメラ又は全周囲カメラのみでも走行しながら良質な空間情報を取得できる。
夜間であれば、赤外線カメラを多数並べて空間情報を取得する。
また、特に積雪時には、映像の解析が困難となるためレーザスキャナが適切である。
また、レーザスキャナによる雪面への照射パタンを画像解析することで空間情報が取得できるので、積雪時、夜間時にはレーザスキャナは有効である。

位置座標取得部２０は、ＧＰＳやＩＭＵ，ジャイロ等の既知の手段により、走行中の車輌の三次元座標と姿勢を取得する。
また、位置座標取得部２０は、空間情報取得部１０に備えられるカメラ（口述する全周カメラ部１１）からの出力から、全周囲映像を用いてＣＶ演算により求められたＣＶ映像から、車輌の三次元座標と姿勢を示すＣＶ値を生成・取得する。ＣＶ値を求めるＣＶ演算の詳細については後述する（図２〜図１４参照）。

さらに、位置座標取得部２０は、後述する三次元地図部４０に備えられる三次元地図の中の指定された点と空間情報との対応点を連続的に取ることができ、このようにすると、後述する特徴点追跡方式のＣＶ演算を行う場合と比較して、より高速に位置情報を取得することができ、特に、リアルタイム処理には三次元地図を利用する後者の方が有利である。また、ＣＶ演算と三次元地図の両者を併用することで、互いに誤差を埋め合い、安定的にＣＶ値を取得することができる。

ここで、三次元地図とリアルタイム取得した映像との対応は、映像上の特徴点を自動抽出しても良いが、前もって指定した指定点や、指定目的で用意したマーカを三次元地図の映像に写し込んでおくことで、空間情報の取得時に取得した指定点や同一マーカとの比較対応により、車輌の位置座標と姿勢を取得することができる。ここでは、指定点は三次元座標を持っていることが重要であり、指定点をリアルタイム取得した映像内に検出できれば、その点の三次元座標が取得できることを意味している。
指定目的で用意する指定点マーカとしては、丸や三角，四角等の単純な幾何学的パタン及びその組み合わせが好ましく、これらの幾何学パタンを視野に入る位置に設置しておく。

実写映像の指定点及び指定点マーカと三次元地図との対応で取得される車輌位置と姿勢は後述するＣＶ値そのものであり、後述する特徴点追跡方式でＣＶ演算して取得したＣＶ値と全く同じ意味を持つ。
すなわち、空間情報として取得したリアルタイム映像は、三次元地図と比較することで、ＣＶ値を取得することができる。なお、この場合のＣＶ値は、正確にはカメラ位置を示す値であるため、車輌位置との校正を必要とするが、それは両者の関係を維持する限り、一度校正すれば良いことになる。

三次元地図部３０は、ＣＶ映像やレーザスキャンデータ等により生成した、監視区域内に関するＣＶ映像三次元地図を予め備えている。
三次元地図は、前もって監視区域内とその周囲を精密に測量して、精度の高い三次元地図を生成しておくことが好ましいが、空間情報取得部１０と位置座標取得部２０によって三次元地図を生成することも可能であり、精度は測量によるものに比較して落ちるものの、簡易的には十分利用することが可能である。従って、前もって用意した三次元地図が無くても、位置精度を問題にしなければ、監視目的は十分に達成できることになる。

すなわち、本実施形態の移動型自動監視装置１では、三次元地図部３０を備えなくても、空間情報取得部１０と位置座標取得部２０のみで統合空間情報を取得することができる。精度の高い三次元地図を備える場合に比較すれば精度は落ちるが、統合空間情報を取得し、そこから三次元地図を生成することは可能である。
従って、初めは三次元地図部３０を持たず、取得した統合空間情報から三次元地図を生成しつつ、監視を行うことも可能である。この場合、後述する地図更新部８０によって新規に三次元地図が生成されることになり、次回以降からは、ここで生成された三次元地図が三次元地図部４０として機能することになる。そして、次回からは、前回生成された三次元地図を三次元地図部４０として利用して監視処理が行えるようになる。

統合空間情報部４０は、各種の計測機器で計測して得られた各種空間情報を、総合的に判断して統合して、統合された三次元の空間情報を生成し、さらに、車輌の三次元位置と姿勢、及び三次元地図との比較から、統合空間情報を生成する。
自動検出部５０は、三次元地図と統合空間情報を比較して対応させ、地図に記載された監視対象物（予測される対象物）の存在を統合空間情報内に確認し、地図内の位置を割り出し、又は三次元地図には存在しない監視区域内の監視対象物（障害物、不審物）を発見し、地図内の位置を割り出し、特定する。
ここで、「検出」とは、監視対象物（予測される対象物、障害物、不審物等）を発見することをいい、「特定」とは、三次元地図に予め登録されている監視対象物を総合空間情報の中に存在を確認すること、又は、総合空間情報の中に監視対象物（予測される対象物、障害物、不審物等）を発見し、その位置と大まかな大きさを決定することをいう。
さらに、後述するように、「認識」とは、対象物の属性を確認したことをいう。

視点方向コントロール部６０は、自動検出部５０により特定された監視対象物（予測される対象物、障害物、不審物等）の三次元座標と、車輌の三次元座標から、演算により決定される監視対象物（予測される対象物、障害物、不審物等）の方向に対して、詳細を検討するために観測機器を向けるようにコントロールする制御手段である。例えば、車輌に積載され狭角に設定されたビデオカメラにより、目標となる監視対象物（予測される対象物、障害物、不審物等）に向けるように、カメラの雲台やズームを駆動制御する。
また、視点方向コントロール部６０は、監視対象物（予測される対象物、障害物、不審物等）が移動する場合には、カメラ等をその移動方向に追跡してコントロールする。

自動認識部７０は、特定された監視対象物（予測される対象物、障害物、不審物等）情報の属性を認識する。
ここで、監視対象物の属性情報の「認識」とは、それがデータベースに登録されている記憶と対照されて、その属性を確認できたことをいう。
本実施形態では、自動認識部７０として、ＰＲＭ技術を利用することで関し対象物の属性認識処理を行うようにしてある（後述する図１９のＰＲＭ認識部７１参照）。

ここで、ＰＲＭとは、Parts Reconstruction Method（３Ｄ空間認識方法）の略であり、本願発明者により開発された対象物を認識するための技術である（国際出願PCT/JP01/05387号参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また、対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。

具体的には、信号機であれば、その三次元形状を取得しただけでは「検出」であり、座標と姿勢まで分かれば「特定」であるが、信号機という名称が分かり、３個のライトが赤青黄に変化し、それぞれの交通上の意味を理解しているときに、属性を理解（認識）したということができる。
なお、ＰＲＭ認識によって、あらゆる監視対象物（予測される対象物、障害物、不審物等）が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
但し、自動認識部７０で認識できない場合に、本監視装置１のオペレータ（人間）が認識し、それを本監視装置１に登録・記憶させることは勿論可能であり、このようにすれば、それ以降は、当該対象物は自動認識部７０によって自動認識されることになる。

地図更新部８０は、監視対象物（予測される対象物、障害物、不審物等）が消滅したり、形状が変更されていたり、又は監視対象物と特定した対象物、又は前もって登録されている対象物に、大きさ，形状，位置等の変更が検出された場合に、新たに三次元地図部３０の地図に登録・反映する。
また、この地図更新部８０によって、上述した「特定」だけでなく、「認識」まで進んだ対象物を新規登録する場合もある。

監視表示部９０は、検出され、特定された監視対象物（予測される対象物、障害物、不審物等）を表示する表示手段であり、液晶その他のディスプレイ等で構成される。
具体的には、監視表示部９０は、本監視装置１が搭載される車輌に走行案内上必要となる映像情報をＣＧ化し、さらに本監視装置１で検出され、特定され、認識された監視対象物や、その属性を表示する。表示方法としては、(1)単独で実映像の中に表示する、(2)実写映像の中に表示する、(3)三次元地図の中に表示する等の方法がある。

以下、この(1)〜(3)の各表示方法について具体的に説明する。
まずここで、本監視装置１の車輌の走行上必要な画像情報とは、例えば、夜間の運転走行における昼間の映像のことであり、また、例えば冬季積雪時の運転走行における夏の映像のことである。
さらに、例えば霧などで視界が悪い場合の、視界が良い状況の映像のことである。

(1)の単独で実映像の中に表示する方法は、走行上必要となる画像情報をＣＧ化し、さらには、本監視装置１で検出され、特定された監視対象物を、簡易図形化し、又は指定方向カメラによって高解像度で取得した映像から切り取り、さらには認識された監視対象物をＣＧ化し、観測者（又は運転者）の実映像（実風景）の視野に合成して表示する。
観測者は自身の見ている実映像に、視点の矛盾無くＣＧを合成して観察することになる。
当然のことながら、この場合の車輌の動きは、例えばＣＶ演算により取得したＣＶ値（後述）により、位置座標と姿勢を実映像に矛盾無く合成することができる。

(2)の実写映像の中に表示する方法は、走行上必要となる画像情報をＣＧ化し、さらに本監視装置１で検出され、特定された監視対象物を、簡易図形化し、又は指定方向カメラにより高解像度で取得した映像から切り取り、さらには認識された監視対象物をＣＧ化し、実写映像に合成して表示する。
観測者（運転者）はモニタ画面上に実写映像に合成されたＣＧ画像を目に見ることになる。
この場合の車輌の動きは、(1)の場合と同様、例えばＣＶ演算により取得したＣＶ値により、位置座標と姿勢を実映像に矛盾無く合成することができる。

(3)の三次元地図の中に表示する方法は、走行上必要となる画像情報をＣＧ化し、さらに本監視装置１で検出され、特定された監視対象物を、簡易図形化し、又は指定方向カメラにより高解像度で取得した映像から切り取り、さらには認識された監視対象物をＣＧ化し、実写映像に合成して表示する。
観測者（運転者）は、モニタ画面上に三次元地図に合成されたＣＧ画像を見ることになる。
この場合の車輌の動きも、例えばＣＶ演算により取得したＣＶ値により、位置座標と姿勢を実映像に矛盾無く合成することができる。

データ記録部１００は、後の解析のために、監視対象物や、予測される対象物、障害物、不審物等のデータを記録するハードディスク等の記録媒体である。
なお、データ記録部１００に記録されるデータとしては、監視表示部９０を介して表示される画像データ等に加えて、後の判断のために参考となる情報として、判断精度と判断時間を向上させるために、判断の材料となった各種条件も同時に記録することが望ましい。

以上のような空間情報取得部１０〜データ記録部１００までの構成より、本監視装置１による自動監視の目的は達せられる。
ところで、車輌は人間が運転するのが一般的であるが、本実施形態に係る移動自動監視装置１は、当該車輌の走行路を正確に検出し、特定し、認識することができるので、運転の自動化が可能である。
すなわち、本監視装置１を搭載した車輌は、人間が運転しなくても、自分で走行路の状況を判断して走行する自動運転が可能である。
以下、本監視装置１により車輌の自動運転を行うための構成を説明する。

図１に示すように、自動運転に必要となる構成として、本実施形態の移動型自動監視装置１は、自動判断部１１０及び自動制御部１２０を備える。
自動判断部１１０は、自動検出部５０で特定された結果と、自動認識部７０で認識された結果とから判断して、車輌の次の行動を決定する判断手段である。
自動制御部１２０は、自動判断部１１０で判断された車輌の次の行動に沿って、車輌を制御する駆動制御手段である。
空間情報取得部１０の監視目的は、車輌周辺の監視対象物（予測される対象物、障害物、不審物等）の空間情報取得であるが、特に自動運転においては、進行方向の路面状況をもその監視対象として取り上げ、車輌走行の路面状況の確認、及び路面上に監視対象物（予測される対象物、障害物、不審物等）等が存在するか否かを重点的に監視し、走行の安全を確保する必要がある。

自動判断部１１０では、自動検出部５０で特定された結果によって、走行路の三次元形状が把握される。また、自動認識部７０で認識された結果からは、対象物によりその属性が分かるので、その重要性や扱い方が分かる。
そこで、本監視装置１では、決められた監視対象物を監視しながら、監視対象物（予測される対象物、障害物、不審物等）を検出し、さらに同じ機器と方法で車輌の安全走行上必要な路面状況を自動判断しながら走行する。
そして、自動判断部１１０は、これらの情報から判断して、車輌の周囲の状況を理解し、予定走行路の確認、監視対象物（予測される対象物、障害物、不審物等）の有無等から車輌の次の行動を決定する。
例えば、監視対象物を危険物と判断して、急ぎ監視対象物から遠ざかるか、詳細検討のためにさらに近づき、周囲を周り、あるいは追跡して、各方向から観察するか否かを決定する。

自動制御部１２０は、前記自動判断部で判断された前記車輌の次の行動にそって、車輌のステアリング、アクセル、ブレーキ等を制御して、自動運転をする。
なお、以上のような自動運転のための空間情報取得部１０，位置座標取得部２０、三次元地図部３０，統合空間情報部４０，自動検出部５０，視点方向コントロール部６０，自動認識部７０，地図更新部８０の各部は、自動運転を目的とする専用としても良い。但し、運転目的と監視目的とを分離して専用装置とすることで装置が増大することや、コストの点、さらには自動運転には本監視装置１とほぼ同様の機能が求められることから、監視目的と自動運転目的とを共用とすることが効率的であり好ましい。
従って、本実施形態及び以下に示す各実施形態では、空間情報取得部１０，位置座標取得部２０、三次元地図部３０，統合空間情報部４０，自動検出部５０，視点方向コントロール部６０，自動認識部７０，地図更新部８０は、自動運転のためのものと区別せず、共用とすることで説明してある。

［特徴点追跡方式ＣＶ演算］
次に、以上のような移動型自動監視装置１の位置座標取得部２０におけるカメラの位置座標取得処理に用いられるＣＶ演算（特徴点追跡方式ＣＶ演算）の詳細について図２〜図１４を参照しつつ説明する。
ここで、ＣＶ演算とはＣＶ値を求めることを意味し、求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。

特徴点追跡方式のＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても相対値の三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
例えば、他の方法による計測手段（ＧＰＳやＩＭＵ等）では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。

動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明の移動型自動監視装置は、このＣＶ演算により得られたＣＶ値データに基づいて移動体に搭載された監視用のカメラの位置座標情報を生成・取得するものである。

［（特徴点追跡方式）ＣＶ演算部］
特徴点追跡方式ＣＶ演算は、上述した移動型自動監視装置１における位置座標取得部２０（図１参照）や、後述する全周囲映像ＣＶ演算部２０ａ（図１９参照）として機能するＣＶ演算部により行われる。
図２は、本発明の移動型自動監視装置の位置座標取得部として機能するＣＶ演算部２０の一実施形態の基本構成を示すブロック図である。
図２に示すように、ＣＶ演算部２０は、空間情報取得部１０から入力されるビデオ映像等について所定のＣＶ演算処理を行うようになっており、具体的には、特徴点抽出部２１と、特徴点対応処理部２２と、カメラベクトル演算部２３と、誤差最小化部２４と、三次元情報追跡部２５と、高精度カメラベクトル演算部２６とを備えている。
そして、ここで得られたＣＶ値は、統合空間情報部３０に入力される。

まず、ＣＶ演算に使用する映像としては、どのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、全周映像（図３〜４参照）とすることが望ましい。なお、動画映像は連続する静止画と同様であり、連続静止画は動画映像と同様に扱うことができる。
また、映像は、移動型自動監視装置１の空間情報取得部１０で取得される車輌の移動に合わせてリアルタイムに取り込んだ映像が使用されることになるが、リアルタイム監視の必要がない場合は、監視領域を予め撮影・記録した動画映像を使用することも勿論可能である。

本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図３〜４参照）か、又は全周映像に近い広角映像を用いて全周映像の一部として扱い、ＣＶ演算を行うか、又はその全周映像を視点方向に平面展開することにより、ＣＶ演算を行うようにしてある。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図５（ｃ）参照）、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。

移動型自動監視装置１の空間情報取得部１０において全周映像を生成するには、まず、図３及び図４に示すように、全周ビデオカメラ１１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体１０ａに固定された全周ビデオカメラ１１で、移動体１０ａの移動とともに移動体周辺を撮影する。
なお、移動体１０ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体１０ａに搭載される全周ビデオカメラ１１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図３及び図４に示すように、車輌に複数のカメラが一体的に固定され、移動体１０ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ１１を使用している。

そして、以上のような全周ビデオカメラ１１によれば、図４に示すように、移動体１０ａの天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体１０ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ１１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。

なお、全周ビデオカメラ１１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図５（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。

そして、以上のように生成・取得された全周ビデオ映像が、ＣＶ演算部２０に入力されてＣＶ値データが求められる（図２参照）。
ＣＶ演算部２０では、まず、特徴点抽出部２１が、全周ビデオ映像部１０の全周ビデオカメラ１１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部２２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。

三次元情報追跡部２５は、カメラベクトル演算部２３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２６は、三次元情報追跡部２５で得られた追跡データに基づいて、カメラベクトル演算部２３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが、後述する移動型自動監視装置１に入力され、位置座標取得処理及び統合空間情報処理に利用されることになる。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図２に示す本実施形態のＣＶ演算部２０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

カメラベクトルとは、カメラの持つ自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、ＣＶ演算部２０における具体的なカメラベクトルの検出方法について、図６以下を参照しつつ説明する。
まず、上述した空間情報取得部１０の全周ビデオカメラ１１で取得された画像データは、間接に又は直接に、ＣＶ演算部２０の特徴点抽出部２１に入力され、特徴点抽出部２１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図６〜図８に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図８に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図９に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図９の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラベクトル演算部２３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図８に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図８に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図８は、ＣＶ演算部２０における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化部２４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図１０〜図１２に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図１０〜図１２は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図１０では、図８の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１１及び図１２は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、ＣＶ演算部２０におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１３に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算部２０では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。

さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２５で、カメラベクトル演算部２３，誤差最小化部２４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部２６においてより高精度なカメラベクトルが求められる。

上述した特徴点抽出部２１及び特徴点対応処理部２２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。

カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。

ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

以上のようにして求められたカメラベクトルは、全周ビデオカメラ１１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図１４に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねた表示した画像例を図１４に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１４に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。

［三次元指定点対応方式ＣＶ演算］
次に、以上のような特徴点追跡方式のＣＶ演算の応用である三次元指定点対応方式のＣＶ演算について、図１５〜図１８を参照しつつ具体的に説明する。
なお、以下に示す三次元指定点対応方式ＣＶ演算の説明においては、ＣＶ値が既知であるＣＶ映像三次元地図を基準映像とし、ＣＶ値が未知であるリアルタイムで取得された映像を比較映像として使用している。

まず、図１５〜図１７を参照して、上述した移動型自動監視装置１の統合空間情報部１０において高速ＣＶ演算を行うための三次元指定点対応ＣＶ演算について説明する。
図１５は、三次元指定点対応方式のＣＶ演算を行うＣＶ演算部１００の基本構成を示すブロック図である。また、図１６及び図１７は、図１５に示す三次元指定点対応方式のＣＶ演算部１００の詳細を示すブロック図である。

［（三次元指定点対応方式）ＣＶ演算］
図１５に示すように、三次元指定点対応方式のＣＶ演算部１００は、リアルタイム映像をＣＶ映像三次元地図（三次元地図）の座標に統合するための装置であり、具体的には、ＣＶ映像三次元地図部１０１と、ＣＶ付加部１０２と、三次元指定点指定部１０３と、リアルタイム映像部１０４と、初期位置設定部１０５と、三次元指定点対応部１０６と、対応指定点追跡部１０７と、ＣＶ取得部１０８と、座標統合部１０９を備えている。

ＣＶ映像三次元地図部１０１は、撮影した動画映像からなるＣＶ映像三次元地図（三次元地図）を基準映像として保持する。
ＣＶ付加部１０２は、ＣＶ映像三次元地図部１０１から入力されるＣＶ映像三次元地図の各フレームに対して、上述したＣＶ演算（特徴点追跡方式ＣＶ演算）を行い、絶対座標で校正されたＣＶ値（カメラ位置と姿勢の三次元値）を付加する。これはＣＶ映像三次元地図部を作成するときに前もって演算し、付加しておくことが望ましい。
三次元指定点指定部１０３は、ＣＶ付加部１０２で絶対座標を持つＣＶ値が付加されたＣＶ映像三次元地図の中に、自動又は手動で任意の三次元指定点を指定し、付加されたＣＶ値に基づいて、指定された任意の三次元指定点の三次元座標を取得する。

リアルタイム映像部１０４は、ＣＶ映像三次元地図部１０１に保持されているＣＶ映像三次元地図と比較すべき、動画映像からなるリアルタイム映像を比較映像として保持する。
初期位置設定部１０５は、ＣＶ映像三次元地図とリアルタイム映像との中の共通地点の対応関係を自動又は手動で初期設定する。
三次元指定点対応部１０５は、初期位置設定部１０５で初期設定されたフレームから開始する動画像の各フレームに亘って、三次元指定点指定部１０３で指定されたＣＶ映像三次元地図の中の三次元指定点に対応する部分を、リアルタイム映像の中に自動的に対応付け、各フレームに亘って対応指定点を探索し続ける。
対応指定点追跡部１０７は、三次元指定点対応部１０６で対応付けられた対応指定点を、リアルタイム映像の進行する各フレームに亘って追跡する。

ＣＶ取得部１０８は、対応指定点の対応結果により、ＣＶ映像三次元地図の三次元指定点の三次元座標が、リアルタイム映像の対応指定点に移植され、その結果から初期設定部のリアルタイム映像のＣＶ値を、上述したＣＶ演算（特徴点追跡方式ＣＶ演算）によって求め、追跡により各フレームに亘ってＣＶ値を求める。すなわち、ＣＶ取得部１０８は、三次元指定点対応部と対応指定点追跡部により、ＣＶ映像三次元地図とリアルタイム映像との対応がついたことで、ＣＶ映像三次元地図の指定点の三次元座標がリアルタイム映像に移植されたことになり、それが三点以上有れば、リアルタイム映像のカメラ位置と姿勢が求められ、ＣＶ値を取得することができる。実際には、数十点以上の対応を求めることで精度を上げることが望ましい。
座標統合部１０９は、ＣＶ付加部１０２でＣＶ値が付加されたＣＶ映像三次元地図と、ＣＶ取得部１０８でＣＶ値が求められたリアルタイム映像とを、同一の座標系に座標統合させる。

［座標統合処理］
以下、三次元指定点対応方式のＣＶ演算部１００におけるＣＶ映像三次元地図とリアルタイム映像の映座標統合処理（座標統合方法）について説明する。
まず、三次元指定点対応方式のＣＶ演算部１００のシステム全体の効率化を考慮すれば、前もって演算可能なＣＶ映像三次元地図（三次元地図）側に負担を与えたとしても、リアルタイム処理を行うリアルタイム映像（リアルタイム映像）側の演算の負担を軽くする必要がある。
そこで、リアルタイム映像部１０４，初期位置設定部１０５及び三次元指定点対応部１０６によるリアルタイム演算が可能となるように、前もって演算可能な部分については、可能な限りＣＶ映像三次元地図側での演算として予め処理を行っておくことが好ましい。

三次元指定点対応部１０６においては、対応指定点の対応関係を、全フレームに亘って探索することで、リアルタイム映像側に対応指定点の三次元座標の移植を行うことができ、これによって、リアルタイム映像について、各フレーム単位でＣＶ値が取得できることになる。
三角形の原理から、一枚のフレームに付き最低三点の三次元座標の移植が有れば、ＣＶ値は演算で求められるが、精度を確保するためには、数十点以上の移植が必要である。
また、三次元指定点は三次元座標を持っており、リアルタイム映像のＣＶ値と同じＣＶ値に視点変更が可能であるから、ＣＶ映像三次元地図とリアルタイム映像の対応が容易になる。

また、三次元指定点対応部１０６においては、全フレームではなく、断続的に代表フレームにおいて対応を取り、代表フレームの間の他のフレームについては、対応指定点をリアルタイム映像内で追跡した結果からＣＶ値をもとめることでもＣＶ値を取得することができる。
なお、全フレームによるＣＶ値取得と、対応指定点の追跡によるＣＶ値取得を組み合わせて、全フレームに亘り対応指定点を求めて、三次元座標の移植を行い、更に対応指定点の追跡結果からＣＶ値を求めることで、より精度の高いＣＶ値を取得することができる。

ここでは、三次元指定点が二次元ではなく、三次元であることが重要である。前もって三次元座標の既知である複数点の三次元指定点を用いて、前もってＣＶ映像三次元地図内に追跡しておき、その三次元形状をリアルタイム映像内に対応させることで、あるいは複数の三次元指定点をＣＶ映像三次元地図とリアルタイム映像と両映像内で同時に追跡することで、両映像の三次元対応を取ることが可能となる。
そこで、以下の実施形態では、ＣＶ映像三次元地図内に三次元指定点を設けること、リアルタイム映像と対応を取ること、及びリアルタイム映像の中に三次元指定点を追跡することを特徴としている。
ただし、三次元指定点を用いれば、三次元座標が移植されるので、リアルタイム映像側の１フレームについてのみでも、ＣＶ値を求めることができる。これは、複数のフレームに亘る追跡結果を必要とする特徴点追跡方式のＣＶ演算（図２〜図１４参照）の場合と比較して大きな差異となる。

なお、三次元指定点対応部１０６におけるＣＶ映像三次元地図とリアルタイム映像の対応は、同一画像内での対応（追跡）よりもかなり困難であるという前提がある。
従って、三次元指定点対応部１０６の処理において、対応点の取得に失敗するフレームが生じることも十分考えられる。また、三点以上の対応点が得られない場合も想定できる。そこで、三次元指定点対応部１０６は可能な限り対応点の取得を行い、対応に失敗するフレームが発生しても、その部分はリアルタイム映像側の追跡によりリアルタイム映像側だけで特徴点追跡方式CV演算を行い、抜けの部分のＣＶ値を補足して求めることが実際的である。
この三次元指定点対応部１０６における対応処理について、更に説明する。

［三次元指定点対応処理］
以下、三次元指定点対応部１０６における対応処理を、図１６及び図１７を参照しつつ、より具体的に説明する。
一般に、ＣＶ映像三次元地図とリアルタイム映像とは、カメラが異なり、画質も異なり、撮影条件も異なるので、ＣＶ映像三次元地図とリアルタイム映像の対応関係を取ることは困難なものとなる。この点、従来の方法としては、三次元点を構成する微少領域のテクスチャをマッチングや相関で追跡する方法が行われていた。しかし、このような従来方法では、異種カメラ間の異なる画質の映像と、撮影条件の差異などにより、対応関係を正確に取ることはきわめて困難であった。

そこで、本実施形態では、ＣＶ映像三次元地図とリアルタイム映像の対応について、従来の二次元小領域マッチングによらず、図１６及び図１７に示すような新しい方法により行うようにしてある。
図１６に示す三次元指定点対応方式ＣＶ演算部１００では、ＣＶ映像三次元地図側の三次元指定点に対応して、リアルタイム映像側でも三次元対応指定点を対応させ、三次元座標を移植させて、ＣＶ演算する方法となっている。
また、図１７に示す三次元指定点対応方式ＣＶ演算部１００では、三次元形状が既知であることから、リアルタイム映像側での方向が規定され、その方向からＣＶ値を取得する方法となっている。

［三次元形状対応］
図１６に示す三次元指定点対応方式ＣＶ演算部１００では、図１５で示した三次元指定点対応部１０６が三次元指定点形状対応部１０６ａを備えるとともに、対応指定点追跡部１０７が三次元指定点形状追跡部１０７ａを備えている。
三次元指定点形状対応部１０６ａは、三次元指定点対応部１０６において、ＣＶ映像三次元地図内の複数の三次元指定点から構成される三次元形状に着目し、リアルタイム映像内に、三次元指定点と同一座標を持つ三次元対応点が、その三次元形状に一致するようなＣＶ値を求めることで、三次元指定点の対応を求める。
また、三次元指定点形状追跡部１０７ａは、対応指定点追跡部１０７において、対応指定点をリアルタイム映像中の隣接する複数のフレームに亘り追跡することで、ＣＶ映像三次元地図内の既知の三次元形状の三次元座標をリアルタイム映像中の追跡地点に直接移植する。

一般に、二次元画像においては、対応点は小領域の二次元画像であり、テクスチャを比較してマッチングや相関によりその対応点を求めるが、カメラも撮影条件も、画像解像度も異なるＣＶ映像三次元地図とリアルタイム映像においては、その比較がきわめて困難である。
そこで、図１６に示す三次元指定点対応方式ＣＶ演算部１００では、比較すべき指定点対応を二次元テクスチャではなく、三次元のテクスチャでもなく、画像内の三次元座標、すなわち三次元形状の三次元座標関係そのものとすることで、これらのＣＶ映像三次元地図とリアルタイム映像間で様々な物理的条件の違いがあっても比較が可能となるものである。

例えば、ＣＶ映像三次元地図内に三次元指定点４点で構成される四面体を考えると、これはリアルタイム映像内においても、画質の違いに関係なくリアルタイム映像内の三次元計測情報のみで同じ形状の四面体を探すことができる。
これは、三次元形状とその座標は、リアルタイム映像内のＣＶ値を仮定することによりリアルタイム映像内で取得することができ、しかも、画像としての対応ではなく、座標としての対応を求めることができることを意味する。従って、ここではカメラの違いによる画質には一切関係なく、撮影条件にも関係なく、また三次元形状はカメラからの距離によっても変化しないので、三次元指定点形状追跡部では、長距離の追跡が可能となり、精度上きわめて有利となる。

なお、この方法においても、突起物が立体を構成し、各三次元指定点が適切な分布を作る三次元形状を探す必要があり、面の上に多数の三次元指定点をとっても適切な三次元形状を構成できない。
本実施形態では、リアルタイム映像内でＣＶ値を変数として微小変化（視点変更を意味する）させながら、最適なＣＶ値を探索する。
ＣＶ値から演算で求める位置に存在するか否かを確認することを継続することで、正しいＣＶ値を求めることができる。あるいはＣＶ映像三次元地図側でＣＶ値を変数として視点変更しながら探索することも可能である。
言い換えれば、ＣＶ映像三次元地図側で視点変更をしてリアルタイム映像に合わせるか、リアルタイム映像側で視点変更してリアルタイム映像に合わせるか、は自由である。

さらには、両者とも視点変更をしないで、即ち三次元形状の見かけの形状を変更しないで、視点によっては変化しない三次元座標のみに着目して対応を取ることも可能である。
また、複数のＣＶ値取得方法が併用可能であり、ＣＶ値の概略値取得と、それによる視点変更は十分可能であり、その近傍で精度の高いＣＶ値に漸近して求めることができる。
そして、ある一つの方法で三次元指定点の対応に失敗した場合は、他のＣＶ値取得方法によればよく、また、すべての対応に失敗しても、初期値設定からやり直すことで連続的にＣＶ値を求めることが可能となる。

［方向対応］
図１７に示す三次元指定点対応方式ＣＶ演算部１００では、図１５で示した三次元指定点対応部１０６が三次元指定点方向対応部１０６ｂを備えるとともに、対応指定点追跡部１０７が三次元指定点方向追跡部１０７ｂを備えている。
三次元指定点方向対応部１０６ｂは、三次元指定点対応部１０６において、複数の三次元指定点のカメラ位置からの方位仰角に着目し、リアルタイム映像中の三次元対応点が、ＣＶ値を仮定した場合の演算で予想される方位仰角に存在することを確認することで、リアルタイム映像中の対応点を三次元指定点に対応させる。
三次元指定点方向追跡部１０７ｂは、対応指定点追跡部１０７において、ＣＶ映像三次元地図中の三次元指定点を、リアルタイム映像中に三次元座標が既知である三次元形状を構成する各点の方向として、隣接する複数のフレームに亘り追跡する。

図１７に示す三次元指定点対応方式ＣＶ演算部１００では、ＣＶ映像三次元地図中の三次元指定点としては、三次元座標が既知の点である三次元指定点を用いるが、リアルタイム映像側での、対応点は形状ではなく、その方向だけを取得し、ＣＶ値を仮定した場合の演算で予想できる三次元指定点の三次元座標のカメラからの視点方向と比較することができる。
すなわち、三次元座標が既知である三次元指定点の、リアルタイム映像内での方向が取得できれば、その方向に対応するＣＶ値を演算で求めることができる。
以上のように、三次元指定点対応部１０６における対応方法と対応指定点追跡部１０７における追跡方法について、種々の方法を述べたが、これらは任意に組み合わせたり併用することができ、映像の性質によって使い分けることにより、どのような条件の映像に関しても、容易かつ正確，迅速にＣＶ値を取得することができる。

［三次元指定点対応方式ＣＶ演算部の他の実施形態］
次に、図１８を参照して、上述した三次元指定点対応方式ＣＶ演算部１００の他の実施形態について説明する。
図１８は、図１５に示した三次元指定点対応方式ＣＶ演算部の変更実施形態の基本構成を示すブロック図である。
同図に示すように、本実施形態は、上述した三次元指定点対応方式ＣＶ演算部１００（図１５参照）の変更実施形態であり、具体的には、図１８に示すように、上述した三次元指定点対応方式ＣＶ演算部１００の構成に、さらに、概略基準空間構成部１１０と、概略ＣＶ取得部１１１と、概略比較空間構成部１１２と、ＣＶキャリブレーション部１１３と、空間対応部１１４の各部を備えている。

概略基準空間構成部１１０は、ＣＶ映像三次元地図に関して、ＣＶ付加部１０２で取得されたＣＶ値から、ＣＶ映像三次元地図の概略三次元空間を生成する。
一方、概略ＣＶ取得部１１１は、リアルタイム映像に関して、ＣＶ映像三次元地図とは無関係に、リアルタイム映像側で特徴点を検出して追跡し、単独でＣＶ演算を行い、リアルタイム映像（リアルタイム映像）を取得したカメラの位置と姿勢を示す概略のＣＶ値を取得する。

概略比較空間構成部１１２は、概略ＣＶ取得部１１１で取得した概略ＣＶ値等からリアルタイム映像の概略比較空間を生成する。
ＣＶキャリブレーション部１１３は、リアルタイム映像の相対ＣＶ値を、三次元指定点対応部１０６及び対応指定点追跡部１０７で得られたＣＶ値により校正して、ＣＶ映像三次元地図の座標系に変換する。
空間対応部１１４は、ＣＶ映像三次元地図の概略三次元空間とリアルタイム映像の概略三次元空間を比較して対応付け、それぞれの空間を概略合致させて、三次元指定点対応部１１０６における対応領域を絞り込む。

ＣＶ映像三次元地図とリアルタイム映像は元々同一空間の近い位置から成り立っており、カメラ位置が多少異なることによる多少の視点の差があるだけである。
本実施形態の概略基準空間構成部１１０においては、ＣＶ映像三次元地図の概略三次元形状が生成されるが、ＣＶ値を用いた視点の微少変更によって生成した二次元映像により、空間対応部１１４によりリアルタイム映像と概略比較することができる。
また、ＣＶ値を求める際に取得した多くの特徴点の三次元座標により、概略基準空間構成部１１０と、概略比較空間構成部１１２と、その分布から概略空間を空間対応部１１４で比較することが可能になる。

また、ＣＶ映像三次元地図もリアルタイム映像も、演算過程でそれぞれ多くの特徴点が検出され、更にそれらが追跡されることにより、多くの三次元化された特徴点が求められている。従って、これら三次元化された特徴点の三次元分布を生成して、空間対応部１１４において、それぞれの空間の三次元形状を比較し、それぞれの空間が合致する位置を探すことで、それぞれの映像の概略比較ができることになる。
すなわち、概略位置関係を求めることができる。

一方、上述したように、図１５に示す三次元指定点対応方式ＣＶ演算部１００では、リアルタイム映像中に三次元指定点を追跡することで、そのまま三次元座標を移植できるので、ＣＶ映像三次元地図（三次元地図）内の三次元指定点に対するリアルタイム映像内の対応点は直接三次元座標として求まり、そのままＣＶ映像三次元地図と座標統合が可能である。
そこで、図１８に示す実施形態では、演算時間に関して高速化が期待できる三次元指定点対応方式ＣＶ演算１００において、特徴点追跡方式のＣＶ演算（図２〜図１４参照）をリアルタイム映像側に併用することで、高速化を図りつつＣＶ演算をキャリブレーションすることができる。

また、特徴点追跡方式のＣＶ演算と三次元点追跡のＣＶ演算とを併用する場合は、三次元点追跡は、必ずしも全フレームに亘って行わなくても良く、キャリブレーションが必要な必要部分のフレームだけでも良いことになり、より高速で効率の良い演算処理が可能となる。
このようにして、本実施形態によれば、画像の性質等に応じて、第一実施形態の方法と本実施形態の方法とを使い分けることで、より精度良くＣＶ値を求めることができるようになる。

以上説明したように、本実施形態の係る移動型自動監視装置１によれば、車輌等の移動体に搭載された全周カメラの映像で、監視対象物（予測される対象物、障害物、不審物等）を検出し、ズームカメラがそこにズームアップすることができる。これにより、全周カメラで不審物を発見し、その三次元位置を求めその座標に対してズームカメラがズームアップすることができる。また、既存の対象物に対しては、対象物をクリックすることで属性登録、属性更新、属性検索属性表示をすることができる。
そして、本実施形態の移動型自動監視装置１では、車輌に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、多数の特徴点について重複演算してカメラ位置と回転角を示すＣＶデータを高精度に求めることができ、これによって、車輌に伴って移動するカメラの三次元位置座標を高精度に取得するようにしてある。

これによって、車輌に搭載したカメラによる監視対象物の三次元計測と、任意の監視対象物の検出・認識が可能となり、移動体とともに移動するカメラ等によって監視範囲を可視可能な範囲全域に広げつつ、全体を監視し、かつ、監視対象に対しては、詳細な拡大画像を得ることができるようになる。
従って、本実施形態の移動型自動監視装置１によれば、監視領域において、死角を無くし、しかも夜間等であっても、路面形状や監視対象物（予測される対象物、障害物、不審物等）等を確実に発見することができ、最も条件の悪い新雪の積雪状況等においても、走行しながら、又は停止して、任意の監視対象物の三次元形状を検出することが可能となり、万全で漏れのない信頼性の高い監視システム，セキュリティ・システムを実現することができる。

次に、以上のようにして求められたＣＶ値に基づいて車輌に搭載したカメラによる対象物の自動監視を行う本発明に係る移動型自動監視装置の、より具体的な実施形態について、図面を参照しつつ具体的に説明する。
［空港内移動型自動監視装置］
まず、本発明の移動型自動監視装置を使用して空港内を自動監視する空港内移動型自動監視装置の一実施形態について、図１９〜図２１を参照しつつ説明する。
図１９は、本実施形態に係る空港内移動型自動監視装置の概略構成を示す機能ブロック図である。
図２０及び図２１は、図１９に示す空港内移動型自動監視装置を搭載した車輌を模式的に示す説明図であり、図２０は天候が良好なときの場合を、図２１は積雪時の場合である。
また、図２２は、図１９に示す空港内移動型自動監視装置により監視される空港全体を模式的に示した平面図である。

これらの図に示す空港内移動型自動監視装置１Ａは、空港内での始業時点検として、本発明に係る移動型自動監視装置１を積載した専用車輌で、空港内を走行しながら、空港内の監視対象物（予測される対象物、障害物、不審物等）を発見し、又既設の設備の破損等を発見する装置である。
まず、本実施形態における専用車輌は、通常の手動運転と同時に、決められたコースを監視しながら、監視対象物に異常が発見されたり、監視対象物（予測される対象物、障害物、不審物等）が発見されたりした場合に、当該対象物に近づいて観察し、自己判断し、自己判断できない場合には中央監視部にデータを送信する等の自動運転機能による自動監視動作が行えるようになっている。

一般に、空港では、昼夜に係わらず監視が必要であり、晴天時のみならず、降雨，降雪時であっても監視を行う必要がある。そして、積雪時には、積雪したスノーバンクの形状等について、その形状を取得したり、監視対象物（予測される対象物、障害物、不審物等）を検出したり、認識する必要がある。本実施形態は、そのような積雪時等であっても自動監視動作が行えるようになっている。
本実施形態の空港内移動型自動監視装置１Ａを搭載する車輌は、専用に設計された監視装置一式を車輌に積載し、空港区域内を走行する。運転者による通常運転と自動運転の双方が行えることを想定している。
図２２の二点鎖線に示すように、車輌は空港内の監視区域を決められたコースに沿って、監視作業をしながら監視区域全域を走行する。

車輌に搭載される空港内移動型自動監視装置１Ａの構成要素は、図１に示した移動型自動監視装置１とほぼ同様の構成となっており、具体的には図１９に示す通りである。同図中、図１に示す移動型自動監視装置１と同様の構成部分については同一の符号を付してある。
空間情報取得部１０は、車輌の周囲を空間的に把握する複数の機器から構成される。具体的には、全周囲カメラ又は広角カメラ，指定方向の対象物を捉える指定方向カメラ，進行方向の路面を捉える進行路面カメラ，レーザスキャナ，レーダを備えている。
全周カメラ部１１は、車輌の全周囲の視野を確保するために、複数の広角レンズカメラか、全周カメラ（図２０〜図２１参照）を設置している。車輌の影となってしまう部分の詳細情報を取得するためには、複数の広角カメラ又は複数の全周カメラを設置するのが望ましい。
また、積雪用の全周カメラは、通常時より高い位置にカメラを設置することが望ましい（図２１参照）。

進行路面カメラ部１２としては、車輌の進行方向の路面を捉えるカメラであり（図２０〜図２１参照）、複数のカメラで路面を捉えるのが望ましい。複数のカメラで同一路面部位を捉えることにより、三次元として捉えることが可能となる。
夜間においては、全周カメラの感度が低下するので、近距離は照明装置により照射して撮影するか、反射物体、又は小ライト等を周囲に設置しておくことが望ましい。反射物体又は小ライトが視野内に１００点以上映り込めば、全周カメラによる空間情報の取得が可能となる。

指定方向カメラ部１３は、走行する車輌に積載されたカメラであり、後述する指定方向コントロール部６０からの指令により、指定方向の映像を取得する機能を持つ部分である。
指定方向カメラは、任意の指定方向にカメラを向けて、指定された画角で対象物を捉えるズーム機能付きカメラが望ましいが、狭角カメラであってもよい。
なお、一度に監視する必要がある対象物が複数有り、監視対象物（予測される対象物、障害物、不審物等）が複数発見されれば、一つのカメラですべて対応するのは困難となる。そこで、指定方向カメラは複数とするのが望ましい。
具体的には、車輌の屋根部等に、車輌を取り巻くように複数設置することが望ましい（図２０（ａ）に示す複数の「カメラ」参照）。

ここで、監視対象物や監視対象物（予測される対象物、障害物、不審物等）が発見されれば、指定方向カメラがその方向に向き、映像として自動的に捉えることになるが、複数カメラに同一対象物を捉える指定をすることも可能であるし、それぞれのカメラに異なる対象物を捉える指定をすることも可能である。
また、複数のカメラにより、同一の対象物を異なる方向から撮影することで、視差情報を持つ映像を取得し、三次元化して解析することができる。
なお、対象物としては、既設の監視対象物である場合もあるし、発見された監視対象物（予測される対象物、障害物、不審物等）であることもあるし、未だ正体不明物の物体であることもある。また、進行路面カメラでは捉えきれない、路面上の亀裂や監視対象物（予測される対象物、障害物、不審物等）であることもある。

また、複数の指定方向カメラの視野を一部重複して視野のある範囲、又は全域を走査して、一部空間、又は全空間の視差のある高解像度画像を取得することができる。複数のカメラには視差があることから、そのまま三次元化が可能である。但し、全周カメラは一瞬で全域の映像を取得できるが、複数カメラによる方法は時間がかかるので、状況によって使い分けることが望ましい。
さらに、日中の監視はビデオカメラによる指定方向監視が可能であるが、夜間には赤外線カメラに切り替えて監視するようにする。なお、赤外線カメラをより有効に用いるには、赤外線照明装置を併用すると効果的である。

レーザスキャナ部１４は、レーザを発射し、走査し、走査範囲の三次元形状を生成する。レーザスキャナは機器自身が二次元に操作して、対象の三次元形状を生成することが出来るが、一方向の走査のみであっても、車輌が進行することで、面的に操作することが可能である。どちらの場合でも使用可能であるが、面走査型のレーザプロファイラの方が望ましい。
特に、新雪時にはレーザスキャンとレーザパタン照射による映像解析に負うところが多い。映像処理のみでは新雪の積雪状況に対応できない場合が想定されるので、レーザスキャナは特に、積雪時のスノーバンクの検出等に有効である。

レーザはそれ自身で、照射物体の走査方向における三次元形状を生成するが、レーザによる照射パタンを監視目的の対象物に照射して画像解析を有利にすることができる。
新雪積雪時のスノーバンクにおいては、映像解析だけでは雪面を有効に捉えられず、解析を困難にしている。このため、特に新雪の積雪時には、スノーバンク面にレーザの照射パタンを照射し、それを指定方向カメラや全周カメラで、しかも複数カメラで捉えることで、映像自身の解析が容易になるという副次効果が期待できる。
また、レーザスキャン装置を複数方向に複数取り付けて、三次元形状を取得することで夜間の精度は向上する。
なお、レーザプロファイラ装置としてはオーストリアRIEGL社製のLMS-２１０等が適している。

レーダ部１５は、小電力のレーダ電波を発射し、航空機や車輌等の比較的大きな移動物体を捉えるのに効果がある。移動物体が監視対象物であれば、その全体像を把握できるし、監視対象物以外であっても車輌周辺の空間情報取得に効果的である。特に、夜間等全周囲カメラが十分に効果を発揮できないときに有効である。但し、空港内でのレーダの使用は、管制や航空機等に悪影響を与える危険があるので、使用は必要最低限にする必要がある。
なお、夜間や積雪時における監視では、映像（全周囲カメラ部、進行路面カメラ部、及び指定方向カメラ部）とレーザスキャナ（レーザスキャナ部）を併用して用いることで対応するのが望ましい。

位置座標取得部２０は、車輌の位置座標を取得する部分である。
図１９に示すように、まず、全周囲映像ＣＶ演算部２０ａは、車載した全周カメラから全周囲映像を取得し、上述した特徴点追跡方式のＣＶ演算（図２〜図１４参照）及びリアルタイム映像と三次元地図との比較による三次元指定点対応方式ＣＶ演算により車輌周囲の三次元空間、及び走行する車輌の三次元的位置と姿勢との関係を取得する機能を持つ部分である。本実施形態では、空間情報取得部１０の全周囲カメラ１１の映像を利用することができるので、新たにＣＶ演算のための全周囲カメラを設置する必要はない。
なお、日中は全周囲カメラにより、周囲の様々な対象物を撮影することで取得できるが、夜間の空間情報は、監視区域内に設置されたあらゆる発光体を全周囲映像として取得することになる。また、夜間において、三次元指定点対応方式のＣＶ演算を行うためには、三次元地図に発光体の映像と座標を登録しておく。

すなわち、空間情報取得部１０の各カメラは、もともと監視対象物を撮影することを目的とするものであるが、そのデータから、空間情報のみならず車輌位置の三次元座標を取得することができる。
指定方向カメラ部１３の赤外線カメラにより赤外線撮影可能な既設の対象物を捉えることで、情報の少ない夜間においては、夜間の空間情報取得のみならず、三次元座標が既知であるライトを取得することにより、位置座標取得にも貢献することになる。

さらに、三次元指定点対応方式ＣＶ演算によれば、リアルタイムで取得した映像（空間情報）と三次元地図の中の指定された点と空間情報との対応点を連続的に取ることで、上述した特徴点追跡方式のＣＶ演算に比較して、より高速に位置情報を取得でき、特にリアルタイム処理には有利である。
三次元地図とリアルタイム取得した映像との対応は、空港の監視区域内にある様々な標識やマークを指定点に指定しておくことで、三次元地図に登録しておき、それと同一の指定点を空間情報としてリアルタイム取得した映像の中に検索すればよい。

空港には、指定点に適した標識やマークが沢山あるので、この方法が有効である。指定点となり得る一例を図２２に示してある。図中、「▲」は指定点となり得る路面表示、「＋」は指定点となり得る標識、「・」は指定点となり得るライトを示している。
なお、標識やマークが少ない空港内の区域においては、指定目的で新たに用意した指定マークを現場に設置し、それを三次元地図の映像に写し込んで置くことで、空間情報取得時に取得した前記指定点との比較対応により、車輌の位置座標と姿勢を取得できる。

対応の取れた指定点から、カメラ位置、すなわち車輌位置を求めるには、原理的には、指定点３点〜４点以上有れば、カメラの三次元座標及び姿勢を検出できることになる。実際には１５〜２０点程度の指定点の対応が取れれば十分であり、さらに１００点近く取れば高精度の三次元座標と姿勢が取得できる。
これは、結果として、三次元指定点対応方式のＣＶ演算で得られたＣＶ値は、特徴点追跡方式のＣＶ演算で得られたＣＶ値と同一であり、三次元地図と比較せずに、単独で特徴点追跡によりＣＶ演算して取得した特徴点追跡方式のＣＶ値と同じ意味を持つ。すなわち、空間情報として取得したリアルタイム映像は、三次元地図と比較することで、ＣＶ値を取得することができるのである。換言すれば、結果として取得されたＣＶ値は、特徴点追跡方式ＣＶ演算によるものなのか、三次元指定点対応方式ＣＶ演算によるものかは区別できないのである。
本実施形態では、三次元指定点対応方式ＣＶ演算を、図１９に示す統合空間情報部４０で行うものとする。

ＧＰＳ・ＩＭＵ・ジャイロ部２０ｂは、ＧＰＳやＩＭＵを積載し、車輌位置の三次元座標と姿勢を取得する機能を持つ部分である（図２０及び図２１参照）。なお、ＩＭＵの替わりにジャイロによっても代用できる。
ＧＰＳやＩＭＵは、周囲の空間情報を取得することはできなが、昼夜に関係なく作動し、車輌位置を示すデータを取得することができる。
また、霧で何も見えないような場合には、ＩＭＵに頼る以外ないが、通常はＧＰＳで概略位置を取得し、三次元地図と実写映像の比較によりＣＶ値を求める方法が有利である。
このように、ＧＰＳやＩＭＵは、すべての機器を同時に用いる必要はなく、これらの機器は必要に応じて切り替えて使うことができる。例えば、映像との比較を行うためには全周映像から得られたＣＶ値をＧＰＳで絶対校正したものが精度良く、利用価値がある。

統合空間情報部４０は、空間情報取得部１０により取得された三次元の空間情報を統合する機能を有する部位である。
具体的には、統合空間情報部４０の座標統合部４１は、空間情報取得部１０の全周囲カメラ部１１，進行路面カメラ部１２，指定方向カメラ部１３，レーザスキャナ部１４，レーダ部１５のいずれか又はそれらの組み合わせから得られたデータと、位置座標取得部２０で得られた車輌位置のデータを統合して、空間情報を統合する。
上述したように、空間情報は一つの機器ではなく、様々な機器の複数の情報の組み合わせで得られる。また、一つの機器でも空間情報を取得できるが、複数用いることでより精度の高い、より緻密な空間情報を取得できる。のである。
そして、取得された複数の空間情報が座標統合部４１で統合される。

車輌位置姿勢特定部４２は、位置座標取得部２０において全周囲映像から得られたＣＶ値と、ＧＰＳ，ＩＭＵからの位置情報により、車輌の座標と姿勢を取得する。この車輌位置姿勢特定部４２で得られた座標と姿勢により、三次元地図の中に車輌位置が特定されることになる。
そして、統合空間情報部４０において求められた車輌位置、例えばＣＶ演算とＧＰＳによって得られた車輌位置を三次元地図上の座標に印すことで、統合空間情報部と三次元地図を整合し、統合させ、さらに三次元地図内での車輌位置を特定することができる。
これによって、三次元地図と空間情報が統合されたことになる。

三次元地図部３０は、前もって生成した、空港の監視区域内及びその周辺の三次元地図を記録している。具体的には、３Ｄ形状地図３１，昼間３Ｄ映像地図部３２，夜間３Ｄ映像地図部３３を備えている。
ここで、三次元地図は、前もって測量も組み合わせて精度の高い三次元地図を生成しておくことができる。すなわち、３Ｄ形状地図３１は、測量等により正確に三次元地図化しておくことができる。
また、前もって、監視区域内を詳細に計測したレーザスキャナによる三次元形状を重ねて３Ｄ形状地図３１とすることもできる。

このように、三次元地図としては、前もって昼間に監視区域全域を詳細に全周映像で撮影し、ＣＶ演算済みの全周囲映像（ＣＶ映像）を昼間３Ｄ映像地図部３２として記録したものが望ましい。
特に、三次元地図部３０には、ＣＶ映像に加えて高精度ＧＰＳや実際の測量を組み合わせて高精度にキャリブレーションした３Ｄ形状地図３１を付加することが望ましい。
また、夜間は座標が既知の小ライトや、車輌からの投光で反射するマーカなどを監視空間に複数設置しておき、その座標を登録した夜間３D映像地図部３３を付加することが望ましい。

このように、夜間と昼間では異なる映像となることから、本実施形態では、夜間と昼間の映像地図２種類を備えるようにしてある。
なお、特殊な場合として、精度は落ちるが、車載された機器のみで三次元地図を生成することができる。この場合、１度目は地図無しで地図を生成しながら監視行動を行い、次回からは、１度目で生成した三次元地図を三次元地図部のデータとして扱い、１度目で取得した地図をさらに更新しながら、監視活動を行うことができる。

自動検出部５０は、比較対応部５１と監視対象物（予測される対象物、障害物、不審物等）自動検出部５２とを備える。
比較対応部５１は、監視区域内の三次元座標を表す三次元地図を、統合空間情報と比較して対応させ、監視対象物（予測される対象物、障害物、不審物等）を検出し、監視対象物を確認する。
ここで、自動検出部５０では、基準となる三次元地図に同じ位置に存在する統合空間情報内の対象物は予測される対象物であり、障害物でも、不審物でもないと判断する。
一方、三次元地図には存在せず、取得した統合空間情報には存在する物体があれば、それは予測される対象物ではなく、障害物、又は不審物と判定する。
さらに、三次元地図には存在して、取得した統合空間情報に存在しない場合には、要検討、要確認との判断になる。

監視対象物（予測される対象物、障害物、不審物等）自動検出部５２は、三次元地図と統合空間情報とを比較して、一致する部分と対応しない不一致の部分とを決定する。
具体的には、監視対象物自動検出部５２は、三次元地図と統合空間情報との不一致の部分を分離して取り出し、監視区域内の監視対象物（予測される対象物、障害物、不審物等）として特定する。
なお、この段階では、不一致部分の三次元座標は特定でき、障害物又は不審物との判定はできるが、認識はされておらず、その特定された対象物が何であるかは不明のままである。

地図更新部８０は、監視対象物の確認結果、及び監視対象物（予測される対象物、障害物、不審物等）等を、三次元地図部３０の三次元地図に登録する機能を持つ。
具体的には、地図更新部８０は、三次元地図との対比の結果、対象物に変化が有ればそれを三次元地図に更新して登録する。
また、地図更新部８０は、監視対象物（予測される対象物、障害物、不審物等）も次回の監視時に再確認するために一時登録する。
さらに、地図更新部８０は、認識結果を三次元地図に反映させる必要が有れば反映させて登録する。
このように、地図更新部８０によって三次元地図の更新が続けられることで、三次元地図部３０に備えられる三次元地図は常に新しい情報に更新されることになる。

視点方向コントロール部６０は、特定された監視対象物（予測される対象物、障害物、不審物等）の三次元座標と前記車輌の三次元座標から演算により決定される監視対象物（予測される対象物、障害物、不審物等）の方向に対して、カメラ等の機器をコントロールする機能を持つ部分である。
具体的には、視点コントロール部６１は、レーザスキャナ装置を可動方式として、その方向をコントロールすることができる。
レーザ機器は一般に高額なので複数取り付けるとは困難なため、一台のレーザスキャナ装置を可動型にして利用することが望ましい。
また、レーザに関する視点コントロール部を設置せず、レーザは固定型として、カメラのみで指定方向を観察するようにすれば、コスト的には有利である。

また、視点コントロール部６１は、監視対象物（予測される対象物、障害物、不審物等）に対して指定方向カメラを向けることで、監視対象物（予測される対象物、障害物、不審物等）を拡大して捉えると同時に、既設の監視対象物に対して、三次元地図に印された位置に、同じ姿勢で存在するか否かを確認することもできる。
この確認のためには、車輌位置からの方向を指定するので、指定方向に既設の監視対象物が予定通り存在すれば、それは監視対象物の確認と同時に、車輌位置の確認にもなることは重要である。
そして、次々と既設の監視対象物が指定通りの方向に存在することを確認していくことで、カメラの正しい三次元の軌跡を取得することができる。

移動体追跡部６２は、単体の全周カメラの映像から得られる移動体ＣＶ値から、又は同期処理した複数の全周カメラによる映像から、移動する物体のみを抽出する。
すなわち、監視対象物（予測される対象物、障害物、不審物等）は移動物体の中にも存在するという前提で、移動体追跡部６２では、移動体とその概略の大きさを検出し、次に、検出された移動体を追跡し、その三次元位置及び方向を追跡する。

自動認識部７０は、取得された情報を総合的に組み合わせ、監視対象物（予測される対象物、障害物、不審物等）として予想される属性情報と照らし合わされて監視対象物（予測される対象物、障害物、不審物等）を認識する機能を持つ。
ここで、認識とは、その監視対象物の属性を記録の中から呼び出せた状態をいう。例えば、監視区域内に「タイヤ」が落ちていた場合、それを監視対象物として判断しその三次元座標を取得した段階では「検出」され「特定」はされてはいるが、未だ「認識」は出来ていない状況である。それが路上に落ちているタイヤであると判断するには、監視対象物（予測される対象物、障害物、不審物等）は、認識部分にあるデータベースと比較され、タイヤの属性と一致したときに、それがタイヤであると認識されたことになる。

本実施形態では、記録した属性と比較して自動認識するＰＲＭ認識部７１を備える。
ＰＲＭ認識部７１は、上述した対象物を認識するためのＰＲＭ技術を使用するものであり、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する。

監視表示部９０は、認識された監視対象物（予測される対象物、障害物、不審物等）を表示する表示手段である。
具体的には、監視表示部９０は、認識された監視対象物（予測される対象物、障害物、不審物等）を、その属性とともに、さらにその三次元位置とともに、単独で現実の実像の中に、又は実写映像の中に、あるいは三次元地図の中に表示する。
なお、監視対象物（予測される対象物、障害物、不審物等）と特定された物体が、記録の中に存在しなければ自動認識部７０では認識できないことになるが、その場合には、監視表示部９０において、その監視対象物（予測される対象物、障害物、不審物等）の形状を映像として表示することができる。
また、監視対象となる対象物のいくつかには、予め属性が登録され、必要に応じて更新し、検索し、画像中で自動又は手動により指定すれば、呼び出された属性を映像とともに表示することができる。

例えば、空港内を移動する航空機は監視対象物であるが、それを本実施形態の監視装置１Ａによって車輌を停止又は移動しながら監視・検出し、その形状やマークから航空機名を特定して、他の属性情報から便名まで認識して、監視表示部９０で表示することができる。
また、監視対象物（予測される対象物、障害物、不審物等）を特定して警報音を発することができる。また、記憶装置の中から属性情報を取得できれば、自動認識して、その属性等を表示し、または警報等を発することも可能となる。

さらに、現実の実像にＣＧ合成して監視表示部９０に表示されることができ、例えば、夜間の監視動作において、夜間映像に昼間の三次元化された映像や、視点移動した二次元映像を合成することができる。
夜間の監視の場合、現実の実像は真っ暗であるが、この現実の実像に車輌の三次元位置と姿勢を合致させることで、すなわち夜間映像のＣＶ値を求めることで、運転者の視点とＣＧの視点を合致させて、夜間映像に昼間の映像を合成することができる。
これによって、オペレータは、夜間でありながら監視表示部９０に表示される昼間の映像を見ながら運転走行し、監視行動を続けることが可能となる。

データ記録部１００は、上述した自動検出部５０の自動検出の結果と、自動認識部７０の自動認識の結果を記録する記録手段である。
ここで、データ記録部１００には、すべての機器と各部の経緯を同時に記録することが望ましい。
また、データ記録部１００に記録するデータは、自動検出した監視対象物及び自動認識した監視対象物を画像として、又は同時にＣＧ化して、長期間記録することもできる。

自動判断部１１０は、自動検出部５０の自動検出結果と、自動認識部７０の自動認識結果の出力から、車輌の置かれている状況を把握して判断し、車輌の次の取るべき行動を決定する。すなわち、自動判断部１１０は、監視装置として、監視の目的に沿った判断を行う。
自動制御部１２０は、自動判断部１１０の出力により、車輌の各部を自動制御し、自動運転を行う制御手段である。
また、自動制御部１２０は、監視に必要となる各機器の制御や、移動する監視対象物の自動追跡，警報音の発生，関係部署への自動連絡等も行う。

車輌部１３０は、自動制御部１２０で制御される車輌そのものである。
車輌には、上述したような本自動監視装置１Ａの各種機器類が搭載されており、自動運転が可能であり、また自動運転を行わない場合には、オペレータによる通常の運転が可能である。
また、車輌は、監視対象物（予測される対象物、障害物、不審物等）の追跡機能と自動運転機能により、移動する不審物の自動追跡が可能となる。

通信回線部１４０は、視点方向コントロール部６０の視点方向データを、通信回線を介してターミナル等に設置された中央監視部１５０や、滑走路等に沿って設置された固定設置ビデオカメラ部１６０に送信する。
これにより、中央監視部１５０では、既設の固定カメラを手動又は自動で指定された座標に向けることができ、中央監視部１５０において直接監視対象物（予測される対象物、障害物、不審物等）を映像で確認することができる。

以上、本発明の移動型自動監視装置の一実施形態として、空港内の監視装置を示したが、本発明は、監視目的以外にも、様々な応用が可能である。
すなわち、三次元地図を備えれば、あるいは三次元地図を備えなくても、リアルタイムに三次元地図を生成することにより、自動運転や自動案内装置として、通常の道路走行にも利用することができる。また、航空機や潜水艦、宇宙探査装置等にも応用が可能である。
以下に、本発明の移動型自動監視装置を監視目的以外に応用する場合の実施形態について説明する。

［作業操作案内表示装置］
以下、本発明の移動型自動監視装置を使用して倉庫の荷物の運搬等を行うための作業操作案内表示装置の一実施形態について、図２３〜図２５を参照しつつ説明する。
図２３は、本実施形態に係る作業操作案内表示装置の概略構成を示す機能ブロック図である。
図２４は、図２３に示す作業操作案内表示装置を搭載した作業車輌を模式的に示す説明図である。
また、図２５は、図２３に示す作業操作案内表示装置の監視表示部で表示される表示画像例である。

上述したように、本発明の移動型自動監視装置は、例えば航空機離着陸時に、空港の現実の実像、や実写映像、又は前もって用意している三次元映像に、目的の案内マーカや監視対象物を重複して表示することができる。
本実施形態では、このような本発明の特徴を利用して、作業者，オペレータが作業車輌や建設機械等を使って作業をする場合に、その作業操作を補助する案内表示を行う、案内マークと現実の実像の合成による作業操作案内表示方法及び装置を提供するものであり、
具体的には、本実施形態の作業操作案内表示装置１Ｂは、一般の作業専用車輌や、ユンボ，バックフォー，ブルドーザ，クレーン，リフト等の重機を用いて作業を行う場合に、現実の実像又は実写映像に三次元化された工事の設計図を重ねて標示し、設計図と現場の現実の実像を重ね合わせて表示・確認できる案内表示装置である。

本実施形態の作業操作案内表示装置１Ｂは、上述した移動型自動監視装置１における監視表示部９０に特徴を有するものであり、その他の部分は、移動型自動監視装置１（及び空港内移動型自動監視装置１Ａ）と同様の構成となっている。
具体的には、図２３に示す通りであり、同図中、図１に示す移動型自動監視装置１（及び図１９に示す空港内移動型自動監視装置１Ａ）と同様の構成部分（同一の符号を付す）については、同様に動作・機能するものである。例えば、本実施形態の案合表示装置１Ｂを搭載した作業車輌においても、上述した空港内移動型自動監視装置１Ａの監視車輌の場合と同様に、自動運転や自動作業を行うこともできる。

以下、作業車輌としてリフトを使用する場合の監視表示部９０の構成及び動作について、図面を参照しつつ詳細に説明する。
図２３に示すように、本実施形態では、空間情報取得部１０で撮影・監視され、自動検出部５０で検出され、また自動認識部７０で認識された監視対象物（予測される対象物、障害物、不審物等）の映像（検出映像）が、監視表示部９０の合成目的映像資料部９１に一旦記録される。
また、合成目的映像資料部９１には、合成目的映像資料として、監視対象物の認識ＣＧ部品（認識映像，認識ＣＧ）や、既存ＣＧ（設計図，計画図）等が記録されている。
そして、これらの合成目的映像資料が、図２３に示すように、現実の実像９２、空間情報取得部１０で取得された実写映像９３、三次元地図から切り出した現場三次元地図９４として出力・表示され、また、これらの映像等とともに、部品化されたＣＧや、既存の三次元地図や完成形が示された設計図等が出力・表示されるようになっている。
以下に、現実の実像９２に合成目的の映像資料としてＣＧが合成表示される場合について説明する。

図２５（ａ）は、現実の実像である。現実の実像とは、カメラ等で取り込んだ映像ではなく、現実そのものであり、現実世界の状況そのものを意味する。
図２５（ｂ）は、本案内表示装置１Ｂによって特定された監視対象物であるコンテナの最終積み上げの完成された形状の作業完了予定図である。
そして、図２４に示すように、リフトの作業者前方に備えられたハーフフミラーと映像投影装置により、これら現実の実像（図２５（ａ））と合成目的映像資料（図２５（ｂ））が、光学的に合成された視野合成図（図２５（ｃ）参照）として表示される。
また、本実施形態では、視野合成図には、図２５（ｃ）に示すように、障害物（図２４（ｂ）参照）を避けて車輌が移動する方向を自動案内する車輌案内マーカが示されるようになっている。さらに、視野合成図には、図２５（ｃ）に示すように、各コンテナの積み上げ時の移動方向も作業案内マーカとして矢印で示されるようになっている。

これにより、現実世界の実映像（図２５（ａ）参照）と、特定された監視対象物であるコンテナの最終積み上げの完成された形状（図２５（ｂ）参照）とが合成されて表示され（図２５（ｃ）参照）、リフトを使用してコンテナを整理整頓して積み上げる作業において、作業者（運転者）は、前方のハーフミラーを通して、現実の実像と作業の最終形と合成される映像を観察して作業を進めることができる。
このように、本実施形態では、合成目的映像資料部９１に記録された合成目的映像資料が、図２４（ａ）に示す映像投影装置とハーフミラーによって、実映像視界と重なるように、実スケールで、視点と距離に矛盾無く、作業者から観察できるようになっており、作業者は合成視界の中に、視野合成図を観察することができる。

なお、リフトの走行作業上必要となるコンテナ等の監視対象物は、前もってＣＧ化され自動認識部７０のデータベースに保存されている。
そして、本作業案内表示装置１Ｂで検出され、特定・認識された監視対象物のコンテナは、自動認識部７０のデータベースからＣＧデータが取り出され、作業者の現実の実像の視野に合成して表示される。ＣＧは三次元的に実スケールで現実の実像に合成されるので、作業者は自身の見ている現実の実像に、視点の矛盾無くＣＧを合成して観察することになる。しかも作業者が頭部を移動させても、視点方向を変えても、三次元的に矛盾無く合成されているので、現実の実像とＣＧとの視点関係は保持される。
当然のことながら、この場合の車輌の動きは、リフトの屋根に取り付けた広角カメラ（図２４（ａ）参照）の映像と三次元地図との対比により、ＣＶ値が求められ、現実の実像に矛盾無く合成することができる。

なお、作業の管理者が作業者の作業状況を監視するには、無線により管理室に送られた車輌に取り付けられた空間情報取得部１０の広角カメラによる実写映像と、自動検出され、自動認識された監視対象物（コンテナ）とを合成して観察すればよい。
この場合は、現実の実映像の替わりに、実写映像又は、三次元地図を合成されることになる。この場合も、広角カメラの映像は三次元地図との対比によりＣＶ値が求められるので、矛盾のない三次元合成が可能である。

以上、本実施形態の作業案内表示装置１Ｂの搭載車輌としてリフトについて説明したが、搭載車輌としては、他の一般車輌やユンボ，バックフォー，ブルドーザ，クレーン等の重機としても有効であることは明らかである。
それぞれの車輌の移動と作業に関して、その完成形を設計図として、三次元地図の中に、あるいは実写映像の中に、あるいは現実の実像の中に合成表示することで、作業が効率化し、又管理が適切となり、工事記録等も正確に取れることになる。
さらに、本実施形態で示した以外に、合成目的映像資料として三次元地図を用いる場合の例としては、現実の実像と、検出され認識された監視対象物とを、視点として矛盾無く合成するものであることから、様々な応用がある。例えば、三次元地図に空港の映像を重ねて表示し、又は離着陸の案内マーカをＣＧ合成で表示し、霧の中でも映像を確認しながら離着陸できる装置を提供する場合にも有効である。

［リアルタイム車輌位置姿勢検出装置］
さらに、本発明の移動型自動監視装置の応用例として、単機能として機能するリアルタイム車輌位置姿勢検出装置の一実施形態について、図２６を参照しつつ説明する。
上述したように、本発明の移動型自動監視装置によれば、移動する車輌から、車輌の位置と姿勢をリアルタイムで検出することにより、三次元地図上での自車輌位置と姿勢が特定できることになり、ここから様々な応用装置・応用製品が可能となる。

その場合、どのような応用例においても、車輌位置と姿勢を検出する必要があるため、まず、車輌に取り付けた広角カメラを空間情報取得部１０として用い、三次元地図との比較により、リアルタイムで車輌位置姿勢検出を行う単機能としての車輌位置姿勢検出装置が構成できる。
当然のことながら、この単機能としての車輌位置姿勢検出装置を用いることにより、上述した空港内移動型自動監視装置１Ａや作業操作案内表示装置１Ｂについても、安価に実現することができるようになる。

図２６は、本実施形態に係るリアルタイム車輌位置姿勢検出装置１Ｃの概略構成を示す機能ブロック図である。
同図に示すように、本実施形態のリアルタイム車輌位置姿勢検出装置１Ｃは、上述した移動型自動監視装置１（図１参照）や、空港内移動型自動監視装置１Ａ（図１９参照），作業操作案内表示装置１Ｂ（図２３参照）と同様の空間情報取得部１０，位置座標取得部２０，三次元地図部３０，統合空間情報部４０及び監視表示部９０を備えている。

空間情報取得部１０は、広角カメラ１１を備えている。
広角カメラ１１は一台より複数台の方が精度の点から望ましい。全周囲カメラが最も望ましいが、コストを低く抑えるために、本実施形態では広角カメラを採用する。広角カメラを全周画像の一部として扱うことで、全周カメラと同じ扱いが可能である。そして、この広角カメラ１１で取得されたリアルタイム映像１１ａが、後述する三種類のＣＶ演算のために位置座標取得部２０に送られる。
位置座標取得部２０は、概略位置取得用のＧＰＳ２０ｂを備える。ＧＰＳ２０ｂは、精度の点から、精度の高い位置検出は困難であるため、本実施形態では、単に概略位置決めとして用いている。

三次元地図部３０は、絶対座標を有するＣＶ映像地図ＤＢ３１を備えており、ＣＶ映像化された全周囲映像のデータベースが格納されている。
ここで、ＣＶ映像化された全周映像の各フレームは、元々撮影時のカメラ位置と姿勢を６自由度のＣＶ値として持っているが、カメラ回転成分が０となるように、画像補正し、揺れのないＣＶ映像とすることが好ましい。このようにすると、画像の回転成分は０となり、ＣＶ値はカメラの三次元座標のみとなり、実質３自由度のデータとなるので、データ量も少なくなり、きわめて扱いやすくなる。
監視表示部９０は、本実施形態に係るリアルタイム車輌位置姿勢検出装置１Ｃの出力結果である車輌位置やＣＶ映像地図を表示する表示モニタ９１を備える。

以上のような構成からなるリアルタイム車輌位置姿勢検出装置１Ｃでは、次のようにして車輌位置姿勢検出が行われる（図２６参照）。
まず、位置座標取得部２０のＧＰＳ２０ｂにより車輌が位置する概略地域を取得し、この概略地域情報に基づいて、三次元地図部３０のＣＶ映像地図ＤＢ３１のＣＶ映像地図を選択する（Ｓ３０１）。
このＣＶ映像地図選択（Ｓ３０１）では、ＧＰＳ２０ｂで取得された概略地域の周辺のＣＶ映像を選択する。なお、このスタート設定については手動で位置合わせすることもできる。より正確には後述する指定点対応（Ｓ２０１）機能により行うことが好ましいが、スタート地点の概略位置設定はＧＰＳと手動としてもよい。

次に、三次元地図部３０における地図内指定点指示（Ｓ３０２）により、選択されたＣＶ映像の中から、後にリアルタイム映像の中に対応点を求めて、上述した三次元指定点対応方式のＣＶ演算をする指定点を選択して指定する。
この指定点は場所を指定された時点で自動検出することもできるが、ＣＶ映像内に前もって検出しておくことが望ましい。
次いで、位置座標取得部２０における指定点対応（Ｓ２０１）により、検出された指定点の三次元座標を指示して、広角カメラで取得されたリアルタイム映像１１ａの映像内に、ＣＶ映像内の指定点に対応する地点を探し出す。
次に、指定点追跡（Ｓ２０２）により、三次元指定点をリアルタイム映像中の対応点と対応を取りながら、リアルタイム映像内で追跡する。

次に、指定点ＣＶ演算（Ｓ２０３）が行われる。
指定点ＣＶ演算（Ｓ２０３）では、三次元指定点対応方式ＣＶ演算が行われ、追跡された各フレーム内で指定点の複数個（精度の観点からは数十個とすることが望ましい）が取得映像に移転されることで、その点の三次元座標が既知となるため、４点以上の指定点の対応が求められれば、各フレームにおいてＣＶ値、すなわち、リアルタイム映像１１ａを取得した広角カメラ１１の各フレームの三次元位置と姿勢が、他のフレームに関係なく、フレーム固有の値として直ちに独立に求められる。
また、この三次元指定点対応方式ＣＶ演算では、三次元地図としてのＣＶ映像の指定点が絶対座標を持てば、三次元指定点対応方式ＣＶ演算によって求められたＣＶ値も絶対座標を持つことになる。これは重要なことである。
なお、この三次元指定点対応方式ＣＶ演算は、上述した特徴点追跡方式のＣＶ演算（図２〜図１４参照）と区別するために、三次元指定点対応方式ＣＶ演算（略して「指定点ＣＶ演算」）と呼び、上述したＣＶ演算は、指定点ＣＶ演算と区別するために特徴点追跡方式ＣＶ演算（省略して「特徴点ＣＶ演算」）と呼ぶことがある。但し、演算された結果は、どちらのＣＶ値も同じものである。

また、指定点は、対応追跡（Ｓ２０４）により、リアルタイム映像１１ａ内で追跡され、特徴点扱いＣＶ演算（Ｓ２０５）により、追跡された指定点を特徴点と見立てて、フレーム間を追跡した関係として、特徴点ＣＶ演算が行われる。このときに、指定点は三次元座標持つことから上述した特徴点ＣＶ演算は相対座標ではなく、三次元地図と同じ絶対座標を持つことが重要である。
一方、リアルタイム映像１１ａは、特徴点ＣＶ演算による特徴点抽出（Ｓ２０６）により、自動的に特徴点抽出が行われ、短フレーム特徴点追跡（Ｓ２０７）により特徴点追跡が行われ、特徴点ＣＶ演算（Ｓ２０８）により、短フレーム間の特徴点ＣＶ演算が行われる。短フレーム簡でＣＶ演算するのは、リアルタイム処理のために演算時間を短縮するためである。
ここで、整理すれば三種類のＣＶ演算があることになる。(1)特徴点追跡方式ＣＶ演算（特徴点ＣＶ演算），(2)三次元指定点対応方式ＣＶ演算（指定点ＣＶ演算），(3)特徴点扱いＣＶ演算の三種である。

そして、以上の指定点ＣＶ演算（Ｓ２０３），特徴点扱いＣＶ演算（Ｓ２０５），特徴点ＣＶ演算（Ｓ２０８）の三種類のＣＶ演算の結果は、統合空間情報部４０に送られ、座標統合（Ｓ４０１）により、三種類のＣＶ値の統合が行われる。
このとき、誤差が打ち消し合い、カメラ位置姿勢検出（Ｓ４０２）では、より精度の高いカメラ位置と姿勢（ＣＶ値）が求められる。
カメラ位置と車輌位置は、カメラの取り付け位置との関係で決まるので、最終的には車輌位置姿勢換算（Ｓ４０３）により、車輌位置に変換されて、監視表示部９０と、その他の用途のために出力される。
ここでの出力は、様々な応用に利用可能である。

監視表示部９０では、表示モニタ９１において、車輌位置が単独で、又は三次元地図（ＣＶ映像地図）と合成されて表示される。
以上のように、本実施形態に係るリアルタイム車輌位置姿勢検出装置１Ｃでは、リアルタイム処理でありながら、指定点ＣＶ演算（Ｓ２０３），特徴点扱いＣＶ演算（Ｓ２０５），特徴点ＣＶ演算（Ｓ２０８）と三種類のＣＶ演算を行うことで、精度を向上させることができる。
そして、この本実施形態に係るリアルタイム車輌位置姿勢検出装置１Ｃを基本として、他に様々な機能を付加していくことで、様々な用途に適した装置を組み立てることが可能となる。

以上、本発明の移動型自動監視装置について、好ましい実施形態を示して説明したが、本発明に係る移動型自動監視装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、本発明の移動型自動監視装置によって監視する監視対象・監視エリアとして飛行場の滑走路及びターミナルを例にとって説明したが、本発明の適用対象がこれらに限定されるものではなく、監視カメラによる遠隔監視が必要であったり好適であったりする監視対象物や監視対象エリアであれば、どのような物や場所・空間に適用することができる。

本発明の移動型自動監視装置は、例えば、飛行場のターミナルや滑走路、倉庫や大型店舗等、所定の監視対象物や監視対象エリアを監視する監視システム・セキュリティシステムや、自動運転システム・自動作業システム等として好適に利用できる。

本発明の一実施形態に係る移動型自動監視装置の概略基本構成を示すブロック図である。 本発明の移動型自動監視装置の位置座標取得部として機能する特徴点追跡方式のＣＶ演算部の一実施形態の基本構成を示すブロック図である。 図２に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。 図２に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。 全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。 本発明の一実施形態に係るＣＶ演算部おける具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るＣＶ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るＣＶ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 本発明の一実施形態に係るＣＶ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。 本発明の一実施形態に係る三次元指定点対応方式のＣＶ演算部の基本構成を示すブロック図である。 図１５に示すＣＶ演算部の基準点対応部の詳細を示すブロック図である。 図１５に示すＣＶ演算部の基準点対応部の詳細を示すブロック図である。 本発明の他の実施形態に係る三次元指定点対応方式のＣＶ演算部の基本構成を示すブロック図である。 本発明の一実施形態に係る空港内移動型自動監視装置の概略構成を示す機能ブロック図である。 本発明の一実施形態に係る空港内移動型自動監視装置を搭載した車輌を模式的に示す説明図で、（ａ）は車輌の平面図、（ｂ）は同じく側面図である。 本発明の一実施形態に係る空港内移動型自動監視装置を搭載した車輌を模式的に示す説明図で、積雪時用の監視装置を搭載した車輌の側面図である。 本発明の一実施形態に係る空港内移動型自動監視装置により監視される空港全体を模式的に示した平面図である。 本発明の一実施形態に係る作業操作案内表示装置の概略構成を示す機能ブロック図である。 本発明の一実施形態に係る作業操作案内表示装置を搭載した作業車輌を模式的に示す説明図である。 本発明の一実施形態に係る作業操作案内表示装置の監視表示部で表示される表示画像例である。 本発明の一実施形態に係るリアルタイム車輌位置姿勢検出装置の概略構成を示す機能ブロック図である。

符号の説明

１ 移動型自動監視装置
１Ａ 空港内移動型自動監視装置
１Ｂ 作業操作案内表示装置
１Ｃ リアルタイム車輌位置姿勢検出装
１０ 空間情報取得部
２０ 位置座標取得部
３０ 三次元地図部
４０ 統合空間情報部
５０ 自動検出部
６０ 視点方向コントロール部
７０ 自動認識部
８０ 地図更新部
９０ 監視表示部
１００ データ記録部
１１０ 自動判断部
１２０ 自動制御部

Claims (6)

1. 移動体に搭載され、移動体とともに移動して当該移動体周囲の空間情報を取得する空間情報取得部と、
   移動する移動体の三次元位置と姿勢を示す位置座標情報を取得する位置座標取得部と、
   移動体が移動する監視領域及び当該監視領域から前記空間情報取得部が空間情報を取得可能な領域の三次元地図を備えた三次元地図部と、
   移動体周囲の空間情報と、移動体の位置座標情報、及び監視領域の三次元地図に基づいて、移動体周囲の三次元空間情報を統合して統合空間情報を生成する統合空間情報部と、
   移動体周囲の空間情報と三次元地図とを対応させ、監視領域内にある監視対象物を検出し特定する自動検出部と、
   自動検出部で特定された監視対象物の所定の属性情報を認識する自動認識部と、
   移動体の移動に必要な画像情報と、自動検出部で特定された監視対象物の映像、及び自動認識部で属性認識された監視対象物のＣＧ又は映像を、移動体から観察される視点と合致させて、実映像，実写映像又は三次元地図中に合成して表示する監視表示部と、
   監視表示部を介して表示される監視対象物の所定のデータを記録する記録部と、
   を備えることを特徴とする移動型自動監視装置。
2. 前記自動検出部で監視対象物として特定される対象物の大きさ，形状，位置等の変更が検出されると、当該変更を、前記三次元地図部の三次元地図情報及び／又は前記記録部の所定のデータに反映させる地図更新部を備える請求項１記載の移動型自動監視装置。
3. 前記自動検出部で特定された監視対象物の三次元座標と、前記位置座標取得部で取得される移動体の三次元座標に基づいて決定される当該監視対象物の方向に向けて、前記空間情報取得部に備えられる観測機器を駆動制御する視点方向コントロール部を備える請求項１又は２記載の移動型自動監視装置。
4. 空間情報取得部が、
   移動体周囲の映像を広範囲に取得する全周カメラ，指定方向に視点を向ける指定方向カメラ，レーザ光を走査して方向と距離を計測するレーザスキャン装置，レーダ波を発射して反射波の方向と距離を計測するレーダ装置等の各機器の一部又は全部を備え、昼夜、季節、天候等の状況に応じて、これら各機器を単独で又は任意の組み合わせにより、前記移動体周囲の空間情報を取得する請求項１乃至３のいずれか一項記載の移動型自動監視装置。
5. 前記自動検出部で特定された監視対象物と、前記自動認識部で認識された当該監視対象物の属性情報に基づいて、前記移動体の次の行動を決定する自動判断部と、
   前記自動判断部で決定された前記移動体の次の行動に従って、当該移動体を制御する自動制御部と、
   を備えた請求項１乃至４のいずれか一項記載の移動型自動監視装置。
6. 前記統合空間情報部が、
   前記空間情報取得部で取得される移動体周囲の空間情報と、前記位置座標取得部で取得される当該移動体の位置座標情報のみに基づいて、移動体周囲の三次元空間情報を統合して統合空間情報を生成するとともに、
   当該統合空間情報に基づいて、前記三次元地図部に備えられる三次元地図を生成する請求項１乃至５のいずれか一項記載の移動型自動監視装置。