JP2007142517A - 移動型自動監視装置 - Google Patents
移動型自動監視装置 Download PDFInfo
- Publication number
- JP2007142517A JP2007142517A JP2005329732A JP2005329732A JP2007142517A JP 2007142517 A JP2007142517 A JP 2007142517A JP 2005329732 A JP2005329732 A JP 2005329732A JP 2005329732 A JP2005329732 A JP 2005329732A JP 2007142517 A JP2007142517 A JP 2007142517A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- dimensional
- monitoring
- camera
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 238000012544 monitoring process Methods 0.000 claims description 277
- 238000012806 monitoring device Methods 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 description 172
- 238000000034 method Methods 0.000 description 102
- 239000013598 vector Substances 0.000 description 83
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 22
- 230000036544 posture Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 11
- 230000010354 integration Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】 車輌とともに移動して車輌周囲の空間情報を取得する空間情報取得部10と、車輌の三次元位置と姿勢を示す位置座標情報を取得する位置座標取得部20と、監視領域の三次元地図を備えた三次元地図部30と、空間情報と車輌の位置座標情報及び監視領域の三次元地図に基づき車輌周囲の三次元空間情報を統合する統合空間情報部40と、監視領域内にある対象物を検出・特定する自動検出部50と、特定された対象物の所定の属性情報を認識する自動認識部70と、車輌の移動に必要な画像情報と、対象物の映像及びCGを、車輌からの視点と合致させて実映像中に合成して表示する監視表示部90とを備える。
【選択図】図1
Description
この種の監視カメラシステムは、例えば、銀行やコンビニエンス・ストアの店内やキャッシュ・コーナー、飛行場のターミナルや滑走路等、所定の監視対象物や監視対象エリアに監視カメラを設置し、監視カメラで撮影された映像を遠隔操作で監視することで、不審者の発見や所定の監視対象物の追跡監視等が行われるようになっている。
このような従来の監視カメラシステムに関する技術としては、例えば、特開平7−283979号公報(特許文献1)記載の「全周囲装置」や、特開平8−194809号公報(特許文献2)記載の「360度監視システム」などが知られている。
また、回転するカメラによる監視では必ず監視されない死角ができてしまい、カメラを360度回転させたとしても、カメラ全周を同時に撮影・監視することはできなかった。
このように、従来の監視カメラシステムは、特に防犯システム,セキュリティ・システムとしては万全なものとはいえなかった。
これは、本出願人が先に出願した特願2005−218053号の「視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム」に提案されており、本発明においてもその技術を一部分踏襲している。
しかしながら、上記先願では、監視用のカメラが所定位置に固定的に設置される場合を対象とするものであり、移動するカメラによる対象物の三次元計測と、監視対象物(予測される対象物、障害物、不審物等)の検出,認識等については提案されていない。
また、本発明の移動型自動監視装置は、移動体に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、多数の特徴点について重複演算してカメラ位置と回転角を示すCVデータを高精度に求めることができ、これによって、移動体に伴って移動するカメラの三次元位置座標を高精度に取得するようにしたものである。
これによって、車輌等の移動体に搭載したカメラによる監視対象物の三次元計測と、任意の監視対象物の検出・認識が可能となり、移動体とともに移動するカメラ等によって監視範囲を可視可能な範囲全域に広げつつ、全体を監視し、かつ、監視対象に対しては、詳細な拡大画像を得ることができるようになる。
これにより、万全で漏れのない信頼性の高い監視システム,セキュリティ・システムを実現することができる。
これにより、移動体とともに移動するカメラ等によって監視範囲を可視可能な範囲全域に広げつつ、全体を監視し、かつ、監視対象に対しては詳細な拡大画像を得ることができ、死角を無くし、監視対象エリアの全体を一枚の映像として表示することができ、カメラの高解像度化と監視範囲の広域化の双方を同時に実現できる、万全で漏れのない信頼性の高い監視システム,セキュリティ・システムを提供することができる。
ここで、以下に示す本発明の移動型自動監視装置は、プログラム(ソフトウェア)の命令によりコンピュータで実行される処理,手段,機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出,抽出した基準点の自動追跡,基準点の三次元座標の算出,映像と三次元地図との比較,カメラベクトルの演算,監視対象物の自動検出・自動認識,監視対象物の三次元座標の算出,監視対象物画像のCG化等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク,光ディスク,半導体メモリ,その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
まず、本発明の一実施形態に係る移動型自動監視装置の基本構成について図1を参照しつつ説明する。
図1は、本発明の一実施形態に係る移動型自動監視装置の基本構成を示すブロック図である。
同図に示す本実施形態の移動型自動監視装置1は、空間情報取得部10と、位置座標取得部20と、統合空間情報部30と、三次元地図部40と、自動検出部50と、地図更新部60と、視点方向コントロール部70と、自動認識部80と、監視表示部90と、データ記録部100と、自動判断部110と、自動制御部120とを備えている。
具体的には、空間情報取得部10に備えられる計測機器類としては、車輌周囲の映像を広範囲に取得する全周カメラ(後述する図3〜図4参照)や、指定方向に視点を向ける指定方向カメラ、レーザ光を走査して方向と距離を計測するレーザスキャン装置、レーダ波を発射して反射波の方向と距離を計測するレーダ装置等があり、これら機器類が選択的に車輌等の移動体に搭載されて、監視領域の映像等の空間情報を取得する。
従って、昼間、夜間、晴れ、雨、雪等の様々な条件で空間情報を取得できるように、複数の機器を車輌に積載し、それらの機器を切り替えて、又は複合的に使用して、車輌周囲の空間情報を取得することが好ましい。
視界の良い昼間であれば、広角カメラ又は全周囲カメラのみでも走行しながら良質な空間情報を取得できる。
夜間であれば、赤外線カメラを多数並べて空間情報を取得する。
また、特に積雪時には、映像の解析が困難となるためレーザスキャナが適切である。
また、レーザスキャナによる雪面への照射パタンを画像解析することで空間情報が取得できるので、積雪時、夜間時にはレーザスキャナは有効である。
また、位置座標取得部20は、空間情報取得部10に備えられるカメラ(口述する全周カメラ部11)からの出力から、全周囲映像を用いてCV演算により求められたCV映像から、車輌の三次元座標と姿勢を示すCV値を生成・取得する。CV値を求めるCV演算の詳細については後述する(図2〜図14参照)。
指定目的で用意する指定点マーカとしては、丸や三角,四角等の単純な幾何学的パタン及びその組み合わせが好ましく、これらの幾何学パタンを視野に入る位置に設置しておく。
すなわち、空間情報として取得したリアルタイム映像は、三次元地図と比較することで、CV値を取得することができる。なお、この場合のCV値は、正確にはカメラ位置を示す値であるため、車輌位置との校正を必要とするが、それは両者の関係を維持する限り、一度校正すれば良いことになる。
三次元地図は、前もって監視区域内とその周囲を精密に測量して、精度の高い三次元地図を生成しておくことが好ましいが、空間情報取得部10と位置座標取得部20によって三次元地図を生成することも可能であり、精度は測量によるものに比較して落ちるものの、簡易的には十分利用することが可能である。従って、前もって用意した三次元地図が無くても、位置精度を問題にしなければ、監視目的は十分に達成できることになる。
従って、初めは三次元地図部30を持たず、取得した統合空間情報から三次元地図を生成しつつ、監視を行うことも可能である。この場合、後述する地図更新部80によって新規に三次元地図が生成されることになり、次回以降からは、ここで生成された三次元地図が三次元地図部40として機能することになる。そして、次回からは、前回生成された三次元地図を三次元地図部40として利用して監視処理が行えるようになる。
自動検出部50は、三次元地図と統合空間情報を比較して対応させ、地図に記載された監視対象物(予測される対象物)の存在を統合空間情報内に確認し、地図内の位置を割り出し、又は三次元地図には存在しない監視区域内の監視対象物(障害物、不審物)を発見し、地図内の位置を割り出し、特定する。
ここで、「検出」とは、監視対象物(予測される対象物、障害物、不審物等)を発見することをいい、「特定」とは、三次元地図に予め登録されている監視対象物を総合空間情報の中に存在を確認すること、又は、総合空間情報の中に監視対象物(予測される対象物、障害物、不審物等)を発見し、その位置と大まかな大きさを決定することをいう。
さらに、後述するように、「認識」とは、対象物の属性を確認したことをいう。
また、視点方向コントロール部60は、監視対象物(予測される対象物、障害物、不審物等)が移動する場合には、カメラ等をその移動方向に追跡してコントロールする。
ここで、監視対象物の属性情報の「認識」とは、それがデータベースに登録されている記憶と対照されて、その属性を確認できたことをいう。
本実施形態では、自動認識部70として、PRM技術を利用することで関し対象物の属性認識処理を行うようにしてある(後述する図19のPRM認識部71参照)。
なお、PRM認識によって、あらゆる監視対象物(予測される対象物、障害物、不審物等)が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
但し、自動認識部70で認識できない場合に、本監視装置1のオペレータ(人間)が認識し、それを本監視装置1に登録・記憶させることは勿論可能であり、このようにすれば、それ以降は、当該対象物は自動認識部70によって自動認識されることになる。
また、この地図更新部80によって、上述した「特定」だけでなく、「認識」まで進んだ対象物を新規登録する場合もある。
具体的には、監視表示部90は、本監視装置1が搭載される車輌に走行案内上必要となる映像情報をCG化し、さらに本監視装置1で検出され、特定され、認識された監視対象物や、その属性を表示する。表示方法としては、(1)単独で実映像の中に表示する、(2)実写映像の中に表示する、(3)三次元地図の中に表示する等の方法がある。
まずここで、本監視装置1の車輌の走行上必要な画像情報とは、例えば、夜間の運転走行における昼間の映像のことであり、また、例えば冬季積雪時の運転走行における夏の映像のことである。
さらに、例えば霧などで視界が悪い場合の、視界が良い状況の映像のことである。
観測者は自身の見ている実映像に、視点の矛盾無くCGを合成して観察することになる。
当然のことながら、この場合の車輌の動きは、例えばCV演算により取得したCV値(後述)により、位置座標と姿勢を実映像に矛盾無く合成することができる。
観測者(運転者)はモニタ画面上に実写映像に合成されたCG画像を目に見ることになる。
この場合の車輌の動きは、(1)の場合と同様、例えばCV演算により取得したCV値により、位置座標と姿勢を実映像に矛盾無く合成することができる。
観測者(運転者)は、モニタ画面上に三次元地図に合成されたCG画像を見ることになる。
この場合の車輌の動きも、例えばCV演算により取得したCV値により、位置座標と姿勢を実映像に矛盾無く合成することができる。
なお、データ記録部100に記録されるデータとしては、監視表示部90を介して表示される画像データ等に加えて、後の判断のために参考となる情報として、判断精度と判断時間を向上させるために、判断の材料となった各種条件も同時に記録することが望ましい。
ところで、車輌は人間が運転するのが一般的であるが、本実施形態に係る移動自動監視装置1は、当該車輌の走行路を正確に検出し、特定し、認識することができるので、運転の自動化が可能である。
すなわち、本監視装置1を搭載した車輌は、人間が運転しなくても、自分で走行路の状況を判断して走行する自動運転が可能である。
以下、本監視装置1により車輌の自動運転を行うための構成を説明する。
自動判断部110は、自動検出部50で特定された結果と、自動認識部70で認識された結果とから判断して、車輌の次の行動を決定する判断手段である。
自動制御部120は、自動判断部110で判断された車輌の次の行動に沿って、車輌を制御する駆動制御手段である。
空間情報取得部10の監視目的は、車輌周辺の監視対象物(予測される対象物、障害物、不審物等)の空間情報取得であるが、特に自動運転においては、進行方向の路面状況をもその監視対象として取り上げ、車輌走行の路面状況の確認、及び路面上に監視対象物(予測される対象物、障害物、不審物等)等が存在するか否かを重点的に監視し、走行の安全を確保する必要がある。
そこで、本監視装置1では、決められた監視対象物を監視しながら、監視対象物(予測される対象物、障害物、不審物等)を検出し、さらに同じ機器と方法で車輌の安全走行上必要な路面状況を自動判断しながら走行する。
そして、自動判断部110は、これらの情報から判断して、車輌の周囲の状況を理解し、予定走行路の確認、監視対象物(予測される対象物、障害物、不審物等)の有無等から車輌の次の行動を決定する。
例えば、監視対象物を危険物と判断して、急ぎ監視対象物から遠ざかるか、詳細検討のためにさらに近づき、周囲を周り、あるいは追跡して、各方向から観察するか否かを決定する。
なお、以上のような自動運転のための空間情報取得部10,位置座標取得部20、三次元地図部30,統合空間情報部40,自動検出部50,視点方向コントロール部60,自動認識部70,地図更新部80の各部は、自動運転を目的とする専用としても良い。但し、運転目的と監視目的とを分離して専用装置とすることで装置が増大することや、コストの点、さらには自動運転には本監視装置1とほぼ同様の機能が求められることから、監視目的と自動運転目的とを共用とすることが効率的であり好ましい。
従って、本実施形態及び以下に示す各実施形態では、空間情報取得部10,位置座標取得部20、三次元地図部30,統合空間情報部40,自動検出部50,視点方向コントロール部60,自動認識部70,地図更新部80は、自動運転のためのものと区別せず、共用とすることで説明してある。
次に、以上のような移動型自動監視装置1の位置座標取得部20におけるカメラの位置座標取得処理に用いられるCV演算(特徴点追跡方式CV演算)の詳細について図2〜図14を参照しつつ説明する。
ここで、CV演算とはCV値を求めることを意味し、求められた結果をCV値,CVデータと呼ぶ。CVという表記は、カメラベクトル:Camera Vectorの略記であり、カメラベクトル(CV)とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と3軸回転姿勢を示す値である。
CV演算は、動画像(ビデオ映像)を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの3軸回転姿勢を求めるものである。
また、動画像から演算で求められるCV値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してCV値が求められる特性は、CV演算でしか実現し得ない、優れた特徴である。
例えば、他の方法による計測手段(GPSやIMU等)では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。
また、CVデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したCV値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその3軸回転姿勢を求めることができるCV演算は画像内計測や画像内測量に好適となる。
そして、本発明の移動型自動監視装置は、このCV演算により得られたCV値データに基づいて移動体に搭載された監視用のカメラの位置座標情報を生成・取得するものである。
特徴点追跡方式CV演算は、上述した移動型自動監視装置1における位置座標取得部20(図1参照)や、後述する全周囲映像CV演算部20a(図19参照)として機能するCV演算部により行われる。
図2は、本発明の移動型自動監視装置の位置座標取得部として機能するCV演算部20の一実施形態の基本構成を示すブロック図である。
図2に示すように、CV演算部20は、空間情報取得部10から入力されるビデオ映像等について所定のCV演算処理を行うようになっており、具体的には、特徴点抽出部21と、特徴点対応処理部22と、カメラベクトル演算部23と、誤差最小化部24と、三次元情報追跡部25と、高精度カメラベクトル演算部26とを備えている。
そして、ここで得られたCV値は、統合空間情報部30に入力される。
また、映像は、移動型自動監視装置1の空間情報取得部10で取得される車輌の移動に合わせてリアルタイムに取り込んだ映像が使用されることになるが、リアルタイム監視の必要がない場合は、監視領域を予め撮影・記録した動画映像を使用することも勿論可能である。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので(図5(c)参照)、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。
なお、移動体10aには、その位置座標を取得する目的で、例えば、絶対座標を取得するGPS機器単独やIMU機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体10aに搭載される全周ビデオカメラ11としては、広範囲映像を撮影,取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、360度周囲に回転可能なカメラ等がある。本実施形態では、図3及び図4に示すように、車輌に複数のカメラが一体的に固定され、移動体10aの移動に伴って広範囲映像を撮影する全周ビデオカメラ11を使用している。
ここで、全周ビデオカメラ11は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、CV演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像(360度画像)データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図5(a)は球面画像が貼り付けられる仮想球面の外観イメージであり、同図(b)は仮想球面に貼り付けられた球面画像の一例である。また、同図(c)は、(b)の球面画像をメルカトール図法に従って平面展開した画像例を示す。
CV演算部20では、まず、特徴点抽出部21が、全周ビデオ映像部10の全周ビデオカメラ11で撮影されて一時記録された動画像データの中から、十分な数の特徴点(基準点)を自動抽出する。
特徴点対応処理部22は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部23は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部24は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
高精度カメラベクトル演算部26は、三次元情報追跡部25で得られた追跡データに基づいて、カメラベクトル演算部23で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成,出力する。
そして、以上のようにして得られたカメラベクトルが、後述する移動型自動監視装置1に入力され、位置座標取得処理及び統合空間情報処理に利用されることになる。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
一般に、静止した三次元物体は、位置座標(X,Y,Z)と、それぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標(X,Y,Z)とそれぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
まず、上述した空間情報取得部10の全周ビデオカメラ11で取得された画像データは、間接に又は直接に、CV演算部20の特徴点抽出部21に入力され、特徴点抽出部21で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部22で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図6〜図8に示す。図中「+」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される(図8に示す対応点1〜4参照)。
ここで、特徴点の抽出は、図9に示すように、各画像中に充分に多くの特徴点を指定,抽出することが望ましく(図9の○印参照)、例えば、100点程度の特徴点を抽出する。
本実施形態では、例えば、360度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動(カメラ位置とカメラ回転)を計算するようになっている。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてt及びRを計算することができる。この演算を対応する複数フレームに適用し演算する。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図8に示す360度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、CV演算に360度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図8は、CV演算部20における処理を理解し易くするために、1台又は複数台のカメラで撮影した画像を合成した360度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のCV演算では、必ずしもメルカトール図法による展開画像である必要はない。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
図10では、図8の画像1,2に示した特徴点1〜4の三次元座標と、画像1と画像2の間で移動するカメラベクトル(X,Y,Z)が示されている。
図11及び図12は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
具体的には、CV演算部20では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、nとmを適切に設定した単位演算を繰り返すことができる。
mはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどmが大きくなるように設定し、カメラから特徴点までの距離が近いほどmが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
このようにして、フレーム画像FnとFn+mに着目した単位演算を行うことにより、m枚毎にサンプリングした各フレーム間(フレーム間は駒落ちしている)では、長時間かけて精密カメラベクトルを演算し、フレーム画像FnとFn+mの間のm枚のフレーム(最小単位フレーム)では、短時間処理で行える簡易演算とすることができる。
このようにして、画像の進行とともにnが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
具体的には、まず、三次元情報追跡部25で、カメラベクトル演算部23,誤差最小化部24を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報(三次元形状)に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部25で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部26においてより高精度なカメラベクトルが求められる。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報(三次元形状)を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部23により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
例えば、図14に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。CVデータは、その三次元位置と3軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでCV値を同時に観察できる。CVデータをビデオ映像に重ねた表示した画像例を図14に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、CV値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのCV値が重なって表示されてしまうので、例えば図14に示すように、敢えてカメラ位置から真下に1メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにCV値を表示するのがより適切である。
次に、以上のような特徴点追跡方式のCV演算の応用である三次元指定点対応方式のCV演算について、図15〜図18を参照しつつ具体的に説明する。
なお、以下に示す三次元指定点対応方式CV演算の説明においては、CV値が既知であるCV映像三次元地図を基準映像とし、CV値が未知であるリアルタイムで取得された映像を比較映像として使用している。
図15は、三次元指定点対応方式のCV演算を行うCV演算部100の基本構成を示すブロック図である。また、図16及び図17は、図15に示す三次元指定点対応方式のCV演算部100の詳細を示すブロック図である。
図15に示すように、三次元指定点対応方式のCV演算部100は、リアルタイム映像をCV映像三次元地図(三次元地図)の座標に統合するための装置であり、具体的には、CV映像三次元地図部101と、CV付加部102と、三次元指定点指定部103と、リアルタイム映像部104と、初期位置設定部105と、三次元指定点対応部106と、対応指定点追跡部107と、CV取得部108と、座標統合部109を備えている。
CV付加部102は、CV映像三次元地図部101から入力されるCV映像三次元地図の各フレームに対して、上述したCV演算(特徴点追跡方式CV演算)を行い、絶対座標で校正されたCV値(カメラ位置と姿勢の三次元値)を付加する。これはCV映像三次元地図部を作成するときに前もって演算し、付加しておくことが望ましい。
三次元指定点指定部103は、CV付加部102で絶対座標を持つCV値が付加されたCV映像三次元地図の中に、自動又は手動で任意の三次元指定点を指定し、付加されたCV値に基づいて、指定された任意の三次元指定点の三次元座標を取得する。
初期位置設定部105は、CV映像三次元地図とリアルタイム映像との中の共通地点の対応関係を自動又は手動で初期設定する。
三次元指定点対応部105は、初期位置設定部105で初期設定されたフレームから開始する動画像の各フレームに亘って、三次元指定点指定部103で指定されたCV映像三次元地図の中の三次元指定点に対応する部分を、リアルタイム映像の中に自動的に対応付け、各フレームに亘って対応指定点を探索し続ける。
対応指定点追跡部107は、三次元指定点対応部106で対応付けられた対応指定点を、リアルタイム映像の進行する各フレームに亘って追跡する。
座標統合部109は、CV付加部102でCV値が付加されたCV映像三次元地図と、CV取得部108でCV値が求められたリアルタイム映像とを、同一の座標系に座標統合させる。
以下、三次元指定点対応方式のCV演算部100におけるCV映像三次元地図とリアルタイム映像の映座標統合処理(座標統合方法)について説明する。
まず、三次元指定点対応方式のCV演算部100のシステム全体の効率化を考慮すれば、前もって演算可能なCV映像三次元地図(三次元地図)側に負担を与えたとしても、リアルタイム処理を行うリアルタイム映像(リアルタイム映像)側の演算の負担を軽くする必要がある。
そこで、リアルタイム映像部104,初期位置設定部105及び三次元指定点対応部106によるリアルタイム演算が可能となるように、前もって演算可能な部分については、可能な限りCV映像三次元地図側での演算として予め処理を行っておくことが好ましい。
三角形の原理から、一枚のフレームに付き最低三点の三次元座標の移植が有れば、CV値は演算で求められるが、精度を確保するためには、数十点以上の移植が必要である。
また、三次元指定点は三次元座標を持っており、リアルタイム映像のCV値と同じCV値に視点変更が可能であるから、CV映像三次元地図とリアルタイム映像の対応が容易になる。
なお、全フレームによるCV値取得と、対応指定点の追跡によるCV値取得を組み合わせて、全フレームに亘り対応指定点を求めて、三次元座標の移植を行い、更に対応指定点の追跡結果からCV値を求めることで、より精度の高いCV値を取得することができる。
そこで、以下の実施形態では、CV映像三次元地図内に三次元指定点を設けること、リアルタイム映像と対応を取ること、及びリアルタイム映像の中に三次元指定点を追跡することを特徴としている。
ただし、三次元指定点を用いれば、三次元座標が移植されるので、リアルタイム映像側の1フレームについてのみでも、CV値を求めることができる。これは、複数のフレームに亘る追跡結果を必要とする特徴点追跡方式のCV演算(図2〜図14参照)の場合と比較して大きな差異となる。
従って、三次元指定点対応部106の処理において、対応点の取得に失敗するフレームが生じることも十分考えられる。また、三点以上の対応点が得られない場合も想定できる。そこで、三次元指定点対応部106は可能な限り対応点の取得を行い、対応に失敗するフレームが発生しても、その部分はリアルタイム映像側の追跡によりリアルタイム映像側だけで特徴点追跡方式CV演算を行い、抜けの部分のCV値を補足して求めることが実際的である。
この三次元指定点対応部106における対応処理について、更に説明する。
以下、三次元指定点対応部106における対応処理を、図16及び図17を参照しつつ、より具体的に説明する。
一般に、CV映像三次元地図とリアルタイム映像とは、カメラが異なり、画質も異なり、撮影条件も異なるので、CV映像三次元地図とリアルタイム映像の対応関係を取ることは困難なものとなる。この点、従来の方法としては、三次元点を構成する微少領域のテクスチャをマッチングや相関で追跡する方法が行われていた。しかし、このような従来方法では、異種カメラ間の異なる画質の映像と、撮影条件の差異などにより、対応関係を正確に取ることはきわめて困難であった。
図16に示す三次元指定点対応方式CV演算部100では、CV映像三次元地図側の三次元指定点に対応して、リアルタイム映像側でも三次元対応指定点を対応させ、三次元座標を移植させて、CV演算する方法となっている。
また、図17に示す三次元指定点対応方式CV演算部100では、三次元形状が既知であることから、リアルタイム映像側での方向が規定され、その方向からCV値を取得する方法となっている。
図16に示す三次元指定点対応方式CV演算部100では、図15で示した三次元指定点対応部106が三次元指定点形状対応部106aを備えるとともに、対応指定点追跡部107が三次元指定点形状追跡部107aを備えている。
三次元指定点形状対応部106aは、三次元指定点対応部106において、CV映像三次元地図内の複数の三次元指定点から構成される三次元形状に着目し、リアルタイム映像内に、三次元指定点と同一座標を持つ三次元対応点が、その三次元形状に一致するようなCV値を求めることで、三次元指定点の対応を求める。
また、三次元指定点形状追跡部107aは、対応指定点追跡部107において、対応指定点をリアルタイム映像中の隣接する複数のフレームに亘り追跡することで、CV映像三次元地図内の既知の三次元形状の三次元座標をリアルタイム映像中の追跡地点に直接移植する。
そこで、図16に示す三次元指定点対応方式CV演算部100では、比較すべき指定点対応を二次元テクスチャではなく、三次元のテクスチャでもなく、画像内の三次元座標、すなわち三次元形状の三次元座標関係そのものとすることで、これらのCV映像三次元地図とリアルタイム映像間で様々な物理的条件の違いがあっても比較が可能となるものである。
これは、三次元形状とその座標は、リアルタイム映像内のCV値を仮定することによりリアルタイム映像内で取得することができ、しかも、画像としての対応ではなく、座標としての対応を求めることができることを意味する。従って、ここではカメラの違いによる画質には一切関係なく、撮影条件にも関係なく、また三次元形状はカメラからの距離によっても変化しないので、三次元指定点形状追跡部では、長距離の追跡が可能となり、精度上きわめて有利となる。
本実施形態では、リアルタイム映像内でCV値を変数として微小変化(視点変更を意味する)させながら、最適なCV値を探索する。
CV値から演算で求める位置に存在するか否かを確認することを継続することで、正しいCV値を求めることができる。あるいはCV映像三次元地図側でCV値を変数として視点変更しながら探索することも可能である。
言い換えれば、CV映像三次元地図側で視点変更をしてリアルタイム映像に合わせるか、リアルタイム映像側で視点変更してリアルタイム映像に合わせるか、は自由である。
また、複数のCV値取得方法が併用可能であり、CV値の概略値取得と、それによる視点変更は十分可能であり、その近傍で精度の高いCV値に漸近して求めることができる。
そして、ある一つの方法で三次元指定点の対応に失敗した場合は、他のCV値取得方法によればよく、また、すべての対応に失敗しても、初期値設定からやり直すことで連続的にCV値を求めることが可能となる。
図17に示す三次元指定点対応方式CV演算部100では、図15で示した三次元指定点対応部106が三次元指定点方向対応部106bを備えるとともに、対応指定点追跡部107が三次元指定点方向追跡部107bを備えている。
三次元指定点方向対応部106bは、三次元指定点対応部106において、複数の三次元指定点のカメラ位置からの方位仰角に着目し、リアルタイム映像中の三次元対応点が、CV値を仮定した場合の演算で予想される方位仰角に存在することを確認することで、リアルタイム映像中の対応点を三次元指定点に対応させる。
三次元指定点方向追跡部107bは、対応指定点追跡部107において、CV映像三次元地図中の三次元指定点を、リアルタイム映像中に三次元座標が既知である三次元形状を構成する各点の方向として、隣接する複数のフレームに亘り追跡する。
すなわち、三次元座標が既知である三次元指定点の、リアルタイム映像内での方向が取得できれば、その方向に対応するCV値を演算で求めることができる。
以上のように、三次元指定点対応部106における対応方法と対応指定点追跡部107における追跡方法について、種々の方法を述べたが、これらは任意に組み合わせたり併用することができ、映像の性質によって使い分けることにより、どのような条件の映像に関しても、容易かつ正確,迅速にCV値を取得することができる。
次に、図18を参照して、上述した三次元指定点対応方式CV演算部100の他の実施形態について説明する。
図18は、図15に示した三次元指定点対応方式CV演算部の変更実施形態の基本構成を示すブロック図である。
同図に示すように、本実施形態は、上述した三次元指定点対応方式CV演算部100(図15参照)の変更実施形態であり、具体的には、図18に示すように、上述した三次元指定点対応方式CV演算部100の構成に、さらに、概略基準空間構成部110と、概略CV取得部111と、概略比較空間構成部112と、CVキャリブレーション部113と、空間対応部114の各部を備えている。
一方、概略CV取得部111は、リアルタイム映像に関して、CV映像三次元地図とは無関係に、リアルタイム映像側で特徴点を検出して追跡し、単独でCV演算を行い、リアルタイム映像(リアルタイム映像)を取得したカメラの位置と姿勢を示す概略のCV値を取得する。
CVキャリブレーション部113は、リアルタイム映像の相対CV値を、三次元指定点対応部106及び対応指定点追跡部107で得られたCV値により校正して、CV映像三次元地図の座標系に変換する。
空間対応部114は、CV映像三次元地図の概略三次元空間とリアルタイム映像の概略三次元空間を比較して対応付け、それぞれの空間を概略合致させて、三次元指定点対応部1106における対応領域を絞り込む。
本実施形態の概略基準空間構成部110においては、CV映像三次元地図の概略三次元形状が生成されるが、CV値を用いた視点の微少変更によって生成した二次元映像により、空間対応部114によりリアルタイム映像と概略比較することができる。
また、CV値を求める際に取得した多くの特徴点の三次元座標により、概略基準空間構成部110と、概略比較空間構成部112と、その分布から概略空間を空間対応部114で比較することが可能になる。
すなわち、概略位置関係を求めることができる。
そこで、図18に示す実施形態では、演算時間に関して高速化が期待できる三次元指定点対応方式CV演算100において、特徴点追跡方式のCV演算(図2〜図14参照)をリアルタイム映像側に併用することで、高速化を図りつつCV演算をキャリブレーションすることができる。
このようにして、本実施形態によれば、画像の性質等に応じて、第一実施形態の方法と本実施形態の方法とを使い分けることで、より精度良くCV値を求めることができるようになる。
そして、本実施形態の移動型自動監視装置1では、車輌に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、多数の特徴点について重複演算してカメラ位置と回転角を示すCVデータを高精度に求めることができ、これによって、車輌に伴って移動するカメラの三次元位置座標を高精度に取得するようにしてある。
従って、本実施形態の移動型自動監視装置1によれば、監視領域において、死角を無くし、しかも夜間等であっても、路面形状や監視対象物(予測される対象物、障害物、不審物等)等を確実に発見することができ、最も条件の悪い新雪の積雪状況等においても、走行しながら、又は停止して、任意の監視対象物の三次元形状を検出することが可能となり、万全で漏れのない信頼性の高い監視システム,セキュリティ・システムを実現することができる。
[空港内移動型自動監視装置]
まず、本発明の移動型自動監視装置を使用して空港内を自動監視する空港内移動型自動監視装置の一実施形態について、図19〜図21を参照しつつ説明する。
図19は、本実施形態に係る空港内移動型自動監視装置の概略構成を示す機能ブロック図である。
図20及び図21は、図19に示す空港内移動型自動監視装置を搭載した車輌を模式的に示す説明図であり、図20は天候が良好なときの場合を、図21は積雪時の場合である。
また、図22は、図19に示す空港内移動型自動監視装置により監視される空港全体を模式的に示した平面図である。
まず、本実施形態における専用車輌は、通常の手動運転と同時に、決められたコースを監視しながら、監視対象物に異常が発見されたり、監視対象物(予測される対象物、障害物、不審物等)が発見されたりした場合に、当該対象物に近づいて観察し、自己判断し、自己判断できない場合には中央監視部にデータを送信する等の自動運転機能による自動監視動作が行えるようになっている。
本実施形態の空港内移動型自動監視装置1Aを搭載する車輌は、専用に設計された監視装置一式を車輌に積載し、空港区域内を走行する。運転者による通常運転と自動運転の双方が行えることを想定している。
図22の二点鎖線に示すように、車輌は空港内の監視区域を決められたコースに沿って、監視作業をしながら監視区域全域を走行する。
空間情報取得部10は、車輌の周囲を空間的に把握する複数の機器から構成される。具体的には、全周囲カメラ又は広角カメラ,指定方向の対象物を捉える指定方向カメラ,進行方向の路面を捉える進行路面カメラ,レーザスキャナ,レーダを備えている。
全周カメラ部11は、車輌の全周囲の視野を確保するために、複数の広角レンズカメラか、全周カメラ(図20〜図21参照)を設置している。車輌の影となってしまう部分の詳細情報を取得するためには、複数の広角カメラ又は複数の全周カメラを設置するのが望ましい。
また、積雪用の全周カメラは、通常時より高い位置にカメラを設置することが望ましい(図21参照)。
夜間においては、全周カメラの感度が低下するので、近距離は照明装置により照射して撮影するか、反射物体、又は小ライト等を周囲に設置しておくことが望ましい。反射物体又は小ライトが視野内に100点以上映り込めば、全周カメラによる空間情報の取得が可能となる。
指定方向カメラは、任意の指定方向にカメラを向けて、指定された画角で対象物を捉えるズーム機能付きカメラが望ましいが、狭角カメラであってもよい。
なお、一度に監視する必要がある対象物が複数有り、監視対象物(予測される対象物、障害物、不審物等)が複数発見されれば、一つのカメラですべて対応するのは困難となる。そこで、指定方向カメラは複数とするのが望ましい。
具体的には、車輌の屋根部等に、車輌を取り巻くように複数設置することが望ましい(図20(a)に示す複数の「カメラ」参照)。
また、複数のカメラにより、同一の対象物を異なる方向から撮影することで、視差情報を持つ映像を取得し、三次元化して解析することができる。
なお、対象物としては、既設の監視対象物である場合もあるし、発見された監視対象物(予測される対象物、障害物、不審物等)であることもあるし、未だ正体不明物の物体であることもある。また、進行路面カメラでは捉えきれない、路面上の亀裂や監視対象物(予測される対象物、障害物、不審物等)であることもある。
さらに、日中の監視はビデオカメラによる指定方向監視が可能であるが、夜間には赤外線カメラに切り替えて監視するようにする。なお、赤外線カメラをより有効に用いるには、赤外線照明装置を併用すると効果的である。
特に、新雪時にはレーザスキャンとレーザパタン照射による映像解析に負うところが多い。映像処理のみでは新雪の積雪状況に対応できない場合が想定されるので、レーザスキャナは特に、積雪時のスノーバンクの検出等に有効である。
新雪積雪時のスノーバンクにおいては、映像解析だけでは雪面を有効に捉えられず、解析を困難にしている。このため、特に新雪の積雪時には、スノーバンク面にレーザの照射パタンを照射し、それを指定方向カメラや全周カメラで、しかも複数カメラで捉えることで、映像自身の解析が容易になるという副次効果が期待できる。
また、レーザスキャン装置を複数方向に複数取り付けて、三次元形状を取得することで夜間の精度は向上する。
なお、レーザプロファイラ装置としてはオーストリアRIEGL社製のLMS-210等が適している。
なお、夜間や積雪時における監視では、映像(全周囲カメラ部、進行路面カメラ部、及び指定方向カメラ部)とレーザスキャナ(レーザスキャナ部)を併用して用いることで対応するのが望ましい。
図19に示すように、まず、全周囲映像CV演算部20aは、車載した全周カメラから全周囲映像を取得し、上述した特徴点追跡方式のCV演算(図2〜図14参照)及びリアルタイム映像と三次元地図との比較による三次元指定点対応方式CV演算により車輌周囲の三次元空間、及び走行する車輌の三次元的位置と姿勢との関係を取得する機能を持つ部分である。本実施形態では、空間情報取得部10の全周囲カメラ11の映像を利用することができるので、新たにCV演算のための全周囲カメラを設置する必要はない。
なお、日中は全周囲カメラにより、周囲の様々な対象物を撮影することで取得できるが、夜間の空間情報は、監視区域内に設置されたあらゆる発光体を全周囲映像として取得することになる。また、夜間において、三次元指定点対応方式のCV演算を行うためには、三次元地図に発光体の映像と座標を登録しておく。
指定方向カメラ部13の赤外線カメラにより赤外線撮影可能な既設の対象物を捉えることで、情報の少ない夜間においては、夜間の空間情報取得のみならず、三次元座標が既知であるライトを取得することにより、位置座標取得にも貢献することになる。
三次元地図とリアルタイム取得した映像との対応は、空港の監視区域内にある様々な標識やマークを指定点に指定しておくことで、三次元地図に登録しておき、それと同一の指定点を空間情報としてリアルタイム取得した映像の中に検索すればよい。
なお、標識やマークが少ない空港内の区域においては、指定目的で新たに用意した指定マークを現場に設置し、それを三次元地図の映像に写し込んで置くことで、空間情報取得時に取得した前記指定点との比較対応により、車輌の位置座標と姿勢を取得できる。
これは、結果として、三次元指定点対応方式のCV演算で得られたCV値は、特徴点追跡方式のCV演算で得られたCV値と同一であり、三次元地図と比較せずに、単独で特徴点追跡によりCV演算して取得した特徴点追跡方式のCV値と同じ意味を持つ。すなわち、空間情報として取得したリアルタイム映像は、三次元地図と比較することで、CV値を取得することができるのである。換言すれば、結果として取得されたCV値は、特徴点追跡方式CV演算によるものなのか、三次元指定点対応方式CV演算によるものかは区別できないのである。
本実施形態では、三次元指定点対応方式CV演算を、図19に示す統合空間情報部40で行うものとする。
GPSやIMUは、周囲の空間情報を取得することはできなが、昼夜に関係なく作動し、車輌位置を示すデータを取得することができる。
また、霧で何も見えないような場合には、IMUに頼る以外ないが、通常はGPSで概略位置を取得し、三次元地図と実写映像の比較によりCV値を求める方法が有利である。
このように、GPSやIMUは、すべての機器を同時に用いる必要はなく、これらの機器は必要に応じて切り替えて使うことができる。例えば、映像との比較を行うためには全周映像から得られたCV値をGPSで絶対校正したものが精度良く、利用価値がある。
具体的には、統合空間情報部40の座標統合部41は、空間情報取得部10の全周囲カメラ部11,進行路面カメラ部12,指定方向カメラ部13,レーザスキャナ部14,レーダ部15のいずれか又はそれらの組み合わせから得られたデータと、位置座標取得部20で得られた車輌位置のデータを統合して、空間情報を統合する。
上述したように、空間情報は一つの機器ではなく、様々な機器の複数の情報の組み合わせで得られる。また、一つの機器でも空間情報を取得できるが、複数用いることでより精度の高い、より緻密な空間情報を取得できる。のである。
そして、取得された複数の空間情報が座標統合部41で統合される。
そして、統合空間情報部40において求められた車輌位置、例えばCV演算とGPSによって得られた車輌位置を三次元地図上の座標に印すことで、統合空間情報部と三次元地図を整合し、統合させ、さらに三次元地図内での車輌位置を特定することができる。
これによって、三次元地図と空間情報が統合されたことになる。
ここで、三次元地図は、前もって測量も組み合わせて精度の高い三次元地図を生成しておくことができる。すなわち、3D形状地図31は、測量等により正確に三次元地図化しておくことができる。
また、前もって、監視区域内を詳細に計測したレーザスキャナによる三次元形状を重ねて3D形状地図31とすることもできる。
特に、三次元地図部30には、CV映像に加えて高精度GPSや実際の測量を組み合わせて高精度にキャリブレーションした3D形状地図31を付加することが望ましい。
また、夜間は座標が既知の小ライトや、車輌からの投光で反射するマーカなどを監視空間に複数設置しておき、その座標を登録した夜間3D映像地図部33を付加することが望ましい。
なお、特殊な場合として、精度は落ちるが、車載された機器のみで三次元地図を生成することができる。この場合、1度目は地図無しで地図を生成しながら監視行動を行い、次回からは、1度目で生成した三次元地図を三次元地図部のデータとして扱い、1度目で取得した地図をさらに更新しながら、監視活動を行うことができる。
比較対応部51は、監視区域内の三次元座標を表す三次元地図を、統合空間情報と比較して対応させ、監視対象物(予測される対象物、障害物、不審物等)を検出し、監視対象物を確認する。
ここで、自動検出部50では、基準となる三次元地図に同じ位置に存在する統合空間情報内の対象物は予測される対象物であり、障害物でも、不審物でもないと判断する。
一方、三次元地図には存在せず、取得した統合空間情報には存在する物体があれば、それは予測される対象物ではなく、障害物、又は不審物と判定する。
さらに、三次元地図には存在して、取得した統合空間情報に存在しない場合には、要検討、要確認との判断になる。
具体的には、監視対象物自動検出部52は、三次元地図と統合空間情報との不一致の部分を分離して取り出し、監視区域内の監視対象物(予測される対象物、障害物、不審物等)として特定する。
なお、この段階では、不一致部分の三次元座標は特定でき、障害物又は不審物との判定はできるが、認識はされておらず、その特定された対象物が何であるかは不明のままである。
具体的には、地図更新部80は、三次元地図との対比の結果、対象物に変化が有ればそれを三次元地図に更新して登録する。
また、地図更新部80は、監視対象物(予測される対象物、障害物、不審物等)も次回の監視時に再確認するために一時登録する。
さらに、地図更新部80は、認識結果を三次元地図に反映させる必要が有れば反映させて登録する。
このように、地図更新部80によって三次元地図の更新が続けられることで、三次元地図部30に備えられる三次元地図は常に新しい情報に更新されることになる。
具体的には、視点コントロール部61は、レーザスキャナ装置を可動方式として、その方向をコントロールすることができる。
レーザ機器は一般に高額なので複数取り付けるとは困難なため、一台のレーザスキャナ装置を可動型にして利用することが望ましい。
また、レーザに関する視点コントロール部を設置せず、レーザは固定型として、カメラのみで指定方向を観察するようにすれば、コスト的には有利である。
この確認のためには、車輌位置からの方向を指定するので、指定方向に既設の監視対象物が予定通り存在すれば、それは監視対象物の確認と同時に、車輌位置の確認にもなることは重要である。
そして、次々と既設の監視対象物が指定通りの方向に存在することを確認していくことで、カメラの正しい三次元の軌跡を取得することができる。
すなわち、監視対象物(予測される対象物、障害物、不審物等)は移動物体の中にも存在するという前提で、移動体追跡部62では、移動体とその概略の大きさを検出し、次に、検出された移動体を追跡し、その三次元位置及び方向を追跡する。
ここで、認識とは、その監視対象物の属性を記録の中から呼び出せた状態をいう。例えば、監視区域内に「タイヤ」が落ちていた場合、それを監視対象物として判断しその三次元座標を取得した段階では「検出」され「特定」はされてはいるが、未だ「認識」は出来ていない状況である。それが路上に落ちているタイヤであると判断するには、監視対象物(予測される対象物、障害物、不審物等)は、認識部分にあるデータベースと比較され、タイヤの属性と一致したときに、それがタイヤであると認識されたことになる。
PRM認識部71は、上述した対象物を認識するためのPRM技術を使用するものであり、前もって予想される対象物の形状と属性を部品(オペレータ部品)としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する。
具体的には、監視表示部90は、認識された監視対象物(予測される対象物、障害物、不審物等)を、その属性とともに、さらにその三次元位置とともに、単独で現実の実像の中に、又は実写映像の中に、あるいは三次元地図の中に表示する。
なお、監視対象物(予測される対象物、障害物、不審物等)と特定された物体が、記録の中に存在しなければ自動認識部70では認識できないことになるが、その場合には、監視表示部90において、その監視対象物(予測される対象物、障害物、不審物等)の形状を映像として表示することができる。
また、監視対象となる対象物のいくつかには、予め属性が登録され、必要に応じて更新し、検索し、画像中で自動又は手動により指定すれば、呼び出された属性を映像とともに表示することができる。
また、監視対象物(予測される対象物、障害物、不審物等)を特定して警報音を発することができる。また、記憶装置の中から属性情報を取得できれば、自動認識して、その属性等を表示し、または警報等を発することも可能となる。
夜間の監視の場合、現実の実像は真っ暗であるが、この現実の実像に車輌の三次元位置と姿勢を合致させることで、すなわち夜間映像のCV値を求めることで、運転者の視点とCGの視点を合致させて、夜間映像に昼間の映像を合成することができる。
これによって、オペレータは、夜間でありながら監視表示部90に表示される昼間の映像を見ながら運転走行し、監視行動を続けることが可能となる。
ここで、データ記録部100には、すべての機器と各部の経緯を同時に記録することが望ましい。
また、データ記録部100に記録するデータは、自動検出した監視対象物及び自動認識した監視対象物を画像として、又は同時にCG化して、長期間記録することもできる。
自動制御部120は、自動判断部110の出力により、車輌の各部を自動制御し、自動運転を行う制御手段である。
また、自動制御部120は、監視に必要となる各機器の制御や、移動する監視対象物の自動追跡,警報音の発生,関係部署への自動連絡等も行う。
車輌には、上述したような本自動監視装置1Aの各種機器類が搭載されており、自動運転が可能であり、また自動運転を行わない場合には、オペレータによる通常の運転が可能である。
また、車輌は、監視対象物(予測される対象物、障害物、不審物等)の追跡機能と自動運転機能により、移動する不審物の自動追跡が可能となる。
これにより、中央監視部150では、既設の固定カメラを手動又は自動で指定された座標に向けることができ、中央監視部150において直接監視対象物(予測される対象物、障害物、不審物等)を映像で確認することができる。
すなわち、三次元地図を備えれば、あるいは三次元地図を備えなくても、リアルタイムに三次元地図を生成することにより、自動運転や自動案内装置として、通常の道路走行にも利用することができる。また、航空機や潜水艦、宇宙探査装置等にも応用が可能である。
以下に、本発明の移動型自動監視装置を監視目的以外に応用する場合の実施形態について説明する。
以下、本発明の移動型自動監視装置を使用して倉庫の荷物の運搬等を行うための作業操作案内表示装置の一実施形態について、図23〜図25を参照しつつ説明する。
図23は、本実施形態に係る作業操作案内表示装置の概略構成を示す機能ブロック図である。
図24は、図23に示す作業操作案内表示装置を搭載した作業車輌を模式的に示す説明図である。
また、図25は、図23に示す作業操作案内表示装置の監視表示部で表示される表示画像例である。
本実施形態では、このような本発明の特徴を利用して、作業者,オペレータが作業車輌や建設機械等を使って作業をする場合に、その作業操作を補助する案内表示を行う、案内マークと現実の実像の合成による作業操作案内表示方法及び装置を提供するものであり、
具体的には、本実施形態の作業操作案内表示装置1Bは、一般の作業専用車輌や、ユンボ,バックフォー,ブルドーザ,クレーン,リフト等の重機を用いて作業を行う場合に、現実の実像又は実写映像に三次元化された工事の設計図を重ねて標示し、設計図と現場の現実の実像を重ね合わせて表示・確認できる案内表示装置である。
具体的には、図23に示す通りであり、同図中、図1に示す移動型自動監視装置1(及び図19に示す空港内移動型自動監視装置1A)と同様の構成部分(同一の符号を付す)については、同様に動作・機能するものである。例えば、本実施形態の案合表示装置1Bを搭載した作業車輌においても、上述した空港内移動型自動監視装置1Aの監視車輌の場合と同様に、自動運転や自動作業を行うこともできる。
図23に示すように、本実施形態では、空間情報取得部10で撮影・監視され、自動検出部50で検出され、また自動認識部70で認識された監視対象物(予測される対象物、障害物、不審物等)の映像(検出映像)が、監視表示部90の合成目的映像資料部91に一旦記録される。
また、合成目的映像資料部91には、合成目的映像資料として、監視対象物の認識CG部品(認識映像,認識CG)や、既存CG(設計図,計画図)等が記録されている。
そして、これらの合成目的映像資料が、図23に示すように、現実の実像92、空間情報取得部10で取得された実写映像93、三次元地図から切り出した現場三次元地図94として出力・表示され、また、これらの映像等とともに、部品化されたCGや、既存の三次元地図や完成形が示された設計図等が出力・表示されるようになっている。
以下に、現実の実像92に合成目的の映像資料としてCGが合成表示される場合について説明する。
図25(b)は、本案内表示装置1Bによって特定された監視対象物であるコンテナの最終積み上げの完成された形状の作業完了予定図である。
そして、図24に示すように、リフトの作業者前方に備えられたハーフフミラーと映像投影装置により、これら現実の実像(図25(a))と合成目的映像資料(図25(b))が、光学的に合成された視野合成図(図25(c)参照)として表示される。
また、本実施形態では、視野合成図には、図25(c)に示すように、障害物(図24(b)参照)を避けて車輌が移動する方向を自動案内する車輌案内マーカが示されるようになっている。さらに、視野合成図には、図25(c)に示すように、各コンテナの積み上げ時の移動方向も作業案内マーカとして矢印で示されるようになっている。
このように、本実施形態では、合成目的映像資料部91に記録された合成目的映像資料が、図24(a)に示す映像投影装置とハーフミラーによって、実映像視界と重なるように、実スケールで、視点と距離に矛盾無く、作業者から観察できるようになっており、作業者は合成視界の中に、視野合成図を観察することができる。
そして、本作業案内表示装置1Bで検出され、特定・認識された監視対象物のコンテナは、自動認識部70のデータベースからCGデータが取り出され、作業者の現実の実像の視野に合成して表示される。CGは三次元的に実スケールで現実の実像に合成されるので、作業者は自身の見ている現実の実像に、視点の矛盾無くCGを合成して観察することになる。しかも作業者が頭部を移動させても、視点方向を変えても、三次元的に矛盾無く合成されているので、現実の実像とCGとの視点関係は保持される。
当然のことながら、この場合の車輌の動きは、リフトの屋根に取り付けた広角カメラ(図24(a)参照)の映像と三次元地図との対比により、CV値が求められ、現実の実像に矛盾無く合成することができる。
この場合は、現実の実映像の替わりに、実写映像又は、三次元地図を合成されることになる。この場合も、広角カメラの映像は三次元地図との対比によりCV値が求められるので、矛盾のない三次元合成が可能である。
それぞれの車輌の移動と作業に関して、その完成形を設計図として、三次元地図の中に、あるいは実写映像の中に、あるいは現実の実像の中に合成表示することで、作業が効率化し、又管理が適切となり、工事記録等も正確に取れることになる。
さらに、本実施形態で示した以外に、合成目的映像資料として三次元地図を用いる場合の例としては、現実の実像と、検出され認識された監視対象物とを、視点として矛盾無く合成するものであることから、様々な応用がある。例えば、三次元地図に空港の映像を重ねて表示し、又は離着陸の案内マーカをCG合成で表示し、霧の中でも映像を確認しながら離着陸できる装置を提供する場合にも有効である。
さらに、本発明の移動型自動監視装置の応用例として、単機能として機能するリアルタイム車輌位置姿勢検出装置の一実施形態について、図26を参照しつつ説明する。
上述したように、本発明の移動型自動監視装置によれば、移動する車輌から、車輌の位置と姿勢をリアルタイムで検出することにより、三次元地図上での自車輌位置と姿勢が特定できることになり、ここから様々な応用装置・応用製品が可能となる。
当然のことながら、この単機能としての車輌位置姿勢検出装置を用いることにより、上述した空港内移動型自動監視装置1Aや作業操作案内表示装置1Bについても、安価に実現することができるようになる。
同図に示すように、本実施形態のリアルタイム車輌位置姿勢検出装置1Cは、上述した移動型自動監視装置1(図1参照)や、空港内移動型自動監視装置1A(図19参照),作業操作案内表示装置1B(図23参照)と同様の空間情報取得部10,位置座標取得部20,三次元地図部30,統合空間情報部40及び監視表示部90を備えている。
広角カメラ11は一台より複数台の方が精度の点から望ましい。全周囲カメラが最も望ましいが、コストを低く抑えるために、本実施形態では広角カメラを採用する。広角カメラを全周画像の一部として扱うことで、全周カメラと同じ扱いが可能である。そして、この広角カメラ11で取得されたリアルタイム映像11aが、後述する三種類のCV演算のために位置座標取得部20に送られる。
位置座標取得部20は、概略位置取得用のGPS20bを備える。GPS20bは、精度の点から、精度の高い位置検出は困難であるため、本実施形態では、単に概略位置決めとして用いている。
ここで、CV映像化された全周映像の各フレームは、元々撮影時のカメラ位置と姿勢を6自由度のCV値として持っているが、カメラ回転成分が0となるように、画像補正し、揺れのないCV映像とすることが好ましい。このようにすると、画像の回転成分は0となり、CV値はカメラの三次元座標のみとなり、実質3自由度のデータとなるので、データ量も少なくなり、きわめて扱いやすくなる。
監視表示部90は、本実施形態に係るリアルタイム車輌位置姿勢検出装置1Cの出力結果である車輌位置やCV映像地図を表示する表示モニタ91を備える。
まず、位置座標取得部20のGPS20bにより車輌が位置する概略地域を取得し、この概略地域情報に基づいて、三次元地図部30のCV映像地図DB31のCV映像地図を選択する(S301)。
このCV映像地図選択(S301)では、GPS20bで取得された概略地域の周辺のCV映像を選択する。なお、このスタート設定については手動で位置合わせすることもできる。より正確には後述する指定点対応(S201)機能により行うことが好ましいが、スタート地点の概略位置設定はGPSと手動としてもよい。
この指定点は場所を指定された時点で自動検出することもできるが、CV映像内に前もって検出しておくことが望ましい。
次いで、位置座標取得部20における指定点対応(S201)により、検出された指定点の三次元座標を指示して、広角カメラで取得されたリアルタイム映像11aの映像内に、CV映像内の指定点に対応する地点を探し出す。
次に、指定点追跡(S202)により、三次元指定点をリアルタイム映像中の対応点と対応を取りながら、リアルタイム映像内で追跡する。
指定点CV演算(S203)では、三次元指定点対応方式CV演算が行われ、追跡された各フレーム内で指定点の複数個(精度の観点からは数十個とすることが望ましい)が取得映像に移転されることで、その点の三次元座標が既知となるため、4点以上の指定点の対応が求められれば、各フレームにおいてCV値、すなわち、リアルタイム映像11aを取得した広角カメラ11の各フレームの三次元位置と姿勢が、他のフレームに関係なく、フレーム固有の値として直ちに独立に求められる。
また、この三次元指定点対応方式CV演算では、三次元地図としてのCV映像の指定点が絶対座標を持てば、三次元指定点対応方式CV演算によって求められたCV値も絶対座標を持つことになる。これは重要なことである。
なお、この三次元指定点対応方式CV演算は、上述した特徴点追跡方式のCV演算(図2〜図14参照)と区別するために、三次元指定点対応方式CV演算(略して「指定点CV演算」)と呼び、上述したCV演算は、指定点CV演算と区別するために特徴点追跡方式CV演算(省略して「特徴点CV演算」)と呼ぶことがある。但し、演算された結果は、どちらのCV値も同じものである。
一方、リアルタイム映像11aは、特徴点CV演算による特徴点抽出(S206)により、自動的に特徴点抽出が行われ、短フレーム特徴点追跡(S207)により特徴点追跡が行われ、特徴点CV演算(S208)により、短フレーム間の特徴点CV演算が行われる。短フレーム簡でCV演算するのは、リアルタイム処理のために演算時間を短縮するためである。
ここで、整理すれば三種類のCV演算があることになる。(1)特徴点追跡方式CV演算(特徴点CV演算),(2)三次元指定点対応方式CV演算(指定点CV演算),(3)特徴点扱いCV演算の三種である。
このとき、誤差が打ち消し合い、カメラ位置姿勢検出(S402)では、より精度の高いカメラ位置と姿勢(CV値)が求められる。
カメラ位置と車輌位置は、カメラの取り付け位置との関係で決まるので、最終的には車輌位置姿勢換算(S403)により、車輌位置に変換されて、監視表示部90と、その他の用途のために出力される。
ここでの出力は、様々な応用に利用可能である。
以上のように、本実施形態に係るリアルタイム車輌位置姿勢検出装置1Cでは、リアルタイム処理でありながら、指定点CV演算(S203),特徴点扱いCV演算(S205),特徴点CV演算(S208)と三種類のCV演算を行うことで、精度を向上させることができる。
そして、この本実施形態に係るリアルタイム車輌位置姿勢検出装置1Cを基本として、他に様々な機能を付加していくことで、様々な用途に適した装置を組み立てることが可能となる。
例えば、上述した実施形態では、本発明の移動型自動監視装置によって監視する監視対象・監視エリアとして飛行場の滑走路及びターミナルを例にとって説明したが、本発明の適用対象がこれらに限定されるものではなく、監視カメラによる遠隔監視が必要であったり好適であったりする監視対象物や監視対象エリアであれば、どのような物や場所・空間に適用することができる。
1A 空港内移動型自動監視装置
1B 作業操作案内表示装置
1C リアルタイム車輌位置姿勢検出装
10 空間情報取得部
20 位置座標取得部
30 三次元地図部
40 統合空間情報部
50 自動検出部
60 視点方向コントロール部
70 自動認識部
80 地図更新部
90 監視表示部
100 データ記録部
110 自動判断部
120 自動制御部
Claims (6)
- 移動体に搭載され、移動体とともに移動して当該移動体周囲の空間情報を取得する空間情報取得部と、
移動する移動体の三次元位置と姿勢を示す位置座標情報を取得する位置座標取得部と、
移動体が移動する監視領域及び当該監視領域から前記空間情報取得部が空間情報を取得可能な領域の三次元地図を備えた三次元地図部と、
移動体周囲の空間情報と、移動体の位置座標情報、及び監視領域の三次元地図に基づいて、移動体周囲の三次元空間情報を統合して統合空間情報を生成する統合空間情報部と、
移動体周囲の空間情報と三次元地図とを対応させ、監視領域内にある監視対象物を検出し特定する自動検出部と、
自動検出部で特定された監視対象物の所定の属性情報を認識する自動認識部と、
移動体の移動に必要な画像情報と、自動検出部で特定された監視対象物の映像、及び自動認識部で属性認識された監視対象物のCG又は映像を、移動体から観察される視点と合致させて、実映像,実写映像又は三次元地図中に合成して表示する監視表示部と、
監視表示部を介して表示される監視対象物の所定のデータを記録する記録部と、
を備えることを特徴とする移動型自動監視装置。 - 前記自動検出部で監視対象物として特定される対象物の大きさ,形状,位置等の変更が検出されると、当該変更を、前記三次元地図部の三次元地図情報及び/又は前記記録部の所定のデータに反映させる地図更新部を備える請求項1記載の移動型自動監視装置。
- 前記自動検出部で特定された監視対象物の三次元座標と、前記位置座標取得部で取得される移動体の三次元座標に基づいて決定される当該監視対象物の方向に向けて、前記空間情報取得部に備えられる観測機器を駆動制御する視点方向コントロール部を備える請求項1又は2記載の移動型自動監視装置。
- 空間情報取得部が、
移動体周囲の映像を広範囲に取得する全周カメラ,指定方向に視点を向ける指定方向カメラ,レーザ光を走査して方向と距離を計測するレーザスキャン装置,レーダ波を発射して反射波の方向と距離を計測するレーダ装置等の各機器の一部又は全部を備え、昼夜、季節、天候等の状況に応じて、これら各機器を単独で又は任意の組み合わせにより、前記移動体周囲の空間情報を取得する請求項1乃至3のいずれか一項記載の移動型自動監視装置。 - 前記自動検出部で特定された監視対象物と、前記自動認識部で認識された当該監視対象物の属性情報に基づいて、前記移動体の次の行動を決定する自動判断部と、
前記自動判断部で決定された前記移動体の次の行動に従って、当該移動体を制御する自動制御部と、
を備えた請求項1乃至4のいずれか一項記載の移動型自動監視装置。 - 前記統合空間情報部が、
前記空間情報取得部で取得される移動体周囲の空間情報と、前記位置座標取得部で取得される当該移動体の位置座標情報のみに基づいて、移動体周囲の三次元空間情報を統合して統合空間情報を生成するとともに、
当該統合空間情報に基づいて、前記三次元地図部に備えられる三次元地図を生成する請求項1乃至5のいずれか一項記載の移動型自動監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005329732A JP4980606B2 (ja) | 2005-11-15 | 2005-11-15 | 移動型自動監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005329732A JP4980606B2 (ja) | 2005-11-15 | 2005-11-15 | 移動型自動監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007142517A true JP2007142517A (ja) | 2007-06-07 |
JP4980606B2 JP4980606B2 (ja) | 2012-07-18 |
Family
ID=38204903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005329732A Active JP4980606B2 (ja) | 2005-11-15 | 2005-11-15 | 移動型自動監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4980606B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101015408B1 (ko) | 2009-06-12 | 2011-02-22 | 엠텍비젼 주식회사 | 운송 수단 관련 정보 저장 장치 및 방법 |
KR101028513B1 (ko) | 2009-03-10 | 2011-04-11 | (주)씨앤에스 테크놀로지 | 차량운행정보 통합파일 생성 장치 및 그 방법 |
US8452078B2 (en) | 2008-10-15 | 2013-05-28 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors |
WO2013094405A1 (ja) * | 2011-12-21 | 2013-06-27 | 日産自動車株式会社 | 監視システム |
US8687898B2 (en) | 2010-02-01 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition based on three-dimensional adaptive feature detectors |
WO2014081351A1 (en) * | 2011-09-16 | 2014-05-30 | Saab Ab | Method for improving the accuracy of a radio based navigation system |
US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
KR101511567B1 (ko) * | 2012-08-14 | 2015-04-13 | 삼성테크윈 주식회사 | 영상 감시 시스템 및 그의 동작 방법 |
KR20150107423A (ko) * | 2014-03-14 | 2015-09-23 | 벨로스테크놀로지 주식회사 | 팬틸트 일체형 감시 카메라의 영상추적 제어 시스템 |
WO2017169598A1 (ja) * | 2016-03-30 | 2017-10-05 | 株式会社小松製作所 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
JP2017186870A (ja) * | 2016-03-30 | 2017-10-12 | 株式会社小松製作所 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
CN107830801A (zh) * | 2017-10-27 | 2018-03-23 | 东莞东聚电子电讯制品有限公司 | 一种高精度球面贴合装置 |
JP2018081008A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社岩根研究所 | 基準映像地図を用いた自己位置姿勢標定装置 |
WO2022234668A1 (ja) * | 2021-05-07 | 2022-11-10 | ファナック株式会社 | 稼働管理装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102161210B1 (ko) | 2015-01-15 | 2020-09-29 | 한화테크윈 주식회사 | 다중 비디오써머리제공방법 및 장치 |
EP3299922B1 (en) | 2015-05-22 | 2022-09-07 | FUJIFILM Corporation | Robot device and movement control method for robot device |
JP7235691B2 (ja) * | 2020-03-23 | 2023-03-08 | 株式会社日立製作所 | 自動検査装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1165431A (ja) * | 1997-08-25 | 1999-03-05 | Nippon Telegr & Teleph Corp <Ntt> | 景観ラベル付カーナビゲーション装置およびシステム |
JP2000128031A (ja) * | 1998-08-21 | 2000-05-09 | Sumitomo Electric Ind Ltd | ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム |
JP2003259349A (ja) * | 2002-02-28 | 2003-09-12 | Sharp Corp | 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム |
JP2004117071A (ja) * | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
-
2005
- 2005-11-15 JP JP2005329732A patent/JP4980606B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1165431A (ja) * | 1997-08-25 | 1999-03-05 | Nippon Telegr & Teleph Corp <Ntt> | 景観ラベル付カーナビゲーション装置およびシステム |
JP2000128031A (ja) * | 1998-08-21 | 2000-05-09 | Sumitomo Electric Ind Ltd | ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム |
JP2003259349A (ja) * | 2002-02-28 | 2003-09-12 | Sharp Corp | 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム |
JP2004117071A (ja) * | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8452078B2 (en) | 2008-10-15 | 2013-05-28 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors |
KR101028513B1 (ko) | 2009-03-10 | 2011-04-11 | (주)씨앤에스 테크놀로지 | 차량운행정보 통합파일 생성 장치 및 그 방법 |
KR101015408B1 (ko) | 2009-06-12 | 2011-02-22 | 엠텍비젼 주식회사 | 운송 수단 관련 정보 저장 장치 및 방법 |
US8687898B2 (en) | 2010-02-01 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition based on three-dimensional adaptive feature detectors |
US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
US9423506B2 (en) | 2011-09-16 | 2016-08-23 | Saab Ab | Tactical differential GPS |
WO2014081351A1 (en) * | 2011-09-16 | 2014-05-30 | Saab Ab | Method for improving the accuracy of a radio based navigation system |
WO2013094405A1 (ja) * | 2011-12-21 | 2013-06-27 | 日産自動車株式会社 | 監視システム |
KR101511567B1 (ko) * | 2012-08-14 | 2015-04-13 | 삼성테크윈 주식회사 | 영상 감시 시스템 및 그의 동작 방법 |
KR20150107423A (ko) * | 2014-03-14 | 2015-09-23 | 벨로스테크놀로지 주식회사 | 팬틸트 일체형 감시 카메라의 영상추적 제어 시스템 |
KR101634129B1 (ko) * | 2014-03-14 | 2016-06-28 | 벨로스테크놀로지 주식회사 | 팬틸트 일체형 감시 카메라의 영상추적 제어 시스템 |
JP2017186870A (ja) * | 2016-03-30 | 2017-10-12 | 株式会社小松製作所 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
WO2017169598A1 (ja) * | 2016-03-30 | 2017-10-05 | 株式会社小松製作所 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
AU2017242392B2 (en) * | 2016-03-30 | 2019-12-05 | Komatsu Ltd. | Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method |
US10805597B2 (en) | 2016-03-30 | 2020-10-13 | Komatsu Ltd. | Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method |
JP2018081008A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社岩根研究所 | 基準映像地図を用いた自己位置姿勢標定装置 |
CN107830801A (zh) * | 2017-10-27 | 2018-03-23 | 东莞东聚电子电讯制品有限公司 | 一种高精度球面贴合装置 |
CN107830801B (zh) * | 2017-10-27 | 2024-05-28 | 东莞东聚电子电讯制品有限公司 | 一种高精度球面贴合装置 |
WO2022234668A1 (ja) * | 2021-05-07 | 2022-11-10 | ファナック株式会社 | 稼働管理装置 |
JP7502559B2 (ja) | 2021-05-07 | 2024-06-18 | ファナック株式会社 | 稼働管理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4980606B2 (ja) | 2012-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4980606B2 (ja) | 移動型自動監視装置 | |
US9898821B2 (en) | Determination of object data by template-based UAV control | |
JP4767578B2 (ja) | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 | |
US11017228B2 (en) | Method and arrangement for condition monitoring of an installation with operating means | |
JP5227065B2 (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
Loupos et al. | Autonomous robotic system for tunnel structural inspection and assessment | |
Li et al. | NRLI-UAV: Non-rigid registration of sequential raw laser scans and images for low-cost UAV LiDAR point cloud quality improvement | |
CN111487642A (zh) | 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法 | |
JP6821154B2 (ja) | 基準映像地図を用いた自己位置姿勢標定装置 | |
CN104067145A (zh) | 剪枝机器人系统 | |
JP2018512687A (ja) | 環境の走査及び無人航空機の追跡 | |
JP6975513B2 (ja) | カメラベースの自動化された高精度道路地図の生成システム及び方法 | |
JP6446005B2 (ja) | 地中探査装置 | |
JP4980617B2 (ja) | 二次元図面と映像の合成表示装置 | |
US10893190B2 (en) | Tracking image collection for digital capture of environments, and associated systems and methods | |
JP4545093B2 (ja) | 3d自動測量装置 | |
JP4624000B2 (ja) | 複合人工知能装置 | |
JP4773794B2 (ja) | 新旧映像座標統合装置 | |
JP2008005478A (ja) | 湧きだし点基準cv領域画像前置装置 | |
EP1180324B1 (en) | Method and apparatus for observing and determining the position of targets in geographical areas | |
Calantropio et al. | 360 images for UAV multisensor data fusion: First tests and results | |
Sukumar et al. | Multi-sensor integration for unmanned terrain modeling | |
US20220390252A1 (en) | Use of predefined (pre-built) graphical representations of roads for autonomous driving of vehicles and display of route planning | |
Garcia et al. | A Proposal to Integrate ORB-Slam Fisheye and Convolutional Neural Networks for Outdoor Terrestrial Mobile Mapping | |
Yucel et al. | A Comparative Analysis of Point Clouds Acquired from UAV Photogrammetry and UAV-based LiDAR in Built Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080812 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090616 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090824 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4980606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |