JP2018125670A - 空中監視装置、空中監視方法及びプログラム - Google Patents
空中監視装置、空中監視方法及びプログラム Download PDFInfo
- Publication number
- JP2018125670A JP2018125670A JP2017015817A JP2017015817A JP2018125670A JP 2018125670 A JP2018125670 A JP 2018125670A JP 2017015817 A JP2017015817 A JP 2017015817A JP 2017015817 A JP2017015817 A JP 2017015817A JP 2018125670 A JP2018125670 A JP 2018125670A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- camera
- dimensional trajectory
- trajectory information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012806 monitoring device Methods 0.000 title claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供する。【解決手段】複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置100であって、第1カメラC1が出力する第1画像M1及び第2カメラC2が出力する第2画像M2を受信する画像受信部1210と、第1画像M1、第2画像M2の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する2次元軌跡情報取得部1211と、第1画像M1から取得した2次元軌跡情報と、第2画像M2から取得した2次元軌跡情報と、第1カメラC1及び第2カメラC2のカメラパラメータとに基づいて、移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する3次元軌跡情報取得部1213と、取得した3次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する移動物体分類部1214とを備える。【選択図】図2
Description
本発明は、空中監視装置、空中監視方法及びプログラムに関する。
近年、急速に普及しているドローン等の無人航空機(UAV:unmanned aerial vehicle)は、様々な分野での有効活用が期待されている一方で、利用方法によっては、テロや犯罪へ悪用されることが懸念されている。また、他の飛行物体と衝突するおそれや、落下した場合に地上の人等に危害を及ぼすおそれもあり、安全上の観点からも課題を有している。
人々が生活する上空には、上述した無人航空機の他、報道ヘリコプターや有人の航空機、鳥、雲、工場や火災による煙等、様々な移動物体が存在する。無人航空機の法整備を進めるため、また、無人航空機による悪用を防ぐためにも、上空に存在し得る移動物体についてモニタリングすることが求められている。
特許文献1には、人工衛星や航空機等から撮像して得られる光学画像を用いて移動物体を検出する装置が開示されている。しかし、このように上空から移動物体を検出する技術では、広域にわたる常時監視を実現することは現実的ではない。また、上空から移動物体を検出するためには、高分解能な画像を取得するために高性能カメラを搭載する必要がある。また、特許文献1に記載の装置では、移動物体の移動ベクトルを算出することを課題としており、移動物体の特定についてはなされていない。
特許文献2には、(特許文献1と同様に上空の)航空機上のカメラから受信されるビデオ画像データを用いて、飛行中に航空機に接近する鳥を特定する装置が開示されている。特許文献2には、鳥以外にも航空機に衝突しうる任意の他の物体を検出すること、特定した物体の推定運動を利用して、物体が航空機に衝突するかどうかを判断することが開示されているが、単に航空機に衝突し得る物体を検出するのみで、さらに詳細な物体の分類を行うこと、及び物体の動きを監視することはできない。
そこで、本発明は、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供することを目的とする。
本発明の一態様に係る複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置は、第1カメラが出力する第1画像及び第2カメラが出力する第2画像を受信する画像受信部と、第1画像、第2画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する2次元軌跡情報取得部と、第1画像から取得した2次元軌跡情報と、第2画像から取得した2次元軌跡情報と、第1カメラ及び第2カメラのカメラパラメータとに基づいて、移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する3次元軌跡情報取得部と、取得した3次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する移動物体分類部とを備える。
この態様によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することを可能としたことにより、限られたリソースで常時、空中を監視することができる。さらに、この態様による第1カメラ、第2カメラを複数個所に設置することにより、広域にわたって空中を監視することができる。
さらにまた、この態様によれば、カメラが撮影した画像を用いて監視することができるので、レーダーを用いた移動物体の検出とは異なり、監視中であることを移動物体に感知されずに監視することができる。
3次元軌跡情報取得部は、第1画像及び第2画像上で特徴点の対応付けを行い、第1カメラ及び第2カメラが設置されている方向と両者間の距離に基づいて移動物体の3次元座標を求め、3次元軌跡情報取得部は、空中の特徴点よりも地上の特徴点が優先されるように、対応付けを行う特徴点を選択してもよい。
この態様によれば、より精度の高い3次元座標を求めることができる。
2次元軌跡情報取得部は、移動物体の重心を求めて、求めた重心をトラッキングの中心座標としてもよい。
この態様によれば、トラッキング中に発生するバウンディングボックスと移動物体とのずれが小さくなるように改善することができる。
空中監視装置は、移動物体を分類するための外観に関する特徴情報を記憶する分類特徴記憶部をさらに備え、移動物体分類部は、分類特徴記憶部に記憶されている外観の特徴に少なくとも基づいて、移動物体の分類を特定してもよい。
この態様によれば、より精度の高い分類の特定を行うことができる。
第1カメラ及び第2カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に60メートルから100メートルの間隔で設置されてもよい。
この態様によれば、約0.21km2の範囲を監視することができる。
本発明の他の態様に係る1又は複数のコンピュータによって実行される、複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視方法は、第1カメラが出力する第1画像及び第2カメラが出力する第2画像を受信する工程と、第1画像、第2画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する工程と、第1画像から取得した2次元軌跡情報と、第2画像から取得した2次元軌跡情報と、第1カメラ及び第2カメラのカメラパラメータとに基づいて、移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する工程と、取得した3次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する工程とを含む。
本発明の他の態様に係る複数のカメラが撮影した空中の画像から移動物体を検出して分類するプログラムは、1又は複数のコンピュータに、第1カメラが出力する第1画像及び第2カメラが出力する第2画像を受信する処理と、第1画像、第2画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する処理と、第1画像から取得した2次元軌跡情報と、第2画像から取得した2次元軌跡情報と、第1カメラ及び第2カメラのカメラパラメータとに基づいて、移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する処理と、取得した3次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する処理とを実行させる。
本発明によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供することができる。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。
図1は、本発明の実施形態に係る空中監視装置を有する空中監視システムの概略図である。図1では、空中監視システムを設置したビルの状況を模式的に示している。
空中監視装置100は、空中の画像を撮影する複数のカメラC1、C2と通信可能に接続される。複数のカメラC1、C2は、監視対象となる空中の同一の範囲を撮影することができるように空間上の異なる位置に設置され、撮影した画像を空中監視装置100に出力する。本実施形態では、図1に示されるように、カメラC1及びカメラC2は、カメラ設置面から250メートル上空の面において、約0.21km2の範囲となる、上底370メートル、下底740メートル、高さ380メートルとする台形の範囲を撮影することができるよう、ビルの屋内に60メートルから100メートルの間隔で設置されている。なお、ここで述べた撮影範囲や寸法は一例にすぎず、カメラの設置位置や向き、性能等に応じて任意に撮影範囲や寸法を設定することができる。
前述したように、空中には無人航空機、ヘリコプター、飛行機、鳥等を含む、様々な移動物体が存在する場合がある。空中監視装置100は、複数のカメラC1、C2が出力する画像に基づいて移動物体を検出し、検出した移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する。さらに、空中監視装置100は、取得した3次元軌跡情報により示される移動物体の動きの特徴を用いて、移動物体の分類を行う。
図2は、本発明の実施形態に係る空中監視システムのブロック図である。なお、図2では、単一の空中監視装置100を想定し、必要な機能構成だけを示しているが、空中監視装置100を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
カメラC1、C2は、画像送信部211を備える。
空中監視装置100は、入力部110と、制御部120と、記憶部130と、通信部140とを備えている。
入力部110は、空中監視装置100の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。
制御部120は、CPUやMPU等の演算処理部121及びRAM等のメモリ122を備えている。演算処理部121は、各種入力に基づき、記憶部130に記録されたプログラムを実行することで、各種機能部を動作させるものである。このプログラムは、CD−ROM等の記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ122は、サーバ用プログラムにおいて処理の実行中に、演算等に必要な各種データを、一時的に記憶するためのものである。
記憶部130は、ハードディスク等の記憶装置によって構成され、制御部120における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。具体的には、記憶部130は、画像記憶部131、カメラパラメータ記憶部132及び分類特徴記憶部133を有していることが望ましい。
画像記憶部131には、カメラC1、C2の画像送信部211から出力される画像M1、M2が保存されている。
カメラパラメータ記憶部132には、各カメラCのカメラ特性を表すカメラパラメータが保存されている。カメラパラメータには、カメラの位置、方向、レンズの焦点距離、レンズ歪み、画像中心(光軸と画像面の交点)の座標等が含まれる。
分類特徴記憶部133には、移動物体を分類するための特徴情報が保存されている。移動物体を分類するための特徴情報には、動き、色、模様、形状、大きさ等の情報が含まれる。
通信部140は、空中監視装置100をネットワークに接続するように構成される。例えば、通信部140は、LANカード、アナログモデム、ISDNモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。
さらに、図2に示すように、演算処理部121は、機能部として、画像受信部1210、2次元軌跡情報取得部1211、カメラパラメータ取得部1212、3次元軌跡情報取得部1213、移動物体分類部1214、監視結果出力部1215とを備えている。
画像受信部1210は、カメラC1、C2の画像送信部211から出力される画像M1、M2を受信して、画像記憶部131に格納する。
2次元軌跡情報取得部1211は、画像記憶部131に保存されている各画像M1、M2から、移動物体の2次元的な軌跡を示す2次元軌跡情報を取得する。具体的には、2次元軌跡情報取得部1211は、各画像M1、M2において、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する。
本実施形態では、2次元軌跡情報取得部1211は、周知の背景差分方法を用いて移動物体の検出を行い、その後、検出した移動物体を公知の追跡アルゴリズム(KCF)でトラッキングすることで移動物体の2元的軌跡情報を取得する。なお、本実施形態では背景差分法を用いて移動物体の検出を行うが、他の任意の方法を用いて移動物体を検出することができる。同様に、本実施形態ではKCFを用いて移動物体のトラッキングを行うが、他の任意の方法を用いて移動物体のトラッキングを行うことができる。
カメラパラメータ取得部1212は、画像記憶部131に保存されている複数の画像M1、M2から、複数のカメラC1、C2のカメラパラメータを取得して、カメラパラメータ記憶部132に格納する。カメラパラメータは、カメラCで撮影した画像の特徴点と、3次元座標系内の特徴点の位置の対応関係から、計算によって求めることができる。例えば、カメラパラメータ取得部1212は、カメラC1、C2のそれぞれが3次元空間全体を撮影した画像M1、M2から特徴量を抽出して、抽出した特徴量の位置と3次元座標系の特徴量の位置との対応関係から、カメラパラメータを計算することができる。なお、本実施形態では周知のSIFT(Scale−Invariant Feature Transform)特徴量を用いるが、画像中の他の任意の特徴量を用いることができる。
3次元軌跡情報取得部1213は、2次元軌跡情報取得部1211が取得した複数の2次元軌跡情報とカメラパラメータ記憶部132に格納されている複数のカメラC1、C2のカメラパラメータとに基づいて、移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する。なお、本実施形態では周知の三角測量を用いて3次元軌跡情報を取得するが、他の任意の方法を用いて3次元軌跡情報を取得することができる。
移動物体分類部1214は、画像記憶部131に保存されている複数の画像M1、M2と3次元軌跡情報取得部1213が取得した3次元軌跡情報と分類特徴記憶部133とに基づいて、移動物体の分類を特定する。本実施形態では、移動物体分類部1214は、3次元軌跡情報から得られる移動物体の動きの特徴と分類特徴記憶部133に格納されている動きの特徴とに基づいて、移動物体の分類を特定する。「分類」としては、例えば、UAV、ヘリコプター、飛行機、鳥を含む。また、移動物体分類部1214は、画像M1、M2から得られる外観の特徴と分類特徴記憶部133に格納されている外観の特徴とに基づいて、移動物体の分類を特定することもできる。ここで、「外観」とは、例えば、色、模様、形状、大きさを含む。
監視結果出力部1215は、移動物体分類部1214が特定した分類と3次元軌跡情報取得部1213が取得した移動物体の3次元軌跡情報とを出力する。
(空中監視処理)
図3を参照して、本発明の実施形態に係る空中監視処理を詳細に説明する。本実施形態では、図3で説明される空中監視処理を行う前に、空中監視装置100のカメラパラメータ取得部1212がカメラC1、C2のカメラパラメータを取得して、カメラパラメータ記憶部132に格納しているものとする。また、分類特徴記憶部133についても、空中監視装置100の入力部110を介して、管理者が事前に特徴情報を格納しているものとする。
図3を参照して、本発明の実施形態に係る空中監視処理を詳細に説明する。本実施形態では、図3で説明される空中監視処理を行う前に、空中監視装置100のカメラパラメータ取得部1212がカメラC1、C2のカメラパラメータを取得して、カメラパラメータ記憶部132に格納しているものとする。また、分類特徴記憶部133についても、空中監視装置100の入力部110を介して、管理者が事前に特徴情報を格納しているものとする。
ステップS301において、空中監視装置100の画像受信部1210が、カメラC1、C2の画像送信部211から出力される画像M1、M2を受信して、画像記憶部131に格納する。
ステップS302において、空中監視装置100の2次元軌跡情報取得部1211が、画像記憶部131に保存されている各画像M1、M2において、画像中の移動物体を検出する。本実施形態では、2次元軌跡情報取得部1211は、後述するように、背景差分方法を用いて移動物体の検出を行う。
画像中に移動物体が検出される場合(ステップS302:YES)、ステップS303において、2次元軌跡情報取得部1211は、検出した移動物体を追跡アルゴリズムでトラッキングすることで移動物体の2次元的な軌跡を示す2次元軌跡情報を取得する。本実施形態では、2次元軌跡情報取得部1211は、後述するように、KCFを用いて移動物体をトラッキングする。一方、画像中に移動物体が検出されない場合(ステップS302:NO)、処理を終了する。
ステップS304において、空中監視装置100の3次元軌跡情報取得部1213は、2次元軌跡情報取得部1211が画像M1及びM2の各々から取得した2つの2次元軌跡情報とカメラパラメータ記憶部132に格納されている2つのカメラC1、C2のカメラパラメータとに基づいて、移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する。本実施形態では、運動からの形状復元(SfM:Structure from Motion)を使用して、異なる視点から撮影された画像M1及びM2上でSIFT特徴量を用いて特徴点の対応付けを行い、カメラC1及びカメラC2が設置されている方向と両者間の距離に基づいて移動物体の3次元座標を求める。
ここで、3次元軌跡情報取得部1213は、(例えば雲等)空中の特徴点よりも(例えば建造物等)地上の特徴点が優先されるように、対応付けを行う特徴点を選択するように構成することもできる。このような構成とすることで、より精度の高い3次元座標を求めることができる。
ステップS305において、空中監視装置100の移動物体分類部1214は、画像記憶部131に保存されている複数の画像M1、M2と3次元軌跡情報取得部1213が取得した3次元軌跡情報と分類特徴記憶部133とに基づいて、移動物体の分類を特定する。本実施形態では、移動物体分類部1214は、3次元軌跡情報から得られる移動物体の動きの特徴と分類特徴記憶部133に格納されている動きの特徴とに基づいて、移動物体の分類(例えば、UAV、ヘリコプター、飛行機、鳥)を特定する。
さらに本実施形態では、カメラC1、C2から所定の範囲内に位置する移動物体について、移動物体分類部1214は、画像M1、M2から得られる外観(例えば色、模様、形状、大きさ)の特徴と分類特徴記憶部133に格納されている外観の特徴とに基づいて移動物体の分類を特定することで、より精度の高い分類の特定を行うことができる。例えば、移動物体分類部1214は、画像内の移動物体の大きさと、3次元軌跡情報から得られるカメラから移動物体までの距離とに基づいて実際の大きさを推定し、画像から得られる外観の特徴として利用することができる。
ステップS306において、空中監視装置100の監視結果出力部1215は、移動物体分類部1214が特定した分類と3次元軌跡情報取得部1213が取得した移動物体の3次元軌跡情報とを出力する。
以上、本発明によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することを可能としたことにより、限られたリソースで常時、空中を監視することができる。さらに、本発明によるカメラC1、C2を複数個所に設置することにより、広域にわたって空中を監視することができる。
さらにまた、本発明によれば、カメラが撮影した画像を用いて監視することができるので、レーダーを用いた移動物体の検出とは異なり、監視中であることを移動物体に感知されずに監視することができる。
(移動物体検出処理)
図4及び図5を参照して、ステップS302の移動物体検出処理を詳細に説明する。図4は、本発明の一実施形態に係る移動物体検出処理を示すフローチャートである。図5(a)は背景画像例、図5(b)は入力画像例、図5(c)は移動物体抽出画像例、図5(d)はノイズ除去後の画像例、図5(e)はラベリング画像例をそれぞれ示す。
図4及び図5を参照して、ステップS302の移動物体検出処理を詳細に説明する。図4は、本発明の一実施形態に係る移動物体検出処理を示すフローチャートである。図5(a)は背景画像例、図5(b)は入力画像例、図5(c)は移動物体抽出画像例、図5(d)はノイズ除去後の画像例、図5(e)はラベリング画像例をそれぞれ示す。
ステップS401において、2次元軌跡情報取得部1211は、図5(a)に示されるような背景画像を画像記憶部131から取得する。
ステップS402において、2次元軌跡情報取得部1211は、図5(b)に示されるような入力画像を画像記憶部131から取得する。
ステップS403において、S401で取得した背景画像とS402で取得した入力画像とを比較して既知の背景部分を取り除くことで、図5(c)に示されるような移動物体を抽出する。
ステップS404において、2次元軌跡情報取得部1211は、膨張収縮処理を用いて、図5(c)に発生しているノイズを除去する。図5(d)は、ノイズを除去した後の画像例を示す。
ステップS405において、2次元軌跡情報取得部1211は、図5(e)に示されるように、連結する画素に同じラベルを割り当てるラベリング処理を用いて、移動物体を判別する。この処理によって、移動物体が複数存在する場合に、それぞれの移動物体を判別することができる。
ステップS406において、2次元軌跡情報取得部1211は、ステップS405で判別した移動物体を含む、矩形の大きさと位置を求める。求めた矩形の大きさと位置を、以降のトラッキング処理に利用する。
(トラッキング処理)
ステップS303のトラッキング処理を詳細に説明する。本実施形態で用いるKCFでは、追跡対象を矩形領域(バウンディングボックス)で指定する。ここで、2次元軌跡情報取得部1211は、バウンディングボックスの指定の際に、ステップS406で求めた矩形をそのまま用いる(バウンディングボックスの中心の座標を物体の重心とみなす)のではなく、S405で同じラベルを割り当てた連結画素の重心を求めて、求めた連結画素の重心がバウンディングボックスの中心の座標となるように構成することもできる。このような構成とすることで、トラッキング中に発生するバウンディングボックスと移動物体とのずれが小さくなるように改善することができる。
ステップS303のトラッキング処理を詳細に説明する。本実施形態で用いるKCFでは、追跡対象を矩形領域(バウンディングボックス)で指定する。ここで、2次元軌跡情報取得部1211は、バウンディングボックスの指定の際に、ステップS406で求めた矩形をそのまま用いる(バウンディングボックスの中心の座標を物体の重心とみなす)のではなく、S405で同じラベルを割り当てた連結画素の重心を求めて、求めた連結画素の重心がバウンディングボックスの中心の座標となるように構成することもできる。このような構成とすることで、トラッキング中に発生するバウンディングボックスと移動物体とのずれが小さくなるように改善することができる。
100…空中監視装置、C1…カメラ、C2…カメラ、110…入力部、120…制御部、121…演算処理部、1210…画像受信部、1211…2次元軌跡情報取得部、1212…カメラパラメータ取得部、1213…3次元軌跡情報取得部、1214…移動物体分類部、1215…監視結果出力部、122…メモリ、130…記憶部、131…画像記憶部、132…カメラパラメータ記憶部、133…分類特徴記憶部、140…通信部、211…画像送信部
Claims (7)
- 複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置であって、
第1カメラが出力する第1画像及び第2カメラが出力する第2画像を受信する画像受信部と、
前記第1画像、前記第2画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する2次元軌跡情報取得部と、
前記第1画像から取得した2次元軌跡情報と、前記第2画像から取得した2次元軌跡情報と、前記第1カメラ及び前記第2カメラのカメラパラメータとに基づいて、前記移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する3次元軌跡情報取得部と、
前記取得した3次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する移動物体分類部と
を備える空中監視装置。 - 前記3次元軌跡情報取得部は、前記第1画像及び前記第2画像上で特徴点の対応付けを行い、前記第1カメラ及び前記第2カメラが設置されている方向と両者間の距離に基づいて前記移動物体の3次元座標を求め、
前記3次元軌跡情報取得部は、空中の特徴点よりも地上の特徴点が優先されるように、前記対応付けを行う特徴点を選択する、請求項1に記載の空中監視装置。 - 前記2次元軌跡情報取得部は、前記移動物体の重心を求めて、求めた重心をトラッキングの中心座標とする、請求項1又は2に記載の空中監視装置。
- 前記空中監視装置は、
移動物体を分類するための外観に関する特徴情報を記憶する分類特徴記憶部をさらに備え、
前記移動物体分類部は、前記分類特徴記憶部に記憶されている前記外観の特徴に少なくとも基づいて、前記移動物体の分類を特定する、請求項1から3のいずれか一項に記載の空中監視装置。 - 前記第1カメラ及び第2カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に60メートルから100メートルの間隔で設置される、請求項1から4のいずれか一項に記載の空中監視装置。
- 1又は複数のコンピュータによって実行される、複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視方法であって、
第1カメラが出力する第1画像及び第2カメラが出力する第2画像を受信する工程と、
前記第1画像、前記第2画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する工程と、
前記第1画像から取得した2次元軌跡情報と、前記第2画像から取得した2次元軌跡情報と、前記第1カメラ及び前記第2カメラのカメラパラメータとに基づいて、前記移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する工程と、
前記取得した3次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する工程と
を含む方法。 - 複数のカメラが撮影した空中の画像から移動物体を検出して分類するプログラムであって、
1又は複数のコンピュータに、
第1カメラが出力する第1画像及び第2カメラが出力する第2画像を受信する処理と、
前記第1画像、前記第2画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで2次元軌跡情報を取得する処理と、
前記第1画像から取得した2次元軌跡情報と、前記第2画像から取得した2次元軌跡情報と、前記第1カメラ及び前記第2カメラのカメラパラメータとに基づいて、前記移動物体の3次元的な軌跡を示す3次元軌跡情報を取得する処理と、
前記取得した3次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する処理と
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017015817A JP6364101B1 (ja) | 2017-01-31 | 2017-01-31 | 空中監視装置、空中監視方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017015817A JP6364101B1 (ja) | 2017-01-31 | 2017-01-31 | 空中監視装置、空中監視方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6364101B1 JP6364101B1 (ja) | 2018-07-25 |
JP2018125670A true JP2018125670A (ja) | 2018-08-09 |
Family
ID=62976579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017015817A Active JP6364101B1 (ja) | 2017-01-31 | 2017-01-31 | 空中監視装置、空中監視方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6364101B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001296A (zh) * | 2020-08-20 | 2020-11-27 | 广东电网有限责任公司清远供电局 | 变电站立体化安全监控方法、装置,服务器及存储介质 |
JP2023512359A (ja) * | 2020-12-29 | 2023-03-27 | 商▲湯▼国▲際▼私人有限公司 | 関連対象検出方法、及び装置 |
JP2023520017A (ja) * | 2020-04-01 | 2023-05-15 | サ-コス コーポレイション | 非生物学的な可動の空中ターゲットの早期検出のためのシステムおよび方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110342134B (zh) * | 2019-07-23 | 2023-06-09 | 珠海一微半导体股份有限公司 | 一种基于双目视觉的垃圾分类识别系统及其方法 |
CN113837143B (zh) * | 2021-10-21 | 2022-07-05 | 广州微林软件有限公司 | 一种动作识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120195459A1 (en) * | 2011-01-28 | 2012-08-02 | Raytheon Company | Classification of target objects in motion |
WO2015170776A1 (ja) * | 2014-05-07 | 2015-11-12 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出システム |
JP2016057998A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社日立国際電気 | 物体識別方法 |
-
2017
- 2017-01-31 JP JP2017015817A patent/JP6364101B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120195459A1 (en) * | 2011-01-28 | 2012-08-02 | Raytheon Company | Classification of target objects in motion |
WO2015170776A1 (ja) * | 2014-05-07 | 2015-11-12 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出システム |
JP2016057998A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社日立国際電気 | 物体識別方法 |
Non-Patent Citations (1)
Title |
---|
ARTEM ROZANTSEV,外2名: "Flying Objects Detection from a Single Moving Came", 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTER, JPN6018002761, 2015, US, pages 4128 - 4136, ISSN: 0003728796 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023520017A (ja) * | 2020-04-01 | 2023-05-15 | サ-コス コーポレイション | 非生物学的な可動の空中ターゲットの早期検出のためのシステムおよび方法 |
US12008807B2 (en) | 2020-04-01 | 2024-06-11 | Sarcos Corp. | System and methods for early detection of non-biological mobile aerial target |
CN112001296A (zh) * | 2020-08-20 | 2020-11-27 | 广东电网有限责任公司清远供电局 | 变电站立体化安全监控方法、装置,服务器及存储介质 |
CN112001296B (zh) * | 2020-08-20 | 2024-03-29 | 广东电网有限责任公司清远供电局 | 变电站立体化安全监控方法、装置,服务器及存储介质 |
JP2023512359A (ja) * | 2020-12-29 | 2023-03-27 | 商▲湯▼国▲際▼私人有限公司 | 関連対象検出方法、及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6364101B1 (ja) | 2018-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6364101B1 (ja) | 空中監視装置、空中監視方法及びプログラム | |
CN109144097B (zh) | 障碍物或地面识别及飞行控制方法、装置、设备及介质 | |
US20210279444A1 (en) | Systems and methods for depth map sampling | |
CN108702444B (zh) | 一种图像处理方法、无人机及系统 | |
EP2960887B1 (en) | Probabilistic safe landing area determination | |
JP6379343B2 (ja) | 物体検出装置、物体検出方法および物体検出システム | |
KR101634878B1 (ko) | 무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법 | |
CN108508916B (zh) | 一种无人机编队的控制方法、装置、设备及存储介质 | |
JP6525291B2 (ja) | 位置管理装置、位置管理方法、及びプログラム | |
KR20190004176A (ko) | 무인항공기의 장애물 충돌 회피 장치 및 그 방법 | |
CN109035294B (zh) | 一种运动目标的图像提取系统及方法 | |
JP2015114954A (ja) | 撮影画像解析方法 | |
CN113838125A (zh) | 目标位置确定方法、装置、电子设备以及存储介质 | |
US11989870B2 (en) | Method and assembly for detecting objects on systems | |
WO2021174539A1 (zh) | 物体检测方法、可移动平台、设备和存储介质 | |
CN116558364A (zh) | 一种针对未知飞行器的干扰拦截系统及方法 | |
CN112802058A (zh) | 一种非法运动目标的跟踪方法及装置 | |
JP7437930B2 (ja) | 移動体及び撮像システム | |
Carrio et al. | A ground-truth video dataset for the development and evaluation of vision-based Sense-and-Avoid systems | |
JP7130409B2 (ja) | 管制装置 | |
Ogura et al. | Ground object recognition from aerial image-based 3d point cloud | |
KR101050730B1 (ko) | 활주로 보조선 기반의 무인 항공기 위치 제어장치 및 그 제어방법 | |
CN116772803B (zh) | 一种无人机探测方法及装置 | |
KR101723028B1 (ko) | 실시간으로 변화하는 영상정보를 통합 관리하는 영상처리시스템 | |
KR102686406B1 (ko) | 탄착 위치 산출 방법, 탄착 위치 산출 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6364101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |