JP2018090118A - 無人飛行装置、無人飛行方法及びプログラム - Google Patents

無人飛行装置、無人飛行方法及びプログラム Download PDF

Info

Publication number
JP2018090118A
JP2018090118A JP2016235907A JP2016235907A JP2018090118A JP 2018090118 A JP2018090118 A JP 2018090118A JP 2016235907 A JP2016235907 A JP 2016235907A JP 2016235907 A JP2016235907 A JP 2016235907A JP 2018090118 A JP2018090118 A JP 2018090118A
Authority
JP
Japan
Prior art keywords
image
search target
unmanned flight
floating body
floating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016235907A
Other languages
English (en)
Inventor
智幸 伊豆
Tomoyuki Izu
智幸 伊豆
軍 呉
Jun Wu
軍 呉
開 顔
Kai Kao
開 顔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enroute Co Ltd
EnrouteMS Co Ltd
Original Assignee
Enroute Co Ltd
EnrouteMS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enroute Co Ltd, EnrouteMS Co Ltd filed Critical Enroute Co Ltd
Priority to JP2016235907A priority Critical patent/JP2018090118A/ja
Publication of JP2018090118A publication Critical patent/JP2018090118A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】上下移動は必要であるが、ほぼ同一の位置で、無人飛行装置自体が発生する音をできるだけ小さくし、かつ、長時間の作業を行うことができる無人飛行装置、無人飛行方法及びプログラムを提供すること。【解決手段】無人飛行装置1は、空気よりも軽い気体を格納する浮遊部材2と、浮遊部材に接続され、同軸上に配置され、互いに反対回転する2つのプロペラと、を有し、2つのプロペラの回転態様によって、上昇、下降及び回転をするように構成されている。【選択図】図2

Description

本発明は、無人飛行装置、無人飛行方法及びプログラムに関する。
従来、小型無人飛行装置(ドローンとも呼ばれる)の利用が提案されている。
特開2004−256020号公報
ドローンの用途の一つとして、空中から地上を撮影する空撮がある。空撮の種類によっては、上下移動は必要であるが、ほぼ同一の位置で、ドローン自体が発生する音を小さくし、かつ、長時間の作業(監視など)を行う必要がある場合がある。ところが、ドローンに搭載するバッテリー容量は限られており、また、ドローンを飛行させるプロペラ音も騒音とみなされる場合がある。
本発明はかかる問題の解決を試みたものであり、上下移動は必要であるが、ほぼ同一の位置で、無人飛行装置自体が発生する音を小さくし、かつ、長時間の作業を行うことができる無人飛行装置、無人飛行方法及びプログラムの提供を目的とする。
第一の発明は、空気よりも軽い気体を格納する浮遊部材と、前記浮遊部材に接続され、同軸上に配置され、互いに反対回転する2つのプロペラと、を有する無人飛行装置であって、前記2つのプロペラの回転態様によって、上昇、下降及び回転をするように構成されている、無人飛行装置である。
第一の発明の構成によれば、無人飛行装置は、ほぼ同一の位置で、2つのプロペラの回転態様によって、上昇、下降及び回転をすることができる。そして、浮遊部材によって揚力が確保されており、プロペラによる動的揚力は小さくて
よいから、プロペラの回転数は少なくてよい。プロペラの回転数が少ないことは、発生する音が小さく、また、消費電力が小さいことを意味する。これにより、無人飛行装置自体が発生する音を小さくし、かつ、長時間の作業を行うことができる。
第二の発明は、第一の発明の構成において、前記無人飛行装置には、前記無人飛行装置を係留するための紐状部材が配置され、前記浮遊部材の静的揚力は、前記無人飛行装置を浮遊させるための揚力よりも大きく構成されており、前記2つのプロペラの回転が停止した場合には、前記無人飛行装置は、前記紐状部材の長さによって制限される高度まで、上昇するように構成されている無人飛行装置である。
第三の発明は、第一の発明の構成において、前記浮遊部材の静的揚力は、前記無人飛行装置全体を浮遊させるための揚力よりも小さく構成されており、前記2つのプロペラの回転が停止した場合には、前記無人飛行装置は下降するように構成されている、無人飛行装置である。
第四の発明は、第一乃至第三のいずれかの発明の構成において、前記紐状部材は、前記無人飛行装置に電力を供給するケーブルを兼ねる無人飛行装置である。
第五の発明は、第一乃至第四のいずれかの発明の構成において、探索対象を示す探索対象情報を受信する情報受信手段と、物体の画像を取得する画像取得手段と、前記画像に含まれる前記物体が、前記探索対象であるか否かを判断する物体認識手段と、前記物体の位置を示す位置情報を生成する位置情報生成手段と、前記物体の画像と前記位置情報を含む送信情報を生成する送信情報生成手段と、を有する無人飛行装置である。
第六の発明は、第五の発明の構成において、前記物体認識手段は、深層学習(ディープラーニング)によって生成されたデータを参照する無人飛行装置である。
第七の発明は、第五の発明または第六の発明のいずれかの構成において、前記無人飛行装置は、前記位置情報に応じて、上昇、下降及び回転をするように構成されている、無人飛行装置である。
第八の発明は、空気よりも軽い気体を格納する浮遊部材と、前記浮遊部材に接続され、同軸上に配置され、互いに反対回転する2つのプロペラと、を有する無人飛行装置が、探索対象を示す探索対象情報を受信する情報受信ステップと、浮遊体に配置され、画像を取得するための画像取得手段によって画像を取得する画像取得ステップと、前記画像に含まれる物体が、前記探索対象であるか否かを判断する物体認識ステップと、前記物体の位置を示す位置情報を生成する位置情報生成ステップと、前記物体の画像と前記位置情報を含む送信情報を生成する送信情報生成ステップと、前記物体の位置に応じて、上昇、下降及び回転を行う追跡ステップと、を実施する、無人飛行装置の飛行方法である。
第九の発明は、空気よりも軽い気体を格納する浮遊部材と、前記浮遊部材に接続され、同軸上に配置され、互いに反対回転する2つのプロペラと、を有する無人飛行装置を、探索対象を示す探索対象情報を受信する情報受信手段、
浮遊体に配置され、画像を取得するための画像取得手段によって画像を取得する画像取得手段、前記画像に含まれる物体が、前記探索対象であるか否かを判断する物体認識手段、前記物体の位置を示す位置情報を生成する位置情報生成手段、前記物体の画像と前記位置情報を含む送信情報を生成する送信情報生成手段、前記物体の位置に応じて、上昇、下降及び回転を行う追跡手段、として機能させるためのプログラムである。
以上のように、本発明によれば、上下移動は必要であるが、ほぼ同一の位置で、無人飛行装置自体が発生する音を小さくし、かつ、長時間の作業を行うことができる。
本発明の実施形態の概略を示す図である。 無人飛行装置の構成を示す概略図である。 無人飛行装置の機能ブロックを示す概略図である。 探索対象の画像の一例を示す図である。 送信情報の一例を示す図である。 本実施形態のフローチャートである。 送信情報の一例を示す図である。 送信情報の一例を示す図である。 探索対象の画像の変形例を示す図である。 本発明の実施形態のフローチャートである。 本発明の実施形態のフローチャートである。
本発明の実施形態を、図面を参照して説明する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
<第一の実施形態>
図1に示すように、浮遊体1は、観覧車100、城102、噴水104や木106を有するテーマパークに配置される。浮遊体1の任務は、テーマパーク内を監視し、探索対象と思われる物体の画像と位置を基地局50(図3参照)やクライアント装置60(図3参照)に送信することである。探索対象は、特定の人間や物、あるいは、特定の性質を有する人間や物である。浮遊体1は、無人飛行装置の一例である。浮遊体1は、所定の位置において、上昇、下降及び回転を実施し、カメラ16によって、テーマパーク内の撮影を行うようになっている。撮影は、作業の一例である。
本実施形態において、浮遊体1は、所定の探索対象を撮影し、その撮影を継続するために上昇、下降及び回転を実施する。本実施形態における探索対象は、データ70(図4参照)に示される人間である。データ70に示される人間は、例えば、犯罪被疑者として指名手配されている人間である。そして、データ70に示される人間が、サングラスをかけて変装し、他の人々に紛れている。
図2に示すように、浮遊体1は、中空の円筒形状の浮遊部材2を有する。浮遊部材2は、中空の壁部2aが環状に形成されたものであり、壁部2aの内側は孔部2bとなっている。言い換えると、浮遊部材2は、浮き輪のような形状である。壁部2aには、ヘリウムガスが格納されている。ヘリウムガスは、空気よりも軽い気体の一例である。なお、浮遊部材2に格納する気体は、空気よりも軽く、かつ、安全な気体であればよい。
浮遊体1は、中心部材4を有する。中心部材4は、4本のワイヤー6によって、浮遊部材2の壁部2aに接続され、孔部2bの中心部に配置されている。中心部材4には、モーター8が接続され、モーター8にはプロペラ10が接続されている。また、中心部材4には、モーター12が接続され、モーター12にはプロペラ14が接続されている。
矢印Z2方向の視線で見ると、プロペラ10は、時計回り回転することによって、下向き(矢印Z2方向)の推力が発生するようにプロペラ10の羽根の傾き(ピッチ)が形成されている。また、プロペラ14は、反時計周りに回転することによって、下向き(矢印Z2方向)の推力が発生するようにプロペラ14の羽根のピッチが形成されている。本明細書において、プロペラ10及び14について、「回転」というときには、矢印Z2方向の視線で見て、プロペラ10が時計周り、プロペラ14が反時計周りの回転をすることを意味する。プロペラ10及び14は、ピッチが逆に形成されており、互いに反対方向に回転するようになっている。プロペラ10及び14が回転することで、下向きの推力(矢印Z2方向)が発生する。
浮遊部材2の壁部2aには、4本のワイヤー18によって、カメラ16が接続されている。カメラ16は、デジタル画像を撮像するデジタルカメラ、あるいは、ビデオカメラ等である。
カメラ16の底部には、ワイヤー20が接続されており、ワイヤー20は地上の重り22に固定されている。ワイヤー20は、浮遊体1を係留するための紐状部材の一例である。なお、本実施形態とは異なり、ワイヤー20は、電源ケーブルを兼ねてもよい。
中心部材4は筐体であり、その内部には、通信装置、自律移動制御装置、GPS装置、加速度センサーやジャイロセンサーなどの慣性センサーや気圧計、電池等が配置されている。浮遊体1は、通信装置によって、基地局50(図3参照)やクライアント装置60(図3参照)と通信可能になっている。浮遊体1、基地局50及びクライアント装置60は、全体として監視システムを構成している。
浮遊部材2の静的浮力は、浮遊体1全体(重り22を除く)を浮遊させるための揚力より大きい。このため、浮遊体1は、下向きの推力を受けない場合には、ワイヤー20の長さの範囲内で、上昇する。すなわち、浮遊体1は、上昇するためには、プロペラ10及び14の回転を停止すればよい。そして、プロペラ10及び14を同一の回転数で回転させることで、矢印Z2に示す下向きの推力を発生させ、下降することができる。浮遊体1は、ワイヤー20の長さの限界よりも低い高度を維持する場合には、プロペラ10及び14を回転数R2で回転させることで下降する推力を発生させて下降し、プロペラ10及び14を回転数R1で回転させることによって、浮遊部材2の静的浮力に対抗し、浮遊体1を所定の高度に維持する。浮遊体1は、さらに下降する場合には、プロペラ10及び14を回転数R2で回転させる。ここで、R1<R2である。
無人機1は、プロペラ10及び14の回転数を異なるようにすることで、矢印X1方向及びX2方向に自在に回転することができる。例えば、プロペラ10が時計回りに回転し、プロペラ14がまったく回転しない場合には、時計回りに回転するプロペラ10の回転の反作用により、浮遊体1は反時計回りに回転する。プロペラ10と14が同一回転数で回転することによって、双方の反作用が相殺されて、浮遊体1は回転しない。このように、プロペラ10の回転数とプロペラ14の回転数を異なるようにすることによって、無人機1は矢印X1方向及びX2方向に自在に回転できる。
図3に示すように、浮遊体1は、CPU(Central Processing Unit)30、記憶部32、無線通信部34、GPS(Global Positioning System)部36、慣性センサー部38、画像処理部40、駆動制御部42、電源部44を有する。
浮遊体1は、無線通信部34によって、基地局50及びクライアント装置60と通信可能になっている。浮遊体1は、無線通信部34によって、基地局50またはクライアント装置60から、データ70(図4参照)のような探索対象を示す情報を受信する。基地局50は、浮遊体1の作動を管理する管理装置の一例であり、適宜、作動に関する指示を与えるようになっている。クライアント装置60は、例えば、テーマパークの警備室に配置されるサーバ、警備会社のサーバ、あるいは、警察組織のサーバや、それらの組織の担当者の携帯端末である。
図4に示すデータ70は、探索対象の情報を示す探索対象情報の一例である。データ70は、探索対象の画像と、そのカテゴリーを示す情報を含む。カテゴリーは、例えば、「人間」、「犬」、「箱」というように、特定の物体が属するグループである。
GPS部36と慣性センサー部38によって、浮遊体1は浮遊体1自体の位置を測定することができる。GPS部36は、基本的に、3つ以上のGPS衛星からの電波を受信して浮遊体1の位置を計測する。慣性センサー部38は、例えば、加速度センサー及びジャイロセンサーによって、出発点からの浮遊体1の移動を積算して、浮遊体1の位置を計測する。
画像処理部40によって、浮遊体1はカメラ16を作動させて外部の画像を取得することができる。
駆動制御部42によって、浮遊体1はモーター8及び12の回転を制御するようになっている。
電源部44は、例えば、交換可能な可充電電池であり、浮遊体1の各部に電力を供給するようになっている。
記憶部32には、テーマパーク内において上昇、下降及び回転を自動的に実施するために必要な各種データ及びプログラム、テーマパーク内の地形や構造物の位置を示す情報のほか、以下の各プログラムが格納されている。
記憶部32には、情報受信プログラム、画像取得プログラム、物体認識プログラム、位置情報生成プログラム、送信情報生成プログラム及び撮影継続プログラムが格納されている。物体認識プログラムは、物体のカテゴリーを認識する一般物体認識プログラム、及び、特定の物体が探索対象と同一であるかを判断する特定物体認識プログラム、探索対象の撮影を継続する追跡プログラムを含む。
CPU30及び情報受信プログラムは、外部から探索情報を取得する情報受信手段の一例である。浮遊体1は、例えば、図3の基地局50から、図4のデータ70を受信する。データ70は、探索情報の一例である。
CPU30及び画像取得プログラムは、画像処理部40を作動させて、画像を取得するための画像取得手段の一例である。浮遊体1は、探索情報を受信した後、継続的に画像を取得するようになっている。
CPU30及び物体認識プログラムは、物体認識手段の一例である。物体認識プログラムは、深層学習(ディープラーニング)によって生成された特徴データを含む。深層学習とは、多層構造のニューラルネットワークの機械学習であり、画像認識の分野が有力な活用分野の一つである。
浮遊体1は、カテゴリーごとの多数の特徴情報に基づいて、カメラ16によって取得した画像に含まれる物体の特徴を識別して、物体のカテゴリーを認識できるようになっている。このカテゴリーの認識を一般物体認識と呼ぶ。
浮遊体1は、また、物体認識プログラムによって、探索対象情報に含まれる探索対象の画像と、カメラ16によって取得した物体の画像の特徴の相関を判断して、物体の同一性を判断できるようになっている。この同一性の判断を特定物体認識と呼ぶ。
例えば、図1に示すように、観覧車100等の物と、大人200,206,208及び子供202,204がテーマパーク内に位置する場合に、大人200等や子供202等を「人間」として認識する処理が一般物体認識である。そして、大人200とデータ70に含まれる人間が同一性を有すると判断する処理が特定物体認識である。
一般物体認識においては、カメラ16で取得した画像について、例えば、輪郭や個々の構成の方向といった特徴を多数抽出し、ディープラーニングで取得した各カテゴリーの特徴と対比して、相関性(相関度)を判断する。相関度が高いほど、取得した画像中の物体が探索対象のカテゴリーと同一である可能性が高い。例えば、相関度が0の場合には、探索対象と同一のカテゴリーである可能性(以下、「カテゴリー共通確率」と呼ぶ。)は0として、相関度が最大値を示すときに、カテゴリー共通確率が100%であると定義する。浮遊体1は、カテゴリー共通確率が所定の基準値である、例えば、95%以上であるときに、取得した画像中の物体のカテゴリーが、探索対象のカテゴリーと同一であると判断する。
特定物体認識においては、浮遊体1は、探索対象と同一のカテゴリーに属する物体(以下、「検査対象」と呼ぶ。)が、探索対象である可能性が高い物体(以下、「候補物体」と呼ぶ)であるか否かを判断する。
浮遊体1は、探索対象であるデータ70の画像の特徴と検査対象の画像の特徴の相関度を判断する。例えば、データ70について、目の切れ端の形や方向、鼻の中心線と小鼻の角度といった特徴を多数抽出し、同様に検査対象についても特徴を多数抽出し、共通点あるいは類似点が多いほど、相関度が高いと判断する。相関度が高いほど、探索対象である可能性が高い。相関度が0の場合には、探索対象である可能性(以下、「確度」と呼ぶ。)は0として、相関度が最大値を示すときに、確度が100%であると定義する。
浮遊体1は、確度が、所定の判断基準値である、例えば、90%以上であるときに、検査対象が探索対象であると判断し、候補物体とする。浮遊体1は、データ70の特徴と大人200の画像の特徴を比較し、相関度が高く、確度が90%以上であれば、候補物体とする。
CPU30及び位置情報生成プログラムは、位置情報生成手段の一例である。
浮遊体1は、GPS部36と慣性センサー部38によって浮遊体1の絶対位置や姿勢を示す情報を継続的に生成し、保持している。また、カメラ16によって同一の物体について複数の画像を取得しており、候補物体である大人200等について、浮遊体1との相対位置や、観覧車100等の物体(位置は既知である)との相対位置を算出することができる。そして、浮遊体1自体の絶対位置はGPS部36と慣性センサー部38によって計測できるから、浮遊体1は、浮遊体1自体の絶対位置を参照して、大人200等の絶対位置を算出することができる。なお、位置計測についての詳細な説明は、省略する。
CPU30及び送信情報生成プログラムは、送信情報生成プログラム生成手段の一例である。浮遊体1は、図5に示すように、大人200の画像と位置情報を含む送信情報80を生成する。
浮遊体1の記憶部32には、テーマパーク内の構造物の位置情報を有していて既知であるから、大人200の位置をテーマパークの構造物との関係で示す参照情報を生成することができる。浮遊体1は、例えば、「観覧車南方100m」という参照情報を送信情報80に含める。また、送信情報80は、浮遊体1が大人200の画像を取得した時刻と、大人200が探索対象である可能性である確度についての情報も含む。
浮遊体1は、送信情報80を無線通信部34によって、基地局50、あるいは、クライアント装置60に送信する。
CPU30及び撮影継続プログラムは、追跡手段の一例である。浮遊体1は、探索対象の位置に応じて、上昇、下降及び回転を実施するように構成されている。探索対象が位置や移動態様によっては、カメラ16の高度及び角度を変更することで、探索対象をより明確に撮影することができる。また、探索対象がカメラ16の視野から離脱しそうになった場合、カメラ16の高度や角度を変えることによって、引き続き、探索対象を撮影することができる。
以下、浮遊体1の動作を図6のフローチャートで説明する。まず、浮遊体1は、基地局50から、探索対象情報を受信したか否かを判断する(図6のステップST1)。探索対象情報は、例えば、図4に示すデータ70である。データ70の場合、そのカテゴリーは「人間」である。浮遊体1は、データ70を受信したと判断すると、データ70から特徴を抽出する(ステップST2)。続いて、浮遊体1は、移動しつつ、図1のテーマパーク内の物体について、画像を取得し(ステップST3)、画像中の物体が探索対象と同一であるか否かを判断する(ステップST4)。ステップST4においては、画像中の物体が探索対象のカテゴリーである「人間」と同一か否かを認識する一般物体認識と、「人間」に属する物体について、探索対象と同一か否かを判断する特定物体認識を実施する。
ステップST4において、浮遊体1は、大人200が探索対象である確率(確度)が所定の基準値以上でなければ、高度及び角度を調整し(ステップST5)、画像を取得する(ステップST3)。ステップST3〜ステップST5は、探索対象である確率が基準値以上の画像を取得するまで繰り返される。繰り返し実施されるステップST5においては、例えば、同一の高度で回転し、斜め下方向における全角度(360度)の画像を取得し、次に、高度を変更して斜め下方向における全角度(360度)の画像を取得する。
ステップST4において、浮遊体1は、大人200が探索対象である確率(確度)が所定の基準値以上であると判断すると、大人200を候補物体とし、候補物体の位置を示す位置情報を生成する(ステップST6)。
続いて、浮遊体1は、大人200の画像と位置情報を含む送信情報80(図5参照)を生成し(ステップST7)、基地局50、あるいは、クライアント装置60に送信する(ステップST8)。
浮遊体1は、送信情報80を生成し、送信する。大人200が移動した場合には、移動した位置に応じて、浮遊体1の高度及び角度を調整する(ステップST9)。すなわち、カメラ16の高度及び角度を調整する。これにより、大人200が移動しても、送信情報80を継続して生成し、送信できるようになっている。高度及び角度を調整するステップST9は、追跡ステップの一例である。
浮遊体1は、基地局50から終了指示を受信したと判断すると(ステップST10)、作業終了する。
探索対象に限定はなく、例えば、上述の犯罪被疑者のほかに、テーマパーク内で迷子になった子供であってもよいし、家出人や失踪者であってもよい。
<第二の実施形態>
第二の実施形態が第一の実施形態と異なる点は、浮遊部材2の静的浮力は、浮遊体1全体(重り22を除く)を浮遊させるための揚力よりもわずかに小さ
く、プロペラ10及び14が回転すると、上昇する推力(図2の矢印Z1方向の推力)が発生する点である。浮遊体1は、プロペラ10及び14の回転が停止した場合には、ゆっくりと下降する。浮遊体1は、所定の高度を維持する場合には、プロペラ10及び14を回転数R1で回転させて上昇する動的推力を発生させて、浮遊部材2の静的浮力とその動的推力によって、浮遊体1の重量を支える。浮遊体1は、上昇する場合には、プロペラ10及び14を回転数R2で回転させる。ここで、R1<R2である。
<第三の実施形態>
第三の実施形態においては、浮遊体1の記憶部32には、移動ベクトル算出プログラムが格納されており、候補物体の移動方向及び移動速度を計算する。また、浮遊体1の記憶部32には、送信情報サイズ調整プログラムが格納されており、送信情報のデータサイズを調整する。CPU30及び移動ベクトル算出プログラムは、移動ベクトル算出手段の一例である。CPU30及び送信情報サイズ調整プログラムは、送信情報サイズ調整手段の一例である。
候補物体の画像を取得した時刻t1において、その物体が移動している場合がある。第三の実施形態においては、そのような移動状態も送信情報に含めるようになっている。移動ベクトルは、時刻t1における画像と、時刻t1からわずかに時間が経過した時刻t1+αにおいて取得した画像とを参照して算出することができる。なお、移動ベクトル測定中には、浮遊体1は上昇・下降及び回転などを停止して、位置を固定するようにすれば、物体の移動を簡易に測定できる。あるいは、浮遊体1が移動している場合には、物体の見かけの移動から浮遊体1の移動を相殺することによって、物体の真の移動を計測することができる。
浮遊体1は、例えば、図7に示すように、候補物体である例えば、大人200が、時速10km(キロメートル)で南南西に向かっているという移動情報を送信情報82に含める。
浮遊体1は、送信情報を受信する装置の種類や、そのときの電波の状態を含む通信環境に応じて、送信情報のデータサイズを調整する。例えば、送信情報をクライアント装置60(図3)に送信する場合、クライアント装置60が携帯端末であれば、データサイズを小さくし、図7の送信情報82に示すように、候補物体の顔の部分だけの画像データを送信情報に含める。あるいは、電波が弱いとか、電波の授受が不安定であるという場合には、やはり、顔の部分だけの画像データを送信情報に含める。これに対して、クライアント装置60がサーバであるとか、通信環境が良好な場合には、図5に示すように、全身の画像データを送信情報に含める。あるいは、送信情報には、候補物体の顔の部分だけの画像データを含めておいて、基地局50やクライアント装置60からリクエストを受信すれば、そのリクエストに応じて、全身の画像データを送信するという構成にしてもよい。
<第四の実施形態>
第四の実施形態においては、浮遊体1の記憶部32には、第四の実施形態の移動ベクトル算出プログラムに加えて、位置予測プログラムが格納されており、所定時間後の候補物体の位置を算出する。CPU30及び位置予測プログラムは、位置予測手段の一例である。
浮遊体1は、例えば、図8の送信情報84に示すように、15分後予想位置として、15分後の緯度及び経度、及び、参照情報としてテーマパーク内の「南ゲート」という参照情報を送信情報に含める。
<第五の実施形態>
例えば、逃亡中において、犯罪被疑者の外観が変わる場合がある。探索対象が図4のデータ70に示す人物であるとして、浮遊体1がテーマパーク内を探索する時には、例えば、メガネをかけたり(図9(a))、付けまつげ、口紅等で化粧をしている場合がある(図9(b))。また、髪型を変えて(図9(c))、変装する場合がある。あるいは、逃亡中の心労が大きいことによって、顔がやつれることもある(図9(d))。このように、探索対象の外観が変わると、テーマパーク内に探索対象が存在して、その画像を取得しても、同一性に関する相関度が低くなる。
そこで、第五の実施形態の浮遊体1は、探索対象自体について、ディープラーニングで特徴を示すデータを取得するための探索対象ディープラーニングプログラムを有する。浮遊体1は、探索対象について、例えば、データ70(図4)以外に、多数の画像データを取得すれば、それらの画像データを使用して、機械学習を行う。また、データ70が唯一の画像データである場合には、データ70を、例えば、図9(a)〜(d)に示す画像に加工したり、輪郭をぼやかす等の改変を行って、複数の画像データを生成したうえで、機械学習を行う。これにより、探索対象自体の汎化を行うことができるから、探索対象の外観の変化にも対応しやすくなる。
以下、第五の実施形態の浮遊体1の動作を図10のフローチャートで説明する。図10に示すように、浮遊体1は、探索対象情報を取得すると(ステップST1)、探索対象についてディープラーニングを行ったうえで、特徴を抽出する(ステップST2a)。ステップST3以下は、第一の実施形態と同様であるから、説明を省略する。
なお、探索対象ディープラーニングプログラムは、基地局50が保持し、基地局50が探索対象について、ディープラーニングを実施するようにしてもよい。この場合、浮遊体1は、基地局50が実施した探索対象についてのディープラーニングの結果を受信し、利用する。
<第六の実施形態>
探索対象は、特定の人間や物ではなく、「特定の条件を満たす人間」、あるいは、「特定の条件を満たす物」であってもよい。「特定の条件を満たす人間」は、「人間」というカテゴリーの下位のサブカテゴリーである。「特定の条件を満たす人間」は、例えば、体調不良の人や不審人物である。「特定の条件を満たす物」は、例えば、不審物である。この場合、探索対象情報は、必ずしも画像を含むものではなく、「体調不良の人」いうサブカテゴリーを示すテキストデータであってもよい。
すなわち、第六の実施形態においては、浮遊体1は、サブカテゴリーにおける一般物体認識を行う。
浮遊体1の物体認識ログラムは、ディープラーニングで生成した「特定の条件を満たす人間」や「特定の条件を満たす物」の特徴データを有している。
例えば、「体調不良の人」については、地面に倒れている人についての多数の画像や、うつむいて椅子に腰かけている人についての多数の画像を使用して、適宜下位のサブカテゴリーに分類し、ディープラーニングを行う。浮遊体1は、ディープラーニングによって取得した特徴を示すデータを保持している。そして、浮遊体1は、探索対象情報として「体調不良の人」というテキストデータを受信した場合、記憶部32に格納されているその特徴を示すデータを取得して、参照し、例えば、テーマパーク内の人間208が「体調不良の人」であると判断する。なお、人間208は、倒れている人間である。
「不審人物」については、例えば、不自然に大きな荷物や長い物をもっている人や、顔を隠している人や、不自然に厚着をしている人の多数の画像を使用して、適宜下位のサブカテゴリーに分類して、ディープラーニングを行う。浮遊体1は、ディープラーニングによって取得した特徴を示すデータを保持している。下位のサブカテゴリーとは、例えば、「不自然な衣服を着ている人」、「不自然に大きな荷物を持っている人」、「夏なのに手袋を着用している人」、「曇りなのにサングラスをかけている人」などである。浮遊体1は、探索対象情報として「不審人物」というテキストデータを受信した場合、「不審人物」の特徴を示すデータを取得して、参照し、例えば、テーマパーク内の人間206が「不審人物」であると判断する。なお、人間206(図1参照)は、不自然に厚着をしており、衣服の内部に爆発物206aを隠し持っている。
不審物については、むき出しの爆弾や銃器、梱包された状態の爆弾や銃器の多数の画像を使用して、適宜下位のサブカテゴリーに分類して、ディープラーニングを行う。浮遊体1は、ディープラーニングによって取得した特徴を示すデータを保持している。浮遊体1は、探索対象情報として「不審物」というテキストデータを受信した場合、「不審物」の特徴を示すデータを取得して、参照し、例えば、テーマパーク内の箱210(図1参照)が「不審物」であると判断する。箱210は、不自然にガムテープで封止されており、内部に爆発物210aが格納されている。
以下、第六の実施形態の浮遊体1の動作を図11のフローチャートで説明する。浮遊体1は、探索対象情報を取得すると(ステップST1)、探索対象の特徴を取得する(ステップST2)。探索対象は、例えば、「体調不良の人」というサブカテゴリーである。探索対象の特徴を示す情報は、予め、ディープラーニングによって生成しており、記憶部32に格納している。続いて、浮遊体1は、テーマパーク内の画像を取得し(ステップST3)、「体調不良の人」に該当するかを判断する(ステップST4)。ステップST4以下は、第一の実施形態と同様であるから、説明を省略する。
ステップST4においては、例えば、所定時間の間隔をあけて、複数回、探索対象である可能性が高い人物の画像を取得し、所定時間の間、「体調不良の人」という条件に合致する場合に、「体調不良の人」と判断するようにしてもよい。
なお、探索対象が「不審人物」や「不審物」の場合、候補物体とする基準となる基準値を低く設定してもよい。例えば、不審人物は、不審人物に見えないようにふるまうことがあるし、テーマパーク内に爆発物が置き去りにされるとき、不審物らしくないような外観を有することがある。この場合、カメラ16で取得した画像と探索対象との相関度は低くなるのであるが、そのような場合であっても、基地局50あるいはクライアント装置60に送信情報を送信することが望ましい場合がある。
上述の実施形態1乃至実施形態6においては、浮遊体1の記憶部32に、画像取得プログラム、物体認識プログラム、位置情報生成プログラム、送信情報生成プログラム、撮影継続プログラム等のプログラムが格納されているものとして説明したが、一部またはすべての上記プログラムを基地局50のサーバ内の記憶部に格納し、基地局50で処理した結果を浮遊体1に利用させるように構成してもよい。この場合、浮遊体1の記憶部32は、基地局50からの指示を処理する処理プログラムを格納すれば足りる。また、一部またはすべての特徴データを基地局50のサーバ内の記憶部に格納し、浮遊体1は、必要に応じて特徴データを取得するように構成してもよい。
なお、本発明の監視装置及び監視方法は、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。
1 浮遊体
30 CPU
32 記憶部
34 無線通信部
36 GPS部
38 慣性センサー部
40 画像処理部
42 駆動制御部
44 電源部


Claims (9)

  1. 空気よりも軽い気体を格納する浮遊部材と、
    前記浮遊部材に接続され、同軸上に配置され、互いに反対回転する2つのプロペラと、
    を有する無人飛行装置であって、
    前記2つのプロペラの回転態様によって、上昇、下降及び回転をするように構成されている、
    無人飛行装置。
  2. 前記無人飛行装置には、前記無人飛行装置を係留するための紐状部材が配置され、
    前記浮遊部材の静的揚力は、前記無人飛行装置を浮遊させるための揚力よりも大きく構成されており、
    前記2つのプロペラの回転が停止した場合には、前記無人飛行装置は、前記紐状部材の長さによって制限される高度まで、上昇するように構成されている、
    請求項1に記載の無人飛行装置。
  3. 前記浮遊部材の静的揚力は、前記無人飛行装置全体を浮遊させるための揚力よりも小さく構成されており、
    前記2つのプロペラの回転が停止した場合には、前記無人飛行装置は下降するように構成されている、
    請求項1に記載の無人飛行装置。
  4. 前記紐状部材は、前記無人飛行装置に電力を供給するケーブルを兼ねる請求項1乃至請求項3のいずれかに記載の無人飛行装置。
  5. 探索対象を示す探索対象情報を受信する情報受信手段と、
    物体の画像を取得する画像取得手段と、
    前記画像に含まれる前記物体が、前記探索対象であるか否かを判断する物体認識手段と、
    前記物体の位置を示す位置情報を生成する位置情報生成手段と、
    前記物体の画像と前記位置情報を含む送信情報を生成する送信情報生成手段と、
    を有する請求項1乃至請求項4のいずれかに記載の無人飛行装置。
  6. 前記物体認識手段は、深層学習(ディープラーニング)によって生成されたデータを参照する請求項5に記載の無人飛行装置。
  7. 前記無人飛行装置は、前記位置情報に応じて、上昇、下降及び回転をするように構成されている、
    請求項5または請求項6のいずれかに記載の無人飛行装置。
  8. 空気よりも軽い気体を格納する浮遊部材と、
    前記浮遊部材に接続され、同軸上に配置され、互いに反対回転する2つのプロペラと、を有する無人飛行装置が、
    探索対象を示す探索対象情報を受信する情報受信ステップと、
    浮遊体に配置され、画像を取得するための画像取得手段によって画像を取得する画像取得ステップと、
    前記画像に含まれる物体が、前記探索対象であるか否かを判断する物体認識ステップと、
    前記物体の位置を示す位置情報を生成する位置情報生成ステップと、
    前記物体の画像と前記位置情報を含む送信情報を生成する送信情報生成ステップと、
    前記物体の位置に応じて、上昇、下降及び回転を行う追跡ステップと、を実施する、
    無人飛行装置の飛行方法。
  9. 空気よりも軽い気体を格納する浮遊部材と、
    前記浮遊部材に接続され、同軸上に配置され、互いに反対回転する2つのプロペラと、を有する無人飛行装置を、
    探索対象を示す探索対象情報を受信する情報受信手段、
    浮遊体に配置され、画像を取得するための画像取得手段によって画像を取得する画像取得手段、
    前記画像に含まれる物体が、前記探索対象であるか否かを判断する物体認識手段、
    前記物体の位置を示す位置情報を生成する位置情報生成手段、
    前記物体の画像と前記位置情報を含む送信情報を生成する送信情報生成手段、
    前記物体の位置に応じて、上昇、下降及び回転を行う追跡手段、
    として機能させるためのプログラム。

JP2016235907A 2016-12-05 2016-12-05 無人飛行装置、無人飛行方法及びプログラム Pending JP2018090118A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016235907A JP2018090118A (ja) 2016-12-05 2016-12-05 無人飛行装置、無人飛行方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016235907A JP2018090118A (ja) 2016-12-05 2016-12-05 無人飛行装置、無人飛行方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2018090118A true JP2018090118A (ja) 2018-06-14

Family

ID=62564122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016235907A Pending JP2018090118A (ja) 2016-12-05 2016-12-05 無人飛行装置、無人飛行方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2018090118A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017155A (ja) * 2018-07-27 2020-01-30 株式会社システック 携帯飛行監視端末、監視装置および監視方法
JP2020120276A (ja) * 2019-01-24 2020-08-06 株式会社リクルート 監視装置及びドローン

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017155A (ja) * 2018-07-27 2020-01-30 株式会社システック 携帯飛行監視端末、監視装置および監視方法
JP7092344B2 (ja) 2018-07-27 2022-06-28 株式会社システック 携帯飛行監視端末、監視装置および監視方法
JP2020120276A (ja) * 2019-01-24 2020-08-06 株式会社リクルート 監視装置及びドローン
JP7267756B2 (ja) 2019-01-24 2023-05-02 株式会社リクルート 監視装置及びドローン

Similar Documents

Publication Publication Date Title
US20220083078A1 (en) Method for controlling aircraft, device, and aircraft
JP6496323B2 (ja) 可動物体を検出し、追跡するシステム及び方法
JP6835871B2 (ja) 飛行制御方法、無人航空機、飛行システム、プログラム、及び記録媒体
CN106444843B (zh) 无人机相对方位控制方法及装置
JP2018504652A (ja) 顕著特徴ベースの移動体測位
JP6746112B2 (ja) 監視装置及び監視方法
WO2018209898A1 (zh) 信息处理装置、航拍路径生成方法、航拍路径生成系统、程序以及记录介质
US11373398B2 (en) Methods and systems for operating a moving platform to determine data associated with a target person or object
US20230058405A1 (en) Unmanned aerial vehicle (uav) swarm control
WO2022193192A1 (zh) 无人机调度方法、服务器、基站、系统及可读存储介质
CN109564273A (zh) 搜索系统和在该搜索系统中使用的发送器
Petrides et al. Disaster prevention and emergency response using unmanned aerial systems
US20210221502A1 (en) Method and a system for real-time data processing, tracking, and monitoring of an asset using uav
JP2018090118A (ja) 無人飛行装置、無人飛行方法及びプログラム
Loke et al. Virtual space boxes and drone-as-reference-station localisation for drone services: An approach based on signal strengths
CN205770189U (zh) 一种带显示屏的无人机
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体
EP3926976A1 (en) Information processing device, information processing method, and program
US10308359B2 (en) Moving device, method of controlling moving device and storage medium
Hu et al. Visual camouflage and online trajectory planning for unmanned aerial vehicle-based disguised video surveillance: Recent advances and a case study
KR102243810B1 (ko) 헬리캠의 실시간 촬영 영상에 위치 및 속성 정보를 자막으로 생성하는 방법 및 시스템
US11869236B1 (en) Generating data for training vision-based algorithms to detect airborne objects
JP2018005878A (ja) 移動体
CN109612456B (zh) 一种低空搜索定位系统
CN109683205B (zh) 一种空中探测装置及地面弹射系统