JP2017068298A - 自律飛行移動体、ターゲット追跡方法 - Google Patents

Abstract

【課題】俯瞰することができない状況においても目標物の追跡が可能な自律飛行移動体、ターゲット追跡方法を提供する。
【解決手段】自律飛行が可能な自律飛行移動体であって、撮像部１０５と、あらかじめ定められたターゲットを示す第１の画像と撮像部が撮像した第２の画像とに基づいてターゲットを認識し、認識したターゲットとの間で所定の距離を保ちながら飛行してターゲットを追跡する飛行制御部と、飛行制御部がターゲットを認識できなくなった場合に、地図情報に基づいて認識できなくなった位置付近の経路を探索する探索部と、を有し、飛行制御部は、探索部により探索された経路に基づいて、ターゲットの追跡を続行する。
【選択図】図１

Description

本発明は、自律飛行移動体、ターゲット追跡方法に関する。

従来から、ドローンに代表される小型の自律飛行ロボットが存在する。例えば、特許文献１では、目標物が無人航空機のセンサ視野内にとどまるように、移動中の目標物を自律的に追跡するものがある（例えば、特許文献１）。

上記特許文献１では、移動中の目標物をカメラ等で撮像して自律的に追跡することはできる。しかし、追跡時に見失った場合については考慮されていないため、そのような場合には目標物の追跡を続行できなくなる。

このような点に鑑み、侵入者を見失った場合でも、飛行高度を上げて周囲を俯瞰することにより、見失った侵入者の発見を可能としたものがある（例えば、特許文献２）。

特開２００９−１７３２６３号公報 特開２０１４−１４９６２１号公報

上記特許文献２では、飛行高度を上げて周囲を俯瞰することにより、見失った侵入者を再発見することができる。しかし、飛行高度を上げて俯瞰することができない状況（例えば、地下道やトンネル内のように、上空に遮蔽物がある状況）の場合には、追跡を続行することができない。

本発明は、上記に鑑みてなされたものであって、俯瞰することができない状況においても目標物の追跡が可能な自律飛行移動体、ターゲット追跡方法を提供することを目的とする。

上記課題を解決するために、本発明にかかる自律飛行移動体は、自律飛行が可能な自律飛行移動体であって、撮像部と、あらかじめ定められたターゲットを示す第１の画像と前記撮像部が撮像した第２の画像とに基づいて前記ターゲットを認識し、認識した前記ターゲットとの間で所定の距離を保ちながら飛行して前記ターゲットを追跡する飛行制御部と、前記飛行制御部が前記ターゲットを認識できなくなった場合に、地図情報に基づいて前記認識できなくなった位置付近の経路を探索する探索部と、を有し、前記飛行制御部は、前記探索部により探索された経路に基づいて、前記ターゲットの追跡を続行する、ことを特徴とする自律飛行移動体として構成される。

また、本発明は、上記自律飛行移動体で行われるターゲット追跡方法としても把握される。

本発明によれば、俯瞰することができない状況においても目標物の追跡が可能となる。

本発明にかかる自律飛行移動体を適用した自律飛行制御システムの構成例を示す図である。 自律飛行ロボットが有する本体部の機能的な構成を示すブロック図である。 記憶部が記憶するデータの例を示す図である。 記憶部が記憶するデータの例を示す図である（サーバ）。 環境情報の例を示す図である。 追跡飛行処理の処理手順を示すシーケンス図である。 最短経路の例を示す図である。

以下に添付図面を参照して、本発明にかかる自律飛行移動体、ターゲット追跡方法の実施の形態を詳細に説明する。以下では、自律飛行移動体であるロボットが目標物である歩行者を追跡する場合において、その歩行者を見失った場合でも、あらかじめ記憶されている地図データを参照してその歩行者の移動経路を予測し、先回りしてその歩行者を再発見して追跡を続行する。このような追跡により、俯瞰することができない状況においても目標物の追跡を続行することができる。なお、歩行者に限らず、例えば、自転車や自動車等の車両についても同様に適用することができる。

図１は、本発明にかかる自律飛行移動体、ターゲット追跡方法を適用した自律飛行システム１０００の機能的な構成を示す図である。図１に示すように、自律飛行システム１０００は、自律飛行ロボット１００と、サーバ２００とを有し、これらが無線通信ネットワークＮ１を介して接続されている。無線通信ネットワークＮ１は、例えば、自律飛行ロボット１００が飛行するために認可された周波数帯を利用した通信ネットワークである。通信ネットワークＮ２は、例えば、インターネット回線網である。図において、目標物であるターゲットＴは地上Ｇを矢印Ａの向きに移動し、その後方上方に自律飛行ロボット１００が飛行し、撮像範囲Ｒを撮像しながらターゲットＴを追跡している。

自律飛行ロボット１００は、例えば、ドローンのような、自律して飛行可能な小型の移動体である。図１に示すように、自律飛行ロボット１００は、複数のロータ１０１と、モータ１０２と、本体部１０３と、スキッド１０４と、撮像部１０５とを有している。自律飛行ロボット１００は、本体部１０３からの指示に従って、モータ１０２による駆動力を受けてロータ１０１を回転させて飛行する。スキッド１０４は、自律飛行ロボット１００の離着陸時の足として使用される。撮像部１０５は、ターゲットを撮像する撮像装置であり、例えば、ＣＣＤ（Charge Coupled Device）カメラによる構成される。

図２は、自律飛行ロボット１００が有する本体部１０３の機能的な構成を示すブロック図である。図２に示すように、本体部１０３は、記憶部１０３１と、測位部１０３２と、探索部１０３３と、飛行制御部１０３４と、通信部１０３５と、制御部１０３６とを有して構成されている。実際には、これらの各部以外にも、例えば、移動速度を認識するための加速度センサ、高度を認識するための超音波センサ、自身の向きを把握するためのコンパス、バッテリ等、自律飛行ロボット１００が通常備えている機能を有している。

記憶部１０３１は、メモリ等の一般的な記憶媒体から構成され、自律飛行ロボット１００に関するデータを記憶する。

図３は、記憶部が記憶するデータの例を示す図である。図３に示すように、記憶部１０１は、撮像情報１０３１１と、地図情報１０３１２とを記憶する。

撮像情報１０３１１は、上記撮像部１０５が撮像した画像データである。撮像情報１０３１１には、例えば、自律飛行ロボット１００が飛行する前方を俯瞰した、上記ターゲットを撮像した画面イメージの画像である。

地図情報１０３１２は、ナビゲーションシステム等で用いられる一般的な地図データである。

測位部１０３２は、例えば、ＧＰＳ（Global Positioning System）モジュールであり、自律飛行ロボット１００の現在位置を測位し、その日時および位置を含む現在位置情報を出力する。本例では、上記現在位置情報を随時更新する前提で記載しているが、記憶部１０３１の記憶容量が許容されるのであれば、過去一定期間分のデータを自律飛行ロボット１００内に蓄積してもよい。

探索部１０３３は、上記地図情報１０３１２を読み出し、ターゲットまでの経路を探索する。また、探索部１０３３は、追跡中のターゲットを見失った場合に、上記地図情報１０３１２を読み出し、見失った場所付近の地図上の経路のうち、ターゲットが移動した方向の経路のなかで最短経路を探索する。探索方法については、従来から知られている様々な技術を適用することができる。上記ターゲットの位置は、サーバ２００から送信される。

飛行制御部１０３４は、探索部１０３３が経路を探索すると、モータ１０２を駆動してロータ１０１を回転制御し、ターゲットまでの自律飛行を開始する。飛行制御部１０３４は、自律飛行を開始すると、超音波センサにより所定の高度（例えば、３メートル）となるように、ロータ１０１の回転数を制御する。また、飛行制御部１０３４は、自律飛行を開始すると、撮像部１０５が撮像した画像データの画面イメージにおけるターゲットの大きさが所定のサイズとなるように、ターゲットとの距離が一定の距離（例えば、ターゲットから２メートル離れた後方位置）を飛行するように、ロータ１０１の回転数を制御する。このような制御により、自律飛行ロボット１００は、飛行開始から飛行終了までの間、地上からある一定の高度でターゲットとの一定の距離を保ちつつ、追跡することができる。

通信部１０３５は、所定の規格にしたがって、無線通信ネットワークＮ１を介してサーバ２００との間で無線通信して各種情報を送受信する処理部である。

制御部１０３６は、自律飛行ロボット１００を構成する上記各部の動作を制御する。自律飛行ロボット１００の具体的な動作についてはシーケンス図を用いて後述する。続いて、図１に戻って、サーバ２００について説明する。

サーバ２００は、ＰＣ（Personal Computer）等の一般的なコンピュータである。サーバ３００は、自律飛行ロボット１００によるターゲットの追跡を監視するサーバである。

図１に示すように、サーバ２００は、記憶部２０１と、監視部２０２と、第１通信部２０３と、第２通信部２０４と、制御部２０５とを有して構成されている。

記憶部３０１は、ＨＤＤ（Hard Disk Drive）等の一般的な記憶装置であり、自律飛行ロボット１００による追跡に関する情報を記憶する。

図４は、記憶部２０１が記憶するデータの例を示す図である。図４に示すように、記憶部３０１は、自律飛行ロボット１００の現在位置情報２０１１と、自律飛行ロボット１００が撮像した撮像情報２０１２と、追跡している経路周辺の環境情報３０１３とを記憶する。現在位置情報２０１１は、自律飛行ロボット１００の測位部１０３２が測位した現在日時および現在位置を示す上記現在位置情報を記憶する。撮像情報２０１２は、自律飛行ロボット１００の撮像部１０５が撮像した撮像情報１０３１１を記憶する。環境情報２０１３は、運行情報、道路情報、災害情報等、追跡している経路周辺の環境に関する情報である。

図５は、環境情報２０１３の例を示す図である。図５に示すように、環境情報３０１３は、環境が変化する事象が発生した日時と、その事象の内容を示す事象情報とが対応付けて記憶されている。図５では、例えば、２０１５年９月１日の１２時３０分００秒現在、品川区△△通り××交差点付近は工事のため通行止めとなっていることを示している。このように、環境情報３０１３には、追跡している経路周辺における道路の工事情報等、ターゲットを追跡している経路での移動に影響を与える事象を示す情報が記憶されている。これらの各情報は、例えば、監視部２０２が、通信ネットワークＮ２を介して、道路交通情報を提供するサイト、市区町村のホームページ等にアクセスしてこれらの情報を読み取って、上記環境情報２０１３として格納したり、格納した情報を所定の間隔で更新することにより、最新の状況を記憶している。

上記例以外にも、ターゲットが上記車両により移動する場合には、これらの情報に加えて交通渋滞情報（例えば、上記事象が発生した日時と、高速道路名と、上記事象情報とを対応付けた情報）を含めてもよい。続いて、図１に戻って、監視部２０２について説明する。

監視部２０２は、ターゲットを追跡する経路を飛行している自律飛行ロボット１００を監視する処理部である。監視部２０２は、自律飛行ロボット１００から受信した現在位置情報および撮像情報１０３１１を読み取り、現時点で自律飛行ロボット１００がターゲットを追跡している経路を飛行していることをチェックする。また、監視部３０２は、上記環境情報２０１３を取得するため、通信ネットワークＮ２を介して、道路交通情報を提供するサイト、市区町村のホームページ等にアクセスし、取得した情報を上記環境情報２０１３に記録する。

第１通信部２０３は、所定の規格にしたがって、無線通信ネットワークＮ１を介して自律飛行ロボット１００との間で無線通信して各種情報を送受信する処理部である。

第２通信部２０４は、所定の規格にしたがって、通信ネットワークＮ２を介して上記道路交通情報を提供するサイト、市区町村のホームページ等にアクセスする処理部である。

制御部２０５は、サーバ２００を構成する上記各部の動作を制御する。サーバ２００の具体的な動作についてはシーケンス図を用いて後述する。続いて、本システムで行われる処理について説明する。

図６は、本システムで行われる処理（追跡飛行処理）の処理手順を示すシーケンス図である。図６に示すように、追跡飛行処理では、まず、サーバ２００が有する不図示の入力装置（例えば、キーボード）が、本システムの管理者からターゲットの位置およびターゲットを識別するための情報（ターゲット情報）の入力を受け付け（ステップＳ６０１）、監視部２０２が、入力されたターゲット情報を自律飛行ロボット１００に送信する（ステップＳ６０２）。ターゲット情報としては、例えば、ターゲットの現在位置を示す座標情報、ターゲットの顔画像がある。

自律飛行ロボット１００は、サーバ２００から上記ターゲット情報を受信すると、現在位置の測位および撮像部１０５による撮像を開始し、現在位置情報、撮像情報を出力し（ステップＳ６０３）、これらの情報をサーバ２００に送信する（ステップＳ６０４）。以降、これらの情報は、本処理が終了するまでリアルタイムに行われる。

サーバ２００の監視部２０２は、自律飛行移動ロボット１００から上記現在位置情報、撮像情報を受信すると、これらの情報を記憶部２０１に記録する（ステップＳ６０５）。

自律飛行ロボット１００の飛行制御部１０３４は、モータ１０２を駆動してロータ１０１の回転を制御し、上記ターゲット情報に示されたターゲットの位置まで自律飛行を開始する（ステップＳ６０６）。例えば、飛行制御部１０３４は、ターゲット情報として示されているターゲットの現在位置付近まで飛行した後、ターゲット情報に示されているターゲットの顔画像と、撮像部１０５が撮像する画像の中から上記ターゲットの顔画像に類似する顔画像を認識し、認識した顔画像を含む人物を上記ターゲットとして設定する。以降、自律飛行ロボット１００は、上記現在位置情報および撮像情報を、随時サーバ２００に送信する。

飛行制御部１０３４は、飛行を開始した後、ターゲットに到着すると、その旨をサーバ２００に送信する（ステップＳ６０７）。サーバ２００の上記入力装置は、自律飛行ロボット１００からターゲットに到着した旨の情報を受信すると、そのターゲットに対する追跡指示の入力を受け付け（ステップＳ６０８）、監視部２０２は、その追跡指示を自律飛行ロボット１００に送信する（ステップＳ６０９）。

自律飛行ロボット１００の飛行制御部１０３４は、サーバ２００から上記追跡指示を受信すると、ターゲットの追跡を開始する。飛行制御部１０３４は、上記ターゲットとの間の距離を保ちながら飛行するように、ロータ１０１の回転数を制御してポジショニングする（ステップＳ６１０、Ｓ６１１）。例えば、飛行制御部１０３４は、撮像部１０５が撮像している画像を解析し、その画像の中で占める上記ターゲットの画像の大きさを判定し、その大きさが一定となるように飛行する。

このように、上記ターゲットの画像の大きさが一定となるように飛行を制御することにより、実際に移動するターゲットとの間の距離を一定に保ちつつ飛行することができる。なお、本例では、画像解析により飛行制御部１０３４が飛行する位置をポジショニングしているが、ターゲットが携帯端末を所持している場合には、その携帯端末と自律飛行ロボット１００との間の電波強度が一定となるように飛行を制御してもよい。

飛行制御部１０３４は、上記ポジショニングによりターゲットを認識できているか否かを判定し（ステップＳ６１２）、ターゲットを認識できていると判定した場合（ステップＳ６１２；Ｙｅｓ）、ステップＳ６１１に戻り、その距離を保ちつつ飛行を続行する。

一方、飛行制御部１０３４が、ターゲットを認識できなくなったと判定した場合（ステップＳ６１２；Ｎｏ）、探索部１０３３は、経路探索を実行する（ステップＳ６１３）。そして、飛行制御部１０３４は、経路が探索できたか否かを判定し（ステップＳ６１６）、経路が探索できたと判定した場合（ステップＳ６１６；Ｙｅｓ）、ステップＳ６１０に戻って、追跡を続行する。

具体的には、探索部１０３３は、記憶部１０３１に記憶されている地図情報１０３１２を読み出し、見失った位置付近の地図上の経路のうち、ターゲットの移動方向にある経路のうちの最短経路を探索し、その経路をターゲットが移動する経路であると推定する。上記最短経路は、例えば、図７に示すように、ターゲットＴが進行方向Ａに移動することを前提に、自律飛行ロボット１００が分岐点の直前の地点ＰでターゲットＴを見失った場合、探索部１０３３が経路の合流地点までの経路Ｒ１、Ｒ２、Ｒ３の中から探索したＲ１である。このように、飛行制御部１０３４は、探索部１０３３により探索された進行方向にある経路が分岐した地点から、分岐した経路が合流する地点までの複数の経路の中で最も移動距離が少ない最短経路を探索する。

そして、飛行制御部１０３４は、飛行速度を上げて、ターゲットＴが合流地点に移動するまでに探索された上記最短経路を移動して先回りし、合流地点付近の位置（例えば、図７に示す自律飛行ロボット１００’の位置）で待機して待ち伏せする。そして、飛行制御部１０３４は、その時点で撮像部１０５が撮像している画像を解析し、その画像の中で占める上記ターゲットの画像の大きさが一定以上となったか否かを判定する。そして、上記ターゲットの画像の大きさが一定以上となったと判定した場合、合流地点付近までターゲットＴが移動してきたと判断し、そのターゲットＴ（図７では、ターゲットＴ’）の追跡を続行する。

ステップＳ６０９において追跡指示が送信されると、サーバ２００の監視部２０２は、通信ネットワークＮ２を介して、道路交通情報を提供するサイト、市区町村のホームページ等の他のシステムにアクセスし、上記環境情報を取得し、環境情報２０１３に記録するとともに（ステップＳ６１４）、自律飛行ロボット１００に送信する（ステップＳ６１５）。このとき、監視部２０２は、取得した環境情報と、記憶部３１０に記憶した現在位置情報２０１１および撮像情報２０１２とを参照し、ユーザの移動に影響を与える事象を示す環境情報（例えば、現在の経路に含まれる交差点名における工事を示す事象）を抽出して上記環境情報２０１３に記録する。以降、監視部２０２は、環境情報を取得する都度、環境情報２０１３を更新するとともに、取得した最新の環境情報を自律飛行ロボット１００に送信する。

自律飛行ロボット１００の探索部１０３３は、サーバ２００から上記環境情報を受信すると、環境情報に示された事象を回避するような迂回経路を探索した上で上記最短経路を再探索し、再対策できた場合（ステップＳ６１６；Ｙｅｓ）、ステップＳ６１０に戻って自律飛行ロボット１００による追跡を継続させる。自律飛行ロボット１００は、これらのステップを、環境情報を取得する都度、追跡が終了するまで繰り返す。

一方、飛行制御部１０３４は、ステップＳ６１６において経路が探索できなかったと判定した場合（ステップＳ６１６；Ｎｏ）、ターゲットが建物に入る等して見失ったと判断し、追跡不可通知をサーバ２００に送信する（ステップＳ６１７）。上記のようにターゲットを見失った場合でも、ターゲットを追跡したそれまでの経路やその時点でのターゲットの位置がわかるため、以降、人手によるターゲットの追跡範囲を限定することができる。

サーバ２００の上記入力装置は、自律飛行ロボット１００から上記追跡不可通知を受信すると、そのターゲットに対する追跡終了指示の入力を受け付け（ステップＳ６１８）、監視部２０２は、その追跡終了指示を自律飛行ロボット１００に送信する（ステップＳ６１９）。自律飛行ロボット１００は、サーバ２００から上記追跡終了指示を受信すると、ターゲットの追跡飛行を終了し、追跡を開始したときの位置まで戻る（ステップＳ６２０）。

このように、本システムでは、上記処理を実行することにより、俯瞰することができない状況においても目標物の追跡ができる。

上記自律飛行ロボット１００、サーバ２００で行われる各処理は、実際には、自律飛行ロボット１００、サーバ２００にインストールされたプログラムを実行することにより実現される。上記プログラムは、ＲＯＭ等に予め組み込まれて提供されたり、インストール可能な形式又は実行可能な形式のファイルで記録媒体に記録して提供したり、配布してもよい。

１０００ 自律飛行システム
１００ 自律飛行ロボット
１０１ ロータ
１０２ モータ
１０３ 本体部
１０３１ 記憶部
１０３１１ 撮像情報
１０３１１ 地図情報
１０３２ 測位部
１０３３ 探索部
１０３４ 飛行制御部
１０３５ 通信部
１０３６ 制御部
１０４ スキッド
１０５ 撮像部
２００ サーバ
２０１ 記憶部
２０１１ 現在位置情報
２０１２ 撮像情報
２０１３ 環境情報
２０２ 監視部
２０３ 第１通信部
２０４ 第２通信部
２０５ 制御部
Ｎ１ 無線通信ネットワーク
Ｎ２ 通信ネットワーク

Claims (6)

1. 自律飛行が可能な自律飛行移動体であって、
   撮像部と、
   あらかじめ定められたターゲットを示す第１の画像と前記撮像部が撮像した第２の画像とに基づいて前記ターゲットを認識し、認識した前記ターゲットとの間で所定の距離を保ちながら飛行して前記ターゲットを追跡する飛行制御部と、
   前記飛行制御部が前記ターゲットを認識できなくなった場合に、地図情報に基づいて前記認識できなくなった位置付近の経路を探索する探索部と、を有し、
   前記飛行制御部は、前記探索部により探索された経路に基づいて、前記ターゲットの追跡を続行する、
   ことを特徴とする自律飛行移動体。
2. 前記探索部は、探索した経路の分岐点から合流点までの最短経路を探索し、
   前記飛行制御部は、前記最短経路を前記合流点付近まで飛行し、前記第１の画像と前記第２の画像とに基づいて前記ターゲットが前記合流点付近まで移動したか否かを判定し、前記ターゲットが前記合流点付近まで移動したと判定した場合、前記ターゲットの追跡を続行する、
   ことを特徴とする請求項１に記載の自律飛行移動体。
3. 前記探索部は、前記経路周辺についての環境情報を他のシステムから取得して前記環境情報のうち前記経路での移動に影響を与える事象を抽出し、抽出した前記事象を回避して前記経路を探索する、
   ことを特徴とする請求項１または２に記載の自律飛行移動体。
4. 自律飛行が可能な自律飛行移動体を用いたターゲット追跡方法であって、
   あらかじめ定められたターゲットを示す第１の画像と前記自律飛行移動体に備えられた撮像部が撮像した第２の画像とに基づいて前記ターゲットを認識する認識ステップと、
   認識した前記ターゲットとの間で所定の距離を保ちながら飛行して前記ターゲットを追跡する追跡ステップと、
   前記ターゲットを認識できなくなった場合に、地図情報に基づいて前記認識できなくなった位置付近の経路を探索する探索ステップと、
   探索された経路に基づいて、前記ターゲットの追跡を続行する続行ステップと、
   を含むことを特徴とするターゲット追跡方法。
5. 前記探索ステップでは、探索した経路の分岐点から合流点までの最短経路を探索し、
   前記続行ステップでは、前記最短経路を前記合流点付近まで飛行し、前記第１の画像と前記第２の画像とに基づいて前記ターゲットが前記合流点付近まで移動したか否かを判定し、前記ターゲットが前記合流点付近まで移動したと判定した場合、前記ターゲットの追跡を続行する、
   ことを特徴とする請求項４に記載のターゲット追跡方法。
6. 前記探索ステップでは、前記経路周辺についての環境情報を他のシステムから取得して前記環境情報のうち前記経路での移動に影響を与える事象を抽出し、抽出した前記事象を回避して前記経路を探索する、
   ことを特徴とする請求項４または５に記載のターゲット追跡方法。

Images