JP2017056904A - 無人飛行体の制御システム、制御方法及び制御プログラム - Google Patents

無人飛行体の制御システム、制御方法及び制御プログラム Download PDF

Info

Publication number
JP2017056904A
JP2017056904A JP2015185519A JP2015185519A JP2017056904A JP 2017056904 A JP2017056904 A JP 2017056904A JP 2015185519 A JP2015185519 A JP 2015185519A JP 2015185519 A JP2015185519 A JP 2015185519A JP 2017056904 A JP2017056904 A JP 2017056904A
Authority
JP
Japan
Prior art keywords
vehicle
image
unmanned air
target
air vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015185519A
Other languages
English (en)
Inventor
真一 窪田
Shinichi Kubota
真一 窪田
孝光 坂井
Takamitsu Sakai
孝光 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2015185519A priority Critical patent/JP2017056904A/ja
Publication of JP2017056904A publication Critical patent/JP2017056904A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】制御システムが対象車両の認識対象物の画像を認識できない位置関係になった場合であっても、対象車両との位置関係が認識対象画像を認識できる範囲内となるように無人飛行体を制御することができる無人飛行体の制御システム及び制御方法及び制御プログラムの実現。【解決手段】無人飛行体Hを制御する制御部1と無人飛行体Hに取り付けられて対象車両Cを撮像する撮像装置31と、撮像装置31により撮像された対象車両Cの全体若しくは一部の画像、又は、対象車両Cに設けられた認識対象物の画像を認識対象画像として認識する画像認識部32と、を備えている【選択図】図1

Description

本発明は、対象車両の位置に基づいて飛行する無人飛行体の制御システムに関する。
上記のような無人飛行体の制御システムに関して、例えば特許文献1には、対象車両に設けられた認識対象物の認識対象画像を画像認識部により認識し、その認識結果に基づいて無人飛行体の飛行を制御する無人飛行体の制御システムに関する技術が開示されている。
具体的には、この特許文献1に記載された無人飛行体の制御システムは、対象車両の天井に設置された認識対象物であるターゲットマークを、無人飛行体に設けられた撮像装置により撮像して画像認識し、撮像した画像上での認識対象画像による位置認識に基づいて、無人飛行体がこのターゲットマークの直上にあるように無人飛行体を制御している。
しかし、例えば無人飛行体が飛行中に突風に煽られた場合等に、意図せず移動してしまう場合がある。このように、無人飛行体が、撮像装置でターゲットマークを撮影できない位置関係になった場合に、上記のような無人飛行体の制御を行うことができなくなる。
特許第5690539号公報
そこで、制御システムが対象車両の認識対象物の画像を認識できない位置関係になった場合であっても、対象車両との位置関係が認識対象画像を認識できる範囲内となるように無人飛行体を制御することができる無人飛行体の制御システム及び制御方法及び制御プログラムの実現が望まれる。
上記に鑑みた、対象車両の位置に基づいて飛行する無人飛行体の制御システムの特徴構成は、前記無人飛行体を制御する制御部と、前記無人飛行体に取り付けられて前記対象車両を撮像する撮像装置と、前記撮像装置により撮像された前記対象車両の全体若しくは一部の画像、又は、前記対象車両に設けられた認識対象物の画像を認識対象画像として認識する画像認識部と、を備え、前記制御部は、前記無人飛行体の制御モードとして、前記無人飛行体の飛行高度を第一飛行高度範囲に維持しつつ、前記対象車両との位置関係が前記画像認識部により前記認識対象画像を認識できる範囲内となるように前記無人飛行体を制御する第一飛行モードと、前記第一飛行モードの実行中に前記画像認識部により前記認識対象画像を認識できなくなった場合に、前記無人飛行体の飛行高度を前記第一飛行高度範囲よりも上昇させるように前記無人飛行体を制御する第二飛行モードと、を備えている点にある。
この特徴構成によれば、第一飛行モードの実行中に画像認識部による認識対象画像の認識ができなくなった場合に、第二飛行モードを実行することにより、無人飛行体を第一飛行高度範囲よりも高い飛行高度まで上昇させて、撮像装置により撮像される範囲を広げることができる。これにより、無人飛行体と対象車両との位置関係を、画像認識部により認識対象画像を認識できる範囲内にすることができる。すなわち、無人飛行体の飛行高度を上昇させるという簡易な制御により、再び、画像認識部による認識対象画像の認識が可能な状態にできる。
つまり、この無人飛行体の制御システムによれば、画像認識部による認識ができなくなった場合であっても、対象車両との位置関係が認識対象画像を認識できる範囲内となるように無人飛行体を制御することができる。
また、上記に鑑みた、無人飛行体の制御システムの技術的特徴は、無人飛行体の制御方法や無人飛行体の制御プログラムにも適用可能であり、そのため、本発明は、そのような方法やプログラムも権利の対象とすることができる。
その場合における、対象車両の位置に基づいて飛行する無人飛行体の制御方法であって、前記無人飛行体に取り付けられた撮像装置により前記対象車両を撮像する撮像ステップと、前記撮像ステップにより撮像された前記対象車両の全体若しくは一部の画像、又は、前記対象車両に設けられた認識対象物の画像を認識対象画像として認識する画像認識ステップと、を実行し、前記無人飛行体を制御する場合に、前記無人飛行体の飛行高度を第一飛行高度範囲に維持しつつ、前記対象車両との位置関係が前記画像認識部により前記認識対象画像を認識できる範囲内となるように前記無人飛行体を制御する第一飛行モードと、前記第一飛行モードの実行中に前記画像認識部により前記認識対象画像を認識できなくなった場合に、前記無人飛行体の飛行高度を前記第一飛行高度範囲よりも上昇させるように前記無人飛行体を制御する第二飛行モードと、を選択的に実行する点にある。
また、その場合における、対象車両の位置に基づいて飛行する無人飛行体の制御プログラムであって、前記無人飛行体を制御する制御機能と、前記無人飛行体に取り付けられた撮像装置により前記対象車両を撮像する撮像機能と、前記撮像機能により撮像された前記対象車両の全体若しくは一部の画像、又は、前記対象車両に設けられた認識対象物の画像を認識対象画像として認識する画像認識機能と、をコンピュータに実現させ、前記制御機能は、前記無人飛行体の制御モードとして、前記無人飛行体の飛行高度を第一飛行高度範囲に維持しつつ、前記対象車両との位置関係が前記画像認識部により前記認識対象画像を認識できる範囲内となるように前記無人飛行体を制御する第一飛行モードと、前記第一飛行モードの実行中に前記画像認識部により前記認識対象画像を認識できなくなった場合に、前記無人飛行体の飛行高度を前記第一飛行高度範囲よりも上昇させるように前記無人飛行体を制御する第二飛行モードと、を選択的に実行する点にある。
当然ながらこの無人飛行体の制御方法及び無人飛行体の制御プログラムも上述した無人飛行体の制御システムに係る作用効果を得ることができる。
実施形態に係る無人飛行体の制御システムと対象車両の車載システムを示す概略構成図 無人飛行体の飛行手順(第一飛行モード)を示すフローチャート 無人飛行体の飛行手順(第二飛行モード)を示すフローチャート 第一飛行モードでの無人飛行体Hの動作の具体例を示す図 第一飛行モードでの無人飛行体Hの動作の具体例を示す図 第二飛行モードでの無人飛行体Hの動作の具体例を示す図 第二飛行モードでの無人飛行体Hの動作の具体例を示す図 第二飛行モードでの無人飛行体Hの動作の具体例を示す図 第二飛行モードで参照する飛行高度の上昇量を定めた制御テーブルの具体例 第二飛行モードで参照する水平方向の動作を定めた制御テーブルの具体例 対象車両に対する無人飛行体の発進・格納動作の一例を説明する図
1.実施形態
無人飛行体Hの制御システムP1の実施形態について図面に基づいて説明する。
まず、図1を用いて無人飛行体H、制御システムP1、対象車両C、車載システムP2の関係を説明する。
無人飛行体Hは、対象車両Cの位置に基づいて無人で飛行する飛行体である。制御システムP1は、無人飛行体Hに備えられ、無人飛行体Hの動作を制御するシステムである。
対象車両Cは、車載システムP2を備えた車両である。そして制御システムP1は、車載システムP2と通信して動作する。
この無人飛行体Hは、例えば対象車両Cが走行する場合に用いる情報を取得するために利用される。この走行する場合に用いる情報の一例は、対象車両Cの周囲の状況や、対象車両Cがこれから走行する走行経路に係る情報である。
制御システムP1を説明するために、先に車載システムP2について概要を説明する。
車載システムP2は、対象車両Cを制御するシステムであり、また対象車両Cの位置に基づいて飛行する無人飛行体Hに動作の指示を送信するシステムである。
図1に示す車載システムP2は、車両側通信部22、車両側制御部101、表示入力装置102、無人飛行体指示部110、などの機能部と、図示しないが、車両として機能するためのその他の各種機能部を備えている。
車載システムP2のこれら機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により構成されている。そして、車載システムP2の各機能部は、互いに情報の受け渡しを行うことができるように構成されている。ここで、各機能部がソフトウェア(プログラム)により構成される場合には、当該ソフトウェアは、前記演算処理装置が参照可能なRAMやROM等の記憶手段に記憶される。
車両側制御部101は、車載システムP2全体を制御する機能部である。
車両側制御部101は、車両側通信部22、表示入力装置102、無人飛行体指示部110、その他図示しない各種機能部などから取得した情報の演算等を行う。また車両側制御部101は、車両側通信部22、表示入力装置102、無人飛行体指示部110、その他図示しない各種機能部などへ指示を出力する。
無人飛行体指示部110は、車載システムP2から無人飛行体Hの制御システムP1へ指示を出力する機能部である。
無人飛行体指示部110は、車両側制御部101から受けた指示を無人飛行体Hへの指示に変換し、車両側通信部22を経由して、無人飛行体Hの制御システムP1へ送信する。
表示入力装置102は、表示装置と入力装置とが一体となった装置である。
表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機EL(electroluminescence)ディスプレイ、電界放出ディスプレイ、CRT(cathode-ray tube)ディスプレイ等の公知の各種の表示装置を用いることができる。また、入力装置としては、表示装置の表示画面上に配置されたタッチパネルや、表示画面の横に配置された操作スイッチ等がある。図示しないが、表示入力装置102は、音声出力装置としてのスピーカやアンプ等を有して構成される。
この表示入力装置102は、運転者からの各種の指示を受け付ける。この指示には、無人飛行体Hの制御システムP1に対する指示も含まれる。表示入力装置102で受け付けた指示は、車両側制御部101へ出力される。
なお、図示しないその他の各種機能部としては例えば、運転者の運転操作の設定に係る入力を受け付ける運転操作入力部、走行に係る車両としての中核機構である内燃機関などの駆動力源や車輪などを含む走行機構部、運転者に道路情報等を案内するナビゲーション装置、対象車両Cに係る車両情報を取得する車両情報取得部、などの機能部を備えている。これらは公知の構成を用いることができる。
次に、制御システムP1について説明する。
制御システムP1は、対象車両Cの位置に基づいて飛行する無人飛行体Hを制御する制御システムである。この制御システムP1は、無人飛行体Hの動作を制御する。制御システムP1は、車載システムP2と通信することで、車載システムP2と共に動作する。
図1に示すように制御システムP1は、少なくとも、無人飛行体Hを制御する制御部1と、無人飛行体Hに取り付けられて対象車両Cを撮像する撮像装置31と、撮像装置31により撮像された対象車両Cの全体若しくは一部の画像、又は、対象車両Cに設けられた認識対象物の画像を認識対象画像として認識する画像認識部32と、を備えている。
さらに本例では、制御システムP1は、通信部2、車両位置検知部3、記憶部4、飛行機能部5、などの機能を備えている。なお、車両位置検知部3は、撮像装置31と画像認識部32とを含む機能部である。また、車両位置検知部3で行う対象車両Cの車両位置の検知には、撮像装置31により撮像された対象車両Cの全体若しくは一部の画像、又は、対象車両Cに設けられた認識対象物の画像を認識対象画像として画像認識部32が認識し、その認識結果に基づいて対象車両Cの位置を検知することが含まれる。
制御システムP1のこれら機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により構成されている。そして、制御システムP1の各機能部は、互いに情報の受け渡しを行うことができるように構成されている。ここで、各機能部がソフトウェア(プログラム)により構成される場合には、当該ソフトウェアは、前記演算処理装置が参照可能なRAMやROM等の記憶手段に記憶される。
制御部1は、制御システムP1の全体を制御する機能部である。
制御部1は、通信部2、車両位置検知部3、記憶部4、飛行機能部5、などから取得した情報に基づく演算等を行う。また、制御部1は、通信部2、車両位置検知部3、記憶部4、飛行機能部5、などへ指示を出す。
車両位置検知部3は、対象車両Cの車両位置を検知し、無人飛行体Hに対する対象車両Cの相対的な移動に関する情報を、車両移動情報として取得する機能部である。この車両移動情報としては、後述するように、無人飛行体Hと対象車両Cとの、相対的な位置関係、相対速度、相対移動方向、相対移動ベクトルV、などが含まれ得る。
本実施形態では、車両位置検知部3は、撮像装置31と画像認識部32と自位置検出部33と相対速度取得部34と相対移動方向取得部35とを備えている。
本例では車両位置検知部3は、後述するように、撮像装置31と画像認識部32とにより対象車両Cの車両位置を検知し、その検知結果に基づいて車両移動情報を取得する。
車両位置検知部3で取得した車両移動情報のうち、少なくとも最後に取得した車両移動情報は、後述する記憶部4に記憶される。
撮像装置31は、電磁波を検知して画像として撮像する装置である。
電磁波としては、光や電波、放射線が含まれる。このうち光には、可視光が含まれ、さらに赤外線、紫外線をも含む。
本例では、電磁波として可視光を検出して撮像するデジタルカメラを撮像装置31として備えている。この撮像装置31は、無人飛行体Hが飛行する場合に、上空から、地上を撮像することができるように、少なくとも下方を撮像できるように、無人飛行体に設けられる。
なお、撮像装置31はその一般的な特徴として、所定の条件で撮像する場合に、その条件に対応して撮像される領域である撮像範囲39が決まる特性を持つ。
画像認識部32は、撮像装置31で撮像した画像を認識し、その認識結果に基づいて認識対象を判別して、車両位置を検知する部位である。本例では画像認識部32は、パターンマッチング等を行い、画像中に含まれる、認識対象物の画像を他の画像部分とは区別して検知し、その検知した認識対象を、対象車両Cとみなして取り扱う。
画像認識部32で認識する認識対象としては、対象車両Cの全体若しくは一部、又は、対象車両Cに設けられた認識対象物が含まれる。具体的には、認識対象としては、例えば、対象車両Cの全体の形状や色彩、対象車両Cの特徴部分、例えば、窓、ルーフ、ボンネット、ヘッドライト、リアライト、ドアミラー等の形状や車両全体の中での位置、或いは、ルーフやボンネット等に描かれた記号や文字等の標章の位置や形状や色彩などが含まれる。これらは、対象車両Cに元々備えられていたものであることが望ましいが、画像認識部32による認識のために設けた専用の認識対象であってもよい。このような専用の認識対象としては、例えば、特定波長の不可視光を発する装置や不可視光を反射する機能部であって特定の標章の形状を表すものなどとすることができる。
自位置検出部33は、画像認識部32の認識結果をもとにして、無人飛行体Hと、対象車両Cとの相対的な位置関係を認識する機能部である。
自位置検出部33は、撮像装置31による撮像方向、画角、撮影倍率等と、撮像装置31で撮像した画像中に含まれる認識対象の位置及び大きさに基づいて、対象車両Cと無人飛行体Hとの相対位置を認識する。
具体的には、自位置検出部33は、撮像装置31による画角や撮影倍率等と、撮像装置31で撮像した画像中に含まれる認識対象の大きさとに基づいて、対象車両Cと無人飛行体Hとの相対距離を演算する。また、自位置検出部33は、撮像装置31による撮像方向や画角等と、撮像装置31で撮像した画像中における認識対象の位置とに基づいて、対象車両Cと無人飛行体Hとの相対方位を演算する。
また、本実施形態では、自位置検出部33は、無人飛行体Hの移動方向、移動速度、移動の軌跡を認識する。この場合、画像認識部32は、撮像装置31により撮像した画像に含まれる静止物を認識する。この場合の静止物としては、例えば、道路上のペイント、信号機や標識、建築物、街路樹等が含まれる。そして、自位置検出部33は、撮像装置31により撮像した画像中における、静止物の位置の変化を検出することで、無人飛行体Hの移動ベクトル(移動方向と移動速度)を検出する。
相対速度取得部34は、画像認識部32により認識した認識対象画像の変化に基づいて、無人飛行体Hと対象車両Cとの相対速度を取得する機能部である。
相対速度取得部34は、撮像装置31による撮像方向、画角、撮影倍率等と、撮像装置31で撮像した画像中に含まれる認識対象の位置及び大きさと、撮像装置31で撮像した画像中に含まれる認識対象の単位時間あたりの位置及び大きさの変化量とに基づいて、無人飛行体Hと対象車両Cとの相対速度を演算し、その演算結果を相対速度情報として取得する。
相対速度取得部34が取得した相対速度情報のうち、少なくとも最後に取得した相対速度情報は、後述する車両移動情報記憶部43に記憶される。従って、例えば、対象車両Cが撮像装置31の撮像範囲から外れたために画像認識部32により認識対象画像を認識できなくなった場合には、相対速度取得部34は、画像認識部32により認識対象画像を認識できなくなる直前に取得された相対速度である直前相対速度の情報を、車両移動情報記憶部43に記憶させる。
相対移動方向取得部35は、画像認識部32により認識した認識対象画像の変化に基づいて、無人飛行体Hと対象車両Cとの相対移動方向を取得する機能部である。
相対移動方向取得部35は、具体的には、撮像装置31による撮像方向、画角、撮影倍率等と、撮像装置31で撮像した画像中に含まれる認識対象の位置及び大きさと、撮像装置31で撮像した画像中に含まれる認識対象の単位時間あたりの位置の変化とに基づいて、無人飛行体Hと対象車両Cとの相対移動方向を演算し、その演算結果を相対移動方向情報として取得する。
相対移動方向取得部35が取得した相対移動方向情報のうち、少なくとも最後に取得した相対移動方向情報は、後述する車両移動情報記憶部43に記憶される。従って、例えば、対象車両Cが撮像装置31の撮像範囲から外れたために画像認識部32により認識対象画像を認識できなくなった場合には、相対移動方向取得部35は、画像認識部32により認識対象画像を認識できなくなる直前に取得された相対移動方向である直前相対移動方向の情報を、車両移動情報記憶部43に記憶させる。
上述の通り、相対速度取得部34は、無人飛行体Hと対象車両Cとの相対速度を相対速度情報として取得する。また、相対移動方向取得部35は、無人飛行体Hと対象車両Cとの相対移動方向を相対移動方向情報として取得する。従って、車両位置検知部3は、これらの相対速度情報と相対移動方向情報とを組み合わせて、無人飛行体Hと対象車両Cとの相対移動ベクトルVの情報を取得する。この相対移動ベクトルVの情報も車両移動情報に含まれる。
通信部2は、制御システムP1が車載システムP2と通信するための機能部である。
通信部2は、対象車両Cが備える車両側通信部22と通信して、車載システムP2からの指示を取得する。この指示には、表示入力装置102で受け付けた指示が含まれる。
更に、本実施形態では、通信部2は、車載システムP2からの指示に応じて、車載システムP2へ、予め定められた種類の送信情報を送信する。この送信情報には、例えば、撮像装置31が撮像した画像情報が含まれる。
通信部2と車両側通信部22との通信(以下、単に「通信」とする)は、例えば電波を利用した無線通信とすることができる。具体的には、通信部2は、例えば、制御システムP1のアンテナ21と、車載システムP2のアンテナ23とを経由して、車両側通信部22との間で、電波による無線通信を行う。無線通信としては、この他にも、例えば、赤外線等の光通信を用いてもよい。また、無人飛行体Hと対象車両Cとの間をワイヤでつなぎ、有線通信を行う構成としてもよい。
飛行機能部5は、無人飛行体Hの飛行機能を実現するための機能部である。本実施形態では、飛行機能部5は、操舵機構51、動力機構52、動力源53を備えている。また本例では、さらに姿勢制御部54、飛行センサ55などを備えている。
飛行機能部5は、制御部1からの指示に従って無人飛行体Hが飛行するように各部を動作させる。飛行機能部5は公知の構成を利用できるため以下、簡単に説明を加える。
動力機構52は、推進力・揚力を発生させる機構である。本例では、動力機構52として、電気モータと回転翼を備えている。なお、動力機構52として固定翼を備えていてもよい。
動力源53は、動力機構52にエネルギーを供給する機能部である。本例では、電気モータに電力を供給するための蓄電装置として蓄電池を備えている。
飛行センサ55は、無人飛行体Hの飛行状態を監視する装置である。本例では、例えば、高度センサ、重力センサ(水平センサ)、加速度センサ、ジャイロセンサを備える。
操舵機構51は、無人飛行体Hの移動方向を制御する機能部である。
例えば、動力機構52が備える複数の回転翼の回転数を個別に制御して移動方向を制御することができる。
姿勢制御部54、無人飛行体Hの姿勢を制御する機構である。本例では、飛行センサ55で検知した飛行状態を基にして、動力機構52の複数の回転翼の回転数を個別に制御して姿勢を制御する。この他にも、姿勢制御部54は、例えば、無人飛行体Hの機体に設けられた方向舵の向きを変更したり、翼の向きを変更したりすることで姿勢制御を行ってもよい。
記憶部4は、制御システムP1が、対象車両Cの位置に基づいて飛行するために必要な情報を記憶する。例えばフラッシュメモリで構成される。
記憶部4は、汎用記憶部41、飛行モード記憶部42、車両移動情報記憶部43、制御関係情報記憶部44などを含む。
汎用記憶部41は、無人飛行体Hの飛行に係る各種の情報を記憶する。例示すると、汎用記憶部41には、撮像装置31で撮像した画像を保存することができる。また、汎用記憶部41には、自位置検出部33が認識した無人飛行体Hと対象車両Cとの相対的な位置関係、無人飛行体Hの移動方向、移動速度、無人飛行体移動軌跡、などが、無人飛行体移動軌跡情報として、継時的に記憶される。
車両移動情報記憶部43は、車両位置検知部3で検知した車両移動情報を記憶する。少なくとも車両移動情報記憶部43は、最後に取得した車両移動情報を記憶する。本例では、車両位置検知部3が、車両移動情報を取得する毎に、車両移動情報記憶部43に車両移動情報を継時的に記録する。なお、車両移動情報記憶部43に記憶された車両移動情報のデータ量が一定のしきい値を超えた場合には、車両移動情報記憶部43は、古い車両移動情報から順に削除する。
制御部1は、車両移動情報記憶部43に記憶された車両移動情報を必要に応じて取得して、以下に説明する各種飛行モードを実行する。
飛行モード記憶部42は、制御部1が無人飛行体Hを制御するための制御モードに係る動作プログラムを格納する記憶部である。飛行モード記憶部42は、少なくとも第一飛行モードを実行するためのプログラムと、第二飛行モードを実行するためのプログラムとを格納している。また、飛行モード記憶部42は、その他の飛行を行う飛行モードを実行するプログラムも記憶することができる。制御部1は、飛行モード記憶部42から、必要な各制御モードに係る動作プログラムを読み出して実行する。
制御関係情報記憶部44は、制御部1が無人飛行体Hを制御するための制御モードを実行する場合に参照する制御関係情報を格納する記憶部である。ここで、制御関係情報は、車両位置検知部3により取得する車両移動情報と、制御部1が制御モードを実行する場合の無人飛行体Hの飛行に係る飛行制御パラメータとの関係を規定する情報である。本例では、この制御関係情報は、車両移動情報と飛行制御パラメータとの関係を予め規定した制御テーブルとして制御関係情報記憶部44に記憶されている。
飛行制御パラメータとしては、飛行高度、飛行高度の上昇量、飛行速度、加速度、最大移動量などが含まれる。
上記のとおり、車両移動情報としては、相対速度情報、相対移動方向情報、相対移動ベクトルVが含まれる。
なお、本例では、制御テーブルは、少なくとも第二飛行モードを実行する場合に参照される。
第一飛行モードは、無人飛行体Hの飛行高度を第一飛行高度範囲Ar(図4、図5参照)に維持しつつ、対象車両Cとの位置関係が画像認識部32により認識対象画像を認識できる範囲内となるように無人飛行体Hを制御する飛行モードである。
そのために、第一飛行モードでは、制御部1は、車両位置検知部3により車両位置が検知できる状態を維持するように無人飛行体Hの飛行を制御する。また、制御部1は、無人飛行体Hの飛行高度を第一飛行高度範囲Arで維持しつつ飛行させる。
ここで、第一飛行高度範囲Arは、撮像装置31の撮像範囲内における認識対象画像の大きさが、予め定めた範囲内となるように設定されている。具体的には、第一飛行高度範囲Arは、撮像装置31により対象車両Cに係る認識対象を撮像し、その画像を画像認識部32により画像認識するために適した高度範囲に設定される。無人飛行体Hの飛行高度が低すぎる場合には、対象車両Cの全体若しくは一部等である認識対象が、撮像装置31の撮像範囲に収まらず、或いは少しの相対位置のずれによって撮像範囲から外れることになる。一方、無人飛行体Hの飛行高度が高すぎる場合には、撮像装置31により撮像される認識対象の画像が小さすぎ、画像認識部32により画像認識が難しくなる。そこで、第一飛行高度範囲Arは、撮像装置31の撮像範囲内における認識対象画像(対象車両Cに係る認識対象の画像)の大きさが、画像認識部32により画像認識できる範囲となるように設定される。すなわち、第一飛行高度範囲Arは、撮像装置31の画角や撮影倍率や解像度等と、認識対象である対象車両Cの全体若しくは一部等の大きさと、に応じて設定される。なお、撮像範囲内における認識対象画像の大きさは、認識対象画像の最も長い部分の長さ(すなわち全長)とすると好適であるが、認識対象画像の面積としてもよい。
本実施形態では、車両位置検知部3は、撮像装置31で撮像した画像に含まれる対象車両Cに係る認識対象を画像認識部32により画像認識して車両位置を検知する。従って、制御部1は、第一飛行モードでは、制御部1は、対象車両Cに係る認識対象が撮像装置31により撮像される状態を維持するように、無人飛行体Hの飛行高度を第一飛行高度範囲Arで維持しつつ、無人飛行体Hを対象車両Cに追従させる。例えば、制御部1は、画像認識部32により認識される認識対象が、撮像装置31で撮像される画像の中央部に設定された領域内に収まるような相対位置関係となるように、対象車両Cに対する無人飛行体Hの相対位置をフィードバック制御等により制御する。また、制御部1は、無人飛行体Hの飛行高度が第一飛行高度範囲Arとなるように、フィードバック制御等により制御する。制御部1は、無人飛行体Hの飛行高度が予期せず第一飛行高度範囲Arを離れる場合にも、画像認識部32により認識対象画像を認識できる場合には、無人飛行体Hの飛行高度を第一飛行高度範囲Arに維持するよう制御しつつ、無人飛行体Hを対象車両Cに追従させる。
この第一飛行モードには、車両位置検知部3で検知した車両位置に基づいて対象車両Cに追従して飛行し、車載システムP2から指示があれば、車両位置検知部3が車両位置を検知できる範囲内で移動して飛行を継続するモードも含まれる。
第一飛行モードは、例えば図3のフローチャートに示すようなステップの実行を、制御部1に行わせて実現させるプログラムとして格納されている。
以下、第一飛行モードで実行される各ステップについて、図2及び図3を用いて説明する。
まず、制御部1は、車載システムP2からの指示に基づき、或いは、自らの判断で、無人飛行体Hの飛行を開始する(S11)。無人飛行体Hの飛行を開始した後は、制御部1は、まず、第一飛行モードを開始する(S12)。そして、車両位置検知部3が認識対象を検知しているかどうかを判断する(S13)。車両位置検知部3が対象車両Cの認識対象を検知していれば(S13:YES)、制御部1は、その状態を維持するように第一飛行高度範囲Arで飛行させて無人飛行体Hを対象車両Cに追従させる(S14)。認識対象を検知していなければ(S13:NO)、制御部1は、第二飛行モードを開始する(図3のS21)。
制御部1は、車載システムP2から追従中止命令を受信した場合(S15:YES)、対象車両Cへ戻る(S17)。追従中止命令は、例えば、対象車両Cが目的地についた場合や、無人飛行体Hによる周辺画像の撮影等の必要がなくなった場合等に、車載システムP2から送信される。無人飛行体Hは、対象車両Cへ戻った場合、例えば図11に示すように、対象車両Cが備える格納庫201に格納される。
また、制御部1は、動力源53の残エネルギー量(例えば蓄電池の充電残量)が予め定めた帰還しきい値以下であるか否かを判断し(S16)、帰還しきい値以下である場合は(S16:YES)、対象車両Cへ戻る(S17)。
動力源53の残エネルギー量が帰還しきい値より大きい場合には(S16:NO)、ステップS13に戻る。そして、上記動作を繰り返す。
第一飛行モードについて補足する。
第一飛行モードのステップとして図2に記載はしていないが、第一飛行モードの実行中は、車両位置検知部3により対象車両Cの車両位置を検知できる範囲であれば、対象車両Cの上空の任意の位置を飛行することができる。
第一飛行モードを実行する場合の無人飛行体Hの動作の具体例について図4及び図5を用いて説明する。
図4は、対象車両Cが、道路L1を、対象車両Cの前進方向である進行方向d1に走行している場合を図示している。
本実施形態では、車両位置検知部3は、撮像装置31で撮像した画像の認識結果に基づいて車両位置を検知するため、制御部1は、第一飛行モードでは、無人飛行体Hの飛行高度を第一飛行高度範囲Arで維持しつつ、撮像装置31の撮像範囲39内に対象車両Cが収まるような無人飛行体Hと対象車両Cとの位置関係となるように、無人飛行体Hを飛行させる。
図4に示す例では、無人飛行体Hは、第一飛行高度範囲Arとして地上からおおよそ3〜5m程度の上空を飛行して、対象車両Cの認識対象を検知し(S13)つつ、対象車両Cに追従(S14)している。
図5は、道路L1を、車両の後進方向である進行方向d2に走行しようとしている場合を図示している。本例では、車載システムP2が、無人飛行体Hの撮像装置31を用いて車両の後方確認を行う指示を制御システムP1に対して行う。この場合、制御部1は、無人飛行体Hの飛行高度を第一飛行高度範囲Arで維持しつつ、無人飛行体Hを、車両位置検知部3により対象車両Cの車両位置を検知できる範囲内で車両の後方側に移動させ、車両の後方側の画像を撮像装置31で撮影し、車載システムP2へ送信する。
これにより、車載システムP2は、例えば、無人飛行体Hから受信した画像を表示入力装置102に表示することができる。この画像に障害物X1が写っている場合、運転者は、この障害物X1を認識することができる。
第二飛行モードは、第一飛行モードの実行中に画像認識部32により認識対象画像を認識できなくなった場合に、無人飛行体Hの飛行高度を第一飛行高度範囲Arよりも上昇させるように無人飛行体Hを制御する飛行モードである。
本実施形態では、制御部1は、この第二飛行モードを実行する場合に、画像認識部32により認識対象画像を認識できなくなる直前に取得された相対移動方向である直前相対移動方向に基づいて、当該直前相対移動方向に向かって水平方向に移動させながら飛行高度を上昇させるように無人飛行体Hを制御する。
また、本実施形態では、制御部1は、第二飛行モードを実行する場合に、画像認識部32により認識対象画像を認識できなくなる直前に取得された相対移動速度である直前相対速度に基づいて、当該直前相対速度が大きくなるに従って飛行高度の上昇量を大きくするように無人飛行体Hを制御する。
更に、本実施形態では、制御部1は、直前相対速度に基づいて、無人飛行体Hの水平方向の移動加速度及び最大移動量の少なくとも一方を、直前相対速度が大きくなるに従って大きくするように定める。本例では、制御部1は、これら移動加速度及び最大移動量の双方を定める。
本例では、制御部1は、上述した制御関係情報記憶部44に記憶された制御テーブルを参照し、直前相対速度に基づいて、飛行高度の上昇量、水平方向の移動加速度、最大移動量などを定める。この制御テーブルには、例えば、直前相対速度と、飛行高度の上昇量、水平方向の移動加速度、及び最大移動量との関係が規定されている。
第二飛行モードは、第一飛行モードが実行可能な場合には、基本的に実行されない。そして、制御部1は、第二飛行モードの実行中に、画像認識部32により認識対象画像を認識できる状態になった場合には、無人飛行体Hの飛行高度を第一飛行高度範囲Arまで下降させ、第一飛行モードに切り替える。このように、第一飛行モードと、第二飛行モードとは選択的に実行される。
第二飛行モードは、例えば図3のフローチャートに示すようなステップの実行を、制御部1に行わせて実現させるプログラムとして格納されている。第一飛行モードを実現させるプログラムと、第二飛行モードを実現させるプログラムとは選択的に実行される。
以下、第二飛行モードで実行される各ステップについて、図2及び図3を用いて説明する。
上記のとおり、車両位置検知部3が認識対象を検知しない状態となった場合に、制御部1は、第二飛行モードを開始する(S21)。
第二飛行モードを開始した場合、制御部1は、車両移動情報記憶部43から、車両移動情報として直前に取得した相対速度情報である直前相対速度情報(直前相対速度)を取得する(S22)。
引き続いて、制御部1は、直前相対速度情報に基づいて、図9及び図10に示す制御テーブルから、飛行制御パラメータを取得する(S23)。本例では、制御部1は、飛行制御パラメータとして、図9に示される制御テーブルから飛行高度の上昇量を取得する。更に本例では、制御部1は、飛行制御パラメータとして、図10に示される制御テーブルから、無人飛行体Hの水平方向の移動加速度である水平移動加速度と、無人飛行体Hの水平方向への最大移動量である最大水平移動量と、を取得する。なお、図9は、飛行高度の上昇量を定めた制御テーブルである上昇量テーブルの具体例であり、図10は、水平方向の動作を定めた制御テーブルである水平動作テーブルの具体例である。本例では、最大水平移動量として規定される水平移動量は、第二飛行モードを開始する直前の無人飛行体Hの飛行状態を基準とした無人飛行体Hの水平方向の移動量のずれである。具体的には、当該基準とする飛行状態を維持した場合に移動すると想定される移動量と、ステップS23で取得した飛行制御パラメータに従って無人飛行体Hを制御した場合の移動量との差分である。
次に、制御部1は、車両移動情報記憶部43から、車両移動情報として直前に取得した相対移動方向情報である直前相対移動方向情報(直前相対移動方向)を取得する(S24)。
その後、制御部1は、ステップS23で取得した飛行制御パラメータに従って、ステップS24で取得した相対移動方向へ向けて無人飛行体Hを移動させながら上昇させる(S25)。これにより、無人飛行体Hは、第一飛行高度範囲Arよりも高い飛行高度まで上昇する。この際、制御部1は、ステップS23で取得した飛行制御パラメータに従って無人飛行体Hを飛行させるので、撮像装置31の撮像範囲が、直前相対速度に応じた広さとなるように、無人飛行体Hの飛行高度の上昇量を適切に設定することができる。また、制御部1は、無人飛行体Hから離れていく対象車両Cの相対速度に応じた適切な動きで無人飛行体Hを水平方向に移動させることができる。従って、制御部1は、無人飛行体Hを無駄に上昇させ過ぎたり、逆に、飛行高度の上昇量が不足したりすることなく、適切な上昇軌跡で無人飛行体Hを移動させることが出来る。
そして、制御部1は、車両位置検知部3が認識対象を検知した場合には(S24:YES)、第一飛行モードの開始ステップ(S12)へ移行する。この場合、制御部1は、対象車両Cとの位置関係が画像認識部32により認識対象画像を認識できる範囲内となる状態を維持しつつ無人飛行体Hの飛行高度を第一飛行高度範囲Arまで下降させる。その後、制御部1は、第一飛行モードとしてステップS12を実行する。
一方、車両位置検知部3が対象車両Cの認識対象を検知していない場合には(S26:NO)、制御部1は、ステップS23で取得した飛行制御パラメータで既定された条件を満たしたか否かを判断し(S27)、飛行制御パラメータで既定された条件を満たした場合は(S27:YES)、あらかじめ定めた退避位置に向けて移動する(S28)。本例では、飛行制御パラメータとして、飛行高度の上昇量と最大水平移動量とが上限の値として定められているため、飛行高度の上昇量及び最大水平移動量の双方の条件を満たした場合、すなわち双方の上限の値に達した場合に、制御部1は、飛行制御パラメータで既定された条件を満たしたと判断する。
制御部1は、飛行制御パラメータで既定された条件を満たしていない場合には(S27:NO)、ステップS25に戻る。そして、上記動作を繰り返す。
退避位置に向けて移動するステップS28について補足する。このステップは、無人飛行体Hが対象車両Cに戻れない場合の、例外処理として行われる。
退避位置とは、例外処理として、対象車両C以外の場所に着陸する場合の、着陸目標となり得る位置である。
たとえば、制御部1がステップS28を実行する時に、無人飛行体Hに近い位置にある広場や公共の充電ステーションなどに向けて移動するように定めることができる。もしくは、自宅や、その他特定の場所に向けて移動するように定めることもできる。このような退避位置として、少なくとも、公共の道路上や、民家、その他明らかに人が存在する可能性が高い場所を避けることが望ましい。このような退避位置について、無人飛行体の記憶部4に、退避位置として設定可能な場所を示す情報を退避位置データベースとして予め格納しておくと好適である。制御部1は、この退避位置データベースに基づいて、退避位置を決定することができる。
第二飛行モードを実行する場合の無人飛行体Hの動作の具体例について図6及び7を用いて説明する。
図6は、図4と同様に、対象車両Cが、道路L1を、車両の前進方向である進行方向d1に走行している場合を図示している。但し、本例では、無人飛行体Hが突風Wに煽られる等により、意図せず車両位置検知部3が認識対象を検知できない位置まで無人飛行体Hが移動してしまった場合を示している。つまり、図6は、撮像装置31の撮像範囲39の外に対象車両Cが位置し、画像認識部32が認識対象画像を認識できなくなった場合を示している。この場合、制御部1は、第二飛行モードを実行する(S21)。
第二飛行モードでは、制御部1は、ステップS23で取得した飛行制御パラメータに従って、ステップS24で取得した相対移動方向へ向けて無人飛行体Hを移動させながら上昇させる(S25)。これにより、無人飛行体Hは、第一飛行高度範囲Arよりも高い飛行高度まで上昇する。そして、この上昇に伴って、撮像範囲39が広がる。具体的には図7に示すように、第二飛行モードの実行に伴い上昇した場合の撮像範囲39aは、第一飛行モードにおける第一飛行高度範囲Arで飛行している場合の撮像範囲39bよりも広くなる。
このように、撮像装置31の撮像範囲39の外に対象車両Cが位置し、画像認識部32が認識対象画像を認識できなくなった場合に、制御部1は無人飛行体Hを上昇させて撮像範囲39を広げるので、再び画像認識部32で認識できるようになる。
図7に示す例では、制御部1は、更に、無人飛行体Hに対する対象車両Cの相対移動方向d1に向けて無人飛行体Hを移動させているので、制御部1が無人飛行体Hを上昇させて撮像範囲39を広げるのみの場合に比べて、迅速に、再び画像認識部32で認識できるようになる。
ステップS22で用いる相対速度情報と、ステップS24で用いる相対移動方向情報とについて図8を用いて補足する。
図8は、対象車両Cが撮像範囲39内に位置して画像認識部32が認識対象画像を認識できる状態から、対象車両Cが撮像範囲39の外に移動して画像認識部32が認識対象画像を認識できなくない状態へ変化した場合の一例を示している。つまり、画像認識部32により認識対象画像を認識できなくなる直前と直後の状態を示している。
車両位置検知部3は、画像認識部32で認識対象画像を認識できなくなる直前の撮像範囲39内での認識対象画像の移動速度及び移動方向に基づいて相対移動ベクトルVを特定する。本例では、相対移動ベクトルVの大きさの成分である直前相対速度を直前相対速度情報として相対速度取得部34が取得する。また、相対移動ベクトルVの方向の成分である直前相対移動方向を直前相対移動方向情報として相対速度取得部34が取得する。
ステップS23で用いる制御テーブルについて図9及び図10に基づいて補足する。
制御テーブルは、上述の通り、制御部1が、車両移動情報に基づいて飛行制御パラメータを決定するための情報を含んでいる。
図9に示す制御テーブルは、無人飛行体Hと対象車両Cとの直前相対速度と、第二飛行モードを実行する場合の無人飛行体Hの飛行高度の上昇量との関係を規定した上昇量テーブルである。本実施形態では、この上昇量テーブルは、直前相対速度が大きくなるに従って、飛行高度の上昇量を大きくするように定めている。
図10に示す制御テーブルは、無人飛行体Hと対象車両Cとの直前相対速度と、第二飛行モードを実行する場合の無人飛行体Hの水平移動加速度及び最大水平移動量との関係を規定した水平動作テーブルである。本実施形態では、この水平動作テーブルは、直前相対速度が大きくなるに従って、水平移動加速度を大きくするように定めている。また、この水平動作テーブルは、直前相対速度が大きくなるに従って、最大水平移動量を大きくするように定めている。
次に、対象車両Cに対する無人飛行体Hの発進・格納動作の一例について、図11を用いて説明する。
無人飛行体Hは、飛行しない場合、対象車両Cに格納される。そのため、対象車両Cには、無人飛行体Hの格納庫201が設けられている。本例では、対象車両Cのルーフの後部に、格納庫201への出入り口として開閉扉202が設けられ、当該開閉扉202の下方、ここでは車両後部の荷室の上部に格納庫201が配置されている。
無人飛行体Hの動力源53へのエネルギーの供給は、例えばワイヤレス給電技術を用いることができる。この場合、格納庫201の床下等に給電コイル203を設けることができる。図示しないが、無人飛行体Hには、給電コイル203からの給電を受電する受電コイルを設ける。
図2のステップS11における無人飛行体Hの飛行開始の際には、車両側制御部101は、開閉扉202を開き、無人飛行体Hを格納庫201から発進させる。車両側制御部101は、無人飛行体Hの発進後、開閉扉202を閉じる。
図2のステップS17における、無人飛行体Hが対象車両Cに戻る際には、車両側制御部101は、開閉扉202を開き、無人飛行体Hを格納庫201に導き入れ、格納する。車両側制御部101は、無人飛行体Hの格納後、開閉扉202を閉じる。開閉扉202を閉じた後、車両側制御部101は、給電コイル203により、無人飛行体Hの動力源53への給電を行う。
2.その他の実施形態
次に、無人飛行体の制御システム及び制御方法及び制御プログラムのその他の実施形態について説明する。
(1)上記実施形態においては、制御部1は、第二飛行モードを実行する場合に、直前相対速度に応じて飛行高度の上昇量を変化させる例を示したが、これに限定されるものではない。例えば、第二飛行モードを実行する場合の無人飛行体Hの飛行高度の上昇量を一定の値として予め定めておき、制御部1は、第二飛行モードを実行する場合に、一定の上昇量だけ無人飛行体Hの飛行高度を上昇させるように制御してもよい。或いは、制御部1が、第二飛行モードを実行する場合の無人飛行体Hの飛行高度の上昇量を、直前相対速度以外の指標に基づいて変化させる構成としても好適である。この場合、例えば、制御部1が、無人飛行体Hと対象車両Cとの相対的な関係に関わらず、無人飛行体Hの絶対的な速度(対地速度又は対気速度等)に応じて、当該絶対的な速度が大きくなるに従って、飛行高度の上昇量を大きくするように無人飛行体を制御する構成としてもよい。
(2)上記実施形態においては、第二飛行モードを実行する場合に、当該直前相対移動方向に向かって水平方向に移動させながら飛行高度を上昇させるように無人飛行体Hを制御する例を示したが、これに限定されるものではない。例えば、制御部1は、第一飛行モードの実行中の移動方向を維持しつつ、無人飛行体Hの飛行高度を上昇させる制御をおこなってもよい。この場合において、制御部1は、無人飛行体Hの飛行高度の上昇量を、一定値としてもよいし、上記のように直前相対速度に応じて飛行高度の上昇量を変化させてもよい。
(3)上記実施形態においては、制御部1は、第二飛行モードを実行する場合に、無人飛行体Hの水平方向の移動加速度及び最大移動量の双方を、直前相対速度が大きくなるに従って大きくするように定める例を示したが、これに限定されるものではない。制御部1が、無人飛行体Hの水平方向の移動加速度及び最大移動量のいずれか一方のみを、直前相対速度が大きくなるに従って大きくするように定め、他方を固定値又は直前相対速度以外の指標に基づいて変化する値に設定しても好適である。また、制御部1が、無人飛行体Hの水平方向の移動加速度及び最大移動量の双方を、固定値又は直前相対速度以外の指標に基づいて変化する値に設定しても好適である。
(4)上記実施形態においては、制御部1が、第二飛行モードを実行する場合に、制御関係情報記憶部44に記憶された制御テーブルに基づいて飛行制御パラメータを決定する例を示したが、これに限定されるものではない。例えば、制御テーブルは、直前相対速度と飛行制御パラメータとの関係を定めた数学的な関数であってもよい。この場合、図9及び図10に例示したように直前相対速度に対して段階的に飛行制御パラメータを変更するのではなく、直前相対速度に対して連続的に変化する飛行制御パラメータを定めることができる。
すなわち、飛行制御パラメータは、直前相対速度に対して連続的又は段階的に変化する値とされる。本実施形態では、第二飛行モードを実行する場合の無人飛行体Hの飛行高度の上昇量は、直前相対速度が大きくなるに従って、連続的又は段階的に大きくなるように設定される。また、第二飛行モードを実行する場合の無人飛行体Hの水平方向の移動加速度及び最大移動量の少なくとも一方は、直前相対速度が大きくなるに従って、連続的又は段階的に大きくなるように設定される。
(5)上記実施形態においては、制御部1が、第二飛行モードを実行する場合に、直前相対速度に基づいて、無人飛行体Hの水平方向の移動加速度と最大移動量とを定める例を示したが、これに限定されるものではない。例えば、制御部1が、第二飛行モードを実行する場合に、直前相対速度に基づいて、無人飛行体Hの水平方向の移動速度の増加量を定める構成としてもよい。この場合、無人飛行体Hの水平方向の移動速度の増加量を、直前相対速度が大きくなるに従って大きくするように定めると好適である。
(6)上記実施形態においては、制御部1が、第二飛行モードを実行する場合に、直前相対移動方向へ向かって水平方向に移動させながら飛行行動を上昇させるように無人飛行体Hを制御する例について説明したが、これに限定されるものではない。例えば、制御部1が、第二飛行モードを実行する場合に、まず無人飛行体Hを上昇させる制御を開始して、その後に、無人飛行体Hを直前相対移動方向へ向かって水平方向に移動させるように制御してもよい。
この場合、画像認識部32により認識対象画像を認識できなくなった場合に、制御部1が、直前相対移動方向を取得するための演算処理等のための処理時間を経ることなく、無人飛行体Hを上昇させることができるので、迅速に、再び画像認識部32で認識できる場合がある。
(7)上記実施形態においては、撮像装置31の画角及び撮影倍率が固定されている例について説明したが、これに限定されるものではない。制御部2は、第二飛行モードを実行する場合に、無人飛行体Hの飛行高度を上昇させるのと共に、撮像装置31の画角及び撮影倍率の少なくとも一方を変化させることによっても撮像装置31の撮像範囲39を広くするように制御する構成としても好適である。より詳しくは、制御部2は、第二飛行モードを実行する場合に、直前相対速度が大きくなるに従って、撮像装置31の画角を広くする制御と撮像装置31の撮影倍率を小さくする制御の一方又は双方を行うと好適である。この場合、制御部1が、無人飛行体Hの飛行高度が上昇させて撮像範囲39を広げる効果と、制御部1が、撮像装置31の撮像条件を変更して撮像範囲39を広げる効果とを同時に得ることができるので、更に迅速に、画像認識部32で認識対象画像を認識できる状態に復帰することが可能となる。
(8)上記実施形態においては、無人飛行体Hに対する撮像装置31の撮像方向が固定されている例について説明したが、これに限定されるものではない。制御部2は、第二飛行モードを実行する場合に、無人飛行体Hを直前相対移動方向に向かって水平方向に移動させるのに代えて、或いは、無人飛行体Hを直前相対移動方向に向かって水平方向に移動させるのと共に、撮像装置31の撮像方向を直前相対移動方向に向けるように変化させるように制御する構成としても好適である。すなわち、撮像装置31の撮像方向を直前相対移動方向に向けるように変化させることによっても、無人飛行体Hを直前相対移動方向に向かって水平方向に移動させることに近い効果を得ることができる。
なお、上述した各実施形態で開示された構成は、矛盾が生じない限り、他の実施形態で開示された構成と組み合わせて適用することも可能である。その他の構成に関しても、本明細書において開示された実施形態は全ての点で単なる例示に過ぎない。従って、本開示の趣旨を逸脱しない範囲内で、適宜、種々の改変を行うことが可能である。
3.上記実施形態の概要
以下、上記において説明した無人飛行体の制御システムの概要について説明する。
上記に鑑みた、対象車両(C)の位置に基づいて飛行する無人飛行体(H)の制御システムの特徴構成は、無人飛行体(H)を制御する制御部(1)と、無人飛行体(H)に取り付けられて対象車両(C)を撮像する撮像装置(31)と、撮像装置(31)により撮像された対象車両(C)の全体若しくは一部の画像、又は、対象車両(C)に設けられた認識対象物の画像を認識対象画像として認識する画像認識部(32)と、を備え、制御部(1)は、無人飛行体(H)の制御モードとして、無人飛行体(H)の飛行高度を第一飛行高度範囲(Ar)に維持しつつ、対象車両(C)との位置関係が画像認識部(32)により認識対象画像を認識できる範囲内となるように無人飛行体(H)を制御する第一飛行モードと、第一飛行モードの実行中に画像認識部(32)により認識対象画像を認識できなくなった場合に、無人飛行体(H)の飛行高度を第一飛行高度範囲(Ar)よりも上昇させるように無人飛行体(H)を制御する第二飛行モードと、を備えている点にある。
この特徴構成によれば、第一飛行モードの実行中に画像認識部(32)による認識対象画像の認識ができなくなった場合に、第二飛行モードを実行することにより、無人飛行体(H)を第一飛行高度範囲(Ar)よりも高い飛行高度まで上昇させて、撮像装置(31)により撮像される範囲を広げることができる。これにより、無人飛行体(H)と対象車両(C)との位置関係を、画像認識部(32)により認識対象画像を認識できる範囲内にすることができる。すなわち、無人飛行体(H)の飛行高度を上昇させるという簡易な制御により、再び、画像認識部(32)による認識対象画像の認識が可能な状態にできる。
つまり、この無人飛行体(H)の制御システムによれば、画像認識部(32)による認識ができなくなった場合であっても、対象車両(C)との位置関係が認識対象画像を認識できる範囲内となるように無人飛行体(H)を制御することができる。
また、画像認識部(32)により認識した認識対象画像の変化に基づいて、無人飛行体(H)と対象車両(C)との相対速度を取得する相対速度取得部(34)を更に備え、制御部(1)は、第二飛行モードを実行する場合に、画像認識部(32)により認識対象画像を認識できなくなる直前に取得された相対速度である直前相対速度に基づいて、直前相対速度が大きくなるに従って飛行高度の上昇量を大きくするように前記無人飛行体を制御する。
画像認識部(32)により認識対象画像を認識できなくなる直前の無人飛行体(H)と対象車両(C)との相対速度である直前相対速度が大きければ、対象車両(C)は撮像装置(31)の撮像範囲から離れている距離が大きい可能性が高い。逆に、直前相対速度が小さければ、対象車両(C)は撮像装置(31)の撮像範囲から離れている距離も小さい可能性が高い。この構成によれば、直前相対速度に基づいて、直前相対速度が大きくなるに従って、無人飛行体(H)の飛行高度の上昇量が大きくなる。この際、無人飛行体(H)の飛行高度の上昇量が大きくなるに従って、撮像装置(31)の撮像範囲も広くなる。よって、この構成によれば、撮像装置(31)の撮像範囲が、直前相対速度に応じた広さとなるように、無人飛行体(H)の飛行高度の上昇量を適切に設定することができる。従って、第二飛行モードを実行する場合に、無人飛行体(H)を無駄に上昇させ過ぎたり、逆に、飛行高度の上昇量が不足したりといった事態が生じる可能性を低くすることができる。
また、画像認識部(32)により認識した認識対象画像の変化に基づいて、無人飛行体(H)と対象車両(C)との相対移動方向を取得する相対移動方向取得部(35)を更に備え、制御部(1)は、第二飛行モードを実行する場合に、画像認識部(32)により認識対象画像を認識できなくなる直前に取得された相対移動方向である直前相対移動方向に基づいて、直前相対移動方向に向かって水平方向に移動させながら飛行高度を上昇させるように前記無人飛行体を制御する。
この構成によれば、無人飛行体(H)の飛行高度を上昇させて撮像装置(31)の撮像範囲を広げつつ、更に直前相対移動方向に向かって水平方向に無人飛行体(H)を移動させることで撮像装置(31)の撮像範囲を直前相対移動方向に向かって移動させることができる。これにより、さらに高精度に、無人飛行体と対象車両との位置関係を、画像認識部により認識対象画像を認識できる範囲内にすることができる。
また、上記のように相対速度取得部(34)を備えた構成において、画像認識部(32)により認識した認識対象画像の変化に基づいて、無人飛行体(H)と対象車両(C)との相対移動方向を取得する相対移動方向取得部(35)を更に備え、制御部(1)は、第二飛行モードを実行する場合に、画像認識部(32)により認識対象画像を認識できなくなる直前に取得された相対移動方向である直前相対移動方向に基づいて、直前相対移動方向に向かって水平方向に移動させながら飛行高度を上昇させるように無人飛行体(H)を制御し、制御部(1)は、更に、直前相対速度に基づいて、無人飛行体(H)の水平方向の移動加速度及び最大移動量の少なくとも一方を、直前相対速度が大きくなるに従って大きくするように定める。
この構成によれば、無人飛行体(H)の飛行高度を上昇させて撮像装置(31)の撮像範囲を広げつつ、更に直前相対移動方向に向かって水平方向に無人飛行体(H)を移動させることで、撮像装置(31)の撮像範囲を直前相対移動方向に向かって移動させることができる。更に、この構成によれば、画像認識部(32)により認識対象画像を認識できなくなる直前の無人飛行体(H)と対象車両(C)との相対速度である直前相対速度に応じて、当該直前相対速度が大きくなるに従って、無人飛行体(H)の水平方向の移動加速度及び最大移動量の少なくとも一方が大きくなるように設定される。これにより、無人飛行体(H)から離れていく対象車両(C)の相対速度に応じた適切な動きで、無人飛行体(H)を水平方向に移動させることができる。従って、無人飛行体と対象車両との位置関係が、画像認識部により認識対象画像を認識できる範囲内にすることができる。
また、制御部(1)は、第二飛行モードの実行中に画像認識部(32)により認識対象画像を認識できる状態になった場合には、対象車両(C)との位置関係が画像認識部(32)により認識対象画像を認識できる範囲内となる状態を維持しつつ無人飛行体(H)の飛行高度を第一飛行高度範囲(Ar)まで下降させ、第一飛行モードに切り替えると好適である。
第一飛行モードは、第二飛行モードに比べて、低い飛行高度で実行されるため、対象車両(C)に係る認識対象画像の画像認識を第二飛行モードよりも高い精度で行うことができる。従って、第一飛行モードは、第二飛行モードに比べて、対象車両(C)に追従する制御の精度も高い。この構成によれば、制御部(1)が第一飛行モードが実行できる状態になった場合には、第二飛行モードよりも優先して第一飛行モードが実行される。すなわち、対象車両(C)に追従する制御の精度が高い方の飛行モードを優先するようにモード切り替えが行われる。これにより、第一飛行モードと第二飛行モードとを適切に使い分け、無人飛行体(H)の飛行を適切に制御することができる。
上記で説明した、対象車両(C)の位置に基づいて飛行する無人飛行体(H)の制御システム(P1)で実行する、対象車両(C)の位置に基づいて飛行する無人飛行体(H)の制御方法の特徴構成は、無人飛行体(H)に取り付けられた撮像装置(31)により対象車両(C)を撮像するステップと、撮像ステップにより撮像された対象車両(C)の全体若しくは一部の画像、又は、対象車両(C)に設けられた認識対象物の画像を認識対象画像として認識するステップと、を実行し、無人飛行体(H)を制御する場合に、無人飛行体(H)の飛行高度を第一飛行高度範囲(Ar)に維持しつつ、対象車両(C)との位置関係が画像認識ステップにより認識対象画像を認識できる範囲内となるように無人飛行体(H)を制御する第一飛行モードと、第一飛行モードの実行中に画像認識ステップにより認識対象画像を認識できなくなった場合に、無人飛行体(H)の飛行高度を第一飛行高度範囲(Ar)よりも上昇させるように無人飛行体(H)を制御する第二飛行モードと、を選択的を実行する点にある。
また、上記で説明した、対象車両(C)の位置に基づいて飛行する無人飛行体(H)の制御システム(P1)を実現する、対象車両(C)の位置に基づいて飛行する無人飛行体(H)の制御プログラムの特徴構成は、無人飛行体(H)を制御する制御機能と、無人飛行体(H)に取り付けられた撮像装置(31)により対象車両(C)を撮像する撮像機能と、撮像機能により撮像された対象車両(C)の全体若しくは一部の画像、又は、対象車両(C)に設けられた認識対象物の画像を認識対象画像として認識する画像認識機能と、をコンピュータに実現させ、制御機能は、無人飛行体(H)の制御モードとして、無人飛行体(H)の飛行高度を第一飛行高度範囲(Ar)に維持しつつ、対象車両(C)との位置関係が画像認識機能により認識対象画像を認識できる範囲内となるように無人飛行体(H)を制御する第一飛行モードと、第一飛行モードの実行中に画像認識機能により認識対象画像を認識できなくなった場合に、無人飛行体(H)の飛行高度を第一飛行高度範囲(Ar)よりも上昇させるように無人飛行体(H)を制御する第二飛行モードと、を選択的に実行する点にある。
当然ながらこの無人飛行体(H)の制御方法及び無人飛行体(H)の制御プログラムも上述した無人飛行体(H)の制御システム(P1)に係る作用効果を得ることができる。
本開示に係る技術は、対象車両の位置に基づいて飛行する無人飛行体の制御システムに利用することができる。
1 :制御部
31 :撮像装置
32 :画像認識部
34 :相対速度取得部
35 :相対移動方向取得部
C :対象車両
H :無人飛行体
P1 :制御システム
Ar :第一飛行高度範囲

Claims (7)

  1. 対象車両の位置に基づいて飛行する無人飛行体の制御システムであって、
    前記無人飛行体を制御する制御部と、
    前記無人飛行体に取り付けられて前記対象車両を撮像する撮像装置と、
    前記撮像装置により撮像された前記対象車両の全体若しくは一部の画像、又は、前記対象車両に設けられた認識対象物の画像を認識対象画像として認識する画像認識部と、を備え、
    前記制御部は、前記無人飛行体の制御モードとして、
    前記無人飛行体の飛行高度を第一飛行高度範囲に維持しつつ、前記対象車両との位置関係が前記画像認識部により前記認識対象画像を認識できる範囲内となるように前記無人飛行体を制御する第一飛行モードと、
    前記第一飛行モードの実行中に前記画像認識部により前記認識対象画像を認識できなくなった場合に、前記無人飛行体の飛行高度を前記第一飛行高度範囲よりも上昇させるように前記無人飛行体を制御する第二飛行モードと、を備えている無人飛行体の制御システム。
  2. 前記画像認識部により認識した前記認識対象画像の変化に基づいて、前記無人飛行体と前記対象車両との相対速度を取得する相対速度取得部を更に備え、
    前記制御部は、前記第二飛行モードを実行する場合に、前記画像認識部により前記認識対象画像を認識できなくなる直前に取得された前記相対速度である直前相対速度に基づいて、前記直前相対速度が大きくなるに従って前記飛行高度の上昇量を大きくするように前記無人飛行体を制御する請求項1に記載の無人飛行体の制御システム。
  3. 前記画像認識部により認識した前記認識対象画像の変化に基づいて、前記無人飛行体と前記対象車両との相対移動方向を取得する相対移動方向取得部を更に備え、
    前記制御部は、前記第二飛行モードを実行する場合に、前記画像認識部により前記認識対象画像を認識できなくなる直前に取得された前記相対移動方向である直前相対移動方向に基づいて、前記直前相対移動方向に向かって水平方向に移動させながら前記飛行高度を上昇させるように前記無人飛行体を制御する請求項1又は2に記載の無人飛行体の制御システム。
  4. 前記画像認識部により認識した前記認識対象画像の変化に基づいて、前記無人飛行体と前記対象車両との相対移動方向を取得する相対移動方向取得部を更に備え、
    前記制御部は、前記第二飛行モードを実行する場合に、前記画像認識部により前記認識対象画像を認識できなくなる直前に取得された前記相対移動方向である直前相対移動方向に基づいて、前記直前相対移動方向に向かって水平方向に移動させながら前記飛行高度を上昇させるように前記無人飛行体を制御し、
    前記制御部は、更に、前記直前相対速度に基づいて、前記無人飛行体の水平方向の移動加速度及び最大移動量の少なくとも一方を、前記直前相対速度が大きくなるに従って大きくするように定める請求項2に記載の無人飛行体の制御システム。
  5. 前記制御部は、前記第二飛行モードの実行中に前記画像認識部により前記認識対象画像を認識できる状態になった場合には、前記対象車両との位置関係が前記画像認識部により前記認識対象画像を認識できる範囲内となる状態を維持しつつ前記無人飛行体の飛行高度を第一飛行高度範囲まで下降させ、前記第一飛行モードに切り替える請求項1から4のいずれか一項に記載の無人飛行体の制御システム。
  6. 対象車両の位置に基づいて飛行する無人飛行体の制御方法であって、
    前記無人飛行体に取り付けられた撮像装置により前記対象車両を撮像する撮像ステップと、
    前記撮像ステップにより撮像された前記対象車両の全体若しくは一部の画像、又は、前記対象車両に設けられた認識対象物の画像を認識対象画像として認識する画像認識ステップと、を実行し、
    前記無人飛行体を制御する場合に、
    前記無人飛行体の飛行高度を第一飛行高度範囲に維持しつつ、前記対象車両との位置関係が画像認識ステップにより前記認識対象画像を認識できる範囲内となるように前記無人飛行体を制御する第一飛行モードと、
    前記第一飛行モードの実行中に前記画像認識ステップにより前記認識対象画像を認識できなくなった場合に、前記無人飛行体の飛行高度を前記第一飛行高度範囲よりも上昇させるように前記無人飛行体を制御する第二飛行モードと、を選択的に実行する無人飛行体の制御方法。
  7. 対象車両の位置に基づいて飛行する無人飛行体の制御プログラムであって、
    前記無人飛行体を制御する制御機能と、
    前記無人飛行体に取り付けられた撮像装置により前記対象車両を撮像する撮像機能と、
    前記撮像機能により撮像された前記対象車両の全体若しくは一部の画像、又は、前記対象車両に設けられた認識対象物の画像を認識対象画像として認識する画像認識機能と、をコンピュータに実現させ、
    前記制御機能は、前記無人飛行体の制御モードとして、
    前記無人飛行体の飛行高度を第一飛行高度範囲に維持しつつ、前記対象車両との位置関係が画像認識機能により前記認識対象画像を認識できる範囲内となるように前記無人飛行体を制御する第一飛行モードと、
    前記第一飛行モードの実行中に前記画像認識機能により前記認識対象画像を認識できなくなった場合に、前記無人飛行体の飛行高度を前記第一飛行高度範囲よりも上昇させるように前記無人飛行体を制御する第二飛行モードと、を選択的に実行する無人飛行体の制御プログラム。
JP2015185519A 2015-09-18 2015-09-18 無人飛行体の制御システム、制御方法及び制御プログラム Pending JP2017056904A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015185519A JP2017056904A (ja) 2015-09-18 2015-09-18 無人飛行体の制御システム、制御方法及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015185519A JP2017056904A (ja) 2015-09-18 2015-09-18 無人飛行体の制御システム、制御方法及び制御プログラム

Publications (1)

Publication Number Publication Date
JP2017056904A true JP2017056904A (ja) 2017-03-23

Family

ID=58391338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015185519A Pending JP2017056904A (ja) 2015-09-18 2015-09-18 無人飛行体の制御システム、制御方法及び制御プログラム

Country Status (1)

Country Link
JP (1) JP2017056904A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181285A (ja) * 2017-04-12 2018-11-15 AeroG Labo株式会社 ドローンを利用した災害監視装置および避難誘導装置
KR20190037990A (ko) * 2017-09-29 2019-04-08 현대엠엔소프트 주식회사 모바일 맵핑 시스템 위치 측정 장치 및 방법
WO2019239694A1 (ja) * 2018-06-15 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP2020046735A (ja) * 2018-09-14 2020-03-26 トヨタ車体株式会社 追従台車
JPWO2020162585A1 (ja) * 2019-02-08 2020-08-13
WO2020166521A1 (ja) * 2019-02-12 2020-08-20 株式会社ナイルワークス ドローンシステム、ドローン、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
WO2020246261A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 移動体、位置推定方法、およびプログラム
CN112380933A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机识别目标的方法、装置及无人机
JP2021093201A (ja) * 2021-02-26 2021-06-17 三菱ロジスネクスト株式会社 無人飛行体および無人搬送システム
JP7456537B2 (ja) 2015-08-25 2024-03-27 日本電気株式会社 飛行体制御装置、飛行体制御方法、及びプログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456537B2 (ja) 2015-08-25 2024-03-27 日本電気株式会社 飛行体制御装置、飛行体制御方法、及びプログラム
JP2018181285A (ja) * 2017-04-12 2018-11-15 AeroG Labo株式会社 ドローンを利用した災害監視装置および避難誘導装置
KR20190037990A (ko) * 2017-09-29 2019-04-08 현대엠엔소프트 주식회사 모바일 맵핑 시스템 위치 측정 장치 및 방법
KR102418049B1 (ko) 2017-09-29 2022-07-06 현대오토에버 주식회사 모바일 맵핑 시스템 위치 측정 장치 및 방법
WO2019239694A1 (ja) * 2018-06-15 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11417088B2 (en) 2018-06-15 2022-08-16 Sony Corporation Information processing device, information processing method, program, and information processing system
JP7070265B2 (ja) 2018-09-14 2022-05-18 トヨタ車体株式会社 追従台車
JP2020046735A (ja) * 2018-09-14 2020-03-26 トヨタ車体株式会社 追従台車
WO2020162585A1 (ja) * 2019-02-08 2020-08-13 株式会社ナイルワークス ドローンシステム、ドローン、管制装置、およびドローンシステムの制御方法
JP7184385B2 (ja) 2019-02-08 2022-12-06 株式会社ナイルワークス ドローンシステム、ドローン、管制装置、およびドローンシステムの制御方法
JPWO2020162585A1 (ja) * 2019-02-08 2020-08-13
JP7085772B2 (ja) 2019-02-12 2022-06-17 株式会社ナイルワークス ドローンシステム、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
JPWO2020166521A1 (ja) * 2019-02-12 2020-08-20
WO2020166521A1 (ja) * 2019-02-12 2020-08-20 株式会社ナイルワークス ドローンシステム、ドローン、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
WO2020246261A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 移動体、位置推定方法、およびプログラム
JP7468523B2 (ja) 2019-06-05 2024-04-16 ソニーグループ株式会社 移動体、位置推定方法、およびプログラム
US11989910B2 (en) 2019-06-05 2024-05-21 Sony Group Corporation Moving body and position estimation method
CN112380933A (zh) * 2020-11-02 2021-02-19 中国兵器工业计算机应用技术研究所 无人机识别目标的方法、装置及无人机
CN112380933B (zh) * 2020-11-02 2023-11-07 中国兵器工业计算机应用技术研究所 无人机识别目标的方法、装置及无人机
JP2021093201A (ja) * 2021-02-26 2021-06-17 三菱ロジスネクスト株式会社 無人飛行体および無人搬送システム
JP7078343B2 (ja) 2021-02-26 2022-05-31 三菱ロジスネクスト株式会社 無人飛行体および無人搬送システム

Similar Documents

Publication Publication Date Title
JP2017056904A (ja) 無人飛行体の制御システム、制御方法及び制御プログラム
US11697411B2 (en) Apparatus and methods for obstacle detection
US11604479B2 (en) Methods and system for vision-based landing
US10207820B2 (en) Systems for transporting, deploying, and docking unmanned aerial vehicles mountable on a ground vehicle
US9734425B2 (en) Environmental scene condition detection
US10782405B2 (en) Radar for vehicle and vehicle provided therewith
JP6123032B2 (ja) 支援された離陸
JP2017056903A (ja) 無人飛行体の制御システム、制御方法及び制御プログラム
TWI615301B (zh) 自動輔助駕駛系統及其方法
GB2556644A (en) Unmanned aerial vehicles
US20190243356A1 (en) Method for controlling flight of an aircraft, device, and aircraft
CN109426255A (zh) 基于无人机的无人驾驶车辆控制方法、装置及存储介质
US10341573B1 (en) Aircraft control method and apparatus and aircraft
CN205920057U (zh) 检测结构件表面裂缝的多旋翼无人机检测平台系统
CN111247391A (zh) 信息处理装置、信息处理方法、程序和移动体
KR101758453B1 (ko) 무인 비행체 및 무인 비행체의 비행 방법
JP2017027396A (ja) 車両の運転支援装置
CN110612493A (zh) 无人机及其控制方法、控制装置和计算机可读存储介质
KR102441077B1 (ko) 차량의 드론 이착륙 제어 장치 및 그 방법
JP2017199172A (ja) 車両用周囲状況提示システム、無人飛行体、および車両用周囲状況提示方法
US20210325900A1 (en) Swarming for safety
US20230109408A1 (en) Information processing device, method, computer program, and communication system
JP2019160225A (ja) ドローンシステム、ドローン及びドローンシステムの制御方法
US20200282978A1 (en) Vehicle control system, vehicle control method, and storage medium
KR102266983B1 (ko) 장애물 인식 시에 수평 유지 기능을 지원하는 수평 유지 장치 및 그 동작 방법