JP2018005914A - 自律移動制御システム、走行装置、無人航空機及び自律移動制御方法 - Google Patents

自律移動制御システム、走行装置、無人航空機及び自律移動制御方法 Download PDF

Info

Publication number
JP2018005914A
JP2018005914A JP2017126613A JP2017126613A JP2018005914A JP 2018005914 A JP2018005914 A JP 2018005914A JP 2017126613 A JP2017126613 A JP 2017126613A JP 2017126613 A JP2017126613 A JP 2017126613A JP 2018005914 A JP2018005914 A JP 2018005914A
Authority
JP
Japan
Prior art keywords
unmanned aircraft
traveling device
movement control
unmanned
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017126613A
Other languages
English (en)
Inventor
ジェスダーソン バジル
Jesudason Basil
ジェスダーソン バジル
ファーマン アーメット
Mufit Ferman Ahmet
ファーマン アーメット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2018005914A publication Critical patent/JP2018005914A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/90Launching from or landing on platforms
    • B64U70/92Portable platforms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/16Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00Transport or storage specially adapted for UAVs
    • B64U80/80Transport or storage specially adapted for UAVs by vehicles
    • B64U80/86Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】利用者(操作者)の負担が軽くなるような無人航空機のナビゲーションを行うことが可能な自律移動制御システム等を提供すること。
【解決手段】走行装置が無人航空機を撮像し、撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定し、無人航空機の位置情報又は方位情報を制御信号として、無人航空機に送信する。無人航空機は、受信された制御信号に基づいて、無人航空機の自律移動制御を行うことができる。
【選択図】図4

Description

本発明は、自律移動制御システム等に関する。
広大な地理的地域をモニタするために、一般にイメージングデバイスと呼ばれる、ビデオ・イメージングデバイス及び/又はカメラ・イメージングデバイスが高いプラットフォームに搭載されることがある。プラットフォームは、例えば、塔、電柱、橋、または他の固定構造物であってもよい。
固定構造物は、地理的地域の広い視野を提供するのに役立つ一方で、モニタされる地理的地域が制限される傾向がある。他のタイプのプラットフォームは、それらのすべてが移動しやすい、操縦される飛行機、無人航空機(UAV:unmanned aerial vehicle)および飛行船を含んでもよい。
例えば、専門的な操縦者がいなくても、長時間安定した飛行が可能な無人飛行体を提供する方法として、特許文献1が開示されている。具体的には、地上に置いた1台のカメラで遠隔操縦無人飛行体の下部に固定された3点以上の基準点を撮影し、該3点の基準点の画像に基づき、遠隔操縦無人飛行体の空中における位置及び姿勢を特定する。そして、地上に電源部を置き、該電源部と有線で前記遠隔操縦無人飛行体を接続する。これにより、専門の操縦者を必要とすることなく、遠隔操縦無人飛行体を簡単に操縦することができる。また、長時間の飛行が可能となるとともに、誤操縦による制御不能状態に陥る可能性も減らすことができる発明が開示されている。
移動可能なプラットフォームは、モニタされてもよい、より広い地理的地域を提供するのに役立つ。移動可能なプラットフォームは、車両、ボート、制御室中のオペレータのような有人もしくは無人地上制御プラットフォームによって、または別の方法で制御されてもよい。モニタリングの結果として、静止画像及び/又はビデオ画像がイメージングデバイスによってセンシングされてもよい。特に、静止画像及び/又はビデオ画像のために、地上制御プラットフォームとイメージングデバイスとの間で受信機および送信機を用いて連続した一連の画像が地上制御プラットフォームに提供されてもよい。画像は、任意の適切な波長、例えば、赤外スペクトル、可視スペクトル、紫外スペクトル、及び/又はその他で取り込まれてもよい。
イメージングデバイスによって取り込まれる画像は、イメージングデバイスの視野内のシーンであってもよい。イメージングデバイスによって取り込まれる視野を広げるために、イメージングデバイスが異なる視野の画像を取り込むようにその方位を移動させてもよい。例えば、無人航空機に搭載されたイメージングデバイスが無人航空機のチルト及び/又はパンを調整することによって異なる視野に向けられてもよい。
遠隔ロケーションにいるオペレータは、地上制御プラットフォーム内の無線遠隔制御システムの使用によってイメージングデバイス及び/又はプラットフォームを操作してもよい。他のケースでは、地上制御プラットフォームが無線遠隔制御システムの使用によってイメージングデバイス及び/又はプラットフォームを操作してもよい。
国際公開第2014/203593号
ここで、固定構造物にカメラを設置し、無人航空機をナビゲートする場合、無人航空機が飛行可能なエリアが限定されてしまうという問題があった。また、飛行可能なエリアを広げる場合には、地上の制御プラットフォームが利用されるが、その場合オペレータが常に監視する必要があり、負担が大きかった。
また、遠隔操作をオペレータが行う場合でも、各種センサを無人航空機に搭載すると装置全体が重くなってしまう。これにより、無人航空機の操縦性に制約がかかり、それゆえに、適切な画像コンテンツを得るための無人航空機の有効性を制限する傾向があった。
上述した課題に鑑み、本発明は、利用者(操作者)の負担が軽くなるような無人航空機のナビゲーションを行うことが可能な自律移動制御システム等を提供することである。
上述した課題を解決するために、本発明の自律移動制御システムは、
走行装置と、無線通信可能な無人航空機とを含み、当該無人航空機は移動する場合に自律移動制御を行う自律移動制御システムであって、
前記走行装置は、
前記無人航空機を撮像する撮像手段と、
前記撮像手段により撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定する決定手段と、
前記無人航空機の位置情報又は方位情報を制御信号として、前記無人航空機に送信する送信手段と、
を備え、
前記無人航空機は、
前記制御信号を前記走行装置から受信する受信手段と、
前記受信された制御信号に基づいて、無人航空機の自律移動制御を行う移動制御手段と、
を備えることを特徴とする。
本発明の走行装置は、
移動する場合に自律移動制御を行う無人航空機と通信可能な走行装置であって、
前記無人航空機を撮像する撮像手段と、
前記撮像手段により撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定する決定手段と、
前記無人航空機が自律移動制御に利用される位置情報又は方位情報を含む制御信号を前記無人航空機に送信する送信手段と、
を備えることを特徴とする。
本発明の無人航空機は、
走行装置と接続可能であり、移動する場合に自律移動制御を行う無人航空機において、
前記走行装置によって撮像された前記無人航空機から、当該無人航空機の位置情報又は方位情報が決定され、当該位置情報又は方位情報を制御信号として受信する受信手段と、
前記受信された制御信号に基づいて、無人航空機の自律移動制御を行う移動制御手段と、
を備えることを特徴とする。
本発明の自律移動制御方法は、走行装置と、無線通信可能な無人航空機とを含み、当該無人航空機は移動する場合に自律移動制御を行う自律移動制御方法であって、
前記走行装置は、
前記無人航空機を撮像する撮像ステップと、
前記撮像手段により撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定する決定ステップと、
前記無人航空機の位置情報又は方位情報を制御信号として、前記無人航空機に送信する送信ステップと、
を有し、
前記無人航空機は、
前記制御信号を前記走行装置から受信する受信ステップと、
前記受信された制御信号に基づいて、無人航空機の自律移動制御を行う移動制御ステップと、
を備えることを特徴とする。
本発明の自律移動装置によれば、走行装置が無人航空機を撮像し、撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定し、無人航空機の位置情報又は方位情報を制御信号として、無人航空機に送信する。無人航空機は、受信された制御信号に基づいて、無人航空機の自律移動制御を行うことができる。これにより、必要に応じて走行装置が無人航空機の制御信号を処理することができ、無人航空機にセンサを備えていなくても、自律走行を行うことが可能となる。
本実施形態における無人航空機の外観を説明するための図である。 本実施形態における無人航空機の機体本体のブロック図である。 本実施形態における無人航空機のためのフライト制御システムを示す。 本実施形態における走行装置および無人航空機を示す。 本実施形態における走行装置の機能構成を説明する図である。 別の実施形態における複数の走行装置および1つの無人航空機を示す。
以下、図面を参照して本発明を実施するための一実施形態について説明する。
図1は、無人航空機100の外観を示した一例である。無人航空機(UAV)100を含んだプラットフォームは、各々が共通要素を有する多くの異なる構造を含んでもよく、搭乗した人間であるオペレータ(パイロット)を乗せていない。しばしば、無人航空機100は、警備、監視、および航空撮影のような、退屈で、汚れる、危険なミッションに利用されている。典型的に、無人航空機100は、人間であるオペレータを乗せず、一方では空気力を用いて航空機100に揚力を与える動力付き航空機である。例えば、無人航空機100は、1つ以上の回転羽根及び/又は1つ以上の翼を含んでもよい。
本実施形態の無人航空機は、無線通信可能であり、当該無人航空機は移動する場合に自律移動制御を行うことが可能である。また、基地局装置から遠隔操作を行っても良い。自律移動制御を行うために、基地局装置と制御信号を通信してもよい。基地局装置としては、走行装置に基地局装置の機能が搭載されても良いし、可搬型の装置であってもよい。基地局装置の機能が搭載される走行装置としては、自律走行装置であっても良いし、操縦可能な走行装置であってもよし。また、決められたルート、例えば、軌道上を移動する走行装置であってもよい。
つづいて、図2を参照して無人航空機の構成について説明する。無人航空機100は、他のコンポーネントをその上で支持するための機体本体200を含んでもよい。機体本体200は、無人航空機100が飛べるようにローテータ及び/又は翼を備えている。
機体本体200の機能構成として、無人航空機100を制御するために、1つ以上のコンピューティングデバイスをメモリと共にもつプロセッサとして制御部210を備えている。
さらに、機体本体200は、1つ以上のセンサ(センサ群)から構成されるセンサ部220を有している。センサ部220に含まれるセンサとしては、例えば、画像取得センサ222、ロールセンサ224、ピッチセンサ226、ヨーセンサ(揺れセンサ)228、水平位置センサ230、横位置センサ232、緯度センサ234、経度センサ236、全地球測位(GPS)センサ238、高さセンサ240、速さセンサ242、速度センサ244、湿度センサ246、加速度センサ248、温度センサ250、ジャイロスコープセンサ252、コンパスセンサ254、距離センサ256(例えば、レーダ、ソナー、ライダ)、気圧計センサ258等を有している。これらのセンサは1つ以上有しており、複数組み合わされてもよい。
センサ部220は、制御部210に各センサから取得した取得信号を提供し、制御部210から制御信号を受信する。また、センサ部220は、異なるセンサの間で取得信号を送受信してもよい。
また、機体本体200は、1又は複数のアクチュエータ260を有している。アクチュエータ260は、制御部210、センサ部220のうちの1つ以上及び/又は他のアクチュエータのうちの1つ以上から各種信号を受信する。
アクチュエータ260は、モータ、エンジン、プロペラ、サーボモータ、武器、ペイロード・アクチュエータ、照明、スピーカ、補助翼、方向舵、フラップなどに制御(駆動力)を提供する。このように、機体本体200の異なるデバイスが制御されることとなる。
通信部270は、地上制御プラットフォームからの無線による制御信号を受信したり、地上制御プラットフォームへの各種信号を無線により提供したりするために用いられる機能部である。
また、機体本体200のすべての構成部へ電力を提供するためにエネルギー供給部280が設けられている。なお、機体本体200のセンサ部220は、機体本体200に重量を加えることになる。それによって、操縦性を低下させることになったり、デバイスの複雑さを増すとともに、センサ及び/又はアクチュエータのうちの1つ以上が機能しない結果として故障の尤度を高めることになったりする傾向がある。
つづいて、図3を参照して、無人航空機のフライト制御について説明する。なお、無人航空機の位置に影響を及ぼすための制御のような、システムの状態を変化させるための開ループ及び/又はセンサを用い、動的なシステムの状態を測定し、無人航空機の位置に影響を及ぼすフィードバックを伴う閉ループを含む、制御を行う。
また、無人航空機の制御ソフトウェアは、制御部210と結合されたメモリ内に主として保持された、ファームウェア・ソフトウェア、ミドルウェア・ソフトウェア、オペレーティングシステム・ソフトウェア及び/又は制御ソフトウェアとして提供されてもよい。
センサ部220からのデータに基づいて、所望のフライト制御部310を容易にして変更をもたらすために、アルゴリズム制御部300が用いられてもよい。フライト制御部310は、例えば、特定のフライト経路、軌道発生および軌道規制を制御することができる。
これらの制御のために、高度及び位置の制御を行う位置制御部320と、垂直及び水平方向の速さの制御を行う速度制御部330と、ピッチ、ロール及びヨーの制御を行う姿勢制御部340を有している。なお、これらの制御部は必要に応じて構成を選択することが可能である。
ここで、ファームウェアならびにセンサ及び/又はアクチュエータに依存して、無人航空機は、異なる量の自律性(例えば、無人航空機がどのように動作すべきかのアルゴリズム)を有することができる。
(1)制御部210がその動作・操作に対する制御するための完全な自律性を有する。
(2)制御部210が、例えば管理者から取り消されない限り完全な自律性を有する。
(3)制御部210がその動作・操作を行うことを自ら管理者に提案したり、アドバイスしたりすることで、権限を与えられていれば、提案したアクションを実行する。
(4)制御部210が、その動作制御を行うという提案、アドバイスを行うことを管理者にたいして要請する。ここで、管理者が提案等が必要と指示した場合には、制御部210は提案を行う。
(5)管理者から提案、アドバイスが必要と要請がされて、制御部210は提案等を行う。
(6)制御部210は、自律性を何も有さない。
このように、無人航空機は、複数の自律性を切り替えることにより、自律飛行を行うことができる。
続いて、図4を参照して、動作について説明する。いくつかの環境では、航空無人機(UAV)は、監視および他の活動にしばしば係わる地上機能を行うのに適した無人の地上で走行する車両と連携して運用される。例えば、一例として、無人で走行する走行装置を利用する場合について説明する。走行装置としては、自律走行車両のような装置であっても良いし、遠隔操作される走行車両のような装置であってもよい。また、移動する装置であればよいため、必ずしも車両には限定されない。
現場のすべての部分へのアクセスは、自然の障害物(平らでない地形、ウォータハザード、樹木など)によって制限されることがある。走行装置がアクセスしてもよいロケーションにおいてさえ、走行装置上のセンサの位置もしくはデータ収集を妨げる外部物体に起因して、走行装置がデータを収集するのに限られた能力を有することがある。データを収集する走行装置の能力を高めるために、一般に地上車又は走行装置と呼ばれる、無人地上制御プラットフォームが無人航空機へ通信を提供し、それから通信を受信する。航空無人機が走行装置に対するアクセサリとして機能してもよい。
このような仕方で、無人航空機が追加の機能性、例えば、地上車には観察することが困難な地域への視界の拡張を提供することによって走行装置のケイパビリティ(能力・可能性)を拡張する。前述のように、無人航空機は、従来から、位置情報(例えば、x、y、または緯度、経度)を提供する複数のセンサと方位情報(例えば、ロール、ピッチ、ヨー)を提供する1つ以上のセンサとに依存する。これらの特定のセンサは、プロセッサが無人航空機の姿勢を決定し、結果としてその姿勢推定をリアルタイムで提供することを可能にして、無人航空機のナビゲーションを容易にする。しかしながら、無人航空機上のこれらのセンサは、プロセッサに係わる計算複雑度、および経費に加えて、かなりの重量を追加することとなる。
図4に示されるように、自律の無人航空機に自律ナビゲーション能力を提供するために走行装置1000によって提供されたセンサが利用されることである。より具体的には、走行装置1000がそのセンサを用いて無人航空機に係わる位置情報及び/又は移動に基づく情報を収集してもよく、かかるセンサは、図4では走行装置とともに設けられたカメラ1100によって構成される。
無人航空機に関わる位置情報としては、走行装置との相対的な位置・距離としてのオフセット位置や、無人航空機の緯度及び経度情報、無人航空機のロール、ピッチ、ヨー等の情報である。これらの情報を1又は複数組み合わせて位置情報とされる。
走行装置は、そのセンサからのデータを処理して無人航空機に係わる移動に基づく情報と共に無人航空機に係わる姿勢推定を決定する。姿勢推定及び/又は動き推定に基づいて、走行装置は、動き制御データを無線で無人航空機に提供することができる。動き制御データは、例えば、補助翼情報(例えば、ロール)、昇降舵情報(例えば、ピッチ)、方向舵情報(例えば、ヨー)およびスロットル情報(例えば、速さ)を含んでもよい。
走行装置及び無人航空機は、例えば、双方向性の、無線通信プロトコルを介して、互いに通信可能に接続可能となっている。任意のウェイポイントにおいて、無人航空機(単数又は複数)が発進し、走行装置の近傍の所望のロケーションまで飛んで様々なタスクを行うように、無人航空機に命令するように走行装置がプログラムされるか、または指示されてもよい。視覚的又は他のタイプのデータをストリーミング及び/又は収集するためのカメラ及び/又は他のイメージングデバイスが無人航空機に装備されてもよい。無人航空機のアクションは、無線通信リンクを用いて無人航空機へコマンドを発し、それからコマンドを受信する走行装置によって制御される。
これにより、例えば、無人航空機は、ヨーセンサ、ピッチセンサ、ロールセンサ及び/又はスロットルセンサを含まなくてもよい。同様に、無人航空機は、他の前述のセンサのうちの1つ以上をさらに含まなくてもよい。いくつかのケースでは、走行装置がオペレータによって遠隔的に制御されてもよい。
走行装置が無人航空機の姿勢をより容易に推定できるように補助するために、無人航空機は、例えば、走行装置に対して、位置(x、y、z)及び方位(ロール、ピッチ、ヨー)を決定するために用いられる1つ以上の視覚的マーカを含んでもよい。視覚的マーカのサイズ、スケール、相対的な位置及び/又は歪みが、無人航空機の位置及び/又は方位を決定することに利用される。これらのうち、少なくとも1つに基づいて、無人航空機の位置情報又は方位情報を決定することができる。
また、走行装置がそのミッションを開始する前に、そのミッションを行うために走行装置がナビゲートする必要がある地上ルートが最初に設定されてもよい。加えて、そのルートにおける様々なポイントでは、走行装置が停止して様々な追加のアクションを行うか、またはまだ動いている間にアクションを行う必要があり、これらは、一般にウェイポイント・アクションと呼ばれている。1つのかかるウェイポイント・アクションは、走行装置の内部又は上に置かれた無人航空機を伴ってもよい。ウェイポイント・アクションは、無人航空機が走行装置の周りの所望の高さおよびロケーションへ飛び上がることを伴ってもよい。
無人航空機は、例えば、走行装置のアクセスポイントを介してライブビデオをストリーミングしてもよいし、ビデオコンテンツをその内部メモリ上へ記録してもよいし、別の方法で画像コンテンツを得ることができる観察用イメージングデバイスを用いてもよい。
また、無人航空機のアクションが、一般にウェイポイント・アクションと呼ばれる、ウェイポイントで行われるアクションの一部であってもよい。ウェイポイントの終わりには、無人航空機が走行装置の降着面上に降りることになり、その時点で地上車がそのミッションを再開してその次のウェイポイントへ行くことになる。
上述したように、かかる位置および移動に基づく情報を決定するのに適したセンサが無人航空機には装備されなくてもよい。無人航空機の姿勢推定、ロケーション推定、方位推定は、走行装置上に置かれ、かかる情報を決定するために飛んでいる航空機の方へ上を向いたイメージングデバイスによって決定されることとしてもよい。
無人航空機は、走行装置上のイメージングシステムの視野内で無線航空機を検出するのを助ける、1つ以上の視覚的マーカを有してもよい。走行装置上のイメージングシステムの最大および制限視野が予め決定され、ウェイポイント・アクションの一部としてユーザによってリクエストされた、監視および観察用に無人航空機の所望の姿勢を指定するための「マップ」として用いられる。より具体的には、走行装置上のイメージングシステムが無人航空機上の視覚的マーカを追跡して、その位置(x、y、z)および方位(ロール、ピッチ、ウェイ)を走行装置に対して決定してもよい。
さらに、無人航空機上のマーカは、検出されたときにそれらのサイズ、スケール、および歪みを変化させて、ロケーションおよび方位推定に係わるデータを提供するであろう。ウェイポイント・アクションの実行中には、システムが無人航空機へスロットル、補助翼、方向舵及び/又は上昇(例えば、スロットル)コマンドを送信することによって所望の姿勢を維持または選択しようとする。無人航空機は、かかるコマンドを受信して、それらを然るべきアクチュエータに適用する。
前述のように、無人航空機は、好ましくは、走行装置からのコマンドに基づいて走行装置から発進し、その上に降着する。無人航空機の位置および方位は、走行装置により無線接続を介してリアルタイムで命令される。このように、無人航空機の高さ、ロケーションおよび方位を維持するため、ならびにスロットル、方向舵、補助翼およびエレベータ制御を用いた自律ナビゲーションのためのアルゴリズムが走行装置によって提供される。
姿勢推定のような、推定の確からしい精度を決定することが好ましい。精度は、環境条件など1つ以上の要因に依存することがある。走行装置は、収集される追跡データならびに現在の動作条件に基づいて自らが決定する各姿勢推定に信頼水準を割り当ててもよい。
特に、信頼水準に到達するためのデータを提供する追加のセンサが走行装置に装備されてもよい。2つのかかるセンサは、風センサ及び/又は輝度センサであってもよい。例えば、風および暗い照明条件の存在は、正確な姿勢推定を提供する走行装置の能力を低下させかねない。ある一定の条件下で、走行装置は、無人航空機が飛ぶことが安全ではないと信頼水準に基づいて判断してもよい。
走行装置は、無人航空機から作り出した各姿勢推定を用いて信頼水準値を発生させてもよい。通常の環境下では、走行装置は、フライト・コマンドを無人航空機へ発する前にこの信頼性尺度の水準をチェックしている。アクティブ・フライト・ナビゲーション中に、信頼性が十分な時間にわたってある一定の閾値を下回れば、走行装置は、緊急降着を単独で開始するか、そうでない場合には飛ばないか、または別の方法で安全位置を達成するように無人航空機に対してコマンドを発してもよい。このような仕方で、走行装置が航空機を伴うウェイポイント・アクションを実行または完了することを控えてもよい。
安全性、信頼性および性能向上のための追加の低コスト・センサが無人航空機に装備されてもよい。1つのかかる実施形態では、そのおよその高度を測定する下の方を向いたソナーが無人航空機に装備されてもよい。これは、走行装置上のカメラによる視覚ベースの検出の障害の際に、高さを維持するために用いられることになる安全センサとなるであろう。無人航空機の方位(ロール、ピッチ、ヨー)を提供する慣性測定ユニットが無人航空機に装備されてもよい。これらおよび他のタイプのセンサは、イメージング検出システムの故障または無線地上車との通信リンクの喪失の際に、無人航空機が安全に降着することを許容する安全装置を提供してもよい。これは、さらに、信頼水準を高めてナビゲーション精度を向上させるために、走行装置上の姿勢推定システムと併せて用いられてもよい。
ここで、走行装置1000の機能構成について、図5を参照して説明する。走行装置1000は、制御部1100と、撮像部1200と、位置情報受信部1300と、通信部1400と、記憶部1500と、推定部1600とを備えて構成されている。
制御部1100は、走行装置1000の全体を制御するための機能部である。制御部1100は、記憶部1500に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばCPU(Central Processing Unit)等により構成されている。
撮像部1200は、走行装置の上方を中心に撮影が出来るように設けられた撮像装置である。例えばCCDを利用したデジタルカメラ等により構成されている。通常は、上方の広範囲が撮影可能な全天球型カメラを有するが、複数のカメラを設けてもよい。おもに、無人航空機100に設けられた視覚的マーカを撮影し、認識することが可能である。
位置情報受信部1300は、走行装置1000の位置を受信・取得する為の機能部である。例えば、全球測位衛星システム(GNSS(Global Navigation Satellite System)である、GPS、GLONASS、Galileo、準天頂衛星(QZSS)等が利用可能である。また、携帯基地局(無線基地局)や、記憶された位置情報を利用してもよい。
通信部1400は、無人航空機100と通信を行うための機能部である。例えば、無線システムや、LTE等の通信回線を利用しても良い。
記憶部1500は、走行装置1000の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部1500は、例えば、半導体メモリや、HDD(Hard Disk Drive)等により構成されている。
推定部1600は、無人航空機100の制御に利用される信号を推定するための機能部である。例えば、撮影された視覚的マーカや、位置情報、走行装置1000の走行情報(例えば、速度や、加速度等)を利用して、無人航空機100の位置、方位、方角、速度、姿勢、高度といった情報を推定することができる。推定部1600で推定された項目については、走行装置1000に通信部1400から送信される。したがって、この場合、無人航空機100にセンサを設ける必要がなくなる。
具体的な動作としては、走行装置1000は、撮像部1200により、無人航空機100に設けられた視覚的マーカを認識する。そして、認識された視覚的マーカの大きさ、向き、角度、歪み等から、推定部1600により、必要な情報が推定される。そして、推定された情報は、制御情報として無人航空機100に送信される。
図6を参照すると、別の実施形態は、通信可能に一緒に接続された複数の走行装置の使用を伴ってもよい。1つの走行装置1000によって配備かつ制御された無人航空機100が、オペレーションの途絶を生じることなく、近傍の別の走行装置2000へハンドオフされてもよい。このシナリオでは、第1の走行装置1000が、それが制御している無人航空機の参照GPS座標を、第2の走行装置2000に通知する。
走行装置2000は指定されたロケーションへ自律的にドライブし、そのイメージングシステムを用いて無人航空機のロケーションを特定しようと試みる。走行装置2000が無人航空機を一旦検出してそれを追跡し始めると、走行装置1000に通知し、次には走行装置1000が無人航空機にハンドオフを知らせて、制御を走行装置2000に渡す。
代わりに、無人航空機にナビゲーション・センサが装備されていれば、報告されたロケーションへ走行装置2000が走行する間、専らその位置を維持するように走行装置1000が無人航空機に指示してもよい。走行装置2000は、次に、追跡を一旦開始すると無人航空機とのコンタクトを確立する。
すなわち、走行装置は複数連携して動作してもよい。これにより、複数の走行装置(自律走行装置)が、異なるルートを走行している場合、無人航空機100は異なる走行装置にハンドオーバして、より広範囲な領域を自律移動することが可能となる。
具体的には、走行装置1000は、走行装置2000に位置情報(例えば、GPSを利用して算出された位置(緯度・経度)情報)を走行装置2000に通知する。走行装置2000は、走行装置1000の位置情報に基づいて進む。また、走行装置2000は、走行装置1000を検出することで、無人航空機の操縦を行う。
さらに別の実施形態では、無人航空機が非移動基地から配備かつ制御されてもよく、すなわち、走行装置が必要とされなくてもよい。この実施形態では、無人航空機を追跡するために固定カメラおよび無線通信を用いた1つ以上の移動可能かまたは静止した基地がセットアップされてもよい。
地上基地は、収集されたデータを1つ以上のノンコロケート処理エンティティ(例えば、管理サーバ)へ中継し、無人航空機のナビゲーションのためにコマンドを処理エンティティ(管理サーバ)から受信して、かかるコマンドを無人航空機へ中継してもよい。いくつかの実施形態において、自律無人航空機をセンシングするためのセンサは、静止した車または静止したプラットフォームに基づいてもよい。センサが垂直ポールのような静止したプラットフォームに取り付けられる場合には、センサが好ましくは上向きの方位に向けられる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第5実施形態の操作を、他の実施形態と組み合わせて実行してもよい。
このように、本明細書に記載した各実施形態は、矛盾の無い範囲で組み合わせて実行することができる。
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROMやHDD、SSDの記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
100 無人航空機
200 機体本体
210 制御部
220 センサ部
222 画像取得センサ
224 ロールセンサ
226 ピッチセンサ
228 ヨーセンサ
230 水平位置センサ
232 横位置センサ
234 緯度センサ
236 経度センサ
238 全地球測位センサ
240 高さセンサ
242 速さセンサ
244 速度センサ
246 湿度センサ
248 加速度センサ
250 温度センサ
252 ジャイロスコープセンサ
254 コンパスセンサ
256 距離センサ
258 気圧計センサ
260 アクチュエータ
270 通信部
280 エネルギー供給部
300 アルゴリズム制御部
310 フライト制御部
320 位置制御部
330 速度制御部
340 姿勢制御部
1000 走行装置
1100 制御部
1200 撮像部
1300 位置情報受信部
1400 通信部
1500 記憶部
1600 推定部
1100 カメラ
2000 走行装置

Claims (10)

  1. 走行装置と、無線通信可能な無人航空機とを含み、当該無人航空機は移動する場合に自律移動制御を行う自律移動制御システムであって、
    前記走行装置は、
    前記無人航空機を撮像する撮像手段と、
    前記撮像手段により撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定する決定手段と、
    前記無人航空機の位置情報又は方位情報を制御信号として、前記無人航空機に送信する送信手段と、
    を備え、
    前記無人航空機は、
    前記制御信号を前記走行装置から受信する受信手段と、
    前記受信された制御信号に基づいて、無人航空機の自律移動制御を行う移動制御手段と、
    を備えることを特徴とする自律移動制御システム。
  2. 前記位置情報は、前記走行装置からの前記無人航空機のオフセット位置、前記無人航空機の経度及び緯度情報、前記無人航空機のロール、ピッチ、ヨーのうち、1又は複数の情報であることを特徴とする請求項1に記載の自律移動制御システム。
  3. 前記決定手段は、前記無人航空機上の少なくとも1つの視覚的マーカに基づいて、前記無人航空機の位置情報又は方位情報を決定することを特徴とする請求項1に記載の自律移動制御システム。
  4. 前記決定手段は、視覚的マーカのサイズ、スケール又は歪みのうちの少なくとも1つに基づいて、前記無人航空機の位置情報又は方位情報を決定することを特徴とする請求項3に記載の自律移動制御システム。
  5. 前記決定手段は、前記位置情報及び前記方位情報のうちの少なくとも1つの信頼水準を決定することを特徴とする請求項1から4の何れか一項に記載の自律移動制御システム
  6. 前記信頼水準に基づいて降着するために前記無人航空機に前記制御情報を提供する請求項5に記載の自律移動制御システム。
  7. 前記自律移動制御システムには、更に他の走行装置が含まれており、
    前記走行装置は、前記無人航空機に制御コマンドを提供するために制御を、前記走行装置から、前記他の走行装置に渡すことを特徴とする請求項1から6の何れか一項に記載の自律移動制御システム。
  8. 移動する場合に自律移動制御を行う無人航空機と通信可能な走行装置であって、
    前記無人航空機を撮像する撮像手段と、
    前記撮像手段により撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定する決定手段と、
    前記無人航空機が自律移動制御に利用される位置情報又は方位情報を含む制御信号を前記無人航空機に送信する送信手段と、
    を備えることを特徴とする走行装置。
  9. 走行装置と接続可能であり、移動する場合に自律移動制御を行う無人航空機において、
    前記走行装置によって撮像された前記無人航空機から、当該無人航空機の位置情報又は方位情報が決定され、当該位置情報又は方位情報を制御信号として受信する受信手段と、
    前記受信された制御信号に基づいて、無人航空機の自律移動制御を行う移動制御手段と、
    を備えることを特徴とする無人航空機。
  10. 走行装置と、無線通信可能な無人航空機とを含み、当該無人航空機は移動する場合に自律移動制御を行う自律移動制御方法であって、
    前記走行装置は、
    前記無人航空機を撮像する撮像ステップと、
    前記撮像手段により撮像された無人航空機から、無人航空機の位置情報又は方位情報を決定する決定ステップと、
    前記無人航空機の位置情報又は方位情報を制御信号として、前記無人航空機に送信する送信ステップと、
    を有し、
    前記無人航空機は、
    前記制御信号を前記走行装置から受信する受信ステップと、
    前記受信された制御信号に基づいて、無人航空機の自律移動制御を行う移動制御ステップと、
    を備えることを特徴とする自律移動制御方法。
JP2017126613A 2016-06-30 2017-06-28 自律移動制御システム、走行装置、無人航空機及び自律移動制御方法 Pending JP2018005914A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/198,700 US20180005534A1 (en) 2016-06-30 2016-06-30 Autonomous navigation of an unmanned aerial vehicle
US15/198,700 2016-06-30

Publications (1)

Publication Number Publication Date
JP2018005914A true JP2018005914A (ja) 2018-01-11

Family

ID=60807829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126613A Pending JP2018005914A (ja) 2016-06-30 2017-06-28 自律移動制御システム、走行装置、無人航空機及び自律移動制御方法

Country Status (2)

Country Link
US (1) US20180005534A1 (ja)
JP (1) JP2018005914A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030639A (ja) * 2018-08-23 2020-02-27 三菱ロジスネクスト株式会社 無人搬送システム
WO2020105183A1 (ja) * 2018-11-22 2020-05-28 楽天株式会社 情報処理システム、情報処理方法及びプログラム
KR20200073659A (ko) * 2018-12-14 2020-06-24 건국대학교 산학협력단 도심 환경에서의 무인 항공기 Ad-hoc 위치 추정 시스템
JP2020104785A (ja) * 2018-12-28 2020-07-09 三菱ロジスネクスト株式会社 給電システム
JP2020165727A (ja) * 2019-03-28 2020-10-08 東邦瓦斯株式会社 検査装置
JP2022113698A (ja) * 2018-05-15 2022-08-04 東邦ガスネットワーク株式会社 検査装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017103724B4 (de) * 2017-02-23 2019-11-28 Infineon Technologies Ag Vorrichtung und Verfahren zum Steuern eines Sensorbauelements eines Sicherheitssystems eines Objekts, Steuerungssystem für ein Automobilfahrzeug und Sensorbauelement für ein Sicherheitssystem eines Automobilfahrzeugs
US10429487B1 (en) * 2018-05-18 2019-10-01 Here Global B.V. Drone localization
US10778943B2 (en) 2018-07-17 2020-09-15 C-Tonomy, LLC Autonomous surveillance duo
EP3597538B1 (en) * 2018-07-18 2023-04-26 W.I.S. Entwicklungsgesellschaft mbH & Co. KG Ground vehicle for transporting a vtol aircraft
CN109002053A (zh) * 2018-08-17 2018-12-14 河南科技大学 无人驾驶设备用智能化空间定位和环境感知装置及方法
US11210957B2 (en) * 2019-05-13 2021-12-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for generating views of unmanned aerial vehicles
KR20210071193A (ko) * 2019-12-05 2021-06-16 한국전자통신연구원 자율 주행 장치, 센서 캘리브레이션 시스템 및 방법
CN112823324A (zh) * 2020-04-21 2021-05-18 深圳市大疆创新科技有限公司 无人机的飞行方法、飞行系统、无人机及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022113698A (ja) * 2018-05-15 2022-08-04 東邦ガスネットワーク株式会社 検査装置
JP2020030639A (ja) * 2018-08-23 2020-02-27 三菱ロジスネクスト株式会社 無人搬送システム
WO2020105183A1 (ja) * 2018-11-22 2020-05-28 楽天株式会社 情報処理システム、情報処理方法及びプログラム
CN111465556A (zh) * 2018-11-22 2020-07-28 乐天株式会社 信息处理系统、信息处理方法及程序
JP6761146B1 (ja) * 2018-11-22 2020-09-23 楽天株式会社 情報処理システム、情報処理方法及びプログラム
KR20200073659A (ko) * 2018-12-14 2020-06-24 건국대학교 산학협력단 도심 환경에서의 무인 항공기 Ad-hoc 위치 추정 시스템
KR102243649B1 (ko) 2018-12-14 2021-04-22 건국대학교 산학협력단 도심 환경에서의 무인 항공기 Ad-hoc 위치 추정 시스템
JP2020104785A (ja) * 2018-12-28 2020-07-09 三菱ロジスネクスト株式会社 給電システム
JP2020165727A (ja) * 2019-03-28 2020-10-08 東邦瓦斯株式会社 検査装置

Also Published As

Publication number Publication date
US20180005534A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
JP2018005914A (ja) 自律移動制御システム、走行装置、無人航空機及び自律移動制御方法
US11604479B2 (en) Methods and system for vision-based landing
CN110062919B (zh) 递送车辆的放下地点规划
US11879737B2 (en) Systems and methods for auto-return
US11656638B1 (en) Backup navigation system for unmanned aerial vehicles
US11697411B2 (en) Apparatus and methods for obstacle detection
US20200207473A1 (en) Landing and Payload Loading Structures
JP6390013B2 (ja) 小型無人飛行機の制御方法
US10775786B2 (en) Method and system for emulating modular agnostic control of commercial unmanned aerial vehicles (UAVS)
CN111465556A (zh) 信息处理系统、信息处理方法及程序
JP6393157B2 (ja) 宇宙機の探索回収システム
US20240168493A1 (en) Automatic Selection of Delivery Zones Using Survey Flight 3D Scene Reconstructions
AU2022203829B2 (en) Stereo abort of unmanned aerial vehicle deliveries
US20230316741A1 (en) Method for Semantic Localization of an Unmanned Aerial Vehicle
US20240020876A1 (en) Machine-Learned Monocular Depth Estimation and Semantic Segmentation for 6-DOF Absolute Localization of a Delivery Drone
WO2023191911A1 (en) Method for controlling an unmanned aerial vehicle to avoid obstacles
JP2019138739A (ja) 位置計測装置及び位置計測方法