JP2017224123A - 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置 - Google Patents

無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置 Download PDF

Info

Publication number
JP2017224123A
JP2017224123A JP2016118474A JP2016118474A JP2017224123A JP 2017224123 A JP2017224123 A JP 2017224123A JP 2016118474 A JP2016118474 A JP 2016118474A JP 2016118474 A JP2016118474 A JP 2016118474A JP 2017224123 A JP2017224123 A JP 2017224123A
Authority
JP
Japan
Prior art keywords
uav
bright spot
distance
control unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016118474A
Other languages
English (en)
Other versions
JP6812667B2 (ja
Inventor
典良 広井
Noriyoshi Hiroi
典良 広井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2016118474A priority Critical patent/JP6812667B2/ja
Publication of JP2017224123A publication Critical patent/JP2017224123A/ja
Application granted granted Critical
Publication of JP6812667B2 publication Critical patent/JP6812667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】無人飛行装置の飛行時間の短縮を防止しつつ、対象物の近傍に精度よく無人飛行装置を誘導することができる無人飛行装置制御システムを提供する。【解決手段】光照射部101は、対象物に対して光を照射する。制御部102は、照射された光により対象物上に生じた輝点群の位置関係と、無人飛行装置に搭載された撮像装置により輝点群を撮像して得られた画像における輝点群の位置関係とに基づき、無人飛行装置の飛行を制御する。【選択図】図22

Description

本発明は、無人飛行装置を制御する無人飛行装置制御システム、無人飛行装置制御方法、および、その無人飛行装置制御システムに適用可能な無人飛行装置に関する。
無人飛行体の例として、マルチコプター、ドローン、ラジオコントロールヘリコプター、ラジオコントロール飛行機、ラジオコントロール飛行船等が挙げられる。以下、無人飛行体をUAV(Unmanned Aerial Vehicle )と記す。なお、UAVは、無人飛行装置と称することもできる。
UAVを用いた建築物の診断、地形の計測、不審人物監視等が行われている。例えば、UAVを、診断対象の建築物に接近させ、UAVに搭載したカメラで建築物の表面を撮像し、建築物の劣化状態を記録すること等が行われている。
UAVを建築物や不審人物(以下、観察対象物と記す。)に接近させ、観察対象物を観察するためには、観察対象物と一定の距離を保つようにUAVを飛行させ、観察対象物との接触を回避させる技術が必要である。
特許文献1には、無線によって操縦する飛行体が記載されている。特許文献1に記載の飛行体は、その飛行体に搭載した測距装置で対象物までの位置を自動計測し、所定の距離範囲内になった場合、補助制御装置の制御機能で各ロータの出力調整を自動で行い、衝突を回避する。また、特許文献1には、衝突防止ガイドとなるカバーも記載されている。
特許文献2には、飛行体と、測量機とを含む飛行体誘導システムが記載されている。特許文献2に記載の飛行体は、再帰反射体を具備する。特許文献2に記載の測量機は、再帰反射体に対して測距、測角を行うプリズム測量機能と、再帰反射体を追尾し、測距、測角を行う追尾機能とを有する。
特許文献3には、ビークルを、光ビームを利用して誘導する方法が記載されている。特許文献3に記載の方法では、ビーム制御ユニットが、表面上のある領域(被照射領域)を照射する光ビームを生成する。また、ビークルはカメラシステムを備える。そして、ビークルのコントローラは、ビークルを移動させて、カメラシステムが生成する画像群の中の被照射領域の位置と、これらの画像について事前に定義されている基準位置との差を小さくする。
また、特許文献4には、単一の光源により複数の目標物までの距離を算出できる多点レーザ距離算出装置が記載されている。特許文献5には、複数の方向にレーザビームを照射してそれぞれのビーム方向の物体からの反射光を受光してそれぞれの距離を測定する距離測定装置が記載されている。
特開2014−227166号公報 特開2015−1450号公報 特表2014−522064号公報 特開2013−190209号公報 特開平7−84045号公報
一般的なUAVシステムでは、観察対象物の近く(例えば、相対距離1mの位置)にUAVを飛行させることは難しい。一般に、UAVは、リモートコントローラによる手動操縦に従って飛行するか、あるいは、搭載したGPS(Global Positioning System )を用いて、予め定められた座標に沿って飛行する。
リモートコントローラを用いる場合、例えば、前後方向の軸、左右方向の軸、上下方向の軸、ヨー軸に関する操作がリモートコントローラに割り当てられる。さらに、リモートコントローラに、ロールやピッチに関する操作が割り当てられたり、UAVに搭載されるカメラに対する操作が割り当てられたりする。しかし、UAVの向きは、操縦者の視線の向きと必ず一致するとは限らないため、操縦者は、操作を誤りやすい。また、操縦者から離れた位置にあるUAVと観察対象物(例えば、建築物)を操縦者が目視しても、UAVおよび観察対象物が操縦者から離れているため、操縦者は、UAVと観察対象物との距離や、UAVの向きを把握しづらい。
また、UAVに搭載されたカメラから送信される画像を見ながら操縦者が操縦を行うFPV(First Person View )モードを適用することが考えられる。しかし、その場合であっても、操縦者は、カメラの視野外(カメラの向いている方向以外)の情報は得られない。また、特に、カメラが単眼カメラである場合、単眼カメラから得られる画像からは、距離感を掴みにくい。そのため、狭あい部や乱気流への対応が難しい。
このため、操縦者がUAVの操作に熟練していたとしても、建築物付近でUAVを飛行させることは避けられていていた。また、法律によるUAVの飛行制限もあった。
また、GPSを用いた自動飛行を行う場合、GPSの誤差が数mあるという問題がある。また、GPS電波が、建物によって遮蔽されたり、乱反射して安定しないという問題もある。
特許文献1に記載の技術では、無線によって飛行体を操縦する場合、その飛行体に搭載した測距装置により対象物との衝突を回避する。しかし、空中で全方向に向けて飛行可能なUAVに特許文献1に記載の技術を適用する場合、全方向に関して測距可能となるように、測距装置(例えば、距離センサ)を多数搭載する必要が生じる。すると、UAVの質量が増加する。その結果、飛行に必要な推力や、単位時間当たりの消費電力も増加し、飛行時間が短くなってしまう。また、衝突防止のためのカバーを設ける場合にも、その分、質量が増加するので、同様の問題が生じる。
また、一般的に、UAVと観察対象物との相対距離および相対姿勢(UAVの傾きや方向)を精度良く求めることは、原理的に難しいという問題がある。
例えば、特許文献2に記載の技術において、測量機を基準として、測量機と観察対象物(例えば、建築物)との距離および方位角を求めた後、測量機とUAVとの距離および方位角を求め、それらの差を求めることで、観察対象物に対するUAVの相対位置および姿勢を求めることが考えられる。しかし、測量機と観察対象物との距離および方位角と、測量機とUAVとの距離および方位角とは、同時に測定できない。そのため、測量機または観察対象物が動いてしまった場合、求めた相対位置や姿勢の誤差は大きくなる。例えば、自動車の通行や風等によって測量機が微振動した場合、測量機とUAVは離れているため、角度のずれは無視できない程度に大きくなる。
また、特許文献3に記載の技術では、ビークルのコントローラが、カメラシステムが生成する画像群の中の被照射領域の位置と、これらの画像について事前に定義されている基準位置との差を小さくするように、ビークルを移動させているに過ぎず、ビークルと光ビームの照射位置との距離を求めることはできない。
そこで、本発明は、無人飛行装置の飛行時間の短縮を防止しつつ、対象物の近傍に精度よく無人飛行装置を誘導することができる無人飛行装置制御システム、無人飛行装置制御方法、および、その無人飛行装置制御システムに適用される無人飛行装置を提供することを目的とする。
本発明による無人飛行装置制御システムは、対象物に対して光を照射する光照射部と、照射された光により対象物上に生じた輝点群の位置関係と、無人飛行装置に搭載された撮像装置により輝点群を撮像して得られた画像における輝点群の位置関係とに基づき、無人飛行装置の飛行を制御する制御部とを備えることを特徴とする。
また、本発明による無人飛行装置制御方法は、光照射部が、対象物に対して光を照射し、制御部が、照射された光により対象物上に生じた輝点群の位置関係と、無人飛行装置に搭載された撮像装置により輝点群を撮像して得られた画像における輝点群の位置関係とに基づき、無人飛行装置の飛行を制御することを特徴とする。
また、本発明による無人飛行装置は、撮像装置と、対象物に対して照射された光により対象物上に生じた輝点群の位置関係と、撮像装置により輝点群を撮像して得られた画像における輝点群の位置関係とに基づき、飛行を制御する制御部とを備えることを特徴とする。
本発明によれば、無人飛行装置の飛行時間の短縮を防止しつつ、対象物の近傍に精度よく無人飛行装置を誘導することができる。
本発明の無人飛行装置制御システムの例を示す模式図である。 第1の実施形態におけるUAVの構成例を示すブロック図である。 第1の実施形態における誘導装置の構成例を示すブロック図である。 誘導装置がレーザ光を照射し、UAVを誘導する状況を示す模式図である。 手動モードでの処理経過の例を示すフローチャートである。 第1の実施形態における自動モードでの処理経過の例を示すフローチャートである。 θの例を示す模式図である。 画像内で1つの輝点が複数画素に跨っている場合の、画像におけるその輝点の位置を示す模式図である。 画像内における輝点群の位置関係の例を示す模式図である。 画像内における輝点群の位置関係の例を示す模式図である。 UAVと壁面との位置関係を2次元で示した模式図である。 第2の実施形態における誘導装置の構成例を示すブロック図である。 第2の実施形態における自動モードでの処理経過の例を示すフローチャートである。 誘導装置と壁面との位置関係を2次元で表した模式図である。 第3の実施形態におけるUAVの構成例を示すブロック図である。 第3の実施形態におけるUAVの処理経過の例を示すフローチャートである。 本発明の第5の実施形態における誘導装置の構成例を示すブロック図である。 多点測距部の構成例を示す模式図である。 平行平板回転装置の構成例を示す模式図である。 レーザ距離計の構成例を示す模式図である。 本発明の第6の実施形態における誘導装置の構成例を示すブロック図である。 本発明の無人飛行装置制御システムの概要を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。以下の各実施形態では、観察対象物が建築物である場合を例にして説明するが、観察対象物は建築物に限定されず、例えば、不審人物等であってもよい。
実施形態1.
図1は、本発明の無人飛行装置制御システムの例を示す模式図である。本発明の無人飛行装置制御システムは、UAV1と、誘導装置11とを備える。UAV1と、誘導装置11とは、無線で双方向に通信可能である。この点は、後述の各実施形態でも同様である。また、既に述べたように、UAVは、無人飛行装置と称することもできる。
図2は、第1の実施形態におけるUAV1の構成例を示すブロック図である。UAV1は、複数のモータ2と、モータドライバ3と、IMU(Internal Measurement Unit:慣性計測装置)7と、撮像装置(カメラ)6と、角度制御部5と、UAV通信部8と、UAV制御部4とを備える。角度制御部5は、撮像装置6の向きを制御する。UAV制御部4は、UAV1全体を制御する。
各モータ2にはそれぞれ、プロペラ(図示略)が取り付けられている。モータドライバ3は、各モータ2を駆動する。UAV制御部4がモータドライバ3を介して、各モータ2を制御することによって、UAV1が飛行する。また、UAV制御部4がモータドライバ3を介して、各モータ2の出力バランスを変えることで、各方向にUAV1を移動させたり、UAV1の姿勢(UAV1の向きや傾き)を変更させたりことができる。UAV制御部4は、モータドライバ3に対して、どのモータ2にどのような推力を発生させるかを指示する。なお、モータ2とプロペラとの組み合わせの数は、特に限定されない。
IMU7は、加速度センサや方位角センサを含み、3軸〜9軸の姿勢と方位角の情報をUAV制御部4に出力する。例えば、9軸とは、加速度の方向を示す3軸と、それらの3方向の回転軸(3つ)と、南北方向の軸、東西方向の軸、および高さ方向の軸である。加速度センサは、重力の方向と加速度の変化に対し、重力と加速度それぞれの方向と大きさを出力する。また、加速度センサは、複数軸の加速度の変化から3軸の角速度を求めてもよい。方位角センサは、地球の地磁気を基に、方位角を立体的に求める。なお、方位角とは、地軸の向きを基準とした絶対座標系におけるUAV1や誘導装置11等の向きである。ただし、第1の実施形態では、方位角は不要である。
撮像装置6は、単眼カメラまたはステレオカメラである。後述するように、誘導装置11は、複数のレーザ光線を、建築物(観察対象物)の表面に照射する。撮像装置6は、その複数のレーザ光線が建築物に当たることで建築物の表面に生じた輝点群を撮像し、画像を生成する。撮像装置6は、生成した画像をUAV制御部4に伝送する。
また、撮像装置6は、観察対象物そのものを撮像し、例えば、観察対象物に発生したひび割れ、変色、水漏れ、表面の凹凸、表面の剥離状態、全体の変形、振動状態等の画像を生成する。
また、撮像装置6は、カラーカメラであっても、モノクロームカメラであっても、あるいは、可視光以外の波長用カメラ(例えば、赤外線カメラや紫外線カメラ)であってもよい。撮像装置6に、ズーム機構やオートフォーカス機構が設けられていてもよい。
さらに、撮像装置6には、種々の目的等に応じて波長フィルタが設けられていてもよい。例えば、誘導装置11が照射するレーザ光と、日光や他の照明とを分けることを目的して、設計時に選択された波長フィルタが設けられていてもよい。また、例えば、プライバシー問題に対応するためにレーザ光以外を遮断する波長フィルタが設けられていてもよい。また、UAV1を飛行させる前に、その場所の照明条件に応じた波長フィルタを選択し、その波長フィルタを撮像装置6に取り付けてもよい。また、誘導装置11において建築物の壁面の色に合わせてレーザ光の波長を選択できる場合、選択されたレーザ光の波長に応じた波長フィルタを選択し、その波長フィルタを撮像装置6に取り付けてもよい。UAV1が飛行中にレーザ光の輝点群を観察した際、輝点群が画像内で適度な明るさおよび大きさになるように調整可能な波長フィルタ(光学的フィルタであっても、電子的フィルタであってもよい。)が設けられていてもよい。
また、撮像装置6がFPVモードの飛行に用いられてもよい。FPVモードでは、撮像装置6が撮像した映像をUAV1がリアルタイムに誘導装置11等に伝送し、誘導装置11等はその映像を表示する。操縦者は、その映像を見ながら、UAV1を操縦したり、指示を入力したりする。
角度制御部5は、UAV制御部4に従って、撮像装置6を任意の種々の方向に回転させる。また、角度制御部5は、UAV1の姿勢変動や振動による影響を打消し、撮像装置6を一定方向に向ける場合にも用いられる。
UAV通信部8は、UAV1と誘導装置11とが無線通信を行うための、UAV1側の通信インタフェースである。UAV通信部8は、アンテナおよびデータ生成展開部(図示略)を含む。より詳しくは、UAV通信部8と誘導装置通信部18(後述、図3参照)は、誘導装置11に含まれる全体制御部14(後述、図3参照)と、UAV1に含まれるUAV制御部4とが双方向無線通信を行う際に、通信を仲介する。
UAV通信部8と誘導装置通信部18は、電波状態が不安定であったりノイズにより通信が途絶したりした場合であっても、UAV制御部4と全体制御部14が必要最低限の通信内容を確保できるように担保する。UAV通信部8は、具体的には、データが完全に送信できたかを受信側に通知する機能(アクノリッジ)や、送信側でデータの完全性を確認チェックサム等の誤り検出符号機能、その他のエラー訂正機能や再送信機能を有する。また、UAV通信部8は、データを圧縮して転送する機能を有していてもよい。以下の説明では、UAV1から誘導装置11へのデータ送信を下り方向とし、誘導装置11からUAV1へのデータ送信を上り方向とする。上り方向と下り方向の通信帯域幅(転送速度)およびチャンネルは、同じであってもよく、あるいは、異なっていてもよい。さらに、UAV通信部8は、状況に応じて通信帯域幅、チャンネルおよび転送内容を変化させてもよい。UAV1がFPVモードで飛行する場合、下り方向では、リアルタイムの画像データ転送が必要になるが、上り方向では、制御信号のみを転送すればよい。この場合、下り方向では、広帯域が必要であるが、厳密な誤り検出は不要である。一方、上り方向では、狭帯域でよいが、厳密な誤り検出が必要である。また、後述の誘導装置通信部18も、UAV通信部8と同様の機能を有する。
UAV制御部4は、計算機と、メモリやストレージとを含む。UAV制御部4は、撮像装置6で生成された輝点群の画像と、IMU7で求められた姿勢情報(加速度センサの出力)と、UAV通信部8を介して誘導装置11から受け取った情報とに基づき、観察対象物とUAV1との相対距離および角度を求める。次に、UAV制御部4は、この相対距離および角度と、誘導装置11からの制御信号を基に、観察対象物にレーザ光が照射されることで生じた輝点群から一定の距離および角度でUAV1が滞空できるように、UAV1の飛行を制御する。また、操縦者による手動操縦で入力された指示を誘導装置11から受け取った場合には、UAV制御部4は、その指示に従ってUAV1の飛行を制御する。
各実施形態の説明では、UAV1が、複数のロータを備え、UAV制御部4が各ロータの推力を変えて姿勢を制御するマルチコプターである場合を例にして説明する。ただし、UAV1は、そのようなマルチコプターに限定されない。例えば、UAV1は、2重反転プロペラや、メインロータおよびテールロータを備え、ロータのピッチ角を変更して飛行するヘリコプターであってもよい。また、UAV1は、移動能力を持つ飛行船であってもよい。
また、UAV1は、GPS装置(図示略)を備えていてもよい。地磁気は場所によって異なる。そのため、GPS装置を備える場合、例えば、UAV制御部4は、現在位置を取得し、現在位置から地磁気情報を取得することで、IMU7の方位角センサ情報を補正することができる。ただし、前述のように、第1の実施形態では、方位角の情報は不要であり、方位角センサ情報を補正は、第2の実施形態等で適用されればよい。
また、UAV1は、バッテリ(図示略)を備える。
図3は、第1の実施形態における誘導装置11の構成例を示すブロック図である。誘導装置11は、全体制御部14と、測距制御部13と、複数の測距部12と、手動操作入力部15と、記憶部16と、誘導装置通信部18とを備える。また、図3では、図示を省略しているが、誘導装置11は、三脚に取り付けられており、測距部12から照射するレーザ光の方向を任意に調整することができる。
それぞれの測距部12は、レーザ距離計または光波測距儀である。ここでは、それぞれの測距部12がレーザ距離計であるものとして説明する。
それぞれの測距部12は、半導体レーザ等のレーザ光源(図示略)と、レーザ光源から照射されたレーザ光が観察対象物で反射した光を受光する受光器(図示略)と、レーザ光の照射タイミングと受光タイミングとの差等により、測距部12と観察対象物(より具体的には、観察対象物表面におけるレーザ光の反射点)との距離を求める処理部(図示略)とを備える。それぞれの測距部12は、上記のレーザ光源、受光器および処理部(図示略)を備え、観察対象物にレーザ光を照射し、測距部12と観察対象物との距離を測定する。図3では、3つの測距部12を図示しているが、測距部12の数は3つでなくてもよい。各測距部12は、測定した距離(測距部12と観察対象物との距離)を測距制御部13に伝送する。なお、レーザ光の反射点は、輝点となる。従って、レーザ光の反射点は、輝点に該当する。
それぞれの測距部12が照射するレーザ光は、例えば、平行である。あるいは、それぞれの測距部12が照射するレーザ光の向きが調整可能であってもよい。各レーザ光の向きが調整可能である場合、それぞれのレーザ光同士のなす角度は厳密に測定され、その角度のデータは、測距制御部13に伝送される。以下、説明を簡単にするために、それぞれの測距部12が照射するレーザ光が平行であるものとして説明する。また、それぞれの測距部12が照射するレーザ光が照射される観察対象物の表面は、平面であるものとする。
測距部12が照射するレーザ光は、可視光であってもよく、あるいは、赤外光等の目視できない光(非可視光)であってもよい。ただし、観察対象物のどこにレーザ光が当たっているのかを操縦者が容易に確認できることが望ましいため、レーザ光が非可視光である場合には、レーザ光の照射位置を確認できるようにするためのレティクル付き望遠鏡が誘導装置11に取り付けられていることが好ましい。
なお、レーザ光を用いた距離測定については、TOF(Time of Flight)やLiDAR(Light Detection and Ranging )等の技術や、三角測量の原理を利用した距離測定の技術がよく知られている。そのため、ここでは、レーザ光を用いた距離測定の詳細については、説明を省略する。
測距制御部13は、例えば、計算機によって実現される。測距制御部13は、各測距部12から伝送される各距離のデータと、レーザ光同士のなす角度とによって、誘導装置11と観察対象物との角度を求め、その角度のデータを全体制御部14に伝送する。ここでは、それぞれの測距部12が照射するレーザ光が平行であるものとする。また、誘導装置11と観察対象物との角度とは、誘導装置11の各測距部12の光軸と、観察対象物の表面(各レーザ光が照射される面)とのなす角度である。この角度をθとする。
また、測距制御部13は、各測距部12のレーザ光照射タイミングを制御する。各測距部12が、測距部12と観察対象物との距離を測定する場合、それぞれの測距部12同士の干渉を避けるために、測距制御部13は、各測距部12のレーザ光照射タイミングを調整する。例えば、測距制御部13は、時分割で各測距部12に距離を測定させる。すなわち、測距制御部13は、時間をずらして、個々の測距部12に距離を測定させる。この結果、測距部12同士の干渉を防ぐことができる。各測距部12が距離測定をする場合以外では、測距制御部13は、各測距部12にレーザ光を連続照射させる。この結果、UAV1の撮像装置6が撮像する観察対象物の表面上の輝点群が明確になる。
各測距部12が距離測定をする場合と、それ以外の場合との切り替えタイミングは、予め測距制御部13が決定し、測距制御部13がそのタイミングを全体制御部14に通知していてもよい。また、測距制御部13は、各測距部12が距離測定をする場合と、それ以外の場合との切り替えタイミングの情報を、UAV1から、誘導装置通信部18および全体制御部14を介して受け取ってもよい。
また、各測距部12のレーザ光の波長がそれぞれ異なり、各受光器も、受光器が備えられている測距部12のレーザ光の波長に対応している場合、測距制御部13は、前述の時分割による距離測定タイミング(換言すれば、時分割によるレーザ光照射タイミング)の調整を行わなくてもよい。
手動操作入力部15は、操縦者が手動で直接UAV1を操縦する際に、UAV1に対する指示を入力するための入力装置である。手動操作入力部15の例として、ジョイスティック、タッチパネル、キーボード、スイッチ等が挙げられるが、これらの入力装置に限定されない。また、着陸や、特定地点への帰還等のある特定の動作を指示する場合にも、手動操作入力部15が用いられる。
手動操作入力部15に入力される指示を手動操作情報と記す。手動操作情報は全体制御部14に伝送され、全体制御部14は、その手動操作情報をUAV1に伝送する。UAV1内のUAV制御部4は、その手動操作情報に従ってUAV1を制御する。ただし、手動操縦時であっても、UAV1が観察対象物に接触する可能性がある場合等には、UAV制御部4または全体制御部14がその可能性を検出し、手動操作入力部15に入力された指示よりも、UAV1の自動制御を優先させてもよい。
また、手動操作入力部15は、単一の入力に対して単一の動作信号を出力しなくてもよい。手動操作入力部15は、複数の入力に対して1種類の動作信号を出力してもよい。例えば、UAV1が停止している状態で、操縦者が2つのジョイスティックを一定方向に傾けたときに、手動操作入力部15は、プロペラの回転(起動)に対応する動作信号を出力してもよい。また、手動操作入力部15は、1種類の入力に対して複数種類の動作信号を出力してもよい。この場合、マクロ機能を実現できる。
記憶部16は、各種パラメータ等を記憶するメモリである。
全体制御部14は、誘導装置11およびUAV1の全体動作を制御する計算機である。前述のように、測距制御部13は、誘導装置11と観察対象物との角度θを全体制御部14に伝送する。全体制御部14は、この角度θを用いて、観察対象物にレーザ光が照射されたことにより生じる輝点群の位置関係を求め、その位置関係の情報を、誘導装置通信部18を介して、UAV1に伝送する。
また、全体制御部14は、UAV1から受け取ったUAV1の現在の状態を示す情報と、手動操作入力部15からの手動操作情報とに基づいて、手動操作情報をそのままUAV1に伝送したり、あるいは、手動操作情報に変更を加えてUAV1に伝送したりする。
また、全体制御部14は、UAV1から受け取ったUAV1の現在の状態を示す情報を、操縦者が理解しやすい形に加工して表示装置(図示略)に表示する。例えば、全体制御部14は、UAV1の現在位置、UAV1と観察対象物との距離、バッテリの状態、撮像装置6が生成した画像等を表示装置に表示する。さらに、全体制御部14は、現在の飛行モード(手動モードまたは自動モード)も表示装置に表示してもよい。全体制御部14は、レーザ光が照射されている観察対象物の表面等を撮像装置6が撮像して生成した画像を拡大して表示装置に表示してもよい。また、自動モードの場合、全体制御部14は、撮像装置6が生成した画像に、UAV1が次にどちらに動くかを示す情報を重ねて表示するとなお良い。なお、手動モードは、UAV1が操縦者の操縦によって飛行する形態である。自動モードは、UAV1が操縦者の操縦に依らずに飛行する形態である。
誘導装置通信部18は、UAV1と誘導装置11とが無線通信を行うための、誘導装置11側の通信インタフェースである。誘導装置通信部18の機能は、UAV通信部8の機能と同様であり、説明を省略する。
また、誘導装置11は、測距部12のレーザ照射方向と平行(または同軸)の光軸を持つ望遠鏡または望遠レンズを有するカメラを備え、全体制御部14は、そのカメラが撮像を行うことによって生成した画像を表示装置に表示してもよい。遠方にレーザ光を照射する場合、操縦者は観察対象物の表面に生じた輝点を見失いやすい。レーザ光の輝点のサイズは、測距部12から観察対象物までの距離が長くなってもほとんど変わらないため、操縦者から見て相対的に輝点が小さく見えるからである。しかし、誘導装置11が上記のカメラを備えていれば、カメラは常に観察対象物の表面の輝点群の周辺を捉えているため、輝点群の位置を確認したり、細かな位置決めをしたりすることが簡単になる。また、輝点群をより簡単に発見するために、上記のカメラまたは望遠鏡に、物理的または電子的なレティクルが設けられているとなお良い。
図4は、誘導装置11がレーザ光を照射し、UAV1を誘導する状況を示す模式図である。なお、図4は、自動モードでUAV1が飛行している状況を示している。
誘導装置11は、操縦者による操作に従い、複数の測距部12からレーザ光を観察対象物21に照射する。観察対象物21の表面に複数の測距部12からレーザ光が照射されることにより、観察対象物21の表面に輝点群23が生じる。UAV1は、撮像装置6で観察対象物21の表面を撮像し、撮像装置6の撮像範囲22の中央に輝点群23を捉え続けるとともに、輝点群23の存在する範囲が画像内で所定の大きさ以上に維持されるように、観察対象物21との距離を調整しながら飛行する。また、UAV1と誘導装置11は、無線で通信を行う。
三脚19上に設置された誘導装置11の向きを変えると、レーザ光線および輝点群も、向きの変化に追随して動く。UAV1は、撮像範囲22の中央に輝点群23を捉え、輝点群23の存在する範囲が画像内で所定の大きさ以上になるように、輝点群の動きに応じて飛行位置を変える。また、UAV1が風等によって移動した場合も、UAV1は、同様に飛行位置を変える。
次に、本発明の第1の実施形態の処理経過について説明する。本発明では、UAV1は、手動モードと自動モードに切り替えられる。手動モードと自動モードとの切り替えは自動で行われてもよく、あるいは、操縦者が任意のタイミングで手動で切り替えてもよい。
本実施形態では、説明を簡単にするため、UAV1の撮像装置6の向きは、UAV1の正面に向けて固定されているものとする。また、以下の説明で、観察対象物とUAV1との距離および観察対象物に対するUAV1の姿勢は、正確には、観察対象物と撮像装置6の距離および観察対象物に対する撮像装置6の姿勢であるが、撮像装置6の向きがUAV1の正面に向けて固定されている場合、両者はほぼ同じであるとみなしてよい。撮像装置6が固定されていない場合や、撮像装置6が斜め方向に向けて固定されている場合、都度UAV1と撮像装置6の向きを補正すればよく、UAV1と撮像装置6の相対的な向きは常に自明なため、補正方法の説明は省略する。
図5は、手動モードでの処理経過の例を示すフローチャートである。
まず、操縦者は、誘導装置11を手動モードにセットし、自動モード開始予定位置に誘導装置11の各測距部12を向ける。誘導装置11の各測距部12は、自動モード開始予定位置に向けてレーザ光を照射する(ステップS1)。なお、このとき、操縦者は、観察対象物の表面に生じる輝点群を目視しながら、誘導装置11(具体的には、各測距部12)の向きを調整してもよい。あるいは、操縦者は、誘導装置11のカメラの映像や望遠鏡で輝点群を確認しながら、誘導装置11の向きを調整してもよい。
次に、誘導装置11には、操縦者から、手動操作入力部15を介して手動操作情報が入力される(ステップS2)。なお、手動操作情報は、UAV1の目標座標や、相対的な移動量であってもよいし、移動方向と速度であってもよい。全体制御部14は、誘導装置通信部18を介して、無線でUAV1に手動操作情報を伝送する。このとき、全体制御部14は、入力された手動操作情報をそのままUAV1に伝送してもよく、あるいは、手動操作情報を加工してからUAV1に伝送してもよい。例えば、UAV1に高度制限をかける場合、全体制御部14は、上昇命令とともに高度制限情報を手動操作情報に付与し、手動操作情報をUAV1に伝送してもよい。あるいは、全体制御部14は、移動先の座標情報を制限高度の範囲内になるように変更した手動操作情報をUAV1に伝送してもよい。また、操作情報には、UAV1本体の移動に関する情報の他に、撮像装置6の向きを示す情報や、その他の機器の制御情報が含まれていてもよい。
次に、UAV制御部4は、手動操作情報に従ってUAV1を制御し、UAV1はその制御に従って移動する(ステップS3)。
次に、撮像装置6は、UAV制御部4の制御に従って撮像を行い、画像を生成する(ステップS4)。撮像装置6は、その画像をUAV制御部4に伝送する。
UAV制御部4は、その画像の一定領域内に輝点群が存在するか否かを判定する(ステップS5)。画像の一定領域内に輝点群が存在しない場合(ステップS5のNo)、ステップS2以降の動作を繰り返す。なお、ステップS2〜S5のループにおいて、手動操作情報が座標または移動量として与えられる場合、ステップS3からステップS4に移行する前に、UAV制御部4は、目的とする座標または移動量に達したか否かを判定してもよい。
画像の一定領域内に輝点群が存在する場合(ステップS5のYes)、UAV制御部4は、UAV通信部8を介して、自動モード開始可能である旨を誘導装置11に通達する(ステップS6)。誘導装置11の全体制御部14は、誘導装置通信部18を介して、その通達を受ける(ステップS7)。
なお、操縦者または全体制御部14は、ステップS7の後、直ちに自動モードに移行するか、手動モードのままステップS2以降の動作を繰り返すかを、状況に応じて選択してもよい。また、ステップS7の後、UAV1が静止するか、あるいは、自動モードに移行して一定の位置に自動で静止するかを状況に応じて選択してもよい。
例えば、全体制御部14は、自動モード開始可能である旨の通達を受けると、その通達を表示して、操縦者に伝える。このとき、操縦者が自動モードへの切り替え操作に手間取ると、UAV1が移動し続け、輝点群が撮像装置6の撮像範囲から出てしまう可能性がある。また、操縦者にとっては、手動モードで操作中に突然自動モードに切り替わると、混乱する可能性がある。そこで、ステップS7の後、UAV1が一度静止するとともに、全体制御部14は操縦者に自動モードに切り替え可能である旨のメッセージを提示することが好ましい。さらに、操縦者が手動操作情報を再び入力した場合は、手動モードを継続し、それ以外の場合には自動モードに移行することが好ましい。このように、UAV1の特性や操縦者の使い勝手に合わせた切り替え処理が好ましい。
図6は、第1の実施形態における自動モードでの処理経過の例を示すフローチャートである。以下に示す動作の実行開始時には、UAV1(撮像装置6)が撮像によって得た画像内に輝点群が写っていることが前提となる。すなわち、UAV1が輝点群を撮像できる位置に到達していることが前提となる。以下、この前提が満たされているものとして説明する。
また、本実施形態では、UAV1が適切な姿勢となったときに、UAV1が観察対象物の表面に正対しているものとする。
まず、誘導装置11のそれぞれの測距部12が、観察対象物の観察位置にレーザ光を照射する(ステップS11)。なお、手動モードにおいて、ステップS1で各測距部12がレーザ光を照射し、その照射状態を続けていてもよい。
そして、それぞれの測距部12が、測距部12と観察対象物との距離を測定する(ステップS12)。ただし、各測距部12のレーザ光の波長が干渉する場合には、測距制御部13は、各測距部12のレーザ光の照射タイミングをずらして、個々の測距部12に順次、距離を測定させる。図6では、誘導装置11が、3つの測距部12を備え、3つの測距部12がそれぞれ距離を測定する場合を例にする。各測距部12は、測定した距離を測距制御部13に伝送する。
なお、それぞれの測距部12が距離を測定した後には、測距制御部13は、各測距部12にレーザ光を連続照射させる。
次に、測距制御部13および全体制御部14は、複数の測距部12からレーザ光が照射されたことによって観察対象物に生じる輝点群の位置関係を計算する(ステップS13)。なお、ここでは、各測距部12から照射されるレーザ光が平行であるものとする。また、壁面(観察対象物の表面)は平面であるものとする。
ステップS13において、まず、測距制御部13は、測距部12の光軸と、観察対象物の表面とのなす角度θを算出する。
図7は、θの例を示す模式図である。図7に示す壁面は、建築物(観察対象物)の表面である。図7では、レーザ光#2(具体的には、レーザ光#2を照射する測距部12の光軸)と壁面との角度をθとして表している。また、図7では、説明を簡単にするために、2つのレーザ光#1,#2を図示するとともに、レーザ光#1,#2により生じる2つの輝点間の距離をD’として図示している。また、レーザ光#1,#2の間隔をDとする。Dは、既知である。
レーザ光#1を照射した測距部12が測定した距離(その測距部12からレーザ光の反射点までの距離)をLとする。同様に、レーザ光#2を照射した測距部12が測定した距離をLとする。測定された2つの距離(ここではL,L)のうち、大きい方の距離から小さい方の距離を減算した値をΔLとする。測距制御部13は、以下に示す式(1)の計算により測距部12の光軸と壁面とのなす角度θ(誘導装置11と観察対象物との角度)を算出する。
θ=tan−1(D/ΔL) ・・・(1)
測距制御部13は、算出した角度θ、および、各測距部12が測定した各距離を、UAV制御部4に伝送する。全体制御部14は、その角度θおよび各距離に基づいて、輝点群の位置関係を計算する。
輝点群の位置関係を、輝点間の距離で表してもよい。この場合、測距制御部13は、輝点のペア毎に輝点間の距離を計算する。
全体制御部14は、図7に示す輝点間の距離D’を以下に示す式(2)によって計算すればよい。
Figure 2017224123
全体制御部14は、他の輝点のペアについてもそれぞれ、同様に、輝点間の距離を計算する。
輝点群の位置関係を、各輝点のワールド座標系における3次元座標で表してもよい。この場合、全体制御部14は、各輝点のワールド座標系における3次元座標を計算する。全体制御部14は3次元空間におけるレーザ光(直線)と壁面(平面)との交点の座標として、輝点の3次元座標を計算すればよい。UAV1が飛行する空間が3次元空間である場合、本発明では、最低3個の輝点が必要である。図7では、説明を簡単にするために、2次元でレーザ光や壁面を図示しているが、3次元空間におけるレーザ光(直線)と壁面(平面)との交点の座標を求める方法は、公知であるので、ここでは説明を省略する。なお、輝点の数は、測距部12の数と同数である。ここでは、誘導装置11には3つの測距部12が設けられ、全体制御部14は、3つの輝点のワールド座標系における3次元座標をそれぞれ計算する。
各輝点の3次元座標を表す際の原点は、固定的に定められた原点でなくてよい。例えば、全体制御部14は、輝点群に属する輝点の1つを原点として、各輝点の3次元座標を計算してもよい。
輝点のペア毎に計算された輝点間の距離も、各輝点のワールド座標系における3次元座標も、輝点群の位置関係を表わしていて、両者は等価であると言うことができる。また、輝点のペア毎に計算された輝点間の距離も、各輝点のワールド座標系における3次元座標も、各測距部12が測定した距離に基づいて計算された値であると言うことができる。
全体制御部14は、輝点群の位置関係の計算結果を、誘導装置通信部18を介してUAV1に伝送する。全体制御部14は、輝点群の位置関係として、輝点のペア毎に計算された輝点間の距離をUAV1に伝送しても、各輝点のワールド座標系における3次元座標をUAV1に伝送してもよい。以下の説明では、全体制御部14が、輝点群の位置関係として、各輝点のワールド座標系における3次元座標をUAV1に伝送する場合を例にして説明する。
次に、UAV1のUAV制御部4は、撮像装置6で壁面に生じている輝点群を撮像し、撮像装置6が生成した画像内における各輝点の位置(座標)を求める(ステップS14)。このとき、各測距部12はレーザ光を連続照射しているので、各輝点が画像に写る。図8は、画像内で1つの輝点が複数画素に跨っている場合の、画像におけるその輝点の位置を示す模式図である。図8の上段では、複数画素に跨る1つの輝点の形状を模式的に示している。また、図8の下段では、上段に示す基準線に沿ったレーザ光の輝度の分布を示している。UAV制御部4は、1つの輝点が複数画素に跨っている場合、輝点内の輝度を考慮した輝点の重心位置となる画素を特定し、その画素の位置を、輝点の位置として定めればよい。
画像内における各輝点の位置(座標)は、画像内における輝点群の位置関係を表していると言うことができる。
次に、UAV制御部4は、ステップS13で計算された輝点群の位置関係と、画像内における輝点群の位置関係とに基づいて、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢を求める(ステップS15)。
図9および図10は、画像内における輝点群の位置関係の例を示す模式図である。なお、図9および図10では、輝点が4つである場合を例にしている。
図9(a)に示すように、壁面とレーザ光の光線とのなす角度が直角であり(すなわち、誘導装置11が壁面に正対しており)、UAV1が壁面に正対して図9(b)に示す画像が得られる場合に、UAV1と輝点群との距離、およびUAV1の姿勢が適切であると言えるものとする。この場合、図9(c)に示すように、輝点同士の距離が図9(b)に示す場合よりも短い場合、UAV1は壁面から離れた状態となっている。また、図9(d)に示すように、点同士の距離が図9(b)に示す場合よりも長い場合、UAV1は壁面に近づいた状態となっている。また、図9(e)に示すように、輝点群が台形の頂点となっている場合、UAV1は壁面に正対していない。
また、図10(a)に示すように、壁面とレーザ光の光線とのなす角度が直角ではなく(すなわち、誘導装置11が壁面に正対しておらず)、UAV1が壁面に正対して図10(b)に示す画像が得られる場合に、UAV1と輝点群との距離、およびUAV1の姿勢が適切であると言えるものとする。この場合、図10(c)に示すように、輝点群の位置関係が図10(b)に示す位置関係と異なる場合、UAV1は壁面に正対していない。
ステップS15において、UAV1と輝点群との距離、および、UAV1の姿勢を求める処理の一例を以下に示す。ただし、以下に示す処理は、例であり、他の方法でUAV制御部4が距離や姿勢を求めてもよい。図9および図10では、輝点が4つである場合を例示したが、以下の説明では、輝点が3つであるものとして説明する。
以下、3つの輝点をA,B,Cとする。UAV制御部4は、輝点毎に、以下の式(3)に示す行列を定める。添え字は、対応する輝点を表している。
Figure 2017224123
(x,y,z)は、ステップS13で計算された輝点Aのワールド座標系における3次元座標である。同様に、(x,y,z)は、輝点Bのワールド座標系における3次元座標である。(x,y,z)は、輝点Cのワールド座標系における3次元座標である。
また、UAV制御部4は、輝点毎に、以下の式(4)に示す行列を定める。
Figure 2017224123
(u,v)は、ステップS14で求められた輝点Aの画面座標系における2次元座標(すなわち、画像内における輝点Aの座標)である。同様に、(u,v)は、輝点Bの画面座標系における2次元座標である。(u,v)は、輝点Cの画面座標系における2次元座標である。
また、UAV1のカメラ行列をMとすると、Mは既知であり、以下の式(5)で表されるものとする。
Figure 2017224123
UAV1に搭載される撮像装置6の位置と姿勢を表す同次変換行列Rを、以下の式(6)のように表す。
Figure 2017224123
同次変換行列Rにおいて、r11〜r33は、回転を表し、以下に示すように、(α,β,γ)の関数で表される。
r11=cosαcosβcosγ−sinαsinγ
r12=−cosαcosβsinγ−sinαcosγ
r13=cosαsinβ
r21=sinαcosβcosγ+cosαsinγ
r22=−sinαcosβsinγ+cosαcosγ
r23=sinαsinβ
r31=−sinβcosγ
r32=sinβsinγ
r33=cosβ
ここで、α,β,γの組み合わせは、UAV1の姿勢を表している。図11は、UAV1と壁面との位置関係を2次元で示した模式図である。壁面の方位角をθとする。また、UAV1の方位角をθとする。αは、壁面に対するUAV1の相対的な向きであり、θ−θに相当する。また、UAV1と壁面との位置関係を別の2次元で表すことができ、その2次元における壁面に対するUAV1の相対的な向きをβとする。
また、γは、実空間における輝点群と、画像内に写っている輝点群とのずれを表す。例えば、実空間では、輝点A,Bが水平に並んでいたとしても、画像内では、輝点A,Bが斜め方向に並ぶこともある。γは、このようなずれを表す。
また、式(6)におけるt,t,tは、それぞれ各輝点とUAV1の撮像装置6との相対位置(相対距離)を表す。
従って、UAV制御部4は、UAV1と輝点群との距離、および、UAV1の姿勢として、t,t,t,α,β,γを計算すればよい。
全てのワールド座標系の輝点の座標は、同一の同次変換行列Rを用いて画像内の座標に変換される。従って、以下の式(7)が成り立つ。
Figure 2017224123
式(7)は、t,t,t,α,β,γ以外が既知である6元連立方程式である。UAV制御部4は、この6元連立方程式(式(7))を解くことによって、t,t,t,α,β,γを算出する。
なお、輝点が3つである場合、t,t,t,α,β,γを一意に求めることができる。輝点が4つ以上である場合、t,t,t,α,β,γが一意に定まらない場合がある。これは、測定誤差が含まれることによる。輝点が4つ以上である場合、UAV制御部4は、変数に対して誤差が小さくなるようなt,t,t,α,β,γを算出すればよい。
輝点の数を増やせば撮像時の誤差を減らすことができるが、光源が増えて装置が複雑になるとともに、計算も複雑になる。距離や用途に応じて、適切な輝点の数を選択すればよい。
ステップS15の後、UAV制御部4は、ステップS15で算出されたt,t,t,α,β,γに基づいて、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢が、所望の距離、所望の姿勢になるように、UAV1を制御し、UAV1を移動させたり、姿勢を変更させたりする(ステップS16)。ステップS15において、現在のt,t,t,α,β,γが得られるため、UAV制御部4は、これらの値に基づいてモータドライバ3に対する指令値を決定する。本実施形態では、UAV制御部4は、UAV1が壁面の輝点群に対して一定距離を保ちつつ、正対し、かつ、撮像装置6が輝点群を画像内の適切な領域(例えば、中央の領域)に写すことができる位置に移動するように、UAV1を制御する。
自動モードが設定されている間、UAV1の位置を変更させる場合、ステップS16の後、再度、ステップS11以降の処理を繰り返す。従って、UAV1は観察対象物に対して適切な位置および姿勢になるように制御される。このため、操縦者が誘導装置11全体の向きを変えてレーザ光の照射位置(換言すれば、輝点群の位置)を変えても、UAV1は、輝点群を追いかけるように移動する。また、風等によりUAV1に対して外乱が加えられても、自動的に、UAV1は適切な位置に復帰する。
本実施形態によれば、UAV制御部4は、ステップS13で計算された輝点群の位置関係と、画像内における輝点群の位置関係とに基づいて、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢を求める。そして、UAV制御部4は、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢が、所望の距離、所望の姿勢になるように、UAV1を制御する。従って、輝点群に近い位置で、自動モードに切り替えることにより、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢を所望の状態に保つことができる。また、レーザ光の照射位置を変えると、UAV1は、自動でその照射位置を追跡することができる。すなわち、UAV1は、観察対象物との接触を回避し、観察対象物との距離、観察対象物に対する向きを自動で維持しつつ、安定して飛行することができる。
また、本発明では、UAV1に、観察対象物との距離を直接計測する距離センサを設ける必要がないため、UAV1の質量増加を抑えることができる。また、UAV制御部4が実行する処理は比較的単純な処理であるため、過剰な計算機をUAV1に搭載しなくてよい。また、UAV制御部4が実行する処理により生じる電力消費は小さい。従って、UAV1の飛行時間の短縮を防止しすることができる。
また、測距部12は、レーザ光により反射点(換言すれば、輝点)までの距離を測定する。そのため、反射点までの距離が変わっても、測定精度の低下が起こりにくい。本実施形態では、そのような測距部12と、UAV1に搭載された撮像装置6とを組み合わせて、観察対象物に対するUAV1の位置等を求めている。一般に、画像内における物体の大きさと、その物体の実際の大きさを基に、その物体までの距離を求める場合の分解能は、撮像装置の分解能および撮像装置とその物体との距離に依存し、その距離が大きくなると、誤差が大きくなる。それに対して、本実施形態では、UAV1に搭載された撮像装置6が、輝点群に近接して輝点群を撮像し、その輝点群の位置関係を求めるため、誤差が原理的に少なくなる。従って、本実施形態では、観察対象物に対するUAV1の位置や姿勢は、原理的に高精度に得られる。
また、本実施形態の付随的な効果として、操縦者は、UAV1と観察対象物との接触を気にすることなく直感的に自由にUAV1を操縦できる。すなわち、操縦者は、観察対象物やその周辺の自由空間における配置を事前に知らなくてよい。また、UAV1の大雑把な移動は、手動モードによる操縦で迅速に行い、UAV1が観察対象物に近づいた後は自動モードで、UAV1が自動で飛行する。操縦者は、UAV1またはUAV1の近傍の輝点群を目視したまま手元で操作可能であり、特別な機器の操作に気を使う必要がない。
実施形態2.
第1の実施形態では、UAV1が適切な姿勢となったときに、UAV1が観察対象物の表面に正対しているものとした。第2の実施形態では、適切な姿勢となったときのUAV1の状態は、UAV1が観察対象物の表面に正対した状態でなくてもよい。
第2の実施形態におけるUAV1の構成は、第1の実施形態におけるUAV1の構成と同様であり、図2のように表すことができる。ただし、第2の実施形態では、UAV1の方位角の情報も用いる。そのため、UAV1のIMU7(図2参照)は、IMU7が備える加速度センサが求めた重力の方向や加速度の方向等とともに、IMU7が備える方位角センサが求めたUAV1の方位角の情報も出力する。
また、UAV制御部4は、壁面までの距離と姿勢を求める際に、IMU7の方位角センサが求めたUAV1の方位角や、誘導装置11が求めた壁面(観察対象物の表面)の方位角を用いる。
UAV1のその他の点に関しては、第1の実施形態と同様である。
図12は、第2の実施形態における誘導装置11の構成例を示すブロック図である。第2の実施形態における誘導装置11は、第1の実施形態における誘導装置11が備える要素に加え、IMU17(図12参照)を備える。
誘導装置11のIMU17は、方位角センサを含み、少なくとも3軸(南北方向の軸、東西方向の軸、および高さ方向の軸)の方位角情報を全体制御部14に出力する。方位角センサは、地球の地磁気を基に、誘導装置11の方位角をリアルタイムで立体的に求める。なお、誘導装置11の方位角は、具体的には、レーザ光の光線の方位角(換言すれば、測距部12の光軸の方位角)である。本実施形態でも、各レーザ光が平行であるものとして説明する。また、IMU17に関しては、方位角の情報を求めることが重要であるが、IMU17は、さらに加速度センサを含んでいてもよい。IMU17が加速度センサを含んでいる場合、誘導装置11の振動を測定し測距部12のレーザ光に補正をかけたり、方位角をリアルタイムに検出する際に精度を高めたりすることができる。
なお、方位角センサは、地磁気センサに限定されない。例えば、方位角センサは、経緯儀(トランシット、セオドライト)に基準となる向きを割り当てた構成であってもよい。また、方位角センサは、時計と天体の向きから方位角を求める構成であってもよい。また、複数のGPSアンテナが設けられ、方位角センサは、各GPSアンテナから得られるGPS電波の位相差から方位角を求めてもよい。
次に、本発明の第2の実施形態の処理経過について説明する。手動モードでの処理経過は、第1の実施形態と同様であり、説明を省略する。
図13は、第2の実施形態における自動モードでの処理経過の例を示すフローチャートである。第1の実施形態における自動モードでの動作と同様の動作に関しては、図6と同一の符号を付す。
自動モードに移行後、誘導装置11のそれぞれの測距部12が、観察対象物の観察位置にレーザ光を照射する(ステップS11)。そして、IMU17が、誘導装置11の方位角(レーザ光の光線の方位角)を測定する(ステップS21)。
次に、それぞれの測距部12が、測距部12と観察対象物との距離を測定する(ステップS12)。第1の実施形態で説明したように、それぞれの測距部12が距離を測定した後には、測距制御部13は、各測距部12にレーザ光を連続照射させる。続いて、測距制御部13および全体制御部14は、複数の測距部12からレーザ光が照射されたことによって観察対象物に生じる輝点群の位置関係を計算する(ステップS13)。ステップS13において、測距制御部13は、第1の実施形態と同様に、式(1)の計算によって、レーザ光の光線と壁面とのなす角度θを求める。
ステップS11,S12,S13は、第1の実施形態におけるステップS11,S12、S13と同様である。
次に、誘導装置11の全体制御部14は、壁面の方位角を求める(ステップS22)。全体制御部14は、ステップS21で求めたレーザ光の光線の方位角と、ステップS13の処理過程で求められるレーザ光の光線と壁面とのなす角度θとを用いて、壁面の方位角を求める。
図14は、誘導装置11と壁面との位置関係を2次元で表した模式図である。D,D’は、図7に示したD,D’と同様である。また、L,L,ΔLも、第1の実施形態で説明したL,L,ΔLと同様である。
ステップS21で求めたレーザ光の光線の方位角(誘導装置11の方位角)をθとする。また、壁面の方位角をθとする(図14参照)。全体制御部14は、壁面の方位角θを以下に示す式(8)の計算によって算出する。
θ=θ+θ+(π/2) ・・・(8)
全体制御部14は、ステップS13で計算した輝点群の位置関係と、ステップS22で求めた壁面の方位角θとを、誘導装置通信部18を介してUAV1に伝送する。
次に、UAV1のIMU7は、UAV1の方位角を計測し、UAV1の方位角をUAV制御部4に出力する(ステップS23)。
次に、UAV制御部4は、撮像装置6で壁面に生じている輝点群を撮像し、撮像装置6が生成した画像内における各輝点の位置(座標)を求める(ステップS14)。このとき、各測距部12はレーザ光を連続照射しているので、各輝点が画像に写る。ステップS14は、第1の実施形態におけるステップS14と同様である。
そして、UAV制御部4は、ステップS13で計算された輝点群の位置関係と、画像内における輝点群の位置関係とに基づいて、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢を求める(ステップS24)。
ステップS24では、第1の実施形態におけるステップS15(図6参照)と同様の演算を行ってもよいが、第2の実施形態では、ステップS22で算出された壁面の方位角と、ステップS23でIMU7が求めたUAV1の方位角を用いる場合を例にして説明する。
第1の実施形態では、UAV制御部4が、UAV1の姿勢を表すα,β,γを、6元連立方程式(式(7))を解くことによって求める場合を例にして説明した。ここでは、UAV制御部4が、ステップS22で算出された壁面の方位角と、ステップS23でIMU7が求めたUAV1の方位角から、α,β,γを算出する。その上で、UAV制御部4は、各輝点とUAV1の撮像装置6との相対位置(相対距離)を表すt,t,tを算出する。例えば、UAV制御部4は、壁面の方位角とIMU7が求めたUAV1の方位角とから求めたα,β,γを、同次変換行列Rの要素r11〜r33に代入し、式(7)をt,t,tについて解くことによって、t,t,tを求めればよい。
相対距離や姿勢を算出する際に、IMU17の出力に基づいて算出された壁面の方位角や、IMU7の出力を用いることで、姿勢等をより正確に計算することができる。例えば、壁面と撮像装置6の光軸とのなす角度が90°である場合に撮像装置6が輝点群を撮影することによって得た画像と、その状態からわずかにずれた状態(例えば、壁面と撮像装置6の光軸とのなす角度が91°となった状態)で撮像装置6が輝点群を撮影することによって得た画像とでは、あまり変化がない。そのため、第1の実施形態で説明したように、連立方程式を解くことによって姿勢等を求める場合には、画像の変化が撮像誤差に埋もれてしまい、姿勢等の計算精度が低下する場合がある。一方、IMU17の出力に基づいて算出された壁面の方位角や、IMU7の出力を直接用いて、α,β,γを計算する場合には、より高い精度で、α,β,γ等を計算できる。
ただし、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢の算出方法は、上記の例に限定されない。
ステップS24の後、UAV制御部4は、ステップS24で算出された現在のUAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢に基づいて、UAV1と輝点群との距離、および、観察対象物に対するUAV1の姿勢が、所望の距離、所望の姿勢になるように、UAV1を制御し、UAV1を移動させたり、姿勢を変更させたりする(ステップS16)。ステップS16は、第1の実施形態におけるステップS16と同様である。ただし、第2の実施形態では、適切な姿勢となったときのUAV1の状態は、UAV1が観察対象物の表面に正対した状態でなくてもよい。すなわち、UAV制御部4は、UAV1が壁面の輝点群に対して一定距離を保ちつつ、撮像装置6が輝点群を画像内の適切な領域(例えば、中央の領域)に写すことができる位置に移動するように、UAV1を制御する。
自動モードが設定されている間、UAV1の位置を変更させる場合、ステップS16の後、再度、ステップS11以降の処理を繰り返す。
第2の実施形態では、第1の実施形態と同様の効果が得られる。
また、上述のように、相対距離や姿勢を算出する際に、IMU17の出力に基づいて算出された壁面の方位角や、IMU7の出力を用いることで、姿勢等をより正確に計算することができる。
また、第2の実施形態では、誘導装置11の全体制御部14は、IMU17の出力を用いて、壁面の方位角を求める。このため、UAV1が観察対象物の壁面と正対していなくても、UAV1と壁面との最短距離(UAV1と輝点群との距離ではない。)を求めることができる。そのため、UAV1が観察対象物に接触する危険性を低減することができる。
実施形態3.
第3の実施形態では、第1の実施形態または第2の実施形態の動作に加え、UAV1は、輝点群を見失った場合(すなわち、観察対象物の表面に生じた輝点群が撮像装置6の撮像範囲から外れた場合)に、輝点群が撮像装置6の撮像範囲に収まる状態に復帰する動作を実行する。
第3の実施形態における誘導装置11は、第1の実施形態または第2の実施形態における誘導装置11と同様である。
図15は、第3の実施形態におけるUAV1の構成例を示すブロック図である。第3の実施形態におけるUAV1は、第1の実施形態または第2の実施形態におけるUAV1が備える要素に加え、記憶装置9を備える。
記憶装置9は、撮像装置6が撮像によって得た画像と、IMU7が備える加速度センサが出力する加速度情報とを、画像や情報が得られた日時の情報とともに記憶する。なお、UAV制御部4に含まれるメモリまたはストレージが、記憶装置9として用いられてもよい。
第3の実施形態では、UAV制御部4は、第1の実施形態または第2の実施形態におけるUAV制御部4の機能に加え、以下に示す動作も行う。
UAV制御部4は、現在の日時を認識する。
UAV制御部4は、撮像装置6から画像を取得したり、IMU7から加速度情報を取得したりしたときに、その画像や加速度情報を、現在の日時(画像や加速度情報を取得した日時)とともに、記憶装置9に記憶させる。
UAV制御部4は、自動モードにおいて、撮像装置6が撮像によって得た画像中から輝点群が消失した場合、輝点群が消失した時点の直前の複数の画像および加速度情報を、記憶装置9から読み出し、その複数の画像や、加速度情報に基づいて、画像中から輝点群が消失する直前のUAV1の動きを推定する。
さらに、UAV制御部4は、上記のように推定したUAV1の動きを補正するように、UAV1または撮像装置6を駆動させる。
なお、第3の実施形態における必須の動作ではないが、UAV制御部4は、画像中から輝点群が消失する直前のUAV1の動きの推定結果や、UAV1の動きを補正するようにUAV1等を駆動させた結果に関する情報を、誘導装置11に通達してもよい。UAV制御部4がそのような動作を行う場合、誘導装置11が通達された情報を表示等すれば、操縦者は、UAV1の現在の状態を認識することができる。
次に、第3の実施形態の処理経過について説明する。第3の実施形態では、第1の実施形態または第2の実施形態における動作を実行することを前提とする。さらに、第3の実施形態では、UAV1は、以下に説明する動作を行う。図16は、第3の実施形態におけるUAV1の処理経過の例を示すフローチャートである。図16に示すフローチャートの動作開始時において、UAV1は自動モードで飛行していて、輝点群に対して、適切な距離および姿勢を保つように飛行しているものとする。
UAV制御部4は、撮像装置6から画像を取得したり、IMU7から姿勢情報(ここでは、具体的には、IMU7が備える加速度センサが出力する加速度情報)を取得したりする毎に、画像や姿勢情報(以下、加速度情報と記す。)に、その時点の日時の情報を対応付けて、記憶装置9に記憶させる(ステップS31)。
UAV制御部4は、撮像装置6から新たに画像を取得した場合、輝点群を見失ったか否かを判定する(ステップS32)。すなわち、UAV制御部4は、ステップS32において、観察対象物の表面に生じた輝点群が撮像装置6の撮像範囲から外れたか否かを判定する。UAV制御部4は、新たに取得した画像に輝点群が写っていない場合、輝点群を見失ったと判定すればよい。また、UAV制御部4は、新たに取得した画像に輝点群が写っている場合、輝点群を見失っていないと判定すればよい。
輝点群を見失っていない場合(ステップS32のNo)、UAV制御部4は、ステップS31以降の処理を再度、実行する。
輝点群を見失った場合(ステップS32のYes)、UAV制御部4は、輝点群を見失った時点の直前の複数の画像または加速度情報、あるいは、その両方を、記憶装置9から読み込む(ステップS33)。
次に、UAV制御部4は、ステップS33で読み込んだデータ(輝点群を見失った時点の直前の複数の画像または加速度情報、あるいは、その両方)を時系列順に並べて、輝点群を見失った時点の直前にUAV1が移動した方向や移動量を推定する(ステップS34)。輝点群を見失った時点の直前の複数の画像に基づいて推定する場合、UAV制御部4は、画像内の輝点群の位置が時系列順に変化した方向の逆の方向にUAV1が移動したと推定することができる。また、輝点群を見失った時点の直前の複数の加速度情報(IMU7の出力)に基づいて推定する場合、UAV制御部4は、各方向の加速度を2回積分した値がUAV1の移動方向であると推定することができる。画像に基づく推定と、加速度情報に基づく推定とをそれぞれ個別に行ってもよいが、UAV制御部4は、それらのデータを連動させることで、UAV1の移動推定精度を向上させることができる。
次に、UAV制御部4は、ステップS34で推定したUAV1の移動(輝点群を見失うまでのUAV1の移動)を打ち消すように、UAV1を制御し、撮像装置6で撮像を行うことによって、壁面上の輝点群を探索する(ステップS35)。UAV制御部4は、ステップS34で推定したUAV1の移動を打ち消すように、UAV1の姿勢および位置のいずれか一方または両方を変化させればよい。壁面上の輝点群を撮像できる状態になったならば(すなわち、画像に輝点群が写ったならば)、UAV制御部4は、引き続き自動モードでの動作を行い、また、ステップS31以降の処理を行う。UAV制御部4は、ステップS34で推定した移動方向とは逆方向に、推定した移動量だけ移動させるようにUAV1を制御してもよい。また、UAV制御部4は、ステップS35において、UAV1を移動させずに、UAV1の姿勢制御(回転制御)のみで輝点群を探索してもよい。また、ステップS35において、UAV制御部4は、一旦、観察対象物から離れる方向にUAV1を移動させることで撮像装置6の撮像範囲を広げ、輝点群の探索に成功した後に、改めて観察対象物に接近するようにUAV1を制御してもよい。
第1の実施形態および第2の実施形態で説明したように、UAV制御部4は、撮像装置6が輝点群を画像内の適切な領域に写すことができる位置に移動するように、UAV1を制御する。しかし、UAV1の移動速度は、画像等の検出速度に比べて遅いため、UAV1の制御が間に合わず、UAV制御部4が輝点群を見失う場合が発生し得る。第3の実施形態では、このような場合に、輝点群を撮像できる状態までUAV1を復帰させることができる。
また、UAV制御部4が輝点群を見失う態様として、UAV1が突風等の外乱により移動してしまった場合と、操縦者が誘導装置11の向きを変えたために観察対象物の表面上の輝点群の位置が変化してしまった場合の2種類が考えられる。前者の場合、撮像装置6が撮像によって生成した画像内の輝点群の位置は比較的ゆっくり移動し、また、IMU7もUAV1が移動したことを検出する。これに対し、後者の場合、UAV1は実際には動いていないため、IMU7はUAV1の移動を検出しない。さらに、UAV1と誘導装置11とが離れている場合には、誘導装置11の向きを変えた場合の輝点群位置の移動速度は非常に高速であるため、UAV1の撮像装置6から見た輝点は、突然消失したように見える場合が多い。よって、ステップS34において、UAV制御部4が、輝点群を見失った態様を検出し、ステップS35におけるUAV1の制御方法として、その態様に適した制御方法を用いることが好ましい。
すなわち、IMU7によってUAV1の移動が検出され、また、画像内の輝点群の移動が遅い場合には、UAV制御部4は、観察対象物上の輝点群の位置は変わらず、UAV1の位置が変換したと判断する。この場合、UAV制御部4は、UAV1が元の位置に戻るようにUAV1を制御する。また、IMU7によってUAV1の移動は検出されないが、画像内の輝点群の移動が速かったり、輝点群が突然画像内に写らなくなったりした場合には、UAV制御部4は、操縦者が誘導装置11の向きを変えたために観察対象物上の別の位置に輝点群が移動したと判断する。この場合、UAV制御部4は、撮像装置6の撮像範囲を広げるために、直前の画像に基づいて、観察対象物から離れる方向にUAV1を移動させるように制御するか、あるいは、撮像の向きを変えるために、UAV1を移動させずに姿勢を変えさせるように制御する。なお、撮像の向きを変える場合、UAV制御部4は、UAV1本体の向きではなく、角度制御部5を介して撮像装置6の向きだけを変化させてもよい。
第3の実施形態によれば、以下の効果が得られる。すなわち、自動モードでUAV1が安定的に飛行している際に、UAV1が突風等で動いてしまい輝点群が撮像装置6の撮像範囲から外れてしまったり、操縦者が誘導装置11の向きを変えたため輝点群が移動したにも関わらずUAV1の追随が間に合わなかったりする場合が生じ得る。本実施形態によれば、このような場合であっても、UAV制御部4は、輝点群の方向を推測し、自動で輝点群の追跡を再開することができる。
実施形態4.
第4の実施形態では、第1、第2、または第3の実施形態の動作に加えて、UAV1が輝点群ではなく観察対象物そのものの観察を目的として、観察対象物そのものを撮像する場合に、レーザ光を遮断するという動作を実行する。
第4の実施形態におけるUAV1および誘導装置11は、第1、第2、または第3の実施形態におけるUAV1および誘導装置11と同様である。ここでは、UAV1の構成が図2に示す構成と同様であり、誘導装置11の構成が図3に示す構成と同様である場合を例にして説明する。
第1から第3までの各実施形態では、自動モードでUAV1が観察対象物に近接する際、誘導装置11はレーザ光を照射し、ステップS14で、UAV制御部4は、撮像装置6で観察対象物の表面上に生じた輝点群を撮像する。しかし、例えば、観察対象物の状態の診断等を目的として、UAV1が観察対象物の表面そのものを撮像しようとする場合、観察対象物の表面に生じている輝点群は邪魔になる。
そこで、本実施形態では、UAV1が観察対象物の表面そのものを撮像する際、無人飛行装置制御システムは、誘導装置11からのレーザ光を遮断する。具体的には、無人飛行装置制御システムは、以下の動作を行う。
誘導装置11の全体制御部14は、レーザ光を遮断する場合、その旨の情報を、UAV1に通達する。この通達のトリガは、例えば、手動操作入力部15を介して入力される操縦者からの指示である。すなわち、レーザ光を遮断する旨の指示が手動操作入力部15を介して操縦者によって入力されたならば、全体制御部14は、レーザ光を遮断する旨の情報をUAV1に通達する。この通達のトリガは、上記の例に限定されない。例えば、ステップ16において輝点群を写した画像が得られたことを判定する処理系(この処理系は、UAV1内に設けられていても、UAV1とは別の装置として実現されていてもよい。)が、輝点群を写した画像が得られたと判定し、その旨を、誘導装置11に通知してもよい。誘導装置11の全体制御部14は、輝点群を写した画像が得られた旨の通知を受けたことをトリガとして、レーザ光を遮断する旨の情報をUAV1に通達してもよい。あるいは、全体制御部14は、レーザ光を遮断する旨の情報をUAV1に通達するタイミングを、タイマーに基づいて、判断してもよい。
全体制御部14は、レーザ光を遮断する旨の情報に、レーザ光の遮断時間の情報を含めてもよい。
全体制御部14は、レーザ光を遮断する旨の情報をUAV1に通達した後、レーザ光を遮断する。遮断時間もUAV1に通達した場合には、全体制御部14は、その遮断時間に合わせて、レーザ光を遮断する。
レーザ光を遮断する方法は、誘導装置11の各測距部12にレーザ光の照射を停止させる方法であってもよい。この場合、全体制御部14は、測距制御部13を介して、各測距部12にレーザ光の照射を停止させればよい。
あるいは、レーザ光を遮断する方法として、UAV1本体によって、レーザ光を遮断し、レーザ光が観察対象物に到達しないようにする方法を用いてもよい。この場合、全体制御部14は、レーザ光の光線と壁面とのなす角度、および、UAV1の位置とに基づいて、UAV1によって遮られるレーザ光の経路を決定すればよい。そして、全体制御部14は、測距制御部13を介して各測距部12に、その経路方向にレーザ光を照射させればよい。
UAV1のUAV制御部4は、レーザ光を遮断する旨の情報を受けた場合、IMU7が出力する情報に基づいて、UAV1を現在位置に留まらせるように、UAV1を制御する。その状態で、UAV制御部4は、撮像装置6に観察対象物を撮像させる。前述のように、全体制御部14は、レーザ光を遮断する旨の情報をUAV1に通達した後、レーザ光を遮断する。従って、撮像装置6は、輝点群が生じていない状態の観察対象物の表面を撮像し、その画像を生成することができる。
また、誘導装置11の全体制御装置14が、レーザ光の遮断を解除すると、再び、観察対象物の表面に輝点群が生じる。UAV1は、この輝点群により、適切な位置に移動すればよい。また、全体制御装置14は、レーザ光の遮断を解除する旨の情報をUAV1に通達してもよい。
本実施形態によれば、UAV1の撮像装置6は、輝点群が生じていない状態の観察対象物の表面を撮像し、その画像を生成することができる。従って、輝点群が写っていない画像によって、観察対象物の状態を観察することができる。
なお、誘導装置11が照射するレーザ光の波長とは異なる波長で、撮像装置6が撮像を実行できる場合には、第4の実施形態の動作は行わなくてよい。
実施形態5.
図17は、本発明の第5の実施形態における誘導装置11の構成例を示すブロック図である。本発明の第5の実施形態では、誘導装置11が、複数の測距部12(図3、図12を参照)の代わりに、多点測距部41を備える点で、既に説明した各実施形態と異なる。誘導装置11において、多点測距部41以外の各要素は、第1から第4までの実施形態のいずれかにおける各要素と同様であり、説明を省略する。また、第5の実施形態におけるUAV1は、第1から第4までの実施形態のいずれかにおけるUAV1と同様であり、説明を省略する。
多点測距部41は、多点測距部41のレーザ光出力端から出力されるレーザ光を、光線が平行になるようにしてシフトさせ、多点測距部41からレーザ光の反射点(輝点)までの距離を測定する。
図18は、多点測距部41の構成例を示す模式図である。多点測距部41は、レーザ距離計42と、平行平板回転装置43とを備える。レーザ距離計42は、レーザ光を照射する。平行平板回転装置43は、後述する平行平板の回転によって、レーザ距離計42が照射したレーザ光を平行にシフトする。また、レーザ距離計42は、平行平板回転装置43を制御し、平行平板の回転状態に対応する輝点までの距離を測定する。
図19は、平行平板回転装置43の構成例を示す模式図である。平行平板回転装置43は、平行平板44を有する回転部材45を備える。平行平板44は、一方の端面46と、他方の端面47とが平行になるように研磨された透明な基板である。平行平板44の材料は、例えば、ガラスまたは光学結晶等である。平行平板44は、中空の円筒形状の回転部材45の内部に取り付けられる。回転部材45は、その円筒の軸を回転軸として、モータやギア等(図示略)によって回転する。ここでは、回転部材45の回転軸と、レーザ距離計42(図18参照)が照射するレーザ光の光線とが一致するように、回転部材45が配置される場合を例にして説明する。ただし、回転部材45の回転軸と、レーザ距離計42が照射するレーザ光の光線とが一致せずに、平行であってもよい。さらに、回転部材45の回転軸と、レーザ距離計42が照射するレーザ光の光線とが平行でなくてもよい。
平行平板44は、レーザ距離計42が照射するレーザ光の光線に対して端面46,47が垂直にならないように、回転部材45の内部に設けられる。
回転部材45が回転することによって、多点測距部41のレーザ光出力端から出力されるレーザ光の光線が平行にシフトされ、その結果、輝点の位置が変化する。
平行平板44を有する回転部材45は、レーザ光の光路を平行移動させる光学素子であると言うことができる。
図20は、レーザ距離計42の構成例を示す模式図である。レーザ距離計42は、1つの光源51と、受光部52と、測定部53と、回転制御部54とを認識する。
光源51は、レーザ光を照射する。受光部52は、そのレーザ光の反射光を受光する。測定部53は、レーザ光の照射から受光までの時間差等に基づいて、輝点(反射点)までの距離を測定する。
回転制御部54は、モータやギア等(図示略)によって回転部材45を回転させ、基準位置からの回転量を認識する。基準位置からの回転量と、回転部材45から出力されるレーザ光の光線のシフト量とは対応している。従って、回転制御部54はレーザ光の光線のシフト量を認識すると言うことができる。
なお、受光部52は、平行平板回転装置43の外側に配置されていることが好ましい。レーザ距離計42が、パルス化したレーザ光を出力し、そのレーザ光が観察対象物で反射し、戻ってくるまでの間に回転部材45が回転し、反射光の経路が、往路と変わる可能性がある。受光部52を平行平板回転装置43の外側に配置することで、この影響を無視できる。
次に、第5の実施形態における動作について説明する。多点測距部41以外の動作は、他の実施形態の動作を変わらないため、以下では、多点測距部41の動作を説明し、多点測距部41以外の動作については説明を省略する。
レーザ距離計42の光源51から照射されたレーザ光は、平行平板回転装置43に入射する。平行平板回転装置43は、レーザ光の向きは変化させずに、回転部材45の回転状態に応じてレーザ光を平行移動させる。このため、観察対象物上のレーザ光照射位置(輝点の位置)は、レーザ距離計42の光源51から照射されたレーザ光の光線を延長した位置ではなく、回転部材45の回転状態に応じてシフトしている。
回転部材45の回転状態に応じたレーザ光のシフト量について、図19を参照して説明する。説明を簡単にするために、回転部材45の回転軸と、レーザ距離計42が照射するレーザ光の光線とが一致している場合を例にして説明する。
レーザ距離計42の光源51から照射されたレーザ光は、平行平板44に入射する際、端面46で屈折し、平行平板44から外部に出る際、端面47で屈折する。この結果、平行平板44から出たレーザ光の光線は、レーザ距離計42の光源51から照射されたレーザ光の光線(以下、元の光線と記す場合がある。)と平行であるが、元の光線からシフトしている。
所定方向(例えば、平行平板回転装置43の側方)から見た場合における、端面46(平行平板44におけるレーザ光入射側の端面)の垂線と、レーザ距離計42の光源51から照射されたレーザ光の光線とのなす角度をθとする。また、この所定方向から見た場合における、端面46の垂線と、端面46で屈折したレーザ光の進行方向とのなす角度をφとする。また、平行平板44の屈折率をNとする。この所定方向から見た場合における端面46と端面47の間隔をtとする。なお、平行平板44が平行四辺形であり、回転部材45に取り付けられている辺の長さをdとすると、t=dcosθである。
このとき、上記の所定方向から見た場合における、平行平板44から出たレーザ光の光線の元の光線に対するシフト量をsとすると、sは、以下に示す式(9)で表すことができる。
s=tcosθ(tanθ−tanφ) ・・・(9)
ただし、上記のように、t=dcosθである。また、φは、以下に示す式(10)で表すことができる。
φ=sin−1((1/N)sinθ) ・・・(10)
θは、回転部材45の回転(すなわち、平行平板44の回転)によって変化する。従って、回転部材45の回転角度を調整することで、シフト量を変えることができる。
なお、回転部材45の回転軸と、レーザ距離計42が照射するレーザ光の光線とが一致せずに平行であってもよい。また、回転部材45の回転軸と、レーザ距離計42が照射するレーザ光の光線とが平行でなくてもよい。この場合であっても、多点測距部41(より具体的には、平行平板回転装置43)からは、レーザ光を平行にシフトして出力することができる。
本発明では、複数の輝点を発生させ、それぞれの輝点までの距離を測定する必要がある。第5の実施形態では、多点測距部41は、個々の輝点の発生を時間的にずらす。すなわち、レーザ距離計42の回転制御部54が、少しずつ回転部材45を回転させることでレーザ光の光線のシフト量を変え、輝点の発生位置をずらす。そして、位置をずらして輝点を発生させ、レーザ距離計42の測定部53は、現在発生させている輝点までの距離を測定すればよい。例えば、回転制御部54が、回転部材45を90°ずつ回転させる毎に、光源51がレーザ光を照射すれば、時間および位置をずらして4個の輝点を発生させることができる。レーザ距離計42の測定部53は、それら4個の輝点までの距離を、個々の輝点を発生させる度に、順次、測定すればよい。
また、ステップS14で撮像装置6が輝点群を撮像する場合、多点測距部41が、輝点の位置をずらす動作を高速に行うことによって、撮像装置6は撮像の結果、輝点群が写った画像を生成することができる。
なお、レーザ距離計42において、回転制御部54が回転部材45を回転させながら光源51がレーザ光を照射してもよい。あるいは、光源51がレーザ光を照射するときに、回転制御部54が回転部材45の回転を一旦、停止し、レーザ光の照射終了後に再度、回転部材45を回転させてもよい。
第5の実施形態によれば、誘導装置11は、複数の測距部12の代わりに、1つの多点測距部41を備える。従って、誘導装置11の構成を簡易にすることができる。また、本実施形態によれば、輝点までの距離を測定する要素を1つだけ備えているので、輝点までの距離を測定する要素が複数存在する場合における個体差による距離測定誤差を減らすことができる。また、本実施形態では、多点測距部41から出力されるレーザ光の平行度は、平行平板44の端面46,47の平行度のみで決まり、平行平板44の取り付け精度には依存しない。端面46,47が平行になるように平行平板44を作成することは容易であり、多点測距部41から出力されるレーザ光の平行度を容易に向上させることができる。輝点までの距離の測定精度や、レーザ光の平行度は、UAV1と観察対象物との距離やUAV1の姿勢に影響するので、本実施形態では、UAV1の位置決め精度を向上させるという効果も得ることができる。
実施形態6.
図21は、本発明の第6の実施形態における誘導装置11の構成例を示すブロック図である。本発明の第6の実施形態の誘導装置11は、第1から第5までの実施形態のいずれかにおける誘導装置11の要素に加え、画像処理装置61と、自動雲台62とを備える。誘導装置11において、画像処理装置61および自動雲台62以外の各要素は、第1から第5までの実施形態のいずれかにおける各要素と同様であり、説明を省略する。また、第6の実施形態におけるUAV1は、第1から第5までの実施形態のいずれかにおけるUAV1と同様であり、説明を省略する。ただし、手動モードでの動作は、前述の各実施形態とは一部異なる。
画像処理装置61はカメラ(図示略)を含み、そのカメラは、UAV1を撮影するために用いられる。画像処理装置61は、そのカメラでUAV1を撮像した結果得られる画像に基づいて、UAV1の進行方向を判定し、その判定結果を、全体制御部14に通知する。また、カメラおよび各測距部12の向きが同じになるように、画像処理装置61は、誘導装置11に設けられている。
自動雲台62は、モータで2軸回転可能な台である。自動雲台62には、誘導装置11本体が取り付けられている。
全体制御部14は、画像処理装置61から通知されたUAV1の進行方向にカメラを向けるように、自動雲台62の向きを制御する。すなわち、全体制御部14は、画像処理装置61のカメラがUAV1を自動追尾するように自動雲台62の向きを制御する。
第6の実施形態では、手動モードにおいて、誘導装置11は、ステップS1(図5参照)のレーザ光照射を実行しなくてよい。
第6の実施形態では、手動モードにおいて、操縦者は、輝点群を目標としてUAV1を観察対象物の表面の輝点群の近傍に近づけなくてよい。操縦者は、UAV1を観察対象物に近づけるようにUAV1を操縦し、UAV1は手動操作情報に従って飛行すればよい。
この間、画像処理装置61のカメラはUAV1を撮像し、その結果得られる画像に基づいて、UAV1の進行方向を判定し、その判定結果を、全体制御部14に通知する。
全体制御部14は、画像処理装置61から通知されたUAV1の進行方向にカメラを向けるように、自動雲台62の向きを制御することによって、カメラによってUAV1を追尾する。
UAV1が観察対象物の近傍に近づいたことによって、操縦者は手動モードから自動モードに移行させる場合、レーザ光照射の指示を誘導装置11に入力する。すると、全体制御部14は、UAV1の追尾を終了し、その時点におけるUAV1またはUAV1の近傍にレーザ光を照射する。すなわち、全体制御部14は、測距制御部13を介して、各測距部12にレーザ光を照射させる。画像処理装置61は、カメラおよび各測距部12の向きが同じになるように、誘導装置11に設けられ、誘導装置11本体は自動雲台62に取り付けられる。従って、誘導装置11は、UAV1またはUAV1の近傍にレーザ光を照射することができる。
操縦者は、UAV1が観察対象物の近傍に近づいたときに、レーザ光照射を指示する。従って、上記のように、誘導装置11がレーザ光を照射した場合、そのレーザ光はUAV1の近傍の観察対象物に照射され輝点が生じる。無人飛行装置制御システムは、この状態をステップS11として、自動モードの動作を行えばよい。
第1から第5までの各実施形態では、手動モードから自動モードに切り替わる時に、ステップS11(図6、図13を参照)を実行する。このとき、UAV1の位置と、観察対象物におけるレーザ光照射位置とが離れていると、手動モードから自動モードにスムーズに移行しない場合が生じ得る。
本実施形態では、手動モードにおいて、誘導装置11がUAV1を追尾し、手動モードから自動モードへの移行時に、レーザ光照射の指示が入力されると、誘導装置11は、UAV1またはUAV1の近傍にレーザ光を照射する。従って、UAV1の位置と、観察対象物におけるレーザ光照射位置とが近く、手動モードから自動モードにスムーズに移行しやすくなる。その結果、操縦者が無人飛行装置制御システムを操作する際の操作性が向上する。
第6の実施形態では、誘導装置11が複数の測距部12を備える場合を例にして説明したが、誘導装置11は、複数の測距部12の代わりに、多点測距部41(図17参照)を備えていてもよい。
実施形態7.
本発明の第7の実施形態における誘導装置11およびUAV1の構成は、第1から第6までの実施形態のいずれかにおける誘導装置11およびUAV1の構成と同様である。
ただし、各測距部12が、測距部12と観察対象物との距離を測定する動作(ステップS12の動作)が、前述の各実施形態と異なる。
各測距部12は、それぞれ、測距部12と観察対象物との距離を測定する際、一定範囲内でレーザ光の照射位置を変化させる。そして、各測距部12は、一定範囲内でレーザ光の照射位置を変化させる毎に、測距部12から反射点(輝点)までの距離を測定する。すなわち、各測距部12は、それぞれ、一定範囲内に複数の輝点を発生させ、その輝点毎に輝点までの距離を測定する。そして、各測距部12は、それぞれ、測定した距離の統計値(例えば、平均値または中央値)を計算し、その統計値を、距離の測定結果として測距制御部13に出力する。
複数の測距部12は、所定個数(測距部12の数と同数)の一定範囲毎に、一定範囲内に複数の輝点を発生させ、一定範囲内の各輝点について測定した距離の統計値を求めているということができる。この結果、所定個数の統計値が得られ、その統計値が、それぞれ、測距部12から輝点までの距離であるとみなされる。
その他の点については、前述の各実施形態と同様である。また、輝点までの距離を測定する処理の後には、各測距部12は、一定範囲内でレーザ光の照射位置を変化させなくてよい。
前述の各実施形態では、観察対象物の表面が平面であるものとして説明した。観察対象物の表面に微細な凹凸が存在した場合、各測距部12が測定した輝点までの距離には、その凹凸による誤差が含まれてしまう。すると、輝点群の位置関係の計算結果に誤差が含まれてしまい、UAV1の誘導精度が低下する可能性がある。
本実施形態では、各測距部12は、それぞれ、一定範囲内に複数の輝点を発生させ、その輝点毎に輝点までの距離を測定し、測定した距離の統計値を距離の測定結果として、測距制御部13に出力する。従って、観察対象物の表面に微細な凹凸が存在したとしても、距離測定の誤差を小さくし、その結果、UAV1の誘導精度の低下を防止することができる。
第7の実施形態では、誘導装置11が複数の測距部12を備える場合を例にして説明したが、誘導装置11は、複数の測距部12の代わりに、多点測距部41(図17参照)を備えていてもよい。この場合、多点測距部41は、測定しようとする輝点までの距離の数だけ、一定範囲を定め、その一定範囲毎に、一定範囲内に複数の輝点を発生させ、その輝点毎に輝点までの距離を測定し、測定した距離の統計値を距離の測定結果とすればよい。
次に、本発明の概要について説明する。図22は、本発明の無人飛行装置制御システムの概要を示すブロック図である。本発明の無人飛行装置制御システム100は、光照射部101と、制御部102とを備える。
光照射部101(例えば、複数の測距部12、あるいは、多点測距部41)は、対象物(例えば、観察対象物)に対して光(例えば、レーザ光)を照射する。
制御部102(例えば、UAV制御部4)は、照射された光により対象物上に生じた輝点群の位置関係と、無人飛行装置(例えば、UAV1)に搭載された撮像装置(例えば、撮像装置6)により輝点群を撮像して得られた画像における輝点群の位置関係とに基づき、無人飛行装置の飛行を制御する。
そのような構成により、無人飛行装置の飛行時間の短縮を防止しつつ、対象物の近傍に精度よく無人飛行装置を誘導することができる。
光照射部101が、光照射部101と対象物上に生じた各輝点との距離をそれぞれ測定し、光照射部101と各輝点との距離に基づいて、対象物上に生じた輝点群の位置関係を計算する位置関係計算部(例えば、全体制御部14)を備えていてもよい。
光照射部101が、無人飛行装置を誘導する誘導装置(例えば、誘導装置11)に備えられ、誘導装置が、当該誘導装置の方位角を検出する方位角検出部(例えば、誘導装置11のIMU17)と、誘導装置の方位角に基づいて、対象物の表面の方位角を計算する方位角計算部(例えば、全体制御部14)とを備えていてもよい。
制御部102が、対象物上に生じた輝点群が撮像装置の撮像範囲から外れた場合に、輝点群が撮像範囲から外れる直前の無人飛行装置の動きを推定し、当該動きを打ち消すように無人飛行装置の姿勢および位置のいずれか一方または両方を変化させてもよい。
光照射部101が、無人飛行装置に搭載された撮像装置が対象物そのものの撮像を目的として撮像を実行する場合に、光を遮断してもよい。
光照射部101が、光を照射する1つの光源(例えば、光源51)と、光の光路を平行移動させる光学素子(例えば、平行平板44を有する回転部材45)と、光学素子による光路の平行移動量を認識する認識部(例えば、回転制御部54)と、光の反射光を受光する受光部(例えば、受光部52)と、光照射部101から光の反射点までの距離を測定する測定部(例えば、測定部53)とを含む構成であってもよい。
光照射部101が、無人飛行装置を誘導する誘導装置(例えば、誘導装置11)に備えられ、誘導装置が、無人飛行装置を撮像することで得た画像に基づいて無人飛行装置の進行方向を判定する画像処理装置(例えば、画像処理装置61)と、進行方向の判定結果に基づいて当該誘導装置を無人飛行装置の方向に向ける駆動部(例えば、自動雲台62)とを備えていてもよい。
光照射部101が、光照射部101と対象物上に生じた各輝点との距離をそれぞれ測定し、光照射部101と輝点との距離を測定するときに、一定範囲内で光の照射位置を変え、照射位置を変える毎に距離を測定し、測定した距離の統計値を、光照射部101とその輝点との距離として定めてもよい。
本発明は、無人飛行装置を制御する無人飛行装置制御システムに好適に適用される。
1 UAV
2 モータ
3 モータドライバ
4 UAV制御部
5 角度制御部
6 撮像装置
7 IMU
8 UAV通信部
11 誘導装置
12 測距部
13 測距制御部
14 全体制御部
15 手動操作入力部
16 記憶部
18 誘導装置通信部

Claims (10)

  1. 対象物に対して光を照射する光照射部と、
    照射された光により前記対象物上に生じた輝点群の位置関係と、無人飛行装置に搭載された撮像装置により前記輝点群を撮像して得られた画像における前記輝点群の位置関係とに基づき、前記無人飛行装置の飛行を制御する制御部とを備える
    ことを特徴とする無人飛行装置制御システム。
  2. 光照射部は、当該光照射部と対象物上に生じた各輝点との距離をそれぞれ測定し、
    前記光照射部と各輝点との距離に基づいて、前記対象物上に生じた輝点群の位置関係を計算する位置関係計算部を備える
    請求項1に記載の無人飛行装置制御システム。
  3. 光照射部は、無人飛行装置を誘導する誘導装置に備えられ、
    前記誘導装置は、
    当該誘導装置の方位角を検出する方位角検出部と、
    前記誘導装置の方位角に基づいて、対象物の表面の方位角を計算する方位角計算部とを備える
    請求項1または請求項2に記載の無人飛行装置制御システム。
  4. 制御部は、対象物上に生じた輝点群が撮像装置の撮像範囲から外れた場合に、前記輝点群が前記撮像範囲から外れる直前の無人飛行装置の動きを推定し、当該動きを打ち消すように前記無人飛行装置の姿勢および位置のいずれか一方または両方を変化させる
    請求項1から請求項3のうちのいずれか1項に記載の無人飛行装置制御システム。
  5. 光照射部は、無人飛行装置に搭載された撮像装置が対象物そのものの撮像を目的として撮像を実行する場合に、光を遮断する
    請求項1から請求項4のうちのいずれか1項に記載の無人飛行装置制御システム。
  6. 光照射部は、
    光を照射する1つの光源と、
    前記光の光路を平行移動させる光学素子と、
    前記光学素子による前記光路の平行移動量を認識する認識部と、
    前記光の反射光を受光する受光部と、
    当該光照射部から前記光の反射点までの距離を測定する測定部とを含む
    請求項1から請求項5のうちのいずれか1項に記載の無人飛行装置制御システム。
  7. 光照射部は、無人飛行装置を誘導する誘導装置に備えられ、
    前記誘導装置は、
    前記無人飛行装置を撮像することで得た画像に基づいて前記無人飛行装置の進行方向を判定する画像処理装置と、
    前記進行方向の判定結果に基づいて当該誘導装置を前記無人飛行装置の方向に向ける駆動部とを備える
    請求項1から請求項6のうちのいずれか1項に記載の無人飛行装置制御システム。
  8. 光照射部は、
    当該光照射部と対象物上に生じた各輝点との距離をそれぞれ測定し、
    当該光照射部と輝点との距離を測定するときに、一定範囲内で光の照射位置を変え、前記照射位置を変える毎に距離を測定し、測定した距離の統計値を、当該光照射部と前記輝点との距離として定める
    請求項1から請求項7のうちのいずれか1項に記載の無人飛行装置制御システム。
  9. 光照射部が、対象物に対して光を照射し、
    制御部が、照射された光により前記対象物上に生じた輝点群の位置関係と、無人飛行装置に搭載された撮像装置により前記輝点群を撮像して得られた画像における前記輝点群の位置関係とに基づき、前記無人飛行装置の飛行を制御する
    ことを特徴とする無人飛行装置制御方法。
  10. 撮像装置と、
    対象物に対して照射された光により前記対象物上に生じた輝点群の位置関係と、前記撮像装置により前記輝点群を撮像して得られた画像における前記輝点群の位置関係とに基づき、飛行を制御する制御部とを備える
    ことを特徴とする無人飛行装置。
JP2016118474A 2016-06-15 2016-06-15 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置 Active JP6812667B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016118474A JP6812667B2 (ja) 2016-06-15 2016-06-15 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016118474A JP6812667B2 (ja) 2016-06-15 2016-06-15 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置

Publications (2)

Publication Number Publication Date
JP2017224123A true JP2017224123A (ja) 2017-12-21
JP6812667B2 JP6812667B2 (ja) 2021-01-13

Family

ID=60688125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016118474A Active JP6812667B2 (ja) 2016-06-15 2016-06-15 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置

Country Status (1)

Country Link
JP (1) JP6812667B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139172A1 (ja) * 2018-01-15 2019-07-18 本郷飛行機株式会社 情報処理システム
WO2019193642A1 (ja) * 2018-04-03 2019-10-10 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
WO2020116232A1 (ja) * 2018-12-05 2020-06-11 ソニー株式会社 制御装置、制御方法、およびプログラム
WO2020225894A1 (ja) * 2019-05-09 2020-11-12 日本電気株式会社 位置管理装置、位置管理システム、位置管理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2020200704A (ja) * 2019-06-12 2020-12-17 西松建設株式会社 水路トンネル検査装置及び水路トンネル検査装置の制御方法
WO2021006026A1 (ja) * 2019-07-10 2021-01-14 ブルーイノベーション株式会社 自己位置特定方法
CN113741541A (zh) * 2021-09-28 2021-12-03 广州极飞科技股份有限公司 无人设备飞行控制方法、装置、系统、设备及存储介质
WO2022259799A1 (ja) * 2021-06-09 2022-12-15 富士フイルム株式会社 制御装置、飛行体システム、制御方法、及びプログラム
US20220404837A1 (en) * 2019-11-20 2022-12-22 Nec Corporation Moving body control system, moving body control apparatus, and moving body control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2013257742A (ja) * 2012-06-13 2013-12-26 Sumitomo Heavy Ind Ltd 移動体位置推定方法及び移動体
WO2014020744A1 (ja) * 2012-08-02 2014-02-06 トヨタ自動車株式会社 路面状態取得装置およびサスペンションシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2013257742A (ja) * 2012-06-13 2013-12-26 Sumitomo Heavy Ind Ltd 移動体位置推定方法及び移動体
WO2014020744A1 (ja) * 2012-08-02 2014-02-06 トヨタ自動車株式会社 路面状態取得装置およびサスペンションシステム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019139172A1 (ja) * 2018-01-15 2020-02-27 本郷飛行機株式会社 情報処理システム
WO2019139172A1 (ja) * 2018-01-15 2019-07-18 本郷飛行機株式会社 情報処理システム
JP2021170372A (ja) * 2018-01-15 2021-10-28 本郷飛行機株式会社 情報処理システム
JPWO2019193642A1 (ja) * 2018-04-03 2021-04-30 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
WO2019193642A1 (ja) * 2018-04-03 2019-10-10 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
WO2020116232A1 (ja) * 2018-12-05 2020-06-11 ソニー株式会社 制御装置、制御方法、およびプログラム
US11814155B2 (en) 2018-12-05 2023-11-14 Sony Group Corporation Control apparatus and control method for specular object detection based on an unmanned aerial vehicle's reflection
WO2020225894A1 (ja) * 2019-05-09 2020-11-12 日本電気株式会社 位置管理装置、位置管理システム、位置管理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7160187B2 (ja) 2019-05-09 2022-10-25 日本電気株式会社 位置管理装置、位置管理方法及びプログラム
JPWO2020225894A1 (ja) * 2019-05-09 2020-11-12
JP2020200704A (ja) * 2019-06-12 2020-12-17 西松建設株式会社 水路トンネル検査装置及び水路トンネル検査装置の制御方法
JP7232719B2 (ja) 2019-06-12 2023-03-03 西松建設株式会社 水路トンネル検査装置及び水路トンネル検査装置の制御方法
WO2021006026A1 (ja) * 2019-07-10 2021-01-14 ブルーイノベーション株式会社 自己位置特定方法
US20220404837A1 (en) * 2019-11-20 2022-12-22 Nec Corporation Moving body control system, moving body control apparatus, and moving body control method
WO2022259799A1 (ja) * 2021-06-09 2022-12-15 富士フイルム株式会社 制御装置、飛行体システム、制御方法、及びプログラム
CN113741541A (zh) * 2021-09-28 2021-12-03 广州极飞科技股份有限公司 无人设备飞行控制方法、装置、系统、设备及存储介质

Also Published As

Publication number Publication date
JP6812667B2 (ja) 2021-01-13

Similar Documents

Publication Publication Date Title
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
CN113029117B (zh) 飞行传感器
US9073637B2 (en) Flying vehicle guiding system and flying vehicle guiding method
KR101553998B1 (ko) 무인 항공기를 제어하기 위한 시스템 및 방법
EP2895819B1 (en) Sensor fusion
KR20190035496A (ko) 항공 비파괴 검사를 위한 포지셔닝 시스템
US20190346562A1 (en) Systems and methods for radar control on unmanned movable platforms
JP7022559B2 (ja) 無人航空機の制御方法および無人航空機の制御用プログラム
US10474152B2 (en) Path-based flight maneuvering system
US20220210335A1 (en) Autofocusing camera and systems
JP6302660B2 (ja) 情報取得システム、無人飛行体制御装置
EP2208083B1 (en) System for the precision localization of a target on the ground by a flying platform and associated method of operation
JP2007240506A (ja) 3次元形状と3次元地形計測法
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
JP2019184267A (ja) 位置計測方法、位置計測装置及び位置計測システム
US20220099442A1 (en) Surveying System
JP7362203B2 (ja) 無人移動体
JP2019016197A (ja) 移動体誘導システム
JP2017016395A (ja) 経路生成方法とシステム
JP2019219206A (ja) 測定システム
KR102209882B1 (ko) 비행 드론을 통한 구조물 검사 시스템
JP2023048409A (ja) 測量システム
KR20220031574A (ko) 3차원 측위 및 지도작성 시스템 및 방법
JP2022067500A (ja) 測量システム
JP2023043575A (ja) 移動体システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201130

R150 Certificate of patent or registration of utility model

Ref document number: 6812667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150