JP2022095408A - 処理システム、飛行体、処理方法及びプログラム - Google Patents

Abstract

【課題】本開示は、飛行体の動きをより精度良く制御することを目的とする。【解決手段】処理システム４は、飛行体１の姿勢に関する姿勢データを生成する。飛行体１は、カメラ２と、センサ３と、を備える。カメラ２は、飛行体１の周辺環境を撮像して画像データを生成する。センサ３は、飛行体１の動きを検出して検出データを生成する。処理システム４は、第１取得部４１と、第２取得部４２と、処理部４３と、を備える。第１取得部４１は、カメラ２で生成された画像データを取得する。第２取得部４２は、センサ３で生成された検出データを取得する。処理部４３は、画像データ及び検出データを用いて姿勢データを生成する。【選択図】図１

Description

本開示は一般に処理システム、飛行体、処理方法及びプログラムに関し、より詳細には、飛行体の姿勢に関する姿勢データを生成する処理システム、飛行体、処理方法及びプログラムに関する。

特許文献１に記載の飛行体の姿勢角検出装置（処理システム）は、２台１組のカメラからなるステレオカメラと、ステレオ処理部と、姿勢角算出部と、を備える。ステレオカメラは、飛行体に搭載されて下方風景をステレオ撮像する。ステレオ処理部は、ステレオカメラで撮像した一対の撮像画像を処理して下方風景に対する距離情報を算出する。姿勢角算出部は、複数の計測点の距離情報に基づいて下方の表面形状を平面として求め、該平面の飛行体に対する傾きより、飛行体の姿勢角を算出する。

特開２００２－１８８９１７号公報

特許文献１に記載の姿勢角検出装置（処理システム）では、飛行体の姿勢角（動き）が算出される周期は、カメラが撮像画像（画像データ）を生成する周期（撮像周期）に依存して決まる。そのため、撮像周期よりも短い周期では、飛行体の動きを算出することができなかった。そのため、飛行体の動きを精度良く制御できない場合があった。

本開示は、飛行体の動きをより精度良く制御することができる処理システム、飛行体、処理方法及びプログラムを提供することを目的とする。

本開示の一態様に係る処理システムは、飛行体の姿勢に関する姿勢データを生成する。前記飛行体は、カメラと、センサと、を備える。前記カメラは、前記飛行体の周辺環境を撮像して画像データを生成する。前記センサは、前記飛行体の動きを検出して検出データを生成する。処理システムは、第１取得部と、第２取得部と、処理部と、を備える。前記第１取得部は、前記カメラで生成された前記画像データを取得する。前記第２取得部は、前記センサで生成された前記検出データを取得する。前記処理部は、前記画像データ及び前記検出データを用いて前記姿勢データを生成する。

本開示の一態様に係る飛行体は、前記処理システムと、前記カメラと、前記センサと、前記処理システムを搭載した装置本体と、動力源を用いて前記装置本体を飛行させる動力装置と、を備える。

本開示の一態様に係る処理方法は、飛行体の姿勢に関する姿勢データを生成する処理方法である。前記飛行体は、カメラと、センサと、を備える。前記カメラは、前記飛行体の周辺環境を撮像して画像データを生成する。前記センサは、前記飛行体の動きを検出して検出データを生成する。前記処理方法は、第１取得ステップと、第２取得ステップと、生成ステップと、を有する。前記第１取得ステップでは、前記カメラで生成された前記画像データを取得する。前記第２取得ステップでは、前記センサで生成された前記検出データを取得する。前記生成ステップでは、前記画像データ及び前記検出データを用いて前記姿勢データを生成する。

本開示の一態様に係るプログラムは、前記処理方法を、１以上のプロセッサに実行させるためのプログラムである。

本開示は、飛行体の動きをより精度良く制御できるという利点がある。

図１は、一実施形態に係る飛行体のブロック図である。 図２は、同上の飛行体を模式的に表す下面図である。 図３は、同上の飛行体を模式的に表す平面図である。 図４は、同上の飛行体において行われる処理を表すフローチャートである。 図５は、同上の飛行体における検出誤差を示すグラフである。

以下、実施形態に係る処理システム、飛行体、処理方法及びプログラムについて、図面を用いて説明する。ただし、下記の実施形態は、本開示の様々な実施形態の１つに過ぎない。下記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、下記の実施形態において説明する各図は、模式的な図であり、図中の各構成要素の大きさ及び厚さそれぞれの比が必ずしも実際の寸法比を反映しているとは限らない。

（概要）
まず、図１を参照して、処理システム４及び飛行体１の概要を説明する。

本実施形態の処理システム４は、飛行体１の姿勢に関する姿勢データを生成する。飛行体１は、カメラ２と、センサ３と、を備える。カメラ２は、飛行体１の周辺環境を撮像して画像データを生成する。センサ３は、飛行体１の動きを検出して検出データを生成する。処理システム４は、第１取得部４１と、第２取得部４２と、処理部４３と、を備える。第１取得部４１は、カメラ２で生成された画像データを取得する。第２取得部４２は、センサ３で生成された検出データを取得する。処理部４３は、画像データ及び検出データを用いて姿勢データを生成する。

一般に、カメラ２が画像データを生成する周期は、飛行体１の動きを検出するセンサ３が検出データを生成（更新）する周期よりも長い。そこで、上記の構成により、画像データのみを用いて姿勢データを生成する場合と比較して、姿勢データの更新の頻度を高くすることができる。また、検出データのみを用いて姿勢データを生成する場合と比較して、姿勢データの精度を向上させることができる。よって、飛行体１の動きをより精度良く制御することができる。

また、飛行体１は、処理システム４と、カメラ２と、センサ３と、装置本体６１（図２参照）と、動力装置５と、を備える。装置本体６１は、処理システム４を搭載している。動力装置５は、動力源を用いて装置本体６１を飛行させる。動力源は、例えば、電力である。

（詳細）
（１）全体構成
以下、飛行体１の構成について、より詳細に説明する。

飛行体１は、遠隔操作又は自動操縦により飛行できるものであって構造上人が乗ることができないもの、すなわちドローン（空中ドローン）である。ドローンは、無人航空機の一種である。また、ドローンは、３つ以上のプロペラ５２を有したマルチコプターの一種である。ドローンは、自律的に飛行する機能を有している。ドローンは、３つ以上のプロペラ５２の各々の回転数を制御することで、機体（装置本体６１）の姿勢を制御する。また、機体の姿勢の変化に応じて、機体の移動方向が変化する。

図１に示すように、飛行体１は、カメラ２と、センサ３と、処理システム４と、動力装置５と、記憶部１１と、電源部１２と、通信部１３と、を備える。動力装置５は、複数（本実施形態では、４つ。図１では１つのみを図示している。）のモータ５１と、複数（図２では４つ）のプロペラ５２と、を有する。また、図２、図３に示すように、飛行体１は、装置本体６１と、複数（図２では４つ）のアーム６２と、複数（本実施形態では、４つ。図３では２つのみを図示している。）のスキッド６３と、を更に備える。

（２）飛行体の構造部分
図２、図３では、装置本体６１のロール軸、ピッチ軸及びヨー軸を、Ｘ軸、Ｙ軸及びＺ軸として図示している。Ｘ軸、Ｙ軸及びＺ軸を表す矢印はそれぞれ、説明のために表記しているに過ぎず、実体を伴わない。

装置本体６１は、例えば、直方体状に形成されている。装置本体６１からは、４つのアーム６２が延びている。各アーム６２の先端には、プロペラ５２が取り付けられている。以下では、４つのプロペラ５２を区別するために、４つのプロペラ５２をそれぞれプロペラ５２Ａ、５２Ｂ、５２Ｃ、５２Ｄと称することがある。４つのプロペラ５２Ａ、５２Ｂ、５２Ｃ、５２Ｄは、装置本体６１を囲む周方向において（ヨー軸（Ｚ軸）の周りに）この順に並んでいる。

４つのプロペラ５２のうち２つのプロペラ５２Ａ、５２Ｃは、第１の向きに回転し、残りの２つのプロペラ５２Ｂ、５２Ｄは、第１の向きとは反対向きの第２の向きに回転する。互いに対角に位置する２つのプロペラ５２は、同じ向きに回転する。

４つのプロペラ５２は、４つのモータ５１と一対一で対応する。４つのプロペラ５２の各々が、対応するモータ５１の駆動力により回転力し、推力を発生させる。４つのプロペラ５２の各々の推力に応じて、装置本体６１の姿勢及び加速度が変化する。例えば、飛行体１の前半分に設けられた２つのプロペラ５２Ｃ、５２Ｄの回転数を、飛行体１の後ろ半分に設けられた２つのプロペラ５２Ａ、５２Ｂの回転数よりも小さくすることで、飛行体１が前傾するので、飛行体１に前寄りの推力が発生して飛行体１が前進する。

また、４つのプロペラ５２から装置本体６１に作用するトルクは、４つのプロペラ５２の各々の回転数により決まる。例えば、互いに対角に位置する２つのプロペラ５２Ａ、５２Ｃの回転数を、残りの２つのプロペラ５２Ｂ、５２Ｄの回転数よりも小さく又は大きくしたとする。すると、２つのプロペラ５２Ａ、５２Ｃのトルクと２つのプロペラ５２Ｂ、５２Ｄのトルクとの差分に相当するトルクが装置本体６１に作用するので、装置本体６１がヨー軸（Ｚ軸）を中心に回転する。

センサ３は、装置本体６１に内蔵されている。図２に示すように、センサ３は、飛行体１のヨー軸の方向から見て装置本体６１の中心６１０（幾何中心）を含む中心領域に配置されている。

また、カメラ２の一部は、装置本体６１の下面６１１から露出している。カメラ２は、飛行体１のヨー軸の方向から見て装置本体６１の中心６１０を含む領域に配置されている。飛行体１のヨー軸の方向から見て、カメラ２の少なくとも一部とセンサ３とは、重なっている。

複数のスキッド６３は、複数のアーム６２から突出している。複数のスキッド６３は、飛行体１が着陸した際に、地面等の着陸面に接する。これにより、複数のスキッド６３は、装置本体６１を支持する。

（３）カメラ
カメラ２は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の二次元イメージセンサを有する。

カメラ２は、飛行体１の周辺環境を撮像する。これにより、カメラ２は、画像データを生成する。本実施形態のカメラ２は、飛行体１の下方の環境を撮像する。より詳細には、カメラ２は、飛行体１の下方の地面等の基準面を含む環境を撮像する。カメラ２は、所定の時間間隔で画像データを生成する。

本実施形態では一例として、カメラ２は、ステレオカメラである。ステレオカメラは、２眼のカメラである。すなわち、カメラ２は、２つのレンズを有する。カメラ２は、２つのレンズにそれぞれ入射した光に基づいて、２つの画像データを生成する。

なお、ステレオカメラであるカメラ２に代えて、２つの単眼カメラを含むカメラ２を用いても同様に、カメラ２は、２つのレンズにそれぞれ入射した光に基づいて、２つの画像データを生成することができる。

（４）センサ
センサ３は、飛行体１の動きを検出する。これにより、センサ３は、検出データを生成する。図１に示すように、センサ３は、加速度センサ３１と、ジャイロセンサ３２と、を含む。加速度センサ３１は、３軸方向の加速度を検出する。ジャイロセンサ３２は、３軸方向の角速度を検出する。つまり、検出データは、飛行体１の加速度に関する情報と、飛行体１の角速度に関する情報とを含む。加速度センサ３１における３軸方向及びジャイロセンサ３２における３軸方向は、一致していてもよいし、異なっていてもよい。本実施形態では、加速度センサ３１における３軸方向及びジャイロセンサ３２における３軸方向はいずれも、Ｘ軸、Ｙ軸、Ｚ軸方向である。

センサ３は、所定の時間間隔で検出データを生成する。なお、加速度センサ３１が検出データを生成する第１の時間間隔と、ジャイロセンサ３２が検出データを生成する第２の時間間隔とが、異なっていてもよいし、同じであってもよい。

センサ３が検出データを生成する時間間隔は、カメラ２が画像データを生成する時間間隔よりも短い。つまり、第１の時間間隔及び第２の時間間隔は、いずれも、カメラ２が画像データを生成する時間間隔よりも短い。

本実施形態のセンサ３は、ＩＭＵ(Inertial Measurement Unit)を含む。ＩＭＵは、１つのパッケージに統合された加速度センサ３１とジャイロセンサ３２とを含む。

また、センサ３は、例えば、地磁気センサ、ＧＮＳＳ(Global Navigation Satellite System)センサ及び、気圧センサ等を更に含むことが好ましい。地磁気センサは、飛行体１の方位を検出する。ＧＮＳＳセンサは、飛行体１の現在位置を検出する。ＧＮＳＳセンサの一例は、ＧＰＳ（Global Positioning System）センサである。気圧センサは、飛行体１の現在位置の気圧を検出する。

（５）記憶部
記憶部１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等である。記憶部１１は、飛行体１の制御に係る情報を記憶している。記憶部１１は、例えば、飛行体１の識別情報、飛行体１と通信する装置の識別情報、飛行体１が飛行するエリアの地図データ、及び、飛行体１の設定パラメータ等を記憶している。

（６）電源部
飛行体１の動力源は電力である。電源部１２は、動力源としての電力を供給する。すなわち、電源部１２は、動力装置５のモータ５１を駆動するための電力を供給する。また、電源部１２は、飛行体１の処理部４３、カメラ２、センサ３及び通信部１３等の電気回路及び電子部品を動作させるための電力を供給する。

電源部１２は、電池及び電力変換回路を備える。電池は、一次電池でもよいし、二次電池でもよい。電力変換回路は、電池の出力電圧を所望の電圧に変換して、変換後の電圧を出力する。

（７）通信部
通信部１３は、例えば、アンテナと通信回路とを備える。通信部１３は、電波を媒体として無線通信を行う機能を有する。通信部１３は、例えば、飛行体１の目的地を指示する指令信号を操作端末から受信する。処理部４３は、指令信号に基づいて、飛行体１の移動を制御する。

（８）動力装置
動力装置５は、複数のモータ５１と、複数のモータ５１と一対一で対応する複数のプロペラ５２と、を含む。各モータ５１は、対応するプロペラ５２を回転させる。動力装置５の動作は、処理部４３により制御される。つまり、処理部４３は、動力装置５を制御して、複数のプロペラ５２の各々の回転を制御することにより、飛行体１を全方位に移動させることが可能である。

（９）第１取得部
処理システム４の第１取得部４１は、カメラ２で生成された画像データを、カメラ２から取得する。第１取得部４１は、画像データを処理部４３へ転送する。

第１取得部４１は、画像データに対して画像処理を行い、画像処理された後の画像データを処理部４３へ送信してもよい。また、画像処理は、処理部４３が行ってもよい。画像処理の一例は、画像データを圧縮する処理、画像データに示される画像を拡大又は縮小する処理、画像をトリミングする処理、画像の歪みを補正する処理、及び、画像データのノイズを除去する処理等である。

（１０）第２取得部
第２取得部４２は、センサ３で生成された検出データを、センサ３から取得する。第２取得部４２は、検出データを処理部４３へ転送する。

（１１）処理部
処理部４３は、１以上のプロセッサ及びメモリを有するコンピュータシステムにより構成されている。コンピュータシステムのメモリに記録されたプログラムを、コンピュータシステムのプロセッサが実行することにより、処理部４３の少なくとも一部の機能が実現される。プログラムは、メモリに記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

処理部４３は、データ処理部４３１と、指示部４３２と、を含む。これらは、処理部４３によって実現される機能を示しているに過ぎず、必ずしも実体のある構成を示しているわけではない。

データ処理部４３１は、画像データと検出データとのうち少なくとも一方を用いて、飛行体１の姿勢に関する姿勢データを生成することができる。また、データ処理部４３１は、画像データと検出データとのうち少なくとも一方を用いて、飛行体１の位置に関する位置データを生成することができる。指示部４３２は、データ処理部４３１で生成された姿勢データ及び位置データに基づいて、動力装置５の動作を制御する指示信号を生成する。これにより、指示部４３２は、飛行体１の姿勢を所望の姿勢にし、飛行体１を所望の位置へ移動させることができる。

（１１．１）画像データを用いて姿勢データ及び位置データを生成する処理
まず、データ処理部４３１が画像データを用いて姿勢データ及び位置データを生成する処理の一例について説明する。なお、以下で説明するような、画像データを用いて姿勢データ及び位置データを生成する処理については、例えば、特許文献１、ＪＰ２０２０－０５６６２７Ａ及び「ＧＰＳを利用しない自己位置検知技術の開発（山根知之）（https://tiit.or.jp/userfiles/Reports%20of%20the%20Tottori%20institute%20of%20Industrial%20Tecnology%20%20No22%202019%20-%20p13-17.pdf）」に記載されているので、以下では概略のみを説明する。

前提として、飛行体１は、略水平な面からなる領域である平面領域の付近を飛行し、カメラ２は、平面領域を撮像するとする。

データ処理部４３１は、画像データに基づいて、距離分布データを生成する。距離分布データは、画像データに示される画像においての、カメラ２から被写体までの間の距離分布を示すデータである。

カメラ２は、２つのレンズにそれぞれ入射した光に基づいて、２つの画像データを生成する。カメラ２は、所定の撮像周期ごとに、撮像時刻が同時刻である２つの画像データを生成する。データ処理部４３１は、２つの画像データに示される画像を複数のブロックに分割する。各ブロックは、単一の画素であってもよいし、複数の画素を含んでいてもよい。

カメラ２の２つのレンズの間には視差があるため、２つの画像データの間には、視差に起因した画素ズレが生じる。データ処理部４３１は、画素ズレの大きさに基づいて、カメラ２から各ブロックの被写体までの距離を算出する。このようにして求められた距離を、当該ブロックの距離値と称するとする。各ブロックの距離値の情報の集合が、上述の距離分布データである。

記憶部１１には、飛行体１が飛行するエリアの地図データが記憶されている。地図データは、略水平な面からなる領域である平面領域のエッジの形状の情報、及び、平面領域の位置情報を含む。データ処理部４３１は、距離分布データに基づいて、画像データから、平面領域のエッジを抽出する。平面領域の法線方向に対して飛行体１が傾いている場合、距離分布データのうち平面領域のデータは、飛行体１に対して傾いた平面のデータとなる。そのため、データ処理部４３１は、距離分布データに基づいて、平面領域に対する飛行体１の傾きを求めることができる。つまり、データ処理部４３１は、飛行体１のロール軸及びピッチ軸周りの回転角を求めることができる。

さらに、データ処理部４３１は、平面領域のエッジの形状に基づいて、平面領域に対する飛行体１の向き（ヨー軸周りの回転角）を求めることができる。

このようにして求められた、ロール軸、ピッチ軸及びヨー軸周りの回転角は、飛行体１の姿勢を表す姿勢データに相当する。つまり、データ処理部４３１は、画像データを用いて、姿勢データを生成することができる。

また、データ処理部４３１は、距離分布データ、及び、飛行体１の姿勢を表す姿勢データ等の情報を地図データと比較する。これにより、データ処理部４３１は、飛行体１と平面領域との位置関係を求め、飛行体１の位置を表す位置データを生成することができる。

（１１．２）検出データを用いて姿勢データ及び位置データを生成する処理
次に、データ処理部４３１が検出データを用いて姿勢データ及び位置データを生成する処理の一例について説明する。

検出データは、加速度センサ３１で検出された３軸方向の加速度に関する情報と、ジャイロセンサ３２で検出された３軸方向の角速度に関する情報と、を含む。データ処理部４３１は、これらの情報にカルマンフィルタをかける。本実施形態では、データ処理部４３１で処理される「検出データ」は、カルマンフィルタがかけられた後の検出データを指す。

記憶部１１には、初期位置（例えば、飛行体１の着陸時）における飛行体１の姿勢データが記憶される。データ処理部４３１は、所定の時間間隔ごとに、検出データに基づいて、飛行体１の姿勢の変化量を求める。データ処理部４３１は、初期位置における飛行体１の姿勢データに、飛行体１の姿勢の変化量の積分値を加算することで、現在の飛行体１の姿勢データを生成する。

また、記憶部１１には、初期位置（例えば、飛行体１の着陸時、又は、ある時点にＧＮＳＳにより求められた位置）における飛行体１の位置データが記憶される。データ処理部４３１は、所定の時間間隔ごとに、検出データに基づいて、飛行体１の移動量を求める。上記移動量は、３軸方向のそれぞれの移動量である。データ処理部４３１は、初期位置における飛行体１の位置データに、飛行体１の移動量の積分値を加算することで、現在の飛行体１の位置データを生成する。

（１１．３）画像データ及び検出データを用いて姿勢データ及び位置データを生成する処理
データ処理部４３１は、画像データ及び検出データの両方を用いて、姿勢データ及び位置データを生成することができる。つまり、処理部４３は、画像データ及び検出データを用いて飛行体１の位置に関する位置データを生成することができる。

以下では、データ処理部４３１が画像データ及び検出データを用いて姿勢データ及び位置データを生成する処理の一例について、図４を参照して説明する。なお、図４に示すフローチャートは、一例に過ぎず、処理の順序が適宜変更されてもよいし、処理が適宜追加又は省略されてもよい。

フローチャートの一部のフローにおいて、データ処理部４３１は、姿勢データ及び位置データを生成する。姿勢データ及び位置データは、逐次更新される。指示部４３２は、直近に生成された姿勢データ及び位置データに基づいて、飛行体１の移動を制御する。

カメラ２は、所定の時間間隔（撮像周期）で画像データを生成する。つまり、撮像周期ごとに画像データが更新される。センサ３は、所定の時間間隔（検出周期）で検出データを生成する。つまり、検出周期ごとに検出データが更新される。撮像周期は、検出周期よりも長い。画像データが更新されてから、次に画像データが更新されるまでの間に、検出データは複数回更新される。一例として、撮像周期は１／２０[秒]程度、検出周期は１／１０００[秒]程度である。

ここでは、カメラ２で生成される画像データが更新された時点（ステップＳＴ１）を、フローの始点とする。データ処理部４３１は、（１１．１）節で説明したように、画像データを用いて姿勢データ及び位置データを生成する（ステップＳＴ２）。

その後、検出データが更新されると（ステップＳＴ３：Ｙｅｓ）、データ処理部４３１は、画像データ及び検出データを用いて姿勢データ及び位置データを生成する（ステップＳＴ４）。より詳細には、データ処理部４３１（すなわち、処理部４３）は、第１取得部４１が画像データを取得した後、第２取得部４２が検出データを取得すると、画像データを用いて求められた飛行体１の姿勢から、検出データを用いて求められた変化量だけ傾いた姿勢の情報を、姿勢データとして生成する。つまり、ステップＳＴ１で第１取得部４１が画像データを取得した後、ステップＳＴ３で第２取得部４２が検出データを取得する。すると、ステップＳＴ４においてデータ処理部４３１は、ステップＳＴ２で画像データを用いて求められた飛行体１の姿勢から、検出データを用いて求められた変化量だけ傾いた姿勢の情報を、姿勢データとして生成する。姿勢データは、例えば、ロール軸、ピッチ軸及びヨー軸周りの回転角からなる３つの成分を含むベクトル量である。

例えば、ステップＳＴ２で求められた、飛行体１の回転角（ベクトル量）をθ１とする。また、ステップＳＴ４で検出データを用いて求められる飛行体１の角速度（ベクトル量）をω１とする。さらに、画像データが取得（更新）されてから検出データが更新されるまでの時間をΔｔ１とする。ステップＳＴ４において、データ処理部４３１は、飛行体１の回転角θ２を、［数１］により求める。
［数１］θ２＝θ１＋ω１×Δｔ１
また、第１取得部４１が画像データを取得した後、第１取得部４１が画像データを更新するまでの間、第２取得部４２は、検出データを複数回更新する。検出データが更新される度に、データ処理部４３１は、飛行体１の回転角θ２を、下記の［数２］により求める。すなわち、データ処理部４３１は、飛行体１の角速度を時間積分することで、回転角θ２を求める。
［数２］θ２＝θ１＋Σωｉ×Δｔｉ
Ｎを、直近に画像データが取得されてからの検出データの更新回数（Ｎは１以上の自然数）とすると、ｉ＝１、２、３、……Ｎ、である。ωｉは、検出データのｉ番目の更新時に求められた飛行体１の角速度（ベクトル量）である。ｉ≧２のとき、Δｔｉは、検出データのｉ－１番目の更新からｉ番目の更新までの時間である。

また、回転角θ１は、画像データが更新される度に更新される。つまり、後述のステップＳＴ５で画像データが更新された場合は、データ処理部４３１は、更新後の画像データを用いて求められた飛行体１の回転角を、上述の回転角θ１として用いて、回転角θ２を求める。

ステップＳＴ４では、位置データも生成される。データ処理部４３１（すなわち、処理部４３）は、第１取得部４１が画像データを取得した後、第２取得部４２が検出データを取得すると、画像データを用いて求められた飛行体１の位置から、検出データを用いて求められた移動量だけ移動した位置の情報を、位置データとして生成する。つまり、ステップＳＴ１で第１取得部４１が画像データを取得した後、ステップＳＴ３で第２取得部４２が検出データを取得する。すると、ステップＳＴ４においてデータ処理部４３１は、ステップＳＴ２で画像データを用いて求められた飛行体１の位置から、検出データを用いて求められた移動量だけ移動した位置の情報を、位置データとして生成する。位置データは、例えば、地上に設定された３次元座標空間における飛行体１の座標の情報（ベクトル量）である。

例えば、ステップＳＴ２で求められた、飛行体１の座標（ベクトル量）をＸ１とする。また、ステップＳＴ４で検出データを用いて求められる飛行体１の速度（ベクトル量）をｖ１とする。さらに、画像データが取得（更新）されてから検出データが更新されるまでの時間をΔｔ１とする。ステップＳＴ４において、データ処理部４３１は、飛行体１の座標Ｘ２を、［数３］により求める。
［数３］Ｘ２＝Ｘ１＋ｖ１×Δｔ１
また、第１取得部４１が画像データを取得した後、第１取得部４１が画像データを更新するまでの間、第２取得部４２は、検出データを複数回更新する。検出データが更新される度に、データ処理部４３１は、飛行体１の座標Ｘ２を、下記の［数４］により求める。すなわち、データ処理部４３１は、飛行体１の速度を時間積分することで、座標Ｘ２を求める。
［数４］Ｘ２＝Ｘ１＋Σｖｉ×Δｔｉ
ｖｉは、検出データのｉ番目の更新時に求められた飛行体１の速度（ベクトル量）である。

また、座標Ｘ１は、画像データが更新される度に更新される。つまり、後述のステップＳＴ５で画像データが更新された場合は、データ処理部４３１は、更新後の画像データを用いて後述のステップＳＴ８において求められた飛行体１の座標を、上述の座標Ｘ１として用いて、座標Ｘ２を求める。ただし、後述のステップＳＴ７の判定が「Ｎｏ」の場合は座標Ｘ１が更新されない。

次に、ステップＳＴ５以降の処理について説明する。

画像データが更新されると（ステップＳＴ５：Ｙｅｓ）、データ処理部４３１は、（１１．１）節で説明したように、画像データを用いて姿勢データを生成する（ステップＳＴ６）。すなわち、データ処理部４３１は、姿勢データとして、飛行体１のロール軸、ピッチ軸及びヨー軸周りの回転角を求める。

ステップＳＴ６の後に、データ処理部４３１は、画像データによる姿勢角誤差と、検出データによる姿勢角誤差と、を比較する（ステップＳＴ７）。姿勢角とは、鉛直方向に対するヨー軸（Ｚ軸）の傾きである。姿勢角誤差とは、検出データに示される姿勢角と、実際の姿勢角との差分である。姿勢角誤差は、飛行体１の姿勢の誤差の一例である。まず、図５を参照して、姿勢角誤差について説明する。

画像データを用いて求められる飛行体１の姿勢角については、その姿勢角誤差７０１（第１姿勢角誤差）は、時間に依存しない値である。一方で、検出データを用いて求められる飛行体１の姿勢角は、検出された検出データ（角速度）を時間積分することにより求められるので、検出データを用いて求められる飛行体１の姿勢角の姿勢角誤差７０２（第２姿勢角誤差）は、時間の経過につれて蓄積する。例えば、検出データ（角速度）の検出誤差が時間によらず一定であるとすると、姿勢角誤差７０２は、図５に示すように、時間に比例して増加する。実際には、検出データ（角速度）の検出誤差は時間の経過と共に揺らぎ得る。予め測定等により検出データ（角速度）の検出誤差（姿勢角誤差７０２）の時間変化と、画像データの検出誤差（姿勢角誤差７０１）と、を求めておくことで、時間Ｔｍ１を見積もることができる。時間Ｔｍ１は、センサ３が角速度を検出し始めてから、姿勢角誤差７０２が姿勢角誤差７０１以上となるまでに要する時間である。時間Ｔｍ１は、記憶部１１に記憶されている。

検出データのみを用いて姿勢データ及び位置データを生成する場合は、このように時間積分により誤差が蓄積し得るが、画像データを併用することで、姿勢データ及び位置データの精度を向上させることができる。

図４におけるステップＳＴ７では、姿勢角誤差７０１が姿勢角誤差７０２よりも小さいと（ステップＳＴ７：Ｙｅｓ）、（１１．１）節で説明したように、データ処理部４３１は、画像データを用いて位置データを生成する（ステップＳＴ８）。

要するに、データ処理部４３１は、センサ３の誤差（姿勢角誤差７０２）がカメラ２の誤差（姿勢角誤差７０１）を超えていない期間は、画像データと検出データとを用いて位置データを作成する処理を継続する（ステップＳＴ４）。一方で、センサ３の誤差（姿勢角誤差７０２）がカメラ２の誤差（姿勢角誤差７０１）を超えると、データ処理部４３１は、検出データを用いず画像データを用いて位置データを作成する処理を一時的に実行する（ステップＳＴ８）。

ステップＳＴ８の後（すなわち、姿勢角誤差７０１が姿勢角誤差７０２よりも小さいと）、データ処理部４３１は、検出データの角速度の零点誤差Ｅ１を算出する（ステップＳＴ９）。データ処理部４３１は、画像データと検出データとに基づいて零点誤差Ｅ１を算出する。零点誤差Ｅ１は、ベクトル量である。零点誤差Ｅ１の単位は、［deg/s］である。零点誤差Ｅ１は、［数５］により算出される。
［数５］Ｅ１＝（“画像データを用いて求められる角度”－“センサ３で検出された角速度の積分値”）／積分時間
分子の第１項は、ステップＳＴ５において直近に取得された画像データを用いて求められる。すなわち、分子の第１項は、ステップＳＴ６で求められる飛行体１の角度（回転角）である。また、分子の第２項は、［数２］により求められる飛行体１の回転角θ２である。つまり、分子の第２項は、直近に取得された画像データよりも１つ前に取得された画像データと、検出データと、に基づいて求められる回転角θ２である。分母の“積分時間”は、“ΣΔｔｉ”（ただし、ｉ＝１、２、３、……Ｎ）である。

データ処理部４３１は、検出データの角速度の零点誤差Ｅ１を算出した後、零点誤差Ｅ１をリセットする。さらに、データ処理部４３１は、検出データの角速度の積分誤差をリセットする（ステップＳＴ１０）。これにより、検出データの精度を向上させることができる。

零点誤差Ｅ１をリセットする処理は、検出データの角速度のオフセットを、零点誤差Ｅ１だけ差し引く処理である。零点誤差Ｅ１が負の値の場合は、零点誤差Ｅ１をリセットする処理によりオフセットは小さくなる。例えば、オフセットが－１０[deg/s]の状態から、零点誤差Ｅ１としての－７[deg/s]が差し引かれて、オフセットが－３[deg/s]となる。

積分誤差は、例えば、姿勢角誤差７０２（図５参照）であって、経過時間から算出される。検出データの角速度の積分誤差をリセットする処理は、検出データの角速度のオフセットを、積分誤差だけ差し引く処理である。

このように、データ処理部４３１（すなわち、処理部４３）は、第２誤差が第１誤差よりも大きいと、検出データの積分誤差をリセットする。第１誤差は、飛行体１の姿勢に関する第１姿勢データの誤差（姿勢角誤差）である。第１姿勢データは、画像データを用いて求められる。第２誤差は、飛行体１の姿勢に関する第２姿勢データの積分誤差（姿勢角誤差）である。第２姿勢データは、検出データを用いて求められる。

また、データ処理部４３１（すなわち、処理部４３）は、第２誤差が第１誤差よりも大きいと、検出データの零点誤差Ｅ１をリセットする。

次に、ステップＳＴ１１について説明する。データ処理部４３１は、通信部１３で受信された指令信号に基づいて、飛行体１の動作の制御を継続するか否かを定期的に判定する（ステップＳＴ１１）。例えば、指令信号により指定された地点に飛行体１が着陸すると、データ処理部４３１は、制御を終了する。

ステップＳＴ１０の後、制御が継続される場合は（ステップＳＴ１１：Ｙｅｓ）、ステップＳＴ３に戻る。

（１２）処理方法及びプログラム
処理システム４と同様の機能は、処理方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。

一態様に係る処理方法は、飛行体１の姿勢に関する姿勢データを生成する処理方法である。飛行体１は、カメラ２と、センサ３と、を備える。カメラ２は、飛行体１の周辺環境を撮像して画像データを生成する。センサ３は、飛行体１の動きを検出して検出データを生成する。処理方法は、第１取得ステップと、第２取得ステップと、生成ステップと、を有する。第１取得ステップでは、カメラ２で生成された画像データを取得する。第２取得ステップでは、センサ３で生成された検出データを取得する。生成ステップでは、画像データ及び検出データを用いて姿勢データを生成する。

一態様に係るプログラムは、上記の処理方法を１以上のプロセッサに実行させるためのプログラムである。プログラムは、コンピュータで読み取り可能な非一時的記録媒体に記録されていてもよい。

本開示における処理システム４は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における処理システム４としての機能の少なくとも一部が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

また、処理システム４における複数の機能が、１つの装置に集約されていることは処理システム４に必須の構成ではなく、処理システム４の構成要素は、複数の装置に分散して設けられていてもよい。さらに、処理システム４の少なくとも一部の機能、例えば、データ処理部４３１の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

（実施形態の変形例）
以下、実施形態の変形例を列挙する。以下の変形例は、適宜組み合わせて実現されてもよい。

飛行体１は、ドローン（空中ドローン）に限定されず、例えば、ラジコン機、又は、ヘリコプターであってもよい。

飛行体１が備えるプロペラ５２の個数及びモータ５１の個数は、４つに限定されない。飛行体１のプロペラ５２の個数及びモータ５１の個数は、例えば、２つ、３つ、６つ、又は８つであってもよい。

カメラ２は、ステレオカメラに限定されず、１又は複数の単眼カメラを含む構成であってもよい。

処理システム４は、装置本体６１に搭載されるのではなく、別の装置に搭載されていてもよい。すなわち、処理システム４は、処理システム４を備えていない飛行体１から画像データ及び検出データを取得し、姿勢データ及び位置データを生成してもよい。

データ処理部４３１（すなわち、処理部４３）は、第１取得部４１が画像データを取得する度に、検出データの積分誤差をリセットしてもよい。

データ処理部４３１（すなわち、処理部４３）は、第１取得部４１が画像データを取得する度に、検出データの零点誤差Ｅ１をリセットしてもよい。

（まとめ）
以上説明した実施形態等から、以下の態様が開示されている。

第１の態様に係る処理システム（４）は、飛行体（１）の姿勢に関する姿勢データを生成する。飛行体（１）は、カメラ（２）と、センサ（３）と、を備える。カメラ（２）は、飛行体（１）の周辺環境を撮像して画像データを生成する。センサ（３）は、飛行体（１）の動きを検出して検出データを生成する。処理システム（４）は、第１取得部（４１）と、第２取得部（４２）と、処理部（４３）と、を備える。第１取得部（４１）は、カメラ（２）で生成された画像データを取得する。第２取得部（４２）は、センサ（３）で生成された検出データを取得する。処理部（４３）は、画像データ及び検出データを用いて姿勢データを生成する。

一般に、カメラ（２）が画像データを生成する周期は、飛行体（１）の動きを検出するセンサ（３）が検出データを生成（更新）する周期よりも長い。そこで、上記の構成により、画像データのみを用いて姿勢データを生成する場合と比較して、姿勢データの更新の頻度を高くすることができる。また、検出データのみを用いて姿勢データを生成する場合と比較して、姿勢データの精度を向上させることができる。よって、飛行体（１）の動きをより精度良く制御することができる。

また、第２の態様に係る処理システム（４）では、第１の態様において、処理部（４３）は、第１取得部（４１）が画像データを取得した後、第２取得部（４２）が検出データを取得すると、画像データを用いて求められた飛行体（１）の姿勢から、検出データを用いて求められた変化量だけ傾いた姿勢の情報を、姿勢データとして生成する。

上記の構成によれば、カメラ（２）が第１の画像データを生成してから、次の第２の画像データを生成するまでの間の期間に、第１の画像データと検出データとの両方を用いて、姿勢データを生成することができる。

また、第３の態様に係る処理システム（４）では、第１又は２の態様において、処理部（４３）は、画像データ及び検出データを用いて飛行体（１）の位置に関する位置データを生成する。

上記の構成によれば、画像データのみを用いて位置データを生成する場合と比較して、位置データの更新の頻度を高くすることができる。また、検出データのみを用いて位置データを生成する場合と比較して、位置データの精度を向上させることができる。よって、飛行体（１）の動きをより精度良く制御することができる。

また、第４の態様に係る処理システム（４）では、第３の態様において、処理部（４３）は、第１取得部（４１）が画像データを取得した後、第２取得部（４２）が検出データを取得すると、画像データを用いて求められた飛行体（１）の位置から、検出データを用いて求められた移動量だけ移動した位置の情報を、位置データとして生成する。

上記の構成によれば、カメラ（２）が第１の画像データを生成してから、次の第２の画像データを生成するまでの間の期間に、第１の画像データと検出データとの両方を用いて、位置データを生成することができる。

また、第５の態様に係る処理システム（４）では、第１～４の態様のいずれか１つにおいて、処理部（４３）は、第２誤差が第１誤差よりも大きいと、検出データの積分誤差をリセットする。第１誤差は、飛行体（１）の姿勢に関する第１姿勢データの誤差である。第１姿勢データは、画像データを用いて求められる。第２誤差は、飛行体（１）の姿勢に関する第２姿勢データの積分誤差である。第２姿勢データは、検出データを用いて求められる。

上記の構成によれば、積分誤差をリセットすることにより、検出データの精度を向上させることができる。

また、第６の態様に係る処理システム（４）では、第１～５の態様のいずれか１つにおいて、処理部（４３）は、第２誤差が第１誤差よりも大きいと、検出データの零点誤差をリセットする。第１誤差は、飛行体（１）の姿勢に関する第１姿勢データの誤差である。第１姿勢データは、画像データを用いて求められる。第２誤差は、飛行体（１）の姿勢に関する第２姿勢データの積分誤差である。第２姿勢データは、検出データを用いて求められる。

上記の構成によれば、零点誤差をリセットすることにより、検出データの精度を向上させることができる。

また、第７の態様に係る処理システム（４）では、第１～６の態様のいずれか１つにおいて、センサ（３）は、３軸方向の加速度を検出する加速度センサ（３１）と、３軸方向の角速度を検出するジャイロセンサ（３２）と、を含む。

上記の構成によれば、センサ（３）により、任意の方向への飛行体（１）の傾き及び移動を検出できる。

第１の態様以外の構成については、処理システム（４）に必須の構成ではなく、適宜省略可能である。

また、第８の態様に係る飛行体（１）は、第１～７の態様のいずれか１つに係る処理システム（４）と、カメラ（２）と、センサ（３）と、処理システム（４）を搭載した装置本体（６１）と、動力源を用いて装置本体（６１）を飛行させる動力装置（５）と、を備える。

上記の構成によれば、処理システム（４）を一体に備えた飛行体（１）を提供できる。

また、第９の態様に係る飛行体（１）では、第８の態様において、センサ（３）は、中心領域に配置されている。中心領域は、飛行体（１）のヨー軸の方向から見て装置本体（６１）の中心（６１０）を含む。

上記の構成によれば、飛行体（１）の動きをより精度良く制御することができる。

第８の態様以外の構成については、処理システム（４）に必須の構成ではなく、適宜省略可能である。

また、第１０の態様に係る処理方法は、飛行体（１）の姿勢に関する姿勢データを生成する処理方法である。飛行体（１）は、カメラ（２）と、センサ（３）と、を備える。カメラ（２）は、飛行体（１）の周辺環境を撮像して画像データを生成する。センサ（３）は、飛行体（１）の動きを検出して検出データを生成する。処理方法は、第１取得ステップと、第２取得ステップと、生成ステップと、を有する。第１取得ステップでは、カメラ（２）で生成された画像データを取得する。第２取得ステップでは、センサ（３）で生成された検出データを取得する。生成ステップでは、画像データ及び検出データを用いて姿勢データを生成する。

上記の構成によれば、飛行体（１）の動きをより精度良く制御することができる。

また、第１１の態様に係るプログラムは、第１０の態様に係る処理方法を、１以上のプロセッサに実行させるためのプログラムである。

上記の構成によれば、飛行体（１）の動きをより精度良く制御することができる。

上記態様に限らず、実施形態に係る処理システム（４）の種々の構成（変形例を含む）は、処理方法及びプログラムにて具現化可能である。

１ 飛行体
２ カメラ
３ センサ
４ 処理システム
５ 動力装置
３１ 加速度センサ
３２ ジャイロセンサ
４１ 第１取得部
４２ 第２取得部
４３ 処理部
６１ 装置本体
６１０ 中心

Claims (11)

1. 飛行体の姿勢に関する姿勢データを生成する処理システムであって、
   前記飛行体は、前記飛行体の周辺環境を撮像して画像データを生成するカメラと、前記飛行体の動きを検出して検出データを生成するセンサと、を備え、
   前記処理システムは、
   前記カメラで生成された前記画像データを取得する第１取得部と、
   前記センサで生成された前記検出データを取得する第２取得部と、
   前記画像データ及び前記検出データを用いて前記姿勢データを生成する処理部と、を備える、
   処理システム。
2. 前記処理部は、前記第１取得部が前記画像データを取得した後、前記第２取得部が前記検出データを取得すると、前記画像データを用いて求められた前記飛行体の姿勢から、前記検出データを用いて求められた変化量だけ傾いた姿勢の情報を、前記姿勢データとして生成する、
   請求項１に記載の処理システム。
3. 前記処理部は、前記画像データ及び前記検出データを用いて前記飛行体の位置に関する位置データを生成する、
   請求項１又は２に記載の処理システム。
4. 前記処理部は、前記第１取得部が前記画像データを取得した後、前記第２取得部が前記検出データを取得すると、前記画像データを用いて求められた前記飛行体の位置から、前記検出データを用いて求められた移動量だけ移動した位置の情報を、前記位置データとして生成する、
   請求項３に記載の処理システム。
5. 前記処理部は、第２誤差が第１誤差よりも大きいと、前記検出データの積分誤差をリセットし、
   前記第１誤差は、前記飛行体の姿勢に関する第１姿勢データの誤差であり、前記第１姿勢データは、前記画像データを用いて求められ、
   前記第２誤差は、前記飛行体の姿勢に関する第２姿勢データの積分誤差であり、前記第２姿勢データは、前記検出データを用いて求められる、
   請求項１～４のいずれか一項に記載の処理システム。
6. 前記処理部は、第２誤差が第１誤差よりも大きいと、前記検出データの零点誤差をリセットし、
   前記第１誤差は、前記飛行体の姿勢に関する第１姿勢データの誤差であり、前記第１姿勢データは、前記画像データを用いて求められ、
   前記第２誤差は、前記飛行体の姿勢に関する第２姿勢データの積分誤差であり、前記第２姿勢データは、前記検出データを用いて求められる、
   請求項１～５のいずれか一項に記載の処理システム。
7. 前記センサは、３軸方向の加速度を検出する加速度センサと、３軸方向の角速度を検出するジャイロセンサと、を含む、
   請求項１～６のいずれか一項に記載の処理システム。
8. 請求項１～７のいずれか一項に記載の処理システムと、
   前記カメラと、
   前記センサと、
   前記処理システムを搭載した装置本体と、
   動力源を用いて前記装置本体を飛行させる動力装置と、を備える、
   飛行体。
9. 前記センサは、前記飛行体のヨー軸の方向から見て前記装置本体の中心を含む中心領域に配置されている、
   請求項８に記載の飛行体。
10. 飛行体の姿勢に関する姿勢データを生成する処理方法であって、
    前記飛行体は、前記飛行体の周辺環境を撮像して画像データを生成するカメラと、前記飛行体の動きを検出して検出データを生成するセンサと、を備え、
    前記処理方法は、
    前記カメラで生成された前記画像データを取得する第１取得ステップと、
    前記センサで生成された前記検出データを取得する第２取得ステップと、
    前記画像データ及び前記検出データを用いて前記姿勢データを生成する生成ステップと、を有する、
    処理方法。
11. 請求項１０に記載の処理方法を、１以上のプロセッサに実行させるための、
    プログラム。

Images