JP2021057078A - 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム - Google Patents

Abstract

【課題】飛行中に機体と対象要素との距離を計測し、計測値に応じて当該距離を制御するための飛行制御装置、飛行制御方法等を提供すること。【解決手段】外部入力信号及び／又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、対象要素と、の距離を計測する距離センサとして、対象要素を撮影する撮影カメラと、撮影した画像情報を用いて距離の計測値を決定する計測値決定回路と、を備えた距離センサと、距離センサにより計測された距離の計測値に応じて、飛行中に無人航空機と対象要素との距離を制御するための制御信号を生成する制御信号生成回路とを備えた無人航空機の飛行制御装置を提供する。【選択図】図３

Description

本発明は、無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラムに関する。より詳細には、本発明は、無人航空機と対象要素との距離を制御するための飛行制御装置、飛行制御方法等に関する。

近年、複数の回転翼の回転速度を制御することにより飛行を制御する無人航空機が市場に流通しており、撮影調査、農薬散布、物資輸送等の産業用途、あるいはホビー用途において広く利用されている。

無人航空機は、一例においてはプロポーショナル・コントローラ（プロポ）等の外部入力装置から入力される外部入力信号により飛行するが、操縦者から目視できない遠方を飛行している場合には、機体が構造物等に接近して衝突の恐れがあってもこれを認識できず、衝突を回避できない恐れがある。また無人航空機が、フライトコントローラによって自律制御プログラムを実行することにより、予め設定された飛行計画経路を飛行する場合であっても、飛行計画経路の作成にあたって考慮されていなかった障害物等が存在する場合にはこれへの機体の衝突を回避できない恐れがある。

特開２０１２−１９８０７７号公報

株式会社東芝、「単眼カメラで撮影した１枚の画像からカラー画像と距離画像を同時に取得できる撮像技術を開発」、［ｏｎｌｉｎｅ］、株式会社東芝 研究開発センター、［平成２９年１０月１６日検索］、インターネット<URL:https://www.toshiba.co.jp/rdc/detail/1606_01.htm> Vinay R., "What is OpenCV?", [online], Intel, [平成２９年１０月２３日検索], インターネット<URL:https://software.intel.com/en-us/articles/what-is-opencv> Andrew J.Davison, et al., "MonoSLAM: Real-Time Single Camera SLAM", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.29, NO.6, JUNE 2007, [online], [平成２９年１０月２０日検索], インターネット<URL: https://www.doc.ic.ac.uk/~ajd/Publications/davison_etal_pami2007.pdf> Georg Klein, "Parallel Tracking and Mapping for Small AR Workspaces - Source Code", [online], Georg Klein Home Page, [平成２９年１０月２０日検索], インターネット<URL: http://www.robots.ox.ac.uk/~gk/PTAM/> Georg Klein, et al., "Parallel Tracking and Mapping for Small AR Workspaces", Proc. International Symposium on Mixed and Augmented Reality (ISMAR'07, Nara), [online], [平成２９年１０月２０日検索], インターネット<URL: http://www.robots.ox.ac.uk/~gk/publications/KleinMurray2007ISMAR.pdf> 槙 修一、他３名、「レーザ距離センサを用いた移動式三次元計測システムの開発」、［ｏｎｌｉｎｅ］、２０１４年映像情報メディア学会冬季大会、［平成２９年１０月２０日検索］、インターネット<URL: https://www.jstage.jst.go.jp/article/itewac/2014/0/2014_4-13-1_/_pdf>

これに鑑み、本発明は、飛行中に機体と対象要素との距離を計測し、計測値に応じて当該距離を制御するための飛行制御装置、飛行制御方法等を提供することを課題とする。

上記課題を解決するべく、本発明は、外部入力信号及び／又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、対象要素と、の距離を計測する距離センサとして、対象要素を撮影する撮影カメラと、撮影した画像情報を用いて距離の計測値を決定する計測値決定回路と、を備えた距離センサと、距離センサにより計測された距離の計測値に応じて、飛行中に無人航空機と対象要素との距離を制御するための制御信号を生成する制御信号生成回路とを備えた無人航空機の飛行制御装置を提供する。ここで、距離の計測値に「応じて」「距離を制御するための制御信号を生成する」とは、距離の計測値がどのような値であったとしても距離を制御するための制御信号が生成されなければならないということを意味しているわけではなく、一例においては距離の計測値が所定範囲から外れた場合にのみ、距離を制御するための制御信号が生成される。

無人航空機は、少なくとも外部入力信号を用いた制御により飛行する無人航空機であってよく、外部入力信号は、無人航空機の飛行中に外部入力装置からリアルタイムで入力される信号であってよく、制御信号は、距離の計測値に応じて外部入力信号を変更して得られる信号であってよい。

無人航空機は、少なくとも飛行計画情報を用いた制御により飛行する無人航空機であってよく、飛行計画情報は、コンピュータがプログラムを実行することにより飛行前に予め生成された飛行計画情報であってよい。

計測値決定回路は制御信号生成回路に統合されていてよい。

制御信号生成回路は、計測値が第１の基準値よりも小さい場合、無人航空機を対象要素から離れさせるための制御信号を生成するよう構成されていてよい。ただし、「対象要素から離れさせるための制御信号を生成する」ための条件として「計測値が第１の基準値よりも小さい場合」という条件に加えて何らかの追加的条件を課してもよいし、また「計測値が第１の基準値よりも小さい場合」という条件が満たされない場合であっても「対象要素から離れさせるための制御信号を生成する」ことを禁止するものではない。

制御信号生成回路は、計測値が、第１の基準値以上の第２の基準値よりも大きい場合、無人航空機を対象要素に近づけるための制御信号を生成するよう構成されていてよい。ただし、「対象要素に近づけるための制御信号を生成する」ための条件として「計測値が、第１の基準値以上の第２の基準値よりも大きい場合」という条件に加えて何らかの追加的条件を課してもよいし、また「計測値が、第１の基準値以上の第２の基準値よりも大きい場合」という条件が満たされない場合であっても「対象要素に近づけるための制御信号を生成する」ことを禁止するものではない。

第１の基準値と第２の基準値とは等しくてもよい。

制御信号生成回路は、計測値が第１の基準値よりも小さく、且つ経時的に計測値が減少する場合において、無人航空機を対象要素から離れさせるための制御信号を生成し、計測値が第２の基準値よりも大きく、且つ経時的に計測値が増大する場合において、無人航空機を対象要素に近づけるための制御信号を生成するよう構成されていてよい。ただし、「無人航空機を対象要素から離れさせるための制御信号を生成」するための条件、「無人航空機を対象要素に近づけるための制御信号を生成する」ための条件として、それぞれ「計測値が第１の基準値よりも小さく、且つ経時的に計測値が減少する場合」という条件、「計測値が第２の基準値よりも大きく、且つ経時的に計測値が増大する場合」という条件に加えて何らかの追加的条件を課してもよいし、また「計測値が第１の基準値よりも小さく、且つ経時的に計測値が減少する場合」という条件、「計測値が第２の基準値よりも大きく、且つ経時的に計測値が増大する場合」という条件がそれぞれ満たされない場合であっても、「無人航空機を対象要素から離れさせるための制御信号を生成」すること、「無人航空機を対象要素に近づけるための制御信号を生成する」ことを禁止するものではない。

飛行制御装置は、撮影カメラの撮影とは異なる方向を撮影する外部環境撮影カメラを更に備えてよい。

飛行制御装置は、無人航空機の周囲に存在する要素に対する無人航空機の相対位置を計測するための相対位置計測センサを更に備えてよい。

対象要素は、被点検構造物であってよい。

また本発明は、上記飛行制御装置を備えた無人航空機を提供する。

また本発明は、対象要素を撮影し、撮影した画像情報を用いて、外部入力信号及び／又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、対象要素と、の距離の計測値を決定することにより、距離を計測する段階と、距離の計測値に応じて、飛行中に無人航空機と対象要素との距離を制御するための制御信号を生成する段階とを備えた無人航空機の飛行制御方法を提供する。

また本発明は、対象要素を撮影カメラが撮影した画像情報を用いて、外部入力信号及び／又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、対象要素と、の距離の計測値を計測値決定回路に決定させ、距離の計測値に応じて、飛行中に無人航空機と対象要素との距離を制御するための制御指令値を制御信号生成回路に生成させるためのプログラムを提供する。当該プログラムは、ハードディスク、ＣＤ−ＲＯＭ、任意の半導体メモリ等、コンピュータによる読み取り可能な不揮発性（非一時的）記録媒体に記録された状態で（１つの記録媒体に記録されても、２以上の記録媒体に分散して記録されてもよい。）プログラム製品として提供することも可能である。

本発明に従って無人航空機と対象要素との距離を制御しつつ無人航空機を飛行させれば、無人航空機が飛行中に被点検構造物や障害物等に衝突するリスクを少なくとも低減できる。

本発明の一実施形態である無人航空機の斜視図。 図１の無人航空機をｚの負方向から見た図。 図１の無人航空機の構成を示すブロック図。 無人航空機と被点検構造物との距離計測、及び計測値に応じた距離制御を説明するためのフローチャート。 ステレオカメラによる距離計測の原理を説明するための図（特開２０１２−１９８０７７号の図１から引用し、座標軸の定義のみ変更した）。 ステレオカメラと計測値決定回路の構成を示すブロック図（特開２０１２−１９８０７７号の図５から引用し、参照符号のみを変更した）。 被点検構造物から距離ｄだけ離れて飛行する無人航空機を示す図。 無人航空機と被点検構造物との距離ｄが第１の基準値Ｄ₁よりも小さい場合に無人航空機を被点検構造物から離れされるための制御が行われることを説明するための図。 無人航空機と被点検構造物との距離ｄが第２の基準値Ｄ₂よりも大きい場合に無人航空機を被点検構造物に近づけるための制御が行われることを説明するための図。 第１の基準値Ｄ₁と第２の基準値Ｄ₂とが等しいときに、無人航空機と被点検構造物との距離をＤ₁＝Ｄ₂にするための制御が行われることを説明するための図。 無人航空機と被点検構造物との距離がＤ₁＝Ｄ₂に制御されるとき、無人航空機の飛行が実質的に２次元面内に制限されることを示す図。 無人航空機と被点検要素との距離がＤ₁＝Ｄ₂に制御されるとき、無人航空機の飛行が実質的に１次元線上に制限されることを示す図。 図４のフローチャートの変形例。 本発明の一実施形態である無人航空機の試作機をｚの正方向から見た図。 本発明の一実施形態である無人航空機の試作機をｚの正方向よりやや斜め方向から見た写真。 図１０Ａ，図１０Ｂの試作機の構成を示すブロック図。 図１０Ａ，図１０Ｂの試作機を操縦するための外部入力装置上の距離設定ノブを示す図。 図１０Ａ，図１０Ｂの試作機の初期設定に用いられる離陸パッドを示す図。

以下、本発明の一実施形態である無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラムを、図面を参照しつつ説明する。ただし本発明による無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラムが以下に説明する具体的態様に限定されるわけではなく、本発明の範囲内で適宜変更可能であることに留意する。例えば、本発明に係る無人航空機はマニュアル型でも自律飛行型でもよく、これらを組み合わせたセミマニュアル型の無人航空機でもよいし、無人航空機の機能構成も、図３や図１１に示されるものに限らず同様の動作が可能であれば任意であり、例えば通信回路、計測値決定回路、ＳＬＡＭ処理回路のうち１以上を主演算回路に統合する等、複数の構成要素が実行すべき動作を単独の構成要素により実行してもよいし、あるいは主演算回路の機能を複数の演算回路に分散する等、図示される単独の構成要素の実行すべき動作を複数の構成要素により実行してもよい。一例として、図３においては計測値決定回路が制御信号生成回路とは別個のハードウェア（例えば、市販されているステレオカメラに予め付属するデジタル信号処理部としての、プロセッサ、メモリ等からなる回路）として描かれているが、主演算回路によりそのようなデジタル信号の処理を行う（単眼カメラ２つにより撮影カメラを構成し、それぞれの撮影した画像データを主演算回路に出力する。）等の構成をとることにより、計測値決定回路を制御信号生成回路に統合してもよい。無人航空機の自律制御プログラムは、ハードディスクドライブ等の記録デバイスに記録されて主演算回路により読み出されて実行されるものであってもよいし（図示される自律制御プログラムが、距離制御モジュール等、複数のプログラムモジュールに分解されてもよいし、その他の任意のプログラムが主演算回路等により実行されてもよい。）、マイコン等を用いた組み込み型のシステムによって同様の動作が実行されてもよい。以下の実施形態で示される全ての構成要素を本発明に係る無人航空機、無人航空機の飛行制御装置が備える必要はなく、また示される方法ステップ、あるいはこれを処理装置に実行させるための命令の全てを本発明に係る無人航空機の制御方法あるいはプログラムが備える必要もない。無人航空機を飛行させるための回転翼も、図１，図２等で示されるような６つのロータＲ１〜Ｒ６に限らず、例えば４つのロータＲ１〜Ｒ４等、任意の数の回転翼（ロータ、プロペラ等、任意の回転翼）であってよい。無人航空機はシングルロータ型のヘリコプタや固定翼機等、任意の無人航空機であってよい。無人航空機の機体サイズも任意である。

無人航空機の構成と飛行制御の概要
図１に、本発明の一実施形態である無人航空機の斜視図を示し、図２に、無人航空機をｚの負方向から見た図を示す（着陸脚５は略した）。無人航空機１は、本体部２と、本体部２からの制御信号により駆動する６つのモータＭ１〜Ｍ６（図２）と、モータＭ１〜Ｍ６の各々の駆動により回転して無人航空機１を飛行させる６つのロータ（回転翼）Ｒ１〜Ｒ６と、本体部２とモータＭ１〜Ｍ６とをそれぞれ接続するアームＡ１〜Ａ６（図２）と、飛行中に前方を撮影するためのステレオカメラ３と、飛行中に前方以外を撮影するための外部環境撮影カメラ４と、離着陸時の転倒防止等に寄与する着陸脚５とを備えている。図１に示すとおり、ｘ軸周り、ｙ軸周り、ｚ軸周りの回転角として、ロール角、ピッチ角、ヨー角が定義される。また機体の上昇、下降（ロータＲ１〜Ｒ６全体としての回転数）に対応する量として、スロットル量が定義される。図２に示すとおり、ロータＲ１，Ｒ３，Ｒ５はｚの負方向から見て時計回りに回転し、ロータＲ２，Ｒ４，Ｒ６はｚの負方向から見て反時計回りに回転する。すなわち隣り合うロータ同士は逆向きに回転する。６本のアームＡ１〜Ａ６は長さが等しく、図２に示すとおり６０°間隔で配置されている。無人航空機１は、その他にも用途等に応じて追加のカメラやペイロード等を備えていてよい（不図示）。

図３は、図１の無人航空機の構成を示すブロック図である。無人航空機１の本体部２は、プロセッサ、一時メモリ等から構成されて各種演算を行う主演算回路７ａと、主演算回路７ａによる演算で得られた制御指令値データをモータＭ１〜Ｍ６へのパルス信号（ＰＷＭ，Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ信号）に変換する等の処理を担う、プロセッサ、一時メモリ等から構成される信号変換回路７ｂと（主演算回路７ａ、信号変換回路７ｂを含む演算回路を制御信号生成回路８と称する。）、制御信号生成回路８により生成されたパルス信号をモータＭ１〜Ｍ６への駆動電流へと変換するスピードコントローラ（ＥＳＣ：Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）ＥＳＣ１〜ＥＳＣ６と、外部との各種データ信号の送受信を担う通信アンテナ１２及び通信回路１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、姿勢センサ、高度センサ、方位センサ等の各種センサを含むセンサ部１４と、自律制御プログラム９ａ（距離制御モジュール９ｂを含む）、各種データベース９ｃ等を記録するハードディスクドライブ等の記録デバイスから構成される記録装置１０と、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系１１とを備えている。また無人航空機１は、ステレオカメラ３と、ステレオカメラ３により撮影された画像情報のデジタル信号処理を行うことにより距離の計測値を決定する、プロセッサ、一時メモリ等から構成された計測値決定回路６と、飛行中にステレオカメラ３の撮影とは異なる方向を撮影して自己のメモリに記録する外部環境撮影カメラ４とを備えている（外部環境撮影カメラ４により撮影された画像情報は随時記録装置１０に記録されてもよい。）。

その他に、無人航空機１は機能用途に応じて任意の機能部、情報等を備えていてよい。
一例として、無人航空機１が飛行計画に従って自律飛行する場合（自律飛行モード）には、飛行の開始位置、目的位置、開始位置から出発して目的位置に到達するまでに経由すべきチェックポイント位置（緯度、経度、高度）の集合である飛行計画経路、速度制限、高度制限等、飛行中に従うべき何らかの経路、規則等を含む飛行計画を示すデータである飛行計画情報（外部コンピュータが飛行計画情報生成プログラムを実行することにより、無人航空機１のユーザ等が外部インターフェースから入力した条件や経路等を用いて飛行前に予め生成された情報）が記録装置１０に記録され、また無人航空機１の飛行計画に含まれる飛行計画経路周辺の２次元マップ又は３次元マップ情報も記録装置１０に記録され、主演算回路７ａが飛行計画情報を読み込んで自律制御プログラム９ａを実行することにより、飛行計画に従って無人航空機１が飛行する。具体的には、センサ部１４の各種センサから得られる情報により無人航空機１の現在位置、速度等を決定し、飛行計画で定められた飛行計画経路、速度制限、高度制限等の目標値と比較することにより主演算回路７ａでスロットル量、ロール角、ピッチ角、ヨー角に関する制御指令値を演算し、これを主演算回路７ａがロータＲ１〜Ｒ６の回転速度に関する制御指令値に変換して信号変換回路７ｂに送信し、当該回転速度に関する制御指令値を示すデータを信号変換回路７ｂでパルス信号に変換してスピードコントローラＥＳＣ１〜ＥＳＣ６に送信し、スピードコントローラＥＳＣ１〜ＥＳＣ６がそれぞれパルス信号を駆動電流へと変換してモータＭ１〜Ｍ６にそれぞれ出力し、モータＭ１〜Ｍ６の駆動を制御してロータＲ１〜Ｒ６の回転速度等を制御することにより無人航空機１の飛行が制御される。一例として、無人航空機１の高度を上げる制御指令に対してはロータＲ１〜Ｒ６の回転数が増加し（高度を下げる場合には減少）、無人航空機１を前進方向（図１のｘの正方向）に加速する制御指令に対しては、ロータＲ１，Ｒ２の回転数を減らしてロータＲ４，Ｒ５の回転数を増やす（減速であれば逆の制御）等の制御が行われる。無人航空機１が実際に飛行した飛行経路（各時刻における無人航空機１の機体位置等）や各種センサデータ等の飛行記録情報は、飛行中に随時各種データベース９ｃに記録される。

なお、無人航空機１が、プロポーショナル・コントローラ（プロポ）等の外部入力装置から通信アンテナ１２及び通信回路１３により飛行中にリアルタイムで受信する外部入力信号により示される外部入力指令値（スロットル量、ロール角、ピッチ角、ヨー角に関する指令値）に従って飛行する場合（マニュアルモード）は、外部入力指令値を用いて主演算回路７ａが自律制御プログラム９ａ（外部入力装置によるマニュアル制御専用の機体として無人航空機１を構成する場合は、記録装置１０に記録された別個の制御プログラム。）を実行することによりロータＲ１〜Ｒ６の回転速度に関する制御指令値を演算し、このデータを信号変換回路７ｂでパルス信号に変換して、以下同様に、スピードコントローラＥＳＣ１〜ＥＳＣ６、モータＭ１〜Ｍ６を用いてロータＲ１〜Ｒ６の回転速度を制御して飛行制御を行う。

あるいは、機体の姿勢のみ自律制御する姿勢制御モード（セミマニュアルモードの一例）で無人航空機１を飛行させる場合は、センサ部１４の姿勢センサ（ジャイロセンサ、磁気センサ等）の測定により得られる姿勢情報を示すデータを用いて主演算回路７ａが自律制御プログラム９ａを実行することにより、姿勢センサからのデータと姿勢の目標値を比較する等して姿勢制御の指令値（ロール角、ピッチ角、ヨー角に関する指令値）を演算し、当該姿勢制御の指令値と、外部入力装置から受信する外部入力信号により示される外部入力指令値（スロットル量、ロール角、ピッチ角、ヨー角に関する指令値）とを組み合わせることにより、スロットル量、ロール角、ピッチ角、ヨー角に関する（合成）制御指令値を演算し、これをロータＲ１〜Ｒ６の回転速度に関する制御指令値に変換し（主演算回路７ａが自律制御プログラム９ａを実行することにより演算及び変換が行われる。）、以下同様に飛行が制御される。

自律飛行型無人航空機の一例としては、ミニサーベイヤーＡＣＳＬ−ＰＦ１（株式会社自律制御システム研究所）、Ｓｎａｐ（Ｖａｎｔａｇｅ Ｒｏｂｏｔｉｃｓ社）、ＡＲ．Ｄｒｏｎｅ２．０（Ｐａｒｒｏｔ社）、Ｂｅｂｏｐ Ｄｒｏｎｅ（Ｐａｒｒｏｔ社）等が市販されている。以下に説明する無人航空機１の飛行制御において、無人航空機１は基本的に外部入力装置等からの外部入力信号に従って飛行し、姿勢、及び対象要素との距離のみが自律制御されるものとするが、完全自律制御飛行や完全外部制御飛行をする無人航空機１においても同様に距離制御を含む飛行制御が可能である。

距離計測と計測値に応じた距離制御
本実施形態における無人航空機１は、無人航空機１と、被点検構造物等の対象要素との距離を、ステレオカメラ３と計測値決定回路６とを用いて飛行中に計測し、計測値決定回路６から距離の計測値を示す信号をリアルタイムで受信した制御信号生成回路８が、当該距離の計測値に応じて当該距離を飛行中にリアルタイムで制御するための制御信号を生成する（主演算回路７ａが制御指令値を生成し、信号変換回路７ｂが制御指令値データをパルス信号としての制御信号に変換する）ことにより距離制御を行う。図４に、ステレオカメラ３と計測値決定回路６とを用いた距離計測、そしてその後に続く、距離制御モジュール９ｂを含む自律制御プログラム９ａを主演算回路７ａが実行することにより行われる制御指令値の生成処理を含む処理のフローチャートを示す。

まず、無人航空機１の飛行中にステレオカメラ３が対象要素（後述の図７Ａ等に示す被点検構造物１５ａとする。）を撮影し（ステップＳ４０１）、計測値決定回路６が、左右のカメラＣ０，Ｃ１（後述の図５，図６参照）で同時に撮影された画像情報を用いて無人航空機１と被点検構造物１５ａとの距離の計測値ｄを決定する（ステップＳ４０２）。計測値決定回路６は、距離の計測値ｄを示す信号を主演算回路７ａに出力する（ステップＳ４０３）。以下、特許文献１（特開２０１２−１９８０７７号公報。発明者：青木 伸、発明の名称「ステレオカメラ装置、視差画像生成方法」、出願人：株式会社リコー、出願番号：特願２０１１−６１７２９、平成２３年３月１８日出願）の記載を引用しつつ、距離計測の原理やステレオカメラ３の構成を説明する。

ステレオカメラによる距離計測
図５は、特許文献１の図１からの引用である（座標軸の定義のみ変更している。）。ステレオカメラ３による距離計測の原理は、以下に特許文献１の段落［０００３］−［０００４］から引用して説明するとおり、図５を用いて説明される。

「［０００３］
図１は平行配置したステレオカメラによる距離計測の原理を説明するための図である。カメラＣ₀とＣ₁が距離Ｂだけ離れて設置されている。カメラＣ０とＣ１の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離：ｆ、
光学中心：Ｏ₀、Ｏ₁
撮像面：ｓ₀、ｓ₁
カメラＣ０の光学中心Ｏ₀から光軸方向に距離ｄだけ離れた位置にある被写体Ａの像は、直線Ａ−Ｏ₀と撮像面ｓ₀との交点であるＰ₀に像を結ぶ。一方カメラＣ１では、同じ被写体Ａが、撮像面ｓ₁上の位置Ｐ₁に像を結ぶ。ここで、カメラＣ１の光学中心Ｏ₁を通り、直線Ａ−Ｏ₀と平行な直線と、撮像面ｓ₁との交点をＰ₀’とし、点Ｐ₀’とＰ₁との距離をｐとする。」（特許文献１の段落［０００３］を引用）

「［０００４］
Ｐ₀’は、カメラＣ０上の像Ｐ₀と同じ位置であり、距離ｐは、同じ被写体の像の、二つのカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形：Ａ−Ｏ₀−Ｏ₁、三角形Ｏ₁− Ｐ₀’−Ｐ₁は相似なので、
ｄ ＝ Ｂｆ／ｐ
が得られる。カメラＣ０とＣ１の距離Ｂ（基線長）と焦点距離ｆが既知ならば、視差ｐから距離ｄを求めることができる。」（特許文献１の段落［０００４］を引用）

以上、特許文献１の図１及び段落［０００３］−［０００４］を引用してステレオカメラによる距離計測の原理を説明した。なお、以降においては図５に示すとおり被写体（対象要素）Ａと、光学中心Ｏ₀，Ｏ₁との光軸方向の距離ｄを「無人航空機１と対象要素Ａとの距離」とするが、例えば被写体（対象要素）Ａと撮像面ｓ₀，ｓ₁との光軸方向の距離＝ｄ＋ｆとして「無人航空機１と対象要素Ａとの距離」を定義するなど、当該「距離」の定義は任意である。以降の記載における「距離ｄ」とは、上記式ｄ ＝ Ｂｆ／ｐで定義されるｄに限らず、そのように任意に定義された「距離」であってよい。

図６は、ステレオカメラ３と計測値決定回路６の構成を示すブロック図であり、特許文献１の図５から引用して参照符号を変更したものである。以下、特許文献１の段落［００３０］−［００３６］を引用して（参照符号は変更する。）、それらの構成を説明する。

「［００３０］
〔構成〕
図５は、ステレオカメラ３の該略構成図の一例を示す。カメラ部３００には右カメラＣ１と左カメラＣ０が配置されている。右カメラＣ１と左カメラＣ０は、同じレンズ、同じＣＭＯＳイメージセンサを有し、右カメラＣ１と左カメラＣ０は互いの光軸が平行に、かつ、二つの撮像面が同一平面になるように配置されている。左カメラＣ０と右カメラＣ１は同じレンズ３０１、絞り３０２、ＣＭＯＳイメージセンサ３０３を有する。」（特許文献１の段落［００３０］を引用。ただし参照符号を変更した。）

「［００３１］
ＣＭＯＳイメージセンサ３０３は、カメラ制御部３０８が出力する、制御信号を入力として動作する。ＣＭＯＳイメージセンサ３０３は１０００ｘ１０００ 画素のモノクロイメージセンサであるとし、レンズ３０１は、上下左右共に片側８０ 度、両側１６０ 度の視野の像を、等距離射影方式でＣＭＯＳイメージセンサ３０３の撮像領域内に結像する特性を持つ。」（特許文献１の段落［００３１］を引用。ただし参照符号を変更した。）

「［００３２］
なお、レンズ特性は等距離射影特性に限られず、等立体角射影や正射影など、魚眼レンズとして利用されるレンズや、強い樽型の歪曲収差を持つ中心射影特性などをもつレンズでもよい。いずれのレンズも等距離射影と同様に、中心射影に比べ画像周辺の拡大率が小さいため、本実施形態と同等の効果が得られる。」（特許文献１の段落［００３２］を引用）

「［００３３］
さらに、歪曲の小さい中心射影特性を持つレンズを利用した場合でも、変形画像の画素数を小さくすることで、同傾向の効果が得られる。」（特許文献１の段落［００３３］を引用）

「［００３４］
ＣＭＯＳイメージセンサ３０３が出力した画像信号は、ＣＤＳ３０４に出力され相関二重サンプリングによるノイズ除去が行われ、ＡＧＣ３０５により信号強度に応じて利得制御され、Ａ／Ｄ３０６によりＡ／Ｄ変換される。画像信号はＣＭＯＳイメージセンサ３０３の全体を記憶可能なフレームメモリ３０７に記憶される。」（特許文献１の段落［００３４］を引用。ただし参照符号を変更した。）

「［００３５］
フレームメモリ３０７に記憶された画像信号はデジタル信号処理部６により、距離の算出等が行われ、仕様によってはフォーマット変換され液晶などの表示手段に表示される。デジタル信号処理部６は、ＤＳＰ、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたＬＳＩである。後述する機能ブロックは、例えばこのデジタル信号処理部６により、ハード的又はソフト的に提供される。なお、カメラ制御部３０８をデジタル信号処理部６に配置してもよく、図示する構成は一例である。」（特許文献１の段落［００３５］を引用。ただし参照符号を変更した。）

「［００３６］
デジタル信号処理部６は、水平同期信号ＨＤ、垂直同期信号ＶＤ及びクロック信号の各パルスをカメラ制御部３０８に出力する。または、カメラ制御部３０８が水平同期信号ＨＤ及び垂直同期信号ＶＤを生成することも可能である。カメラ制御部３０８は、タイミングジェネレータやクロックドライバを有し、ＨＤ，ＶＤ及びクロック信号からＣＭＯＳイメージセンサ３０３を駆動するための制御信号を生成する。」（特許文献１の段落［００３６］を引用。ただし参照符号を変更した。）

上記引用した特許文献１の記載において、以降ではカメラ制御部３０８をカメラ制御回路３０８と称することがある。またＣＭＯＳとはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（相補型金属酸化膜半導体）の略称である。ＣＤＳとはＣｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）の略称であり、以降ではＣＤＳ３０４をＣＤＳ回路３０４と称する。ＡＧＣとはＡｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ（自動利得調整）の略称であり、以降ではＡＧＣ３０５をＡＧＣ回路３０５と称する。Ａ／ＤとはＡｎａｌｏｇ／Ｄｉｇｉｔａｌ（アナログ／デジタル）の略称であり、以降ではＡ／Ｄ３０６をＡ／Ｄコンバータ３０６と称する。ＤＳＰとはＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（デジタル・シグナル・プロセッサ）の略称である。ＣＰＵとはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置）の略称である。ＲＯＭとはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（リード・オンリー・メモリ）の略称である。ＲＡＭとはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダム・アクセス・メモリ）の略称である。ＬＳＩとはＬａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（大規模集積回路）の略称である。本実施形態においては、デジタル信号処理部（計測値決定回路）６がＲＯＭに記憶された距離の計測値を決定するためのプログラムをＣＰＵで実行することにより距離の計測値を算出することとする。一例においては、計測値決定回路６が、カメラＣ０，Ｃ１により撮影される各々の画像の両方に含まれるピクセルの各々について、ｄ ＝ Ｂｆ／ｐ等により距離の計測値を決定し、各ピクセルの色を当該ピクセルの距離計測値に対応する色とした距離画像を生成し、距離画像データから得られる、対象要素と無人航空機１との距離に対応する計測値を主演算回路７ａに出力する。

以上、特許文献１の図１，図５、及び段落［０００３］−［０００４］，［００３０］−［００３６］を引用することにより距離計測の原理やステレオカメラ３，計測値決定回路６の構成を説明したが、このようなステレオカメラ３，計測値決定回路６以外の撮影カメラ、計測値決定回路を用いて被写体（対象要素）と無人航空機１との距離を決定することも可能である。例えばステレオカメラ３の代わりに単眼カメラを用いて、短い時間間隔で対象要素を２回撮影し、各回の撮影時における単眼カメラの位置（センサ部１４により検出され、主演算回路７ａを介して計測値決定回路６に入力されるとする。）を図６のカメラＣ０，Ｃ１の位置と同様に用いれば、ステレオカメラに比べて精度は劣るとしても同様の原理で距離を計測することができる。また、「単眼カメラで撮影した１枚の画像からカラー画像と距離画像を同時に取得できる撮像技術」（非特許文献１）が株式会社東芝により開発されており、この技術を用いて距離を計測してもよい。また撮影カメラにズームレンズを備えれば計測精度を向上できる。

なお、計測値決定回路６から主演算回路７ａへと出力される、距離の計測値を示す信号は、一例においては計測値決定回路６により生成された距離画像に含まれる各ピクセルの距離のうち最も小さい距離を示す信号であってもよいし（この場合、撮影された画像に含まれる要素のうち無人航空機１からの距離が最も小さい要素が「対象要素」となる。）、あるいは計測値決定回路６の動作により任意の画像処理アルゴリズムで特定の要素を物体検出し、その要素と無人航空機１との距離を上述の原理で計測値決定回路６が決定し、当該距離を示す信号を主演算回路７ａへと出力してもよい。例えば、インテル社により公開されているオープンソースのライブラリであるＯｐｅｎ ＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）の画像処理機能により、撮影された画像から特定の物体を輪郭に基づき検出することができる（非特許文献２）。この場合、計測値決定回路６のメモリにそのような画像処理プログラムを予め実装しておき、計測値決定回路６のプロセッサで画像処理プログラムを実行することにより、フレームメモリ３０７に記録された画像情報から特定の要素を検出してこの要素と無人航空機１との距離を決定することができる。

距離計測値に応じた距離制御
上述のステップＳ４０１〜Ｓ４０３に示すとおり距離の計測値ｄが決定され、これを示す信号が主演算回路７ａへと出力されると、主演算回路７ａは、距離制御モジュール９ｂを含む自律制御プログラム９ａを実行することによりステップＳ４０４以降の処理を行う。なお、ステップＳ４０１〜Ｓ４０３は所定時間間隔で繰り返され、したがって図４の処理フローに従う処理全体、及びその後の制御処理も所定時間間隔で繰り返されるが、ステレオカメラ３において撮影される画像（動画）の１フレームごとに（１コマごとに）距離の計測値ｄを決定してこれを示す信号を主演算回路７ａに出力することは必須ではなく、例えば撮影の１０フレームごとに１回、図４のフローチャート全体の処理が実行されるとしてもよい。図９の変形例においても同様である。

本実施形態において、無人航空機１は、プロポーショナル・コントローラからの外部入力信号により飛行中にリアルタイムで入力される外部入力指令値（スロットル量、ロール角、ピッチ角、ヨー角に関する指令値）、及び主演算回路７ａが自律制御プログラム９ａを実行することにより姿勢センサからのデータを用いて生成される姿勢制御の指令値（ロール角、ピッチ角、ヨー角に関する指令値）を組み合わせた（合成）制御指令値（一例においては、スロットル量に関する指令値として外部入力指令値のスロットル量を用い、ロール角、ピッチ角、ヨー角のそれぞれに関する指令値として、外部入力指令値と姿勢制御の指令値におけるロール角の指令値同士を足し合わせた指令値、ピッチ角の指令値同士を足し合わせた指令値、ヨー角の指令値同士を足し合わせた指令値をそれぞれ用いる。）による制御を受けて、対象要素としての被点検構造物１５ａの周りを飛行しているとする（図７Ａ）。

主演算回路７ａは、距離の計測値ｄを示す信号の入力を受けると、距離制御モジュール９ｂを実行することにより当該計測値ｄを第１の基準値Ｄ₁（予め外部から入力される等して記録装置１０に記録されており、主演算回路７ａが距離制御モジュール９ｂを実行することにより読み出されるとする。第２の基準値Ｄ₂も同様。）と比較する（ステップＳ４０４）。計測値ｄが第１の基準値Ｄ₁よりも小さい場合（Ｙｅｓ）は、図７Ｂに示すとおり無人航空機１が被点検構造物１５ａに近づき過ぎているため、無人航空機１を被点検構造物１５ａから離れさせるための制御指令値が生成される（ステップＳ４０５）。一例において、無人航空機１を後方向（図１のｘ方向の逆方向）に移動させるべく、上記外部入力指令値と姿勢制御の指令値を組み合わせたスロットル量、ロール角、ピッチ角、ヨー角に関する（合成）制御指令値のうちピッチ角に関する量を、図１中のピッチ角を示す矢印方向に機体を回転させる（機体の前部分が上昇し後部分が下降する）ことに対応する量で更新することにより、無人航空機１を被点検構造物１５ａから離れさせるための制御指令値を生成する。

ステップＳ４０４において計測値ｄが第１の基準値Ｄ₁よりも小さくない場合（Ｎｏ）、無人航空機１は被点検構造物１５ａに近づき過ぎてはいないため、ステップＳ４０５の処理は行われず、処理はステップＳ４０６に進む。主演算回路７ａは、距離制御モジュール９ｂを実行することにより当該計測値ｄを第２の基準値Ｄ₂と比較する（ステップＳ４０６）。ここで第２の基準値Ｄ₂は第１の基準値Ｄ₁以上の基準値である。計測値ｄが第２の基準値Ｄ₂よりも大きい場合（Ｙｅｓ）は、図７Ｃに示すとおり無人航空機１が被点検構造物１５ａから離れ過ぎているため、無人航空機１を被点検構造物１５ａに近づけるための制御指令値が生成される（ステップＳ４０７）。一例において、無人航空機１を前方向（図１のｘ方向）に移動させるべく、上記外部入力指令値と姿勢制御の指令値を組み合わせたスロットル量、ロール角、ピッチ角、ヨー角に関する（合成）制御指令値のうちピッチ角に関する量を、図１中のピッチ角を示す矢印の逆方向に機体を回転させる（機体の前部分が下降し後部分が上昇する）ことに対応する量で更新することにより、無人航空機１を被点検構造物１５ａに近づけるための制御指令値を生成する。

ステップＳ４０６において計測値ｄが第２の基準値Ｄ₂よりも大きくない場合（Ｎｏ）、無人航空機１は被点検構造物１５ａから離れ過ぎてはいないため、ステップＳ４０７の処理は行われず、処理はステップＳ４０８に進む。主演算回路７ａは、上記外部入力指令値と姿勢制御の指令値を組み合わせた（合成）制御指令値としてスロットル量、ロール角、ピッチ角、ヨー角に関する制御指令値を生成する（ステップＳ４０８）。

図４の処理フローに従って、ステップＳ４０５，Ｓ４０７，Ｓ４０８のいずれかによりスロットル量、ロール角、ピッチ角、ヨー角に関する制御指令値が生成される。引き続き、主演算回路７ａが自律制御プログラム９ａを実行することによりこれら制御指令値をロータＲ１〜Ｒ６の回転速度に関する制御指令値に変換し、信号変換回路７ｂがこれらをパルス信号に変換することで制御信号を生成し、スピードコントローラＥＳＣ１〜ＥＳＣ６がそれぞれパルス信号を駆動電流へと変換してモータＭ１〜Ｍ６にそれぞれ出力し、モータＭ１〜Ｍ６の駆動を制御してロータＲ１〜Ｒ６の回転速度等を制御することにより無人航空機１の飛行が制御される。これにより、無人航空機１と被点検構造物１５ａとの距離ｄは、第１の基準値Ｄ₁から第２の基準値Ｄ₂までの範囲内に向かって制御されることとなる。図４のフローに従う処理、及びその後の制御処理は所定時間間隔で繰り返されるため、無人航空機１が第１の基準値Ｄ₁から第２の基準値Ｄ₂までの範囲内に入らない限り、その範囲内に向かうよう無人航空機１は制御を受け続けることになる。

ここで、第１の基準値Ｄ₁と第２の基準値Ｄ₂とが等しい場合、無人航空機１と被点検構造物１５ａとの距離ｄは当該基準値に等しい一定距離に向かって制御されることになる（図７Ｄ）。この場合、無人航空機１の飛行は被点検構造物１５ａからの等距離面１６ａ内に向かって制御されることとなり（図８Ａ）、実質的には無人航空機１の飛行経路を２次元化することが可能である。対象要素が被点検構造物１５ａではなく電線等の被点検要素１５ｂである場合は、同様の原理で無人航空機１と被点検要素１５ｂとの距離ｄを制御することにより、無人航空機１の飛行を被点検要素１５ｂからの等距離線１６ｂ上に向かって制御して実質的に１次元化することも可能である（図８Ｂ）。

なお、図４に示すような距離制御を行うか否かは、一例においてはプロポーショナル・コントローラから送信されるモード切替え信号を通信アンテナ１２及び通信回路１３で受信し、主演算回路７ａがモード切替え信号の入力を受けて自律制御プログラムを実行することにより切り替えられる。これにより、無人航空機１を被点検構造物１５ａに接近させて被点検構造物１５ａの方向をステレオカメラ３が向くように制御してから、距離制御モードをオンとするためのモード切換え信号をプロポーショナル・コントローラから通信アンテナ１２へと送信し、距離制御モードへと移行して点検作業を行い（ステレオカメラ３により撮影される画像情報を、静止画あるいは動画として計測値決定回路６から主演算回路７ａに出力し、通信回路１３及び通信アンテナ１２を介して随時操縦者の外部コンピュータに送信すればリアルタイムでの点検が可能であるし、上記静止画あるいは動画を記録装置１０に記録しておいて飛行終了後に読み出すことも可能である。点検用のカメラとしてステレオカメラ３とは別個のカメラを無人航空機１に備え、別個のカメラにより撮影された画像情報を同様に利用してもよい。）、作業が終了したら距離制御モードをオフとするためのモード切換え信号をプロポーショナル・コントローラから通信アンテナ１２へと送信して距離制御モードを終了させ、無人航空機１を帰還させる等の制御が可能となる。

既に述べたとおり、無人航空機１はリアルタイムで入力される外部入力指令値と自律制御プログラム９ａの実行により生成される姿勢制御の指令値を組み合わせた（合成）制御指令値による制御で飛行しているとしたが、無人航空機１が上述の飛行計画情報を用いた制御に従って飛行している場合であっても同様の距離計測、距離制御が可能である。制御フローは図４に示したフローと基本的に同様であり、例えばステップＳ４０５で無人航空機１を被点検構造物１５ａから離れさせるための制御指令値が生成されるときは、この制御指令値を用いて主演算回路７ａが自律制御プログラム９ａを実行することにより、無人航空機１を被点検構造物１５ａから離れる方向に飛行するよう制御し、更に記録装置１０に記録された飛行計画情報に含まれる飛行計画経路を、ステップＳ４０５の実行された時の無人航空機１の位置を通らず被点検構造物１５ａから離れる方向に迂回するように変更する。あるいは、例えばステップＳ４０７で無人航空機１を被点検構造物１５ａに近づけるための制御指令値が生成されるときは、この制御指令値を用いて主演算回路７ａが自律制御プログラム９ａを実行することにより、無人航空機１を被点検構造物１５ａに近づく方向に飛行するよう制御し、更に記録装置１０に記録された飛行計画情報に含まれる飛行計画経路を、ステップＳ４０７の実行された時の無人航空機１の位置を通らず被点検構造物に近づく方向に迂回するように変更する。図４のフローに従う処理、及びその後の制御処理は所定時間間隔で繰り返されるため、無人航空機１が第１の基準値Ｄ₁から第２の基準値Ｄ₂までの範囲内に入らない限り、その範囲内に向かうよう無人航空機１は制御を受け続け、そして飛行計画経路が変更され続けることになる。無人航空機１が、外部入力信号を受信していないときは飛行計画情報を用いた制御により飛行しつつ、外部入力信号を受信したときにはその外部入力指令値による制御を優先させて一時的にマニュアル制御になるようなモードで飛行している場合であっても、同様の距離計測、距離制御が可能であり、一例においては、既に述べたとおり無人航空機１を被点検構造物１５ａから離れさせるため、あるいは被点検構造物１５ａに近づけるための制御指令値を生成する際に併せて飛行計画経路が上述の被点検構造物１５ａから離れる方向、あるいは被点検構造物１５ａに近づく方向に迂回する経路へと変更される。同様に、以下に説明する図９のフローチャートに従う処理も、無人航空機のさまざまな飛行モードに対して実施可能である。

以上説明した図４のフローチャートの変形例を図９に示す。ステップＳ９０１〜Ｓ９０８の処理は図４のステップＳ４０１〜Ｓ４０８の処理と同様であり適宜説明を省略する。図９のフローチャートにおいては、新たにステップＳ９０９とステップＳ９１０の比較処理が追加されている。

ステップＳ９０１〜Ｓ９０３においては、図４のステップＳ４０１〜Ｓ４０３と同様に、無人航空機１の飛行中にステレオカメラ３が対象要素（被点検構造物１５ａとする。）を撮影し（ステップＳ９０１）、計測値決定回路６が、左右のカメラＣ０，Ｃ１（図５，図６参照）で同時に撮影された画像情報を用いて無人航空機１と被点検構造物１５ａとの距離の計測値ｄを決定する（ステップＳ９０２）。計測値決定回路６は、距離の計測値ｄを示す信号を主演算回路７ａに出力する（ステップＳ９０３）。図４のフローチャートと同様に図９の処理フロー、及びその後の制御処理も所定時間間隔で繰り返され、すなわち主演算回路７ａには各距離計測により決定された距離の計測値ｄを示す信号が入力され続けるが、ここにおいて主演算回路７ａは、入力された信号の示す距離の計測値ｄを、その計測値ｄに対応する計測時刻（信号入力を受けた時刻）と関連付けて、計測値ｄ及び対応する計測時刻の組のデータとして記録装置１０に記録し続ける。

主演算回路７ａは、距離の計測値ｄを示す信号の入力を受けると、距離制御モジュール９ｂを実行することにより当該計測値ｄを第１の基準値Ｄ₁と比較する（ステップＳ９０４）。計測値ｄが第１の基準値Ｄ₁よりも小さい場合（Ｙｅｓ）、主演算回路７ａは、更に、距離制御モジュール９ｂを実行することにより、当該計測値ｄ（最新の計測値）と、前回計測値決定回路６から入力を受けた信号により示される、前回の距離の計測値ｄ₀とを比較する（Ｓ９０９）。最新の計測値ｄが前回の計測値ｄ₀よりも小さい場合（Ｙｅｓ）は、無人航空機１が被点検構造物１５ａに近づき過ぎており、且つ経時的に距離の計測値が減少しているため、無人航空機１を被点検構造物１５ａから離れさせるための制御指令値が生成される（ステップＳ９０５）。なお、主演算回路７ａが１回目の計測による距離の計測値を示す信号の入力を受けた場合であり「前回の」計測値が存在しない場合は、ステップＳ９０９の比較を省略して（Ｙｅｓとみなして）ステップＳ９０５の処理が行われる。

ステップＳ９０４において計測値ｄが第１の基準値Ｄ₁よりも小さくない場合（Ｎｏ）、あるいは、計測値ｄが第１の基準値Ｄ₁よりも小さいがステップＳ９０９において最新の計測値ｄが前回の計測値ｄ₀よりも小さくない場合（Ｎｏ）、無人航空機１は被点検構造物１５ａに近づき過ぎてはいないか、あるいは被点検構造物１５ａから離れつつあるか等距離を保っているため、ステップＳ９０５の処理は行われず、処理はステップＳ９０６に進む。主演算回路７ａは、距離制御モジュール９ｂを実行することにより当該計測値ｄを第２の基準値Ｄ₂と比較する（ステップＳ９０６）。既に述べたとおり第２の基準値Ｄ₂は第１の基準値Ｄ₁以上の基準値である。計測値ｄが第２の基準値Ｄ₂よりも大きい場合（Ｙｅｓ）、主演算回路７ａは、更に、距離制御モジュール９ｂを実行することにより、当該計測値ｄ（最新の計測値）と、前回計測値決定回路６から入力を受けた信号により示される、前回の距離の計測値ｄ₀とを比較する（Ｓ９１０）。最新の計測値ｄが前回の計測値ｄ₀よりも大きい場合（Ｙｅｓ）は、無人航空機１が被点検構造物１５ａから離れ過ぎており、且つ経時的に距離の計測値が増大しているため、無人航空機１を被点検構造物１５ａに近づけるための制御指令値が生成される（ステップＳ９０７）。なお、主演算回路７ａが１回目の計測による距離の計測値を示す信号の入力を受けた場合であり「前回の」計測値が存在しない場合は、ステップＳ９１０の比較を省略して（Ｙｅｓとみなして）ステップＳ９０７の処理が行われる。

ステップＳ９０６において計測値ｄが第２の基準値Ｄ₂よりも大きくない場合（Ｎｏ）、あるいは、計測値ｄが第２の基準値Ｄ₂よりも大きいがステップＳ９１０において最新の計測値ｄが前回の計測値ｄ₀よりも大きくない場合（Ｎｏ）、無人航空機１は被点検構造物１５ａから離れ過ぎてはいないか、あるいは被点検構造物１５ａに近づきつつあるか等距離を保っているため、ステップＳ９０７の処理は行われず、処理はステップＳ９０８に進む。主演算回路７ａは、上記外部入力指令値と姿勢制御の指令値を組み合わせた（合成）制御指令値としてスロットル量、ロール角、ピッチ角、ヨー角に関する制御指令値を生成する（ステップＳ９０８）。

図９の処理フローに従って、ステップＳ９０５，Ｓ９０７，Ｓ９０８のいずれかによりスロットル量、ロール角、ピッチ角、ヨー角に関する制御指令値が生成される。以降の制御指令値の変換、制御信号の生成等は図４に関連して既に述べたとおりである。

試作機
本発明者は、距離計測及びこれに応じた距離制御を行う本発明の無人航空機１の試作機を設計した。ただし本試作機は、図３の構成中、センサ部１４の各種センサに加えて、図１０Ａ及び図１０Ｂの下方（図１のｚ方向）及びそのやや斜め方向から見た図及び写真と、図１１のブロック図とにそれぞれ示すとおり、下方カメラ１７とＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理回路１８とを備えている。ただし、図１０Ａにおいては着陸脚５を省略した。下方カメラ１７は飛行中に下方（図１のｚ方向）を撮影する単眼カメラであり、図６のステレオカメラと同様にＣＤＳ回路、ＡＧＣ回路、Ａ／Ｄコンバータ、フレームメモリを備え、撮影した画像の信号処理、記録をこれらにより行う。ＳＬＡＭ処理回路１８は、ＣＰＵ，ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：グラフィクス・プロセッシング・ユニット），メモリ等を備える市販の回路基板であり、メモリにＶｉｓｕａｌ ＳＬＡＭを実行するためのプログラムやデータ等を記録して用いる。Ｖｉｓｕａｌ ＳＬＡＭとは、連続して撮影された画像の複数のフレーム間で複数の特徴点を追跡することにより自己位置とマップの推定を並行して行う技術であり、ＭｏｎｏＳＬＡＭ（非特許文献３）やＰＴＡＭ（Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ）（非特許文献４，５）等、さまざまなアルゴリズムが開発されている。ＳＬＡＭ処理回路１８がそのようなアルゴリズムを実装したプログラムを実行することにより、下方カメラ１７のフレームメモリに記録された画像信号を用いてＶｉｓｕａｌ ＳＬＡＭによる自己位置推定とマッピングを行い、これにより推定された自己位置（無人航空機１の周囲に存在する要素に対する無人航空機１の相対位置）や速度（位置の時間微分により求められる。）、姿勢（撮影した画像における複数の特徴点の配置から幾何学計算により求められる。）等、図３の構成においてセンサ部１４からのセンサデータを用いて決定されていた、無人航空機１の状態を表す量を決定する。これらの量を示す信号は主演算回路７ａへと出力され、そして主演算回路７ａは、図３の構成においてセンサ部１４から入力される情報を利用していたのと同様にＳＬＡＭ処理回路１８から入力される情報を利用する。またＳＬＡＭ処理回路１８が推定したマップ情報も主演算回路７ａへと出力され、記録装置１０に記録される。ＳＬＡＭに関連する構成以外は、基本的には図１〜図９を用いて説明した構成と同様である。なお、下方カメラ１７としては単眼カメラではなく図５，図６を用いて説明したステレオカメラを用いてもよく、この場合も同様の原理でＶｉｓｕａｌ ＳＬＡＭによる自己位置等の推定が可能である。Ｖｉｓｕａｌ ＳＬＡＭではなく、例えばレーザ距離センサを用いたＳＬＡＭも適用可能であり、この場合は下方カメラ１７の代わりにレーザ距離センサを用いる（非特許文献６）。

以下、本試作機の具体的構成を説明する。本試作機は、センサ部１４として、気圧高度計、ソナー、ＧＰＳセンサを備えており、主には下方カメラ１７とＳＬＡＭ処理回路１８によるＶｉｓｕａｌ ＳＬＡＭ処理により信頼性の高い機体位置等のデータが得られない場合にこれらセンサ部１４のセンサを用いた検出処理へと動作が切り替えられる。なお、ＳＬＡＭ処理回路１８から主演算回路７ａへの機体位置等のデータ送信は、１つのデータ線を用いた３．３Ｖ ＵＡＲＴ（Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）のインターフェースを介して行われる。

ハードウェア構成として、ＳＬＡＭ処理回路１８の回路基板としてはＮＶＩＤＩＡ Ｊｅｔｓｏｎ ＴＸ２ （ｖｉｓｉｏｎ ｃｏｍｐｕｔｅｒ）とＣＴＩ Ｏｒｂｉｔｔｙ ｃａｒｒｉｅｒ ｂｏａｒｄ ｆｏｒ ＮＶＩＤＩＡ Ｊｅｔｓｏｎ ＴＸ２を、ステレオカメラ３としてはＺＥＤ ｓｔｅｒｅｏ ｃａｍｅｒａ （ＵＳＢ ３．０）を、下方カメラ１７としてはＩＤＳ ＵＩ−１２２０ＳＥ ｍｏｎｏ ｇｒａｙｓｃａｌｅ ｃａｍｅｒａ （ＵＳＢ ２．０）とＴｈｅｉａ ＭＹ１１０Ｍ ｌｅｎｓ ｆｏｒ ｍｏｎｏ ｃａｍｅｒａを用いた。

なお、上記構成のＳＬＡＭ処理回路１８の動作電力としては基本的に２Ｗで９−１４Ｖが要求されるが、この電力は機体本体の電源系１１（メインバッテリ）から得ることとした。無人航空機１本体に備えられた電源ボタン（不図示）を押すことで無人航空機１が起動、あるいは動作停止するが、ＳＬＡＭ処理回路１８の動作のオンオフも無人航空機１本体の動作のオンオフに伴って切り替えられる。例えば、無人航空機１本体の動作を停止するべく電源ボタンを押すと、まずＳＬＡＭ処理回路１８に対して主演算回路７ａから停止命令信号が送信されてＳＬＡＭ処理回路１８が動作を停止し、その後に本体の動作が停止する。メインバッテリが切断された後にＳＬＡＭ処理回路１８がシャットダウンすることを可能とするために、ＳＬＡＭ処理回路１８に十分な容量のバックアップバッテリを別途備えてもよい。

本試作機は、プロポ等の外部入力装置による操縦を基本としつつ、飛行中の状況に応じた変更処理（例えば近距離の障害物を検知したとき、制御信号生成回路８等による上述の距離制御処理が行われて外部入力信号が変更される。）や外部からのコマンド入力による変更処理（一時停止、強制停止などの緊急コマンドを地上局等から送信することで飛行に強制的に介入することが可能である。）等によりプロポ等からの入力信号をオーバーライドすることが可能である。 本試作機は、以下の５つのモードで動作可能である。

１．姿勢制御モード
外部入力装置から受信する外部入力信号により示される外部入力指令値と、センサ部１４の測定により得られる姿勢情報のデータを用いて主演算回路７ａが自律制御プログラム９ａを実行することにより生成される姿勢制御の指令値とを組み合わせて（合成）制御指令値を生成することにより、姿勢を自律制御するセミマニュアルモードである。無人航空機１を離陸させるためには、機体が離陸するまで単純に「ｔｈｒｕｓｔ」スティックを上方向に押せばよく、以降は自律制御により姿勢が安定化されつつ外部入力信号に従って機体を操縦することができる。着陸のためには、機体が着陸するまで単純に「ｔｈｒｕｓｔ」スティックを下方向に押せばよい。離陸及び着陸は以降のモードを含む全てのモードで実行でき、後述のＧＰＳウェイポイントモード（離陸と着陸は自律的に実行される。）を除く各モードにおいて手順は同一である。
２．Ｖｉｓｉｏｎアシストモード
既に述べたとおり、センサ部１４に代わって下方カメラ１７とＳＬＡＭ処理回路１８によるＶｉｓｕａｌ ＳＬＡＭ処理により得られた機体位置、速度、姿勢等の情報を用いるモードである。外部入力信号により示される外部入力指令値と、Ｖｉｓｕａｌ ＳＬＡＭ処理によって得られる情報を用いて主演算回路７ａが自律制御プログラム９ａを実行することにより生成される自律制御の指令値とを組み合わせて、（合成）制御指令値を生成することにより制御するセミマニュアルモードである。この制御モードにおいて、操縦者が指を外部入力装置から離す時、無人航空機１はその時の機体位置に留まる。無人航空機１を左に移動させるためには、「ｒｏｌｌ」スティックを左に押す。停止するためには、単純にスティックから手を離せばよい。無人航空機１を上方に移動させるためには、「ｔｈｒｕｓｔ」スティックを上に押す。停止させるために、単純にスティックをリリースすればよい（「ｔｈｒｕｓｔ」スティックにはバネが搭載されていて、ミドルポジションに戻る。）。
３．距離制御モード
本試作機においては上記「２．」のＶｉｓｉｏｎアシストモードと共に用いられるモードであり、既に説明したとおりの原理により、無人航空機１の正面にある最も近い対象要素（壁、トラス、ワイヤ等）に対して固定の距離が維持されるように距離制御を行うモードである。左／右及び上／下の方向への飛行制御は、無人航空機１の正面にある対象要素に沿って機体を「スライド」させるために用いることができる。固定の距離としての目標値は、外部入力装置１９上の距離設定ノブ２０を用いて最小１ｍ、最大３ｍの範囲内で設定される（図１２）。
４．ＧＰＳアシストモード
基本的に外部コントローラからの制御信号で動作しつつ、ＧＰＳセンサデータに基づき姿勢・（ホバリング時の）位置を自律制御するモードである。
５．ＧＰＳウェイポイントモード
予め飛行計画情報の一部として設定されたＧＰＳウェイポイントを利用して、上述の飛行計画情報によって与えられる飛行計画に従い、ＧＰＳセンサからの位置データ等を用いて飛行計画経路を自律飛行するモードである。

飛行モードは外部入力装置上のモードスイッチ（不図示）を用いて選択される。ただし「３．」の距離制御モードは、離陸動作中及び着陸動作中において不能とされる。

また本試作機を飛行させる前には、Ｖｉｓｕａｌ ＳＬＡＭ処理の初期化のために、図１３の離陸パッド２１を用いたセットアップ作業が行われる。セットアップ手順は以下のとおりである。
１．外部入力装置（無線コントローラ）がオフであることを確認する。
２．機体バッテリをプラグインする。
３．機体の「ｖｉｓｉｏｎ ｐｏｗｅｒ」ボタンを押す。
ａ．「ｖｉｓｉｏｎ ｐｏｗｅｒ」ＬＥＤが黄色く点滅を始める。
ｂ．「ｖｉｓｉｏｎ ｐｏｗｅｒ」ＬＥＤが無地の緑になるまで待つ。
４．機体を離陸パッド２１の上に置く。
ａ．ステレオカメラ３が図１３中の矢印（前方）の方向を向くように置く。
ｂ．また着陸脚５の前方２つの端部が、第１のマーク２２の上にそれぞれ位置するように置く。
５．機体背部の「Ｉｎｉｔｉａｌｉｚｅ」ボタンを押す。
６．機体を、着陸脚５の前方２つの端部が第１のマーク２２から第２のマーク２３へとスライドするように移動させる。
７．機体背部の「Ｉｎｉｔｉａｌｉｚｅ」ＬＥＤが消えたことを確認する。「Ｉｎｉｔｉａｌｉｚｅ」ＬＥＤが消えない場合、ステップ４から作業を繰り返す。

このセットアップ作業は、機体の着陸脚５の前方２つの端部が第１のマーク２２にそれぞれ位置する第１の固定位置と、前方２つの端部が第２のマーク２３にそれぞれ位置する第２の固定位置とから下方カメラ１７で初期設定用ピクチャ２４を撮影し、Ｖｉｓｕａｌ ＳＬＡＭ処理に用いる最初の２つの画像を取得するためのものである。セットアップ作業中、上記「５．」の作業を行ったときに第１の固定位置から初期設定用ピクチャ２４が撮影され、上記「６．」の作業を行ったときに第２の固定位置から初期設定用ピクチャ２４が撮影される。下方カメラ１７と、観察された特徴点の３Ｄ位置との間の相対的な姿勢を、平面を介するカメラ間のホモグラフィを見出すことにより計算できる。初期設定用ピクチャ２４内の各マーカ（模様）は既知のサイズであり、撮影した画像を用いて下方カメラ１７から離陸パッド２１までの実際の距離を決めることができる。この実際の距離を、初期のＳＬＡＭマップから得られる離陸パッド２１の面からの距離と比較し、ＳＬＡＭ処理と現実世界との間のスケール（割合）を設定することができる。なお、下方カメラ１７としてステレオカメラを用いる場合、第１の固定位置から初期設定用ピクチャ２４を撮影すれば２つの画像が得られるため、上記「６．」の作業は省略できる。

本発明は、産業用、ホビー用を含むあらゆる用途に用いられるあらゆる無人航空機の制御のために利用することが可能である。

１ 無人航空機
２ 本体部
３ ステレオカメラ
４ 外部環境撮影カメラ
５ 着陸脚
６ 計測値決定回路（デジタル信号処理部）
７ａ 主演算回路
７ｂ 信号変換回路
８ 制御信号生成回路
９ａ 自律制御プログラム
９ｂ 距離制御モジュール
９ｃ 各種データベース
１０ 記録装置
１１ 電源系
１２ 通信アンテナ
１３ 通信回路
１４ センサ部
Ｃ０ 左カメラ
Ｃ１ 右カメラ
Ａ 被写体
Ｏ₀，Ｏ₁ 光学中心
ｓ₀，ｓ₁ 撮像面
Ｐ₀，Ｐ₁ 像位置
３００ カメラ部
３０１ レンズ
３０２ 絞り
３０３ ＣＭＯＳイメージセンサ
３０４ ＣＤＳ回路
３０５ ＡＧＣ回路
３０６ Ａ／Ｄコンバータ
３０７ フレームメモリ
３０８ カメラ制御部（カメラ制御回路）
１５ａ 被点検構造物
１５ｂ 被点検要素
１６ａ 等距離面
１６ｂ 等距離線
１７ 下方カメラ
１８ ＳＬＡＭ処理回路
１９ 外部入力装置
２０ 距離設定ノブ
２１ 離陸パッド
２２ 第１のマーク
２３ 第２のマーク
２４ 初期設定用ピクチャ

Claims (14)

1. 外部入力信号及び／又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、対象要素と、の距離を計測する距離センサとして、該対象要素を撮影する撮影カメラと、撮影した画像情報を用いて該距離の計測値を決定する計測値決定回路と、を備えた距離センサと、
   前記距離センサにより計測された前記距離の計測値に応じて、飛行中に前記無人航空機と前記対象要素との距離を制御するための制御信号を生成する制御信号生成回路と
   を備えた
   無人航空機の飛行制御装置。
2. 前記無人航空機は、少なくとも前記外部入力信号を用いた制御により飛行する無人航空機であって、該外部入力信号は、該無人航空機の飛行中に外部入力装置からリアルタイムで入力される信号であり、前記制御信号は、前記距離の計測値に応じて該外部入力信号を変更して得られる信号である、請求項１に記載の飛行制御装置。
3. 前記無人航空機は、少なくとも前記飛行計画情報を用いた制御により飛行する無人航空機であって、該飛行計画情報は、コンピュータがプログラムを実行することにより飛行前に予め生成された飛行計画情報である、請求項１に記載の飛行制御装置。
4. 前記計測値決定回路が前記制御信号生成回路に統合されている、請求項１乃至３のいずれか一項に記載の飛行制御装置。
5. 前記制御信号生成回路が、
   前記計測値が第１の基準値よりも小さい場合、前記無人航空機を前記対象要素から離れさせるための制御信号を生成するよう構成された
   請求項１乃至４のいずれか一項に記載の飛行制御装置。
6. 前記制御信号生成回路が、
   前記計測値が、前記第１の基準値以上の第２の基準値よりも大きい場合、前記無人航空機を前記対象要素に近づけるための制御信号を生成する
   よう構成された
   請求項５に記載の飛行制御装置。
7. 前記第１の基準値と前記第２の基準値が等しい、請求項６に記載の飛行制御装置。
8. 前記制御信号生成回路は、
   前記計測値が前記第１の基準値よりも小さく、且つ経時的に該計測値が減少する場合において、前記無人航空機を前記対象要素から離れさせるための制御信号を生成し、
   前記計測値が前記第２の基準値よりも大きく、且つ経時的に該計測値が増大する場合において、前記無人航空機を前記対象要素に近づけるための制御信号を生成する
   よう構成された、
   請求項６又は７に記載の飛行制御装置。
9. 前記撮影カメラの撮影とは異なる方向を撮影する外部環境撮影カメラを更に備えた、請求項１乃至８のいずれか一項に記載の飛行制御装置。
10. 前記無人航空機の周囲に存在する要素に対する該無人航空機の相対位置を計測するための相対位置計測センサを更に備えた、請求項１乃至９のいずれか一項に記載の飛行制御装置。
11. 前記対象要素は、被点検構造物である、請求項１乃至１０のいずれか一項に記載の飛行制御装置。
12. 請求項１乃至１１のいずれか一項に記載の飛行制御装置を備えた無人航空機。
13. 対象要素を撮影し、撮影した画像情報を用いて、外部入力信号及び／又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、該対象要素と、の距離の計測値を決定することにより、該距離を計測する段階と、
    前記距離の計測値に応じて、飛行中に前記無人航空機と前記対象要素との距離を制御するための制御信号を生成する段階と
    を備えた
    無人航空機の飛行制御方法。
14. 対象要素を撮影カメラが撮影した画像情報を用いて、外部入力信号及び／又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、該対象要素と、の距離の計測値を計測値決定回路に決定させ、
    前記距離の計測値に応じて、飛行中に前記無人航空機と前記対象要素との距離を制御するための制御指令値を制御信号生成回路に生成させる
    ためのプログラム。

Images