JP2020535545A - ナビゲーションチャート構成方法、障害物回避方法及び装置、端末、無人航空機 - Google Patents

Abstract

【解決手段】ナビゲーションチャート構成方法は、無人航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップ（Ｓ１１０）と、現在の飛行位置、姿勢情報及び深度画像に基づいて、各点の３次元位置情報を取得するステップ（Ｓ１２０）と、各点の３次元位置情報を、それぞれに設定された重み値で、現在の飛行位置を中心としたローカルナビゲーションチャートに投影するステップ（Ｓ１３０）と、を含む。障害物自動回避方法、障害物回避装置、端末及び無人航空機（８００）をさらに提供する。【選択図】図１

Description

本願は、航空機の技術分野に関し、具体的には、ナビゲーションチャート構成方法、障害物自動回避方法及び装置、端末に関する。

科学技術の発展に伴って、航空機、例えば、ドローンなどは、空撮、農業、植物保護、マイクロセルフタイマー、宅配運搬、災害救助、野生動物の観察、伝染病の監視、マッピング、ニュース報道、電力巡回検査、災害救援、映画撮影などの分野で広く応用されている。

従来技術では、航空機の作業ルートは、地上制御装置が区画地情報に基づいて予め自動的に作成したスキャンルートである。スキャンルートが予め作成され、作業後の帰航ルートも離陸前に作成されているため、例えば、航空機が予め作成されたスキャンルートに従って作業する場合、事前に作業ルートが計画されていない作業領域に対しても作業を行う必要があるか、又は、航空機が予め作成されたスキャンルートに従って作業する場合、事前に計画されていない未知の障害物を自動的に回避する必要があるなどの臨時のタスク変化に対応できない。

本願は、従来方式の欠点に対して、従来技術に存在する作業ルートの計画方式では臨時のタスク変化に対応できないという問題を解決し、作業ルートを動的に生成し、臨時のタスク変化に効果的に対応できるナビゲーションチャート構成方法、障害物自動回避方法及び装置、端末を提供する。

本願の実施例の第１の態様は、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するステップと、
各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するステップと、を含むナビゲーションチャート構成方法を提供する。

本願の実施例の第２の態様は、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するステップと、
各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するステップと、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するステップと、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための３次元位置情報とを取得するステップと、
予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するステップと、を含む障害物回避方法をさらに提供する。

本願の実施例の第３の態様は、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された情報取得モジュールと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するように構成された３次元位置情報取得モジュールと、
各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するように構成された投影モジュールと、を含む航空機のナビゲーションチャート構成装置をさらに提供する。

本願の実施例の第４の態様は、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された第１の情報取得モジュールと、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するように構成された３次元位置情報取得モジュールと、
各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するように構成された投影モジュールと、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するように構成された第１の領域設定モジュールと、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための３次元位置情報とを取得するように構成された第２の情報取得モジュールと、
予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するように構成された第２の領域設定モジュールと、を含む障害物回避装置をさらに提供する。

本願の実施例の第５の態様は、メモリと、プロセッサと、メモリに記憶され、プロセッサ上で実行可能なコンピュータプログラムとを含み、前記プログラムが前記プロセッサによって実行されると、任意の実施例に記載の方法のステップが実行される端末をさらに提供する。

本願の実施例の第６の態様は、メモリと、プロセッサと、メモリに記憶されプロセッサ上で実行可能なコンピュータプログラムとを含み、前記プロセッサが前記プログラムを実行する場合、任意の実施例に記載の方法のステップを実行する端末をさらに提供する。

本願の実施例の第７の態様は、記憶されたプログラムを含み、前記プログラムが実行されると、所在する機器を制御して上記第１の態様に記載のナビゲーションチャート構成方法を実行する記憶媒体をさらに提供する。

本願の実施例の第８の態様は、記憶されたプログラムを含み、前記プログラムが実行されると、所在する機器を制御して上記第２の態様に記載の障害物回避方法を実行する記憶媒体をさらに提供する。

本願の実施例の第９の態様は、
通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
前記センサは、イメージセンサ、ＧＰＳ受信機、ＲＴＫ測位センサ及び慣性センサを含み、
前記通信モジュールは、地上制御装置と通信するように構成され、
前記ＧＰＳ受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
前記コントローラは、前記記憶媒体に接続され、前記記憶媒体は、実行されると、上記第１の態様に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機をさらに提供する。

本願の実施例の第１０の態様は、
通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
前記センサは、イメージセンサ、ＧＰＳ受信機、ＲＴＫ測位センサ及び慣性センサを含み、
前記通信モジュールは、地上制御装置と通信するように構成され、
前記ＧＰＳ受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
前記コントローラは、前記記憶媒体に接続され、前記記憶媒体は、実行されると、上記第２の態様に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機をさらに提供する。

上記ナビゲーションチャート構成方法、障害物自動回避方法及び装置、端末によれば、航空機の現在の飛行位置を中心としたローカルナビゲーションチャートを動的に生成し、飛行中に航空機が取得した位置情報、姿勢情報及び深度画像に基づいて、飛行中に航空機が出会った未知の障害物の情報である可能性も、飛行中に航空機が出会った、事前に計画されていない他の物体の情報である可能性もある各点の３次元位置情報を分析し、各点の３次元位置情報をローカルナビゲーションチャートに投影すると、該ローカルナビゲーションチャートに基づいてリアルタイムの作業ルート計画を行うことができる。作業ルートは、飛行中に航空機が取得した情報に基づいて動的に生成されるため、例えば、事前に作業ルートが計画されていない作業領域に対しても作業を行うか、又は未知の障害物の所在する領域を自動的に回避するなどの臨時のタスク変化に効果的に対応することができる。

本願の上記及び／又は追加の態様と利点は、以下の図面を参照した実施例の説明から明らかになり、かつ理解しやすくなる。
本願に係るナビゲーションチャート構成方法の一実施例の概略フローチャートである。 本願に係るプリセット領域の決定方法の一具体例の概略図である。 本願に係る航空機のナビゲーションチャート構成装置の一実施例の概略構成図である。 本願に係る障害物回避方法の一実施例の概略フローチャートである。 本願に係るグローバルナビゲーションチャートの境界取得方式の一具体例の概略図である。 本願に係るグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定する一具体例の概略図である。 本願に係る障害物回避装置の一実施例の概略構成図である。 本願の一実施例に係る無人航空機８００の概略構成図である。

以下、本願に係る実施例を詳細に説明し、前記実施例の例は図面に示されているが、同一又は類似の参照符号は、同一又は類似の部品、又は同一又は類似の機能を有する部品を一貫して表す。以下、図面を参照して説明した実施例は、例示的なものであり、本願を説明するためのもので、本願を限定するものであると理解すべきではない。

特に断りのない限り、単数形の「１」、「１つ」、「前記」及び「該」には複数の指示対象が含まれることは当業者に理解されるところである。さらに理解されることとして、本明細書で使用される「含む」という用語は、記載された特徴、整数、ステップ、動作、要素及び／又はコンポーネントの存在を特定するが、他の１つ又は複数の特徴、整数、ステップ、動作、要素、コンポーネント及び／又はそのグループが存在すること又は付加されていることを除外するものではない。

特に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）が本願に係る属する分野の当業者によって通常理解される意味と同じ意味を有することは当業者に理解されるところである。さらに理解されることとして、通常使用される辞書において定義されているような用語は、従来技術の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明確に定義されない限り、理想的な又は過度に形式的な意味で解釈されない。
本願をより良く理解するために、まず本願に係る全体的な技術的思想について簡単に紹介する。

本願の設計された航空機の障害物回避システムは、２つの部分に分けられ、１つは、主にグローバルナビゲーションチャートに基づくグローバル障害物回避の計画部分であり、もう１つは、主にローカルナビゲーションチャートに基づくローカル障害物回避の計画部分である。グローバルナビゲーションチャートとローカルナビゲーションチャートは、いずれも航空機の飛行を指示するためのものであり、グローバルナビゲーションチャートとローカルナビゲーションチャートの構築が互いに依存せず、直面した問題が異なり、マップ構築のポリシーも異なり（以下、詳細に説明する。）、資源消費を削減しながら農業用途に合わせることを目的とする。

グローバル障害物回避の計画は、帰航又は飛行のガイドのためのものであり、主にグローバルナビゲーションチャートを用いており、既知の障害物に直面している。航空機の応用において、例えば、農業用ドローンの植物保護応用において、作業ルートは、地上局が区画地情報に基づいて、予め自動的に作成したスキャンルートである。スキャンルートが予め作成され、作業後の帰航ルートも離陸前に作成されるため、例えば農薬切れ、電池ほぼ切れ、又は、ユーザが急に航空機の飛行を停止させ帰航したいなどの臨時のタスク変化に対応できない。グローバルナビゲーションチャートは、このようなシーンに対応するためのものであり、随時に、マップ全体において障害物のないルート計画を行うことができ、このような計画は、長距離のものであり、また、農薬散布などの問題を考慮する必要がない。このようなシーンでは、所要のマップ領域が大きく、マップの粒度が細かい必要はなく、マップ領域が離陸前に決定され得る。

ローカル障害物回避の計画は、作業ルートに沿って飛行するか、又は、グローバル計画のルートに沿って飛行する過程において、未知の障害物に出会った場合に対応するためのものであり、ローカルナビゲーションチャートは、主に、作業過程において、未知の障害物に出会った場合に対応するためのものであり、このようなシーンでは、所要のマップの粒度が小さく、できるだけ元のルートに合わせ、散布漏れを少なくする必要があるため、対応する計画が一般的に短距離のものであり、マップが小さくてもよく、マップの中心が航空機と共に移動する。

また、本願の設計されたローカルナビゲーションチャートは、障害物回避のほか、例えば、事前に計画されなかった果樹エリアに対して作業を行うなどのその他の場合にも適用され、本願は、ローカルナビゲーションチャートを適用するシーンを限定するものではない。

上記技術的思想に基づいて、以下、本願に係るナビゲーションチャート構成方法、障害物自動回避方法及び装置、端末の具体的な実施形態について詳細に説明する。
まず、本願を、ローカルナビゲーションチャート計画に基づく観点から詳細に説明する。
図１に示すように、一実施例では、ナビゲーションチャート構成方法は、以下のステップＳ１１０〜Ｓ１３０を含む。

Ｓ１１０では、前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得する。

航空機は、植物保護ドローンなどであり得る。現在の飛行位置とは、航空機が現在時刻で位置する地理的位置、例えば、航空機の経緯度情報などを指す。姿勢情報とは、航空機の現在時刻における飛行姿勢、例えば、ピッチ角や、ロール角、ヨー角などを指す。航空機の現在の飛行位置及び姿勢情報は、いずれも航空機の飛行制御によって取得され得る。深度画像は、撮像した対象物の２次元画像であり、前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、即ち、深度画像における各画素点の階調値が撮像対象物と航空機の現在位置との距離情報を表す。実際の応用において、深度画像は、航空機の双眼システムによって検出され得る。局所的な障害物の回避を行う場合、採用される深度画像は、複数枚の深度画像であってもよいし、１枚の深度画像であってもよく、本願は、これについて限定しない。また、深度画像のサイズは、必要に応じて自ら設定可能とし、本願は、これについても限定せず、例えば、検出された深度画像は、６４０×４８０サイズの画像である。取得された現在の飛行位置、姿勢情報及び深度画像は、ローカルナビゲーションチャートの構築に用いられる。

Ｓ１２０では、前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得する。

深度画像における各画素点の階調値は、撮像対象物と前記航空機との距離情報を含むため、現在の飛行位置、姿勢情報、並びに前記深度画像における各画素点の画素座標及び階調値に基づいて、各画素点に対応する３次元位置情報を算出でき、即ち、深度画像における各２次元の画素点に対応して１つの３次元の点を取得する。

ナビゲーション座標系は、局地水平座標系であり、ナビゲーション時にナビゲーションシステムが動作する必要に応じて選択され、ナビゲーション基準となる座標系であり、ナビゲーション演算を行う場合に用いられるものである。これら３次元の点は、航空機のナビゲーションに用いられることが考えられるため、算出される３次元の点は、一般的にナビゲーション座標系における点を指す。任意選択で、ナビゲーション座標系は、北東下座標系である。

ローカルナビゲーションチャートが航空機付近の障害物を指し示すだけでよく、得られたポイントクラウド（各３次元の点）が広範囲の点を含む可能性があるため、航空機の飛行に影響を与える点のみ、例えば、航空機上下の一定範囲内の点のみを残してもよい。

Ｓ１３０では、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影する。

ローカルナビゲーションチャートは、航空機のローカルナビゲーションを行うためのものであり、動的であり、マップの中心が航空機の現在位置であり、マップのサイズが人為的に又はプログラムによって予め設定され得る。航空機の現在位置が変化すると、ローカルナビゲーションチャートの中心を移動させるとともに、マップ全体の内容を一度並進させ、並進させた後、マップ範囲を超えた既存の内容が削除され、新たな内容がゼロにセットされる。

ローカルナビゲーションチャートは、２次元マップであり、ポイントクラウド、即ち、ナビゲーション座標系のポイントクラウドを取得した後、作業ルートを動的に計画するように、これらのポイントクラウドを一定の重み値でローカルナビゲーションチャートに重畳する必要がある。各点の重み値の計算は様々な方法があり、例えば、一実施例では、各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、前記距離係数は、前記距離情報と正比例関係にあり、即ち、次式のように示される。
ｐｏｉｎｔ＿ｗｅｉｇｈｔ＝ｐｏｉｎｔ＿ｗｅｉｇｈｔ＿ｃｏｍ＊ｄｉｓｔａｎｃｅ＿ｆａｃｔｏｒ

ここで、ｐｏｉｎｔ＿ｗｅｉｇｈｔは、１つの点の重み値であり、ｐｏｉｎｔ＿ｗｅｉｇｈｔ＿ｃｏｍは、点の共通の重み値、即ち、予め設定された重み値であり、経験的に得られることができ、該共通の重み値は、全ての点について一致しており、ｄｉｓｔａｎｃｅ＿ｆａｃｔｏｒは、距離に関するファクターであり、距離と正比例関係にあり、即ち、距離情報の増大に従ってその値が直線的に増大し、距離情報の減少に従ってその値が直線的に減少する。該距離情報は、前記深度画像における各画素点の階調値で表された距離情報である。距離係数は、距離情報と正比例関係にあり、これは、遠距離の物体では、そのポイントクラウドの数が少ないため、各点の重み値が近距離の点よりも大きくなるはずであるからである。

ステップＳ１３０により、更新されたローカルナビゲーションチャートを取得した後、該ローカルナビゲーションチャートに基づいて、例えば、障害物を回避するか、又は検出された１つの新たなエリアに対して作業するなどの作業ルート計画を行うことができる。本願をよりよく理解するために、以下、ローカルナビゲーションチャートに基づいて障害物を回避することを例として詳細に説明する。

一実施例では、前記ローカルナビゲーションチャートは、複数のサブ領域を含み、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域とし、前記航空機に障害物の回避を指示することをさらに含む。

ローカルナビゲーションチャートを一定の規則に従って個々のサブ領域に分割し、具体的な分割規則は、実際の状況に応じて設定でき、本願は、これについて限定しない。例えば、一実施例では、前記ローカルナビゲーションチャートは、格子地図（ｇｒｉｌｌｅ ｍａｐ）であり、各格子は、１つのサブ領域であり得る。

取得された点が障害物の点である可能性や、ノイズ点である可能性などがあるため、これらの点の重み値についてさらに計算して実際の障害物領域を取得する必要がある。ローカルナビゲーションチャートに各点を重み値で重畳した後、ローカルナビゲーションチャートにおける各サブ領域は複数の点を含む可能性があり、次式に従って各サブ領域に対して総重み値計算を行って、各サブ領域の総重み値を求める。
ｍａｐ＿ｖａｌｕｅ＋＝ｐｏｉｎｔ＿ｗｅｉｇｈｔ。
ここで、ｍａｐ＿ｖａｌｕｅは、１つのサブ領域の重み値を示す。

予め設定された閾値は、経験的に設定され、例えば、予め設定された閾値を１に設定し、また、実際の必要に応じて障害物領域を示す具体的な形式を設定する必要があり、例えば、格子地図については、格子の重み値が０であれば、該位置が自由位置であり、航空機が自由に通行できることを表し、格子の重み値が１であれば、該位置に障害物があり、航空機が迂回する必要があることを表す。そうすると、次式に応じてサブ領域を設定することができる。
Ｉｆ（ｍａｐ＿ｖａｌｕｅ＞１）ｔｈｅｎ ｍａｐ＿ｖａｌｕｅ＝１。

一実施例では、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、サブ領域内の全ての点の重み値の和が予め設定された閾値以下であれば、前記サブ領域を通行領域とし、前記航空機の通過を許可することをさらに含む。サブ領域の総重み値が予め設定された閾値以下であれば、該サブ領域が真の障害物領域ではないことを意味するため、該サブ領域を通行領域としてマークすることができる。例えば、格子地図については、１つの格子内の全ての点の重み値の和が１未満であれば、該格子の重み値を０に設定して、航空機が通行可能であることを示すことができる。

深度画像における各画素点には対象物の距離情報が含まれ、含まれる情報量が大きすぎるため、元の深度画像から各点の３次元位置情報を取得すれば、計算量が大きすぎる。したがって、深度画像に前処理を行う必要がある。深度画像に前処理を行って演算量を低減することは様々な方法があり、例えば、一実施例では、前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得した後、且つ、各点の３次元位置情報を取得する前に、前記深度画像に対してスパース処理を行うことをさらに含んでもよい。

カメラのピンホールイメージングモデルによれば、遠くの障害物は画像の中心に集中し、近くの障害物は距離が近く画像中の面積が大きい。このため、一実施例では、前記深度画像に対してスパース処理を行うことは、深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行うことを含む。

具体的には、画像の中心に近い画素点が密で、画像のエッジの画素点が疎になるように、画像境界から不等間隔のスパース処理を行うことができる。スパース処理の疑似コードを以下に示す。
ｆｏｒ（ｉ＝０；ｉ＜ｉｍｇ＿ｈｅｉｇｈｔ；ｉ＋＝ｉ＿ｓｔｅｐ）；
ｉ＿ｓｔｅｐ＝ｆａｂｓ（ｉ−ｉｍｇ＿ｈｅｉｇｈｔ／２）／ｈｅｉｇｈｔ＿ｓｔｅｐ＋１
ｆｏｒ（ｊ＝０；ｊ＜ｉｍｇ＿ｗｉｄｔｈ；ｊ＋＝ｊ＿ｓｔｅｐ）；
ｊ＿ｓｔｅｐ＝ｆａｂｓ（ｊ−ｉｍｇ＿ｗｉｄｔｈ／２）／ｗｉｄｔｈ＿ｓｔｅｐ＋１
Ｈａｎｄｌｅｌｍａｇｅ（）
ｅｎｄ
ｅｎｄ
ここで、ｉｍｇ＿ｈｅｉｇｈｔとｉｍｇ＿ｗｉｄｔｈは、それぞれ画像の幅と長さであり、
ｉ＿ｓｔｅｐとｊ＿ｓｔｅｐは、画像をトラバースするステップサイズであり、初期値はいずれも１であり、
ｈｅｉｇｈｔ＿ｓｔｅｐとｗｉｄｔｈ＿ｓｔｅｐは、それぞれ画像の縦方向と横方向のスパース因子であり、
Ｈａｎｄｌｅｌｍａｇｅ（）は、深度画像に対する後続処理を示す。

元の深度画像又はスパース処理されたスパース深度画像は、座標変換を行って初めてナビゲーション座標系に変換され、障害物の情報としてローカルナビゲーションチャートに更新されることができる。したがって、一実施例では、前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得することは、前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することと、ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の３次元位置情報を取得することと、を含む。

座標変換は様々な方法があり、例えば、一実施例では、前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することは、カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換することと、カメラ座標系から機体座標系への変換行列Ｒ^ｂ _ｃに基づいて、カメラ座標系における各点を機体座標系の各点に変換することと、機体座標系からナビゲーション座標系への変換行列Ｒ^ｇ _ｂに基づいて、機体座標系における各点をナビゲーション座標系の各点に変換することと、を含む。

深度画像自体にノイズがあり、障害物が移動する（例えば、木の葉が風で揺れている）可能性があるため、深度画像で算出したポイントクラウドにもノイズ点があり、これらのノイズが上記ステップのループに伴ってローカルナビゲーションチャートに蓄積されることにより、障害物に対する測定に誤差が生じ、単に誤測定と呼ばれる。誤測定の確率を低減するために、一実施例では、各点の３次元位置情報を、それぞれに設定された重み値で、ローカルナビゲーションチャートに投影した後、前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることと、減衰後の各サブ領域における全ての点の重み値の和を取得することと、をさらに含む。まず、ローカルナビゲーションチャートにおけるプリセット領域内の点の重み値を減衰させ、その後に各サブ領域の総重み値を計算し、各サブ領域が障害物領域であるか否かを判断することにより、障害物判断に対するノイズの影響を低減し、障害物領域の判断の正確性を高める。

一実施例では、前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることは、前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算することを含む。減衰係数は、経験的に設定することができる。プリセット領域がちょうどＮ個のサブ領域を含む場合、次式に従って減衰操作を行うことができる。
ｍａｐ＿ｖａｌｕｅ＊＝ｄａｍｐｉｎｇ＿ｆａｃｔｏｒ。
ここで、ｍａｐ＿ｖａｌｕｅは、プリセット領域内の１つのサブ領域の総重み値を示し、ｄａｍｐｉｎｇ＿ｆａｃｔｏｒは、減衰係数を示す。

プリセット領域の決定は様々な方法があり、例えば、一実施例では、前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される。

図２に示すように、一具体例のプリセット領域の決定方法の概略図であり、０は、ローカルナビゲーションチャートの中心、即ち航空機の現在の飛行位置を示し、θは、双眼システムの画角の大きさを示し、双眼システムのパラメータによって決定され、ｄは、減衰距離を示し、経験的に設定された固定値であり、そうすると、以上の３つのパラメータによって規定された扇形領域は、減衰領域であり、該減衰領域内の点の重み値を減衰させ、減衰領域外の点の重み値は減衰させる必要がない。

なお、図２は、航空機の前方に双眼システムが取り付けられた減衰領域のみを概略的に示し、航空機の後方又は側面にも双眼システムが取り付けられれば、図示された減衰領域に対して対称な位置又は側面の位置にも減衰領域を設定し、減衰領域内の点の重み値を減衰させ、即ち、減衰領域が双眼システムの取付形態に関連する。他の装置で深度画像を取得する場合、プリセット領域を決定する方法は、双眼システムに基づいてプリセット領域を決定する思想と同じである。

同一の発明思想に基づいて、本願は、航空機のナビゲーションチャート構成装置をさらに提供し、以下、図面を参照しながら本願に係る装置の具体的な実施形態を詳細に説明する。
図３に示すように、一実施例では、航空機のナビゲーションチャート構成装置は、以下のモジュール１１０〜１３０を含む。
情報取得モジュール１１０は、前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成される。

航空機は、植物保護ドローンなどであり得る。現在の飛行位置とは、航空機が現在時刻で位置する地理的位置、例えば、航空機の経緯度情報などを指す。姿勢情報とは、航空機の現在時刻における飛行姿勢、例えば、ピッチ角や、ロール角、ヨー角などを指す。航空機の現在の飛行位置及び姿勢情報は、いずれも航空機の飛行制御によって取得され得る。深度画像は、撮像した対象物の２次元画像であり、前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、即ち、深度画像における各画素点の階調値が撮像対象物と航空機の現在位置との距離情報を表す。実際の応用において、深度画像は、航空機の双眼システムによって検出され得る。局所的な障害物の回避を行う場合、採用される深度画像は、複数枚の深度画像であってもよいし、１枚の深度画像であってもよく、本願は、これについて限定しない。また、深度画像のサイズは、必要に応じて自ら設定可能とし、本願は、これについても限定しない。取得された現在の飛行位置、姿勢情報及び深度画像は、ローカルナビゲーションチャートの構築に用いられる。

３次元位置情報取得モジュール１２０は、前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するように構成される。

深度画像における各画素点の階調値は、撮像対象物と前記航空機との距離情報を含むため、現在の飛行位置、姿勢情報、並びに前記深度画像における各画素点の画素座標及び階調値に基づいて、各画素点に対応する３次元位置情報を算出でき、即ち、深度画像における各２次元の画素点に対応して１つの３次元の点を取得する。

ナビゲーション座標系は、局地水平座標系であり、ナビゲーション時にナビゲーションシステムが動作する必要に応じて選択され、ナビゲーション基準となる座標系であり、ナビゲーション演算を行う場合に用いられるものである。これら３次元の点は、航空機のナビゲーションに用いられることが考えられるため、算出される３次元の点は、一般的にナビゲーション座標系における点を指す。任意選択で、ナビゲーション座標系は、北東下座標系である。

ローカルナビゲーションチャートが航空機付近の障害物を指し示すだけでよく、得られたポイントクラウド（各３次元の点）が広範囲の点を含む可能性があるため、航空機の飛行に影響を与える点のみ、例えば、航空機上下の一定範囲内の点のみを残してもよい。

投影モジュール１３０は、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するように構成される。

ローカルナビゲーションチャートは、航空機のローカルナビゲーションを行うためのものであり、動的であり、マップの中心が航空機の現在位置であり、マップのサイズが人為的に又はプログラムによって予め設定され得る。航空機の現在位置が変化すると、ローカルナビゲーションチャートの中心を移動させるとともに、マップ全体の内容を一度並進させ、並進させた後、マップ範囲を超えた既存の内容が削除され、新たな内容がゼロにセットされる。

ローカルナビゲーションチャートは、２次元マップであり、ポイントクラウド、即ち、ナビゲーション座標系のポイントクラウドを取得した後、作業ルートを動的に計画するように、これらのポイントクラウドを一定の重み値でローカルナビゲーションチャートに重畳する必要がある。各点の重み値の計算は様々な方法があり、例えば、一実施例では、各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、前記距離係数は、前記距離情報と正比例関係にある。

投影モジュール１３０は、更新されたローカルナビゲーションチャートを取得した後、該ローカルナビゲーションチャートに基づいて、例えば、障害物を回避するか、又は検出された１つの新たなエリアに対して作業するなどの作業ルート計画を行うことができる。本願をよりよく理解するために、以下、ローカルナビゲーションチャートに基づいて障害物を回避することを例として詳細に説明する。

一実施例では、前記ローカルナビゲーションチャートは、複数のサブ領域を含み、前記装置は、前記投影モジュール１３０に接続され、サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域とし、前記航空機に障害物の回避を指示するように構成された障害物領域設定モジュールをさらに含む。

ローカルナビゲーションチャートを一定の規則に従って個々のサブ領域に分割し、具体的な分割規則は、実際の状況に応じて設定でき、本願は、これについて限定しない。例えば、一実施例では、前記ローカルナビゲーションチャートは、格子地図であり、各格子は、１つのサブ領域であり得る。

取得された点が障害物の点である可能性や、ノイズ点である可能性などがあるため、これらの点の重み値についてさらに計算して実際の障害物領域を取得する必要がある。ローカルナビゲーションチャートに各点を重み値で重畳した後、ローカルナビゲーションチャートにおける各サブ領域は複数の点を含む可能性があり、各サブ領域に対して総重み値計算を行って、各サブ領域の総重み値を求める。総重み値が予め設定された閾値より大きい場合、該サブ領域を障害物領域とする。

一実施例では、前記装置は、前記投影モジュール１３０に接続され、サブ領域内の全ての点の重み値の和が予め設定された閾値以下である場合、前記サブ領域を通行領域とし、前記航空機の通過を許可する通行領域設定モジュールをさらに含む。サブ領域の総重み値が予め設定された閾値以下であれば、該サブ領域が真の障害物領域ではないことを意味するため、該サブ領域を通行領域としてマークすることができる。

深度画像における各画素点には対象物の距離情報が含まれ、含まれる情報量が大きすぎるため、元の深度画像から各点の３次元位置情報を取得すれば、計算量が大きすぎる。したがって、深度画像に前処理を行う必要がある。深度画像に前処理を行って演算量を低減することは様々な方法があり、例えば、一実施例では、前記装置は、前記情報取得モジュール１１０と前記３次元情報位置取得モジュール１２０との間に接続され、前記深度画像に対してスパース処理を行うように構成されたスパース処理モジュールをさらに含み得る。

カメラのピンホールイメージングモデルによれば、遠くの障害物は画像の中心に集中し、近くの障害物は距離が近く画像中の面積が大きい。このため、一実施例では、スパース処理モジュールは、深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行う。

元の深度画像又はスパース処理されたスパース深度画像は、座標変換を行って初めてナビゲーション座標系に変換され、障害物の情報としてローカルナビゲーションチャートに更新されることができる。したがって、一実施例では、前記３次元位置情報取得モジュール１２０は、前記深度画像を座標変換して、ナビゲーション座標系における各点を取得し、ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の３次元位置情報を取得する。

座標変換は様々な方法があり、例えば、一実施例では、３次元位置情報取得モジュール１２０は、カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換し、カメラ座標系から機体座標系への変換行列Ｒ^ｂ _ｃに基づいて、カメラ座標系における各点を機体座標系の各点に変換し、機体座標系からナビゲーション座標系への変換行列Ｒ^ｇ _ｂに基づいて、機体座標系における各点をナビゲーション座標系の各点に変換する。

深度画像自体にノイズがあり、障害物が移動する（例えば、木の葉が風で揺れている）可能性があるため、深度画像で算出したポイントクラウドにもノイズ点があり、これらのノイズが上記ステップのループに伴ってローカルナビゲーションチャートに蓄積されることにより、障害物に対する測定に誤差が生じ、単に誤測定と呼ばれる。誤測定の確率を低減するために、一実施例では、前記装置は、投影モジュール１３０と障害物領域設定モジュール（及び／又は通行領域設定モジュール）との間に接続された減衰モジュールをさらに含み、前記減衰モジュールは、前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させ、減衰後の各サブ領域における全ての点の重み値の和を取得するように構成される。減衰モジュールは、まず、ローカルナビゲーションチャートにおけるプリセット領域内の点の重み値を減衰させ、その後に各サブ領域の総重み値を計算する。該総重み値に基づいて、各サブ領域が障害物領域であるか否かを判断することにより、障害物判断に対するノイズの影響を低減し、障害物領域の判断の正確性を高める。

一実施例では、前記減衰モジュールは、前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算する。減衰係数は、経験的に設定することができる。プリセット領域がちょうどＮ個のサブ領域を含む場合、各サブ領域の総重み値を減衰係数とそれぞれ乗算することができる。

プリセット領域の決定は様々な方法があり、例えば、一実施例では、前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される。減衰領域は、双眼システムの取付形態に関連する。他の装置で深度画像を取得する場合、プリセット領域を決定する方法は、双眼システムに基づいてプリセット領域を決定する思想と同じである。

本願は、航空機又はその他の装置であってもよく、メモリと、プロセッサと、メモリに記憶されプロセッサ上で実行可能なコンピュータプログラムとを含み、前記プログラムが前記プロセッサによって実行されると、上記いずれか一項に記載の方法のステップが実現される、端末をさらに提供する。

以下、本願を、グローバルナビゲーションチャートに基づくグローバル障害物回避計画の観点から詳細に説明する。

図４に示すように、一実施例では、障害物回避方法は、以下のステップＳ２１０〜Ｓ２６０を含む。

Ｓ２１０では、前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得する。

航空機は、植物保護ドローンなどであり得る。現在の飛行位置とは、航空機が現在時刻で位置する地理的位置、例えば、航空機の経緯度情報などを指す。姿勢情報とは、航空機の現在時刻における飛行姿勢、例えば、ピッチ角や、ロール角、ヨー角などを指す。航空機の現在の飛行位置及び姿勢情報は、いずれも航空機の飛行制御によって取得され得る。深度画像は、撮像した対象物の２次元画像であり、前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、即ち、深度画像における各画素点の階調値が撮像対象物と航空機の現在位置との距離情報を表す。実際の応用において、深度画像は、航空機の双眼システムによって検出され得る。局所的な障害物の回避を行う場合、採用される深度画像は、複数枚の深度画像であってもよいし、１枚の深度画像であってもよく、本願は、これについて限定しない。また、深度画像のサイズは、必要に応じて自ら設定可能とし、本願は、これについても限定せず、例えば、検出された深度画像は、６４０×４８０サイズの画像である。取得された現在の飛行位置、姿勢情報及び深度画像は、ローカルナビゲーションチャートの構築に用いられる。

Ｓ２２０では、前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得する。

深度画像における各画素点の階調値は、撮像対象物と前記航空機との距離情報を含むため、現在の飛行位置、姿勢情報、並びに前記深度画像における各画素点の画素座標及び階調値に基づいて、各画素点に対応する３次元位置情報を算出でき、即ち、深度画像における各２次元の画素点に対応して１つの３次元の点を取得する。

ナビゲーション座標系は、局地水平座標系であり、ナビゲーション時にナビゲーションシステムが動作する必要に応じて選択され、ナビゲーション基準となる座標系であり、ナビゲーション演算を行う場合に用いられるものである。これら３次元の点は、航空機のナビゲーションに用いられることが考えられるため、算出される３次元の点は、一般的にナビゲーション座標系における点を指す。任意選択で、ナビゲーション座標系は、北東下座標系である。

ローカルナビゲーションチャートが航空機付近の障害物を指し示すだけでよく、得られたポイントクラウド（各３次元の点）が広範囲の点を含む可能性があるため、航空機の飛行に影響を与える点のみ、例えば、航空機上下の一定範囲内の点のみを残してもよい。

Ｓ２３０では、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影する。

ローカルナビゲーションチャートは、航空機のローカルナビゲーションを行うためのものであり、動的であり、マップの中心が航空機の現在位置であり、マップのサイズが人為的に又はプログラムによって予め設定され得る。航空機の現在位置が変化すると、ローカルナビゲーションチャートの中心を移動させるとともに、マップ全体の内容を一度並進させ、並進させた後、マップ範囲を超えた既存の内容が削除され、新たな内容がゼロにセットされる。

ローカルナビゲーションチャートを一定の規則に従って個々のサブ領域に分割し、具体的な分割規則は、実際の状況に応じて設定でき、本願は、これについて限定しない。例えば、一実施例では、前記ローカルナビゲーションチャートは、格子地図であり、各格子は、１つのサブ領域であり得る。

ローカルナビゲーションチャートは、２次元マップであり、ポイントクラウド、即ち、ナビゲーション座標系のポイントクラウドを取得した後、どの領域が障害物領域であるかを具体的に判断するように、これらのポイントクラウドを一定の重み値でローカルナビゲーションチャートに重畳する必要がある。各点の重み値の計算は様々な方法があり、例えば、一実施例では、各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、前記距離係数は、前記距離情報と正比例関係にあり、即ち、次式のように示される。
ｐｏｉｎｔ＿ｗｅｉｇｈｔ＝ｐｏｉｎｔ＿ｗｅｉｇｈｔ＿ｃｏｍ＊ｄｉｓｔａｎｃｅ＿ｆａｃｔｏｒ

ここで、ｐｏｉｎｔ＿ｗｅｉｇｈｔは、１つの点の重み値であり、ｐｏｉｎｔ＿ｗｅｉｇｈｔ＿ｃｏｍは、点の共通の重み値、即ち、予め設定された重み値であり、経験的に得られることができ、該共通の重み値は、全ての点について一致しており、ｄｉｓｔａｎｃｅ＿ｆａｃｔｏｒは、距離に関するファクターであり、距離と正比例関係にあり、即ち、距離情報の増大に従ってその値が直線的に増大し、距離情報の減少に従ってその値が直線的に減少する。該距離情報は、前記深度画像における各画素点の階調値で表された距離情報である。距離係数は、距離情報と正比例関係にあり、これは、遠距離の物体では、そのポイントクラウドの数が少ないため、各点の重み値が近距離の点よりも大きくなるはずであるからである。

Ｓ２４０では、サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示する。

取得された点が障害物の点である可能性や、ノイズ点である可能性などがあるため、これらの点の重み値についてさらに計算して実際の障害物領域を取得する必要がある。ローカルナビゲーションチャートに各点を重み値で重畳した後、ローカルナビゲーションチャートにおける各サブ領域は複数の点を含む可能性があり、次式に従って各サブ領域に対して総重み値計算を行って、各サブ領域の総重み値を求める。
ｍａｐ＿ｖａｌｕｅ＋＝ｐｏｉｎｔ＿ｗｅｉｇｈｔ。
ここで、ｍａｐ＿ｖａｌｕｅは、１つのサブ領域の重み値を示す。

予め設定された閾値は、経験的に設定され、例えば、予め設定された閾値を１に設定し、また、実際の必要に応じて障害物領域を示す具体的な形式を設定する必要があり、例えば、格子地図については、格子の重み値が０であれば、該位置が自由位置であり、航空機が自由に通行できることを表し、格子の重み値が１であれば、該位置に障害物があり、航空機が迂回する必要があることを表す。そうすると、次式に応じてサブ領域を設定することができる。
Ｉｆ（ｍａｐ＿ｖａｌｕｅ＞１）ｔｈｅｎ ｍａｐ＿ｖａｌｕｅ＝１。

一実施例では、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、サブ領域内の全ての点の重み値の和が予め設定された閾値以下であれば、前記サブ領域を通行領域とし、前記航空機の通過を許可することをさらに含む。サブ領域の総重み値が予め設定された閾値以下であれば、該サブ領域が真の障害物領域ではないことを意味するため、該サブ領域を通行領域としてマークすることができる。例えば、格子地図については、１つの格子内の全ての点の重み値の和が１未満であれば、該格子の重み値を０に設定して、航空機が通行可能であることを示すことができる。

Ｓ２５０では、ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための３次元位置情報とを取得する。

グローバル障害物回避計画時のデータ供給源は２つある。１つは、ユーザの測量・マッピングデータ（境界及び障害物を含む）であり、もう１つは、ローカルナビゲーションチャートのデータであり、ローカルナビゲーションチャートのデータは、一定の周期でグローバルナビゲーションチャートに更新される。

測量・マッピングデータは、ユーザが手動テストで取得したデータであってもよいし、ユーザがマップインタフェースを介して選択した各データであってもよい。一般的には、測量・マッピングデータは、障害物領域の境界点及び作業境界領域の境界点を含む。航空機が離陸する前に、ユーザが測量・マッピングしたマップデータは、データリンクで航空機にアップロードされることができ、例えば、航空機の双眼システムにアップロードされ、グローバルナビゲーションチャートの構築演算に用いられる。

３次元位置情報は、ローカルナビゲーションチャートにおいて障害物領域として設定されているデータである。ローカルナビゲーションチャートが一定の周期で更新され、更新と同時に、障害物領域として決定された位置が１つの障害物キューに選択的に置かれ得る。該障害物キューは、削除してもよいし、追加してもよい。ローカルナビゲーションチャートにおいて障害物であると判定された場合、障害物領域の情報をキューに追加し、障害物が移動又は消失すると、障害物領域の情報をキューから削除する。一定の周期で、障害物キュー内の障害物領域の情報をグローバルナビゲーションチャートに更新し、このようにグローバルナビゲーションチャートにも双眼システムによって検出された情報が含まれる。なお、本願は、グローバルナビゲーションチャートのデータをキューの形式で更新するものに限定されず、ユーザが必要に応じて他の形式でローカルナビゲーションチャートにおける障害物領域の情報をグローバルナビゲーションチャートに更新することができる。

ローカルナビゲーションチャートの障害物領域の情報をグローバルナビゲーションチャートに更新すると、グローバル計画時に障害物を直接的に回避し、グローバル範囲で最短経路を見つけることができ、測量・マッピングデータのみにより見つけた経路が測量・マッピングされていない障害物を回避できないことを防止する。

Ｓ２６０では、予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示する。

グローバルナビゲーションチャートは、格子地図であり得る。グローバルナビゲーションチャートは、ローカルナビゲーションチャートよりもかなり大きく、局所的な障害物の回避を行うニーズを満足する限り、ローカルナビゲーションチャートが小さくてもよいことに対して、グローバルナビゲーションチャートは、航空機の今回飛行する飛行範囲を含む必要がある。測量・マッピングデータを取得した後、測量・マッピングデータに含まれる作業境界領域の位置情報及び障害物領域の位置情報に基づいて、グローバルナビゲーションチャートにおいて対応する領域をマークすることができる。例えば、測量・マッピングデータに基づいて、グローバルナビゲーションチャートにおけるいくつかの格子の重み値を１に設定する。ローカルナビゲーションチャートにおける障害物領域の位置情報を取得した後、グローバルナビゲーションチャートを更新し、グローバルナビゲーションチャートにおいて対応する位置を障害物領域に更新する。障害物領域及び作業境界領域を設定した後、航空機は、該グローバルナビゲーションチャートに基づいて、障害物領域及び作業境界領域を回避することができる。

グローバルナビゲーションチャートは、航空機の離陸作業前に初期化を完了する必要がある。初期化の内容は、グローバルナビゲーションチャートのサイズ及び中心点の位置を決定することである。一実施例では、前記予め設定されたグローバルナビゲーションチャートの中心及びサイズは、前記航空機の離陸前の位置及び前記測量・マッピングデータから得られる。グローバルナビゲーションチャートを初期化する情報は、ユーザが設定した測量・マッピングデータに由来する。マップの中心で示された地理的位置及び地図のサイズは、初期化の際に既に決定されている。これらの情報を決定した後、グローバルナビゲーションチャートに記憶空間を割り当て、障害物の地理的位置に基づいて障害物情報の記憶位置を決定し、障害物情報の記憶及びアクセスを容易にする。

一実施例では、前記グローバルナビゲーションチャートの水平境界は、前記位置及び前記測量・マッピングデータのＹ軸上での最大値と最小値が膨張して決定され、前記グローバルナビゲーションチャートの鉛直境界は、前記位置及び前記測量・マッピングデータのＸ軸上での最大値と最小値が膨張して決定される。具体的には、測量・マッピングデータと航空機の離陸前の位置情報からＹ軸上の最大値を見つけ、該最大値を一定の距離膨張させてグローバルナビゲーションチャートの上側の水平境界を取得し、測量・マッピングデータと航空機の離陸前の位置情報からＹ軸上の最小値を見つけ、該最小値を一定の距離膨張させてグローバルナビゲーションチャートの下側の水平境界を取得し、測量・マッピングデータと航空機の離陸前の位置情報からＸ軸上の最大値を見つけ、該最大値を一定の距離膨張させてグローバルナビゲーションチャートの右側の鉛直境界を取得し、測量・マッピングデータと航空機の離陸前の位置情報からＸ軸上の最小値を見つけ、該最小値を一定の距離膨張させてグローバルナビゲーションチャートの左側の鉛直境界を取得し、膨張する距離は、実際の必要に応じて設定することができる。グローバルナビゲーションチャートの境界情報を取得した後、グローバルナビゲーションチャートのサイズ及び中心点の位置を取得し、グローバルナビゲーションチャートの初期化を完了することができる。

図５に示すように、一具体例のグローバルナビゲーションチャートの境界の取得の概略図である。図５において、ｄは、膨張距離であり、該図から分かるように、該グローバルナビゲーションチャートは、作業領域境界Ｂ及び障害物領域Ｏを多角形で示し、双眼システムにアップロードされるマップには、これら多角形の頂点の位置情報が含まれる。グローバルナビゲーションチャートの境界を決定する時、航空機が離陸する前の現在位置と、作業領域境界Ｂの頂点位置と、障害物領域Ｏの頂点位置とから、ナビゲーション座標系におけるＸ軸上の最大値が、右側の障害物領域が最大となるＸ値であり、ナビゲーション座標系におけるＸ軸上の最小値が、航空機の離陸前の位置のＸ値であり、ナビゲーション座標系におけるＹ軸上の最大値が、作業領域境界Ｂの最上側のＹ値であり、ナビゲーション座標系におけるＹ軸上の最小値が、航空機の離陸前の位置のＹ値であることを算出し、上記算出された４つの値を、それぞれ膨張距離ｄで膨張させれば、図５に示すグローバルナビゲーションチャートの境界を取得することができる。このとき、グローバルナビゲーションチャートのサイズ、境界及び中心点位置の情報を取得し、グローバルナビゲーションチャートの初期化を完了することができる。

測量・マッピングデータ及びローカルナビゲーションチャートにおけるデータに基づいて、グローバルナビゲーションチャートにおける障害物領域及び作業境界領域を設定することは様々な方法があり、例えば、一実施例では、予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定することは、取得された前記測量・マッピングデータ及び３次元位置情報に基づいて、第１の障害物領域及び第１の作業境界領域を取得することと、前記第１の障害物領域及び前記第１の作業境界領域を膨張させて、第２の障害物領域及び第２の作業境界領域を取得することと、前記第２の障害物領域及び前記第２の作業境界領域を、航空機に障害物の回避を指示するための領域として設定することと、を含む。第１の障害物領域及び第１の作業境界領域を膨張させる距離は、実際の必要に応じて設定でき、これらの膨張する領域も危険領域であり、航空機の通行を禁止するため、障害物に対して航空機を回避させる領域として設定して、航空機に障害物及び作業領域境界からの安全距離を維持させる必要もある。

なお、本発明は、上述したグローバルナビゲーションチャートにおける障害物領域及び作業境界領域を設定する態様に限定されず、ユーザは、膨張などをすることなく、測量・マッピングデータ及びローカルナビゲーションチャートにおける障害物情報に基づいて、グローバルナビゲーションチャートにおいて航空機の通行禁止領域を直接設定したり、障害物領域又は作業境界領域のみを膨張させたりしてもよい。また、膨張時には、各方向に膨張する距離を同じにしてもよいし、各方向についてそれぞれ異なる膨張距離を設定してもよい。

図６に示すように、グローバルナビゲーションチャートに障害物領域及び作業境界領域を設定する一具体例の概略図であり、グローバルナビゲーションチャートは、格子地図であり、格子地図における格子の重み値が１である場合、該格子が通行禁止領域であることを表し、格子の重み値が０である場合、該格子が通行許可領域であることを表す。図６に示すように、測量・マッピングデータ及びローカルナビゲーションチャートにおける障害物情報に基づいて、元の作業境界領域及び元の障害物領域のグローバルナビゲーションチャートにおける重み値を全て１にセットし、該領域が完全に障害物に占有されており、航空機の通行を禁止することを表し、深さ優先アルゴリズム又は他のアルゴリズムを用いて元の境界領域及び元の障害物領域を膨張させ、膨張領域の重み値を全て１にセットし、膨張領域も危険領域であり、航空機の接近を許可しないことを表し、航空機と障害物との安全距離を維持するようにすることができる。

深度画像における各画素点には対象物の距離情報が含まれ、含まれる情報量が大きすぎるため、元の深度画像から各点の３次元位置情報を取得すれば、計算量が大きすぎる。したがって、深度画像に前処理を行う必要がある。深度画像に前処理を行って演算量を低減することは様々な方法があり、例えば、一実施例では、前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得した後、且つ、各点の３次元位置情報を取得する前に、前記深度画像に対してスパース処理を行うことをさらに含んでもよい。

カメラのピンホールイメージングモデルによれば、遠くの障害物は画像の中心に集中し、近くの障害物は距離が近く画像中の面積が大きい。このため、一実施例では、前記深度画像に対してスパース処理を行うことは、深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行うことを含む。

具体的には、画像の中心に近い画素点が密で、画像のエッジの画素点が疎になるように、画像境界から不等間隔のスパース処理を行うことができる。スパース処理の疑似コードを以下に示す。
ｆｏｒ（ｉ＝０；ｉ＜ｉｍｇ＿ｈｅｉｇｈｔ；ｉ＋＝ｉ＿ｓｔｅｐ）；
ｉ＿ｓｔｅｐ＝ｆａｂｓ（ｉ−ｉｍｇ＿ｈｅｉｇｈｔ／２）／ｈｅｉｇｈｔ＿ｓｔｅｐ＋１
ｆｏｒ（ｊ＝０；ｊ＜ｉｍｇ＿ｗｉｄｔｈ；ｊ＋＝ｊ＿ｓｔｅｐ）；
ｊ＿ｓｔｅｐ＝ｆａｂｓ（ｊ−ｉｍｇ＿ｗｉｄｔｈ／２）／ｗｉｄｔｈ＿ｓｔｅｐ＋１
Ｈａｎｄｌｅｌｍａｇｅ（）
ｅｎｄ
ｅｎｄ
ここで、ｉｍｇ＿ｈｅｉｇｈｔとｉｍｇ＿ｗｉｄｔｈは、それぞれ画像の幅と長さであり、
ｉ＿ｓｔｅｐとｊ＿ｓｔｅｐは、画像をトラバースするステップサイズであり、初期値はいずれも１であり、
ｈｅｉｇｈｔ＿ｓｔｅｐとｗｉｄｔｈ＿ｓｔｅｐは、それぞれ画像の縦方向と横方向のスパース因子であり、
Ｈａｎｄｌｅｌｍａｇｅ（）は、深度画像に対する後続処理を示す。

元の深度画像又はスパース処理されたスパース深度画像は、座標変換を行って初めてナビゲーション座標系に変換され、障害物の情報としてローカルナビゲーションチャートに更新されることができる。したがって、一実施例では、前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得することは、前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することと、ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の３次元位置情報を取得することとを含む。

座標変換は様々な方法があり、例えば、一実施例では、前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することは、カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換することと、カメラ座標系から機体座標系への変換行列Ｒ^ｂ _ｃに基づいて、カメラ座標系における各点を機体座標系の各点に変換することと、機体座標系からナビゲーション座標系への変換行列Ｒ^ｇ _ｂに基づいて、機体座標系における各点をナビゲーション座標系の各点に変換することと、を含む。

深度画像自体にノイズがあり、障害物が移動する（例えば、木の葉が風で揺れている）可能性があるため、深度画像で算出したポイントクラウドにもノイズ点があり、これらのノイズが上記ステップのループに伴ってローカルナビゲーションチャートに蓄積されることにより、障害物に対する測定に誤差が生じ、単に誤測定と呼ばれる。誤測定の確率を低減するために、一実施例では、各点の３次元位置情報を、それぞれに設定された重み値で、ローカルナビゲーションチャートに投影した後、前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることと、減衰後の各サブ領域における全ての点の重み値の和を取得することと、をさらに含む。まず、ローカルナビゲーションチャートにおけるプリセット領域内の点の重み値を減衰させ、その後に各サブ領域の総重み値を計算し、各サブ領域が障害物領域であるか否かを判断することにより、障害物判断に対するノイズの影響を低減し、障害物領域の判断の正確性を高める。

一実施例では、前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることは、前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算することを含む。減衰係数は、経験的に設定することができる。プリセット領域がちょうどＮ個のサブ領域を含む場合、次式に従って減衰操作を行うことができる。
ｍａｐ＿ｖａｌｕｅ＊＝ｄａｍｐｉｎｇ＿ｆａｃｔｏｒ。
ここで、ｍａｐ＿ｖａｌｕｅは、プリセット領域内の１つのサブ領域の総重み値を示し、ｄａｍｐｉｎｇ＿ｆａｃｔｏｒは、減衰係数を示す。

プリセット領域の決定は様々な方法があり、例えば、一実施例では、前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される。

図２に示すように、一具体例のプリセット領域の決定方法の概略図であり、０は、ローカルナビゲーションチャートの中心、即ち航空機の現在の飛行位置を示し、θは、双眼システムの画角の大きさを示し、双眼システムのパラメータによって決定され、ｄは、減衰距離を示し、経験的に設定された固定値であり、そうすると、以上の３つのパラメータによって規定された扇形領域は、減衰領域であり、該減衰領域内の点の重み値を減衰させ、減衰領域外の点の重み値は減衰させる必要がない。

なお、図２は、航空機の前方に双眼システムが取り付けられた減衰領域のみを概略的に示し、航空機の後方又は側面にも双眼システムが取り付けられれば、図示された減衰領域に対して対称な位置又は側面の位置にも減衰領域を設定し、減衰領域内の点の重み値を減衰させ、即ち、減衰領域が双眼システムの取付形態に関連する。他の装置で深度画像を取得する場合、プリセット領域を決定する方法は、双眼システムに基づいてプリセット領域を決定する思想と同じである。

同一の発明思想に基づいて、本願は、障害物回避装置をさらに提供し、以下、図面を参照しながら本願に係る装置の具体的な実施形態を詳細に説明する。

図７に示すように、一実施例では、障害物回避装置は、以下のモジュール２１０〜２６０を含む。

第１の情報取得モジュール２１０は、前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成される。

航空機は、植物保護ドローンなどであり得る。現在の飛行位置とは、航空機が現在時刻で位置する地理的位置、例えば、航空機の経緯度情報などを指す。姿勢情報とは、航空機の現在時刻における飛行姿勢、例えば、ピッチ角や、ロール角、ヨー角などを指す。航空機の現在の飛行位置及び姿勢情報は、いずれも航空機の飛行制御によって取得され得る。深度画像は、撮像した対象物の２次元画像であり、前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、即ち、深度画像における各画素点の階調値が撮像対象物と航空機の現在位置との距離情報を表す。実際の応用において、深度画像は、航空機の双眼システムによって検出され得る。局所的な障害物の回避を行う場合、採用される深度画像は、複数枚の深度画像であってもよいし、１枚の深度画像であってもよく、本願は、これについて限定しない。また、深度画像のサイズは、必要に応じて自ら設定可能とし、本願は、これについても限定しない。取得された現在の飛行位置、姿勢情報及び深度画像は、ローカルナビゲーションチャートの構築に用いられる。

３次元位置情報取得モジュール２２０は、前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するように構成される。

深度画像における各画素点の階調値は、撮像対象物と前記航空機との距離情報を含むため、現在の飛行位置、姿勢情報、並びに前記深度画像における各画素点の画素座標及び階調値に基づいて、各画素点に対応する３次元位置情報を算出でき、即ち、深度画像における各２次元の画素点に対応して１つの３次元の点を取得する。

ナビゲーション座標系は、局地水平座標系であり、ナビゲーション時にナビゲーションシステムが動作する必要に応じて選択され、ナビゲーション基準となる座標系であり、ナビゲーション演算を行う場合に用いられるものである。これら３次元の点は、航空機のナビゲーションに用いられることが考えられるため、算出される３次元の点は、一般的にナビゲーション座標系における点を指す。任意選択で、ナビゲーション座標系は、北東下座標系である。

ローカルナビゲーションチャートが航空機付近の障害物を指し示すだけでよく、得られたポイントクラウド（各３次元の点）が広範囲の点を含む可能性があるため、航空機の飛行に影響を与える点のみ、例えば、航空機上下の一定範囲内の点のみを残してもよい。

投影モジュール２３０は、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するように構成される。

ローカルナビゲーションチャートは、航空機のローカルナビゲーションを行うためのものであり、動的であり、マップの中心が航空機の現在位置であり、マップのサイズが人為的に又はプログラムによって予め設定され得る。航空機の現在位置が変化すると、ローカルナビゲーションチャートの中心を移動させるとともに、マップ全体の内容を一度並進させ、並進させた後、マップ範囲を超えた既存の内容が削除され、新たな内容がゼロにセットされる。

ローカルナビゲーションチャートを一定の規則に従って個々のサブ領域に分割し、具体的な分割規則は、実際の状況に応じて設定でき、本願は、これについて限定しない。例えば、一実施例では、前記ローカルナビゲーションチャートは、格子地図であり、各格子は、１つのサブ領域であり得る。

ローカルナビゲーションチャートは、２次元マップであり、ポイントクラウド、即ち、ナビゲーション座標系のポイントクラウドを取得した後、どの領域が障害物領域であるかを具体的に判断するように、これらのポイントクラウドを一定の重み値でローカルナビゲーションチャートに重畳する必要がある。各点の重み値の計算は様々な方法があり、例えば、一実施例では、各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、前記距離係数は、前記距離情報と正比例関係にある。

第１の領域設定モジュール２４０は、サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するように構成される。

取得された点が障害物の点である可能性や、ノイズ点である可能性などがあるため、これらの点の重み値についてさらに計算して実際の障害物領域を取得する必要がある。ローカルナビゲーションチャートに各点を重み値で重畳した後、ローカルナビゲーションチャートにおける各サブ領域は複数の点を含む可能性があり、各サブ領域に対して総重み値計算を行って、各サブ領域の総重み値を求める。総重み値が予め設定された閾値より大きい場合、該サブ領域を障害物領域とする。

一実施例では、障害物回避装置は、前記投影モジュール２３０に接続され、サブ領域内の全ての点の重み値の和が予め設定された閾値以下場合、前記サブ領域を通行領域とし、前記航空機の通過を許可する通行領域設定モジュールをさらに含む。サブ領域の総重み値が予め設定された閾値以下であれば、該サブ領域が真の障害物領域ではないことを意味するため、該サブ領域を通行領域としてマークすることができる。

第２の情報取得モジュール２５０は、ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための３次元位置情報とを取得するように構成される。

グローバル障害物回避計画時のデータ供給源は２つある。１つは、ユーザの測量・マッピングデータ（境界及び障害物を含む）であり、もう１つは、ローカルナビゲーションチャートのデータであり、ローカルナビゲーションチャートのデータは、一定の周期でグローバルナビゲーションチャートに更新される。

測量・マッピングデータは、ユーザが手動テストで取得したデータであってもよいし、ユーザがマップインタフェースを介して選択した各データであってもよい。一般的には、測量・マッピングデータは、障害物領域の境界点及び作業境界領域の境界点を含む。航空機が離陸する前に、ユーザが測量・マッピングしたマップデータは、データリンクで航空機にアップロードされることができ、例えば、航空機の双眼システムにアップロードされ、グローバルナビゲーションチャートの構築演算に用いられる。

３次元位置情報は、ローカルナビゲーションチャートにおいて障害物領域として設定されているデータである。ローカルナビゲーションチャートが一定の周期で更新され、更新と同時に、障害物領域として決定された位置が１つの障害物キューに選択的に置かれ得る。該障害物キューは、削除してもよいし、追加してもよい。ローカルナビゲーションチャートにおいて障害物であると判定された場合、障害物領域の情報をキューに追加し、障害物が移動又は消失すると、障害物領域の情報をキューから削除する。一定の周期で、障害物キュー内の障害物領域の情報をグローバルナビゲーションチャートに更新し、このようにグローバルナビゲーションチャートにも双眼システムによって検出された情報が含まれる。なお、本願は、グローバルナビゲーションチャートのデータをキューの形式で更新するものに限定されず、ユーザが必要に応じて他の形式でローカルナビゲーションチャートにおける障害物領域の情報をグローバルナビゲーションチャートに更新することができる。

ローカルナビゲーションチャートの障害物領域の情報をグローバルナビゲーションチャートに更新すると、グローバル計画時に障害物を直接的に回避し、グローバル範囲で最短経路を見つけることができ、測量・マッピングデータのみにより見つけた経路が測量・マッピングされていない障害物を回避できないことを防止する。

第２の領域設定モジュール２６０は、予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するように構成される。

グローバルナビゲーションチャートは、格子地図であり得る。グローバルナビゲーションチャートは、ローカルナビゲーションチャートよりもかなり大きく、局所的な障害物の回避を行うニーズを満足する限り、ローカルナビゲーションチャートが小さくてもよいことに対して、グローバルナビゲーションチャートは、航空機の今回飛行する飛行範囲を含む必要がある。測量・マッピングデータを取得した後、測量・マッピングデータに含まれる作業境界領域の位置情報及び障害物領域の位置情報に基づいて、グローバルナビゲーションチャートにおいて対応する領域をマークすることができる。例えば、測量・マッピングデータに基づいて、グローバルナビゲーションチャートにおけるいくつかの格子の重み値を１に設定する。ローカルナビゲーションチャートにおける障害物領域の位置情報を取得した後、グローバルナビゲーションチャートを更新し、グローバルナビゲーションチャートにおいて対応する位置を障害物領域に更新する。障害物領域及び作業境界領域を設定した後、航空機は、該グローバルナビゲーションチャートに基づいて、障害物領域及び作業境界領域を回避することができる。

グローバルナビゲーションチャートは、航空機の離陸作業前に初期化を完了する必要がある。初期化の内容は、グローバルナビゲーションチャートのサイズ及び中心点の位置を決定することである。一実施例では、前記予め設定されたグローバルナビゲーションチャートの中心及びサイズは、前記航空機の離陸前の位置及び前記測量・マッピングデータから得られる。グローバルナビゲーションチャートを初期化する情報は、ユーザが設定した測量・マッピングデータに由来する。マップの中心で示された地理的位置及び地図のサイズは、初期化の際に既に決定されている。これらの情報を決定した後、グローバルナビゲーションチャートに記憶空間を割り当て、障害物の地理的位置に基づいて障害物情報の記憶位置を決定し、障害物情報の記憶及びアクセスを容易にする。

一実施例では、前記グローバルナビゲーションチャートの水平境界は、前記位置及び前記測量・マッピングデータのＹ軸上での最大値と最小値が膨張して決定され、前記グローバルナビゲーションチャートの鉛直境界は、前記位置及び前記測量・マッピングデータのＸ軸上での最大値と最小値が膨張して決定される。具体的には、測量・マッピングデータと航空機の離陸前の位置情報からＹ軸上の最大値を見つけ、該最大値を一定の距離膨張させてグローバルナビゲーションチャートの上側の水平境界を取得し、測量・マッピングデータと航空機の離陸前の位置情報からＹ軸上の最小値を見つけ、該最小値を一定の距離膨張させてグローバルナビゲーションチャートの下側の水平境界を取得し、測量・マッピングデータと航空機の離陸前の位置情報からＸ軸上の最大値を見つけ、該最大値を一定の距離膨張させてグローバルナビゲーションチャートの右側の鉛直境界を取得し、測量・マッピングデータと航空機の離陸前の位置情報からＸ軸上の最小値を見つけ、該最小値を一定の距離膨張させてグローバルナビゲーションチャートの左側の鉛直境界を取得し、膨張する距離は、実際の必要に応じて設定することができる。グローバルナビゲーションチャートの境界情報を取得した後、グローバルナビゲーションチャートのサイズ及び中心点の位置を取得し、グローバルナビゲーションチャートの初期化を完了することができる。

測量・マッピングデータ及びローカルナビゲーションチャートにおけるデータに基づいて、グローバルナビゲーションチャートにおける障害物領域及び作業境界領域を設定することは様々な方法があり、例えば、一実施例では、前記第２の領域設定モジュール２６０は、取得された前記測量・マッピングデータ及び３次元位置情報に基づいて、第１の障害物領域及び第１の作業境界領域を取得し、前記第１の障害物領域及び前記第１の作業境界領域を膨張させて、第２の障害物領域及び第２の作業境界領域を取得し、前記第２の障害物領域及び前記第２の作業境界領域を、航空機に障害物の回避を指示するための領域として設定する。第１の障害物領域及び第１の作業境界領域を膨張させる距離は、実際の必要に応じて設定でき、これらの膨張する領域も危険領域であり、航空機の通行を禁止するため、障害物に対して航空機を回避させる領域として設定して、航空機に障害物及び作業領域境界からの安全距離を維持させる必要もある。

なお、本発明は、上述したグローバルナビゲーションチャートにおける障害物領域及び作業境界領域を設定する態様に限定されず、ユーザは、膨張などをすることなく、測量・マッピングデータ及びローカルナビゲーションチャートにおける障害物情報に基づいて、グローバルナビゲーションチャートにおいて航空機の通行禁止領域を直接設定したり、障害物領域又は作業境界領域のみを膨張させたりしてもよい。また、膨張時には、各方向に膨張する距離を同じにしてもよいし、各方向についてそれぞれ異なる膨張距離を設定してもよい。

深度画像における各画素点には対象物の距離情報が含まれ、含まれる情報量が大きすぎるため、元の深度画像から各点の３次元位置情報を取得すれば、計算量が大きすぎる。したがって、深度画像に前処理を行う必要がある。深度画像に前処理を行って演算量を低減することは様々な方法があり、例えば、一実施例では、障害物回避装置は、前記第１の情報取得モジュール２１０と前記３次元情報位置取得モジュール２２０との間に接続され、前記深度画像に対してスパース処理を行うように構成されたスパース処理モジュールをさらに含み得る。

カメラのピンホールイメージングモデルによれば、遠くの障害物は画像の中心に集中し、近くの障害物は距離が近く画像中の面積が大きい。このため、一実施例では、スパース処理モジュールは、深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行う。

元の深度画像又はスパース処理されたスパース深度画像は、座標変換を行って初めてナビゲーション座標系に変換され、障害物の情報としてローカルナビゲーションチャートに更新されることができる。したがって、一実施例では、前記３次元位置情報取得モジュール２２０は、前記深度画像を座標変換して、ナビゲーション座標系における各点を取得し、ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の３次元位置情報を取得する。

座標変換は様々な方法があり、例えば、一実施例では、３次元位置情報取得モジュール２２０は、カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換し、カメラ座標系から機体座標系への変換行列Ｒ^ｂ _ｃに基づいて、カメラ座標系における各点を機体座標系の各点に変換し、機体座標系からナビゲーション座標系への変換行列Ｒ^ｇ _ｂに基づいて、機体座標系における各点をナビゲーション座標系の各点に変換する。

深度画像自体にノイズがあり、障害物が移動する（例えば、木の葉が風で揺れている）可能性があるため、深度画像で算出したポイントクラウドにもノイズ点があり、これらのノイズが上記ステップのループに伴ってローカルナビゲーションチャートに蓄積されることにより、障害物に対する測定に誤差が生じ、単に誤測定と呼ばれる。誤測定の確率を低減するために、一実施例では、障害物回避装置は、投影モジュール２３０と第１の領域設定モジュール２４０（及び／又は通行領域設定モジュール）との間に接続された減衰モジュールをさらに含み、前記減衰モジュールは、前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させ、減衰後の各サブ領域における全ての点の重み値の和を取得するように構成される。減衰モジュールは、まず、ローカルナビゲーションチャートにおけるプリセット領域内の点の重み値を減衰させ、その後に各サブ領域の総重み値を計算する。該総重み値に基づいて、各サブ領域が障害物領域であるか否かを判断することにより、障害物判断に対するノイズの影響を低減し、障害物領域の判断の正確性を高める。

一実施例では、前記減衰モジュールは、前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算する。減衰係数は、経験的に設定することができる。プリセット領域がちょうどＮ個のサブ領域を含む場合、各サブ領域の総重み値を減衰係数とそれぞれ乗算することができる。

プリセット領域の決定は様々な方法があり、例えば、一実施例では、前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される。減衰領域は、双眼システムの取付形態に関連する。他の装置で深度画像を取得する場合、プリセット領域を決定する方法は、双眼システムに基づいてプリセット領域を決定する思想と同じである。

本願は、航空機又はその他の装置であってもよく、メモリと、プロセッサと、メモリに記憶されプロセッサ上で実行可能なコンピュータプログラムとを含み、前記プログラムが前記プロセッサによって実行されると、上記ナビゲーションチャート構成方法及び障害物自動回避方法に記載の方法のステップが実現される、端末をさらに提供する。

本願は、記憶されたプログラムを含み、前記プログラムが実行されると、所在する装置を制御して上記第１の態様に記載のナビゲーションチャート構成方法を実行させる記憶媒体をさらに提供する。

本願は、記憶されたプログラムを含み、前記プログラムが実行されると、所在する装置を制御して上記第２の態様に記載の障害物回避方法を実行させる記憶媒体をさらに提供する。

図８は、本願の一実施例に係る無人航空機８００の概略構成図である。図８に示すように、無人航空機８００は、有線又は無線により１つ又は複数のセンサ又は感知システム８０１ａ−ｃに接続されるコントローラ８１０を含む。前記センサは、コントローラエリアネットワーク（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ、ＣＡＮ）により前記コントローラに接続されてよい。前記コントローラ８１０は、前記無人航空機の状態を制御するように、１つ又は複数のアクチュエータ８２０に接続されてもよい。

前記センサは、例えば、慣性センサ、ＧＰＳ受信機、コンパス、ＲＴＫ測位センサ、磁力計、高度計、距離センサ（例えば、赤外線センサ又はレーザレーダセンサ）、視覚又はイメージセンサ（例えば、カメラ又はビデオカメラ）、光電センサ、モーションセンサ、タッチセンサ、圧力センサ、温度センサ、磁気センサなどの本明細書に記載された任意のセンサを含み得る。

前記慣性センサは、ＩＭＵとも呼ばれ、航空機の姿勢情報を決定するように構成されることができ、３軸ジャイロ、３軸加速度センサ、３軸地磁気センサ及び気圧計などを含み、３軸ジャイロ、３軸加速度センサ、３軸地磁気センサの３軸とは、ドローンの左右、前後、垂直方向における上下の３軸を指し、センサは、主にＸＹＺの３軸の傾角を測定し、３軸加速度センサは、ドローンのＸＹＺの３軸の加速度を測定し、地磁気センサは、地磁気を感知し、ドローンに自機の機首及び飛行の向きを知らせ、タスクの位置を見つけさせることができ、気圧計は、異なる位置の気圧を測定することにより、差圧を計算して現在の高度を取得することができる。上記センサを組み合わせることにより、ＩＭＵ慣性測定ユニットは、ドローンの姿勢の変化を感知することができる。例えば、ドローンが現在前傾しているか、左右に傾いているか、機首の向きや高さなどの最も基本的な姿勢データを感知する。

前記イメージセンサは、無人航空機の各方向の障害物情報を決定するように構成されてもよく、双眼システムを含み、該双眼システムは、少なくとも２つのカメラを含み、画像処理アルゴリズムにより物体の３次元情報を決定し、物体の３次元モデルを構築することができる。

いくつかの実施例では、いくつかのセンサ（例えば、視覚センサ）をフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ、未図示）に接続してよい。前記フィールドプログラマブルゲートアレイを前記コントローラに接続してよい（例えば、汎用メモリコントローラ（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ、ＧＰＭＣ）で接続される）。いくつかの実施例では、いくつかのセンサ（例えば、視覚センサ）及び／又は前記フィールドプログラマブルゲートアレイを伝送モジュールに接続してよい。前記伝送モジュールは、前記センサの取得したデータ（例えば、画像データ）を任意の適切な外部装置又はシステム、例えば、本明細書に記載された端末又は遠隔装置に伝送してよい。

前記コントローラは、１つ又は複数のプログラマブルプロセッサ（例えば、中央処理装置）を含み得る。前記コントローラは、記憶媒体（例えば、不揮発性のコンピュータ読み取り可能な媒体）８３０に接続され得る。前記記憶媒体は、１つ又は複数の記憶ユニット（例えば、ＳＤカード又はランダムメモリのようなリムーバブルメディア又は外部メモリ）を含み得る。いくつかの実施例では、前記センサ（例えば、カメラ）からのデータは、前記記憶媒体の記憶ユニットに（例えば、直接メモリアクセス（ＤＭＡ）によって）直接伝送、記憶され得る。前記記憶媒体の記憶ユニットは、コード及び／又はプログラム命令を記憶することができる。前記コントローラは、該コード及び／又はプログラム命令を実行することにより、本明細書に記載された方法の実施例を実行する。例えば、前記コントローラは、命令を実行することにより、前記コントローラの１つ又は複数のプロセッサが、１つ又は複数のセンサ又は感知システムで生成されたデータを分析して、本明細書に記載された前記無人航空機の方位及び／又は動き情報、検出された外部接触情報及び／又は検出された外部信号情報を決定することができる。また、例えば、前記コントローラは、命令を実行することにより、前記コントローラの１つ又は複数のプロセッサが、前記無人航空機を自律的に離着陸するように制御するか否かを決定することができる。

前記記憶媒体８３０の記憶ユニットは、前記１つ又は複数の感知システムからの感知データを記憶し、該感知データは前記コントローラにより処理される。いくつかの実施例では、前記記憶ユニットは、前記無人航空機の方位及び／又は動き情報、検出された外部接触情報及び／又は検出された外部信号情報を記憶することができる。任意選択で、又は、組み合わせて、前記記憶ユニットは、前記無人航空機を制御するための所定又は予め記憶されたデータ（例えば、所定の感知データの閾値、前記アクチュエータを制御するためのパラメータ、前記無人航空機の所定の飛行経路、速度、加速度又は方向）を記憶することができる。

上述した通り、前記コントローラ８１０は、１つ又は複数のアクチュエータ８２０によって前記無人航空機の状態を調整することができる。例えば、前記コントローラは、前記無人航空機のローターを制御する（例えば、ローターの回転速度を制御する）ことで、６自由度（Ｘ、Ｙ及びＺ軸に沿う並進運動、並びに、ロール軸、ピッチ軸及びヨー軸周りの回転運動）に対する前記無人航空機又はその部材（例えば、負荷、そのキャリア）の空間レイアウトを調整することができる。任意選択で、又は、組み合わせて、前記コントローラは、６自由度に対する前記無人航空機の速度又は加速度を調整することができる。いくつかの実施例では、前記コントローラは、所定の制御データ又は前記無人航空機の位置、外部接触又は外部信号情報に基づいて前記無人航空機を制御することができる。１つ又は複数の感知システムからの感知データを処理することにより、前記無人航空機の方位、外部接触又は外部信号情報を取得することができる。例えば、前記コントローラは、離陸又は着陸が必要か否かに基づいて、前記アクチュエータに加速又は減速信号を提供することができる。

異なる実施例では、前記アクチュエータは、モータ、電子ガバナ、機械伝動装置、油圧伝動装置、空気圧伝動装置などを含み得る。前記モータは、磁気モータ、静電モータ又は圧電モータを含み得る。例えば、ある実施例では、前記アクチュエータは、ブラシ付き又はブラシレス直流モータを含む。

前記コントローラは、通信モジュール８４０に接続され、１つ又は複数の外部機器（例えば、端末、表示装置、地上制御装置又はその他のリモコン）からのデータを送信及び／又は受信することができる。前記通信モジュールは、任意の適切な通信方式、例えば、有線通信又は無線通信を用いてよい。例えば、前記通信モジュールは、１つ又は複数のローカルエリアネットワーク、ワイドエリアネットワーク、赤外線、無線電波、ＷｉＦｉ、ポイントツーポイント（ｐｏｉｎｔ−ｔｏ−ｐｏｉｎｔ、Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などを用いてよい。任意選択で、例えば電波塔や、衛星、移動局などの中継局を用いてよい。前記無線通信は、距離の影響を受けても、距離の影響を受けなくても構わない。いくつかの実施例では、視線内で通信してもよいし、視線外で通信してもよい。前記通信モジュールは、前記感知システムからの１つ又は複数の感知データ、方位及び／又は動き情報、前記感知データを処理して得られた外部接触情報及び／又は外部信号情報、所定の制御データ、端末又はリモコンからのユーザコマンドなどを送信及び／又は受信することができる。

前記無人航空機の部材は、任意の適切な配置を行うことができる。例えば、該無人航空機の１つ又は複数の部材は、前記無人航空機、キャリア、負荷、端末、感知システム又は上記１つ又は複数の装置と通信する任意の他の遠隔装置又はシステムに設けられてよい。また、図８は、単一のコントローラ及び単一の記憶媒体を示しているが、前記無人航空機に対する制限ではなく、前記無人航空機が複数のコントローラ及び／又は記憶媒体を含み得ることは当業者に明らかである。いくつかの実施例では、前記複数のコントローラ及び／又は記憶媒体のうちの１つ又は複数は、例えば前記無人航空機、キャリア、負荷、端末、感知システム又は上記１つ又は複数の装置と通信する任意の他の遠隔装置又はシステム、又はこれらの適切な組み合わせのような異なる位置に設けられてよく、前記無人航空機が上記１つ又は複数の位置で処理及び／又は記憶機能を実行しやすいようにする。

前記無人航空機は、シングルローター機、マルチコプター及び回転翼航空機を含むが、これらに限定されない。回転翼航空機は、一般的には、プロペラがロッドや軸周りに回転することにより揚力を発生させる。前記回転翼航空機は、例えば、ヘリコプター、サイクロジャイロ、オートジャイロ、ローター式ヘリコプターなどを含む。前記回転翼航空機は、前記航空機の複数の位置に取り付けられた複数のローターを有してよい。例えば、前記無人航空機は、クアッドコプター、ヘキサコプター、１０軸ヘリコプターなどを含み得る。

異なる実施例では、前記無人航空機は、６自由度（例えば、３つの並進自由度及び３つの回転自由度）に対して自由に運動することができる。或いは、前記無人航空機は、１つ又は複数の自由度に制限されて運動し、例えば、所定の軌道や軌跡に制限され得る。前記運動は、任意の適切な駆動機構、例えば、エンジン又はモータによって駆動され得る。いくつかの実施例では、前記無人航空機は、推進システムによって駆動され得る。推進システムは、例えば、エンジン、モータ、ホイール、輪軸、磁石、ローター、プロペラ、ブレード、ノズル又は任意の適切な上記部材の組み合わせを含み得る。任意の適切なエネルギー、例えば、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、原子力エネルギー又は任意の適切なエネルギーの組み合わせで前記無人航空機の運動に動力を提供することができる。

異なる実施例では、前記無人航空機は、異なる大きさ、サイズ及び／又は構造を採用してよい。例えば、一実施例では、前記無人航空機は、マルチコプター無人航空機であってもよく、逆方向に回転するローターの軸間距離が、ある閾値以下である。前記閾値は、約５ｍ、４ｍ、３ｍ、２ｍ、１ｍなどであり得る。前記逆方向に回転するローターの軸間距離の数値は、例えば、３５０ｍｍ、４５０ｍｍ、８００ｍｍ、９００ｍｍなどであり得る。

いくつかの実施例では、前記無人航空機の大きさ及び／又はサイズは、１人の人をその中又はその上に収容するのに十分である。或いは、前記無人航空機の大きさ及び／又はサイズは、１人の人をその中又はその上に収容するのに十分ではない。いくつかの場合に、前記無人航空機の最大サイズ（例えば、長さ、幅、高さ、直径、対角線）は、５ｍ、４ｍ、３ｍ、２ｍ、１ｍ、０．５ｍ又は０．１ｍ以下である。例えば、前記逆方向に回転するローターの軸間距離は、５ｍ、４ｍ、３ｍ、２ｍ、１ｍ、０．５ｍ又は０．１ｍ以下であり得る。いくつかの実施例では、前記無人航空機の体積は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満であり得る。いくつかの実施例では、前記無人航空機の体積は、５０ｃｍ×５０ｃｍ×３０ｃｍ未満であり得る。いくつかの実施例では、前記無人航空機の体積は、５ｃｍ×５ｃｍ×３ｃｍ未満であり得る。いくつかの実施例では、前記無人航空機が占拠する面積（前記無人航空機の横断面の面積）は、約３２，０００ｃｍ^２、２０，０００ｃｍ^２、１０，０００ｃｍ^２、１，０００ｃｍ^２、５００ｃｍ^２、１００ｃｍ^２未満であってもよいし、それ以下であってもよい。いくつかの場合に、前記無人航空機の重量は、１０００ｋｇ、５００ｋｇ、１００ｋｇ、１０ｋｇ、５ｋｇ、１ｋｇ又は０．５ｋｇ以下であり得る。

異なる実施例では、前記無人航空機は、荷重を搭載し得る。前記荷重としては、１つ又は複数の貨物、装置、機器などが挙げられる。前記荷重は、筐体を有してもよい。任意選択で、前記荷重の一部又は全部は、筐体を有しなくてもよい。前記荷重は、前記無人航空機に対して剛性に固定されてもよい。或いは、前記荷重は、前記無人航空機に対して可動式であり得る（例えば、前記無人航空機に対して並進可能又は回転可能）。

いくつかの実施例では、前記荷重は、負荷及び前記負荷を搭載するキャリア、例えば、薬箱を含む。前記キャリアは、前記無人航空機と一体に成形され得る。或いは、前記キャリアは、前記無人航空機に着脱可能に接続され得る。前記キャリアは、前記無人航空機に直接的又は間接的に接続され得る。前記キャリアは、前記負荷を支持することができる（例えば、前記負荷の重量の少なくとも一部を支持する）。前記キャリアは、前記負荷の運動を安定化し、及び／又は制御することができる好適な装着構造（例えば、雲台）を含み得る。いくつかの実施例では、前記キャリアは、前記無人航空機に対する負荷の状態（例えば、位置及び／又は方向）を制御するように適合され得る。例えば、前記キャリアは、前記負荷が、前記無人航空機の運動に影響されず、好適な参照座標系に対する位置及び／又は方向を維持するように、前記無人航空機に対して運動することができる（例えば、１つ、２つ又は３つの並進自由度、及び／又は、１つ、２つ又は３つの回転自由度に対して運動する）。前記参照座標系は、固定された参照座標系（例えば、周囲環境）であり得る。或いは、前記参照座標系は、運動参照座標系（例えば、前記無人航空機、負荷）であり得る。

いくつかの実施例では、前記キャリアは、前記キャリア及び／又は無人航空機に対する前記負荷の運動を可能にする。前記運動は、３つの自由度に対する（例えば、１つ、２つ又は３つの軸に沿った）並進、３つの自由度に対する（例えば、１つ、２つ又は３つの軸に沿った）回転、又はこれらの任意の組み合わせであり得る。例えば、前記キャリアは、フレームアセンブリ及びアクチュエータアセンブリを含み得る。前記フレームアセンブリは、前記負荷に構造支持を提供することができる。前記フレームアセンブリは、複数の個別のフレーム部材を含み、これらのうちいくつかは、相互に可動式であり得る。

前記フレームアセンブリ及び／又は個別のフレーム部材は、前記フレームアセンブリを運動させるように駆動する駆動アセンブリに接続され得る。前記駆動アセンブリは、前記個別のフレーム部材を運動させるように駆動する１つ又は複数のアクチュエータ（例えば、モータ）を含み得る。前記アクチュエータによって、フレーム部材が複数同時に運動可能となるか又はフレーム部材が一度に一つずつ運動可能となる。前記フレーム部材の運動は、前記負荷の対応する運動を生成し得る。例えば、前記駆動アセンブリは、１つ又は複数の回転軸（例えば、ロール軸や、ピッチ軸、ヨー軸）を中心とする１つ又は複数のフレーム部材の回転を作動させ得る。前記１つ又は複数のフレーム部材の回転は、負荷に、前記無人航空機に対して１つ又は複数の回転軸の周りに回転させ得る。任意選択で、又は、組み合わせて、前記駆動アセンブリは、１つ又は複数の並進軸に沿った１つ又は複数のフレーム部材の並進を作動させることにより、前記負荷に前記無人航空機に対して１つ又は複数の対応する並進軸に沿って並進させ得る。

前記負荷は、直接的に（例えば、前記無人航空機に直接に接触して）、又は間接的に（例えば、前記無人航空機に接触せずに）前記キャリアを介して前記無人航空機に接続され得る。任意選択で、前記負荷は、キャリアを必要とすることなく前記無人航空機に装着され得る。前記負荷は、前記キャリアと一体に形成され得る。或いは、前記負荷は、前記キャリアに着脱可能に接続され得る。いくつかの実施例では、前記負荷は、１つ又は複数の負荷要素を含み、前記負荷要素は、上記のように前記無人航空機及び／又はキャリアに対して運動し得る。前記負荷は、１つ又は複数の対象を測定するように構成された１つ又は複数のセンサを含み得る。前記負荷としては、任意の適切なセンサ、例えば、画像取得装置（例えば、カメラ）、音声取得装置（例えば、放物面マイク）、赤外線撮像装置又は紫外線撮像装置などが挙げられる。前記センサは、静的感知データ（例えば、写真）又は動的感知データ（例えば、動画）を提供し得る。いくつかの実施例では、前記センサは、感知データを前記負荷の感知対象に提供する。任意選択で、又は、組み合わせて、前記負荷は、信号を１つ又は複数の感知対象に提供するように構成された１つ又は複数のエミッタを含み得る。前記エミッタは、任意の適切なエミッタ、例えば、光源又はサウンド源であり得る。いくつかの実施例では、前記負荷は、前記無人航空機から遠隔のモジュールとの通信などのための１つ又は複数のトランシーバを含む。本願に係る実施形態では、コントローラ８１０は、記憶媒体８３０に記憶されたプログラムを呼び出すことにより、前記飛行ルートに沿う飛行の際に、第２のマップデータ及び飛行位置を取得し、前記第１のマップデータの作業領域と前記第２のマップデータとをマッチングして、前記飛行位置が前記飛行ルートからずれた飛行オフセット量を計算し、前記飛行オフセット量に基づいて飛行修正を行い、前記飛行ルートに修正するように構成される。

任意選択で、コントローラ８１０は、さらに、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得し、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得し、
各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するように構成される。
任意選択で、コントローラ８１０は、さらに、
前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得し、
前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得し、
各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影し、
サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記航空機に前記障害物領域の回避を指示するように、前記サブ領域を障害物領域として設定し、
ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための３次元位置情報とを取得し、
前記航空機に前記障害物領域及び前記作業境界の回避を指示するように、予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定するように構成される。

上記ナビゲーションチャート構成方法、障害物自動回避方法及び装置、端末、無人航空機によれば、航空機の現在の飛行位置を中心としたローカルナビゲーションチャートを動的に生成し、飛行中に航空機が取得した位置情報、姿勢情報及び深度画像に基づいて、飛行中に航空機が出会った未知の障害物の情報である可能性も、飛行中に航空機が出会った、事前に計画されていない他の物体の情報である可能性もある各点の３次元位置情報を分析し、各点の３次元位置情報をローカルナビゲーションチャートに投影すると、該ローカルナビゲーションチャートに基づいてリアルタイムの作業ルート計画を行うことができる。作業ルートは、飛行中に航空機が取得した情報に基づいて動的に生成されるため、例えば、事前に作業ルートが計画されていない作業領域に対しても作業を行うか、又は未知の障害物の所在する領域を自動的に回避するなどの臨時のタスク変化に効果的に対応することができる。また、ローカルナビゲーションチャートの障害物領域の情報をグローバルナビゲーションチャートに更新すると、グローバル計画時に障害物を直接的に回避し、グローバル範囲で最短経路を見つけることができ、測量・マッピングデータのみにより見つけた経路が測量・マッピングされていない障害物を回避できないことを防止する。

本願に係る各実施例における各機能ユニットは、１つの処理モジュールに統合されてもよいし、各ユニットは物理的に単独で存在してもよいし、２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合されたモジュールは、ハードウェアの形態で実現されても、ソフトウェア機能モジュールの形態で実現されてもよい。前記統合されたモジュールがソフトウェア機能モジュールの形態で実現され、独立した製品として販売又は使用されるとき、統合されたモジュールは、コンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は、任意のタイプのディスク（フレキシブルディスク、ハードディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、リードオンリーメモリ）、ＲＡＭ（Ｒａｎｄｏｍ ＡｃｃｅＳＳ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、ＥＰＲＯＭ（ＥｒａＳａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、イーピーロム）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥｒａＳａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、イーイーピーロム）、フラッシュメモリ、磁気カード又はライトカードを含むが、これらに限定されない。すなわち、記憶媒体は、装置（例えば、コンピュータ）によって読み取り可能に情報を記憶又は転送する任意の媒体を含む。リードオンリーメモリ、磁気ディスク又は光ディスクなどであってもよい。

当業者であれば理解されるように、本願で既に検討された様々な操作、方法、フローにおけるステップ、対策、態様は、置き換え、変更、組み合わせ又は削除を行うことができる。好ましくは、本願で既に検討された様々な操作、方法、フローにおけるその他のステップ、対策、態様に対しても、置き換え、変更、並べ替え、分解、組み合わせ又は削除を行うことができる。好ましくは、従来技術における、本発明に開示された様々な操作、方法、フローにおけるステップ、対策、態様も、置き換え、変更、並べ替え、分解、組み合わせ又は削除を行うことができる。

以上の記載は、本願に係る一部の実施形態に過ぎず、当業者であれば本願に係る趣旨から逸脱せずに若干の改善や修正を行うこともでき、このような改善や修正も本願に係る保護範囲に含まれるべきである。

本願に係る発明は、ドローンのナビゲーションの分野に適用することができ、ナビゲーションチャート構成方法は、前記無人航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するステップと、各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するステップと、を含む。本願発明は、作業ルートを動的に生成して、臨時のタスク変化に効果的に対応することができる。

Claims (34)

1. 航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
   前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するステップと、
   各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するステップと、を含むナビゲーションチャート構成方法。
2. 前記ローカルナビゲーションチャートは、複数のサブ領域を含み、
   各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、
   サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域とし、前記航空機に障害物の回避を指示することをさらに含む、請求項１に記載のナビゲーションチャート構成方法。
3. 各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、
   サブ領域内の全ての点の重み値の和が予め設定された閾値以下であれば、前記サブ領域を通行領域とし、前記航空機の通過を許可することをさらに含む、請求項２に記載のナビゲーションチャート構成方法。
4. 前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、
   各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、
   前記距離係数は、前記距離情報と正比例関係にある、請求項１に記載のナビゲーションチャート構成方法。
5. 各点の３次元位置情報を、それぞれに設定された重み値で、ローカルナビゲーションチャートに投影した後、
   前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることと、
   減衰後の各サブ領域における全ての点の重み値の和を取得することと、をさらに含む、請求項２に記載のナビゲーションチャート構成方法。
6. 前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることは、
   前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算することを含む、請求項５に記載のナビゲーションチャート構成方法。
7. 前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される、請求項５に記載のナビゲーションチャート構成方法。
8. 前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得することは、
   前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することと、
   ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の３次元位置情報を取得することとを含む、請求項１に記載のナビゲーションチャート構成方法。
9. 前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することは、
   カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換することと、
   カメラ座標系から機体座標系への変換行列に基づいて、カメラ座標系における各点を機体座標系の各点に変換することと、
   機体座標系からナビゲーション座標系への変換行列に基づいて、機体座標系における各点をナビゲーション座標系の各点に変換することと、を含む、請求項８に記載のナビゲーションチャート構成方法。
10. 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得した後、且つ、各点の３次元位置情報を取得する前に、
    前記深度画像に対してスパース処理を行うことをさらに含む、請求項１に記載のナビゲーションチャート構成方法。
11. 前記深度画像に対してスパース処理を行うことは、
    深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行うことを含む、請求項１０に記載のナビゲーションチャート構成方法。
12. 前記ローカルナビゲーションチャートは、格子地図であり、
    各格子は、１つのサブ領域である、請求項２〜１１のいずれか一項に記載のナビゲーションチャート構成方法。
13. 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するステップと、
    前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するステップと、
    各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するステップと、
    サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するステップと、
    ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための３次元位置情報とを取得するステップと、
    予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するステップと、を含む障害物回避方法。
14. 予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定することは、
    取得された前記測量・マッピングデータ及び３次元位置情報に基づいて、第１の障害物領域及び第１の作業境界領域を取得することと、
    前記第１の障害物領域及び前記第１の作業境界領域を膨張させて、第２の障害物領域及び第２の作業境界領域を取得することと、
    前記第２の障害物領域及び前記第２の作業境界領域を、航空機に障害物の回避を指示するための領域として設定することと、を含む、請求項１３に記載の障害物回避方法。
15. 前記予め設定されたグローバルナビゲーションチャートの中心及びサイズは、前記航空機の離陸前の位置及び前記測量・マッピングデータから取得される、請求項１３に記載の障害物回避方法。
16. 前記グローバルナビゲーションチャートの水平境界は、前記位置及び前記測量・マッピングデータのＹ軸上での最大値と最小値が膨張して決定され、
    前記グローバルナビゲーションチャートの鉛直境界は、前記位置及び前記測量・マッピングデータのＸ軸上での最大値と最小値が膨張して決定される、請求項１５に記載の障害物回避方法。
17. 各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影した後、
    サブ領域内の全ての点の重み値の和が予め設定された閾値以下であれば、前記サブ領域を通行領域とし、前記航空機の通過を許可することをさらに含む、請求項１３に記載の障害物回避方法。
18. 前記深度画像は、各点と前記現在の飛行位置との距離情報を含み、
    各点の前記重み値は、予め設定された重み値と距離係数との積から求められ、
    前記距離係数は、前記距離情報と正比例関係にある、請求項１３に記載の障害物回避方法。
19. 各点の３次元位置情報を、それぞれに設定された重み値で、ローカルナビゲーションチャートに投影した後、
    前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることと、
    減衰後の各サブ領域における全ての点の重み値の和を取得することと、をさらに含む、請求項１３に記載の障害物回避方法。
20. 前記ローカルナビゲーションチャートにおけるプリセット領域内の各点の重み値を減衰させることは、
    前記プリセット領域内の各点の重み値を予め設定された減衰係数と乗算することを含む、請求項１９に記載の障害物回避方法。
21. 前記プリセット領域は、前記ローカルナビゲーションチャートの中心と、前記航空機における深度画像を取得するための双眼システムの水平画角と、設定減衰距離とに基づいて決定される、請求項１９に記載の障害物回避方法。
22. 前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得することは、
    前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することと、
    ナビゲーション座標系における各点、前記現在の飛行位置及び前記姿勢情報に基づいて、各点の３次元位置情報を取得することと、を含む、請求項１３に記載の障害物回避方法。
23. 前記深度画像を座標変換して、ナビゲーション座標系における各点を取得することは、
    カメラの内部リファレンス行列に基づいて、前記深度画像の各点をカメラ座標系における各点に変換することと、
    カメラ座標系から機体座標系への変換行列に基づいて、カメラ座標系における各点を機体座標系の各点に変換することと、
    機体座標系からナビゲーション座標系への変換行列に基づいて、機体座標系における各点をナビゲーション座標系の各点に変換することと、を含む、請求項２２に記載の障害物回避方法。
24. 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得した後、且つ、各点の３次元位置情報を取得する前に、
    前記深度画像に対してスパース処理を行うことをさらに含む、請求項１３に記載の障害物回避方法。
25. 前記深度画像に対してスパース処理を行うことは、
    深度画像における画素点がエッジから中心に向かって徐々に増加するように制御するための可変ステップサイズを用いて前記深度画像に対してスパース処理を行うことを含む、請求項２４に記載の障害物回避方法。
26. 前記ローカルナビゲーションチャート及び前記グローバルナビゲーションチャートは、格子地図であり、
    各格子は、１つのサブ領域である、請求項１３〜２５のいずれか一項に記載の障害物回避方法。
27. 航空機のナビゲーションチャート構成装置であって、
    前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された情報取得モジュールと、
    前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するように構成された３次元位置情報取得モジュールと、
    各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心としたローカルナビゲーションチャートに投影するように構成された投影モジュールと、を含む航空機のナビゲーションチャート構成装置。
28. 前記航空機の現在の飛行位置、姿勢情報及び現在の飛行位置で検出された深度画像を取得するように構成された第１の情報取得モジュールと、
    前記現在の飛行位置、前記姿勢情報及び前記深度画像に基づいて、各点の３次元位置情報を取得するように構成された３次元位置情報取得モジュールと、
    各点の３次元位置情報を、それぞれに設定された重み値で、前記現在の飛行位置を中心とし複数のサブ領域を含むローカルナビゲーションチャートに投影するように構成された投影モジュールと、
    サブ領域内の全ての点の重み値の和が予め設定された閾値より大きい場合、前記サブ領域を障害物領域として、前記航空機に前記障害物領域の回避を指示するように構成された第１の領域設定モジュールと、
    ユーザが設定した、障害物領域及び作業境界領域を示すための測量・マッピングデータと、前記ローカルナビゲーションチャートにおける障害物領域を示すための３次元位置情報とを取得するように構成された第２の情報取得モジュールと、
    予め設定されたグローバルナビゲーションチャートに障害物領域及び作業境界領域を設定して、前記航空機に前記障害物領域及び前記作業境界領域の回避を指示するように構成された第２の領域設定モジュールと、を含む障害物回避装置。
29. メモリと、プロセッサと、メモリに記憶されプロセッサ上で実行可能なコンピュータプログラムとを含み、前記プログラムが前記プロセッサによって実行されると、請求項１〜１２のいずれか一項に記載の方法のステップが実現される、端末。
30. メモリと、プロセッサと、メモリに記憶されプロセッサ上で実行可能なコンピュータプログラムとを含み、前記プログラムが前記プロセッサによって実行されると、請求項１３〜２６のいずれか一項に記載の方法のステップが実現される、端末。
31. 記憶されたプログラムを含み、前記プログラムが実行されると、所在する装置を制御して請求項１〜１２のいずれか一項に記載のナビゲーションチャート構成方法を実行する、記憶媒体。
32. 記憶されたプログラムを含み、前記プログラムが実行されると、所在する装置を制御して請求項１３〜２６のいずれか一項に記載の障害物回避方法を実行する、記憶媒体。
33. 通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
    前記センサは、イメージセンサ、ＧＰＳ受信機、ＲＴＫ測位センサ及び慣性センサを含み、
    前記通信モジュールは、地上制御装置と通信するように構成され、
    前記ＧＰＳ受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
    前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
    前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
    前記コントローラは、前記記憶媒体に接続され、
    前記記憶媒体は、実行されると、請求項１〜１２のいずれか一項に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機。
34. 通信モジュールと、センサと、コントローラと、記憶媒体とを含み、
    前記センサは、イメージセンサ、ＧＰＳ受信機、ＲＴＫ測位センサ及び慣性センサを含み、
    前記通信モジュールは、地上制御装置と通信するように構成され、
    前記ＧＰＳ受信機及び測位センサは、無人航空機の現在の飛行位置を決定するように構成され、
    前記慣性センサは、無人航空機の姿勢情報を決定するように構成され、
    前記イメージセンサは、現在の飛行位置で深度画像を検出するように構成され、
    前記コントローラは、前記記憶媒体に接続され、
    前記記憶媒体は、実行されると、請求項１３〜２６のいずれか一項に記載の方法のステップが実行されるためのプログラムを記憶するように構成された無人航空機。

Images