JP2022520019A - 画像処理方法、装置、移動可能なプラットフォーム、プログラム - Google Patents

Abstract

本発明の実施例は、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得て、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定する画像処理方法、装置、移動可能なプラットフォーム、無人機及び記憶媒体を提供する。このような形態により、信頼度特徴マップを自動的に生成することができ、目標画像データ中の目標領域を迅速、効率的に識別することが実現される。

Description

本発明は、制御技術分野に関し、特に、画像処理方法、装置、移動可能なプラットフォーム、無人機及び記憶媒体に関する。

現在、移動可能なプラットフォーム（無人機、無人車、無人船など）の発展は、ますます重要になっており、発展の速度が速まっている。移動可能なプラットフォームの応用は非常に多く、中でも、撮影装置が搭載された無人機を例とし、無人機は、空撮技術における応用が特に広範である。しかしながら、従来の無人機の空撮技術では、撮影中に、撮影画像中のある画像領域における目標対象の数を自動識別することができず、撮影画像中のこの画像領域における目標対象の数を人手によって判断する必要がある。このような方法は、操作が煩雑で、効率が低い。そのため、目標対象をいかにして効率的、迅速に識別するかが、研究の重点となっている。

本発明の実施例は、画像処理方法、装置、移動可能なプラットフォーム、無人機及び記憶媒体を提供し、目標画像データ中の目標領域を効率的、迅速に自動識別することができる。

第１の態様において、本発明の実施例は、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得することと、
目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることと、
前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することと、を含む画像処理方法を提供する。

第２の態様において、本発明の実施例は、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得することと、
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることと、
前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定することと、を含む別の画像処理方法を提供する。

第３の態様において、本発明の実施例は、メモリとプロセッサとを含み、
前記メモリは、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、前記メモリに記憶されたプログラムコマンドを実行し、プログラムコマンドが実行されるときに、前記プロセッサは、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するステップと、を実行するために用いられる画像処理装置を提供する。

第４の態様において、本発明の実施例は、メモリとプロセッサとを含み、
前記メモリは、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、前記メモリに記憶されたプログラムコマンドを実行し、プログラムコマンドが実行されるときに、前記プロセッサは、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する点データの数を確定するステップと、を実行するために用いられる別の画像処理装置を提供する。

第５の態様において、本発明の実施例は、メモリとプロセッサとを含み、
前記メモリは、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、前記メモリに記憶されたプログラムコマンドを実行し、プログラムコマンドが実行されるときに、前記プロセッサは、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するステップと、を実行するために用いられる移動可能なプラットフォームを提供する。

第６の態様において、本発明の実施例は、メモリとプロセッサとを含み、
前記メモリは、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、前記メモリに記憶されたプログラムコマンドを実行し、プログラムコマンドが実行されるときに、前記プロセッサは、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定するステップと、を実行するために用いられる別の移動可能なプラットフォームを提供する。

第７の態様において、本発明の実施例は、機体と、飛行動力を提供するための、前記機体上に設けられた動力システムと、上記第３の態様又は第４の態様に記載の画像処理装置と、を含む、無人機を提供する。

第８の態様において、本発明の実施例は、プロセッサによって実行されるときに、上記第１の態様又は第２の態様に記載の画像処理方法を実現するコンピュータプログラムが記憶された、コンピュータ可読記憶媒体を提供する。

本発明の実施例において、画像処理装置は、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得て、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することができる。このような実施形態により、目標画像データ中の目標領域を迅速、効率的に識別することが実現され、これにより、画像処理効率が向上する。

本発明の実施例又は先行技術における技術手法をより明確に説明するために、次に実施例における用いることが必要な図面について簡単に説明する。次の記述における図面は、本発明の実施例の一部でしかなく、当業者にとって、創造的な労働を行わない前提の下で、これらの図面に基づきその他の図面をさらに得ることができることは自明のことである。

本発明の実施例で提供する１つの画像処理システムの構造模式図である。 本発明の実施例で提供する１つの画像処理方法の流れ模式図である。 本発明の実施例で提供する１つの信頼度特徴マップの模式図である。 本発明の実施例で提供する１つの目標画像データのインターフェース模式図である。 本発明の実施例で提供する１つのラベル付け目標対象の模式図である。 本発明の実施例で提供する別の画像処理方法の流れ模式図である。 本発明の実施例で提供する目標シーン三次元再構築方法の１つの実施例における参考フレーム選択の模式図である。 本発明の実施例で提供する１つの画像処理装置の構造模式図である。 本発明の実施例で提供する別の画像処理装置の構造模式図である。

以下、本発明の実施例における図面と合わせ、本発明の実施例における技術手法について、明確且つ完全に記述するが、記述する実施例は、本発明の一部の実施例に過ぎず、すべての実施例ではないことは明らかである。本発明における実施例に基づき、当業者が創造的労働を行わない前提の下で得たその他すべての実施例は、いずれも本発明の保護する範囲に属す。

以下、図面と合わせ、本発明の実施形態について詳細に説明する。抵触しない場合、下記の実施例及び実施例における特徴は、互いに組み合わせてもよい。

本発明の実施例で提供する画像処理方法は、画像処理システムにより実行することができ、前記画像処理システムは、画像処理装置と移動可能なプラットフォームとを含む。いくつかの実施例において、前記画像処理装置は、負荷（撮影装置、赤外線検出装置、測量機器など）が配置された移動可能なプラットフォーム（無人機など）上に設けることができる。他の実施例において、前記画像処理装置は、さらに、他の移動可能装置上、例えば、自主的に移動可能なロボット、無人車、無人船などの移動可能装置に設けてもよい。いくつかの実施例において、前記画像処理装置は、移動可能なプラットフォームの部品であってもよく、すなわち、前記移動可能なプラットフォームが、前記画像処理装置を含む。他の実施例において、前記画像処理装置は、移動可能なプラットフォームとは空間的に独立していてもよい。次に、図面を合わせ、本発明の実施例における画像処理システムについて例を挙げて説明する。

具体的には、図１に示す。図１は、本発明の実施例で提供する１つの画像処理システムの構造模式図である。図１に示す画像処理システムは、画像処理装置１１と、移動可能なプラットフォーム１２と、を含み、前記画像処理装置１１は、移動可能なプラットフォーム１２の制御端末であってもよい。具体的には、遠隔制御装置、スマートフォン、タブレットＰＣ、ノートパソコン、地上局、ウェアラブルデバイス（腕時計、ブレスレット）のうちのいずれか１種又は複数種とすることができる。前記移動可能なプラットフォーム１２は、自主的に移動可能なロボット、無人車、無人船などの移動可能装置を含むことができる。移動可能なプラットフォーム１２は、移動可能なプラットフォーム１２に移動の動力を提供するための動力システム１２１を含み、移動可能なプラットフォーム１２は、移動可能なプラットフォーム１２の本体上に設けられる撮像装置１２２をさらに含んでもよい。撮像装置１２２は、移動可能なプラットフォーム３２の移動中に画像又は映像を撮影するために用いられ、マルチスペクトルカメラ、ハイパースペクトルカメラ、可視光カメラ及び赤外線カメラなどを含むが、これらに限定されない。

本発明の実施例において、前記画像処理システムにおける画像処理装置１１は、前記移動可能なプラットフォーム１２上に吊り下げられた撮像装置１２２によって目標画像データを取得し、目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることにより、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することができる。いくつかの実施例において、前記目標画像データは、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む。

次に、図面を合わせ、移動可能なプラットフォームに用いられる画像処理方法について模式的に説明する。

図２に示すように、図２は、本発明の実施例で提供する１つの画像処理方法の流れ模式図であり、前記方法は、画像処理装置によって実行することができ、前記画像処理装置の具体的な説明は、前述のとおりである。具体的には、本発明の実施例の前記方法は、次のステップを含む。

Ｓ２０１：目標画像データを取得する。

本発明の実施例において、画像処理装置は、目標画像データを取得することができ、いくつかの実施例において、前記目標画像データは、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む。いくつかの実施例において、前記目標画像データは、移動可能なプラットフォーム上に吊り下げられた撮像装置が撮影して得られた目標画像と、被写界深度データとによって得られ、いくつかの実施例において、前記目標画像は、平面図視角下の画像を含むが、これに限定されない。

いくつかの実施例において、前記目標画像データは、カラー画像を含む。又は、前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含む。又は、前記目標画像データは、オルソ画像を含む。又は、前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む。

Ｓ２０２：目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得る。

本発明の実施例において、画像処理装置は、目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることができる。

１つの実施例において、画像処理装置が前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得て、前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度により、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することができ、前記セマンティックタイプ及びセマンティックの信頼度を含む点群データにより、図３ａに示す信頼度特徴マップを生成することができる。図３ａは、本発明の実施例で提供する１つの信頼度特徴マップの模式図であり、図３ａに示すように、前記信頼度特徴マップは、セマンティックタイプ及びセマンティックの信頼度を含む点群データを含む。

具体的には、図３ｂを例として説明する。図３ｂは、本発明の実施例で提供する１つの目標画像データのインターフェース模式図であり、前記画像処理装置は、図３ｂに示す目標画像データ３１の位置データ、高度データ、各画素点のセマンティックタイプ及びセマンティック信頼度により、図３ａに示すセマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することができる。例えば、前記目標画像データ３１の位置データをｍ、高度データをｈ、前記目標画像データ３１中のｎ個の画素点に対応するセマンティックタイプ及びセマンティック信頼度をそれぞれＫ１、Ｋ２、・・・、Ｋｎとした場合、画像処理装置は、前記位置データをｍ、高度データをｈ、前記目標画像データ３１中のｎ個の画素点に対応するセマンティックタイプ及びセマンティック信頼度をそれぞれＫ１、Ｋ２、・・・、Ｋｎとして、図３ａに示すセマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することができる。

いくつかの実施例において、前記点群データ及び前記信頼度特徴マップは、いずれも点データを複数個含み、各点データは、位置データ、高度データ及び信頼度が異なる複数のセマンティックタイプを含み、前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する。いくつかの実施例において、前記信頼度特徴マップにおける点群データは、ガウス分布により生成される複数の円形からなり、ガウス分布により生成される信頼度特徴マップによって、信頼度特徴マップの安定性が向上する。当然ながら、本実施例は、点群データと目標画像データ中の画素点との対応関係を限定せず、点群データは、画像データ中の画素点と１対１の対応関係にあってもよく、各点群データが複数の画素点に対応し、そのセマンティックが複数の画素点のクラスタリング結果によって決定されてもよい。

いくつかの実施例において、前記セマンティック識別モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）モデルであってもよく、前記ＣＮＮモデルの構成は、主に、入力層と、畳み込み層と、活性化層と、プーリング層と、を含む。ニューラルネットワークモデルにおいて、複数のサブネットワークを含んでもよく、前記サブネットワークは、最低から最高までのシーケンスの中に配置され、且つ、前記シーケンス中のサブネットワークにおける各々によって、入力された画像データを処理する。シーケンス中のサブネットワークは、複数のモジュールサブネットワークを含み、１つ又は複数の他のサブネットワークを任意に含み、前記他のサブネットワークは、いずれも１つ又は複数の通常のニューラルネットワーク層からなり、例えば、最大プーリング層、畳み込み層、全結合層、正規化層などである。各サブネットワークは、シーケンス中の前サブネットワークが生成した前の出力表示を受け、ストレートスルー畳み込みにより前記前の出力表示を処理し、ストレートスルー出力を生成する。ニューラルネットワーク層の１つ又は複数の群によって前の出力表示を処理し、１つ又は複数のグループを生成し、前記ストレートスルー出力及び前記グループ出力を結合して、前記モジュールサブネットワークの出力表示を生成する。

いくつかの実施例において、前記入力層は、画像データを入力するために用いられ、前記畳み込み層は、前記画像データを演算するために用いられ、前記活性化層は、畳み込み層から出力された結果に対して非線形変換を行うために用いられ、前記プーリング層は、データ及びパラメータの量を圧縮し、オーバーフィッティングを少なくし、性能を高めるために用いられる。本手法は、セマンティックラベリング後のサンプル画像データを入力データとし、ＣＮＮモデルを入力する入力層を採用し、畳み込み層で計算した後、例えば、田畑チャンネル（信頼度）、果樹チャンネル（信頼度）、河川チャンネル（信頼度）など、複数のチャンネルから異なるセマンティックの信頼度を出力する。ＣＮＮの出力結果として、１つのテンソル数値で表すことができ、例えば、ある画素点｛経緯度、高度、Ｋ１、Ｋ２、・・・、Ｋｎ｝について、このテンソル数値は、画素点の三次元点群情報及びｎ個のチャンネルのセマンティック情報を表し、ここで、Ｋ１、Ｋ２、・・・、Ｋｎは信頼度を表す。テンソルデータにおいて信頼度が最も大きいセマンティックチャンネルが、この画素点のセマンティックタイプとされる。例えば、ｉ個目のセマンティックチャンネルの信頼度Ｋｉ＝０．８が最高の信頼度である場合、このｉ個目のチャンネルに対応するセマンティックタイプが、この画素点のセマンティックタイプとされる。いくつかの実施例において、被写界深度データの追加は、移動可能なプラットフォームが取得するＲＧＢ画素情報に１つの次元の情報を追加し、ＲＧＢデータを用いて被写界深度データを集め、トレーニングのプロセスを最適化することができ、且つ地上の物体識別に対するトレーニングモデルの正確さを大幅に向上させることができる。被写界深度データは、ステレオカメラによって撮影して得られたデータであり、単眼カメラによって航空機の飛行中に一連の連続した画像フレームを処理して得られたデータを計算して得ることができる。

いくつかの実施例において、前記信頼度が異なる複数のセマンティックタイプは、セマンティック識別モデルによって識別した後に、複数のチャンネルから出力されて得られる。いくつかの実施例において、一般的なニューラルネットワークが出力する結果と異なるのは、ニューラルネットワークの出力チャンネルの後に、区分的出力関数を追加することである。チャンネル信頼度結果の値が負である場合、チャンネル信頼度結果をゼロとし、ニューラルネットワークが出力する信頼度が正の浮動小数点数データであることを保証する。正の浮動小数点数データを用いてセマンティックチャンネルの信頼度とすることにより、直接２つの画素点データの減法演算により大きな信頼度を得ることができ、テンソルの減法演算は、配列に対応する数値内容のみを減法操作すればよく、その演算量は非常に小さく、同等の計算力の場合、演算速度を大幅に向上することができる。特に高精度地図の作成において、高精度地図には大量の演算が必要なためにもたらされる計算力が逼迫する問題に対応できる。

いくつかの実施例において、前記目標画像データに対応する位置データは、前記目標画像の経度及び緯度を含み、前記目標画像データに対応する高度データは、前記目標画像の高度である。いくつかの実施例において，前記目標画像データの位置データ及び高度データは、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ，ＧＰＳ）情報により得ることができ、又は、前記目標画像データの位置データ及び高度データは、搬送波位相差分技術（Ｒｅａｌ－ｔｉｍｅ ｋｉｎｅｍａｔｉｃ，ＲＴＫ）により計算して得ることができる。いくつかの実施例において，前記目標画像データに対応する地物データは、前記目標画像データの位置データ及び高度データにより計算して得ることができる。このような実施形態により、目標画像データのセマンティックの信頼度特徴マップを生成することができ、移動可能なプラットフォームが撮影中に信頼度特徴マップ上のセマンティックタイプに基づき、地物タイプを確定するのに便利である。

１つの実施例において、前記画像処理装置が、前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後に、前記信頼度特徴マップにおける各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行い、後処理の結果に基づき、前記信頼度特徴マップを更新することができる。

１つの実施例において、前記画像処理装置が、前記信頼度特徴マップにおける各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、前記信頼度特徴マップにおける各点データのセマンティックの信頼度を検出し、前記信頼度特徴マップにおけるセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことができ、前記画像処理装置が、後処理の結果に基づき前記信頼度特徴マップを更新するときに、前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新できるようにする。

例えば、所定の信頼度閾値を０．６とした場合、前記画像処理装置が、前記信頼度特徴マップにおける各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップを後処理するときに、前記信頼度特徴マップにおける各点データのセマンティックの信頼度を検出し、前記信頼度特徴マップにおけるセマンティックの信頼度が所定の信頼度閾値０．６以下である点データに対して削除処理を行うことができ、前記画像処理装置が、後処理の結果に基づき前記信頼度特徴マップを更新するときに、前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新できるようにする。

いくつかの実施例において、前記信頼度特徴マップにおける点群データは、例えば、円形の点データを用いて木をラベル付けし、方形の点データを用いて人をラベル付けし、三角形の点データを用いてイネをラベル付けするなど、異なる形状の点データを用いて異なるセマンティックタイプをラベル付けすることができ、異なるセマンティックタイプの目標対象を区分するのに便利である。いくつかの実施例において、前記信頼度特徴マップにおける点群データは、さらに、緑の円形の点データを用いて木をラベル付けし、黄色の円形の点データを用いて人をラベル付けし、赤い円形の点データを用いてイネをラベル付けするなど、異なる色の点データを用いて異なるセマンティックタイプをラベル付けすることもできる。当然ながら、前記信頼度特徴マップにおける点群データは、さらに、他のラベル付け方式を用いて実現してもよく、本発明の実施例は具体的に限定しない。

１つの実施例において、前記画像処理装置がセマンティック識別モデルに基づき前記目標画像データを処理する前に、サンプル画像データを含むサンプルデータベースを取得し、所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することにより、前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることができる。いくつかの実施例において、前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含む。又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む。

いくつかの実施例において、前記サンプル画像データは、サンプル画像と、サンプル画像中の各画素点に対応する被写界深度データと、を含み、前記サンプル画像はＲＧＢ画像であってもよく、前記被写界深度データは、深度画像によって取得することができる。前記画像処理装置は、所定のセマンティック識別演算法により初期セマンティック識別モデルを生成し、前記セマンティックラベリング情報を含むサンプル画像データを入力データとして、この初期セマンティック識別モデル中に入力し、トレーニングを行い、トレーニング結果を得ることができる。ここで、前記トレーニング結果は、前記サンプル画像中の各画素点のセマンティックと、各セマンティックの信頼度と、を含む。トレーニング結果を得た後、前記画像処理装置は、前記トレーニング結果におけるサンプル画像中の各画素点のセマンティックを、前記サンプル画像のセマンティックラベリング情報と対比することができ、合致しない場合、前記初期セマンティック識別モデルにおけるパラメータを調整し、トレーニング結果サンプル画像中の各画素点のセマンティックが前記セマンティックラベリング情報と合致したときに、前記セマンティック識別モデルを生成する。

いくつかの実施例において、前記サンプル画像は、カラー画像又はオルソ画像を含んでもよい。いくつかの実施例において、前記オルソ画像は、幾何補正（例えば、統一された縮尺をもたせる）を経た俯瞰画像であり、補正されていない俯瞰画像と異なるのは、オルソ画像は、幾何補正後に得られた地表の真の描写であるため、実際の距離を測定するために用いることができ、前記オルソ画像は、情報量が豊富で、直観であり、測量可能であるという特性を有することである。いくつかの実施例において、前記カラー画像は、ＲＧＢ値に基づき確定されたＲＧＢ画像であってもよい。いくつかの実施例において、前記被写界深度データは、前記撮像装置から被撮影物までの距離を反映する。

１つの実施例において、前記画像処理装置が前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることができる。前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることができる。

Ｓ２０３：前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定する。

本発明の実施例において、画像処理装置は、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することができる。

１つの実施例において、前記画像処理装置が、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するときに、前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプを取得し、前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定することにより、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域に基づき、前記目標画像データ中の地上の目標領域の位置データを確定することができる。

例えば、図３ａに示す信頼度特徴マップに基づき、図４に示す目標画像データ中の地上の目標対象を確定し、前記地上目標対象に対応する目標領域の位置データを確定することができる。図４は、本発明の実施例で提供する１つのラベル付け目標対象の模式図であり、図４に示すラベル付けの目標対象のセマンティックタイプは、木である。当然ながら、他の実施例において、前記目標対象のセマンティックタイプは、さらに、人、電柱、農作物などであってもよく、本発明の実施例は、具体的に限定しない。

１つの実施例において、前記画像処理装置が、前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定するときに、前記信頼度特徴マップ上のセマンティックタイプに基づき、前記信頼度特徴マップ上で連続した同じセマンティックタイプを有する画像領域を確定し、前記連続した同じセマンティックタイプを有する各画像領域に対してエッジ処理操作を行い、前記点群地図上の異なるセマンティックタイプの各画像領域を得ることができる。

１つの実施例において、前記画像処理装置が、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定した後に、前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画し、移動可能なプラットフォームを制御して前記経路に基づき移動させることができる。このような実施形態により、移動可能なプラットフォームを制御して前記経路に基づき移動させ、前記目標領域のセマンティックタイプに対応した任務を実行させることができる。

いくつかの実施例において、前記画像処理装置が、前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画するときに、前記信頼度特徴マップ上で異なるセマンティックタイプを有する画像領域に基づき、異なるセマンティックタイプの画像領域を分類し、異なるタイプの画像領域に基づき、各タイプの画像領域に対応した経路を計画することができる。

いくつかの実施例において、前記画像処理装置が前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームの現在の位置の前記信頼度特徴マップにおいて対応するセマンティックタイプが、目標任務のセマンティックタイプと合致しているかどうかを判断することができる。判断の結果、合致している場合、前記移動可能なプラットフォームを制御して前記目標任務を実行させ、判断の結果、合致していない場合、前記移動可能なプラットフォームを制御して前記目標任務の実行を中止させる。いくつかの実施例において、前記移動可能なプラットフォームは、無人機又は経路に基づき自動運転する無人車を含むが、これらに限定されない。

いくつかの実施例において、前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームを制御して前記経路中のラベル点で止まらせ、目標任務に対応する所定の操作を実行させる。いくつかの実施例において、前記所定の操作は、農薬散布操作を含み、前記農薬散布操作は、指定点の周りで環状散布を行う操作を含む。

例えば、前記移動可能なプラットフォームが無人機であり、前記目標領域のセマンティックタイプが木である場合、前記画像処理装置は、前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、木の所在領域の経路を計画することができる。前記無人機が農薬散布の任務を実行する必要があるとき、前記画像処理装置は、無人機を制御して前記経路に基づき移動させ、無人機を制御して前記経路に基づき移動させるプロセスにおいて農薬散布の任務を実行させることができる。

本発明の実施例において、画像処理装置は、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得て、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することができる。このような実施形態により、目標画像データ中の目標領域の位置を迅速、効率的に識別することが実現され、これにより、画像領域に対する位置決め効率が向上する。

図５に示すように、図５は、本発明の実施例で提供する別の画像処理方法の流れ模式図であり、前記方法は、画像処理装置によって実行することができ、画像処理装置の具体的な説明は、前述のとおりである。本発明の実施例と上述した図２に記載の実施例との相違点は、本発明の実施例は、主に、目標画像データにおいて同じセマンティックタイプを有する目標対象のカウントについて詳細に説明することにある。目標対象は、果樹、建物、人、車両など、目標画像において識別及びカウントが可能な物体とすることができる。

Ｓ５０１：目標画像データを取得する。

本発明の実施例において、画像処理装置は、目標画像データを取得することができ、いくつかの実施例において、前記目標画像データは、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む。

いくつかの実施例において、前記目標画像データは、カラー画像を含む。又は、前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含む。又は、前記目標画像データは、オルソ画像を含む。又は、前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む。具体的な実施例は、前述のとおりであり、ここで詳しくは述べない。

Ｓ５０２：前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得る。

本発明の実施例において、画像処理装置は、前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることができる。

１つの実施例において、前記画像処理装置は、セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を取得し、前記目標画像データに対応する位置データ、高度データ並びに前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することにより、前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することができる。具体的な実施例は、前述のとおりであり、ここで詳しくは述べない。

いくつかの実施例において、前記点群データ及び前記信頼度特徴マップは、いずれも点データを複数個含み、各点データは、位置データ、高度データ及び信頼度が異なる複数のセマンティックタイプを含み、前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する。

１つの実施例において、前記画像処理装置が、前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後に、前記信頼度特徴マップにおける各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行い、後処理の結果に基づき、前記信頼度特徴マップを更新することができる。具体的な実施例は、前述のとおりであり、ここで詳しくは述べない。

１つの実施例において、前記画像処理装置が、前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出し、前記信頼度特徴マップにおけるセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行い、前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することができる。具体的な実施例は、前述のとおりであり、ここで詳しくは述べない。

１つの実施例において、前記画像処理装置がセマンティック識別モデルに基づき前記目標画像データを処理する前に、サンプル画像データを含むサンプルデータベースを取得し、所定のセマンティック識別演算法により初期セマンティック識別モデルを生成し、前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることができる。ここで、前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含む。又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む。具体的な実施例は、前述のとおりであり、ここで詳しくは述べない。

１つの実施例において、前記画像処理装置は、前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることができる。前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることができる。具体的な実施例は、前述のとおりであり、ここで詳しくは述べない。

Ｓ５０３：前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定する。

本発明の実施例において、画像処理装置は、前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定することができる。

１つの実施例において、画像処理装置が、前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックを有する目標対象の数を確定するときに、前記信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上の異なるセマンティックタイプの点データを分類し、前記信頼度特徴マップ上の異なるタイプの点データの数を計算することにより、前記信頼度特徴マップ上の異なるタイプの点データの数が、前記目標画像データ上で同じセマンティックを有する目標対象の数であることを確定することができる。

具体的には、図３ａを例として説明する。前記画像処理装置が、図３ａに示す信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上のセマンティックタイプがいずれも木であると確定し、前記信頼度特徴マップ上のセマンティックタイプが木である点データの数が３００であると前記画像処理装置が計算した場合、前記目標画像データ上の木の数は３００であると確定することができる。

１つの実施例において、前記信頼度特徴マップにおける点データは、異なる形状を用いてラベル付けすることができ、画像処理装置が、前記信頼度特徴マップに基づき、前記目標画像データ上の同じセマンティックを有する目標対象の数を確定するときに、前記信頼度特徴マップ上の各点データの形状に基づき、異なるセマンティックタイプを確定することができる。前記信頼度特徴マップに円形点データの画像領域及び方形点データの画像領域を含み、円形が木を表し、方形が人を表す場合、前記画像処理装置は、前記信頼度特徴マップ上の円形点データの数を計算することによって、木の数を確定し、前記信頼度特徴マップ上の方形点データの数を計算することによって、人の数を確定することができる。

１つの実施例において、前記信頼度特徴マップにおける点データは、異なる色を用いてラベル付けすることができ、画像処理装置が、前記信頼度特徴マップに基づき、前記目標画像データ上の同じセマンティックを有する目標対象の数を確定するときに、前記信頼度特徴マップ上の各点データの色に基づき、異なるセマンティックタイプを確定することができる。前記信頼度特徴マップに赤い円形点データの画像領域及び黄色い円形点データの画像領域を含み、赤い円形が木を表し、黄色い円形が人を表す場合、前記画像処理装置は、前記信頼度特徴マップ上の赤い円形点データの数を計算することによって、木の数を確定し、前記信頼度特徴マップ上の黄色い円形点データの数を計算することによって、人の数を確定することができる。

いくつかの実施例において、画像処理装置は、目標画像データに基づき目標画像データ中の特徴点を追跡することができ、いくつかの実施例において、前記画像処理装置は、前記特徴点に基づき点群データを確定することができる。ここで、無人機を例とする一実施形態は、次のものとすることができる。

第１の画像フレームのワールド座標系における第１の位置姿勢情報を取得し、前記第１の位置姿勢情報は、第１のリアルタイムキネマティックＲＴＫ情報と、第１の雲台角情報と、を含む。

前記第１の位置姿勢情報に基づき、第２の画像フレームのワールド座標系における第２の位置姿勢情報を予測し、前記第２の位置姿勢情報は、第２のＲＴＫ情報と、第２の雲台角情報と、を含む。

前記第１の位置姿勢情報及び前記第２の位置姿勢情報に基づき、前記第１の画像フレームの特徴情報及び前記第２の画像フレームの特徴情報に対して特徴マッチングを行う。

特徴マッチングの結果に基づき、特徴点の追跡を行う。

ここで、前記第１の画像フレーム及び前記第２の画像フレームは、前記画像シーケンスにおいて隣接する２つのフレームである。

従来の視覚に基づく手法では、通常、等速運動モデルを採用してカメラの次のフレームの位置姿勢を予測するが、無人機は動きが素早く、その運行は、通常、等速運動モデルに適さないため、等速運動モデルに基づき予測した位置姿勢は、極めて不正確であり、特徴点の追跡数及び精度が低下する。

正確な位置姿勢の予測を得るため、本実施例では、センサが提供する第１の画像フレームのＲＴＫ情報及び雲台角情報に基づき、第２の画像フレームの位置姿勢を予測する。センサが提供する正確なＲＴＫ情報及び雲台角情報を採用するため、予測される第２の画像フレームの位置姿勢情報の正確さが大幅に上昇し、正確な位置姿勢情報によって、特徴マッチングの正確さ及び速度が向上する。

本実施例では、第１の位置姿勢情報及び第２の位置姿勢情報に基づき、第１の画像フレームの特徴情報及び第２の画像フレームの特徴情報に対して特徴マッチングを行い、具体的には、第１の画像フレーム及び第２の画像フレームの特徴を取得し、第１の画像フレームの特徴について、第１の位置姿勢情報及び第２の位置姿勢情報に基づき、第２の画像フレームにおいて検索範囲を確定し、特徴マッチングを行うことを含んでもよい。正確な位置姿勢情報を取得することにより、正確な検索範囲を確定できるだけでなく、検索範囲を大幅に縮小することができるため、特徴マッチングの正確さが向上するだけでなく、特徴マッチングの速度が向上する。

無人機は飛行速度が比較的速いため、隣接する２つの画像間の重なり率が比較的低く、特徴点の追跡効果が悪くなる。本実施例では、特徴追跡時に、１つ前のフレームがキーフレームであるかどうかの判断を追加し、キーフレームである場合には、１つ前のフレームの本来の特徴情報の代わりに、キーフレームの特徴情報を用いる。キーフレームが追加の三次元点群生成操作を有することにより、重なり領域画像が生成した利用可能な三次元点群を限られた時間内で最大限に利用することができ、追跡する有効特徴点数を上昇させることができる。

本実施例では、特徴追跡が完了した後に、すべての特徴点マッチペアを用いて、位置姿勢の計算を行う必要がある。本実施例は、位置姿勢の計算において、センサが提供するＲＴＫ情報及び雲台角情報を追加し、位置姿勢の計算精度をさらに高くし、ミスマッチの干渉を受けにくくする。先行技術における、視覚に基づく手法において、ミスマッチが存在するときに、位置姿勢の計算精度が低下し、ひいてはエラーが現れる問題を解決する。

上述した実施例の基礎の上で、目標シーン三次元再構築の正確さをさらに高めるため、本実施例で提供する目標シーン三次元再構築方法は、キーフレームの三次元点群を融合する前に、前記キーフレームに対応するＲＴＫ情報及び雲台角情報に基づき、非線形最適化の方式を採用して前記キーフレームの位置姿勢情報及び三次元点群の位置を最適化することをさらに含んでもよい。

本実施例は、非線形最適化で採用する具体的な演算法を制限せず、例えば、ガウス・ニュートン法、レーベンバーグ・マルカート法などを採用することができる。

本実施例では、キーフレーム及びその三次元点群に基づき全体を表現する地図を構築する前に、ＲＴＫ情報及び雲台角情報に対して最適化処理を行う。具体的には、次のことを含むことができる。

まず、１つの局所地図についてメンテナンスを行い、この局所地図は、現在のフレーム、現在のフレームのコモンビューキーフレーム及びこれらが観測可能な点群からなる。本実施例は、非線形最適化を用いて局所地図を調整するときに、最適化に関与する各キーフレームに対応するＲＴＫ情報と雲台角情報を追加し、キーフレームの位置姿勢の計算及び三次元点群の位置をさらに正確にする。

本実施例は、非線形最適化のプロセスにおいて、さらに正確なセンサ情報、すなわちＲＴＫ情報と雲台角情報を導入することにより、最適化後の目的関数は、再投影誤差を考慮するだけでなく、現在予測されている位置姿勢とセンサが提供する位置姿勢との間の差も考慮し、最適化後の目的関数を採用することにより、最も優れた位置姿勢の予測を得ることができる。先行技術における視覚再投影誤差のみを考慮するためにもたらされる安定性が良くないという問題を解決する。

選択可能に、リアルタイム測量終了後に、本実施例は、さらに、残されたすべてのキーフレーム及び三次元点群に対して全体的な最適化を行う。この全体的な最適化において、ＲＴＫ情報と雲台角情報を追加し、最終的に出力される結果をさらに正確にすると理解することができる。

上述した実施例の基礎の上で、さらに正確なキーフレームの三次元点群キーフレームを得て、目標シーン三次元再構築の正確さを高めるために、本実施例で提供する目標シーン三次元再構築方法では、前記画像シーケンスにおいて、前記キーフレームのために参考フレームを選択した後、選択された参考フレームに基づき、前記キーフレームの深度図を確定し、キーフレームの深度図に基づきキーフレームの三次元点群を取得することができる。参考フレームは、少なくとも第１の画像フレーム及び第２の画像フレームを含むことができる。ここで、第１の画像フレームは、時系列上、前記キーフレームの前に位置し、第２の画像フレームは、時系列上、前記キーフレームの後に位置する。

無人機が空撮する際に、計画された経路に沿って飛行することができる。無人機が経路に沿って飛行する際に、現在の画像フレーム中に存在する相当大きな部分の領域は、前に撮影した画像フレーム中に存在しない。つまり、参考フレーム中には、現在の画像フレームの前に撮影された画像フレームしか含まれておらず、参考フレームに基づき現在の画像フレームの深度図を確定するときに、相当大きな部分の領域の視差に解がなく、深度図において必然的に大きな無効領域が存在する。

そのため、キーフレーム中の領域について、参考フレームにおいて対応するマッチング領域がなく、この領域に対応する深度図が無効になることを回避するため、本実施例における参考フレームは、時系列上、参考フレームの前に位置する第１の画像フレームを含むだけでなく、時系列上、参考フレームの後に位置する第２の画像フレームも含み、キーフレームと参考フレームとの間の重なり率を高め、視差に解がない領域を小さくし、参考フレームに基づき得られるキーフレームの深度図の正確さを高める。

選択可能に、キーフレームがＮ番目のフレームである場合、第１の画像フレームはＮ－１番目のフレームであり、第２の画像フレームはＮ＋１番目のフレームであり、参考フレームは、キーフレームと隣り合う前後の２つのフレームを含む。例を挙げれば、無人機が空撮する際に、隣り合う２つのフレーム間の重なり率が７０％である場合、参考フレームにキーフレームの前の画像フレームしか含まれていなければ、キーフレームのうち少なくとも３０％の領域の視差は解がない。本実施例で提供する参考フレームの選択戦略によれば、キーフレーム中の全領域について、参考フレームにおいてマッチングする領域を探し出すことができ、視差に解がない現象が生じることが回避され、キーフレームの深度図の正確さが向上する。

選択可能に、キーフレームがＮ番目のフレームである場合、第１の画像フレームは、Ｎ番目のフレームの前の所定の数の画像フレームを含んでもよく、第２の画像フレームは、Ｎ番目のフレームの後の所定の数の画像フレームを含んでもよい。

選択可能に、キーフレームがＮ番目のフレームである場合、第１の画像フレームは、Ｎ番目の前の所定の数の画像フレームのうちの１フレームであってもよく、第２の画像フレームは、Ｎ番目の後の所定の数の画像フレームのうちの１フレームであってもよい。

上述したいずれかの実施例の基礎の上で、キーフレームの深度図の信頼性を高め、目標シーン三次元再構築の信頼性を高めるために、本実施例で提供する目標シーン三次元再構築方法では、参考フレームは、少なくとも第３の画像フレームを含むことができる。ここで、第３の画像フレームは、キーフレームのエピポーラ線方向と平行でない。

本実施例におけるエピポーラ線は、エピポーラ幾何におけるエピポーラ線、すなわち、エピポーラ平面と画像との間の交線である。第３の画像フレームは、キーフレームのエピポーラ線方向と平行でなく、つまり、エピポーラ平面と第３の画像フレームの第１の交線は、このエピポーラ平面とキーフレームの第２の交線と、平行でない。

キーフレームに反復するテクスチャが存在するとき、キーフレームが参考フレームのエピポーラ線方向と平行である場合、平行するエピポーラ線に沿って分布する反復するテクスチャが現れ、この領域に対応する深度図の信頼性が低下する。そのため、本実施例は、キーフレームのエピポーラ線方向と平行でない第３の画像フレームを参考フレームとして選択することにより、反復するテクスチャが平行するエピポーラ線に沿って分布する現象が回避され、深度図の信頼性が向上する。

選択可能に、第３の画像フレームは、キーフレームの隣接コースにおいてキーフレームと重なり画素が存在する画像フレームを含んでもよい。

選択可能に、第３の画像フレームは、キーフレームの隣接コースにおいてキーフレームとの重なり率が最も高い画像フレームであってもよい。

次に、１つの具体的な例によって、本発明の実施例で提供する参考フレームの選択方法について説明する。図６は、本発明の実施例で提供する目標シーン三次元再構築方法の１つの実施例における参考フレーム選択の模式図である。図６に示すように、図中の実線は、無人機の飛行経路を表し、経路は目標シーンをカバーする。矢印は、無人機の飛行方向を表す。飛行経路上の黒丸及び黒い正方形は、無人機の撮影装置がこの位置で撮影を行うことを表し、すなわち、黒丸及び黒い正方形は、目標シーンの１つの画像フレームに対応する。無人機が飛行経路に沿って飛行する際に、単眼カメラなど、無人機上に搭載された撮影装置によって、時系列上連続した複数の画像フレームを含む、目標シーンの画像シーケンスを取得することができる。図６中のＭ－１、Ｍ、Ｍ＋１、Ｎ－１、Ｎ、Ｎ＋１は、画像フレームのフレーム番号を表し、Ｎ及びＭは自然数であり、本実施例は、Ｎ及びＭの具体的な値を限定しない。

黒い正方形で表されるＮ番目のフレームがキーフレームである場合、１つの可能な実施形態において、参考フレームは、図中に示すＮ－１番目のフレーム及びＮ＋１番目のフレームを含んでもよい。

黒い正方形で表されるＮ番目のフレームがキーフレームである場合、別の可能な実施形態において、参考フレームは、図中に示すＭ番目のフレームを含んでもよい。

黒い正方形で表されるＮ番目のフレームがキーフレームである場合、別の可能な実施形態において、参考フレームは、図中に示すＭ番目のフレーム、Ｎ－１番目のフレーム及びＮ＋１番目のフレーム、すなわち、図３中の破線の丸に含まれる画像フレームを含んでもよい。

参考フレームは、より多くの画像フレームをさらに含んでもよく、例えば、Ｍ－１番目のフレーム、Ｍ＋１番目のフレーム、Ｎ－２番目のフレームなどをさらに含んでもよいと理解することができる。具体的に実現する際に、キーフレームと参考フレームの重なり率及び計算速度を総合的に考慮して選択することができる。

いくつかの実施例において、参考フレームに基づきキーフレームの深度図を得る一実施形態は、前記キーフレームと前記参考フレームとの間の収差に基づき、前記キーフレームの深度図を得るものであってもよい。

本実施例では、同じ対象のキーフレーム及び参考フレームにおける収差に基づき、キーフレームの深度図を得ることができる。

いくつかの実施例において、前記画像シーケンスに基づき前記キーフレームの三次元点群を得る一実施形態は、前記画像シーケンスに基づき、前記キーフレームの深度図を得て、前記キーフレームの深度図に基づき、前記キーフレームの三次元点群を得るものであってもよい。

いくつかの実施例において、前記画像シーケンスに基づき、前記キーフレームの深度図を得る一実施形態は、前記画像シーケンスに基づき、前記キーフレームに対応するマッチングコストを確定し、前記キーフレームに対応するマッチングコストに基づき、前記キーフレームの深度図を確定するものであってもよい。

本実施例では、画像シーケンスとキーフレーム中の画素点をマッチングすることにより、キーフレームに対応するマッチングコストを確定する。キーフレームに対応するマッチングコストを確定した後、マッチングコスト集約を行うことができ、次いで、視差を確定し、視差と深度との間の対応関係に基づき、キーフレームの深度図を確定する。選択可能に、視差を確定した後、さらに視差最適化を行い、視差を補強することができる。最適化及び補強の後の視差に基づき、キーフレームの深度図を確定する。

無人機の飛行高度は、通常１００ｍ前後であり、無人機は、通常、垂直に下向きに撮影する。地表の高低や起伏により、太陽光に対する反射に差異があり、無人機が撮影する画像には、無視できない照明変化があり、照明変化によって、目標シーン三次元再構築の正確さが低下する。

上述したいずれかの実施例の基礎の上で、照明に対する目標シーン三次元再構築のロバストネスを高めるため、本実施例で提供する目標シーン三次元再構築方法では、画像シーケンスに基づき、キーフレームに対応するマッチングコストを確定し、画像シーケンスに基づき、キーフレームに対応する第１のタイプのマッチングコスト及び第２のタイプのマッチングコストを確定することを含んでもよく、キーフレームに対応するマッチングコストが第１のタイプのマッチングコスト及び第２のタイプのマッチングコストの加重和に等しいことを確定する。

本実施例では、マッチングコストを計算するときに、第１のタイプのマッチングコストと第２のタイプのマッチングコストを融合することにより、単一タイプのマッチングコストのみを採用する場合に比べ、照明に対するマッチングコストのロバストネスを高め、三次元再構築に対する照明変化の影響を少なくし、三次元再構築の正確さが向上する。本実施例では、第１のタイプのマッチングコスト及び第２のタイプのマッチングコストの加重係数は、具体的な必要に応じて設けることができ、本実施例はこれについて限定しない。

選択可能に、第１のタイプのマッチングコストは、零平均正規化相互相関（Ｚｅｒｏ－ｂａｓｅｄ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ，ＺＮＣＣ）に基づき確定してもよい。ＺＮＣＣに基づき、キーフレームと参考フレームとの間の相似性を正確に測定することができる。

選択可能に、第２のタイプのマッチングコストは、照明不変特徴に確定してもよい。本実施例では、例えばローカルバイナリパターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ，ＬＢＰ）、ｃｅｎｓｕｓシーケンスなど、無人機が収集した画像フレーム中の照明不変特徴を抽出した後、照明不変特徴に基づき第２のタイプのマッチングコストを確定することができる。

本実施例におけるｃｅｎｓｕｓシーケンスは、画像フレーム中で任意の点を選択し、この点を中心として例えば３×３の矩形を１つ描き、矩形中の中心点以外の各点をすべて中心点と比較し、グレースケールが中心点よりも小さい場合は１、グレースケールが中心点よりも大きい場合は０とし、得られた長さ８の０及び１のみを有するシーケンスをこの中心点のｃｅｎｓｕｓシーケンスとする、すなわち、中心画素のグレースケールをｃｅｎｓｕｓシーケンスで入れ替える方式により確定することができる。

ｃｅｎｓｕｓ変換後に、ハミング距離を採用してキーフレームの第２のタイプのマッチングコストを確定することができる。

例えば、キーフレームに対応するマッチングコストは、ＺＮＣＣ及びｃｅｎｓｕｓの２種類のマッチングコストの加重和と等しくてもよい。

いくつかの実施例において、キーフレームに対応するマッチングコストに基づき、キーフレームの深度図を確定する一実施形態は、キーフレームを複数の画像ブロックに分割し、画像シーケンスに基づき、各画像ブロックに対応するマッチングコストを確定し、前記各画像ブロックに対応するマッチングコストに基づき、キーフレームに対応するマッチングコストを確定するものであってもよい。

本実施例では、次の方式のうち１つ又は複数を採用してキーフレームを複数の画像ブロックに分割することができる。

（１）クラスタリングの方式を採用して、キーフレームを複数の画像ブロックに分割する。本実施例では、例えば、キーフレームの色彩情報及びテクスチャ情報の少なくとも一つに基づき、クラスタリングの方式を採用して、キーフレームを複数の画像ブロックに分割することができる。

（２）キーフレームを、複数の画像ブロックに均等に分割する。本実施例では、例えば、画像ブロックの数を予め設定しておき、予め設定された画像ブロックの数に基づき、キーフレームを分割することができる。

（３）キーフレームを所定の大きさの複数の画像ブロックに分割する。例えば、画像ブロックの大きさを予め設定しておき、予め設定された画像ブロックの大きさに基づき、キーフレームを分割することができる。

選択可能に、キーフレームを複数の画像ブロックに分割した後、画像シーケンスに基づき、各画像ブロックに対応するマッチングコストを並行して確定することができる。本実施例では、例えば、ソフトウェア及びハードウェアの少なくとも一つの方式を採用して各画像ブロックに対応するマッチングコストを並行して確定することができる。具体的には、例えば、マルチスレッディングを採用して各画像ブロックに対応するマッチングコストを並行して確定すること、及びグラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＧＰＵ）を採用して各画像ブロックに対応するマッチングコストを並行して確定することの少なくとも一つを行うことができる。

本実施例で提供する目標シーン三次元再構築方法は、上述した実施例の基礎の上で、キーフレームを複数の画像ブロックに分割することにより、画像シーケンスに基づき、各画像ブロックに対応するマッチングコストを並行して確定した後、各画像ブロックに対応するマッチングコストに基づき、キーフレームに対応するマッチングコストを確定し、マッチングコストの計算速度を高め、目標シーン三次元再構築のリアルタイム性を高める。

深度サンプリング回数は、深度範囲及び精度に基づき確定することができ、深度サンプリング回数は、深度範囲と正の相関関係にあり、精度と負の相関関係にある。例を挙げれば、深度範囲が５０ｍであり、精度要求が０．１ｍである場合、深度サンプリング回数は５００とすることができる。

キーフレームのマッチングコストを確定するとき、所定の深度サンプリング回数を採用しても、自己位置推定と地図作成の同時実行（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ，ＳＬＡＭ）を採用してキーフレーム中のいくつかの疎らな三次元点を回復した後、これらの疎らな三次元点に基づきキーフレーム全体の深度範囲を確定し、次いでキーフレーム全体の深度範囲及び精度要求に基づき、深度サンプリング回数を確定してもよい。深度サンプリング回数がＮである場合、キーフレーム中の各画素点についてマッチングコストをＮ回計算する必要がある。６４０×４８０画素の大きさのキーフレームについては、マッチングコストを６４０×４８０×Ｎ回計算する必要がある。

上述したいずれかの実施例の基礎の上で、処理速度をさらに高め、目標シーン三次元再構築のリアルタイム性を高めるため、本実施例で提供する目標シーン三次元再構築方法では、画像シーケンスに基づき、各画像ブロックに対応するマッチングコストを確定し、各画像ブロック中の疎らな点に基づきこの画像ブロックの深度サンプリング回数を確定することを含んでもよく、画像シーケンス及び各画像ブロックの深度サンプリング回数に基づき、各画像ブロックに対応するマッチングコストを確定する。

なお、無人機が垂直に下向きに撮影するときに、キーフレーム中に、例えば歩行者、自動車、樹木、ビルなどの複数種の撮影対象を含んでもよいため、キーフレーム全体の深度範囲は比較的大きく、所定の精度要求の下で、深度サンプリング回数は比較的大きい。しかしながら、キーフレーム中の各画像ブロックに対応する深度範囲は比較的小さく、例えば１つの画像ブロック中に歩行者しか含まれない場合、この画像ブロックに対応する深度範囲は、キーフレーム全体の深度範囲に比べ遥かに小さく、同じ精度要求の下で、深度サンプリング回数を大幅に減らすことができる。つまり、同じ精度要求の下で、キーフレーム中の画像ブロックの深度サンプリング回数は、必ずキーフレーム全体の深度サンプリング回数以下である。

本発明の実施例において、画像処理装置は、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることにより、前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定することができる。このような実施形態により、信頼度特徴マップに基づき、自動的に目標画像データ上で同じセマンティックを有する目標対象をカウントすることが実現され、カウント効率が向上する。

図７に示すように、図７は、本発明の実施例で提供する１つの画像処理装置の構造模式図である。具体的には、前記画像処理装置は、メモリ７０１と、プロセッサ７０２と、データインターフェース７０３と、を含む。

前記メモリ７０１は、揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含んでもよく、メモリ７０１は、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含んでもよく、メモリ７０１は、上述した種類のメモリの組み合わせを含んでもよい。前記プロセッサ７０２は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＣＰＵ）であってもよい。前記プロセッサ７０２は、さらにハードウェアチップを含んでもよい。上記ハードウェアチップは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ，ＡＳＩＣ）であっても、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ，ＰＬＤ）であっても、その組み合わせであってもよい。具体的には、例えば、コンプレックスプログラマブルロジックデバイス（ｃｏｍｐｌｅｘ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ，ＣＰＬＤ）、フィールドプログラマブルロジックゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ，ＦＰＧＡ）又はその任意の組み合わせであってもよい。

さらに、前記メモリ７０１は、プログラムコマンドを記憶するために用いられ、プログラムコマンドが実行されるときに、前記プロセッサ７０２は、メモリ７０１中に記憶されたプログラムコマンドを呼び出すことができ、次のステップを実行するために用いられる。

目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得する。

目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得る。

前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定する。

さらに、前記プロセッサ７０２が前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、次のことに用いられる。

セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得る。

前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成する。

前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成する。

さらに、前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含む。

さらに、前記プロセッサ７０２が前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、次のことにさらに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行う。

後処理の結果に基づき前記信頼度特徴マップを更新する。

さらに、前記プロセッサ７０２が前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出する。

前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行う。

次のことを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新する。

前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新する。

さらに、前記プロセッサ７０２が前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプを取得する。

前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定する。

前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域に基づき、前記目標画像データ中の目標領域の位置データを確定する。

さらに、前記プロセッサ７０２が前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定した後、さらに、次のことに用いられる。

前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画する。

移動可能なプラットフォームを制御して前記経路に基づき移動させる。

さらに、前記プロセッサ７０２が前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画するときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ上で異なるセマンティックタイプを有する画像領域に基づき、異なるセマンティックタイプの画像領域を分類する。

異なるタイプの画像領域に基づき、各タイプの画像領域に対応する経路を計画する。

さらに、前記プロセッサ７０２が移動可能なプラットフォームを制御して前記経路に基づき移動させるときに、具体的には、次のことに用いられる。

前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームの現在の位置の前記信頼度特徴マップにおいて対応するセマンティックタイプが、目標任務のセマンティックタイプと合致しているかどうかを判断する。

判断の結果、合致している場合、前記移動可能なプラットフォームを制御して前記目標任務を実行させる。

さらに、前記移動可能なプラットフォームは、無人機又は経路に基づき自動運転する無人車を含む。

さらに、前記プロセッサは、次のことにさらに用いられる。

前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームを制御して前記経路中のラベル点で止まらせ、目標任務に対応する所定の操作を実行させる。

さらに、前記所定の操作は、農薬散布操作を含む。

さらに、前記農薬散布操作は、指定点の周りで環状散布を行う操作を含む。

さらに、前記目標画像データは、カラー画像を含む。又は、

前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含む。又は、

前記目標画像データは、オルソ画像を含む。又は、

前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む。

さらに、前記プロセッサ７０２がセマンティック識別モデルに基づき前記目標画像データを処理する前に、次のことにさらに用いられる。

サンプル画像データを含むサンプルデータベースを取得する。

所定のセマンティック識別演算法により初期セマンティック識別モデルを生成する。

前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得る。

ここで、前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含む。又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む。

さらに、前記プロセッサ７０２が前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、具体的には、次のことに用いられる。

前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得る。

前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得る。

本発明の実施例において、画像処理装置は、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得て、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することができる。このような実施形態により、目標画像データ中の目標領域の位置を迅速、効率的に識別することが実現され、これにより、画像領域に対する位置決め効率が向上する。

図８に示すように、図８は、本発明の実施例で提供する別の画像処理装置の構造模式図である。具体的には、前記画像処理装置は、メモリ８０１と、プロセッサ８０２と、データインターフェース８０３と、を含む。

前記メモリ８０１は、揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含んでもよく、メモリ８０１は、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含んでもよく、メモリ８０１は、上述した種類のメモリの組み合わせを含んでもよい。前記プロセッサ８０２は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＣＰＵ）であってもよい。前記プロセッサ８０２は、さらにハードウェアチップを含んでもよい。上記ハードウェアチップは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ，ＡＳＩＣ）であっても、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ，ＰＬＤ）であっても、その組み合わせであってもよい。具体的には、例えば、コンプレックスプログラマブルロジックデバイス（ｃｏｍｐｌｅｘ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ，ＣＰＬＤ）、フィールドプログラマブルロジックゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ，ＦＰＧＡ）又はその任意の組み合わせであってもよい。

さらに、前記メモリ８０１は、プログラムコマンドを記憶するために用いられ、プログラムコマンドが実行されるときに、前記プロセッサ８０２は、メモリ８０１中に記憶されたプログラムコマンドを呼び出すことができ、次のステップを実行するために用いられる。

目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得する。

前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得る。

前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定する。

さらに、前記プロセッサ８０２が前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックを有する目標対象の数を確定するときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上の異なるセマンティックタイプの点データを分類する。

前記信頼度特徴マップ上の異なるタイプの点データの数を計算する。

前記信頼度特徴マップ上の異なるタイプの点データの数が、前記目標画像データ上で同じセマンティックを有する目標対象の数であることを確定する。

さらに、前記プロセッサ８０２が前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、次のことに用いられる。

セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得る。

前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成する。

前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成する。

さらに、前記点群データ及び前記信頼度特徴マップは、いずれも点データを複数個含み、各点データは、位置データ、高度データ及び信頼度が異なる複数のセマンティックタイプを含み、前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する。

さらに、前記プロセッサ８０２が前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、次のことにさらに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行う。

後処理の結果に基づき前記信頼度特徴マップを更新する。

さらに、前記プロセッサ８０２が前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出する。

前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行う。

次のことを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新する。

前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新する。

さらに、前記目標画像データは、カラー画像を含む。又は、

前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含む。又は、

前記目標画像データは、オルソ画像を含む。又は、

前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む。

さらに、前記プロセッサ８０２がセマンティック識別モデルに基づき前記目標画像データを処理する前に、次のことにさらに用いられる。

サンプル画像データを含むサンプルデータベースを取得する。

所定のセマンティック識別演算法により初期セマンティック識別モデルを生成する。

前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得る。

ここで、前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含む。又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む。

さらに、前記プロセッサ８０２が前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、具体的には、次のことに用いられる。

前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得る。

前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得る。

本発明の実施例において、画像処理装置は、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることにより、前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定することができる。このような実施形態により、信頼度特徴マップに基づき、自動的に目標画像データ上で同じセマンティックを有する目標対象をカウントすることが実現され、カウント効率が向上する。

本発明の実施例は、１つの移動可能なプラットフォームをさらに提供し、具体的には、前記移動可能なプラットフォームは、移動可能なプラットフォームに移動の動力を提供するための動力システムと、メモリと、プロセッサと、を含み、プロセッサは、次のステップを実行するために用いられる。

目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得する。

目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得る。

前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定する。

さらに、前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、次のことに用いられる。

セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得る。

前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成する。

前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成する。

さらに、前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含む。

さらに、前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、次のことにさらに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行う。

後処理の結果に基づき前記信頼度特徴マップを更新する。

さらに、前記プロセッサが前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出する。

前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行う。

次のことを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新する。

前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新する。

さらに、前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプを取得する。

前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定する。

前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域に基づき、前記目標画像データ中の目標領域の位置データを確定する。

さらに、前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定した後、さらに、次のことに用いられる。

前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画する。

移動可能なプラットフォームを制御して前記経路に基づき移動させる。

さらに、前記プロセッサが前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画するときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ上で異なるセマンティックタイプを有する画像領域に基づき、異なるセマンティックタイプの画像領域を分類する。

異なるタイプの画像領域に基づき、各タイプの画像領域に対応する経路を計画する。

さらに、前記プロセッサが移動可能なプラットフォームを制御して前記経路に基づき移動させるときに、具体的には、次のことに用いられる。

前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームの現在の位置の前記信頼度特徴マップにおいて対応するセマンティックタイプが、目標任務のセマンティックタイプと合致しているかどうかを判断する。

判断の結果、合致している場合、前記移動可能なプラットフォームを制御して前記目標任務を実行させる。

さらに、前記移動可能なプラットフォームは、無人機又は経路に基づき自動運転する無人車を含む。

さらに、前記プロセッサは、次のことにさらに用いられる。

前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームを制御して前記経路中のラベル点で止まらせ、目標任務に対応する所定の操作を実行させる。

さらに、前記所定の操作は、農薬散布操作を含む。

さらに、前記農薬散布操作は、指定点の周りで環状散布を行う操作を含む。

さらに、前記目標画像データは、カラー画像を含む。又は、

前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含む。又は、

前記目標画像データは、オルソ画像を含む。又は、

前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む。

さらに、前記プロセッサがセマンティック識別モデルに基づき前記目標画像データを処理する前に、次のことにさらに用いられる。

サンプル画像データを含むサンプルデータベースを取得する。

所定のセマンティック識別演算法により初期セマンティック識別モデルを生成する。

前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得る。

ここで、前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含む。又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む。

さらに、前記プロセッサが前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、具体的には、次のことに用いられる。

前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得る。

前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得る。

本発明の実施例において、移動可能なプラットフォームは、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得て、前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することができる。このような実施形態により、目標画像データ中の目標領域の位置を迅速、効率的に識別することが実現され、これにより、画像領域に対する位置決め効率が向上する。

本発明の実施例は、別の移動可能なプラットフォームをさらに提供し、具体的には、前記移動可能なプラットフォームは、移動可能なプラットフォームに移動の動力を提供するための動力システムと、メモリと、プロセッサと、を含み、プロセッサは、次のステップを実行するために用いられる。

目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得する。

前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得る。

前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定する。

さらに、前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックを有する目標対象の数を確定するときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上の異なるセマンティックタイプの点データを分類する。

前記信頼度特徴マップ上の異なるタイプの点データの数を計算する。

前記信頼度特徴マップ上の異なるタイプの点データの数が、前記目標画像データ上で同じセマンティックを有する目標対象の数であることを確定する。

さらに、前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、次のことに用いられる。

セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得る。

前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成する。

前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成する。

さらに、前記点群データ及び前記信頼度特徴マップは、いずれも点データを複数個含み、各点データは、位置データ、高度データ及び信頼度が異なる複数のセマンティックタイプを含み、前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する。

さらに、前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、次のことにさらに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行う。

後処理の結果に基づき前記信頼度特徴マップを更新する。

さらに、前記プロセッサが前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、次のことに用いられる。

前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出する。

前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行う。

次のことを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新する。

前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新する。

さらに、前記目標画像データは、カラー画像を含む。又は、

前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含む。又は、

前記目標画像データは、オルソ画像を含む。又は、

前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む。

さらに、前記プロセッサがセマンティック識別モデルに基づき前記目標画像データを処理する前に、次のことにさらに用いられる。

サンプル画像データを含むサンプルデータベースを取得する。

所定のセマンティック識別演算法により初期セマンティック識別モデルを生成する。

前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得る。

ここで、前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含む。又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む。

さらに、前記プロセッサが前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得て、具体的には、次のことに用いられる。

前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得る。

前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得る。

本発明の実施例において、移動可能なプラットフォームは、目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得し、前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることにより、前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定することができる。このような実施形態により、信頼度特徴マップに基づき、自動的に目標画像データ上で同じセマンティックを有する目標対象をカウントすることが実現され、カウント効率が向上する。

本発明の実施例は、機体と、飛行動力を提供するための、前記機体上に設けられた動力システムと、目標画像データを撮影するための撮像装置と、を含み、前記動力システムは、プロペラ翼と、プロペラ翼を駆動して回転させるためのモータと、図７又は図８に記載の画像処理装置と、を含む、無人機をさらに提供する。

本発明の実施例において、プロセッサによって実行されるときに、本発明の図２又は図５に対応する実施例に記載の画像処理方法を実現するコンピュータプログラムが記憶された、コンピュータ可読記憶媒体をさらに提供し、図７又は図８に記載の本発明に対応する実施例の画像処理装置も実現することができるが、ここでは詳しく述べない。

前記コンピュータ可読記憶媒体は、前記いずれか一項の実施例に記載の装置の内部記憶ユニット、例えば装置のハードディスク又はメモリとすることができる。前記コンピュータ可読記憶媒体は、前記装置の外部記憶装置、例えば前記装置上に配備された差し込み型ハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ，ＳＭＣ），ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード、フラッシュカード（Ｆｌａｓｈ（登録商標） Ｃａｒｄ）などであってもよい。さらに、前記コンピュータ可読記憶媒体は、前記装置の内部記憶ユニットを含みつつ外部記憶装置を含んでもよい。前記コンピュータ可読記憶媒体は、前記コンピュータプログラム並びに前記装置が必要とする他のプログラム及びデータを記憶するために用いられる。前記コンピュータ可読記憶媒体は、すでに出力された、又は出力しようとするデータを一時的に記憶するために用いることもできる。

当業者は、上述した実施例の方法におけるすべて又は一部の流れを実現することは、コンピュータプログラムにより関連するハードウェアにコマンドを送って完了することができ、前記プログラムは、コンピュータ可読取記憶媒体中に記憶することができ、このプログラムを実行するときに、上述した各方法の実施例の流れを含むことができると理解することができる。ここで、前記記憶媒体は、フロッピーディスク、光ディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）などであってもよい。

以上開示したものは、本発明の実施例の一部にすぎず、当然ながら、これによって本発明の特許請求の範囲を限定することはできないため、本発明の特許請求の範囲で行うものと均等物による変更は、依然として本発明の範囲に属す。

以上開示したものは、本発明の実施例の一部にすぎず、当然ながら、これによって本発明の特許請求の範囲を限定することはできないため、本発明の特許請求の範囲で行うものと均等物による変更は、依然として本発明の範囲に属す。
［項目１］
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得することと、
目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることと、
前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することと、を含む、画像処理方法。
［項目２］
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることは、
セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、を含む、項目１に記載の方法。
［項目３］
前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含む、項目２に記載の方法。
［項目４］
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後に、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
後処理の結果に基づき前記信頼度特徴マップを更新することと、をさらに含む、項目３に記載の方法。
［項目５］
前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことは、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、を含む、項目４に記載の方法。
［項目６］
前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することは、
前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプを取得することと、
前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定することと、
前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域に基づき、前記目標画像データ中の目標領域の位置データを確定することと、を含む、項目５に記載の方法。
［項目７］
前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定した後に、
前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画することと、
移動可能なプラットフォームを制御して前記経路に基づき移動させることと、をさらに含む、項目６に記載の方法。
［項目８］
前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画することは、
前記信頼度特徴マップ上で異なるセマンティックタイプを有する画像領域に基づき、異なるセマンティックタイプの画像領域を分類することと、
異なるタイプの画像領域に基づき、各タイプの画像領域に対応する経路を計画することと、を含む、項目６に記載の方法。
［項目９］
前記移動可能なプラットフォームを制御して前記経路に基づき移動させることは、
前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームの現在の位置の前記信頼度特徴マップにおいて対応するセマンティックタイプが、目標任務のセマンティックタイプと合致しているかどうかを判断することと、
判断の結果、合致している場合、前記移動可能なプラットフォームを制御して前記目標任務を実行させることと、を含む、項目７に記載の方法。
［項目１０］
前記移動可能なプラットフォームは、無人機又は経路に基づき自動運転する無人車を含む、項目７から項目９のいずれか一項に記載の方法。
［項目１１］
前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームを制御して前記経路中のラベル点で止まらせ、目標任務に対応する所定の操作を実行させることをさらに含む、項目９に記載の方法。
［項目１２］
前記所定の操作は、農薬散布操作を含む、項目１１に記載の方法。
［項目１３］
前記農薬散布操作は、指定点の周りで環状散布を行う操作を含む、項目１２に記載の方法。
［項目１４］
前記目標画像データは、カラー画像を含むか、又は、
前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
前記目標画像データは、オルソ画像を含むか、又は、
前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、項目１に記載の方法。
［項目１５］
セマンティック識別モデルに基づき前記目標画像データを処理する前に、
サンプル画像データを含むサンプルデータベースを取得することと、
所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、をさらに含み、
前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、項目２に記載の方法。
［項目１６］
前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることは、
前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、を含む、項目１５に記載の方法。
［項目１７］
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得することと、
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることと、
前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定することと、を含む、画像処理方法。
［項目１８］
前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックを有する目標対象の数を確定することは、
前記信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上の異なるセマンティックタイプの点データを分類することと、
前記信頼度特徴マップ上の異なるタイプの点データの数を計算することと、
前記信頼度特徴マップ上の異なるタイプの点データの数が、前記目標画像データ上で同じセマンティックを有する目標対象の数であることを確定することと、を含む、項目１７に記載の方法。
［項目１９］
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることは、
セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、を含む、項目１７に記載の方法。
［項目２０］
前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含み、
前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する、項目１９に記載の方法。
［項目２１］
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後に、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
後処理の結果に基づき前記信頼度特徴マップを更新することと、をさらに含む、項目２０に記載の方法。
［項目２２］
前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことは、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、を含む、項目２１に記載の方法。
［項目２３］
前記目標画像データは、カラー画像を含むか、又は、
前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
前記目標画像データは、オルソ画像を含むか、又は、
前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、項目１７に記載の方法。
［項目２４］
セマンティック識別モデルに基づき前記目標画像データを処理する前に、
サンプル画像データを含むサンプルデータベースを取得することと、
所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、をさらに含み、
前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、項目１９に記載の方法。
［項目２５］
前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることは、
前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、を含む、項目２４に記載の方法。
［項目２６］
メモリと、プロセッサと、を含み、
前記メモリは、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、メモリに記憶されたプログラムコマンドを呼び出して、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するステップと、を実行するために用いられる、画像処理装置。
［項目２７］
前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、
セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、のために用いられる、項目２６に記載の装置。
［項目２８］
前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含む、項目２７に記載の装置。
［項目２９］
前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
後処理の結果に基づき前記信頼度特徴マップを更新することと、のためにさらに用いられる、項目２８に記載の装置。
［項目３０］
前記プロセッサが前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、のために用いられる、項目２９に記載の装置。
［項目３１］
前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するときに、具体的には、
前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプを取得することと、
前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定することと、
前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域に基づき、前記目標画像データ中の目標領域の位置データを確定することと、のために用いられる、項目３０に記載の装置。
［項目３２］
前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定した後、
前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画することと、
移動可能なプラットフォームを制御して前記経路に基づき移動させることと、のためにさらに用いられる、項目３１に記載の装置。
［項目３３］
前記プロセッサが前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画するときに、具体的には、
前記信頼度特徴マップ上で異なるセマンティックタイプを有する画像領域に基づき、異なるセマンティックタイプの画像領域を分類することと、
異なるタイプの画像領域に基づき、各タイプの画像領域に対応する経路を計画することと、のために用いられる、項目３１に記載の装置。
［項目３４］
前記プロセッサが移動可能なプラットフォームを制御して前記経路に基づき移動させるときに、具体的には、
前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームの現在の位置の前記信頼度特徴マップにおいて対応するセマンティックタイプが、目標任務のセマンティックタイプと合致しているかどうかを判断することと、
判断の結果、合致している場合、前記移動可能なプラットフォームを制御して前記目標任務を実行させることと、のために用いられる、項目３２に記載の装置。
［項目３５］
前記移動可能なプラットフォームは、無人機又は経路に基づき自動運転する無人車を含む、項目３２から項目３４のいずれか一項に記載の装置。
［項目３６］
前記プロセッサは、
前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームを制御して前記経路中のラベル点で止まらせ、目標任務に対応する所定の操作を実行させるためにさらに用いられる、項目３４に記載の装置。
［項目３７］
前記所定の操作は、農薬散布操作を含む、項目３６に記載の装置。
［項目３８］
前記農薬散布操作は、指定点の周りで環状散布を行う操作を含む、項目３７に記載の装置。
［項目３９］
前記目標画像データは、カラー画像を含むか、又は、
前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
前記目標画像データは、オルソ画像を含むか、又は、
前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、項目２６に記載の装置。
［項目４０］
前記プロセッサがセマンティック識別モデルに基づき前記目標画像データを処理する前に、
サンプル画像データを含むサンプルデータベースを取得することと、
所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、のためにさらに用いられ、
前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、項目２７に記載の装置。
［項目４１］
前記プロセッサが前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、具体的には、
前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、のために用いられる、項目４０に記載の装置。
［項目４２］
メモリと、プロセッサと、を含み、
前記メモリは、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、メモリに記憶されたプログラムコマンドを呼び出して、
目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定するステップと、を実行するために用いられる、画像処理装置。
［項目４３］
前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックを有する目標対象の数を確定するときに、具体的には、
前記信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上の異なるセマンティックタイプの点データを分類することと、
前記信頼度特徴マップ上の異なるタイプの点データの数を計算することと、
前記信頼度特徴マップ上の異なるタイプの点データの数が、前記目標画像データ上で同じセマンティックを有する目標対象の数であることを確定することと、のために用いられる、項目４２に記載の装置。
［項目４４］
前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、
セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、のために用いられる、項目４２に記載の装置。
［項目４５］
前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含み、
前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する、項目４４に記載の装置。
［項目４６］
前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
後処理の結果に基づき前記信頼度特徴マップを更新することと、のためにさらに用いられる、項目４５に記載の装置。
［項目４７］
前記プロセッサが前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、
前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、のために用いられる、項目４６に記載の装置。
［項目４８］
前記目標画像データは、カラー画像を含むか、又は、
前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
前記目標画像データは、オルソ画像を含むか、又は、
前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、項目４２に記載の装置。
［項目４９］
前記プロセッサがセマンティック識別モデルに基づき前記目標画像データを処理する前に、
サンプル画像データを含むサンプルデータベースを取得することと、
所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、のためにさらに用いられ、
前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、項目４４に記載の装置。
［項目５０］
前記プロセッサが前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、具体的には、
前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、のために用いられる、項目４９に記載の装置。
［項目５１］
移動可能なプラットフォームに移動の動力を提供するための動力システムと、
項目２６から項目４１のいずれか一項に記載の画像処理装置と、を含む、移動可能なプラットフォーム。
［項目５２］
移動可能なプラットフォームに移動の動力を提供するための動力システムと、
項目４２から項目５０のいずれか一項に記載の画像処理装置と、を含む、移動可能なプラットフォーム。
［項目５３］
機体と、
飛行動力を提供するための、前記機体上に設けられた動力システムと、
項目２６から項目５０のいずれか一項に記載の画像処理装置と、を含む、無人機。
［項目５４］
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるときに、項目１から項目２５のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。

Claims (54)

1. 目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得することと、
   目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることと、
   前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することと、を含む、画像処理方法。
2. 前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることは、
   セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
   前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
   前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、を含む、請求項１に記載の方法。
3. 前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含む、請求項２に記載の方法。
4. 前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後に、
   前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
   後処理の結果に基づき前記信頼度特徴マップを更新することと、をさらに含む、請求項３に記載の方法。
5. 前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことは、
   前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
   前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
   前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、を含む、請求項４に記載の方法。
6. 前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定することは、
   前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプを取得することと、
   前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定することと、
   前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域に基づき、前記目標画像データ中の目標領域の位置データを確定することと、を含む、請求項５に記載の方法。
7. 前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定した後に、
   前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画することと、
   移動可能なプラットフォームを制御して前記経路に基づき移動させることと、をさらに含む、請求項６に記載の方法。
8. 前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画することは、
   前記信頼度特徴マップ上で異なるセマンティックタイプを有する画像領域に基づき、異なるセマンティックタイプの画像領域を分類することと、
   異なるタイプの画像領域に基づき、各タイプの画像領域に対応する経路を計画することと、を含む、請求項６に記載の方法。
9. 前記移動可能なプラットフォームを制御して前記経路に基づき移動させることは、
   前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームの現在の位置の前記信頼度特徴マップにおいて対応するセマンティックタイプが、目標任務のセマンティックタイプと合致しているかどうかを判断することと、
   判断の結果、合致している場合、前記移動可能なプラットフォームを制御して前記目標任務を実行させることと、を含む、請求項７に記載の方法。
10. 前記移動可能なプラットフォームは、無人機又は経路に基づき自動運転する無人車を含む、請求項７から請求項９のいずれか一項に記載の方法。
11. 前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームを制御して前記経路中のラベル点で止まらせ、目標任務に対応する所定の操作を実行させることをさらに含む、請求項９に記載の方法。
12. 前記所定の操作は、農薬散布操作を含む、請求項１１に記載の方法。
13. 前記農薬散布操作は、指定点の周りで環状散布を行う操作を含む、請求項１２に記載の方法。
14. 前記目標画像データは、カラー画像を含むか、又は、
    前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
    前記目標画像データは、オルソ画像を含むか、又は、
    前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、請求項１に記載の方法。
15. セマンティック識別モデルに基づき前記目標画像データを処理する前に、
    サンプル画像データを含むサンプルデータベースを取得することと、
    所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
    前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、をさらに含み、
    前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、請求項２に記載の方法。
16. 前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることは、
    前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
    前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、を含む、請求項１５に記載の方法。
17. 目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得することと、
    前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることと、
    前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定することと、を含む、画像処理方法。
18. 前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックを有する目標対象の数を確定することは、
    前記信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上の異なるセマンティックタイプの点データを分類することと、
    前記信頼度特徴マップ上の異なるタイプの点データの数を計算することと、
    前記信頼度特徴マップ上の異なるタイプの点データの数が、前記目標画像データ上で同じセマンティックを有する目標対象の数であることを確定することと、を含む、請求項１７に記載の方法。
19. 前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得ることは、
    セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
    前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
    前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、を含む、請求項１７に記載の方法。
20. 前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含み、
    前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する、請求項１９に記載の方法。
21. 前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後に、
    前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
    後処理の結果に基づき前記信頼度特徴マップを更新することと、をさらに含む、請求項２０に記載の方法。
22. 前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことは、
    前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
    前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
    前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、を含む、請求項２１に記載の方法。
23. 前記目標画像データは、カラー画像を含むか、又は、
    前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
    前記目標画像データは、オルソ画像を含むか、又は、
    前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、請求項１７に記載の方法。
24. セマンティック識別モデルに基づき前記目標画像データを処理する前に、
    サンプル画像データを含むサンプルデータベースを取得することと、
    所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
    前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、をさらに含み、
    前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、請求項１９に記載の方法。
25. 前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることは、
    前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
    前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、を含む、請求項２４に記載の方法。
26. メモリと、プロセッサと、を含み、
    前記メモリは、プログラムコマンドを記憶するために用いられ、
    前記プロセッサは、メモリに記憶されたプログラムコマンドを呼び出して、
    目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
    目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
    前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するステップと、を実行するために用いられる、画像処理装置。
27. 前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、
    セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
    前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
    前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、のために用いられる、請求項２６に記載の装置。
28. 前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含む、請求項２７に記載の装置。
29. 前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、
    前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
    後処理の結果に基づき前記信頼度特徴マップを更新することと、のためにさらに用いられる、請求項２８に記載の装置。
30. 前記プロセッサが前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、
    前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
    前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
    前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、のために用いられる、請求項２９に記載の装置。
31. 前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定するときに、具体的には、
    前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプを取得することと、
    前記信頼度特徴マップ中の各点データの位置データ及びセマンティックタイプに基づき、前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域を確定することと、
    前記信頼度特徴マップにおいて同じセマンティックタイプを有する画像領域に基づき、前記目標画像データ中の目標領域の位置データを確定することと、のために用いられる、請求項３０に記載の装置。
32. 前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ中の目標領域の位置を確定した後、
    前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画することと、
    移動可能なプラットフォームを制御して前記経路に基づき移動させることと、のためにさらに用いられる、請求項３１に記載の装置。
33. 前記プロセッサが前記目標画像データ中の目標領域の位置及びセマンティックタイプに基づき、経路を計画するときに、具体的には、
    前記信頼度特徴マップ上で異なるセマンティックタイプを有する画像領域に基づき、異なるセマンティックタイプの画像領域を分類することと、
    異なるタイプの画像領域に基づき、各タイプの画像領域に対応する経路を計画することと、のために用いられる、請求項３１に記載の装置。
34. 前記プロセッサが移動可能なプラットフォームを制御して前記経路に基づき移動させるときに、具体的には、
    前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームの現在の位置の前記信頼度特徴マップにおいて対応するセマンティックタイプが、目標任務のセマンティックタイプと合致しているかどうかを判断することと、
    判断の結果、合致している場合、前記移動可能なプラットフォームを制御して前記目標任務を実行させることと、のために用いられる、請求項３２に記載の装置。
35. 前記移動可能なプラットフォームは、無人機又は経路に基づき自動運転する無人車を含む、請求項３２から請求項３４のいずれか一項に記載の装置。
36. 前記プロセッサは、
    前記移動可能なプラットフォームを制御して前記経路に基づき移動させるプロセスにおいて、前記移動可能なプラットフォームを制御して前記経路中のラベル点で止まらせ、目標任務に対応する所定の操作を実行させるためにさらに用いられる、請求項３４に記載の装置。
37. 前記所定の操作は、農薬散布操作を含む、請求項３６に記載の装置。
38. 前記農薬散布操作は、指定点の周りで環状散布を行う操作を含む、請求項３７に記載の装置。
39. 前記目標画像データは、カラー画像を含むか、又は、
    前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
    前記目標画像データは、オルソ画像を含むか、又は、
    前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、請求項２６に記載の装置。
40. 前記プロセッサがセマンティック識別モデルに基づき前記目標画像データを処理する前に、
    サンプル画像データを含むサンプルデータベースを取得することと、
    所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
    前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、のためにさらに用いられ、
    前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、請求項２７に記載の装置。
41. 前記プロセッサが前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、具体的には、
    前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
    前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、のために用いられる、請求項４０に記載の装置。
42. メモリと、プロセッサと、を含み、
    前記メモリは、プログラムコマンドを記憶するために用いられ、
    前記プロセッサは、メモリに記憶されたプログラムコマンドを呼び出して、
    目標画像と、前記目標画像中の各画素点に対応する被写界深度データと、を含む目標画像データを取得するステップと、
    前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るステップと、
    前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックタイプを有する目標対象の数を確定するステップと、を実行するために用いられる、画像処理装置。
43. 前記プロセッサが前記信頼度特徴マップに基づき、前記目標画像データ上で同じセマンティックを有する目標対象の数を確定するときに、具体的には、
    前記信頼度特徴マップ上の各点データのセマンティックタイプに基づき、前記信頼度特徴マップ上の異なるセマンティックタイプの点データを分類することと、
    前記信頼度特徴マップ上の異なるタイプの点データの数を計算することと、
    前記信頼度特徴マップ上の異なるタイプの点データの数が、前記目標画像データ上で同じセマンティックを有する目標対象の数であることを確定することと、のために用いられる、請求項４２に記載の装置。
44. 前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得るときに、具体的には、
    セマンティック識別モデルに基づき前記目標画像データを処理し、前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度を得ることと、
    前記目標画像データに対応する位置データ、高度データ及び前記目標画像データ中の各画素点が有するセマンティックタイプ及びセマンティックの信頼度に基づき、セマンティックタイプ及びセマンティックの信頼度を含む点群データを生成することと、
    前記セマンティックタイプ及びセマンティックの信頼度を含む点群データに基づき、前記信頼度特徴マップを生成することと、のために用いられる、請求項４２に記載の装置。
45. 前記点群データ及び前記信頼度特徴マップは、いずれも複数個の点データを含み、各点データは、位置データ、高度データ及び異なる信頼度の複数のセマンティックタイプを含み、
    前記点群データに含まれる各点データは、前記目標画像データ中の各画素点に対応する、請求項４４に記載の装置。
46. 前記プロセッサが前記目標画像データを処理し、前記目標画像データのセマンティックの信頼度特徴マップを得た後、
    前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うことと、
    後処理の結果に基づき前記信頼度特徴マップを更新することと、のためにさらに用いられる、請求項４５に記載の装置。
47. 前記プロセッサが前記信頼度特徴マップ中の各点データのセマンティックの信頼度に基づき、前記信頼度特徴マップに対して後処理を行うときに、具体的には、
    前記信頼度特徴マップ中の各点データのセマンティックの信頼度を検出することと、
    前記信頼度特徴マップ中のセマンティックの信頼度が所定の信頼度閾値以下である点データに対して削除処理を行うことと、
    前記削除処理後の点群データに基づき、前記信頼度特徴マップを更新することを含め、前記後処理の結果に基づき前記信頼度特徴マップを更新することと、のために用いられる、請求項４６に記載の装置。
48. 前記目標画像データは、カラー画像を含むか、又は、
    前記目標画像データは、カラー画像と、前記カラー画像に対応する被写界深度データと、を含むか、又は、
    前記目標画像データは、オルソ画像を含むか、又は、
    前記目標画像データは、オルソ画像と、前記オルソ画像に対応する被写界深度データと、を含む、請求項４２に記載の装置。
49. 前記プロセッサがセマンティック識別モデルに基づき前記目標画像データを処理する前に、
    サンプル画像データを含むサンプルデータベースを取得することと、
    所定のセマンティック識別演算法により初期セマンティック識別モデルを生成することと、
    前記サンプルデータベースにおける各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得ることと、のためにさらに用いられ、
    前記サンプル画像データは、サンプル画像と、セマンティックラベリング情報と、を含むか、又は、前記サンプル画像データは、サンプル画像と、前記サンプル画像中の各画素点に対応する被写界深度データと、セマンティックラベリング情報と、を含む、請求項４４に記載の装置。
50. 前記プロセッサが前記サンプルデータベース中の各サンプル画像データに基づき前記初期セマンティック識別モデルをトレーニングして最適化し、前記セマンティック識別モデルを得るときに、具体的には、
    前記初期セマンティック識別モデルを用いて、前記サンプル画像データに含まれる前記サンプル画像及び前記サンプル画像中の各画素点に対応する被写界深度データを識別し、識別結果を得ることと、
    前記識別結果が前記サンプル画像データに含まれるセマンティックラベリング情報と合致する場合、前記初期セマンティック識別モデルのモデルパラメータを最適化し、前記セマンティック識別モデルを得ることと、のために用いられる、請求項４９に記載の装置。
51. 移動可能なプラットフォームに移動の動力を提供するための動力システムと、
    請求項２６から請求項４１のいずれか一項に記載の画像処理装置と、を含む、移動可能なプラットフォーム。
52. 移動可能なプラットフォームに移動の動力を提供するための動力システムと、
    請求項４２から請求項５０のいずれか一項に記載の画像処理装置と、を含む、移動可能なプラットフォーム。
53. 機体と、
    飛行動力を提供するための、前記機体上に設けられた動力システムと、
    請求項２６から請求項５０のいずれか一項に記載の画像処理装置と、を含む、無人機。
54. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるときに、請求項１から請求項２５のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。

Images