JP2022511147A - 地理情報の生成を容易にするためのシステム及び方法 - Google Patents

Abstract

地理情報の生成を容易にするためのシステム及び方法を開示する。地理情報の生成を容易にするためのシステムは、画像データを取得するように動作可能な撮像モジュールと、画像データを受信し、画像データを使用して複数のデータ点を有する点群を生成するように動作可能なプロセッサとを備え、プロセッサは、点群を分析して地理情報に関連する少なくとも１つのフィーチャを抽出し、抽出されたフィーチャを用いて地理情報を生成するように動作可能である。【選択図】図２

Description

本開示は、地理情報の生成を容易にするシステムための及び方法に関する。

本発明の背景技術についての以下の説明は、本発明の理解を容易にすることのみを意図している。この説明は、言及された内容のいずれも、本発明の優先日に、いずれの管轄区域においても当業者の一般技術常識として公開、公知、またはその一部であったことを認識または認容するものではない。

撮像センサの開発に伴い、３次元型センサ（以下「３Ｄセンサ」と称する）が、画像データを取得して、地理情報、例えば、高解像度（ＨＤ；Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）マップを生成するために、一般的に使用されている。３Ｄセンサの一例は、光検出及び測距（ＬｉＤＡＲ；Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサである。ＬｉＤＡＲセンサは、オブジェクト（被写体）にパルスレーザ光を照射して反射パルスを検出することにオブジェクトまでの距離を測定し、検出された距離を使用して画像データが取得される。

しかしながら、画像データが３Ｄセンサによって取得された後、ユーザは画像データを使用して地理情報を生成するための複雑な処理に直面する可能性がある。画像データを使用して地理情報を生成するために設計された既存のシステムは、地理情報を生成するために画像データをユーザが分析及び処理する必要があるので使用が複雑になることがよくある。

一般に、画像データの処理は、ユーザが生成を望む地理情報のタイプに応じて異なる。地理情報のタイプに応じて、ユーザは、必要な地理的要因を考慮して適切な方法で画像データを処理する必要がある。

上記に照らすと、取得された画像データを使用して地理情報を生成することはユーザにとって簡単ではない。更に、ユーザが画像データを分析して処理するのに時間がかかるので、ユーザは通常、リアルタイム又は略リアルタイムで地理情報を生成する課題に直面する可能性がある。地理情報の生成は、面倒で、非効率的で、時間がかかり、コストがかかる。これは、取得した画像データに基づく３Ｄ画像データ生成の計算集約的性質が、原因の一部にある。

上記を考慮して、前述の要求を満たし又は少なくとも部分的に課題を軽減する解決策を提供する必要がある。

本明細書全体を通して、文脈上別段の要求がない限り、「備える（ｃｏｍｐｒｉｓｉｎｇ）」の用語や、「ｃｏｍｐｒｉｓｅｓ」や「ｃｏｍｐｒｉｓｉｎｇ」などの変形は、記載された完全体や完全体のグループを含むが、任意の他の完全体や完全体のグループを排除しないことを意味すると理解される。

更に、本明細書全体を通して、文脈上別段の要求がない限り、「含む（ｉｎｃｌｕｄｅ）」の用語や、「ｉｎｃｌｕｄｅｓ」や「ｉｎｃｌｕｄｉｎｇ」などの変形は、記載された完全体や完全体のグループを含むが、任意の他の完全体や完全体のグループを排除しないことを意味すると理解される。

本発明又は本開示は、地理情報の生成におけるユーザの手作業や面倒な作業を削減するシステム及び方法を提供することを目的とする。

地理情報の生成を容易にするためのシステム及び方法の形式で技術的解決策が提供される。特に、本システムは、撮像モジュール（ｉｍａｇｉｎｇ ｍｏｄｕｌｅ）によって取得された画像データを分析するように動作可能なプロセッサを含む。その後、プロセッサは、分析に基づいて画像データから少なくとも１つのフィーチャ（ｆｅａｔｕｒｅ；地物）を抽出するように動作可能である。抽出されたフィーチャは、ユーザが生成を望む地理情報に関連する。次に、プロセッサは、抽出されたフィーチャを使用して地理情報を生成するように動作可能である。

このようにして、プロセッサは、ユーザの手作業や面倒な作業なしに、リアルタイム又は略リアルタイムで、ユーザが生成を望む地理情報を生成するように動作可能である。

一態様では、地理情報の生成を容易にするためのシステムであって；画像データを取得するように動作可能な撮像モジュールと；画像データを受け取り、画像データを使用して複数のデータ点を有する点群（ｐｏｉｎｔ ｃｌｏｕｄ；ポイントクラウド）を生成するように動作可能なプロセッサとを備え；プロセッサは更に、点群を分析して地理情報に関連する少なくとも１つのフィーチャを抽出し、抽出されたフィーチャを使用して地理情報を生成するように動作可能である。

幾つかの実施形態では、撮像モジュールは、画像データとして３Ｄ画像データを生成するように動作可能な少なくとも１つの３Ｄセンサを含む。

幾つかの実施形態では、点群の生成は、画像データのジオリファレンシング（ｇｅｏｒｅｆｅｒｅｎｃｉｎｇ；位置合わせして座標付けする作業など）を含む。

幾つかの実施形態では、システムは、位置及び／又は方位関連データをプロセッサに送信するように動作可能な位置及び方位システム（ＰＯＳ；Ｐｏｓｉｔｉｏｎ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ）を更に備える。

幾つかの実施形態では、プロセッサは、送信されたデータを解析し、解析された情報を使用して画像データのジオリファレンシングを実行するように動作可能である。

幾つかの実施形態では、プロセッサは、点群を放射輝度的（ｒａｄｉｏｍｅｔｒｉｃａｌｌｙ；ラジオメトリカリ）及び／又は幾何学的（ｇｅｏｍｅｔｒｉｃａｌｌｙ；ジオメトリカリ）に補正するように動作可能である。

幾つかの実施形態では、プロセッサは、八分木（ｏｃｔｒｅｅ；オクツリー）を計算し、計算された八分木に基づいて、複数のセルの各々が同じサイズになるように、点群を複数のセルに分割するように動作可能である。

幾つかの実施形態では、プロセッサは、データ点の各々の法線を計算し、計算された法線に基づいて、複数のセルの各々の固有値を作成するように動作可能である。

幾つかの実施形態では、プロセッサは、複数のセルの各々の固有値を正規化することによって、複数のセルの各々の少なくとも１つの幾何学的属性を計算するように動作可能である。

幾つかの実施形態では、プロセッサは、幾何学的属性に従って、点群をセグメント化（細分化）するように動作可能である。

幾つかの実施形態では、プロセッサは、幾何学的属性に従ってセグメント化された点群に基づいて、データ点の各々を分類するように動作可能である。

幾つかの実施形態では、撮像モジュールは、２Ｄ画像データを生成するように動作可能な少なくとも１つの２Ｄセンサを更に含む。

幾つかの実施形態では、プロセッサは、２Ｄ画像データと３Ｄ画像データをマージ（統合）するように動作可能である。

幾つかの実施形態では、プロセッサは、マージされた画像データに基づいて、複数のセルの各々の少なくとも１つの幾何学的属性を再計算し、及び／又は、データ点の各々を再分類するように動作可能である。

幾つかの実施形態では、プロセッサは、生成する地理情報のタイプの選択を受け取り、生成する地理情報に関連する少なくとも１つのフィーチャを抽出するように動作可能である。

幾つかの実施形態では、地理情報は、高精細マップ、植物情報又は公共インフラストラクチャ情報の少なくとも１つを含む。

幾つかの実施形態では、フィーチャは、地理フィーチャ又はオブジェクトフィーチャ（物体フィーチャ）の少なくとも１つを含む。

幾つかの実施形態では、撮像モジュールは、以前に取得された画像データをプロセッサに提供するように動作可能である。

別の態様では、地理情報の生成を容易にするための方法であって；撮像モジュールで、画像データを取得し；プロセッサで、撮像モジュールから画像データを受信し；プロセッサで、画像データを使用して複数のデータ点を有する点群を生成し；プロセッサで、点群を分析し；地理情報に関連する少なくとも１つのフィーチャを抽出し；プロセッサで、抽出されたフィーチャを使用して地理情報を生成する。

本発明の他の態様及び特徴は、本発明の特定の実施形態についての以下の説明を添付の図面と併せて検討することにより、当業者に明らかとなる。

本発明は、添付の図面を参照して、単なる一例として、以下で説明する。
図１は、本発明の幾つかの実施形態によるブロック図を示す。
図２は、本発明の幾つかの実施形態によるフロー図を示す。
図３は、本開示の幾つかの実施形態による別のブロック図を示す。
図４は、本開示の幾つかの実施形態による別のフロー図を示す。
図５は、本開示の幾つかの実施形態による地理情報の生成に関するフロー図を示す。
本発明は他の構成でも実現可能であり、従って、添付の図面は、本発明の前述した一般論より優先されるものと解すべきではない

図１は、本開示の幾つかの実施形態によるブロック図を示す。

システム１００は、撮像モジュール１１０とプロセッサ１２０を備えることができる。システム１００は、位置及び方位システム（ＰＯＳ）モジュール１３０を更に備えることができる。

撮像モジュール１１０は、少なくとも１つの３Ｄセンサ１１１、及び／又は、少なくとも１つの２Ｄセンサ１１２を含むことができる。３Ｄセンサ１１１は、光検出及び測距（ＬｉＤＡＲ）センサ（「ＬｉＤＡＲスキャナ」とも称される）を含むことができるが、これに限定されない。２Ｄセンサ１１２は、ＲＧＢカメラ、マルチスペクトル撮像器、及び／又はハイパースペクトル撮像器を含むことができるが、これに限定されない。３Ｄセンサ１１１は、３Ｄ画像データを生成するように動作可能であり、２Ｄセンサ１１２は、２Ｄ画像データを生成するように動作可能である。

撮像モジュール１１０は、オブジェクトの画像を取り込むことで画像データを生成することができる。例えば、ＬｉＤＡＲセンサは、オブジェクトにパルスレーザ光を照射して反射パルスを検出することによりオブジェクトまでの距離を測定し、測定された距離を使用して画像データを生成する。例えば、画像データは、オブジェクトの画像を取り込むことで生成された生データ（ｒａｗ ｄａｔａ）、及び／又は、生データから処理されたデータ（「処理済みデータ」とも称される）の少なくとも１つを含むことができるが、これに限定されない。

撮像モジュール１１０は、プロセッサ１２０による迅速な評価及び緊急を要する決定のために、リアルタイム又は略リアルタイムでプロセッサ１２０に画像データを提供するように動作可能である。

図示しないが、撮像モジュール１１０は、外部データベース及び／又はサーバから画像データを取得することができる。例えば、撮像モジュール１１０は、外部データベース及び／又はサーバから画像データを受け取り、その後、プロセッサ１２０に画像データを提供することができる。

図示しないが、撮像モジュール１１０は、以前に生成された画像データをプロセッサ１２０に提供することができる。例えば、撮像モジュール１１０は、内部データベースを有することができる。内部データベースは、以前に生成された画像データを格納するための１つ以上のメモリを含むことができる。撮像モジュール１１０は、内部データベースがから画像データを抽出し、その後、プロセッサ１２０に画像データを提供することができる。

ＰＯＳ１３０は、慣性航法システム（ＩＮＳ；Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）モジュール１３１、及び、全地球航法衛星システム（ＧＮＳＳ；Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）モジュール１３２を備えることができる。ＰＯＳ１３０は、モジュール１３１及び／又はモジュール１３２を通じて、方位及び／又は位置関連データを生成するように動作可能であってもよい。ＰＯＳ１３０は、位置及び／又は方位関連データをプロセッサ１２０に送信することができる。幾つかの実施形態では、位置及び／又は方位関連データは、リアルタイム又は略リアルタイムでプロセッサ１２０に送信される。位置及び／又は方位関連データの送信は、ストリーミング配信を介してもよい。

プロセッサ１２０は、明示的データグラフ実行（ＥＤＧＥ；Ｅｘｐｌｉｃｉｔ Ｄａｔａ Ｇｒａｐｈ Ｅｘｅｃｕｔｉｏｎ）プロセッサを含み得る。プロセッサ１２０は、バックパック、モバイル、及び／又は空中プラットフォームなどの、ポータブルデバイスにインストールすることができる。ポータブルデバイスは、その上に／そこにアイテムを貼り付け又は取り付けるための、フレームなどの取り付け構造を含み得る。プロセッサ１２０は、プロセッサ１２０が使用されるプラットフォームに基づく様々なフォームファクタを含み得る。プロセッサ１２０は、少なくとも１つのＧＰＵカードを含み得る。プロセッサ１２０は、少なくとも１つのグラフィックス処理ユニット（ＧＰＵ；Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み得る。ＧＰＵは、専用のソフトウェアがプロセッサ１２０にインストールされたハードウェアコンポーネントとして、カードの形でプロセッサ１２０に統合されてもよい。

プロセッサ１２０は、例えば、屋外条件下で動作可能であることなど、特定の要件を満たすケーシングを有し得る。例えば、ケーシングは、防水性、防塵性、及び／又は防振性であり得る。幾つかの例では、ケーシングは、ＩＰ６８（ＩＰコード、国際保護マーキング（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｒｏｔｅｃｔｉｏｎ Ｍａｒｋｉｎｇ）、国際電気標準会議（ＩＥＣ；Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）が発行したＩＥＣ規格６０５２９、又は欧州標準ＥＮ６０５２９、とも称される）の要件を満たす。プロセッサ１２０は、既製のソリューションとすることができ、Ｃｏｎｎｅｃｔｔｅｃｈ社（http://connecttech.com/product/rosie-embedded-system-with-nvidia-jetson-tx2-tx1/）製のＲＯＳＩＥという商品名で知られているような小さい接地面積のケースや、Ｍｅｒｃｕｒｙ ｓｙｓｔｅｍ社（https://www.mrcy.com/rugged-servers/gpgpu-computing-servers/）から入手できる堅牢なＧＰＧＵコンピューティングサーバを備え、ＣＮＣマシンを用いてプラスチック又はアルミニウムから削り出され若しくは３Ｄプリンタで印刷されたカスタムケースを含む場合もある。

プロセッサ１２０は、撮像モジュール１１０及び／又はＰＯＳ １３０を同期及び制御するように動作可能である。プロセッサ１２０はまた、リアルタイム又は略リアルタイムで画像データを処理及び分析するように動作可能である。ＧＰＵは、表示装置（ディスプレイデバイス）への出力のために画像データを処理するように動作可能である。

プロセッサ１２０は更に、処理及び分析された画像データを使用してリアルタイム又は略リアルタイムで地理情報を生成するように動作可能であり、従って、従来の方法と比較してデータのリアルタイム生成が容易になる。幾つかの実施形態では、プロセッサ１２０は、処理及び分析された画像データから、ユーザが生成を望む地理情報に関連する少なくとも１つの必要なフィーチャを抽出する。その後、プロセッサ１２０は、抽出された要因又は情報を使用して地理的情報を生成する。このプロセスは、ユーザの手作業や面倒な作業なしに、自動的に達成することができる。

撮像モジュール１１０、プロセッサ１２０、及びＰＯＳ１３０は、通信ネットワーク、例えば、イーサネットなどのローカルエリアネットワーク（ＬＡＮ）や、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、又はその他の移動無線ネットワークを含み得る無線通信ネットワークを介して、互いにリンクされることが理解されよう。システム１００は、通信ネットワークを介して、様々のモバイルプラットフォームのリアルタイムのマッピング及びモニタリングを達成することができる。

このようにして、システム１００は、グラフィックス処理ユニット（ＧＰＧＰＵ；Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）上で撮像モジュール１１０とＰＯＳ１３０を組み合わせたハードウェア－ソフトウェアソリューションの汎用コンピューティングを提供する。システム１００は、画像データと位置及び／又は方位関連データを収集し、ジオリファレンシング及び分析を含む画像データの処理を行うことができる。幾つかの実施形態では、分析結果は、即時の検査のために、リアルタイム又は略リアルタイムで、ＬＡＮを介して、ユーザ、例えば、遠くの視聴者に、ストリーミング配信されてもよい。

更に、システム１００は、ユーザが後処理タスクを実行する必要なしに、画像データを使用してリアルタイム又は略リアルタイムで地理情報を生成することができる。幾つかの実施形態では、生成された地理情報は、即時の検査のために、ＬＡＮを介して、リアルタイム又は略リアルタイムで、ユーザ、例えば、遠くの視聴者に、ストリーミング配信されてもよい。

図２は、本開示の幾つかの実施形態によるフロー図を示す。

上述のように、システム１００は、撮像モジュール１１０及びプロセッサ１２０を含むことができる。システム１００は、ＰＯＳ１３０を更に含むことができる。

まず、撮像モジュール１１０は、画像データを取得する（Ｓ２１０）。撮像モジュール１１０は、少なくとも１つの３Ｄセンサ１１１を含み得る。３Ｄセンサ１１１は、画像データとして、３Ｄ画像データ、例えば、ＬｉＤＡＲデータを生成する。

次に、プロセッサ１２０は、撮像モジュール１１０から画像データを受け取る（Ｓ２２０）。プロセッサ１２０は、通信ネットワーク、例えば、ＬＡＮを介して、リアルタイム又は略リアルタイムで、３Ｄセンサ１１１から３Ｄ画像データを受信又は収集することができる。

３Ｄセンサ１１１から３Ｄ画像データを受け取った後、プロセッサ１２０は、３Ｄ画像データのジオリファレンシングを実行する。ジオリファレンシングは、１つ以上の点群を生成するために実行される。ＰＯＳ１３０から生成された位置及び／又は方位関連データは、３Ｄ画像データのジオリファレンシングを実行するために使用できることが理解されよう。

ＰＯＳ１３０は、位置及び／又は方位関連データをリアルタイム又は略リアルタイムでプロセッサ１２０に送信する。例えば、ＰＯＳ１３０は、ユーザデータグラムプロトコル（ＵＤＰ）ネットワーク接続を通じて一連のバイナリパケットをストリーミング配信する。ＵＤＰネットワーク接続により、ＰＯＳ１３０は、プロセッサ１２０に対してサーバとして機能し、ＵＤＰネットワーク接続を通じて位置及び／又は方位関連データを連続的にストリーミング配信することができる。

プロセッサ１２０は、ＰＯＳ１３０に関するクライアントとして、位置及び／又は方位関連データ、例えば、一連のバイナリパケットをＰＯＳ１３０から受信し、一連のバイナリパケットを解析して必要な情報を見つける。パケットは、例えば、ＰＯＳ１３０参照フレームなどの参照フレームで報告される、位置、速度、姿勢、スピード及びダイナミクス関連データを含み得るが、これに限定されない。これらのデータは、ジオリファレンシングを実行するために、方程式、例えば、ＬｉＤＡＲ方程式に供給される変数値であり得ることが理解されよう。このようにして、プロセッサ１２０は、解析された情報を使用して画像データのジオリファレンシングを実行することができる。ジオリファレンシングにより、センサフレーム内の座標は、マッピングフレーム内の座標、例えば、ＥＣＥＦ（ｅａｒｔｈ－ｃｅｎｔｒｅｄ，ｅａｒｔｈ－ｆｉｘｅｄ）座標に変換される。

次に、プロセッサ１２０は、ジオリファレンスされた画像データを使用して点群を生成する（Ｓ２３０）。点群は一連のデータ点を含むことが理解されよう。

図示しないが、プロセッサ１２０は、点群を放射輝度的及び／又は幾何学的に補正することができる。例えば、点群の強度値は、幾何学的に補正されてもよく、放射輝度的に較正されてもよい。この点で、記録された強度は、測定のジオメトリ（形状）と環境効果に起因する幾つかの変形の影響を受ける可能性がある。従って、強度値の輝度補正（ラジオメトリック補正）及び幾何補正（ジオメトリック補正）は、それを使用する前に適用され得る。記録された強度は、低強度を示し得る黒画像及び高強度を示し得る白画像であってもよいことを理解されたい。

その後、プロセッサ１２０は、点群を分析する（Ｓ２４０）。分析は、次のリスト：－八分木などのツリーデータ構造の計算、法線の計算、幾何学的属性の計算、点群のセグメント化及びデータ点の各々の分類、の１つ以上を含み得るが、これに限定されない。

幾つかの実施形態では、プロセッサ１２０は、八分木を計算し、各セルに含まれる点の数に関係なく複数のセルの各々が同じサイズを有するように、計算された八分木に基づいて点群を複数のセルに分割することができる。幾つかの実施形態では、各セルは、立方体の形態であってもよい。セルのサイズが同じであるため、空間検索とその後の処理を高速化できる。

次に、プロセッサ１２０は、データ点の各々について法線を計算し、計算された法線に基づいて複数のセルの各々について固有値及び／又は固有ベクトルを作成することができる。法線は、一連のデータ点に最適な平面に垂直なベクトルである。幾つかの実施形態では、複数のセルの各々の固有値及び／又は固有ベクトルは、データ点の最近傍の各々から作成された共分散行列に対するものである。

その後、プロセッサ１２０は、複数のセルの各々の固有値を正規化し、複数のセルの各々について少なくとも１つの幾何学的属性を計算することができる。少なくとも１つの幾何学的属性には、直線性（ｌｉｎｅａｒｉｔｙ）、平面性（ｐｌａｎａｒｉｔｙ）、散乱（ｓｃａｔｔｅｒｉｎｇ）、全方向性（ｏｍｎｉｖａｒｉａｎｃｅ）、異方性（ａｎｉｓｏｔｒｏｐｙ）、固有エントロピー（ｅｉｇｅｎｅｎｔｒｏｐｙ）、局所曲率（ｌｏｃａｌ ｃｕｒｖａｔｕｒｅ）、正常値（ｎｏｒｍａｌ ｖａｌｕｅｓ）、強度（ｉｎｔｅｎｓｉｔｙ）、標高（ｅｌｅｖａｔｉｏｎ）、地上標高（ＡＧＥ；Ａｂｏｖｅ Ｇｒｏｕｎｄ Ｅｌｅｖａｔｉｏｎ）に関するデルタ標高が含まれるが、これに限定されない。

次に、プロセッサ１２０は、幾何学的属性に従って点群をセグメント化することができる。上記で概説した幾何学的属性の少なくとも１つ、特に標高、法線及び／又は強度、均一性／変動、及び／又は（固有）値を使用して、点群をセグメント化できることが理解されよう。次に、プロセッサ１２０は、幾何学的属性に従ってセグメント化された点群に基づいて、データ点の各々を分類する。各セルのデータ点は、予め決められたクラスのセット、例えば、ＡＳＰＲＳ（Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ；米国写真測量及びリモートセンシング学会）ＬｉＤＡＲクラスに従って分類される。その後、データ点はメッシュ化され、ＡＧＥ推定のレベル０（ゼロ）として使用される。従って、データ点の各々は、クラスとＡＥＧ標高値を持つことができる。

データ点の各々が分類された後、プロセッサ１２０は、地理情報に関連する少なくとも１つのフィーチャを抽出する（Ｓ２５０）。

プロセッサ１２０は、生成される地理情報のタイプの選択をユーザから受け取る。地理情報には、３Ｄフィーチャ抽出、分類及び／又はセグメント化、道路及び舗装表面の状態監視及び／又はメンテナンス、自然環境及び／又は建造環境における変化の検出、又はツリーヘルス（樹木の健康）などの植物情報、に起因する高解像度マップが含まれるが、これに限定されない。図示しないが、プロセッサ１２０は、様々なタイプの地理情報を提案することができ、ユーザは、ユーザが生成を望む少なくとも１つの地理情報を選択することができる。例えば、プロセッサ１２０は、ユーザが少なくとも１つの地理情報を選択できるように、様々なタイプの地理情報に関する情報をディスプレイに出力することができる。

プロセッサ１２０は、選択された地理的情報に関連する少なくとも１つのフィーチャを抽出する。フィーチャは、地理フィーチャ又はオブジェクトフィーチャのうちの少なくとも１つを含み得るが、これに限定されない。

例えば、植物情報が選択された場合、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ；正規化植生指数）の値が計算される。ＮＤＶＩの計算値に基づいて、フィーチャを抽出及び／又は決定することができる。ＮＤＶＩの値が低い場合、例えば、０．１以下の場合は、植生のないエリアを示している可能性がある。ＮＤＶＩの値が中程度の場合、例えば、０．２～０．３の場合は、低木と草を示している可能性がある。ＮＤＶＩの値が高い場合、例えば、０．６～０．８の場合は、木や森を示している可能性がある。

その後、プロセッサ１２０は、抽出されたフィーチャを使用して地理情報を生成する（Ｓ２６０）。

幾つかの実施形態では、撮像モジュール１１０が少なくとも１つの２Ｄセンサ１１２を更に含むことが理解されよう。従って、３Ｄセンサ１１１と２Ｄセンサ１１２を組み合わせて使用することができる。２Ｄセンサは、２Ｄ画像データ、例えば、２Ｄ画像を生成するように動作可能である。３Ｄセンサ１１１及び２Ｄセンサ１１２は、同じオブジェクト又は背景に関して、３Ｄ画像データ及び２Ｄ画像データをそれぞれ取得することができる。

プロセッサ１２０は、通信ネットワークを介して、リアルタイム又は略リアルタイムで、３Ｄセンサ１１１からの３Ｄ画像データ及び２Ｄセンサ１１２からの２Ｄ画像データを受信又は収集することができる。幾つかの実施形態では、プロセッサ１２０は、３Ｄ画像データ及び２Ｄ画像データに含まれるオブジェクト又は背景に基づいて、３Ｄ画像データ及び２Ｄ画像データを一致させることができる。

３Ｄセンサ１１１及び２Ｄセンサ１１２のそれぞれから３Ｄ画像データ及び２Ｄ画像データを受信した後、プロセッサ１２０は、３Ｄ画像データ及び２Ｄ画像データのジオリファレンシングをリアルタイム又は略リアルタイムで実行する。

次に、プロセッサ１２０は、ジオリファレンスされた画像データを使用して点群を生成する。図示しないが、プロセッサ１２０は、点群を放射輝度的及び／又は幾何学的に補正することができる。２Ｄ画像データについては、マルチスペクトル撮像器の場合、画像データが最初に放射輝度的に補正され、次に幾何学的に補正された後、ＮＤＶＩ、ＳＲ（Ｓｉｍｐｌｅ Ｒａｔｉｏ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ；単純比植生指数）、ＰＲＩ（Ｐｈｏｔｏｃｈｅｍｉｃａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｉｎｄｅｘ；光化学反射指数）などの幾つかの指数がバンド比から抽出又は生成される。指数は、点群を分析するために使用される。

データ点の各々が分類された後、プロセッサ１２０は、２Ｄ画像データと３Ｄ画像データをマージ及び／又は融合することができる。プロセッサ１２０は、マージされた画像データに基づいて、複数のセルの各々について少なくとも１つの幾何学的属性を再計算し、及び／又はデータ点の各々を再分類することができる。プロセッサ１２０は、幾何学的属性の再計算又はデータ点の各々の再分類のいずれかを選択して実行することができる。

幾何学的属性の再計算に関して、プロセッサ１２０は、他の幾何学的属性、例えば、植生の健康、クロロフィル濃度などを追加することができる。パッシブセンサで且つ視覚に関して透過能力を持たない２Ｄセンサ１１２から２Ｄ画像データが生じるので、幾何学的属性のデータ点への追加は最初の戻り点に限定される。

データ点の再分類、つまり分類の改善に関して、植生指数の２Ｄ画像データを使用して、点群内の植生の描写を補強及びアフィン変換（ａｆｆｉｎｅ）することができる。２Ｄ画像データと３Ｄ画像データの融合は、写真測量と光線追跡（レイトレーシング）の原理に依存する場合がある。

このようにして、プロセッサ１２０は、リアルタイム又は略リアルタイムで、デジタル表面モデル（ＤＳＭ；Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ）、デジタル地形モデル（ＤＴＭ；Ｄｉｇｉｔａｌ Ｔｅｒｒａｉｎ Ｍｏｄｅｌ）、等値線、破断線、関心点などの２Ｄ及び３Ｄメトリック抽出によって、強化された点群の更なる処理および分析を実行する。結果は、点群メトリックの場合はＬＡＳ又はＬＡＺ形式で、ラスターメトリックの場合はＧｅｏＴＩＦＦ形式で保存することができる。実際の３Ｄ画像データを含む点群は、ＬＡＳ又はＬＡＺ形式などのバイナリファイル形式として保存することができる。これは生データと処理済みデータ用である。プロセッサ１２０は、点群から３つのタイプのデータを生成することができる。データのタイプは、分類とセグメント化のための点群；ＤＳＭ、ＤＴＭなどのラスター、例えば、２Ｄ画像；及び／又は等値線と破断線のベクトルである

図３は、本開示の幾つかの実施形態によるブロック図を示す。図３は、プロセッサ１２０、例えば、ＥＤＧＥプロセッサの、サーバ１２１とクライアント１２２との間の関係の合成レイアウトを示す。プロセッサ１２０のサーバ１２１は、３Ｄセンサ１１１、２Ｄセンサ１１２、及び／又はＰＯＳ１３０と直接インターフェース接続する。

図３では、プロセッサ１２０は、１つのサーバ１２１と１つのクライアント１２２を備える。言い換えると、プロセッサ１２０の少なくとも一部は、サーバ１２１の少なくとも１つの処理に関連してもよく、プロセッサ１２０の少なくとも一部は、クライアント１２２の少なくとも１つの処理に関連してもよい。より多くの処理能力が必要な場合、追加のクライアント、例えば、１つ以上のＧＰＵを、プロセッサ１２０に追加できることが理解されよう。図示しないが、幾つかの実施形態では、統合デバイスは、プロセッサ１２０、３Ｄセンサ１１１、２Ｄセンサ１１２、及び／又はＰＯＳ１３０を含むことができる。

システム１００は、同期及び非同期のいずれかの方法で行われる異なる処理の効率的な並列化を実行することができる。システム１００はまた、システム１００の物理的セットアップに基づいてプロセッサ１２０を増強又は縮小することも可能にする。このようにして、プロセッサ１２０は、処理されるデータ量をリアルタイム又は略リアルタイムで調整することができる。

サーバ１２１は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク接続を介して３Ｄセンサ１１１及び２Ｄセンサ１１２と直接インターフェース接続することができる。ｓｔｒｅａｍＲｅａｄｅｒ３Ｄモジュール１２３ａ及びｓｔｒｅａｍＲｅａｄｅｒ２Ｄモジュール１２３ｂは、それぞれ３Ｄ画像データストリーム及び２Ｄ画像データストリームを取得することができる。

３Ｄセンサ１１１は、ＴＣＰ／ＩＰ接続を介してシステム１００と通信する所定のライブラリを通じてプログラムでアクセス可能である。ライブラリは、３Ｄセンサ１１１の制御及び３Ｄセンサ１１１からのデータ検索のための文書化されたプラットフォーム独立ソフトウェアライブラリであり得る。ライブラリは、３Ｄセンサ１１１を構成及び制御し、３Ｄセンサ１１１から測定値を取得して解析するように動作可能である。システム１００は、スキャナが空中、移動、又は地上のスキャナであるかどうかに関係なく、３Ｄセンサ１１１として任意のスキャナ（例えば、Ｖラインスキャナ）と互換性があることを理解されたい。

所定のライブラリがセンサ／スキャナのハードウェアと互換性があるべきであると認められる。

サーバ１２１は、ユーザデータグラムプロトコル（ＵＤＰ）ネットワーク接続を介してＰＯＳ１３０と直接インターフェース接続することができる。ｓｔｒｅａｍＲｅａｄｅｒＰＯＳモジュール１２３ｃは、位置及び／又は方位関連データストリームを取得できる。

幾つかの実施形態では、データストリームの各データパケットは、図４の３１０ａ、３２０ａ及び３３０ａに示すように、個別のタイムスタンプを有し得る。タイムスタンプは、各データパケットを相互参照して、ｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４を使用してサーバ１２１のＧＰＵでジオレジストレーション（ｇｅｏｒｅｇｉｓｔｒａｔｉｏｎ；画像を位置調整する処理など）を実行するために使用される。ｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４は、２Ｄ画像データ及び３Ｄ画像データに適用される写真測量及びＬｉＤＡＲ方程式の実装であり得る。ラスターメトリック及び点群を作成すると、ラスターメトリック及び点群はサーバ内部のハードドライブにローカル保存される。

サーバ１２１は、一連のメッセージを１つ以上のクライアント１２２に送信して、生データセット、例えば、ラスターメトリック及び点群を、更なる処理に利用可能であることを通知することができる。

サーバ１２１から一連のメッセージを受信した後、各クライアント１２２は、サーバ１２１に、ｍｅｔｒｉｃＸＨａｎｄｌｅｒ１２５ａ～１２５ｎによる独自の処理タスクを実行するために必要なデータを提供するように要求することができる。必要なデータには、デジタル表面モデル（ＤＳＭ；Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌｓ）、デジタル地形モデル（ＤＴＭ；Ｄｉｇｉｔａｌ Ｔｅｒｒａｉｎ Ｍｏｄｅｌｓ）などの特定のメトリックが含まれるが、これに限定されない。

クライアント１２２が独自の処理タスクを正常に実行すると、クライアント１２２は、Ｓａｍｂａサーバ１２６（ＬＡＮ上のファイルサービス）を通じてアクセス可能なフォルダ内のサーバ内部ハードドライブに結果をコピーすることができる。

３Ｄ画像データストリーム、２Ｄ画像データストリーム、並びに位置及び／又は方位関連データストリームに加えて、システムインストールパラメータを含むシステムインストールファイルが、ｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４によって要求され得ることが理解されよう。幾つかの実施形態では、システムインストールパラメータは、ＰＯＳ １３０及びＧＰＳアンテナに対する３Ｄセンサ１１１及び２Ｄセンサ１１２の実際の空間分布及び方位に関わるため、システム物理設備に固有である。

幾つかの実施形態では、システム１００の構成全体を単純化するために、様々なパラメータを、サーバ１２１に格納できる所定のＸＭＬファイルに入力することができる。従って、単純なテキストエディタが、プロセッサ１２０を設定するために必要になる可能性がある。

図４は、本開示の幾つかの実施形態によるフロー図を示す。要素３１０ａ、３２０ａ、３３０ａ、３４０ａ、３５０ａ、３６０ａ、３６０ｂ、３６０ｃ、３７０ａ、３７０ｂ、３９０ａ、３９０ｂ、３９０ｃ、及びステップＳ３２０からＳ３９０の詳細を、図４を参照して説明する。

ｓｔｒｅａｍＲｅａｄｅｒモジュール１２３は、ＰＯＳモジュール１３０、３Ｄセンサ１１１及び２Ｄセンサ１１２のそれぞれに接続され、システム構成モジュール（システムインストールモジュール）１４０にも接続されている。ＰＯＳモジュール１３０は、Ｓ３３０ａで、ｓｔｒｅａｍＲｅａｄｅｒモジュール１２３に位置及び姿勢情報を送信する。３Ｄセンサ１１１は、３Ｄ撮像モジュール１１１に関してターゲット情報の空間座標を１２３に送信する。関連する属性情報、例えば、ターゲットの色、反射率なども、送信され得る。２Ｄモジュール１１２は、各レイヤーが赤・緑・青の色情報や様々なスペクトルバンドでの反射率測定値などの情報を持つことができる情報の関連する多数のレイヤーを有する２Ｄベクトルの形式で画像情報をｓｔｒｅａｍＲｅａｄｅｒモジュール１２３に送信する。システムインストールモジュール１４０は、ＸＭＬファイルに含まれる情報をｓｔｒｅａｍＲｅａｄｅｒモジュール１２３に渡す。これらの情報は、相互に関連する各センサの物理設備に関連しており、例えば、システムが搭載されている車両を含む。データストリーム３１０ａ、３２０ａ、３３０ａは、共通の１つの情報フィールドを有しており、タイムスタンプはＰＯＳモジュールのＰＰＳ（Ｐｕｌｓｅ Ｐｅｒ Ｓｅｃｏｎｄ）信号による３Ｄセンサ１１１と２Ｄセンサ１１２の同期から実際に取得される。

各ストリームは独自のレートで受信されるので、ストリーム３１０ａ、３２０ａ、３３０ａはｓｔｒｅａｍＲｅａｄｅｒモジュール１２３によって同期される。１２３によって同期及びマージされると、情報がｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４に渡され、実際の点群（３６０ａ）がモジュール１１１からのデータに対してジオリファレンスされ、画像がモジュール１１２からのデータから生成されてジオリファレンス（３６０ｃ）される 。ｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２３はまた、点群の各点についての全伝播不確実性（Ｔｏｔａｌ Ｐｒｏｐａｇａｔｉｏｎ Ｕｎｃｅｒｔａｉｎｔｙ）（３６０ｂ）情報を生成することができる。点群３６０ａ及び関連するラスター画像３６０ｃは、点群（３７０ａ）及び画像（３７０ｂ）の分類及びセグメント化のためにモジュール１２５ａにそれぞれ渡される。分類されると、２つのデータはモジュールＳ３８０によってマージされる。その後、マージされたデータは、ベクターファイル（３９０ａ）、ラスターファイル（３９０ｃ）の一連のセットを生成する最終的なフィーチャ抽出プロセスのためにモジュール１２５ｎに渡される。最終的に、これらのファイルは、高速に「検索及び発見」できるようにするためのデータベースなどにプッシュされる。更に、ベクターファイル３９０ａ及び３９０ｂを構成するファイルは、全てのユーザがリモートハードドライブ内の収集及び処理されたデータを確認して簡単なドラッグアンドドロップで自分のコンピュータにデータをコピーできるように、ＳＡＭＢＡサーバに配置される。簡易化のために図４に示すモジュール１２３がシステムログ（３５０ｓ）を書き込んでいるが、実際には、各実施形態において、モジュールＳ３５０、Ｓ３６０、Ｓ３７０、Ｓ３８０、Ｓ３９０は全てシステムログ（３５０ａ）に出力を書き込むことに留意することが重要である。

クライアント１２２は必要なデータパケットを収集し、データパケットを、サーバ１２１のｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４を介して直接ジオリファレンシングを処理できる様々なサブモジュールにディスパッチし、また、Ｓ３７０、Ｓ３８０、Ｓ３９０でクライアント１２２のｍｅｔｒｉｃＸＨａｎｄｌｅｒモジュール１２５ａ～１２５ｎを通じてメトリック生成にディスパッチすることができる。

プロセッサ１２３の動作の詳細は以下の通りである：
・ＳｔｒｅａｍＲｅａｄｅｒモジュール１２３
－ 図示しないが、ｓｔｒｅａｍＲｅａｄｅｒモジュール１２３は、ｓｔｒｅａｍＲｅａｄｅｒ３Ｄモジュール１１１、ｓｔｒｅａｍＲｅａｄｅｒ２Ｄモジュール１１２、ｓｔｒｅａｍＲｅａｄｅｒＰＯＳモジュール１２３ｃ、及びｓｙｓＣｏｎｆｉｇリーダー１２３ｄを含み得るが、これに限定されない。ｓｔｒｅａｍＲｅａｄｅｒモジュール１２３は、３Ｄ及び２Ｄセンサ用の撮像モジュール（３Ｄセンサ１１１又は２Ｄセンサ１１１）のそれぞれ、及びＰＯＳ Ｓ３３０と、インターフェース接続できる。３Ｄ画像データが３Ｄセンサ１１１からｓｔｒｅａｍＲｅａｄｅｒ３Ｄモジュール１１１に送信された後、２Ｄ画像データが２Ｄセンサ１１２からｓｔｒｅａｍＲｅａｄｅｒ２Ｄモジュール１１２に送信され、位置及び／又は方位関連データがＰＯＳ１３０からｓｔｒｅａｍＲｅａｄｅｒＰＯＳモジュール１２３ｃに送信され、ｓｔｒｅａｍＲｅａｄｅｒモジュール１２３は、３Ｄ画像データ、２Ｄ画像データ、位置及び／又は方位関連データ、並びにシステムインストール情報のそれぞれを、３Ｄセンサ１１１、２Ｄセンサ１１２、及びＰＯＳ１３０から受信又は収集することができる（Ｓ３５０）。

・ＤａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４
－ ｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４は、３Ｄ画像データ及び２Ｄ画像データの実際のジオリファレンシングを実行することができる（Ｓ３６０）。ジオリファレンシングにより、センサフレーム内の座標は、マッピングフレーム内の座標、例えば、ＥＣＥＦ座標に変換される。幾つかの実施形態では、変換を実行するために、ＬｉＤＡＲ方程式及び／又は写真測量方程式を使用することができる。幾つかの実施形態では、ｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４は、Ａｐｐｌａｎｉｘクラウドサービス又はＰｏｓＰＡＣスクリプト（図示せず）を使用して、軌跡の自動的な後処理を実行することができる。

－ 図示しないが、別のサブモジュールを追加して、３Ｄ画像データと２Ｄ画像データの最後にストリップアライメント（ｓｔｒｉｐ ａｌｉｇｎｍｅｎｔ）を実行することができる。ストリップアライメントにより、不正確な照準（ボアサイト）角度推定が改善される場合もある。幾つかの実施形態では、ｄａｔａＧｅｏｒｅｆＨａｎｄｌｅｒモジュール１２４は、ストリップアライメントを実行することができる。

－ 上記の座標変換は、後処理及びリアルタイム又は略リアルタイムの処理に適用できることが理解されよう。

・分類器用のＭｅｔｒｉｃｓ１Ｈａｎｄｌｅｒモジュール１２５ａ
－ これは、ジオリファレンシングの後に発生するデータ処理（Ｓ３７０）の第１段階である。Ｍｅｔｒｉｃｓ１Ｈａｎｄｌｅｒモジュール１２５ａは、３Ｄ画像データ及び２Ｄ画像データの分類器であり得る。

－ ２Ｄ画像データについては、マルチスペクトル撮像器の場合、画像データが最初に放射輝度的に補正され、次に幾何学的に補正された後、ＮＤＶＩ、ＳＲ、ＰＲＩなどの幾つかの指数がバンド比から抽出又は生成され、ほとんどの場合、２Ｄ画像データがリモートセンシング画像分析を使用して処理され、２Ｄ画像データがセグメント化される。

－ ３Ｄ画像データについては、点群の強度値を幾何学的に補正し、放射輝度的に較正することができる。その後、各セルに含まれる点の数に関係なく、複数のセルが同じサイズを有するように八分木が計算される。その後、データ点の各々について法線が計算され、計算された法線に基づいて複数のセルの各々について固有値及び／又は固有ベクトルが作成される。法線は、一連のデータ点に最適な平面に垂直なベクトルである。幾つかの実施形態では、複数のセルの各々の固有値及び／又は固有ベクトルは、データ点の最近傍の各々から作成された共分散行列に対するものである。その後、固有値が正規化され、複数のセルの各々について少なくとも１つの幾何学的属性が計算される。幾何学的属性には、直線性、平面性、散乱、全方向性、異方性、固有エントロピー、局所曲率、正常値、標高、地上標高（ＡＧＥ）に関するデルタ標高が含まれるが、これらに限定されない。

－ 次に、幾何学的属性に従って点群がセグメント化される。幾何学的特徴、標高、法線及び強度、均一性／変動又は値の少なくとも１つを使用して、点群をセグメント化できることが理解されよう。各セルのデータ点は、予め決められたクラスのセット、例えば、ＡＳＰＲＳ ＬｉＤＡＲクラスに従って分類される。その後、データ点はメッシュ化され、ＡＧＥ推定のレベル０として使用される。 従って、データ点の各々は、クラスとＡＥＧ標高値を持つことができる。

・データ融合用のＭｅｔｒｉｃｓ２Ｈａｎｄｌｅｒモジュール１２５ｂ
－ 次に、２Ｄ画像データと３Ｄ画像データがマージされる（Ｓ３８０）。ｍｅｔｒｉｃｓ２Ｈａｎｄｌｅｒモジュール１２５ｂは、マージされた画像データに基づいて、複数のセルの各々について少なくとも１つの幾何学的属性を再計算し、及び／又はデータ点の各々を再分類することができる。ｍｅｔｒｉｃｓ２Ｈａｎｄｌｅｒモジュール１２５ｂは、幾何学的属性の再計算又はデータ点の各々の再分類のいずれかを選択して実行することができる。

－ 幾何学的属性の再計算に関して、ｍｅｔｒｉｃｓ２Ｈａｎｄｌｅｒモジュール１２５ｂは、他の幾何学的属性、例えば、植生の健康、クロロフィル濃度などを追加することができる。パッシブセンサで且つ視覚に関して透過能力を持たない２Ｄセンサ１１２から２Ｄ画像データが生じるので、幾何学的属性のデータ点への追加は最初の戻り点に限定される。

－ データ点の再分類、つまり分類の改善に関して、植生指数の２Ｄ画像データを使用して、点群内の植生の描写を補強及びアフィン変換する。２Ｄ画像データと３Ｄ画像データの融合は、写真測量と光線追跡の原理に依存する場合がある。

－ 幾つかの実施形態では、２Ｄ画像データがない場合、Ｓ３８０のこのステップは省略することができる。

・アドホック処理用のＭｅｔｒｉｃｓＮＨａｎｄｌｅｒモジュール１２５ｎ
－ ｍｅｔｒｉｃｓＮＨａｎｄｌｅｒモジュール１２５ｎは、クラス及びＡＥＧ標高値を有するデータ点の各々を地理情報の生成に適用するために使用される（Ｓ３９０）。このようにして、ｍｅｔｒｉｃｓＮＨａｎｄｌｅｒモジュール１２５ｎは、ユーザが望む地理情報を生成することができる。

システム１００は、２Ｄ画像データなしで地理情報を生成できることが理解されよう。２Ｄ画像データがない場合、１１２のステップと３２０ａ、３６０ｃ、３７０ｂの要素を図４から省略できる。

説明全体にわたってリアルタイム又は略リアルタイムのデータ処理を説明したが、プロセッサ１２０はポストプロセッサとしても動作できることを理解されたい。プロセッサ１２０がポストプロセッサとして使用される場合、２Ｄ画像データ及び／又は３Ｄ画像データは、２Ｄセンサ１１２及び／又は３Ｄセンサ１１１の代わりに、１つ以上の画像ファイル、例えば、２Ｄ画像ファイル及び／又は３Ｄ画像ファイルから受信される。

幾つかの実施形態では、３Ｄ画像ファイル、例えば、生のＬｉＤＡＲファイルは、ＲＸＰファイルであり、所定のライブラリを通じてアクセス可能であり得る。ＰＯＳファイルについては、ＳＢＥＴ（Ｓｍｏｏｔｈ Ｂｅｓｔ Ｅｓｔｉｍａｔｅ Ｔｒａｊｅｃｔｏｒｙ）形式の後処理軌跡、又はＡｐｐｌａｎｉｘ ＰｏｓＰＡＣソフトウェアから生成された「ｆｉｌｅ ｒｎａｖ＿Ｍｉｓｓｉｏｎ１．ｏｕｔ」形式のいずれであってもよい。後者のファイル形式は、ＲＴＫ（リアルタイム基地局補正）又はＲＴＸ（リアルタイム衛星補正）などのリアルタイム位置情報サービスを用いる場合に使用できる。後者のファイルはＳＢＥＴファイル形式と同じ形式の場合があるが、後処理を適用する必要はない。２Ｄ画像ファイルについては、２Ｄセンサ１１２のタイプに依存する場合がある。２Ｄセンサ１１２がｍｉｃｒｏ－ＣＡＳＩなどのプッシュブルーム（ｐｕｓｈ－ｂｒｏｏｍ）センサを有する場合、生の２Ｄ画像は、最初にＳＢＥＴ軌跡を使用して後処理された画像であってもよく、その後、この画像をプロセッサ１２０に供給することができる。ＣＭＯＳセンサが２Ｄセンサ１１２として使用される場合、それらの時間タグを伴う２Ｄ画像をプロセッサ１２０に直接供給することができる。

図５は、本開示の幾つかの実施形態による地理情報の生成に関するフロー図を示す。

点群を分析した後、地理情報を生成することができる。プロセッサ１２０は、ユーザから生成される地理情報のタイプの選択を受け取る。図示しないが、プロセッサ１２０は、様々なタイプの地理情報を提案することができ、ユーザは、ユーザが生成を望む少なくとも１つの地理情報を選択することができる。

プロセッサ１２０は、選択された地理情報に関連する少なくとも１つのフィーチャを抽出する。フィーチャは、地理フィーチャ又はオブジェクトフィーチャのうちの少なくとも１つを含み得るが、これに限定されない。

地理情報には、３Ｄフィーチャ抽出、分類及びセグメント化、道路及び舗装表面の状態監視及びメンテナンス、自然環境及び建造環境における変化の検出、又はツリーヘルスなどの植物情報、に起因する高解像度マップが含まれるが、これに限定されない。 幾つかの実施形態では、地理情報は、キャノピー下（ｕｎｄｅｒ－ｃａｎｏｐｙ）マッピング情報又は緊急応答情報を含み得るが、これに限定されない。

・ＨＤマップ
－ プロセッサ１２０は、以下のように地理情報としてＨＤマップを生成することができる。 生成プロセスは、図２のＳ２６０に対応する。

－ プロセッサ１２０は、選択された地理情報に関連する少なくとも１つのフィーチャを抽出する。抽出されるフィーチャは、道路の状態に関連する可能性があり、道路の中心線、道路標識、縁石、信号機及び街灯、標識、ケーブルなどが含まれるが、これに限定されない。抽出プロセスは、図２のＳ２５０に対応する。幾つかの実施形態では、プロセッサ１２０は、デュアルスキャナモバイルマッピングシステムと共に使用されてもよい。デュアルスキャナモバイルマッピングシステムは、２つのＬｉＤＡＲセンサ、コントローラユニット、カメラトリガーボックス、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ；全地球型測位システム）レシーバ、及び３６０°球面カメラで構成される。特に、プロセッサ１２０は、Ａｐｐｌａｎｉｘ ＡＰ６０、ＶＭＸシステム（２つのＲｉｅｇｌ ＶＵＸ－１ＨＡを有するＲｉｅｇｌのＭＭＳ ＶＭＸ－１ＨＡ）、及びＦＬＩＲから提供されるＬｅａｄｂｕｇ５カメラと共に使用されてもよい。

－ プロセッサ１２０は、３６０°回転するＬｉＤＡＲセンサを３Ｄプロファイリングセンサ（３Ｄセンサ１１１）として使用することができる。幾つかの実施形態では、プロセッサ１２０は更に、２Ｄプロファイリングセンサ（２Ｄセンサ１１２）を使用することができる。プロファイリングセンサは、２Ｄスライスを収集できる。２Ｄスライスを積み重ねて、３Ｄ画像データを生成することができる。

－ 例えば、道路の中心線抽出については、プロファイリングセンサを使用して、中心線を抽出できるように、車両後方の略垂直な２Ｄスライスを抽出する。抽出を実現するために、移動平均の計算によるスライドウィンドウを使用した区分線形時系列セグメンテーション（Ｐｉｅｃｅｗｉｓｅ Ｌｉｎｅａｒ Ｔｉｍｅ Ｓｅｒｉｅｓ Ｓｅｇｍｅｎｔａｔｉｏｎ）アプローチを用いて点群を分析し、点群のコーナー（ｃｏｒｎｅｒｓ）又はブレイク（ｂｒｅａｋｓ）を見つけることができる。この分析プロセスは、図２のＳ２４０に対応する。車両との相対的な位置や相互の位置にセマンティック分析（ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ）を適用すると、道路の端及び／又は縁石が特定され、中心線が推定される。点群の分析を実現するために、点群は画像データを使用して生成されてもよい。この生成プロセスは、図２のＳ２３０に対応する。

－ 幾つかの実施形態では、ＰＯＳ１３０、例えば、ＩＭＵによって生成された位置及び／又は方位関連データの累積の分析は、道路の中心線を検出するのに役立てることができる。幾つかの実施形態では、中心線の検出は、処理時間を短縮するために、スライド分析ウィンドウを正しい方向にスライドさせるガイドとして使用できる一組の方向ベクトルを提供することができる。幾つかの実施形態では、累積は、ポリライン（ｐｏｌｙｌｉｎｅｓ）に変換することもでき、その後、シェイプファイル（Ｓｈａｐｅｆｉｌｅ）のベクトルファイルとして保存することができる。保存したファイルは、後で再検査することができる。

－ 幾つかの国では、縁石は同じパターンであり、例えば、黒と灰色（石又はコンクリートの自然色）の交互の帯である。従って、縁石の抽出は、物理的属性、例えば、その色や反射率だけでなく、幾何学的特性にも基づいている。抽出は、道路の両側が抽出されているので、中心線の検出後に行うことができる。道路の端が見つかった後、反射率を分析して縁石の境界を見つけることができる。

－ 道路標識は、強度属性に基づいて抽出できる。道路の点群は、縁石境界情報を使用して、全体的な点群から抽出できる。このサブ点群、つまり抽出された点群から強度の閾値が適用され、残りの点はユークリッド距離フィルタを使用してクラスタ化される。その後、各クラスタの形状及びラベルが分析される。

－ 抽出された円柱型ベースのフィーチャは、街灯、信号機などの人工オブジェクト、又は木のいずれかであり得ることが理解されよう。データのスライスは、ＡＧＥが１から１．３メートルの間で抽出される。次に、このデータのスライスを、処理時間を短縮するために小さなパーツに分割する。例えば、このデータスライスは、ユークリッド距離セグメンテーションアルゴリズムを使用してクラスタ化される。各クラスタについて、円柱がデータのクラスタ化されたスライスに当て嵌められ、フィッティングスコアが出力される。フィッティングスコアは、形状のタイプを評価するために使用される。幾つかの実施形態では、フィッティングスコアは、実際の残差法線であってもよく、点及び円柱から推定された最良フィッティング平面間の直交距離の実際のＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ；二乗平均平方根誤差）であってもよい。

－ フィッティングスコアが高い場合、クラスタは円柱形を示し、木又は何らかの人工ポールであることを意味する。フィッティングスコアが低い場合、クラスタは円柱形ではなく、後で処理するためにひとまず置いておくことができる。各フィッティングについて、プロセッサ１２０は、（これ以上の点が利用できなくなるまで）１メートル毎又は２メートル以上でデータ点の他のスライスを抽出し、円柱フィッティングを実行することができる。後続のフィッティングが高得点を示し、同様の円柱の特性が全て、地理的中心Ｘ、Ｙが同じであると共に各クラスタ内の点の一致数の付近に集中している場合、プロセッサ１２０は、このフィーチャが人工的なフィーチャであると想定する。その後、最下位のクラスタの重心の周りのバッファ領域を抽出することにより、更に処理が実行される。その後、スライスシーケンスの属性を、機械学習アプローチを使用して（高さ、直径などに基づいて）オブジェクトのタイプを確立するために使用できる。

－ 木の場合、バッファリングされた点群にＱＳＭ（Ｑｕａｎｔｉｔａｔｉｖｅ Ｓｔｒｕｃｔｕｒｅ Ｍｏｄｅｌ；量的構造モデル）アルゴリズムが適用される。このアルゴリズムは、幹及び分岐ネットワーク（ｔｒｕｎｋ ａｎｄ ｂｒａｎｃｈｅｓ ｎｅｔｗｏｒｋ）から水密メッシュを生成することができる。このメッシュから、プロセッサ１２０は、境界ボックスを評価し、バッファゾーンのサイズを調整することができる。この新しいバッファゾーンについて、プロセッサ１２０は、円又は楕円体を当て嵌めることにより、ＡＧＥ及びそのクラウン直径に関する木の高さを評価することができる。

－ 幾つかの実施形態では、フィッティングスコア、例えば、残差法線に基づいて、フィッティングオブジェクトを決定することができる。フィッティングオブジェクトは、円柱、円、及び／又は楕円体を含み得るが、これに限定されない。幾つかの実施形態では、フィッティングを実行するライブラリは、フィッティングのための複数のタイプのオブジェクトを提供し、フィッティングスコアを出力することができる。

－ その後、プロセッサ１２０は、ＱＳＭアルゴリズムによって生成されたメッシュを使用して、ツリー（幹及び分岐ネットワーク）のボリュームを評価することができる。ボリューム及び樹種情報から、例えば、第３の情報源から、プロセッサ１２０は、木の重量及び／又は炭素含有量を評価することができる。

－ 全てのオブジェクトは地理情報システムデータベースに保存され、そこで表示及び更に分析することができます。

－ リアルタイム又は略リアルタイムの結果は、適切なタイムスタンプと共にＩＭＵ／ＢＯＤＹ参照フレームに保存される。これにより、ユーザがより正確な位置を望む場合にフィーチャの最終位置を調整でき、軌跡を後処理してＳＢＥＴファイルを取得し、それを対象の点に適用することができる。

・ツリーヘルス（図５に示す）
－ プロセッサ１２０は、以下のように地理情報としてツリーヘルス情報（樹木健康情報）を生成することができる。 この生成プロセスは、図２のＳ２６０に対応する。

－ プロセッサ１２０は、道端、公園、及び住宅街区に沿った樹木のマッピングを実行し、それらの健康状態を評価することができる。地理情報は、以下の情報の少なくとも１つを決定するためにアーボリスト（ａｒｂｏｒｉｓｔ；樹木の栽培や手入れ方法に詳しい専門家）によって使用されてもよい：画像に基づく樹種、地面から所定メートルの高さでの樹木の周囲の測定値、推定樹高及び樹冠サイズ、マッピングされた全ての樹木の樹木位置、又は地面から所定メートルの高さでの幹の重心を示す点フィーチャ。

－ このアプリケーションでは、２種類の運動学的システム統合を使用できる。第１のシステムは、自動車などの車両についてのものであってもよく、他のシステムは、バックパックについてのものであってもよい。幾つかの実施形態では、プロセッサ１２０は、ＲｉｅｇｌのＭＭＳ ＶＭＸ－１ＨＡと共に使用されてもよい。ＲｉｅｇｌのＭＭＳ ＶＭＸ－１ＨＡは、２つのＲｉｅｇｌ ＶＵＸ－１ＨＡ、コントローラユニットとカメラトリガーボックス、Ａｐｐｌａｎｉｘ ＡＰ６０、ＦＬＩＲの３６０°球状のＬａｄｙｂｕｇ５カメラ、及び、１つ又は２つのｍｉｃｒｏＣＡＳＩ－１９２０ Ｉｔｒｅｓで構成することができる。他の実施形態では、第２のシステムは、プロセッサ１２０（フットプリントが小さい）、ＡｐｐｌａｎｉｘのＡＰＸ２０を備えたＲｉｅｇｌ ｍｉｎｉＶＵＸ－１ＵＡＶ、Ｔｈｅｔａ Ｖ、Ｒｉｃｏｈの３６０°全天球カメラ、及び、Ｉｔｒｅｓのｍｉｃｒｏ－ＣＡＳＩ １９２０で構成することができる。

－ 処理ワークフローは、上記のＨＤマップと同じである。これは、３Ｄ撮像機と２Ｄ撮像機から３Ｄデータと２Ｄデータを取得し、軌跡情報を使用してジオリファレンスすることを意味する（Ｓ５０１及びＳ５０５）。点群には、幾何補正（Ｓ５０３）と輝度補正（Ｓ５０４）を適用することができる。点群は、図３及び図４と同じ方法で生成できることを理解されたい。Ｓ５０３及びＳ５０４は、図２のＳ２４０に対応する。しかしながら、この用途では、追加の２Ｄセンサ１１２、例えば、ハイパースペクトル撮像機が、ＮＤＶＩ、ＳＲＩなどのハイパースペクトル植生指数の分析を通じてシーン内の植生を特定するのに役立つ（Ｓ５１１）。

－ まず、３Ｄ画像データとしてのＬｉＤＡＲデータは、上述のようにＨＤマップに提示された方法を使用して分類することができる。その後、ハイパースペクトル撮像機からの２Ｄ画像データは、ＩｔｒｅｓのＲＣＸライブラリを使用して放射輝度的に補正され（Ｓ５０７）、軌跡情報を使用して幾何学的に投影される（Ｓ５０８）。最後に、較正及び地理補正（ｇｅｏｒｅｃｔｉｆｙ）された画像データ（Ｓ５１０）、例えば、較正及び地理補正された２Ｄ画像データは、大気補正を受けることができる（Ｓ５０９）。しかしながら、このアプリケーションでは、センサとオブジェクト間の距離は最小であり、樹木は地面にあるので大気補正は適用されない。

－ 続いて、ＮＤＶＩの値を算出する（Ｓ５１１）。計算されたＮＤＶＩの値に基づいて、フィーチャを抽出及び／又は決定することができる。この抽出及び／又は決定プロセスは、図２のＳ２５０に対応する。ＮＤＶＩの値が低い場合、例えば、０．１以下の場合は、植生のないエリアを示している可能性がある。ＮＤＶＩの値が中程度の場合、例えば、０．２～０．３の場合は、低木と草を示している可能性がある。ＮＤＶＩの値が高い場合、例えば、０．６～０．８の場合は、木や森を示している可能性がある。基準値は、ユーザ及び／又はプロセッサ１２０によって決定することができる。

－ この時点で、３Ｄ画像及び２Ｄ画像、Ｓ５１０、Ｓ５１１、Ｓ５０６及びＳ５０４は、タイムスタンプ情報に基づいて融合される。融合プロセスは、点群の色付け（Ｓ５２１）、形状、色、強度属性に基づく分類（Ｓ５２２）、最後にセグメント化（Ｓ５２３）を含むことができる。ツリーヘルスの場合、点群からトレス（ｔｒｅｓｓ）を抽出し、ＱＳＭアルゴリズムを使用してボリュームを推定するための樹木メッシュを生成する（Ｓ５２４）。メッシュボリュームの推定値（Ｓ５２５）から、ローカルのアーボリストによって提供された樹種情報と樹木ボリュームを使用して、炭素含有量を推定することができる（Ｓ５２６）。最後に、ツリーヘルス指数は、Ｓ５１１の植生指数を使用して推定することができる。

代替又は代用ではなく、上記の特徴の変形及び組み合せを、本発明の意図される範囲内に入る更なる別の実施形態を形成するように組み合わせてもよいことが、当業者に更に理解されるべきである。

Claims (19)

1. 地理情報の生成を容易にするためのシステムであって、
   画像データを取得するように動作可能な撮像モジュールと、
   前記画像データを受け取り、前記画像データを使用して複数のデータ点を有する点群を生成するように動作可能なプロセッサとを備え、
   前記プロセッサは更に、前記点群を分析して地理情報に関連する少なくとも１つのフィーチャを抽出し、前記抽出されたフィーチャを使用して前記地理情報を生成するように動作可能であることを特徴とするシステム。
2. 請求項１に記載のシステムにおいて、
   前記撮像モジュールは、前記画像データとして３Ｄ画像データを生成するように動作可能な少なくとも１つの３Ｄセンサを含むことを特徴とするシステム。
3. 請求項１又は請求項２に記載のシステムにおいて、
   前記点群の生成は、前記画像データのジオリファレンシングを含むことを特徴とするシステム。
4. 請求項１乃至請求項３のいずれかに記載のシステムにおいて、
   位置及び／又は方位関連データを前記プロセッサに送信するように動作可能な位置及び方位システム（ＰＯＳ）を更に備えることを特徴とするシステム。
5. 請求項４に記載のシステムにおいて、
   前記プロセッサは、前記送信されたデータを解析し、前記解析された情報を使用して前記画像データのジオリファレンシングを実行するように動作可能であることを特徴とするシステム。
6. 請求項１乃至請求項５のいずれかに記載のシステムにおいて、
   前記プロセッサは、前記点群を放射輝度的及び／又は幾何学的に補正するように動作可能であることを特徴とするシステム。
7. 請求項１乃至請求項６のいずれかに記載のシステムにおいて、
   前記プロセッサは、八分木を計算し、前記計算された八分木に基づいて、複数のセルの各々が同じサイズになるように、前記点群を複数のセルに分割するように動作可能であることを特徴とするシステム。
8. 請求項７に記載のシステムにおいて、
   前記プロセッサは、前記複数のデータ点の各々の法線を計算し、前記計算された法線に基づいて、前記複数のセルの各々の固有値を作成するように動作可能であることを特徴とするシステム。
9. 請求項８に記載のシステムにおいて、
   前記プロセッサは、前記複数のセルの各々の前記固有値を正規化することによって、前記複数のセルの各々の少なくとも１つの幾何学的属性を計算するように動作可能であることを特徴とするシステム。
10. 請求項９に記載のシステムにおいて、
    前記プロセッサは、前記幾何学的属性に従って、前記点群をセグメント化するように動作可能であることを特徴とするシステム。
11. 請求項１０に記載のシステムにおいて、
    前記プロセッサは、前記幾何学的属性に従ってセグメント化された点群に基づいて、前記複数のデータ点の各々を分類するように動作可能であることを特徴とするシステム。
12. 請求項１乃至請求項１１のいずれかに記載のシステムにおいて、
    前記撮像モジュールは、２Ｄ画像データを生成するように動作可能な少なくとも１つの２Ｄセンサを更に含むことを特徴とするシステム。
13. 請求項１２に記載のシステムにおいて、
    前記プロセッサは、前記２Ｄ画像データと前記３Ｄ画像データをマージするように動作可能であることを特徴とするシステム。
14. 請求項９乃至請求項１１のいずれかに記載のシステムにおいて、
    前記プロセッサは、前記マージされた画像データに基づいて、前記複数のセルの各々の少なくとも１つの幾何学的属性を再計算し、及び／又は、前記複数のデータ点の各々を再分類するように動作可能であることを特徴とするシステム。
15. 請求項１乃至請求項１４のいずれかに記載のシステムにおいて、
    前記プロセッサは、生成する地理情報のタイプの選択を受け取り、前記生成する地理情報に関連する少なくとも１つのフィーチャを抽出するように動作可能であることを特徴とするシステム。
16. 請求項１乃至請求項１５のいずれかに記載のシステムにおいて、
    前記地理情報は、高精細マップ、植物情報又は公共インフラストラクチャ情報の少なくとも１つを含むことを特徴とするシステム。
17. 請求項１乃至請求項１６のいずれかに記載のシステムにおいて、
    前記フィーチャは、地理フィーチャ又はオブジェクトフィーチャの少なくとも１つを含むことを特徴とするシステム。
18. 請求項１乃至請求項１７のいずれかに記載のシステムにおいて、
    前記撮像モジュールは、以前に取得された画像データを前記プロセッサに提供するように動作可能であることを特徴とするシステム。
19. 地理情報の生成を容易にするための方法であって、
    撮像モジュールで、画像データを取得し、
    プロセッサで、前記撮像モジュールから前記画像データを受信し、
    前記プロセッサで、前記画像データを使用して複数のデータ点を有する点群を生成し、
    前記プロセッサで、前記点群を分析し、
    前記プロセッサで、地理情報に関連する少なくとも１つのフィーチャを抽出し、
    前記プロセッサで、前記抽出されたフィーチャを使用して前記地理情報を生成することを特徴とする方法。

Images