JP2019532380A

JP2019532380A - 変化検出ベースのイメージ獲得タスキングシステム

Info

Publication number: JP2019532380A
Application number: JP2019505061A
Authority: JP
Inventors: スジョイ・バネルジー; ヤン・メイスター; ブライアン・エドモンド・ブリューイントン
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2016-08-24
Filing date: 2016-08-24
Publication date: 2019-11-07
Anticipated expiration: 2036-08-24
Also published as: GB201715843D0; KR102208347B1; GB2555228A; EP3504661A1; WO2018038720A1; US10922578B2; CN108351959B; US20180253621A1; GB2555228B; JP6740454B2; DE112016002817T5; KR20190029610A; CN108351959A; EP3504661B1

Abstract

画像獲得システムをタスキングするためのシステムおよび方法が提供される。一実施形態では、方法が、地理的エリアに関連する複数の画像を表すデータを取得するステップを含む。本方法は、地理的エリアに関連する1つまたは複数の変化の発生を決定するために、複数の画像の少なくともサブセットを解析するステップを含む。本方法は、地理的エリアに関連する1つまたは複数の変化の発生に少なくとも一部基づいて、地理的エリアに関連する変化のレベルを決定するステップを含む。本方法は、変化のレベルに少なくとも一部基づいて、地理的エリアに関連するイメージデータの獲得を調整するために、画像獲得システムに制御コマンドを提供するステップを含む。

Description

本開示は、一般に、画像獲得システムをタスキングすることに関し、より詳細には、地理的エリアの機械学習型変化検出に少なくとも一部基づいて画像獲得システムをタスキングすることに関する。

地理的ロケーションの画像は、地理的ユーザインターフェース、ナビゲーションシステム、オンライン検索応答などのような様々な目的に使用され得る。これらの画像は、たとえば、特定の地理的ロケーションのイメージをキャプチャするようにプログラムされた衛星によって獲得され得る。場合によっては、特定のロケーションに関連する画像キャプチャの頻度は、オンラインユーザインプレッションに依存し得る。たとえば、ユーザが特定のロケーションを検索すること、および/またはユーザインターフェース内でそのロケーションを見ることが多くなるほど、衛星のシステムがそのロケーションの画像を獲得する頻度が高くなり得る。だが、この手法は、どのエリアが最大量の変化を経験しているかを正確に捉えないことがある。

本開示の実施形態の態様および利点は、一部以下の説明に記載され、または説明からわかることがあり、または実施形態の実践を通じてわかることがある。

本開示の1つの例示的な態様は、画像獲得システムをタスキングするコンピュータ実装方法を対象とする。本方法は、1つまたは複数のコンピューティングデバイスによって、地理的エリアに関連する複数の画像を表すデータを取得するステップを含み、各画像は、地理的エリアの少なくとも一部分を示し、各画像は、異なる時間にキャプチャされている。本方法は、1つまたは複数のコンピューティングデバイスによって、地理的エリアに関連する1つまたは複数の変化の発生を決定するために、複数の画像の少なくともサブセットを解析するステップをさらに含む。本方法は、1つまたは複数のコンピューティングデバイスによって、地理的エリアに関連する1つまたは複数の変化の発生に少なくとも一部基づいて、地理的エリアに関連する変化のレベルを決定するステップを含む。本方法は、1つまたは複数のコンピューティングデバイスによって、変化のレベルに少なくとも一部基づいて、地理的エリアに関連するイメージデータの獲得を調整するために、画像獲得システムに制御コマンドを提供するステップをさらに含む。

本開示の別の例示的な態様は、画像獲得システムをタスキングするためのコンピューティングシステムを対象とする。本システムは、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに、複数の画像を表すデータを取得させる命令を記憶する少なくとも1つの有形の非一時的コンピュータ可読媒体とを備え、各画像は、地理的エリアの少なくとも一部分を示し、各画像は、異なる時間にキャプチャされている。命令はシステムに、地理的エリアに関連する1つまたは複数の変化の発生を決定するために、複数の画像の少なくともサブセットを解析させる。命令はシステムに、地理的エリアに関連する1つまたは複数の変化の発生に少なくとも一部基づいて、地理的エリアに関連する変化のレベルを決定させる。命令はシステムに、変化のレベルに少なくとも一部基づいて、地理的エリアに関連するイメージデータの獲得を調整するために、画像獲得システムに制御コマンドを提供させる。

本開示の他の例示的な態様は、画像獲得システムをタスキングするためのシステム、装置、有形の非一時的コンピュータ可読媒体、ユーザインターフェース、メモリデバイス、および電子デバイスを対象とする。

様々な実施形態のこれらおよび他の特徴、態様および利点は、以下の説明および添付の特許請求の範囲を参照して一層理解されよう。本明細書に組み込まれ、本明細書の一部となる添付の図面は、本開示の実施形態を示しており、説明とともに、関連する原理を説明する働きをする。

当業者を対象とする実施形態の詳細な説明は、本明細書に記載されており、以下の添付の図を参照する。

本開示の例示的な実施形態による、例示的なシステムを示す図である。本開示の例示的な実施形態による、地理的エリアの例示的な複数の画像を示す図である。本開示の例示的な実施形態による、機械学習型モデルのトレーニングを示す図である。本開示の例示的な実施形態による、部分に分割された例示的な複数の画像を示す図である。本開示の例示的な実施形態による、例示的な機械学習型モデルを示す図である。本開示の例示的な実施形態による、複数の地理的エリアの変化のレベルを示すグラフ表現を示す図である。本開示の例示的な実施形態による、例示的な方法の流れ図である。本開示の例示的な実施形態による、例示的な方法の流れ図である。本開示の例示的な実施形態による、例示的なシステムを示す図である。

ここで、実施形態が詳細に言及され、その1つまたは複数の例が図面に示される。各例は、本開示の限定ではなく、実施形態の説明として提供される。実際、本開示の範囲または趣旨から逸脱することなく、実施形態に対して様々な修正および変更が行われてよいことが、当業者には明らかであろう。たとえば、一実施形態の一部として図示または説明される特徴は、またさらなる実施形態をもたらすために、別の実施形態とともに使用されてよい。したがって、本開示の態様がそのような修正および変更をカバーすることが意図されている。

本開示の例示的な態様は、地理的エリア内の変化の検出に少なくとも一部基づいて画像獲得システムをタスキングすることを対象とする。たとえば、1つまたは複数の機械学習型モデルを有する機械学習コンピューティングシステムが、住宅地区などの特定の地理的エリアに関連する複数の画像を受信することがある。画像の各々は、(たとえば、1日、1週、1月、1年の時間期間によって分けられた)異なる時間にキャプチャされ得る。コンピューティングシステムは、地区内の変化の発生を決定するために画像を解析することができる。詳細には、一例では、コンピューティングシステムは、地区内の様々なサブ領域(たとえば、土地区画)に関連する建物、道路などの変化を識別するために画像を評価するために機械学習型バイナリ分類器モデルを使用することができる。コンピューティングシステムは、地区に関連する全体的な変化のレベルを決定するために、サブ領域の各々の中の検出された変化(またはそれがないこと)を総計することができる。コンピューティングシステムは、決定された変化のレベルに少なくとも一部基づいて、地理的エリアに関するイメージデータの獲得を調整するために、画像獲得システムをタスキングすることができる。たとえば、多数の建物および/または道路が地区に追加されている場合、画像獲得システムは、(たとえば、空中プラットフォーム(Aerial Platform)によって)地区の画像が取得される頻度を増やすことができる。一方、地区が低い変化のレベルを経験しているか、または変化をまったく経験していない場合、画像獲得システムは、地区の画像が取得される頻度を減らすことができる。このようにして、画像獲得システムは、新しいイメージデータを獲得する方法および場所に関する向上したレベルの指針を受け取ることができ、その獲得リソースはより効率的に割り振られ得る。

より詳細には、本開示の態様による例示的なシステムが、機械学習コンピューティングシステムおよび画像獲得システムを含むことができる。コンピューティングシステムは、地理的エリアに関連する複数の画像を表すデータを取得することができ、各画像は、地理的エリアの少なくとも一部分を示す。地理的エリアは、天体(たとえば、地球、月、火星、他の天体)の領域、国、州、自治体の領域、土地の境界によって画定されたエリア、地区、サブ区分、学区、ショッピングセンター、オフィスパークなどを含むことができる。いくつかの実装形態では、コンピューティングシステムは、地理的エリアのイメージを記憶するアクセス可能な画像データベースから画像データを取得することができる。画像データベースは、コンピューティングシステム自体、画像獲得システム、ならびに/または機械学習コンピューティングシステムおよび画像獲得システムとは別個の、別のコンピューティングシステムに関連付けられ得る。

画像データベースは、地理的エリアに関連する様々なタイプの画像データを記憶することができる。たとえば、画像データは、地上レベルの画像(たとえば、街路レベルのパノラマ画像、光検出および測距(LIDAR: Light Detection And Ranging)データのセット、地上のレベルまたはその近くでの他のイメージ)ならびに頭上画像(たとえば、頭上から見た画像)を含むことができる。画像は、光学画像、赤外線画像、LIDARデータ画像、ハイパースペクトル画像、または任意の他のタイプのイメージであり得る。その上、画像は、街路レベル(Street-level Platform)のプラットフォーム(たとえば、自動車)および/または空中プラットフォーム(たとえば、航空機、UAV、衛星)などの画像キャプチャプラットフォームによって獲得され得る。たとえば、画像データベースは、画像獲得システムによって以前キャプチャされた画像を記憶することができる。追加および/または代替として、画像は、ユーザが提出したイメージ(たとえば、写真)であり得る。機械学習コンピューティングシステムは、本明細書で説明するようなイメージ(たとえば、頭上間の画像)の比較を容易にするために(画像データベースから)同様の画像にアクセスすることができる。

いくつかの実装形態では、コンピューティングシステムは、ロケーションデータに少なくとも一部基づいて、関心地理的エリアを識別することができる。たとえば、コンピューティングシステムは、複数のユーザデバイス(たとえば、電話、タブレット、他のモバイルコンピューティングデバイス)に関連するロケーションデータを取得することができる。ロケーションデータは、ユーザデバイスに関連するロケーションを表し得る。たとえば、ロケーションデータは、ユーザデバイスに関連する緯度および経度を識別するジオコードを含む1つまたは複数の未加工ロケーション報告を含むことができる。これによりコンピューティングシステムが、特定の地理的エリアに関連する重要性のレベルを決定することが可能になり得る。例として、ロケーションデータは、多数のユーザが特定の地区(または地区内のサブ区分)を最近訪問していることを示すことがある。ユーザトラフィックの量が多いことは、地区に関連する高い重要性のレベル(たとえば、ユーザの関心、変化のエリアの可能性)を示し得る。したがって、コンピューティングシステムは、変化の発生を決定すべきである関心地理的エリアとして地区を識別することができる。

コンピューティングシステムは、地理的エリアに関連する1つまたは複数の変化の発生を決定するために、複数の画像の少なくともサブセットを解析することができる。たとえば、コンピューティングシステムは、新しい建物および/または道路の追加、進行中の建物および/または道路の建設、建物および/または道路の除去、進行中の建物および/または道路の破壊などのような、インフラストラクチャの変化を決定するために、画像を解析することができる。そうするために、コンピューティングシステムは、地理的エリア内の変化を検出するために、機械学習型バイナリ分類器モデルを利用することができる。バイナリ分類器モデルは、機械学習型モデルであり得るか、または場合によっては、ニューラルネットワーク(たとえば、ディープニューラルネットワーク)もしくは他のマルチレイヤ非線形モデルなどの様々な機械学習型モデルを含み得る

バイナリ分類器モデルは、地理的エリアの画像の少なくとも一部を調べることによって、地理的エリア内の変化の発生を検出するようにトレーニングされ得る。たとえば、コンピューティングシステムは、地理的エリアの第1の画像を第1の複数のセルに分割し、地理的エリアの第2の画像を第2の複数のセルに分割することができる。コンピューティングシステムは、第1の複数のセルから第1のセルを選択し、第2の複数のセルから対応する第2のセルを選択することができる。各セルは、より大きい地理的エリア(たとえば、地区)のターゲットサブ領域(たとえば、土地区画)を示すことができる。たとえば、第1のセルおよび第2のセルは、地理的エリアの同じ(または同様の)ターゲットサブ領域に関連付けられ得る。コンピューティングシステムは、第1のセルおよび第2のセルを表すデータを機械学習型バイナリ分類器モデルに入力することができる。このデータは、個別のセルに表される画像の部分(たとえば、個別のピクセル)を含み、かつ/またはそれに関連する視覚的特性を表すことがある。

モデルは、ターゲットサブ領域に関連する変化(たとえば、建物の活動(churn)、道路の活動)の発生を識別することができる。たとえば、モデルは、第1のセルおよび第2のセルの1つまたは複数の視覚的特性(たとえば、ピクセルの色、強度、示されるオブジェクト)を比較することによって、ターゲットサブ領域に関連する変化の発生を識別するようにトレーニングされ得る。モデルは、画像がキャプチャされた時間の間で変化が発生している(たとえば、「1」)か、それとも変化が発生していない(たとえば、「0」)かなど、バイナリ方式で変化の発生を分類することができる。バイナリ分類器モデルは、変化(たとえば、建物の建設)が土地区画内で発生しているかどうかを表す出力を生成することができる。このプロセスは、地区の複数のターゲットサブ領域内の変化の発生を識別するために、画像の他のセルに対して繰り返され得る。

コンピューティングシステムは、地理的エリアに関連する変化のレベルを決定することができる。変化のレベルは、地理的エリアのサブ領域において発生している変化に基づいて、時間期間中に地理的エリアが経験した全体的な変化を表すことができる。たとえば、コンピューティングシステムは、ターゲットサブ領域(たとえば土地区画)ごとに決定された変化発生を総計することによって、地理的エリア(たとえば、地区)に関連する変化のレベルを決定することができる。いくつかの実装形態では、地理的エリアに関する全体的な変化のレベルは、地理的エリアのターゲットサブ領域ごとに決定されたバイナリ分類(たとえば、0、1)を加算することによって決定され得る。たとえば、地理的エリアは、各々がターゲットサブ領域を示す、224個のセルに分割され得る。バイナリ分類器モデルは、それらのターゲットサブ領域のうちの150個が変化を経験していない(たとえば、「0」を出力)一方、ターゲットサブ領域のうちの74個が変化を経験している(たとえば、「1」を出力)と判断し得る。したがって、地理的エリアに関する全体的な変化のレベルは、バイナリ分類の合計を表す74(たとえば、150個の「0」+74個の「1」)であり得る。この値は、セルのサイズを正規化除去する(normalize away)ために、さらに正規化され得る(たとえば、74/(74+150) = .33)。本明細書でさらに説明するように、コンピューティングシステムは、2乗距離あたりなどの他の手法を使用し、かつ/または重み付け手法を使用して、全体的な変化のレベルを決定することができる。

コンピューティングシステムは、地理的エリアに関連する全体的な変化のレベルをしきい値と比較することができる。しきい値は、地理的エリアのイメージの獲得が調整される必要があるような、著しい変化のレベルおよび/または変化率を示し得る。変化のレベルおよびしきい値に少なくとも一部依存して、コンピューティングシステムは、地理的領域に関連するイメージデータの獲得を調整することができる。

コンピューティングシステムは、変化のレベルに少なくとも一部基づいて、地理的エリアに関連するイメージデータの獲得を調整するために、画像獲得システムに制御コマンドを提供することができる。たとえば、地理的エリアに関連する変化のレベルが高い(たとえば、しきい値を上回る)場合、制御コマンドは、地理的エリアに関連するイメージデータの獲得を増やすよう画像獲得システムに命令することができる。変化のレベルが低い(または変化が発生していない)場合、コンピューティングシステムは、現在の手法を維持するか、または地理的エリアに関連するイメージデータの獲得を減らすよう画像獲得システムに命令することができる。画像獲得システムは、制御コマンドを受信し、それに応じてイメージ獲得を調整することができる。画像獲得にそのような変化を組み込むために、画像獲得システムは、街路レベルのプラットフォームおよび/または空中プラットフォームに関連する獲得パターンを調整することができる。たとえば、画像キャプチャプラットフォームに関連する移動パターン(たとえば、運転経路、飛行軌道)および/または画像キャプチャ頻度は、プラットフォームがより頻繁に地理的エリア(たとえば、地区)に関連する画像を獲得することができるように調整され得る。

いくつかの実装形態では、コンピューティングシステムは、地理的エリアの画像をキャプチャするときに画像の空間解像度を調整するよう画像獲得システムに命令することができる。たとえば、空間解像度は、地理的エリアに関連する変化のレベルが高いと見なされる領域において引き上げられてよく、および/または空間解像度は、地理的エリアに関連する変化のレベルが低いと見なされる領域において引き下げられてよい。いくつかの実施形態では、空間解像度は、画像キャプチャの頻度と一緒に変わり得る。他の実施形態では、画像キャプチャの頻度が変わる一方で空間解像度は変わらないままである場合、およびその逆の場合がある。

本開示のシステムおよび方法は、関心がより大きく、より高い頻度の更新を必要とし得る地理的エリアを優先するように、画像データキャプチャの最適化を可能にすることによって技術的効果をもたらす。より詳細には、地理的エリアのマッピングは、当該領域の空中画像および/または衛星画像を使用して行われ得る。経時的に間隔をおいて同じエリアの画像をキャプチャすることによって、そのエリアにおいて発生している変化を識別すること、およびそれらの変化を記録するためにマップを更新することが可能である。たとえば、画像は、エリアの最後の画像が撮られてからの期間に作られている新しい特徴(たとえば、建物、道路)を識別するために解析されてよく、次いで、そのエリアのマップが、これらの新しい発展を含めるために更新されてよい。

本明細書で説明する実施形態は、従来の画像獲得システムで遭遇する問題に対処するのを助けることができる。たとえば、従来の方法では、しばしば、大量のイメージデータが獲得され、その一部のみが、変化を経験している領域を示し、そのためマップ上で更新を必要とする。これはひいては、大量のイメージデータがキャプチャされ記憶されなければならないという点で、計算上の負荷を課す。その場合、特定の地理的領域における変化を示し、そのためマップ上で更新を必要とする少数であり得る画像を識別するために、データが取捨選択される必要もある。

対照的に、本発明の実施形態は、より高い変化のレベルを経験している特定のエリアを識別し、それに応じて画像の獲得を調整しようとする。たとえば、インフラストラクチャの急速な増加を経験していて、それに伴って道路および/または建物の数が増えている地理的エリアは、イメージデータを獲得するための戦略を決定するときに、より高い優先度を与えられ得る。本開示の例示的な態様による、変化検出に少なくとも一部基づいて画像獲得システムをタスキングすることは、地理的画像獲得へのより効率的な手法を表す。これにより画像獲得システムが、より高い重要性のレベルの、かつ/またはより高い変化のレベルを経験しているエリアに、そのリソースをよりうまく割り振ることが可能になり得る。

加えて、粒、セルレベルでの変化を決定するための(本明細書で説明するような)機械学習型モデルの使用により、より低い解像度の画像を使用しての変化の決定が可能になり得る。より詳細には、(たとえば、変化が発生しているか、それとも発生していないか)バイナリ方式で画像の粒、セルレベルでの変化を識別することによって、コンピューティングシステムは、より高い解像度の画像を必要とすることになるより小さいサブ領域内の変化のタイプまたは大きさを決定する必要なしに、より低い解像度の画像データを使用することができる。より低い解像度の撮像の使用は、(たとえば、より安い、より低い解像度のプラットフォームハードウェアの使用を介した)より低い画像獲得コストにつながるとともに、画像獲得システムおよび/または機械学習コンピューティングシステムがより低い帯域幅で動作することを可能にし得る。

本開示のシステムおよび方法は、イメージ獲得および解析コンピュータ技術の改善をもたらす。たとえば、システムは、地理的エリアに関連する1つまたは複数の変化の発生を決定するために、複数の画像の少なくともサブセットを解析すること、および地理的エリアに関連する1つまたは複数の変化の発生に少なくとも一部基づいて、地理的エリアに関連する変化のレベルを決定することによって、画像獲得を調整することができる。その上、コンピューティングシステムは、(画像の)1つまたは複数の画像セルを表すデータを機械学習型バイナリ分類器モデルに入力すること、およびバイナリ分類器モデルからの出力を受信することによって、より低い解像度のイメージを使用して変化を検出することができる。出力は、地理的エリアの(たとえば、セルに表される)ターゲットサブ領域に関連する変化の発生を表し得る。これによりコンピューティング技術が、より低い帯域幅で動作し、(たとえば、より低い解像度の画像の)より速いデータダウンロード/アップロードを経験し、他の解析および/または画像処理動作に割り振られ得る計算リソース(およびコスト)を節約することが可能になり得る。

図1は、本開示の例示的な実施形態による、例示的なシステム100を示す。システム100は、機械学習コンピューティングシステム102および画像獲得システム104を含むことができる。コンピューティングシステム102および/または画像獲得システム104は、直接接続を介して互いの間でデータを通信および/もしくは転送するように構成されてよく、かつ/または1つもしくは複数の通信ネットワークを介して結合されてよい。

コンピューティングシステム102は、Google Inc.(カリフォルニア州マウンテンビュー)によって開発されたGoogle MapsもしくはGoogle Earthなどのマッピングサービスプロバイダ、または他の適切な地理的サービスに関連付けられ得る。コンピューティングシステム102は、1つまたは複数のコンピューティングデバイス106を含むことができる。本明細書でさらに説明するように、コンピューティングデバイス106は、1つまたは複数のプロセッサおよび1つまたは複数のメモリデバイスを含むことができる。1つまたは複数のメモリデバイスは、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、たとえば、画像を解析し、画像獲得システム104をタスキングするための本明細書で説明する動作および機能などの動作および機能を実行させる命令を記憶することができる。

画像獲得システム104は、1つまたは複数の地理的エリアに関連する画像データを管理および獲得するように構成され得る。画像獲得システム104は、1つまたは複数のプロセッサおよび1つまたは複数のメモリデバイスを含む1つまたは複数のコンピューティングデバイスを含むことができる。1つまたは複数のメモリデバイスは、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、たとえば、イメージデータを獲得し、イメージデータの獲得を管理するための動作および機能などの動作および機能を実行させる命令を記憶することができる。

画像獲得システム104は、地理的エリアに関連する画像を獲得するように構成された1つまたは複数の画像キャプチャプラットフォーム108A〜108Bを含むことができる。画像キャプチャプラットフォーム108A〜108Bは、1つまたは複数の街路レベルのプラットフォーム108A(たとえば、自動車、街路レベルの画像を獲得するためにより低い高度で移動している空中プラットフォーム、街路レベルの画像をキャプチャするように構成された固定構造物、他の地上ベースの撮像プラットフォーム)および/または空中プラットフォーム108B(たとえば、航空機、ヘリコプター、無人航空機(UAV)、気球、衛星、頭上画像をキャプチャするように構成された固定構造物、他の頭上撮像プラットフォーム)を含むことができる。画像キャプチャプラットフォーム108A〜108Bは、それぞれ、画像獲得パターン110A〜110Bに少なくとも一部基づいて地理的エリアの画像を獲得するように構成され得る。画像獲得パターン110A〜110Bは、1つまたは複数の画像獲得パラメータを備え得る。たとえば、獲得パターン110A〜110Bは、移動経路(たとえば、運転経路、飛行経路、飛行計画、飛行軌道)、1つもしくは複数のロケーション(たとえば、画像が獲得されることになるロケーションの識別子/座標)、1つもしくは複数の時間(たとえば、獲得時間、能動的時間、受動的時間、ダウンロード時間)、1つもしくは複数の画像獲得頻度(たとえば、エリアの画像がキャプチャされる回数)、1つもしくは複数のズームレベル、画像の空間解像度、および/または地理的エリアの画像データの獲得に関連する他の情報を表すデータを含み得る。画像獲得システム104は、画像獲得パターン110A〜110B(たとえば、画像獲得パラメータ)を調整すること、および/または画像キャプチャプラットフォーム108A〜108Bに制御コマンドを送ることによって、画像キャプチャプラットフォーム108A〜108Bを制御することができる。本開示のシステムおよび方法を使用することによって、画像キャプチャプラットフォーム108A〜108Bは、より低い解像度の画像をキャプチャすることができる。したがって、画像キャプチャハードウェアは、より高い解像度の画像に必要とされる費用よりも安くなり得る。その上、画像獲得システム104が画
像キャプチャプラットフォーム108A〜108Bからキャプチャされた画像を取得するには、より小さい帯域幅でよい。また、より低い解像度のイメージデータの使用は、画像キャプチャプラットフォーム108A〜108Bからのより少ないダウンロード/ダウンリンク時間につながり得る。

システム100は、地理的エリアのイメージを記憶するアクセス可能な画像データベース112をさらに含むことができる。画像データベース112は、コンピューティングシステム102、画像獲得システム104、ならびに/または機械学習コンピューティングシステムおよび画像獲得システムとは別個の、別のコンピューティングシステム114に関連付けられ得る。画像データベース112は、地理的エリアに関連する様々なタイプの画像データを記憶することができる。たとえば、画像データは、地上レベルの画像(たとえば、街路レベルのパノラマ画像、光検出および測距(LIDAR)データのセット、地上のレベルまたはその近くでの他のイメージ)ならびに頭上画像(たとえば、頭上から見た画像)を含むことができる。画像は、光学画像、赤外線画像、LIDARデータ画像、ハイパースペクトル画像、または任意の他のタイプのイメージであり得る。画像は、画像キャプチャプラットフォーム108A〜108Bによって獲得されること、ユーザが提出したイメージ(たとえば、ユーザによってキャプチャされたイメージ)であること、および/または他の方法で獲得される(たとえば、購入される)ことがある。画像は、本明細書で説明するように、より低い解像度であり得る。

コンピューティングデバイス106は、地理的エリアの少なくとも一部分を示す複数の画像を表すデータ116を取得するように構成され得る。たとえば、図2は、本開示の例示的な実施形態による、地理的エリア202の例示的な複数の画像200を示す。図2に示す地理的エリア202は、住宅地区を含むが、限定的なものではない。地理的エリア202は、天体(たとえば、地球、月、火星、他の天体)の領域、国、州、自治体の領域、土地の境界によって画定されたエリア、地区、サブ区分、学区、ショッピングセンター、オフィスパーク、水域、水路などを含むことができる。複数の画像200の各画像204A〜204Cは、地理的エリア202の少なくとも一部分を示すことができる。その上、各画像は、異なる時間に関連付けられ、かつ/または異なる時間にキャプチャされ得る。たとえば、第1の画像204Aは第1の時間206Aにキャプチャされることがあり、第2の画像204Bは(第1の時間206Aとは異なる)第2の時間206Bにキャプチャされることがあり、第3の画像204Cは(第1および第2の時間206A〜206Bとは異なる)第3の時間206Cにキャプチャされることがある。画像204A〜204Cは、比較を容易にするために同様の画像であり得る。図2は、複数の画像200のうちの3つの画像のみを示すが、当業者は、より多いまたはより少ない(たとえば、2つの)画像が複数の画像200に含まれ得ることを理解されよう。いくつかの実装形態では、データ116は、画像データベース112、画像獲得システム104、および/または1つもしくは複数の他のコンピューティングデバイス114から取得され得る。

図1に戻ると、コンピューティングデバイス106は、複数のユーザデバイス120(たとえば、モバイルデバイス、パーソナル通信デバイス、スマートフォン、ナビゲーションシステム、ラップトップコンピュータ、タブレット、ウェアラブルコンピューティングデバイス、他のコンピューティングデバイス)に関連するロケーションデータ118を取得するように構成され得る。ロケーションデータ118は、地理的エリア202に位置する1つのユーザデバイスおよび/またはいくつかのユーザデバイス120のロケーションを表し得る。たとえば、ロケーションデータ118は、それぞれのユーザデバイス120に関連する緯度および経度を識別するジオコードを含む1つまたは複数の未加工ロケーション報告を含むことができる。ロケーション報告の各々は、関連するロケーションおよび時間を表すデータの少なくとも1つのセットを含むことができる。ユーザデバイス120は、(たとえば、複数のロケーション報告を表す)ロケーションデータ118をコンピューティングデバイス106に提供することができ、かつ/またはコンピューティングデバイス106は、別のコンピューティングデバイスからロケーションデータ118を取得することができる。コンピューティングデバイス106は、ロケーションデータ118に少なくとも一部基づいて(たとえば、ロケーション報告の総計を介して)、地理的エリア202に位置するユーザデバイスの数を決定するように構成され得る。

コンピューティングデバイス106は、ロケーションデータ118に少なくとも一部基づいて、地理的エリア202に関連する重要性のレベル122(たとえば、L_IMP)を決定するように構成され得る。重要性のレベル122は、(たとえば、一定の時間期間内に)地理的エリア202に位置することが示されているユーザデバイスおよび/またはユーザの数に少なくとも一部基づいて、地理的エリア202の関心レベルを示し得る。時間期間は、最近の時間期間(たとえば、1日、1週、1月、1年、複数年の期間)であり得る。例として、ロケーションデータ118は、地理的エリア202(たとえば、住宅地区)に位置する(たとえば、報告ユーザデバイス120の)ユーザの数が最近の時間フレーム(たとえば、過去2〜3カ月)内で多いことを示し得る。この具体的な例では、「多い」という用語は、一般的または過去に地理的エリア202に位置するユーザ(および/またはユーザデバイス)の数に関係し得る。このより多いユーザの数は、地理的エリア202に関連するより高い重要性のレベル(たとえば、ユーザの関心、変化のエリアの可能性、建設の可能性)を示し得る。

いくつかの実装形態では、コンピューティングデバイス106は、ロケーションデータに少なくとも一部基づいて、地理的エリア202を識別することができる。たとえば、地理的エリア202に関連する重要性のレベル122が高い場合、コンピューティングデバイス106は、変化の発生を決定すべきである関心エリアとして地理的エリア202 (たとえば、地区)を識別することができる。したがって、コンピューティングデバイス106は、決定された重要性のレベル122(ユーザの関心を示す高い重要性のレベル)に少なくとも一部基づいて、複数の画像200を表す(たとえば、地理的エリア202の少なくとも一部分を示す)データ116を取得することができる。追加および/または代替として、コンピューティングデバイス106は、地理的エリア202に関連する画像を取得するよう(たとえば、制御コマンド124を介して)画像獲得システム104に命令することができる。画像獲得システム104は、制御コマンド124を受信することができ、必要な場合、画像獲得システム104は、地理的エリア202の少なくとも一部分を示す最近の画像、新しい画像、最新の画像などを獲得するために、1つまたは複数の画像キャプチャプラットフォーム108A〜108Bに関連する1つまたは複数の獲得パターン110A〜110Bを調整することができる。地理的エリア202に関する画像解析のためにコンピューティングデバイス106に送られ、かつ/またはコンピューティングデバイス106によって取得されるデータ116(または他のデータ)に、そのような画像は含まれ得る。

コンピューティングシステム102は、地理的エリア202に関連する1つまたは複数の変化の発生を識別するように構成された1つまたは複数の機械学習型モデルを含むことができる。モデルは、ニューラルネットワーク(たとえば、ディープニューラルネットワーク)もしくは他のマルチレイヤ非線形モデルなどの様々な機械学習型モデルであり得るか、または場合によってはそれらを含み得る。たとえば、コンピューティングシステム102は、機械学習型バイナリ分類器モデル126を含むことができる。バイナリ分類器モデル126は、地理的エリア202内の変化の発生を識別するようにトレーニングされ得る。たとえば、いくつかの実装形態では、システム100は、トレーニングコンピューティングシステム128をさらに含むことができる。トレーニングコンピューティングシステム128は、コンピューティングシステム102とは別個であり得、かつ/またはコンピューティングシステム102の一部分であり得る。

図3は、本開示の例示的な実施形態による、例示的な機械学習型モデルのトレーニングを示す。トレーニングコンピューティングシステム128は、たとえば、様々なトレーニングまたは学習技法を使用して、機械学習コンピューティングシステム102に記憶されたバイナリ分類器モデル126をトレーニングするモデルトレーナー302を含むことができる。詳細には、モデルトレーナー302は、トレーニングデータ304のセットに基づいてバイナリ分類器モデル126をトレーニングすることができる。いくつかの実装形態では、トレーニングデータ304は、提供されるか、または場合によっては(たとえば、データベース112から)コンピューティングシステム102によって選択され得る。

いくつかの実装形態では、モデルトレーナー302は、変化が発生している既知の事例および/または変化が発生していない既知の事例を示すイメージを表すトレーニングデータ304を使用して、機械学習型バイナリ分類器モデル126をトレーニングすることができる。たとえば、変化が発生している既知の事例は、地理的エリア内の変化の過去のおよび/または専門家が識別した事例に対応し得る。変化が発生していない既知の事例も、地理的エリア内で変化が発生していない過去のおよび/または専門家が識別した事例に対応し得る。たとえば、モデルは、変化を示す、または変化を示さないのいずれかとしてラベル付けされる画像のペアを含むトレーニングデータ304(「バイナリトレーニングデータ」)を使用してトレーニングされ得る。追加および/または代替として、トレーニングデータ304は、何らかの変化基準(たとえば、1〜100、変化のタイプ)に従ったラベルを含むデータであり得る。いくつかの実装形態では、トレーニングデータ304は、他のグラウンドトゥルース収集システムに従ってラベル付けされ得る。いくつかの実装形態では、トレーニングデータ304は、地理的エリアを示すイメージの時系列を含むことができ、各トレーニング例は、イメージの時系列における画像ごとに、異なる時間にキャプチャされた画像間の差を決定するのに十分な情報を提供する。

追加および/または代替として、トレーニングデータ304は、機械学習型モデルがより低い解像度の画像を評価することを学習できるように、より低い解像度の画像を含むことができる。これは最終的にコンピューティングシステム102がより低い解像度の画像を評価することを可能にすることができ、より広い範囲の画像の使用、より速い処理時間、ならびに画像転送のための帯域幅の増大につながり得る。

トレーニングコンピューティングシステム128は、トレーニングデータ304に少なくとも一部基づいて、機械学習型モデルをトレーニングすることができる。たとえば、トレーニングコンピューティングシステム128は、トレーニングデータ304(たとえば、変化を示す、または変化を示さないのいずれかとして識別された画像のペア)を入力することができる。トレーニングコンピューティングシステム128は、トレーニングデータ304内の変化の発生のモデルの分類(たとえば、変化が発生しているか、それとも変化が発生していないか)を表すトレーニング出力306を受信することができる。トレーニングコンピューティングシステム128は、機械学習型モデルの正確性を決定するためにトレーニング出力306を解析することができる。たとえば、トレーニングコンピューティングシステム128は、モデルが変化の発生を正しく識別したかどうかを判断するために、出力306をトレーニングデータ304と比較することができる。(たとえば、1つまたは複数の信頼レベルを上げるために、正確性を高めるために)さらなるトレーニングが必要とされる場合、トレーニングコンピューティングシステム128は、追加のトレーニングデータ304を提供し、かつ/またはモデルに対して調整が行われる必要があり得ることを示すことができる。

例として、機械学習型バイナリ分類器モデル126は、2つ以上の画像に関連する1つまたは複数の視覚的特性の比較に少なくとも一部基づいて変化の発生を識別するようにトレーニングされ得る。視覚的特性は、示されるオブジェクト、ピクセルの色、色相、強度、色調、他の特性などを含むことができる。バイナリ分類器モデル126は、画像の少なくとも一部分に関連する視覚的特性を識別するようにトレーニングされ得る。例として、機械学習型バイナリ分類器モデル126は、第1の画像204Aの第1の部分(たとえば、セル)における視覚的特性の第1のセットおよび第2の画像204Bの第2の部分(たとえば、セル)における視覚的特性の第2のセットを識別するように(たとえば、トレーニングデータ304を介して)トレーニングされ得る。機械学習型バイナリ分類器モデル126は、以下でさらに説明するように、視覚的特性の第1のセットおよび視覚的特性の第2のセットに少なくとも一部基づいて、地理的エリア202における1つまたは複数の変化の発生を識別するようにトレーニングされ得る。

図1に戻ると、コンピューティングデバイス106は、地理的エリア202に関連する1つまたは複数の変化の発生を決定するために、複数の画像200の少なくともサブセットを解析するように構成され得る。たとえば、コンピューティングデバイス106は、バイナリ方式で地理的エリア202のサブ領域内で変化を識別するために粒、セルレベルで画像(たとえば、204C)を解析することができる。これは、たとえば、粒、セルレベルでの2つ以上の画像の比較に基づいて、地理的エリア202のサブ領域において変化が発生していない(たとえば、「0」)か、それとも地理的エリア202のサブ領域において変化が発生している(たとえば、「1」)かを分類することを含むことができる。地理的エリア202のサブ領域内でバイナリ方式で変化を識別することによって、コンピューティングシステム102は、個別のターゲットサブ領域内の変化の大きさを決定するために必要とされ得るよりも低い解像度の画像をイメージ比較に利用することができる。

図4は、本開示の例示的な実施形態による、部分に分割された例示的な複数の画像200を示す。たとえば、コンピューティングデバイス106は、複数の画像200のうちの第1の画像204Aに関連する第1の複数のセル402Aおよび複数の画像200のうちの第2の画像204Bに関連する第2の複数のセル402Bを識別することができる。セルは、画像の一部分であり得る。セルは、たとえば、それぞれの画像のピクセルからなるエリアを含むことができる。いくつかの実装形態では、コンピューティングデバイス106は、個別のセルの数学的エリアを画定することが意図されるピクセルの数に少なくとも一部基づいて、セル402A〜402Bを識別することができる。いくつかの実装形態では、ピクセルの数および/または数学的エリアは事前に定められ得る一方、いくつかの実装形態では、ピクセルの数および/または数学的エリアは、複数の画像200のうちの画像に関連する条件(たとえば、サイズ、解像度、視野角など)に少なくとも一部基づいて選択され得る。各セル402A〜402Bは、地理的エリア202の特定のサブ領域に関連付けられ得る。いくつかの実装形態では、セル402A〜402Bは、1つまたは複数の特定のサブ領域がそれぞれのセルに表されるように識別され得る。

コンピューティングデバイス106は、画像200の少なくともサブセットの画像ごとに、地理的エリア202のサブ領域に関連するセルを識別するように構成され得る。たとえば、コンピューティングデバイス106は、第1の複数のセル402Aのうちの第1のセル406Aおよび第2の複数のセル402Bのうちの第2のセル406Bを選択するように構成され得る。第1のセルと第2のセルの両方が、地理的エリア202のサブ領域408に関連付けられ得る。例として、地理的エリア202は地区であってよく、サブ領域408は、地区内の土地区画など、地区のサブ領域に関連付けられ得る。第1のセルおよび第2のセルの比較を容易にするために、第1のセル406Aに関連するサブ領域408は、第2のセル406Bに関連するサブ領域408と同じである。画像204A、ひいてはセル406Aは、第1の時間206Aに関連付けられ得る。画像204B(およびセル406B)は、第1の時間206Aとは異なる第2の時間206Bに関連付けられ得る。したがって、コンピューティングデバイス106は、第1および第2の時間206A〜206Bの間にサブ領域408において変化が発生したかどうかを識別するために、画像セルを解析することができる。

コンピューティングデバイス106は、画像200の少なくともサブセットを表すデータを機械学習型バイナリ分類器モデル126に入力するように構成され得る。図5に示すように、コンピューティングデバイス106は、地理的エリア202に関連する1つまたは複数の変化の発生を識別するために、第1の画像204Aおよび第2の画像204Bを表すデータ502を機械学習型バイナリ分類器モデル126に入力することができる。たとえば、コンピューティングシステム102は、地理的エリア202のサブ領域408に関連する変化の発生を識別するために、第1のセル406Aおよび第2のセル406Bを表すデータ502を機械学習型バイナリ分類器モデル126に入力するように構成され得る。データ502は、それぞれのセルの各々に示されるサブ領域に関連する画像データを含むことができる。たとえば、データ502は、ピクセルを表すデータを含むことができ、セル406A〜406Bにおいて、そのようなピクセルの視覚的特性を表すデータ、ならびに/または画像204A〜204Bおよび/もしくは個別のセルに関連する他のデータもしくはメタデータを含むことができる。バイナリ分類器モデル126は、(たとえば、サブ領域に関して)変化が発生しているか、それとも(たとえば、サブ領域に関して)変化が発生していないかであり得る、変化の発生を識別するためにセル406A〜406Bの視覚的特性を(たとえば、そのニューラルネットワークを使用して)調べ、比較することができる。コンピューティングシステム102は、バイナリ分類器モデル126から第1の出力504を受信するように構成され得る。出力504は、地理的エリア202のサブ領域408に関連する変化の発生を表し得る。

例として、図4を再び参照すると、機械学習型バイナリ分類器モデル126は、第1のセル406Aに関連する視覚的特性の第1のセットおよび第2のセル406Bに関連する視覚的特性の第2のセットを解析することができる。図4に示すように、サブ領域408は、第1の時間206Aに撮られた第1の画像204Aの第1のセル406Aにおいて、構造的資産のいかなる部分も含まない(たとえば、空いた土地区画を示す)。第2のセル406Bにおいて、サブ領域408は、構造的資産(たとえば、建物)の少なくとも一部分を含む。バイナリ分類器モデル126は、第1のセル406Aのオブジェクトの表示、ピクセルの色、強度、他の視覚的特性などが第2のセル406Bのものと異なるかどうかを判断するために、セルを解析することができる。それぞれのセル406A〜406Bの間に、信頼レベルを上回る変化(たとえば、構造的資産の追加)を示す差があるとバイナリ分類器モデル126が判断した場合、バイナリ分類器モデル126は、サブ領域408内の変化410の発生(たとえば、変化が発生している)を識別することができる。信頼レベルは、バイナリ分類器モデル126のトレーニング中および/またはデータ解析中に向上し、かつ/または高まり得る。

第1の出力504は、地理的エリア202のサブ領域408に関連する変化が発生していることを示すことができる。たとえば、サブ領域408に関連する変化410は、たとえば、建物の活動(たとえば、1つまたは複数の建物の変化)であり得る。出力504は「1」であることがあり、これは、画像204A〜204Bに基づいてサブ領域408において変化410が発生しているとバイナリ分類器モデル126が判断していることを示し得る。いくつかの実装形態では、出力504は、(たとえば、サブ領域で重み付けされた)他の数字および/または文字によって表され得る。

図4は構造的資産に関連するものとして変化410を示すが、これは限定的なものではない。変化410は、交通資産(たとえば、道路、通り道)、環境資産(たとえば、植物、土、水路)、農業資産(たとえば、農作物、農地、灌漑システム)などのような、画像に示される他の要素に関連付けられ得る。

図5に示すように、コンピューティングデバイス106は、地理的エリア202の1つまたは複数の他のサブ領域に関連する1つまたは複数の変化の発生を識別するために、バイナリ分類器モデル126に別の入力として第1および第2の複数のセル402A〜402Bのうちの他のセルを表すデータ506を提供するように構成され得る。コンピューティングデバイス106は、バイナリ分類器モデル126から第2の出力508を受信し得る。第2の出力508は、地理的エリア202の他のサブ領域のうちの1つまたは複数に関連する1つまたは複数の変化の発生を表し得る。

たとえば、図4に示すように、コンピューティングデバイス106は、サブ領域414内の交通資産(たとえば、地区の道路)の表示を含む、セル412A〜412Bを表すデータを入力することができる。バイナリ分類器モデル126は、セル412A〜412B(たとえば、それらに関連する視覚的特性)を比較することができる。セル412A〜412Bのそれぞれの特性の間に(たとえば、信頼レベルを上回る)わずかの差があるか、または差がまったくないとバイナリ分類器モデル126が判断した場合、バイナリ分類器モデル126は、変化416の発生を、サブ領域414内で変化が発生していないと識別することができる。たとえば、バイナリ分類器モデル126は、サブ領域414内で道路の活動(たとえば、1つまたは複数の通り道の変化)が発生していないと判断し得る。したがって、第2の出力508は、地理的エリア202のサブ領域414に関連する変化が発生していないことを示すことができる。たとえば、出力508は「0」であることがあり、これは、画像204A〜204Bに基づいてサブ領域414において変化が発生していないとバイナリ分類器モデル126が判断していることを示し得る。バイナリ分類器モデル126を使用することによって、本明細書で説明するシステムおよび方法は、本明細書で説明するように、より低い解像度の画像を使用して、地理的エリア202の変化を評価することができる。

上述の解析は、複数の画像200のうちの1つまたは複数の他の画像の1つまたは複数の他のセルに対して繰り返され得る。たとえば、コンピューティングデバイス106は、他の画像(たとえば、第3の画像204C)に関連するデータをバイナリ分類器モデル126に入力することができる。他の画像に関連するデータは、(たとえば、第2の時間206Bと第3の時間206Cとの間で)サブ領域408において追加の変化が発生しているかどうかを判断するために、同じサブ領域408に関連するセルを表し得る。追加および/または代替として、他の画像を表すデータは、地理的エリア202の1つまたは複数の異なるサブ領域に関連するセルを表し得る。これによりコンピューティングデバイス106が、地理的エリア202の他のサブ領域において1つまたは複数の変化が発生しているかどうかを判断することが可能になり得る。いくつかの実装形態では、これは、上記で説明した方法でバイナリ分類器モデル126によって一定の数(たとえば、大多数、すべて)、パーセント、比率などのセル、画像、および/またはサブ領域が解析されるまで繰り返され得る。

コンピューティングデバイス106は、地理的エリア202に関連する1つまたは複数の変化(たとえば、410、412)の発生に少なくとも一部基づいて、地理的エリア202に関連する変化のレベル418を決定することができる。上記のように、変化のレベル418は、地理的エリア202が経験した(たとえば、その構造的資産、交通資産、環境資産、農業資産、他の資産に対する)変化の全体量であり得る。いくつかの実装形態では、コンピューティングデバイス106は、地理的エリア202のサブ領域に関して決定された変化発生(たとえば、410、412)を総計することによって、変化のレベルを決定することができる。

たとえば、コンピューティングデバイス106は、地理的エリア202のサブ領域(たとえば、408、414)ごとに決定され、かつ/または関連する出力(たとえば、504、508)において識別されたバイナリ分類(たとえば、0、1)を総計することができる。地理的エリア202に関する変化のレベル418は、地理的エリア202のサブ領域(たとえば、408、414)ごとに決定されたバイナリ分類(たとえば、0、1)を加算することによって決定され得る。たとえば、地理的エリア202は、各々がサブ領域を示す、224個のセルに分割され得る。バイナリ分類器モデル126は、セルおよび/またはサブ領域のうちの150個で変化が発生していない(たとえば、「0」を出力)一方、セルおよび/またはサブ領域のうちの74個で変化が発生している(たとえば、「1」を出力)と判断し得る。したがって、地理的エリア202に関する変化のレベル418は、バイナリ分類の合計を表す74(たとえば、150個の「0」+74個の「1」)であり得る。この値は、セルのサイズを正規化除去するために、さらに正規化され得る(たとえば、74/(74+150) = .33)。

いくつかの実装形態では、変化のレベル418は、2乗距離あたり変化のレベルを示すことができる。たとえば、コンピューティングデバイス106は、総計された変化のレベルを、画像に表される地理的エリア202の2乗距離で割ることによって、変化のレベルを決定することができる。いくつかの実装形態では、コンピューティングデバイス106は、セル(たとえば、セル406Aおよび直接取り巻く8個のセル)のグループにおいて識別される変化分類を、それらのセルにおいて示されるサブ領域によって表される2乗距離で割ることに少なくとも一部基づいて、変化のレベルを決定することができる。

いくつかの実装形態では、コンピューティングデバイス106は、重み付け手法に少なくとも一部基づいて、変化のレベル418を決定することができる。コンピューティングデバイス106は、いくつかのセルにおいて識別される変化が変化のレベル418に関してより高い重みを与えられ、かつ/またはいくつかのセルにおいて識別される変化が変化のレベル418に関してより低い重みを与えられるように、画像のセルに重みを割り当てることができる。例として、コンピューティングデバイス106は、画像204A〜204Bの中心の方に位置するセル406A〜406Bのサブ領域408における変化により高い重みを与え、画像204A〜204Bの周辺に位置するセル412A〜412Bのサブ領域414における変化により低い重みを与え得る。そうするために、コンピューティングデバイス106は、バイナリ分類(たとえば、0、1)を数値の重み識別子(たとえば、パーセント、割合)と掛け、重み付けされた分類の総計を実行して、変化のレベル418を決定することができる。

図1に戻ると、コンピューティングデバイス106は、変化のレベル418に少なくとも一部基づいて、地理的エリア202に関連するイメージデータの獲得を調整するために、画像獲得システム104に制御コマンド129を提供することができる。たとえば、地理的エリア202に関連する変化のレベル418がしきい値130を上回る場合、制御コマンド129は、地理的エリア202に関連するイメージデータの獲得を増やすよう画像獲得システム104に命令することができる。しきい値130は、地理的エリア202のイメージデータの獲得が調整される必要があるような、著しい変化のレベルおよび/または変化率を示し得る。例として、地理的エリア202に関連する変化のレベル418がしきい値130を上回る(たとえば、高い変化のレベルを示す)場合、制御コマンド129は、地理的エリア202の画像が獲得される量、タイミング、頻度などを増やすよう画像獲得システム104に命令することができる。変化のレベル418がしきい値130を下回る(たとえば、低い変化のレベルを示すか、または変化が発生していない)場合、コンピューティングデバイス106は、地理的エリア202に関連するイメージデータの獲得を調整するために制御コマンドを提供するのをやめることができる。いくつかの実装形態では、変化のレベル418が低い場合、コンピューティングデバイス106は、地理的エリア202に関連するイメージデータの獲得を減らすために画像獲得システム104に制御コマンドを提供することができる。画像獲得システム104は、制御コマンド129を受信することができ、それに応じて(たとえば、画像キャプチャプラットフォームを介した獲得を増やす、減らすために)イメージ獲得を調整することができる。

追加および/または代替として、コンピューティングデバイス106は、地理的エリア202に関連する変化のレベル418を示すグラフ表現を生成することができる。たとえば、図6は、本開示の例示的な実施形態による、複数の地理的エリアの変化のレベルを示すグラフ表現600を示す。図示のように、グラフ表現600は、たとえば、1つまたは複数の地理的エリアに関連する変化のレベルを示すヒートマップであり得る。いくつかの実装形態では、変化のレベルは、別のグラフ形式(たとえば、棒グラフ、円グラフ、ヒストグラム)で表され得る。地理的エリア202(たとえば、画像204Aに示される地区)に関連する変化のレベル418は、より大きい地理的領域(たとえば、都市)にわたる変化の相対的レベルを示すために、1つまたは複数の他の地理的エリア(たとえば、他の地区)とともにグラフ表現600に表され得る。いくつかの実装形態では、地理的エリア202に関連するイメージデータの獲得を調整するための制御コマンド129は、グラフ表現600に少なくとも一部基づき得る。たとえば、制御コマンド129は、グラフ表現600に少なくとも一部基づいて、1つまたは複数の獲得パターン110A〜110Bを調整するよう画像獲得システム104に命令することができる。このようにして、システムは、より高い変化のレベルを経験している地理的エリアのより高い頻度のイメージを獲得し、より低い変化のレベルを経験している地理的エリアのより低い頻度のイメージを獲得するために、その撮像リソースを効果的に割り振ることができる。これは、地理的エリアのステータスをより正確に反映する、画像データのよりフォーカスされた有用なセットを提供することができる。

図1に戻ると、画像獲得システム104は、様々な手法を使用して地理的エリア202に関連するイメージデータの獲得を調整することができる。たとえば、画像獲得システム104は、街路レベルのプラットフォーム108Aおよび空中プラットフォーム108Bのうちの少なくとも1つに関連する獲得パターン110A〜110Bを調整することができる。たとえば、画像キャプチャプラットフォーム108A〜108Bが地理的エリア202に関連する画像をより高いまたは低い頻度でキャプチャできるように、移動経路132A〜132B(たとえば、運転経路、飛行経路)および/または頻度134A〜134B(たとえば、画像キャプチャプラットフォーム108A〜108Bで地理的エリア202の画像がキャプチャされる頻度)が調整され得る。追加および/または代替として、いくつかの実装形態では、画像獲得システム104は、画像獲得システム104が他のコンピューティングデバイスおよび/またはユーザから地理的エリア202の画像を獲得する際の購入パターン、ダウンロードパターン、要求パターンなどを調整することができる。たとえば、画像獲得システム104は、(たとえば、第三者に対して)より高い頻度のイメージ、より高い頻度の購入イメージを要求し、かつ/またはより高い変化のレベルを経験している地理的エリアのイメージを求めることができる。

図7は、本開示の例示的な実施形態による、例示的な方法700の流れ図を示す。方法700の1つまたは複数の部分は、たとえば、図1および図9に示すような1つまたは複数のコンピューティングデバイスによって実施され得る。図7は、図示および説明の目的で特定の順序で実行されるステップを示す。当業者は、本明細書で提供する開示を使用して、本明細書で説明する方法のうちのいずれかのステップが、本開示の範囲から逸脱することなく様々な方法で適合、再配置、拡大、省略、または修正されてよいことを理解されよう。

(702)において、方法700は、複数のユーザデバイスに関連するロケーションデータを取得するステップを含むことができる。たとえば、コンピューティングデバイス106は、複数のユーザデバイス120に関連するロケーションデータ118を取得することができる。ロケーションデータ118は、地理的エリア202に位置するユーザデバイスの数を表し得る。上記のように、ロケーションデータ118は、それぞれのユーザデバイス120に関連するロケーションを識別するジオコードを表す未加工ロケーション報告を含むことができる。

(704)において、方法700は、地理的エリアに関連する重要性のレベルを決定するステップを含むことができる。たとえば、コンピューティングデバイス106は、地理的エリア202に位置するユーザデバイス120の数に少なくとも一部基づいて、地理的エリア202に関連する重要性のレベル122を決定することができる。重要性のレベル122は、地理的エリア202に対する関心のレベル、地理的エリア202に関連するユーザトラフィックの量などを示し得る。いくつかの実装形態では、より多いユーザデバイス120の数は、地理的エリア202に関連するより高い重要性のレベル(たとえば、ユーザの関心、変化のエリアの可能性、建設の可能性)を示し得る。

コンピューティングデバイス106は、重要性のレベルに少なくとも一部基づいて、地理的エリアを識別することができる。たとえば、地理的エリアに位置するユーザデバイス120の数が(たとえば、地理的エリア202に位置するユーザデバイスの一般的な、過去の数に対して)多い場合、地理的エリア202に関連する重要性のレベルは高くなり得る。したがって、コンピューティングデバイス106は、関心エリアとして地理的エリア202を識別することができ、そのエリアにおいて変化が発生しているかどうかを判断するために、本明細書で説明するシステムおよび方法を使用すべきである。

(706)において、方法700は、地理的エリアに関連する複数の画像を表すデータを取得するステップを含むことができる。たとえば、コンピューティングデバイス106は、地理的エリア202に関連する複数の画像200を表すデータ116を取得することができる。各画像は、地理的エリア202の少なくとも一部分を示すことができる。各画像は、異なる時間にキャプチャされている。たとえば、複数の画像200は、第1の時間206A(たとえば、t₁)にキャプチャされた第1の画像204Aおよび第2の時間206B(たとえば、t₂)にキャプチャされた第2の画像204Bを含むことができる。いくつかの実装形態では、複数の画像200は、1つまたは複数の街路レベルのプラットフォーム108Aによって獲得され得る。いくつかの実装形態では、複数の画像200は、1つまたは複数の空中プラットフォーム108Bによって獲得され得る。

(708)において、方法700は、複数の画像の少なくともサブセットを解析するステップを含むことができる。たとえば、コンピューティングデバイス106は、地理的エリア202に関連する1つまたは複数の変化の発生を決定するために、複数の画像200の少なくともサブセットを解析することができる。コンピューティングデバイス106は、画像200の少なくともサブセットを表すデータ502を機械学習型モデル(たとえば、バイナリ分類器モデル126)に入力することができる。いくつかの実装形態では、データ502は、画像のサブセットを構成するそれぞれの画像の少なくとも一部分を表し得る。たとえば、データ502は、第1の画像204Aの少なくとも一部分および第2の画像204Bの少なくとも一部分を表し得る。

バイナリ分類器モデル126は、入力されたデータ502に少なくとも一部基づいて、地理的エリア202に関連する1つまたは複数の変化の発生を識別することができる。たとえば、図8は、本開示の例示的な実施形態による、画像を解析するための例示的な方法800の流れ図を示す。方法800の1つまたは複数の部分は、たとえば、図1および図9に示すような1つまたは複数のコンピューティングデバイスによって実施され得る。その上、方法800の1つまたは複数のステップは、たとえば、(708)におけるような方法700のステップと組み合わせられ得る。図8は、図示および説明の目的で特定の順序で実行されるステップを示す。当業者は、本明細書で提供する開示を使用して、本明細書で説明する方法のうちのいずれかのステップが、本開示の範囲から逸脱することなく様々な方法で適合、再配置、拡大、省略、または修正されてよいことを理解されよう。

(802)において、方法800は、画像の1つまたは複数の部分を識別するステップを含むことができる。たとえば、コンピューティングデバイス106は、複数の画像200のうちの第1の画像204Aに関連する第1の複数のセル402Aおよび複数の画像200のうちの第2の画像204Bに関連する第2の複数のセル402Bを識別することができる。各セルは、より大きい地理的エリア202(たとえば、地区)のサブ領域408(たとえば、土地区画)を示すことができる。

(804)において、方法は、画像の部分を選択するステップを含むことができる。コンピューティングデバイス106は、第1の画像204Aの第1の部分および第2の画像204Bの第2の部分を選択することができる。たとえば、コンピューティングデバイス106は、第1の複数のセル402Aのうちの第1のセル406Aおよび第2の複数のセル402Bのうちの第2のセル406Bを選択することができる。第1のセル406Aと第2のセル406Bの両方が、地理的エリア202のサブ領域408に関連付けられ得る。

(806)において、方法は、画像の少なくともサブセットを表すデータを機械学習型モデルに入力するステップを含むことができる。コンピューティングデバイス106は、画像の少なくともサブセットを表すデータ502を機械学習型モデルに入力することができる。たとえば、コンピューティングデバイス106は、画像200の各々の部分を表すデータ502をバイナリ分類器モデル126に入力することができる。例として、コンピューティングデバイス106は、地理的エリア202のサブ領域408に関連する変化410の発生を識別するために、第1のセル406Aおよび第2のセル406Bを表すデータ502を機械学習型バイナリ分類器モデル126に入力することができる。本明細書で説明するように、データ502は、たとえば、画像部分(たとえば、セル)を構成するピクセルならびに/またはそのようなピクセル(および/もしくはセル)に関連する視覚的特性(たとえば、色、強度、示されるオブジェクト)を表すデータなど、それぞれの選択された画像部分(たとえば、セル)の各々に示されるサブ領域に関連する画像データを含むことができる。いくつかの実装形態では、コンピューティングデバイス106は、画像200の少なくともサブセットに関連するデータを入力することができ、バイナリ分類器モデル126は、(802)および(804)におけるように、画像の部分(たとえば、セル)を識別し、画像の部分を選択するために、画像を処理することができる。

(808)において、方法800は、地理的データに関連する1つまたは複数の変化の発生を識別するために、入力されたデータを処理するステップを含むことができる。たとえば、機械学習型モデルは、第1および第2の画像204A〜204Bの部分を表すデータを処理することができる。例として、バイナリ分類器モデル126は、地理的エリア202のサブ領域408に関連する1つまたは複数の変化410の発生を識別するために、第1のセル406Aおよび第2のセル406Bを表すデータを処理することができる。

本明細書で説明するように、バイナリ分類器モデル126は、セル406A〜406Bの各々の1つまたは複数の視覚的特性の比較に少なくとも一部基づいて、地理的エリア202のサブ領域408に関連する変化(たとえば、410)の発生を識別するようにトレーニングされ得る。したがって、バイナリ分類器モデル126は、1つまたは複数の変化の発生を識別するために、画像200の視覚的特性を比較することができる。たとえば、バイナリ分類器モデル126は、地理的エリア202のサブ領域408に関連する1つまたは複数の変化410の発生を識別するために、第1のセル406A(たとえば、それに関連するピクセル)および第2のセル406B(たとえば、それに関連するピクセル)の視覚的特性を比較することができる。

(810)において、方法800は、機械学習型モデルから出力を受信するステップを含むことができる。たとえば、コンピューティングデバイス106は、バイナリ分類器モデル126から第1の出力504を受信し得る。出力504は、地理的エリア202のサブ領域408に関連する1つまたは複数の変化410の発生を表し得る。地理的エリア202に関連する1つまたは複数の変化は、構造的資産(たとえば、建物、建物の部分、他の構造物)に関連する変化、および交通資産(たとえば、道路、通り道)に関連する変化のうちの少なくとも1つを含むことができる。たとえば、地理的エリア202に関連する変化410は、建物の活動(たとえば、建物、他の構造的資産の追加、除去、変更)および/または道路の活動(たとえば、通り道、他の交通資産の追加、除去、変更)のうちの少なくとも1つを含むことができる。いくつかの実装形態では、変化は、別のタイプの資産(たとえば、農業)に関連付けられ得る。

(812)において、方法800は、他のセルを表すデータを機械学習型モデルに入力するステップを含むことができる。いくつかの実装形態では、コンピューティングデバイス106は、変化を検出するために、第1および第2の画像204A〜204Bの1つまたは複数の他の部分を表すデータをバイナリ分類器モデル126に入力することができる。たとえば、コンピューティングデバイス106は、地理的エリア202の1つまたは複数の他のサブ領域(たとえば、414)に関連する1つまたは複数の変化の発生を識別するために、バイナリ分類器モデル126に別の入力として第1および第2の複数のセル402A〜402Bのうちの他のセル(たとえば、412A〜412B)を表すデータ506を提供することができる。コンピューティングデバイス106は、(814)において、バイナリ分類器モデル126から第2の出力508を受信し得る。第2の出力508は、地理的エリア202の他のサブ領域(たとえば、414)のうちの1つまたは複数に関連する1つまたは複数の変化の発生を表し得る。

いくつかの実装形態では、コンピューティングデバイス106は、複数の画像200のうちの1つまたは複数の他の画像(たとえば、204C)を表すデータをバイナリ分類器モデル126に入力することができる。入力されたデータは、他の画像(たとえば、204C)の1つまたは複数の部分(たとえば、セル)を表し得る。バイナリ分類器モデル126は、サブ領域408に関連する他の変化の発生を識別するために、かつ/または地理的エリア202の他のサブ領域に関連する1つもしくは複数の他の変化を識別するために、上述した方法と同様の方法でそのようなデータを処理することができる。第2の出力508(および/または別の出力)は、他の画像(たとえば、204C)からの入力されたデータに少なくとも一部基づいて、サブ領域408および/または地理的エリア202の別のサブ領域に関連する1つまたは複数の変化の発生を表し得る。

図7に戻ると、(710)において、方法700は、地理的エリアに関連する変化のレベルを決定するステップを含むことができる。いくつかの実装形態では、コンピューティングデバイス106は、バイナリ分類器モデル126からの第1の出力504および第2の出力508に少なくとも一部基づいて、地理的エリア202に関連する変化のレベル418を決定することができる。コンピューティングデバイス106は、(たとえば、モデルからの出力に示される)地理的エリア202に関連する1つまたは複数の変化(たとえば、410、416)の発生に少なくとも一部基づいて、地理的エリア202に関連する変化のレベル418を決定することができる。いくつかの実装形態では、コンピューティングデバイス106は、本明細書で説明するように、サブ領域(たとえば土地区画)ごとに決定された変化発生を総計することによって、地理的エリア202(たとえば、地区)に関連する変化のレベル418を決定することができる。追加および/または代替として、全体的な変化のレベルは、本明細書で説明するように、いくつかのサブ領域内の2乗距離あたり変化および/または重み付け変化に基づき得る。

(712)において、方法700は、変化のレベルを示すグラフ表現を生成するステップを含むことができる。たとえば、コンピューティングデバイス106は、地理的エリア202に関連する変化のレベル418を示すグラフ表現600を生成することができる。グラフ表現600は、(たとえば、図6に示すように)1つまたは複数の他の地理的エリアに対する地理的エリア202に関連する変化のレベル418を示すことができる。これは、たとえば、全国、全世界の異なる地理的エリアにおいて発生している異なる変化のレベルを示すことができる。いくつかの実装形態では、グラフ表現は、地理的エリア202のどのサブ領域が変化を経験しているかを示すことができる。

(714)において、方法700は、地理的エリアに関連する画像獲得を調整するステップを含むことができる。コンピューティングデバイス106は、変化のレベル418に少なくとも一部基づいて、地理的エリア202に関連するイメージデータの獲得を調整するために、画像獲得システム104に制御コマンド129を提供することができる。たとえば、本明細書で説明するように、画像獲得システム104は、1つまたは複数の画像キャプチャプラットフォーム108A〜108Bを含むことができる。コンピューティングデバイス106は、変化のレベル418に少なくとも一部基づいて、1つまたは複数の画像キャプチャプラットフォーム108A〜108Bに関連する獲得パターン110A〜110Bを調整するために、画像獲得システム104に制御コマンド129を提供することができる。画像獲得システム104は、制御コマンドを受信することができ、それに応じて画像獲得を調整することができる。獲得パターン110A〜110Bを調整することは、画像キャプチャプラットフォーム108A〜108Bのそれぞれによって地理的エリア202の画像がキャプチャされる頻度134A〜134Bを調整することを含むことができる。たとえば、地理的エリア202の画像がキャプチャされる頻度134A〜134Bは、しきい値130を上回る地理的エリア202に関連する決定された変化のレベル418に従って増やされ得る。追加および/または代替として、イメージデータの獲得は、購入戦略の調整および/またはユーザ提出の要請を含むことができる。

いくつかの実装形態では、コンピューティングデバイス106は、地理的エリア202に関連する変化のレベル418および重要性のレベル122に少なくとも一部基づいて、1つまたは複数の画像キャプチャプラットフォーム108A〜108Bに関連する獲得パターンを調整するために、画像獲得システム104に制御コマンド129を提供することができる。画像獲得システム104は、(たとえば、画像キャプチャプラットフォーム108A〜108Bを介して)指示されたように画像獲得を調整することができる。たとえば、変化のレベル418が高く、重要性のレベル122が高い場合、コンピューティングデバイス106は、(たとえば、地理的エリア202の画像がキャプチャされる頻度134A〜134Bを増やすことによって)地理的エリア202に関連するイメージデータの獲得を増やすことを決定することができる。変化のレベル418が高いが、重要性のレベル122が低い場合、コンピューティングデバイス106は、地理的エリア202に関連するイメージデータの現在の獲得を維持し、かつ/またはそのようなイメージデータの獲得を適度に増やすことを決定することができる。変化のレベル418が低いが、重要性のレベル122が高い場合、コンピューティングデバイス106は、地理的エリア202に関連するイメージデータの獲得を維持し、かつ/または減らすことを決定することができる。変化のレベル418が低く、重要性のレベル122が低い場合、コンピューティングデバイス106は、地理的エリア202に関連するイメージデータの獲得を減らすことを決定することができる。このようにして、本開示のシステムおよび方法は、より低い変化のレベルを経験しているエリアに本来使用されるリソースを節約する一方で、より高い変化のレベルを経験しているエリアのイメージをキャプチャするために、撮像リソースを割り振ることができる。

いくつかの実装形態では、変化があり得る(ただし、一般的ではない)、高い重要性のレベルに関連する地理的エリアは、変化の影響が大きい場合、より高い優先度を与えられ得る。たとえば、いくつかの地理的エリア(たとえば、空港、ショッピングモール、他の人気のあるアトラクション)は、適度な変化のレベル(たとえば、適度な道路、建物の活動)を有するが、高い重要性のレベル(たとえば、ユーザデバイスの存在)および/または関心の他の指標(たとえば、関連するビジネスウェブページのオンライン閲覧)を有する。そのようなエリアにおける変化は、そのようなエリアのロケーションおよび/または人口を踏まえると、著しい影響を与える可能性がある。いくつかの実装形態では、コンピューティングデバイス106は、(より高い重要性のレベルの)これらの地理的エリアに優先権を割り当てることができる。したがって、コンピューティングデバイス106は、(たとえば、画像獲得システム104への1つまたは複数の制御コマンドを介して)イメージ獲得を調整することで、これらの高優先エリアの画像が定期的に獲得されるようにし、変化(ただし、一般的ではない)が著しい影響を与え得るこれらのエリアにおける変化をコンピューティングデバイスが定期的に監視できるようにすることができる。

図9は、本開示の例示的な実施形態による、例示的なシステム900を示す。システム900は、機械学習コンピューティングシステム102、画像獲得システム104、複数のユーザデバイス120、および/またはトレーニングコンピューティングシステム128を含むことができる。システム900の構成要素は、たとえば、データを交換するために、1つまたは複数の通信ネットワーク902を介してシステム900の他の構成要素のうちの1つまたは複数と通信することができる。

コンピューティングシステム102は、1つまたは複数のコンピューティングデバイス106を含む。コンピューティングデバイス106は、1つまたは複数のプロセッサ904Aおよび1つまたは複数のメモリデバイス904Bを含む。1つまたは複数のプロセッサ904Aは、任意の適切な処理デバイス(たとえば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラなど)であってよく、1つのプロセッサまたは動作可能に接続された複数のプロセッサであってよい。メモリデバイス904Bは、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、および/またはそれらの組合せのような1つまたは複数の非一時的コンピュータ可読記憶媒体を含むことができる。

1つまたは複数のメモリデバイス904Bは、1つまたは複数のプロセッサ904Aによって実行され得るコンピュータ可読命令904Cを含む、1つまたは複数のプロセッサ904Aによってアクセス可能な情報を記憶することができる。命令904Cは、1つまたは複数のプロセッサ904Aによって実行されると、1つまたは複数のプロセッサ904Aに動作を実行させる命令の任意のセットであり得る。いくつかの実施形態では、命令904Cは1つまたは複数のプロセッサ904Aによって、本明細書で説明するように、コンピューティングシステム102および/もしくはコンピューティングデバイス106が構成される目的である動作および機能のいずれか、画像獲得システムをタスキングするための動作(たとえば、方法700、800)、ならびに/または画像を取得し、画像を解析し、変化のレベルを決定し、イメージデータの獲得を調整するために制御コマンドを提供するための任意の他の動作もしくは機能などの動作を1つまたは複数のプロセッサ904Aに実行させるように実行され得る。命令904Cは、任意の適切なプログラミング言語で書かれたソフトウェアであり得るか、またはハードウェアにおいて実装され得る。追加および/または代替として、命令904Cは、プロセッサ904A上で論理的かつ/または仮想的に別個のスレッドにおいて実行され得る。

1つまたは複数のメモリデバイス904Bはまた、1つまたは複数のプロセッサ904Aによって取り出され、操作され、作成され、または記憶され得るデータ904Dを記憶することができる。データ904Dは、たとえば、画像に関連するデータ、地理的エリアに関連するデータ、ロケーションデータ、機械学習型モデルに関連するデータ、トレーニングデータ、および/または他のデータもしくは情報を含むことができる。データ904Dは、1つまたは複数のデータベースに記憶され得る。1つまたは複数のデータベースは、高帯域LANもしくはWANによってコンピューティングデバイス106に接続されてよく、またはネットワーク902を通じてコンピューティングデバイス106に接続されてもよい。1つまたは複数のデータベースは、複数の場所に位置するように分割され得る。

本明細書で説明するように、コンピューティングデバイス106は、たとえば、バイナリ分類器モデル126など、1つまたは複数の機械学習型モデル904Eを記憶するか、または場合によっては含むことができる。機械学習型モデル904Eは、ニューラルネットワーク(たとえば、ディープニューラルネットワーク)もしくは他のマルチレイヤ非線形モデルなどの様々な機械学習型モデルであり得るか、または場合によってはそれらを含み得る。モデル904Eは、本明細書で説明するように、画像を解析し、画像獲得システムをタスキングするための動作および機能を実行するために、プロセッサ904Aによってアクセスされ得る。

コンピューティングデバイス106はまた、ネットワーク902を介してシステム900の1つまたは複数の他の構成要素(たとえば、画像獲得システム104、ユーザデバイス120、トレーニングコンピューティングシステム128)と通信するために使用されるネットワークインターフェース904Fを含むことができる。ネットワークインターフェース904Fは、たとえば、送信機、受信機、ポート、コントローラ、アンテナ、または他の適切な構成要素を含む、1つまたは複数のネットワークとインターフェースするための任意の適切な構成要素を含むことができる。

いくつかの実装形態では、機械学習コンピューティングシステム102は、1つもしくは複数のサーバコンピューティングデバイスを含み得るか、または場合によってはそれによって実装される。機械学習コンピューティングシステム102が複数のサーバコンピューティングデバイスを含む事例では、そのようなサーバコンピューティングデバイスは、逐次計算アーキテクチャ、並行計算アーキテクチャ、またはそれらの何らかの組合せに従って動作することができる。

画像獲得システム104は、1つまたは複数のコンピューティングデバイス906Aを含むことができる。コンピューティングデバイス906Aは、1つまたは複数のプロセッサ906Bおよび1つまたは複数のメモリデバイス906Cを含むことができる。1つまたは複数のプロセッサ906Bは、マイクロプロセッサ、マイクロコントローラ、集積回路、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、論理デバイス、1つまたは複数の中央処理装置(CPU)、(たとえば、画像を効率的にレンダリングするための専用の)グラフィックス処理ユニット(GPU)、他の特殊な計算を実行するための処理ユニットなどのような、任意の適切な処理デバイスを含むことができる。メモリデバイス906Cは、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、および/またはそれらの組合せのような1つまたは複数の非一時的コンピュータ可読記憶媒体を含むことができる。

メモリデバイス906Cは、1つまたは複数のコンピュータ可読媒体を含むことができ、1つまたは複数のプロセッサ906Bによって実行され得る命令906Dを含む、1つまたは複数のプロセッサ906Bによってアクセス可能な情報を記憶することができる。たとえば、メモリ906Cは、本明細書で説明するように、イメージデータを獲得するための命令906Dを記憶することができる。いくつかの実施形態では、命令904Dは1つまたは複数のプロセッサ906Bによって、本明細書で説明するように、画像獲得システム104が構成される目的である(たとえば、画像データを提供する、イメージの獲得を調整する、画像キャプチャプラットフォームと通信する)動作および機能のいずれか、ならびに/または画像獲得システム104の任意の他の動作もしくは機能などの動作を1つまたは複数のプロセッサ906Bに実行させるように実行され得る。命令906Dは、任意の適切なプログラミング言語で書かれたソフトウェアであり得るか、またはハードウェアにおいて実装され得る。追加および/または代替として、命令906Dは、プロセッサ906B上で論理的かつ/または仮想的に別個のスレッドにおいて実行され得る。

1つまたは複数のメモリデバイス906Cはまた、1つまたは複数のプロセッサ906Bによって取り出され、操作され、作成され、または記憶され得るデータ906Eを記憶することができる。データ906Eは、たとえば、1つまたは複数の地理的エリアに関連する画像データ、獲得パターンなどを含むことができる。いくつかの実装形態では、データベース112は、画像獲得システム104とともに含まれるか、または場合によっては画像獲得システム104に関連付けられ得る。いくつかの実装形態では、データ906Eは、別のデバイス(たとえば、リモートアクセス可能な画像データベース)から受信され得る。

コンピューティングデバイス906Aはまた、ネットワーク902を介してシステム900の1つまたは複数の他の構成要素(たとえば、コンピューティングシステム102、データベース112)と通信するために使用されるネットワークインターフェース906Fを含むことができる。ネットワークインターフェース906Fは、たとえば、送信機、受信機、ポート、コントローラ、アンテナ、または他の適切な構成要素を含む、1つまたは複数のネットワークとインターフェースするための任意の適切な構成要素を含むことができる。

ユーザデバイス120の各々は、ラップトップ、デスクトップ、他のパーソナルコンピューティングデバイス、ナビゲーションシステム、スマートフォン、タブレット、ウェアラブルコンピューティングデバイス、他のモバイルコンピューティングデバイス、1つもしくは複数のプロセッサを有するディスプレイ、サーバコンピューティングデバイス、または任意の他のタイプのコンピューティングデバイスなど、任意の適切なタイプのコンピューティングデバイスであり得る。ユーザデバイス120は、1つまたは複数のプロセッサ908Aおよび1つまたは複数のメモリデバイス908Bを含むことができる。1つまたは複数のプロセッサ908Aは、マイクロプロセッサ、マイクロコントローラ、集積回路、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、論理デバイス、1つまたは複数の中央処理装置(CPU)、(たとえば、画像を効率的にレンダリングするための専用の)グラフィックス処理ユニット(GPU)、他の特殊な計算を実行するための処理ユニットなどのような、任意の適切な処理デバイスを含むことができる。メモリデバイス908Bは、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、および/またはそれらの組合せのような1つまたは複数の非一時的コンピュータ可読記憶媒体を含むことができる。

メモリデバイス908Bは、1つまたは複数のコンピュータ可読媒体を含むことができ、1つまたは複数のプロセッサ908Aによって実行され得る命令908Cを含む、1つまたは複数のプロセッサ908Aによってアクセス可能な情報を記憶することができる。たとえば、メモリデバイス908Bは、本明細書で説明するように、デバイスロケーションを決定し、コンピューティングシステム102にロケーションデータを提供するための命令908Cを記憶することができる。いくつかの実施形態では、命令908Cは1つまたは複数のプロセッサ908Aによって、本明細書で説明するように、ユーザデバイス102が構成される目的である動作および機能のいずれか、ならびに/またはユーザデバイス102の任意の他の動作もしくは機能などの動作を1つまたは複数のプロセッサ908Aに実行させるように実行され得る。命令908Cは、任意の適切なプログラミング言語で書かれたソフトウェアであり得るか、またはハードウェアにおいて実装され得る。追加および/または代替として、命令908Cは、プロセッサ908A上で論理的かつ/または仮想的に別個のスレッドにおいて実行され得る。

1つまたは複数のメモリデバイス908Bはまた、1つまたは複数のプロセッサ908Aによって取り出され、操作され、作成され、または記憶され得るデータ908Dを記憶することができる。データ908Dは、たとえば、ユーザデバイスに関連するデータ(たとえば、ロケーションデータ)を含むことができる。いくつかの実装形態では、データ908Dは、別のデバイス(たとえば、ロケーションを決定するためのリモートコンピューティングシステム)から受信され得る。

ユーザデバイス120は、ユーザデバイスのロケーションを決定するための様々なロケーションコンピューティングハードウェア908Fを含むことができる。たとえば、ロケーションハードウェア908Fは、ユーザデバイス120がそのロケーションを決定することを可能にし得る、センサ、GPSコンピューティングデバイスなどを含むことができる。いくつかの実装形態では、ロケーションコンピューティングハードウェア908Fは、ユーザデバイス120のロケーションを決定するために1つまたは複数の他のリモートコンピューティングデバイスから受信されたデータとともに使用され得る。

ユーザデバイス120はまた、ネットワーク902を介してシステム900の1つまたは複数の他の構成要素(たとえば、コンピューティングシステム102)と通信するために使用されるネットワークインターフェース908Eを含むことができる。ネットワークインターフェース908Eは、たとえば、送信機、受信機、ポート、コントローラ、アンテナ、または他の適切な構成要素を含む、1つまたは複数のネットワークとインターフェースするための任意の適切な構成要素を含むことができる。

いくつかの実装形態では、システム900は、ネットワーク902を介して通信可能に結合されたトレーニングコンピューティングシステム128をさらに含むことができる。トレーニングコンピューティングシステム128は、機械学習コンピューティングシステム102とは別個であり得るか、または機械学習コンピューティングシステム102の一部分であり得る。トレーニングコンピューティングシステム128は、1つまたは複数のコンピューティングデバイス910Aを含むことができる。

コンピューティングデバイス910Aは、1つまたは複数のプロセッサ910Bおよび1つまたは複数のメモリデバイス910Cを含むことができる。1つまたは複数のプロセッサ910Bは、マイクロプロセッサ、コントローラ、マイクロコントローラ、集積回路、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、論理デバイス、1つまたは複数の中央処理装置(CPU)、(たとえば、画像を効率的にレンダリングするための専用の)グラフィックス処理ユニット(GPU)、他の特殊な計算を実行するための処理ユニットなどのような、任意の適切な処理デバイスを含むことができる。メモリデバイス910Cは、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスクなど、および/またはそれらの組合せのような1つまたは複数の非一時的コンピュータ可読記憶媒体を含むことができる。

メモリデバイス910Cは、1つまたは複数のコンピュータ可読媒体を含むことができ、1つまたは複数のプロセッサ910Bによって実行され得る命令910Dを含む、1つまたは複数のプロセッサ910Bによってアクセス可能な情報を記憶することができる。たとえば、メモリ910Cは、本明細書で説明するように、機械学習型モデルをトレーニングするための命令910Dを記憶することができる。いくつかの実施形態では、命令910Dは1つまたは複数のプロセッサ910Bによって、本明細書で説明するように、トレーニングコンピューティングシステム128が構成される目的である(たとえば、バイナリ分類器モデルをトレーニングする)動作および機能のいずれか、ならびに/またはトレーニングコンピューティングシステム128の任意の他の動作もしくは機能などの動作を1つまたは複数のプロセッサ910Bに実行させるように実行され得る。命令910Dは、任意の適切なプログラミング言語で書かれたソフトウェアであり得るか、またはハードウェアにおいて実装され得る。追加および/または代替として、命令910Dは、プロセッサ910B上で論理的かつ/または仮想的に別個のスレッドにおいて実行され得る。

1つまたは複数のメモリデバイス910Cはまた、1つまたは複数のプロセッサ910Bによって取り出され、操作され、作成され、または記憶され得るデータ910Eを記憶することができる。データ910Eは、たとえば、トレーニングデータなどを含むことができる。いくつかの実装形態では、データ910Eは、別のデバイス(たとえば、リモートアクセス可能な画像データベース)から受信され得る。

コンピューティングデバイス910Aはまた、たとえば、モデルトレーナー302など、1つまたは複数のモデルトレーナー910Fを含むことができる。モデルトレーナー910Fは、所望の機能を提供するために利用されるコンピュータ論理を含むことができる。モデルトレーナー910Fは、汎用プロセッサを制御するハードウェア、ファームウェア、および/またはソフトウェアにおいて実装され得る。たとえば、いくつかの実装形態では、モデルトレーナー910Fは、記憶デバイス上に記憶され、メモリにロードされ、1つまたは複数のプロセッサ(たとえば、910B)によって実行されるプログラムファイルを含むことができる。他の実装形態では、モデルトレーナー910Fは、RAMハードディスクまたは光媒体もしくは磁気媒体などの有形のコンピュータ可読記憶媒体に記憶されるコンピュータ実行可能命令の1つまたは複数のセットを含むことができる。

コンピューティングデバイス910Aはまた、ネットワーク902を介してシステム900の1つまたは複数の他の構成要素(たとえば、コンピューティングシステム102)と通信するために使用されるネットワークインターフェース910Gを含むことができる。ネットワークインターフェース910Gは、たとえば、送信機、受信機、ポート、コントローラ、アンテナ、または他の適切な構成要素を含む、1つまたは複数のネットワークとインターフェースするための任意の適切な構成要素を含むことができる。

ネットワーク902は、ローカルエリアネットワーク(たとえば、イントラネット)、ワイドエリアネットワーク(たとえば、インターネット)、セルラーネットワーク、またはそれらの何らかの組合せなど、任意のタイプの通信ネットワークであり得、任意の数のワイヤードまたはワイヤレスリンクを含むことができる。ネットワーク902はまた、システム900の1つまたは複数の構成要素の間の直接接続を含むことができる。一般に、ネットワーク902を介した通信は、任意のタイプのワイヤードおよび/またはワイヤレス接続を介して、多種多様な通信プロトコル(たとえば、TCP/IP、HTTP、SMTP、FTP)、符号化もしくはフォーマット(たとえば、HTML、XML)、および/または保護方式(たとえば、VPN、セキュアなHTTP、SSL)を使用して行われ得る。

本明細書で説明する技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、ならびに講じられる措置およびそのようなシステムとの間で送られる情報に言及している。当業者は、コンピュータベースのシステムの固有の柔軟性が、構成要素間のタスクおよび機能の多種多様な可能な構成、組合せ、および分割を実現することを認識されよう。たとえば、本明細書で説明するサーバプロセスは、単一のサーバまたは共同して動作する複数のサーバを使用して実施され得る。データベースおよびアプリケーションは、単一のシステム上に実装されること、または複数のシステムに分散されることがある。分散された構成要素は、逐次または並行して動作することができる。

さらに、サーバにおいて実行されるものとして本明細書で説明する計算タスクは、代わりにユーザデバイスにおいて実行されてよい。同様に、ユーザデバイスにおいて実行されるものとして本明細書で説明する計算タスクは、代わりにサーバにおいて実行されてよい。

本主題は、特定の例示的な実施形態およびその方法に関して詳細に説明されているが、当業者は、前述の内容の理解を得ると、そのような実施形態の改変形態、変更形態、および等価物を容易に生成できることが諒解されよう。したがって、本開示の範囲は、限定としてではなく例としてのものであり、本開示は、当業者には直ちに明らかになるように、本主題に対するそのような修正、変更および/または追加を含めることを妨げない。

100 システム
102 機械学習コンピューティングシステム、コンピューティングシステム
104 画像獲得システム
106 コンピューティングデバイス
108A 画像キャプチャプラットフォーム、街路レベルのプラットフォーム
108B 画像キャプチャプラットフォーム、空中プラットフォーム
110A〜110B 画像獲得パターン、獲得パターン
112 画像データベース、データベース
114 別のコンピューティングシステム、他のコンピューティングデバイス
116 データ
118 ロケーションデータ
120 ユーザデバイス
122 重要性のレベル
124 制御コマンド
126 機械学習型バイナリ分類器モデル、バイナリ分類器モデル
128 トレーニングコンピューティングシステム
129 制御コマンド
130 しきい値
132A〜132B 移動経路
134A〜134B 頻度
200 複数の画像、画像
202 地理的エリア
204A 画像、第1の画像
204B 画像、第2の画像
204C 画像、第3の画像
206A 第1の時間
206B 第2の時間
206C 第3の時間
302 モデルトレーナー
304 トレーニングデータ
306 トレーニング出力、出力
402A 第1の複数のセル、セル
402B 第2の複数のセル、セル
406A 第1のセル、セル
406B 第2のセル、セル
408 サブ領域
410 変化
412A セル
412B セル
414 サブ領域
416 変化
418 変化のレベル
502 データ
504 第1の出力、出力
506 データ
508 第2の出力、出力
600 グラフ表現
700 方法
800 方法
900 システム
902 通信ネットワーク、ネットワーク
904A プロセッサ
904B メモリデバイス
904C コンピュータ可読命令、命令
904D データ
904E 機械学習型モデル、モデル
904F ネットワークインターフェース
906A コンピューティングデバイス
906B プロセッサ
906C メモリデバイス、メモリ
906D 命令
906E データ
906F ネットワークインターフェース
908A プロセッサ
908B メモリデバイス
908C 命令
908D データ
908E ネットワークインターフェース
908F ロケーションコンピューティングハードウェア、ロケーションハードウェア
910A コンピューティングデバイス
910B プロセッサ
910C メモリデバイス、メモリ
910D 命令
910E データ
910F モデルトレーナー
910G ネットワークインターフェース

Claims

画像獲得システムをタスキングするコンピュータ実装方法であって、
1つまたは複数のコンピューティングデバイスによって、地理的エリアに関連する複数の画像を表すデータを取得するステップであって、各画像は、前記地理的エリアの少なくとも一部分を示し、各画像は、異なる時間にキャプチャされている、ステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連する1つまたは複数の変化の発生を決定するために、前記複数の画像の少なくともサブセットを解析するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連する前記1つまたは複数の変化の前記発生に少なくとも一部基づいて、前記地理的エリアに関連する変化のレベルを決定するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記変化のレベルに少なくとも一部基づいて、前記地理的エリアに関連するイメージデータの獲得を調整するために、画像獲得システムに制御コマンドを提供するステップと
を備えるコンピュータ実装方法。
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連する1つまたは複数の変化の前記発生を決定するために、前記複数の画像の少なくとも前記サブセットを解析するステップは、
前記1つまたは複数のコンピューティングデバイスによって、前記複数の画像のうちの第1の画像に関連する第1の複数のセルおよび前記複数の画像のうちの第2の画像に関連する第2の複数のセルを識別するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記第1の複数のセルのうちの第1のセルおよび前記第2の複数のセルのうちの第2のセルを選択するステップであって、前記第1のセルと前記第2のセルの両方が、前記地理的エリアのサブ領域に関連付けられる、ステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアの前記サブ領域に関連する1つまたは複数の変化の前記発生を識別するために、前記第1のセルおよび前記第2のセルを表すデータを機械学習型バイナリ分類器モデルに入力するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記バイナリ分類器モデルから第1の出力を受信するステップであって、前記出力は、前記地理的エリアの前記サブ領域に関連する前記1つまたは複数の変化の前記発生を表す、ステップと
を備える、請求項1に記載のコンピュータ実装方法。
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連する1つまたは複数の変化の前記発生を決定するために、前記複数の画像の少なくとも前記サブセットを解析するステップは、
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアの1つまたは複数の他のサブ領域に関連する1つまたは複数の変化の発生を識別するために、前記バイナリ分類器モデルに別の入力として前記第1および第2の複数のセルのうちの他のセルを表すデータを提供するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記バイナリ分類器モデルから第2の出力を受信するステップであって、前記第2の出力は、前記地理的エリアの前記他のサブ領域のうちの1つまたは複数に関連する1つまたは複数の変化の前記発生を表す、ステップと
をさらに備える、請求項2に記載のコンピュータ実装方法。
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連する前記1つまたは複数の変化の前記発生に少なくとも一部基づいて、前記地理的エリアに関連する前記変化のレベルを決定するステップは、
前記1つまたは複数のコンピューティングデバイスによって、前記第1の出力および前記第2の出力に少なくとも一部基づいて、前記地理的エリアに関連する前記変化のレベルを決定するステップ
を備える、請求項3に記載のコンピュータ実装方法。
前記機械学習型バイナリ分類器モデルは、前記セルの各々の1つまたは複数の視覚的特性の比較に少なくとも一部基づいて、前記地理的エリアの前記サブ領域に関連する前記1つまたは複数の変化の前記発生を識別するようにトレーニングされる、請求項2から4のいずれか一項に記載のコンピュータ実装方法。
前記画像獲得システムは、1つまたは複数の画像キャプチャプラットフォームを備え、前記1つまたは複数のコンピューティングデバイスによって、前記画像獲得システムに前記制御コマンドを提供するステップは、前記変化のレベルに少なくとも一部基づいて、前記1つまたは複数の画像キャプチャプラットフォームに関連する獲得パターンを調整するステップを備える、請求項1から5のいずれか一項に記載のコンピュータ実装方法。
前記1つまたは複数のコンピューティングデバイスによって、複数のユーザデバイスに関連するロケーションデータを取得するステップであって、前記ロケーションデータは、前記地理的エリアに位置するユーザデバイスの数を表す、ステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに位置するユーザデバイスの前記数に少なくとも一部基づいて、前記地理的エリアに関連する重要性のレベルを決定するステップと
をさらに備える、請求項6に記載のコンピュータ実装方法。
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連するイメージデータの前記獲得を調整するために、前記画像獲得システムに前記制御コマンドを提供するステップは、
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連する前記変化のレベルおよび前記重要性のレベルに少なくとも一部基づいて、前記1つまたは複数の画像キャプチャプラットフォームに関連する前記獲得パターンを調整するために、前記画像獲得システムに前記制御コマンドを提供するステップ
を備える、請求項7に記載のコンピュータ実装方法。
前記獲得パターンを調整するステップは、前記画像キャプチャプラットフォームのそれぞれによって前記地理的エリアの画像がキャプチャされる頻度を調整するステップを備える、請求項6から8のいずれか一項に記載のコンピュータ実装方法。
前記地理的エリアの画像がキャプチャされる前記頻度は、しきい値を上回る前記地理的エリアに関連する前記決定された変化のレベルに従って増やされる、請求項9に記載のコンピュータ実装方法。
前記複数の画像は、1つまたは複数の空中プラットフォームによって獲得される、請求項6から10のいずれか一項に記載のコンピュータ実装方法。
前記複数の画像は、1つまたは複数の街路レベルのプラットフォームによって獲得される、請求項6から10のいずれか一項に記載のコンピュータ実装方法。
前記1つまたは複数のコンピューティングデバイスによって、前記地理的エリアに関連する前記変化のレベルを示すグラフ表現を生成するステップ
をさらに備え、
前記地理的エリアに関連するイメージデータの前記獲得を調整するための前記制御コマンドは、前記グラフ表現に少なくとも一部基づく、請求項1から12のいずれか一項に記載のコンピュータ実装方法。
前記地理的エリアに関連する前記1つまたは複数の変化は、構造的資産に関連する変化および交通資産に関連する変化のうちの少なくとも1つを備える、請求項1から13のいずれか一項に記載のコンピュータ実装方法。
前記地理的エリアに関連する前記変化は、建物の活動および道路の活動のうちの少なくとも1つを備える、請求項14に記載のコンピュータ実装方法。
画像獲得システムをタスキングするためのコンピューティングシステムであって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサによって実行されると、前記コンピューティングシステムに、
複数の画像を表すデータを取得することであって、各画像は、地理的エリアの少なくとも一部分を示し、各画像は、異なる時間にキャプチャされている、取得することと、
前記地理的エリアに関連する1つまたは複数の変化の発生を決定するために、前記複数の画像の少なくともサブセットを解析することと、
前記地理的エリアに関連する1つまたは複数の変化の前記発生に少なくとも一部基づいて、前記地理的エリアに関連する変化のレベルを決定することと、
前記変化のレベルに少なくとも一部基づいて、前記地理的エリアに関連するイメージデータの獲得を調整するために、画像獲得システムに制御コマンドを提供することと
を行わせる命令を記憶する少なくとも1つの有形の非一時的コンピュータ可読媒体と
を備えるコンピューティングシステム。
前記地理的エリアに関連する1つまたは複数の変化の前記発生を決定するために、前記複数の画像の前記サブセットを解析するために、前記命令は前記システムに、
前記複数の画像のうちの第1の画像に関連する第1の複数のセルおよび前記複数の画像のうちの第2の画像に関連する第2の複数のセルを識別することと、
前記第1の複数のセルのうちの第1のセルおよび前記第2の複数のセルのうちの第2のセルを選択することであって、前記第1のセルと前記第2のセルの両方が、前記地理的エリアのサブ領域に関連付けられる、選択することと、
前記地理的エリアの前記サブ領域に関連する変化の発生を識別するために、前記第1のセルおよび前記第2のセルを表すデータを機械学習型バイナリ分類器モデルに入力することと、
前記バイナリ分類器モデルから第1の出力を受信することであって、前記出力は、前記地理的エリアの前記サブ領域に関連する前記変化の前記発生を表す、受信することと
を行わせる、請求項16に記載のコンピューティングシステム。
前記複数の画像は、空中プラットフォームおよび街路レベルのプラットフォームのうちの少なくとも1つによって獲得され、
前記画像獲得システムに前記制御コマンドを提供して前記地理的エリアに関連するイメージデータの前記獲得を調整するために、前記命令は前記システムに、
前記空中プラットフォームおよび前記街路レベルのプラットフォームのうちの少なくとも1つに関連する獲得パターンを調整すること
を行わせる、請求項16から17のいずれか一項に記載のコンピューティングシステム。
前記システムは、
複数のユーザデバイスに関連するロケーションデータを取得することと、
前記ロケーションデータに少なくとも一部基づいて、前記地理的エリアに関連する重要性のレベルを決定することと
をさらに行わせられる、請求項16から18のいずれか一項に記載のコンピューティングシステム。
1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、請求項1から15のいずれか一項に記載の方法を実行させるコンピュータ可読命令を記憶する1つまたは複数の有形の非一時的コンピュータ可読媒体。