DE112020002734T5

DE112020002734T5 - Systeme und verfahren zur automatisierten erkennung von änderungen der erstreckung von strukturen unter nutzung von bildern

Info

Publication number: DE112020002734T5
Application number: DE112020002734.1T
Authority: DE
Inventors: Stephen Ng; R. Nilosek David; Phillip Salvaggio; Shadrian Strong
Original assignee: Pictometry International Corp
Current assignee: Pictometry International Corp
Priority date: 2019-06-07
Filing date: 2020-06-03
Publication date: 2022-03-03
Also published as: CA3139486A1; US11238282B2; US11699241B2; US20200387704A1; GB2598244A; US20220148304A1; AU2020287611A1; US20230351620A1; GB2598244B; WO2020247513A1; GB202116809D0

Abstract

Es werden Systeme und Verfahren zur automatisierten Erkennung von Änderungen der Erstreckung von Strukturen unter Nutzung von Bildern offenbart, die Folgendes umfassen: ein nichtflüchtiges, computerlesbares Medium, das computerausführbaren Code speichert, der, wenn er durch einen Prozessor ausgeführt wird, bewirkt, dass der Prozessor Folgendes durchführt: Ausrichten einer Strukturform einer Struktur zu einem ersten Zeitpunkt mit einem Bildklassifikatormodell an Pixeln in einem die Struktur darstellenden Luftbild, das zu einem zweiten Zeitpunkt aufgenommen wird; Ermitteln eines Grads der Ausrichtung zwischen der Strukturform und den Pixeln, um Ähnlichkeiten zwischen der in den Pixeln dargestellten Struktur und der Strukturform unter Nutzung eines Maschinenlernmodells zu klassifizieren, um einen Ausrichtungskonfidenzwert zu generieren; und Bestimmen eines Vorliegens einer Änderung der Struktur auf der Basis des Ausrichtungskonfidenzwerts, der ein Konfidenzniveau unter einem vorher bestimmten Schwellenwert für eine Konfidenz, dass die Strukturform und die Pixel in dem Luftbild ausgerichtet sind, anzeigt.

Description

Querverweis auf verwandte Anmeldungen
Die vorliegende Patentanmeldung beansprucht die Priorität der am 7. Juni 2019 eingereichten vorläufigen Patentanmeldung mit dem Aktenzeichen US 62/858,656 und dem Titel „SYSTEMS FOR DETECTION OF CHANGES IN EXTENT OF STRUCTURES“, deren gesamter Inhalt ausdrücklich durch Bezugnahme hierin aufgenommen wird.
Allgemeiner Stand der Technik
Die Erkennung von Änderungen der Erstreckung von Strukturen wie Gebäuden, Infrastruktur, Türmen für die öffentliche Versorgung, Straßen, Brücken, Pipelines und anderen Objekten erfordert häufig, dass eine Person mindestens ein erstes Bild und ein zweites Bild prüft und bestimmt, ob sich das Objekt im ersten Bild vom Objekt im zweiten Bild unterscheidet. Dieser Prozess kann langwierig und kostenaufwendig sein. Derzeitige automatisierte Prozesse zur Erkennung von Änderungen von Strukturen in digitalen Bildern auf dem Gebiet der computergestützten Erkennung von Änderungen von Strukturen sind zudem mit Nachteilen behaftet.
Digitale Bilder lassen sich als gepixelte Matrizen elektronischer Signale beschreiben. Die Matrix kann drei Dimensionen umfassen. Eine solche Matrix kann räumliche Elemente (x, y oder Breite, Länge) und spektrale Elemente (z. B. Rot, Grün, Blau) umfassen. Jedes Pixel in dem Bild nimmt Wellenlängen von auf das Pixel einfallendem Licht auf, die von der spektralen Bandbreite des Systems begrenzt werden. Die Wellenlängen von Licht werden in digitale Signale umgewandelt, die als Gleitkomma- oder Ganzzahlwerte durch einen Computer lesbar sind. Wie viel Signal pro Pixel vorhanden ist, ist zum Beispiel abhängig von den Lichtverhältnissen (der Lichtreflexion oder -streuung), davon, was abgebildet wird, und sogar von den chemischen Eigenschaften des Abbildungsobjekts.
Derzeit werden mindestens zwei Verfahren zum Erkennen von Änderungen der Erstreckung großer Strukturen genutzt. Ein erstes Verfahren ist der traditionellere Ansatz mit manuellen Vergleichen. Dabei wird ein erstes Bild von einer Person manuell mit einem zweiten Bild verglichen. Die Person muss eine Struktur, die in beiden Bildern vorhanden ist, identifizieren und die Kontur jeder Struktur vektorisieren. Anhand der Vektorisierung wird danach die Erstreckung der Strukturen verglichen, um zu bestimmen, ob eine Änderung der Erstreckung eingetreten ist, und, wenn eine Änderung der Erstreckung eingetreten ist, diese Änderung zu messen. Dieser Prozess ist sehr langwierig und kostenaufwendig und beruht darauf, dass mithilfe der menschlichen Wahrnehmungsfähigkeit die vektorisierte Kontur ausgerichtet wird sowie bestimmt wird, ob eine Änderung eingetreten ist oder nicht. Ein zweites Verfahren basiert auf einem algorithmischen Vektorisieren einer in zwei Bildern identifizierten Struktur und einem Vergleichen vektorisierter Konturen. Dieses Verfahren ist rechenaufwendig, weil für jeden Vergleich eine Erstreckung für die Struktur in jedem Bild jeweils neu extrahiert werden muss, und es ist trotzdem möglicherweise auch der Eingriff eines Menschen erforderlich. Bei der Extraktion der Erstreckung ist das Verfahren ferner fehleranfällig und geht mit einer langen Verarbeitungsdauer einher. Wie unten erörtert, werden allein dadurch, dass die Bilder durch maschinelles Lernen analysiert werden, nicht die für diese beiden Verfahren identifizierten Probleme gelöst.
Für das maschinelle Lernen (ML) mit digitalen Bildern besteht das Ziel darin, ein Computersystem so zu trainieren, dass es digitale Bilder in Cluster aus aggregierten Pixeln zerlegt und Korrelationen in den Clustern statistisch identifiziert. Die Korrelationen werden iterativ bewertet und vom Computersystem auf der Basis einer Anweisung zum Klassifizieren einer Menge von Mustern als spezielles Ding „gelernt“. Die Anweisung ist zum Beispiel möglicherweise eine Anweisung zum Klassifizieren der Menge von Mustern zum Unterscheiden zwischen einer Katze und einem Hund, zum Identifizieren aller Autos, zum Feststellen des Schadens an einem Dach eines Gebäudes und so weiter. Bei der Verwendung neuronaler Netze beim maschinellen Lernen handelt es sich um das sogenannte Deep Learning.
Bei vielen Abbildungsobjekten sind unabhängig von deren Farbe, Orientierung oder Größe im digitalen Bild diese speziellen Muster für das betreffende Objekt weitgehend einheitlich-sie beschreiben praktisch die Grundstruktur des Objekts von Interesse. Wenn das Objekt beispielsweise eine Katze ist, erkennt das Computersystem in einem Bild letztlich eine Katze, da das System die Veränderung der Spezies, der Farbe, der Größe und der Orientierung von Katzen versteht, nachdem es viele Bilder oder Exemplare von Katzen gesehen hat. Die gelernten statistischen Korrelationen werden danach auf neue Daten angewendet, um die relevanten Objekte von Interesse oder Informationen zu extrahieren.
Convolutional Neural Networks (CNNs) sind Maschinenlernmodelle, die bislang zur Erfüllung dieser Aufgabe durch untereinander verbundene Gleichungen genutzt werden, durch die Pixelgrauwerte mittels spezieller Kombinationen von Verbindungen der Gleichungen und einer Clusterung der Pixel aggregiert werden, um Objekte (oder „Klassen“) in einem digitalen Bild statistisch zu identifizieren. Beispielhafte Nutzungen von Convolutional Neural Networks werden zum Beispiel in „ImageNet Classification with Deep Convolutional Neural Networks“ von Krizhevsky et al. (Advances in Neural Information Processing Systems 25, Seiten 1097-1105, 2012) und in „Fully Convolutional Networks for Semantic Segmentation“ von Long et al. (IEEE Conference on Computer Vision and Pattern Recognition, Juni 2015) erläutert.
Generative Adversarial Networks (GANs) sind mit neuronalen Netzen arbeitende Deep-Learning-Architekturen, die zwei miteinander konkurrierende neuronale Netze beinhalten. Ein neuronales Netz, das als Generator bezeichnet wird, generiert neue Dateninstanzen, während ein anderes neuronales Netz, das als Diskriminator bezeichnet wird, die neuen Dateninstanzen auf Authentizität überprüft, das heißt, der Diskriminator entscheidet für jede Dateninstanz, ob sie zum Trainingsdatensatz gehört oder nicht. Die Erzeugung eines Generative Adversarial Network wird zum Beispiel in „Generative Adversarial Networks“ von Goodfellow et al. (Departement d'informatique et de recherche operationnelle, Universite de Montreal, Juni 2014) erläutert.
Bei der Nutzung computerbasierter Techniken zum überwachten Deep Learning, etwa bei einem CNN, für digitale Bilder stellt ein Benutzer eine Reihe von Beispielen digitaler Bilder von den Objekten von Interesse für den Computer bereit, und das Computersystem nutzt ein Netz von Gleichungen, um signifikante Korrelationen für das Objekt von Interesse durch statistische Iterationen der Clusterung, Filterung und Faltung von Pixeln zu „lernen“.
Die Ausgabe des neuronalen Netzes/Kl-Netzes (KI = künstliche Intelligenz) ist ein Modell von einem ähnlichen Typ, welches sich jedoch sowohl zur Kontextidentifizierung als auch für die Reaktion auf Änderungen von Bildparametern besser anpassen lässt. In der Regel handelt es sich um eine binäre Ausgabe, die durch die Sprache/Form des genutzten Netzes strukturiert und vorgegeben wird und die dann in einem separaten Workflow implementiert und zu einer prädiktiven Klassifizierung auf den umfassenderen Bereich von Interesse angewendet werden kann.
Auf dem technischen Gebiet der Fernerkundung können digitale Bilder zum Zuordnen von Geoinformationen genutzt werden. Zur Klassifizierung von Pixeln in einem Bild zu Geoinformationszwecken werden bislang verschiedene Techniken verwendet. Einige CNN-basierte Techniken umfassen zum Beispiel die semantische Segmentierung (die eine pixelweise Klassifizierung oder Zuordnung einzelner Pixel zu Klassen einschließt) unter Nutzung von Fully Convolutional Neural Networks (FCNs), wie im oben genannten Fachartikel „Fully Convolutional Networks for Semantic Segmentation“ von Long et al. beschrieben. Bei dieser Technik wird jedem Pixel in dem Bild eine auf Trainingsdatenbeispielen basierende Kennzeichnung oder Klassifizierung zugewiesen, wie in der allgemeinen Überblicksdarstellung oben erörtert. Die Technik ist jedoch rechenintensiv, weil hierzu Ressourcen in Form von Datenverarbeitungsplatz, -zeit und -aufwand zur Bewertung aller einzelnen Pixel erforderlich sind.
Eine Technik, die nicht zum technischen Gebiet der Geoinformationszuordnung gehört, ist die allgemeine Bildklassifizierung (General Image Classification) unter Nutzung eines Convolutional Neural Network (CNN) wie desjenigen, das von Simonyan et al. im Fachartikel „Very Deep Convolutional Networks for Large-Scale Image Recognition“ (International Conference on Machine Learning, 2015) beschrieben worden ist. Bei der allgemeinen Bildklassifizierung werden keine einzelnen Pixel gekennzeichnet, sondern es wird ein ganzes Bild mit einer generalisierten Kennzeichnung versehen. Hierzu dient in der Regel ein Algorithmus, der weitaus einfacher ist als die semantische Segmentierung mit FCNs, und folglich fällt der Rechenaufwand geringer aus. Jedoch werden bei diesem Verfahren weniger Informationen zu einem Bild bereitgestellt, da es auf das Bild als aggregiertes Ganzes als Generalisierung beschränkt ist und hierbei keine Einzelheiten identifiziert werden, etwa wo sich Objekte in der Szene in dem digitalen Bild befinden oder wo sich einzelne Informationen in dem digitalen Bild befinden.
Es besteht ein Bedarf an einem System zum Bestimmen von Änderungen der Erstreckung einer in digitalen Bildern dargestellten Struktur, in dem der Prozess nicht so rechenaufwendig wie bei der semantischen Segmentierung mit FCNs (der pixelweisen Klassifizierung) und hingegen genauer ist sowie mehr Informationen zu Teilen eines digitalen Bilds als allgemeine Bildklassifizierung liefert. Ein solches verbessertes System zum Bestimmen von Änderungen der Erstreckung einer in digitalen Bildern dargestellten Struktur ist der Gegenstand der vorliegenden Offenbarung.
Übersicht
Die Aufgabe des Bestimmens einer Änderung der Erstreckung einer in digitalen Bildern dargestellten Struktur wird mit den hierin beschriebenen Systemen und Verfahren gelöst, die automatisierte Erstreckungsanalysesysteme und -verfahren zur Erkennung von Änderungen der Erstreckung einer oder mehrerer Strukturen umfassen.
Gemäß einem Aspekt der vorliegenden Offenbarung kann ein nichtflüchtiges, computerlesbares Medium computerausführbaren Code speichern, der, wenn er durch einen Prozessor ausgeführt wird, bewirkt, dass der Prozessor Folgendes durchführt: Ausrichten einer Strukturform einer Struktur zu einem ersten Zeitpunkt mit einem Bildklassifikatormodell an Pixeln in einem die Struktur darstellenden Luftbild, wobei das Luftbild zu einem zweiten Zeitpunkt aufgenommen wird; Ermitteln eines Grads der Ausrichtung zwischen der Strukturform und den Pixeln in dem die Struktur darstellenden Luftbild, um Ähnlichkeiten zwischen der in den Pixeln des Luftbilds dargestellten Struktur und der Strukturform unter Nutzung eines Maschinenlernmodells zu klassifizieren, um einen Ausrichtungskonfidenzwert zu generieren; und Bestimmen eines Vorliegens einer Änderung der Struktur auf der Basis des Ausrichtungskonfidenzwerts, der ein Konfidenzniveau unter einem vorher bestimmten Schwellenwert für eine Konfidenz, dass die Strukturform und die Pixel in dem Luftbild ausgerichtet sind, anzeigt.
Gemäß einem Aspekt der vorliegenden Offenbarung kann es sich bei dem Maschinenlernmodell um ein Convolutional-Neural-Network-Bildklassifikatormodell und/oder ein Generative-Adversarial-Network-Bildklassifikatormodell handeln.
Gemäß einem Aspekt der vorliegenden Offenbarung können die computerausführbaren Befehle, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass der Prozessor Folgendes durchführt: Identifizieren einer Form der Änderung der Struktur unter Nutzung eines oder mehrerer von Folgendem: einer Punktwolkenschätzung, eines Convolutional Neural Network, eines Generative Adversarial Network oder einer Merkmalserkennungstechnik.
Gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet das Ausrichten der Strukturform ferner Folgendes: Erzeugen der Strukturform unter Nutzung eines zum ersten Zeitpunkt aufgenommenen Bilds einer Struktur.
Gemäß einem Aspekt der vorliegenden Offenbarung kann der Ausrichtungskonfidenzwert bestimmt werden, indem eine Formüberschneidung zwischen der Strukturform und einem Umriss der in den Pixeln des Luftbilds dargestellten Struktur bestimmt wird.
Gemäß einem Aspekt der vorliegenden Offenbarung kann die Strukturform ein zuvor bestimmter Umriss der Struktur zum ersten Zeitpunkt sein.
Gemäß einem Aspekt der vorliegenden Offenbarung kann der erste Zeitpunkt vor dem zweiten Zeitpunkt liegen, oder der erste Zeitpunkt kann nach dem zweiten Zeitpunkt liegen.
Gemäß einem Aspekt der vorliegenden Offenbarung kann das Ausrichten der Strukturform ferner Folgendes beinhalten: Erkennen von Kanten der Struktur in dem Luftbild; Bestimmen eines oder mehrerer Verschiebungsabstände zwischen der Strukturform und einer oder mehreren Kanten der erkannten Kanten der Struktur in dem Luftbild; und Verschieben der Strukturform um den Verschiebungsabstand.
Gemäß einem Aspekt der vorliegenden Offenbarung können die computerausführbaren Befehle, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass der Prozessor Folgendes durchführt: Bestimmen einer strukturellen Veränderung auf der Basis des Vorliegens der Änderung und auf einem Vergleich zwischen der Strukturform und den Pixeln in dem die Struktur darstellenden Luftbild, nachdem die Strukturform um den Verschiebungsabstand verschoben worden ist.
Figurenliste
Die beiliegenden Zeichnungen, die in diese Patentbeschreibung aufgenommen sind und einen Bestandteil davon bilden, veranschaulichen eine oder mehrere hierin beschriebene Implementierungen und erläutern zusammen mit der Beschreibung diese Implementierungen. Die Zeichnungen sollen nicht maßstabgerecht gezeichnet sein, und manche Merkmale und manche Ansichten der Figuren werden der Übersichtlichkeit und Knappheit halber überhöht, maßstabgerecht oder anhand einer Prinzipskizze dargestellt. Möglicherweise ist nicht jede Komponente in jeder Zeichnung mit einem Bezugszeichen versehen. Gleiche Bezugszeichen in den Figuren repräsentieren und beziehen sich auf jeweils dieselben oder ähnliche Elemente oder Funktionen. Für die Zeichnungen gilt:

1 ist ein Fließschema eines Ausführungsbeispiels eines Erstreckungsanalyseverfahrens gemäß der vorliegenden Offenbarung.
2A ist ein Fließschema eines beispielhaften Änderungsentscheidungsverfahrens gemäß der vorliegenden Offenbarung.
2B ist ein Fließschema eines weiteren beispielhaften Änderungsentscheidungsverfahrens gemäß der vorliegenden Offenbarung.
3 zeigt ein beispielhaftes Erstreckungsanalysesystem gemäß der vorliegenden Offenbarung.
4A ist ein beispielhaftes Nadirbild, das eine Struktur von Interesse zu einem ersten Zeitpunkt gemäß der vorliegenden Offenbarung darstellt.
4B ist ein beispielhaftes Bild, das eine Strukturform der Struktur aus 4A gemäß der vorliegenden Offenbarung darstellt.
5 ist ein beispielhaftes Nadirbild, das die Struktur von Interesse zu einem zweiten Zeitpunkt gemäß der vorliegenden Offenbarung darstellt.
6 ist das Bild aus 5, das die Struktur zum zweiten Zeitpunkt darstellt und in dem eine unausgerichtete Strukturform, die in 4B zum ersten Zeitpunkt dargestellt ist, eingeblendet wird.
7 ist das Bild aus 4, das die Struktur zum zweiten Zeitpunkt darstellt, in dem eine ausgerichtete Strukturform gemäß 4B, die die Strukturform zum ersten Zeitpunkt darstellt, eingeblendet wird und das eine identifizierte Änderung einer Erstreckung der Struktur zeigt.

Ausführliche Beschreibung
Bevor mindestens eine Ausführungsform der Offenbarung ausführlich erläutert wird, wird darauf hingewiesen, dass die Offenbarung in ihrer Anwendbarkeit nicht auf die Details von Aufbauten, Versuchen, beispielhaften Daten und/oder der Anordnung der Komponenten, die in der folgenden Beschreibung dargelegt oder in den Zeichnungen veranschaulicht werden, begrenzt ist, sofern nicht anders angegeben.
Weitere Ausführungsformen der Offenbarung, die sich auf verschiedene Arten ausführen oder praktisch umsetzen lässt, sind ebenfalls möglich. Hierin wird beispielhaft auf die Änderung der Erstreckung einer Struktur eingegangen, jedoch können die Verfahren und Systeme beispielsweise auch zum Bewerten anderer Eigenschaften (etwa von Änderungen der Grund- oder Bodenfläche einer Struktur, ohne jedoch darauf begrenzt zu sein) anderer von Menschen hergestellter Objekte genutzt werden, etwa von Gebäuden wie Wohn-, Industrie- oder gewerblich genutzten Gebäuden, einschließlich Infrastruktur wie Straßen, Brücken, Versorgungsleitungen, Pipelines oder Türmen für die öffentliche Versorgung, wobei es sich um nicht ausschließliche Beispiele handelt. Außerdem sei darauf hingewiesen, dass die hierin gebrauchten Wörter und Termini nur Zwecken der Beschreibung dienen und nicht als einschränkend anzusehen sind.
Wie in der Beschreibung hierin genutzt, drücken die Wörter „beinhaltet“, „beinhaltend“, „umfasst“, „umfassend“, „aufweisend“, „mit“ sowie jegliche anderen Wortformen davon eine nicht ausschließliche Inklusion aus. Zum Beispiel sind Prozesse, Verfahren, Erzeugnisse oder Vorrichtungen, die eine Liste von Elementen beinhalten, sofern nicht anders angegeben, nicht zwangsläufig auf nur diese Elemente begrenzt, sondern können auch noch andere Elemente umfassen, die nicht ausdrücklich aufgelistet sind oder an sich zu solchen Prozessen, Verfahren, Erzeugnissen oder Vorrichtungen gehören.
Ferner ist das Wort „oder“, sofern es nicht ausdrücklich anders definiert ist, ein inklusives und kein exklusives „Oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Gegebenheiten erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), oder sowohl A als auch B sind wahr (oder vorhanden).
Darüber hinaus werden die Artikel „ein“ und „eine“ dazu gebraucht, um Elemente und Komponenten der Ausführungsformen hierin zu beschreiben. Dies erfolgt lediglich aus Zweckmäßigkeitsgründen und um einen allgemeinen Einblick in den Erfindungsgedanken zu vermitteln. Damit sind jeweils ein oder mehrere Elemente oder eine oder mehrere Komponenten gemeint, da der Singular jeweils auch den Plural einschließt, sofern nicht offenkundig eine andere Bedeutung gilt. Ferner bedeutet der Begriff „Vielzahl“, wenn er genutzt wird, „mehr als eines“, sofern nicht ausdrücklich anders definiert.
Umstandsangaben wie „im Wesentlichen“, „ungefähr“, „etwa“ sowie Kombinationen und Varianten davon, wie hierin genutzt, sollen nicht nur den durch sie näher bestimmten genauen Betrag oder Wert einschließen, sondern auch manche geringfügigen Abweichungen davon, die zum Beispiel auf Rechentoleranzen, Rechenfehler, Fertigungstoleranzen, Messfehler, einen natürlichen Verschleiß, auf verschiedene Teile ausgeübte Beanspruchungen oder Kombinationen davon zurückführbar sein könnten.
Wenn hierin auf „eine Ausführungsform“, „einige Ausführungsformen“, „ein Ausführungsbeispiel“ oder „ein Beispiel“ Bezug genommen oder die Angabe „zum Beispiel“ verwendet wird, bedeutet dies, dass das betreffende Element, das betreffende Merkmal, die betreffende Struktur oder die betreffende Eigenschaft, das/die in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform umfasst ist und in Verbindung mit anderen Ausführungsformen genutzt werden kann. Wird zum Beispiel an verschiedenen Stellen in der Patentbeschreibung auf „einige Ausführungsformen“ oder „ein Beispiel“ eingegangen, wird hierbei nicht zwangsläufig immer auf dieselbe Ausführungsform Bezug genommen.
Die Nutzung von Ordinalzahlen (also „erster“, „zweiter“, „dritter“, „vierter“ etc.) dient allein dem Zweck der Unterscheidung zwischen zwei oder mehr Elementen und, sofern nicht ausdrücklich anders erklärt, soll keine sequenzielle Ordnung oder Reihenfolge einzelner Elemente, nicht die Wichtigkeit eines Elements gegenüber einem anderen Element und auch keine Reihenfolge bei einer Hinzufügung implizieren.
Die Formulierung „mindestens ein/eine“ oder „ein/eine oder mehrere“ ist so zu verstehen, dass sie sowohl ein einzelnes Element als auch eine beliebige Menge aus mehreren Elementen einschließt. Darüber hinaus ist die Formulierung „mindestens eines von X, V und Z“ so zu verstehen, dass nur X, nur V oder nur Z sowie beliebige Kombinationen aus X, V und Z gemeint sein können.
Bei Schaltungsbauteilen, wie hierin genutzt, kann es sich um analoge und/oder digitale Komponenten oder einen oder mehrere geeignet programmierte Prozessoren (z. B. Mikroprozessoren) sowie zugehörige Hard- und Software oder eine festverdrahtete Logik handeln. „Komponenten“ können zudem eine oder mehrere Aufgaben erfüllen. Der Begriff „Komponente“ kann Folgendes einschließen: Hardware wie einen Prozessor (z. B. einen Mikroprozessor), einen anwendungsspezifischen integrierten Schaltkreis (ASIC), ein Field Programmable Gate Array (FPGA), eine Kombination aus Hard- und Software oder dergleichen. Der Begriff „Prozessor“, wie hierin genutzt, bezeichnet einen einzelnen Prozessor oder mehrere Prozessoren, die entweder unabhängig voneinander arbeiten oder zusammenarbeiten, um gemeinsam einen Task durchzuführen.
Software kann einen oder mehrere computerlesbare Befehle oder computerlesbaren Code umfassen, wobei durch eine Ausführung des einen oder der mehreren computerlesbaren Befehle oder des computerlesbaren Codes bewirkt wird, dass die Komponente eine vorgegebene Aufgabe erfüllt. Es versteht sich, dass die hierin beschriebenen Algorithmen in einem oder mehreren nichtflüchtigen, computerlesbaren Medien gespeichert werden können. Beispiele für nichtflüchtige, computerlesbare Medien sind Arbeitsspeicher, Festwertspeicher, Flashspeicher oder dergleichen. Bei den nichtflüchtigen, computerlesbaren Medien kann es sich um elektrisch veränderbare, magnetische, optische oder andere Speicher handeln.
1 in den Zeichnungen, auf die nunmehr Bezug genommen wird, ist ein Fließschema, das ein beispielhaftes Erstreckungsanalyseverfahren 10 darstellt. Das Erstreckungsanalyseverfahren 10 kann durch ein Erstreckungsanalysesystem 100 mit einem oder mehreren Computerprozessoren 264 (3) implementiert werden. Allgemein bestimmt das Erstreckungsanalysesystem 100 beim Erstreckungsanalyseverfahren 10 das Vorliegen oder Nichtvorliegen einer Änderung einer Struktur 64 durch den Versuch einer Ausrichtung einer Strukturform 90 der Struktur 64 an einem Vergleichsbild 110, das eine Vergleichsstruktur 64' darstellt. Wenn im Laufe einer vorher bestimmten Anzahl von Iterationen zum Versuch der Ausrichtung der Strukturform 90 an der Vergleichsstruktur 64' die Strukturform 90 an der Vergleichsstruktur 64' ausgerichtet werden kann (und die Ausrichtung auf oder über einem vorher bestimmten Konfidenzniveau liegt), bestimmt das Erstreckungsanalysesystem 100, dass die Strukturform 90 und die Vergleichsstruktur 64' gleich sind und dass keine Änderung zwischen der Struktur 64 und der Vergleichsstruktur 64' eingetreten ist. Wenn jedoch das Erstreckungsanalysesystem 100 im Laufe der vorher bestimmten Anzahl von Versuchen der Ausrichtung der Strukturform 90 an der Vergleichsstruktur 64' die Strukturform 90 nicht mit einer Konfidenz an der Vergleichsstruktur 64' ausrichten kann, bestimmt das Erstreckungsanalysesystem 100, dass die Strukturform 90 und die Vergleichsstruktur 64' unterschiedlich sind, dass also eine Änderung zwischen der Struktur 64 und der Vergleichsstruktur 64' eingetreten ist. Wenn das Erstreckungsanalysesystem 100 in einer Ausführungsform bestimmt, dass eine Änderung eingetreten ist, implementiert das Erstreckungsanalysesystem 100 ein Änderungsentscheidungsverfahren 140a, 140b (2A und 2B), um zu bestimmen, was sich zwischen der Struktur 64 und der Vergleichsstruktur 64' (zum Beispiel durch bauliche Veränderungen, Aufbauten oder Abrisse) etwa in Form einer Änderung der Erstreckung 130 geändert hat.
Genauer werden beim Erstreckungsanalyseverfahren 10 der eine oder die mehreren Computerprozessoren 264 dazu genutzt, um Software auszuführen, durch die bewirkt wird, dass der eine oder die mehreren Computerprozessoren 264 die Schritte des Erstreckungsanalyseverfahrens 10 ausführen, welches beinhaltet, dass bei Schritt 14 eine (in 4B veranschaulichte und unten erörterte) Strukturform 90, die eine Erstreckung einer Struktur 64 darstellt, an einem Vergleichsbild 110 ausgerichtet wird, wobei das Vergleichsbild 110 ein Bild der (in 5 veranschaulichten und unten erörterten) Vergleichsstruktur 64' ist, und dass bei Schritt 18 ein Ausrichtungskonfidenzwert generiert wird. Das Erstreckungsanalyseverfahren 10 kann ferner beinhalten, dass bestimmt wird, ob der Ausrichtungskonfidenzwert gleich oder größer als ein Ausrichtungsschwellenwert ist (Schritt 22). Wenn der Ausrichtungskonfidenzwert gleich oder größer als der Ausrichtungsschwellenwert ist, wird beim Erstreckungsanalyseverfahren 10 bestimmt, dass sich die Erstreckung nicht geändert hat (Schritt 26). Wenn der Ausrichtungskonfidenzwert hingegen kleiner als der Ausrichtungsschwellenwert ist, wird beim Erstreckungsanalyseverfahren 10 bestimmt, ob eine Iterationsanzahl, die anzeigt, wie viele Iterationen beim Erstreckungsanalyseverfahren 10 durchlaufen werden, gleich oder größer als ein vorher bestimmter Iterationsschwellenwert ist (Schritt 30). Wenn die Anzahl der Iterationen größer als der Iterationsschwellenwert und in Verbindung damit der Ausrichtungskonfidenzwert kleiner als der Ausrichtungsschwellenwert ist, wird beim Erstreckungsanalyseverfahren 10 bestimmt, dass sich die Erstreckung der Struktur 64 geändert hat (Schritt 34).
Wenn der Ausrichtungskonfidenzwert hingegen kleiner als der Ausrichtungsschwellenwert und die Iterationsanzahl kleiner als der Iterationsschwellenwert ist, kann das Erstreckungsanalysesystem 100 bei Schritt 38 eine Kantenerkennung auf das Vergleichsbild 110 anwenden und Kanten der Vergleichsstruktur 64' in dem Vergleichsbild 110 extrahieren. Das Erstreckungsanalysesystem 100 kann die Iterationsanzahl um eins erhöhen. Das Erstreckungsanalyseverfahren 10 kann ferner Folgendes beinhalten: Schätzen eines Verschiebungsabstands mit einem Pixelabstandspuffer unter Nutzung eines Korrelationsmodells zum Abgleichen der Strukturform 90 mit den extrahierten Kanten (Schritt 42); und Verschieben der Strukturform 90 um den Verschiebungsabstand (Schritt 46) bei einem Versuch einer Ausrichtung der Strukturform 90 an der Vergleichsstruktur 64'. Daraufhin kann beim Erstreckungsanalyseverfahren 10 die Iterationsanzahl erhöht und danach zu Schritt 18 zurückgekehrt werden.
Bei der Iterationsanzahl handelt es sich um eine Anzahl von Schleifen, die beim Erstreckungsanalyseverfahren 10 zwischen Schritt 18 und Schritt 46 bei einer erneuten Ausrichtung der Strukturform 90 an Pixeln in dem die Vergleichsstruktur 64' darstellenden Vergleichsbild 110 durchlaufen werden.
Das Erstreckungsanalyseverfahren 10 kann ferner beinhalten, dass ein bestimmter Standort der Struktur 64, etwa eine Hausanschrift oder der Breitengrad und der Längengrad, empfangen wird, um die Struktur 64 zu identifizieren, damit bestimmt werden kann, ob sich die Struktur 64 geändert hat oder nicht. In anderen Ausführungsformen wird beim Erstreckungsanalyseverfahren 10 möglicherweise eine Kennung eines geografischen Gebiets empfangen, woraufhin das Erstreckungsanalyseverfahren 10 an Strukturen 64 in dem geografischen Gebiet durchgeführt werden kann. Das geografische Gebiet kann unterschiedlich definiert werden, etwa nach dem Stadtteil, der Straße, der Stadt, der Gemeinde oder dem Bezirk. Das geografische Gebiet kann ferner durch eine Auswahl von mindestens drei räumlich verteilten geografischen Koordinaten definiert werden. In einigen Ausführungsformen werden bei dem Erstreckungsanalyseverfahren 10 (zum Beispiel über einen Geocodierungsanbieter) möglicherweise Strukturstandortinformationen (etwa eine Hausanschrift) in einen Satz Koordinaten wie etwa Koordinaten der geografischen Breite und der geografischen Länge umgewandelt, wobei dieser Satz Koordinaten zum Abfragen einer Bilddatenbank 178 oder einer Strukturformdatenbank 174 (die unten erörtert werden) genutzt werden kann, um Bilder zu erhalten, die dazu genutzt werden können, um die Strukturform 90 zu bestimmen und das Vergleichsbild 110 zu erhalten. Als Nächstes können die Koordinaten der geografischen Breite und der geografischen Länge der Struktur 64 zum Abfragen der Bilddatenbank 178 oder der Strukturformdatenbank 174 genutzt werden, um ein oder mehrere Bilder oder eine oder mehrere Strukturformen 90 der Struktur 64 von Interesse abzurufen.
In einer Ausführungsform handelt es sich bei der Strukturform 90, die bei Schritt 14 genutzt wird, um eine Vektorkontur eines Umrisses, die die Erstreckung der Struktur 64 umschreibt. In einer Ausführungsform umschreibt die Strukturform 90 einen Abschnitt der Struktur 64, den nur ein Gebäude ausmacht (während ein Garten, ein Gehweg, eine Einfahrt, eine Außenküche, ein Schwimmbecken etc., die sich möglicherweise an demselben Standort wie das Gebäude oder neben dem Gebäude befinden oder mit dem Gebäude überlappen, nicht darin eingeschlossen sind), während die Strukturform 90 in anderen Ausführungsformen möglicherweise einen Abschnitt der Struktur 64 umschreibt, der ein Gebäude sowie eventuelle daneben befindliche Merkmale wie etwa eine Veranda, eine Einfahrt, eine Terrasse, einen Pavillon, eine Pergola, eine Markise, einen Carport, einen Schuppen oder beliebige andere Merkmale, die sich möglicherweise neben dem Gebäude befinden, umfasst. Das eine oder die mehreren Merkmale sind in einigen Fällen mit dem Gebäude fest verbunden. Bei dem Merkmal handelt es sich zum Beispiel möglicherweise um eine Veranda, eine Markise oder einen Carport, die mit dem Gebäude fest verbunden sind. In einer Ausführungsform ist die Strukturform 90 dreidimensional, etwa eine Reihe von Kanten und Knoten, die einen Umriss der Struktur 64 in einem dreidimensionalen Drahtmodell definieren, während die Strukturform 90 in anderen Ausführungsformen zweidimensional ist, etwa ein Umriss einer zweidimensionalen Struktur.
Der Ausrichtungskonfidenzwert bei Schritt 18 zeigt an, bis zu welchem Grad die Strukturform 90 und die Struktur 64 in dem Vergleichsbild 110 einander überdecken, wobei Kanten der Strukturform 90 und Pixel in dem Vergleichsbild 110, die die Kanten der Struktur 64 darstellen, im Wesentlichen kollinear sind. Der Ausrichtungskonfidenzwert kann darauf basieren, dass ermittelt wird, bis zu welchem Grad die Strukturform 90 und die Vergleichsstruktur 64' in dem Vergleichsbild 110 einander überdecken, also bis zu welchem Grad die Kanten der Strukturform 90 und die Pixel, die die Kanten der Vergleichsstruktur 64' in dem Vergleichsbild 110 darstellen, im Wesentlichen kollinear sind. Der Ausrichtungskonfidenzwert kann eine Wahrscheinlichkeit sein. In einer Ausführungsform ist der Ausrichtungskonfidenzwert möglicherweise die Wahrscheinlichkeit, dass die Strukturform 90 an der Vergleichsstruktur 64' ausgerichtet ist.
In einer Ausführungsform wird die Generierung des Ausrichtungskonfidenzwerts bei Schritt 18 durch ein Bildklassifikatormodell für neuronale Netze durchgeführt. Das Bildklassifikatormodell für neuronale Netze kann so trainiert werden, dass es die Ausrichtung ermittelt und den Ausrichtungskonfidenzwert erzeugt. Das Bildklassifikatormodell für neuronale Netze kann ein Modell für ein Generative Adversarial Network, ein Convolutional Neural Network, ein Fully Convolutional Neural Network, ein beliebiges anderes zum Generieren des Ausrichtungskonfidenzwerts geeignetes neuronales Netz oder eine beliebige Kombination dieser Netze sein.
Das Bildklassifikatormodell für neuronale Netze kann den Ausrichtungskonfidenzwert als eine Wahrscheinlichkeit, dass die Kanten der Strukturform 90 und die Kanten der Struktur 64 in dem Vergleichsbild 110 im Wesentlichen kollinear sind, ausgeben. Beim Ermitteln der Ausrichtung der Strukturform 90 und der Kanten der Struktur 64 wird durch das Modell zum Beispiel möglicherweise bestimmt, dass alle Seiten der Strukturform 90 mit einer Konfidenz von 95 % an den extrahierten Kanten der Struktur 64 ausgerichtet sind. In einem weiteren nicht ausschließlichen Beispiel wird durch das Modell möglicherweise bestimmt, dass die Strukturform 90 mit einer Konfidenz von 85 % an den Kanten der Struktur 64 für jede Kante der Struktur 64 ausgerichtet ist.
Bei dem Ausrichtungsschwellenwert handelt es sich um einen unteren Ausrichtungskonfidenzgrenzwert, wobei, wenn er überschritten wird, das Erstreckungsanalysesystem 100 bestimmt, dass sich die Struktur 64 nicht geändert hat. Mit anderen Worten, wenn der Ausrichtungskonfidenzwert gleich oder größer als der Ausrichtungsschwellenwert ist, wird dadurch angezeigt, dass sich die Struktur 64 nicht geändert hat, da der Ausrichtungskonfidenzwert ein akzeptables (auf dem Ausrichtungsschwellenwert basierendes) Niveau für eine Konfidenz, dass die Strukturform 90 an der Vergleichsstruktur 64' in dem Vergleichsbild 110 ausgerichtet ist, anzeigt. Wenn der Ausrichtungskonfidenzwert kleiner als der Ausrichtungsschwellenwert ist, wird dadurch angezeigt, dass sich die Struktur 64 geändert hat, da mit einer niedrigen (auf dem Ausrichtungsschwellenwert basierenden) Konfidenz angezeigt wird, dass die Strukturform 90 an der Vergleichsstruktur 64' in dem Vergleichsbild 110 ausgerichtet ist (dass also die Strukturform 90 nicht mit der Vergleichsstruktur 64' in dem Vergleichsbild 110 übereinstimmt). Der Ausrichtungsschwellenwert kann von einem Benutzer festgelegt oder durch ein Modell für ein neuronales Netz bestimmt werden, das so trainiert worden ist, dass es eine solche Bestimmung treffen kann. Der Ausrichtungsschwellenwert kann zum Beispiel auf der Basis der gewünschten Verarbeitungsebene und/oder auf der Basis der Genauigkeit der ausgegebenen Ergebnisse festgelegt oder bestimmt werden. In einer Ausführungsform wird möglicherweise ein Ausrichtungsschwellenwert, der sich auf 60 %, 70 %, 80 % oder 90 % oder einen beliebigen vom Benutzer gewünschten Prozentwert beläuft, festgelegt oder bestimmt. Der Ausrichtungsschwellenwert darf entweder nur gleich oder größer als der festgelegte Wert sein, oder er darf nur größer als der festgelegte Wert sein.
Bei dem Iterationsschwellenwert bei Schritt 30 handelt es sich möglicherweise um eine maximale Anzahl von Iterationen der Schleife, die zwischen Schritt 18 und Schritt 46 erst durchlaufen werden müssen, bevor bestimmt wird, dass sich die Struktur geändert hat (Schritt 34). Der Iterationsschwellenwert kann von einem Benutzer festgelegt oder durch ein Modell für künstliche Intelligenz bestimmt werden, z. B. ein Modell für ein neuronales Netz, das so trainiert worden ist, dass es eine solche Bestimmung treffen kann. Wenn das neuronale Netz den Ausrichtungsschwellenwert nach einer Anzahl von Iterationen, die gleich dem Iterationsschwellenwert ist, nicht erreicht (oder ihn überschritten) hat, wird davon ausgegangen, dass sich die Struktur geändert hat. Der Iterationsschwellenwert kann auf der Basis der gewünschten Verarbeitungsebene und/oder auf der Basis der Genauigkeit der ausgegebenen Ergebnisse festgelegt oder bestimmt werden. In einer Ausführungsform wird möglicherweise ein Iterationsschwellenwert, der sich auf 1, 10, 100, 1000 oder eine beliebige vom Benutzer gewünschte Iterationsanzahl beläuft, festgelegt oder bestimmt.
Bei Schritt 38 wird beim Erstreckungsanalyseverfahren 10 eine Kantenerkennungsanalyse auf das Vergleichsbild 110 angewendet und eine Kantenextraktion für die Vergleichsstruktur 64' in dem Vergleichsbild 110 durchgeführt. Bei der Kantenerkennung handelt es sich um den Prozess, bei dem Schlüsselpunkte und/oder Knoten in einem Bild, die einer Kante entsprechen, bestimmt werden. In einer Ausführungsform erfolgen die Kantenerkennung und die Kantenextraktion mittels einer Kombination von Techniken des maschinellen Sehens wie der Canny-Kantenerkennung in Verbindung mit einer Line-Segment-Detection (LSD) oder einer Technik der künstlichen Intelligenz, bei der Convolutional Neural Networks verwendet werden, die so trainiert worden sind, dass sie Schlüsselpunkte und/oder Knoten, die Kanten in einem Bild entsprechen, finden.
Bei Schritt 42 wird beim Erstreckungsanalyseverfahren 10 der Verschiebungsabstand mit einem Pixelabstandspuffer unter Nutzung eines Korrelationsmodells zum Abgleichen der Strukturform 90 mit den extrahierten Kanten geschätzt. Der Verschiebungsabstand (der auch als Pixelverschiebungsabstand bezeichnet werden kann) ist ein Abstand, um den die Strukturform 90 zur Ausrichtung an einer in dem Vergleichsbild 110 dargestellten extrahierten Kante angepasst würde. In einer Ausführungsform wird der Verschiebungsabstand auf der Basis einer Line-Segment-Detection mit maschinellem Sehen und einem 2D-Kreuzkorrelationsverfahren bestimmt. Der Verschiebungsabstand kann berechnet und danach mit einem Pixelabstandspuffer so angepasst werden, dass die Verschiebung begrenzt wird. In einer Ausführungsform wird der Pixelabstandspuffer durch eine Initialisierung mit einer Zufallszahl oder durch eine Anzahl von Pixeln innerhalb eines bestimmten Abstands zur Strukturform 90 bestimmt. Es kann eine Pixelabstandspufferskalierung in Abhängigkeit von der Auflösung des Vergleichsbilds 110 erfolgen, sodass ein höher auflösendes Bild einen größeren Pixelabstandspuffer als ein niedriger auflösendes Bild desselben geografischen Gebiets aufweist, wobei der Pixelabstandspuffer des höher auflösenden Bilds und der Pixelabstandspuffer des niedriger auflösenden Bilds einen äquivalenten Abstand der realen Welt darstellen. In einer weiteren Ausführungsform wird zum Bestimmen des Verschiebungsabstands ein Ansatz mit einem neuronalen Netz genutzt. Bei dem Ansatz mit einem neuronalen Netz basiert der Verschiebungsabstand möglicherweise auf einer in einem Convolutional Neural Network durchgeführten Merkmalszuordnung.
In einer Ausführungsform beträgt die Auflösung des Basisbilds 60 und/oder des Vergleichsbilds 110 zwischen etwa drei Zoll und etwa sechs Zoll. In einer Ausführungsform beträgt die Auflösung des Basisbilds 60 und/oder des Vergleichsbilds 110 mehr als etwa sechs Zoll.
Nachdem der Verschiebungsabstand geschätzt worden ist, verschiebt das Erstreckungsanalysesystem 100 bei Schritt 46 die Strukturform 90 um einen Abstand, der gleich dem geschätzten Verschiebungsabstand ist.
Nachdem beim Erstreckungsanalyseverfahren 10 bestimmt worden ist, dass sich die Struktur 64 bei Schritt 34 des Erstreckungsanalyseverfahrens 10 geändert hat, kann das Änderungsentscheidungsverfahren 140a, 140b implementiert werden, um die Änderung der Erstreckung 130 zu erkennen. Der eine oder die mehreren Computerprozessoren 264 können Computersoftware ausführen, um durch das Durchführen des Änderungsentscheidungsverfahrens 140a, 140b die Änderung der Erstreckung 130 der Struktur 64 gegenüber der Vergleichsstruktur 64' zu bestimmen. Die Bestimmung der Änderung der Erstreckung 130 der Struktur 64 kann realisiert werden, indem hierzu ein neuronales Netz (wie in 2A gezeigt) verwendet wird oder zunächst die Strukturform 90 für das Bild 60 ab dem ersten Zeitpunkt erzeugt und diese Strukturform 90 danach mit Pixeln, die die Struktur 64' in dem Vergleichsbild 110 ab dem zweiten Zeitpunkt (wie in 2B gezeigt) darstellen, verglichen wird. Darüber hinaus oder alternativ lässt sich die Bestimmung der Änderung der Erstreckung 130 der Struktur 64 auch noch durch andere Vergleichstechniken realisieren.
Allgemein kann das Erstreckungsanalysesystem 100 zum Bestimmen der Änderung der Erstreckung 130 die Strukturformen 90, die Vergleichsbilder 110 und/oder die Basisbilder 60 analysieren. Eine Änderungslösung umfasst möglicherweise eine Bestimmung, ob eine Änderung der Erstreckung 130 zwischen der Strukturform 90 und der Vergleichsstruktur 64' eingetreten ist, und es wird dabei die Änderung etwa durch das Identifizieren geänderter Bereiche im Vergleich mit der Strukturform 90 definiert und/oder kategorisiert. In einer Ausführungsform implementiert das Erstreckungsanalysesystem 100 ein Änderungsentscheidungsverfahren 140a unter Verwendung eines trainierten Maschinenlernsystems, um die Änderung der Erstreckung 130 zu erkennen. In einer Ausführungsform ist das Erstreckungsanalysesystem 100 ein raumbezogenes System, und/oder die Basisbilder 60 und die Strukturformen 90 können in einer Datenbank für räumliche Beziehungen gespeichert sein.
2A veranschaulicht ein Ausführungsbeispiel für das Änderungsentscheidungsverfahren 140a zum Analysieren der Basisbilder 60 und der Vergleichsbilder 110, um die Änderung der Erstreckung 130 einer oder mehrerer Strukturen 64 zu identifizieren. Bei Schritt 214 wird beim Änderungsentscheidungsverfahren 140a ein neuronales Netz zum Erzeugen einer Antwort bezüglich einer eventuellen Änderung der Erstreckung 130 der Struktur 64 zwischen den Basisbildern 60 und den Vergleichsbildern 110 genutzt. Danach erfolgt beim Änderungsentscheidungsverfahren 140a eine Verzweigung zu Schritt 218, um auf der Basis der Antwort aus dem neuronalen Netz zu bestimmen, ob die Änderung der Erstreckung 130 eingetreten ist.
2B zeigt ein weiteres Ausführungsbeispiel für ein Änderungsentscheidungsverfahren 140b zum Bestimmen der Änderung der Erstreckung durch Analysieren des Basisbilds 60 ab dem ersten Zeitpunkt und Vergleichen mit dem Vergleichsbild 110 ab dem zweiten Zeitpunkt. Das Änderungsentscheidungsverfahren 140b umfasst allgemein Folgendes: Erzeugen der Strukturform 90 für das Basisbild 60 ab dem ersten Zeitpunkt (Schritt 234), Erkennen der Vergleichsstruktur 64' in dem Vergleichsbild 110 ab dem zweiten Zeitpunkt (Schritt 238), Korrelieren der Strukturform 90 für das Bild 60 ab dem ersten Zeitpunkt mit der Vergleichsstruktur 64' in dem Vergleichsbild 110 ab dem zweiten Zeitpunkt (Schritt 242) und Bestimmen der Änderung der Erstreckung auf der Basis des Betrags der Formüberschneidung zwischen der Strukturform 90 und der Vergleichsstruktur 64' in dem Vergleichsbild 110 ab dem zweiten Zeitpunkt (Schritt 246). In einer Ausführungsform kann die Korrelation unter Verwendung eines neuronalen Netzes erfolgen.
In einer Ausführungsform können der eine oder die mehreren Computerprozessoren 264 eine Form der Änderung der Erstreckung 130 der Vergleichsstruktur 64' unter Nutzung eines oder mehrerer von Folgendem identifizieren: einer Punktwolkenschätzung, eines Convolutional Neural Network, eines Generative Adversarial Network oder einer Merkmalserkennungstechnik.
Wenn das Erstreckungsanalysesystem 100 in einer Ausführungsform bestimmt, dass die Änderung der Erstreckung 130 vorliegt, kann das Erstreckungsanalysesystem 100 die Änderung der Erstreckung 130 zum zweiten Zeitpunkt bestimmen. Das Erstreckungsanalysesystem 100 kann danach die Änderung der Erstreckung 130 zum zweiten Zeitpunkt in einer oder mehreren Datenbanken speichern. Das Erstreckungsanalysesystem 100 kann eines oder mehrere von Folgendem in einer oder mehreren Datenbanken speichern: Metadaten der Erstreckung, einen Zeitstempel der Erzeugung des Vergleichsbilds 110, eine GPS-Position der Änderung der Erstreckung 130, den Bereich der Änderung der Erstreckung 130 oder sonstige Informationen zur Änderung der Erstreckung 130. Dadurch, dass das Erstreckungsanalysesystem 100 diese Informationen speichert, wenn gezeigt wird, dass die Änderung der Erstreckung 130 vorliegt, verkürzt sich die Verarbeitungszeit für künftige Vergleiche der Änderung der Erstreckung 130 zum zweiten Zeitpunkt und mit der Struktur 64 oder der Vergleichsstruktur 64' zu einem dritten Zeitpunkt.
Das Erstreckungsanalyseverfahren 10 und das Änderungsentscheidungsverfahren 140a, 140b können mit dem Erstreckungsanalysesystem 100 durchgeführt werden. In 3 ist ein Ausführungsbeispiel für das Erstreckungsanalysesystem 100 dargestellt. In einer Ausführungsform beinhaltet das Erstreckungsanalysesystem 100 den einen oder die mehreren Computerprozessoren 264 und eine oder mehrere Datenbanken.
In einer Ausführungsform können die eine oder die mehreren Datenbanken eine für vorhandene Strukturformen vorgesehene Datenbank 174 und eine für neue Bilder vorgesehene Datenbank 178 beinhalten. Die für vorhandene Strukturformen vorgesehene Datenbank 174 kann eine oder mehrere der Strukturformen 90 speichern. Die Strukturformen 90 können von einem oder mehreren zum ersten Zeitpunkt aufgenommenen, die Struktur 64 zum ersten Zeitpunkt darstellenden Basisbildern 60 abgeleitet werden. Die für neue Bilder vorgesehene Datenbank 178 kann eines oder mehrere der Vergleichsbilder 110 speichern. Das eine oder die mehreren Vergleichsbilder 110 in der für neue Bilder vorgesehenen Datenbank 178 können zum zweiten Zeitpunkt aufgenommen werden und die Vergleichsstruktur 64' darstellen, bei der es sich in der Regel um die Struktur 64 zum zweiten Zeitpunkt handelt (wobei aber auch keine oder noch weitere Strukturen 64 vorhanden sein können).
Das Erstreckungsanalysesystem 100 kann ferner einen oder mehrere nichtflüchtige Speicher 268 beinhalten. Der Computerprozessor 264 kann eine oder mehrere Kommunikationskomponenten 270 umfassen (oder kommunikativ mit ihnen gekoppelt sein). Der nichtflüchtige Speicher 268 kann die für vorhandene Strukturformen vorgesehene Datenbank 174, die für neue Bilder vorgesehene Datenbank 178, die für vorhandene Bilder vorgesehene Datenbank 186, die für ausgerichtete und aktualisierte Strukturformen vorgesehene Datenbank 194 und die Änderungskonfidenzdatenbank 198 sowie Computersoftware speichern. Die für vorhandene Strukturformen vorgesehene Datenbank 174, die für neue Bilder vorgesehene Datenbank 178, die für vorhandene Bilder vorgesehene Datenbank 186, die für ausgerichtete und aktualisierte Strukturformen vorgesehene Datenbank 194 und die Änderungskonfidenzdatenbank 198 sind möglicherweise eigenständige Datenbanken oder in einer einzigen Datenbank vereinigt. Das Computersystem 260 kann ein Netz 272 umfassen, das eine bidirektionale Kommunikation zwischen dem Computerprozessor 264, dem nichtflüchtigen Speicher 268 und einer Vielzahl von Benutzergeräten 284 ermöglicht. Die Benutzergeräte 284 können über das Netz 272 kommunizieren und/oder Informationen auf einem Display 296 ausgeben. Der eine Computerprozessor 264 oder die mehreren Computerprozessoren 264 können, müssen sich aber nicht unbedingt am selben physischen Ort befinden.
In einer Ausführungsform handelt es sich bei dem Netz 272 um das Internet, und die Benutzergeräte 284 kommunizieren mit dem Computerprozessor 264 über die Kommunikationskomponente 270 durch eine Reihe von Webseiten 288. Es sei jedoch darauf hingewiesen, dass das Netz 272 ein Netz von fast jedem Typ sein kann und etwa als das World Wide Web (oder Internet), ein Local Area Network (LAN), ein Wide Area Network (WAN), ein Metro-Netz, ein kabelloses Netz, ein zellulares Mobilfunknetz, ein GSM-Netz (GSM = Global System for Mobile Communications), ein CDMA-Netz (CDMA = Code Division Multiple Access), ein 3G-Netz, ein 4G-Netz, ein 5G-Netz, ein Satellitennetz, ein Funknetz, ein optisches Netz, ein Kabelnetz, ein Festnetz, ein Ethernet-Netz, Kombinationen davon oder sonstige Netze implementiert sein kann. Es ist denkbar, dass in naher Zukunft für Ausführungsformen der vorliegenden Offenbarung möglicherweise noch fortgeschrittenere Netztopologien in Frage kommen werden.
In einer Ausführungsform sind der Computerprozessor 264 und der nichtflüchtige Speicher 268 möglicherweise zusammen mit einem Serversystem mit mehreren Servern in einer Konfiguration, die für die Bereitstellung eines kommerziellen computerbasierten Geschäftssystems wie einer geschäftlichen Website und/oder eines Rechenzentrums geeignet ist, implementiert.
Der eine oder die mehreren Computerprozessoren 264 können Computersoftware zum Ausrichten der Strukturformen 90 an den Strukturen 64 ausführen, die in den Vergleichsbildern 110, die in der für neue Bilder vorgesehenen Datenbank 178 gespeichert sind, dargestellt werden. In einer Ausführungsform können der eine oder die mehreren Computerprozessoren 264 Computersoftware zum Speichern der ausgerichteten Strukturformen 90 in der einen oder den mehreren Datenbanken wie etwa in einer für aktualisierte Strukturformen vorgesehenen Datenbank 194 ausführen. In einer Ausführungsform führen der eine oder die mehreren Computerprozessoren 264 möglicherweise Computersoftware zum Speichern der Ausrichtungskonfidenzwerte in der einen oder den mehreren Datenbanken wie etwa in einer Änderungskonfidenzdatenbank 198 aus. Die Datenbanken 174, 178, 186, 194 und 198 sind der Übersichtlichkeit halber zwar als separate Elemente gezeigt, jedoch versteht es sich, dass eine oder mehrere oder alle Datenbanken 174, 178, 186, 194 und 198 auch kombiniert sein können.
Nunmehr werden das Erstreckungsanalysesystem 100, das Erstreckungsanalyseverfahren 10 und das Änderungsentscheidungsverfahren 140a, 140b anhand von Beispielen beschrieben. 4A, auf die nunmehr Bezug genommen wird, zeigt ein beispielhaftes Basisbild 60, das zu einem ersten Zeitpunkt aufgenommen worden ist. In einer Ausführungsform handelt es sich bei dem Basisbild 60 um eine Nadir- oder Orthoansicht eines Grundstücks 58, die die Struktur 64 und einen Gehweg 68 umfasst. Die Struktur 64 kann zahlreiche Merkmale wie unter anderem Folgendes umfassen: eine Platte 72 für Hausanschlüsse, eine Verandamarkise 76, einen Garten 80 und ein Dach 84. Das Basisbild 60 zeigt zwar nur ein Grundstück 58 mit nur einer Struktur 64, jedoch können das Basisbild 60 und/oder das Vergleichsbild 110 auch mehr als nur ein Grundstück 58 zeigen, wobei jedes Grundstück 58 eine oder mehr als eine Struktur 64 aufweisen kann.
Die im Basisbild 60 in 4A dargestellte Struktur 64 ist beispielsweise ein Haus, jedoch kann es sich bei der Struktur 64 auch um eine in der Natur vorkommende Struktur wie etwa einen Baum oder um ein von Menschen hergestelltes Bauwerk wie ein Gebäude oder einen Schuppen handeln. Allgemein kann es sich bei der Struktur 64 um ein Objekt von einem beliebigen Typ mit einer definierbaren Erstreckung handeln, also um eine beliebige Struktur 64, deren Größe (z. B. deren Länge und Breite oder deren Fläche) und deren Form sich mit der Größe und der Form der Strukturform 90 vergleichen lassen. Es versteht sich, dass das Basisbild 60 nicht nur einfach eine Struktur 64 und einen Gehweg 68 zeigen kann, sondern beliebig viele Objekte im Basisbild 60 in der Nähe der Struktur 64 und/oder auf dem Grundstück 58 wie unter anderem Pflanzen, Gewässer wie Flüsse, Seen, Teiche und Bäche, von Menschen hergestellte Bauwerke wie Straßen, Wege oder Gebäude, Tiere oder dergleichen umfassen kann.
Das Basisbild 60 kann aus einer Luftperspektive über der Struktur 64 und/oder aus einer Bodenperspektive aufgenommen werden. Was die Luftperspektive betrifft, so handelt es sich bei dem Basisbild 60 möglicherweise um ein Nadirbild, das von einem direkt darüber befindlichen Blickpunkt aus aufgenommen worden ist und auch Ortho- oder Nadiransicht genannt wird. Ein Nadirbild wird in der Regel von einem über der Struktur 64 positionierten Kameraobjektiv aus direkt darunter oder senkrecht nach unten gemacht (wie in 4A gezeigt). Bei dem Basisbild 60 handelt es sich möglicherweise um ein Schrägbild, das als Luftbild von oben und bei einer Schrägbetrachtung gemacht worden ist. Ein Luftbild, das bei einer Schrägbetrachtung gemacht wird, wird möglicherweise in einem Winkel von etwa 10 bis etwa 75 Grad zur Nadirrichtung aufgenommen. In einer Ausführungsform handelt es sich bei einem oder mehreren der Basisbilder 60 um ein oder mehrere Nadirbilder und bei einem oder mehreren der Basisbilder 60 um ein oder mehrere Schrägbilder.
In einer Ausführungsform identifiziert das Erstreckungsanalysesystem 100 eine beliebige Struktur 64, die nicht im Basisbild 60, sondern im Vergleichsbild 110 als eine neue Struktur 64 dargestellt wird. Das Erstreckungsanalysesystem 100 kann einen geografischen Standort (z. B. die geografische Breite/Länge) der Struktur 64 im Vergleichsbild 110 bestimmen und danach ein oder mehrere Basisbilder 60 analysieren, um zu bestimmen, ob die Struktur 64 in den Pixeln des einen oder der mehreren Basisbilder 60 zu anderen Zeitpunkten dargestellt wird.
4B, auf die nunmehr Bezug genommen wird, zeigt eine Vektorisierung 60' des Basisbilds 60. Die Vektorisierung 60' umfasst mindestens drei Komponenten, eine Strukturerstreckung 94, die Strukturform 90, die die Strukturerstreckung 94 einschließt oder umgibt, und eine Außenfläche einer Strukturvektorisierung 98 außerhalb der Strukturform 90. Die Strukturerstreckung 94 kann auch Konturlinienerstreckung der Struktur 64 genannt werden. Die Strukturerstreckung 94 lässt sich durch eine manuelle Auswahl von Vertices (Ecken etc.) in einem Orthobild, unter Nutzung einer Punktwolke oder unter Nutzung eines neuronalen Netzes bestimmen. Techniken zum Erstellen und Nutzen einer Punktwolke und zum Bestimmen einer Konturlinie eines Dachs innerhalb der Punktwolke werden in der US-Patentveröffentlichung Nr. 201662295336 erörtert, deren gesamter Inhalt durch Bezugnahme hierin aufgenommen wird. Das neuronale Netz ist zum Beispiel möglicherweise ein Convolutional Neural Network, ein Generative Adversarial Network oder ein beliebiges anderes neuronales Netz, das zum Bestimmen der Strukturerstreckung 94 konfiguriert ist.
5 zeigt ein beispielhaftes Vergleichsbild 110, das zu einem zweiten Zeitpunkt aufgenommen worden ist. Der zweite Zeitpunkt kann vor oder nach dem ersten Zeitpunkt liegen. Das Vergleichsbild 110 stellt eine Vergleichsstruktur 64' dar, wobei die Vergleichsstruktur 64' die Struktur 64 zum zweiten Zeitpunkt ist. Der zweite Zeitpunkt und der erste Zeitpunkt sind unterschiedliche Zeitpunkte. Deshalb können sich eventuelle Änderungen der Struktur 64, die zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt eingetreten sind, in der Vergleichsstruktur 64' in dem Vergleichsbild 110 widerspiegeln.
Die Vergleichsstruktur 64' kann viele der Merkmale umfassen, die auch die Struktur 64 umfasst, etwa die Platte 72 für Hausanschlüsse, die Verandamarkise 76, den Garten 80 und das Dach 84. In dem in 3 gezeigten Beispiel umfasst die Vergleichsstruktur 64' jedoch ferner eine strukturelle Veränderung 114. Das Vergleichsbild 110 stellt nur eine strukturelle Veränderung 114 dar, jedoch versteht es sich, dass das Vergleichsbild 110 auch mehr als nur eine strukturelle Veränderung 114 darstellen kann, und es versteht sich, dass die strukturelle Veränderung 114 eine beliebige an der Struktur 64, beliebigen ihrer Merkmale oder eventuellen zusätzlichen Merkmalen vorgenommene Veränderung sein kann. Es versteht sich, dass das Vergleichsbild 110 eine Vergleichsstruktur 64', nämlich eine Vergleichsstruktur 64' mit entfernten Merkmalen, darstellen kann, etwa eine Vergleichsstruktur 64' nach einer Entfernung der Verandamarkise 76 aus der Struktur 64, welche in dem Vergleichsbild 110 nicht mehr dargestellt wird. Ferner versteht es sich, dass Unterschiede zwischen dem Vergleichsbild 110 und dem Basisbild 60 nicht auf die Merkmale der Vergleichsstruktur 64' begrenzt sind, sondern auch die Hinzufügung oder Entfernung einer oder mehrerer Strukturen 64 im Basisbild 60 oder von mit der Struktur 64 verbundenen Merkmalen wie eines Schuppen, eines Carports, eines Pavillons oder jeglicher sonstiger Baustrukturen umfassen können.
Das Basisbild 60 kann ein Luftbild in Form einer Nadiraufnahme sein, und das Vergleichsbild 110 kann ebenfalls ein Luftbild in Form einer Nadiraufnahme sein. In manchen Ausführungsformen werden die Basisbilder 60 und die Vergleichsbilder 110 möglicherweise in ähnlichen Richtungen aufgenommen, also entweder in einer Nadir- oder einer schrägen Richtung. In einigen Ausführungsformen werden die Basisbilder 60 und 110 möglicherweise in ähnlichen Himmelsrichtungen, also Norden, Süden, Osten oder Westen, aufgenommen. Ähnliche Himmelsrichtungen, wie hierin genutzt, beziehen sich auf Bilder, die in einer um höchstens plus oder minus dreißig Grad von der betreffenden Himmelsrichtung abweichenden Richtung aufgenommen werden. In anderen Ausführungsformen werden das Basisbild 60 und das Vergleichsbild 110 möglicherweise in unterschiedlichen Richtungen aufgenommen. In einigen Ausführungsformen ist das Basisbild 60 ein Luftbild in Form einer Nadiraufnahme und das Vergleichsbild 110 ein Luftbild in Form einer Schrägaufnahme, die in einer um etwa 10 Grad von der Nadirrichtung abweichenden Richtung gemacht worden ist.
Zu beispielhaften Bildaufnahmesystemen, die zum Aufnehmen des Basisbilds 60 und/oder des Vergleichsbilds 110 genutzt werden können, zählen die Bildaufnahmesysteme, die im US-Patent Nr. 7,424,133 , im US-Patent Nr. 8,385,672 und im US-Patent mit dem Aktenzeichen 16/226,320 (das als US 2019-0149710 A1 veröffentlicht worden ist) offenbart worden sind, wobei der gesamte Inhalt all dieser Patente durch Bezugnahme hierin aufgenommen wird.
In einer Ausführungsform sind alle Basisbilder 60 und/oder alle Vergleichsbilder 110 mit einer eindeutigen Bildkennung versehen, wozu etwa Metadaten genutzt werden oder diese so gespeichert werden, dass ein Computersystem 260 alle Basisbilder 60 und/oder alle Vergleichsbilder eindeutig identifizieren kann.
In einer Ausführungsform werden die Basisbilder 60 und/oder die Vergleichsbilder georeferenziert, also so verarbeitet, dass Pixel in den Basisbildern 60 und/oder den Vergleichsbildern 110 einen bestimmten geografischen Standort aufweisen, etwa x-, y- und z-Koordinaten oder Koordinaten der geografischen Breite und der geografischen Länge und die Höhe über dem Meeresspiegel. Im US-Patent Nr. 7,424,133 werden zum Beispiel Techniken zur Georeferenzierung von Schrägbildern und für Messungen in den Schrägbildern beschrieben. Der gesamte Inhalt des US-Patents Nr. 7,424,133 wird hiermit durch Bezugnahme hierin aufgenommen. Siehe auch zum Beispiel WO2018071983 mit dem Titel „An Image Synthesis System“. Die Georeferenzierungsdaten können als Metadaten in den Bildern oder getrennt von den Bildern und mit Bezug zu den Bildern unter Nutzung einer beliebigen geeigneten Technik wie eindeutiger Kennungen gespeichert werden. Die mit den Basisbildern 60 und den Vergleichsbildern 110 verknüpften Georeferenzierungsdaten können zum Korrelieren der Strukturform 90 mit der in dem Vergleichsbild 110 dargestellten Vergleichsstruktur 64' genutzt werden. In anderen Ausführungsformen werden die Basisbilder 60 und die Vergleichsbilder 110 nicht georeferenziert.
In einer Ausführungsform werden die Basisbilder 60 und die Vergleichsbilder 110 zu einem vorgegebenen, vollen Paket komprimiert. Durch das Komprimieren aller Basisbilder 60 und Vergleichsbilder 110 zu einem vorgegebenen, vollen Paket können einige Annahmen zum Vorhandensein einer Struktur und zu möglichen Änderungen getroffen werden. Beispielsweise könnten Annahmen zu eventuellen Erstreckungsänderungen getroffen werden, sodass die Änderungen hierdurch auf Änderungen, die an einem vollen Paket durchgeführt werden könnten, begrenzt würden. Diese Annahmen sind besonders wichtig, wenn eine Bestimmung zum Typ einer Erstreckungsänderung wie etwa bei einer Hinzufügung einer Veranda oder Garage getroffen wird. Solche Annahmen hätten auch Effizienzsteigerungen bei einem Zeichenprozess für die Strukturform 90 für eine Änderungserkennung zur Folge.
In 6 ist das Vergleichsbild 110 aus 5 gezeigt, in dem die Strukturform 90 und die Strukturerstreckung 94 der Struktur 64 über der Vergleichsstruktur 64' eingeblendet sind. In diesem Beispiel sind die Strukturform 90 und die Strukturerstreckung 94 der Struktur 64 nicht an der Vergleichsstruktur 64' ausgerichtet. Zusätzlich zu dem Dach 84, der strukturellen Veränderung 114 und der Platte 72 für Hausanschlüsse, also den Strukturmerkmalen, zeigt 6 eine Verschiebungsdifferenz 120 zwischen der Strukturform 90 und der Vergleichsstruktur 64'. Die Verschiebungsdifferenz 120 kann in mehr als nur einer Richtung gemessen werden, was bedeutet, dass die Verschiebungsdifferenz 120 durch eine Anzahl von Pixeln in vertikaler Richtung gemessen werden kann, wobei die vertikale Richtung zum Beispiel eine Richtung von der unteren Bildkante zur oberen Bildkante ist, und/oder in horizontaler Richtung gemessen werden kann, wobei die horizontale Richtung zum Beispiel die Richtung von der Bildkante ganz links zur Bildkante ganz rechts ist. Die Verschiebungsdifferenz 120 kann ein Drehungswert sein. In anderen Ausführungsformen wird das Vergleichsbild 110 möglicherweise skaliert. Das Skalieren des Vergleichsbilds 110 kann mindestens zum Teil auf dem Verschiebungsabstand und dem Ausrichtungskonfidenzwert basieren. Die Verschiebungsdifferenz (oder mehrere Verschiebungsdifferenzen) 120 kann (können) deswegen gemessen oder bestimmt werden, um den einen oder die mehreren Verschiebungsabstände zu erzeugen.
7 zeigt das Vergleichsbild 110 aus 5 und die Strukturform 90 und die Strukturerstreckung 94 der Struktur 64, die eingeblendet werden und nun auf der Vergleichsstruktur 64' in dem Vergleichsbild 110 (etwa auf der Basis des Verschiebungsabstands) ausgerichtet sind. Wie in 7 gezeigt, decken die Strukturform 90 und die Strukturerstreckung 94 den Abschnitt der Vergleichsstruktur 64' ab, der zum ersten Zeitpunkt in der Struktur 64 vorhanden gewesen ist. Ein Abschnitt der Vergleichsstruktur 64', der nicht von der Strukturform 90 und der Strukturerstreckung 94 abgedeckt wird, wird durch einen gestreiften Bereich identifiziert, der einen Abschnitt der Vergleichsstruktur 64' definiert, der hinzugefügt worden ist (eine strukturelle Veränderung 114), welcher die Änderung der Erstreckung 130 ausmacht. Die Änderung der Erstreckung 130 ist die Differenz zwischen der Erstreckung 94 der Struktur 64 zum ersten Zeitpunkt und der Erstreckung der Vergleichsstruktur 64' zum zweiten Zeitpunkt.
Der eine oder die mehreren Computerprozessoren 264 können eine Form der Änderung der Erstreckung 130 der Vergleichsstruktur 64' unter Nutzung eines oder mehrerer von Folgendem identifizieren: einer Punktwolkenschätzung, eines Convolutional Neural Network, eines Generative Adversarial Network oder einer Merkmalserkennungstechnik.
Aus der obigen Beschreibung und den obigen Beispielen geht klar hervor, dass die hierin offenbarten und beanspruchten Erfindungsgedanken gut verwirklichbar sind, sodass sich die hierin genannten Vorteile erzielen lassen. Hierin sind beispielhafte Ausführungsformen der Erfindungsgedanken für die Zwecke dieser Offenbarung beschrieben worden, es versteht sich jedoch, dass zahlreiche Änderungen, die für den Fachmann ohne Weiteres erkennbar und im Rahmen der hierin offenbarten und beanspruchten Erfindungsgedanken realisierbar sind, vorgenommen werden können. Zur Erläuterung wurden Beispiele von Bildern 60 und 110 von Strukturen aus dem Wohnimmobilienbereich herangezogen. Es versteht sich jedoch, dass die Beispiele allein dem Zweck der Veranschaulichung dienen und nicht so auszulegen sind, dass dadurch der Schutzbereich der Erfindung begrenzt wird.
Das Erstreckungsanalysesystem 100, das Erstreckungsanalyseverfahren 10 und die Änderungsentscheidungsverfahren 140a, 140b können für viele unterschiedliche Anwendungen der realen Welt mit Bezug zur Struktur 64 genutzt werden. Zu nicht ausschließlichen Beispielen für solche Anwendungen zählen die Nutzung der Ergebnisse der Verfahren für Steuerveranlagungen, das Anbieten und/oder Durchführen von Bauüberwachungen, Zustandsbeurteilungen, Reparaturen, die Zeichnung von Versicherungsrisiken, Versicherungen, Käufe, Bauprojekte oder die Bewertung der Struktur 64. Zum Beispiel besteuert eine Stadtbehörde ein Grundstück mit einer Immobilie auf der Basis der Größe und des Typs der auf dem Grundstück befindlichen Strukturen 64. Die Erkennung und Bestimmung des Ausmaßes einer Änderung an den Strukturen 64 kann dazu genutzt werden, um solche Steuern entsprechend anzupassen. Oder es werden von einer Stadtbehörde möglicherweise Baugenehmigungen für Änderungen an Strukturen 64 oder den Anbau oder Abriss von Strukturen vorgeschrieben, um ein weiteres Beispiel anzuführen. Die Erkennung und Bestimmung des Ausmaßes einer Änderung an den Strukturen 64 kann auch zur Überwachung solcher Änderungs-, Anbau- oder Abrissmaßnahmen genutzt werden. Oder Versicherungsgesellschaften bieten Versicherungen an und/oder kommen für Reparaturen an Strukturen 64 auf, die sich mindestens zum Teil nach der Größe und dem Zustand der Strukturen 64 bemessen, um noch ein weiteres Beispiel anzuführen. Die Erkennung und Bestimmung des Ausmaßes einer Änderung an den Strukturen 64 kann auch zur Zeichnung von Versicherungsrisiken oder Bemessung von Versicherungssummen und/oder für damit zusammenhängende Überwachungsmaßnahmen dienen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62858656 [0001]
US 7424133 [0071, 0073]
US 8385672 [0071]
US 16/226320 [0071]
US 20190149710 A1 [0071]
WO 2018071983 [0073]

Claims

Ein nichtflüchtiges, computerlesbares Medium, das computerausführbaren Code speichert, der, wenn er durch einen Prozessor ausgeführt wird, bewirkt, dass der Prozessor Folgendes durchführt: Ausrichten einer Strukturform einer Struktur zu einem ersten Zeitpunkt mit einem Bildklassifikatormodell an Pixeln in einem die Struktur darstellenden Luftbild, wobei das Luftbild zu einem zweiten Zeitpunkt aufgenommen wird; Ermitteln eines Grads der Ausrichtung zwischen der Strukturform und den Pixeln in dem die Struktur darstellenden Luftbild, um Ähnlichkeiten zwischen der in den Pixeln des Luftbilds dargestellten Struktur und der Strukturform unter Nutzung eines Maschinenlernmodells zu klassifizieren, um einen Ausrichtungskonfidenzwert zu generieren; und Bestimmen eines Vorliegens einer Änderung der Struktur auf der Basis des Ausrichtungskonfidenzwerts, der ein Konfidenzniveau unter einem vorher bestimmten Schwellenwert für eine Konfidenz, dass die Strukturform und die Pixel in dem Luftbild ausgerichtet sind, anzeigt.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei das Maschinenlernmodell ein Convolutional-Neural-Network-Bildklassifikatormodell ist.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei das Maschinenlernmodell ein Generative-Adversarial-Network-Bildklassifikatormodell ist.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, das ferner computerausführbare Befehle beinhaltet, die, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass der Prozessor Folgendes durchführt: Identifizieren einer Form der Änderung der Struktur unter Nutzung eines oder mehrerer von Folgendem: einer Punktwolkenschätzung, eines Convolutional Neural Network, eines Generative Adversarial Network oder einer Merkmalserkennungstechnik.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei das Ausrichten der Strukturform ferner Folgendes beinhaltet: Erzeugen der Strukturform unter Nutzung eines zum ersten Zeitpunkt aufgenommenen Bilds einer Struktur.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei der Ausrichtungskonfidenzwert durch Analysieren einer Formüberschneidung zwischen der Strukturform und einem Umriss der in den Pixeln des Luftbilds dargestellten Struktur bestimmt wird.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei die Strukturform ein zuvor bestimmter Umriss der Struktur zum ersten Zeitpunkt ist.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei der erste Zeitpunkt vor dem zweiten Zeitpunkt liegt.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei der erste Zeitpunkt nach dem zweiten Zeitpunkt liegt.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 1, wobei das Ausrichten der Strukturform ferner Folgendes beinhaltet: Erkennen von Kanten der Struktur in dem Luftbild; Bestimmen eines oder mehrerer Verschiebungsabstände zwischen der Strukturform und einer oder mehreren Kanten der erkannten Kanten der Struktur in dem Luftbild; und Verschieben der Strukturform um den Verschiebungsabstand.
Nichtflüchtiges, computerlesbares Medium gemäß Anspruch 10, das ferner computerausführbare Befehle beinhaltet, die, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass der Prozessor Folgendes durchführt: Bestimmen einer strukturellen Veränderung auf der Basis des Vorliegens der Änderung und auf einem Vergleich zwischen der Strukturform und den Pixeln in dem die Struktur darstellenden Luftbild, nachdem die Strukturform um den Verschiebungsabstand verschoben worden ist.
Ein Verfahren, das Folgendes beinhaltet: automatisches Ausrichten einer Strukturform einer Struktur zu einem ersten Zeitpunkt mit einem oder mehreren Prozessoren unter Verwendung eines Bildklassifikatormodells an Pixeln in einem die Struktur darstellenden Luftbild, wobei das Luftbild zu einem zweiten Zeitpunkt aufgenommen wird; automatisches Ermitteln eines Grads der Ausrichtung zwischen der Strukturform und den Pixeln in dem die Struktur darstellenden Luftbild mit dem einen oder den mehreren Prozessoren, um Ähnlichkeiten zwischen der in den Pixeln des Luftbilds dargestellten Struktur und der Strukturform unter Nutzung eines Maschinenlernmodells zu klassifizieren, um einen Ausrichtungskonfidenzwert zu generieren; und automatisches Bestimmen eines Vorliegens einer Änderung der Struktur mit dem einen oder den mehreren Prozessoren auf der Basis des Ausrichtungskonfidenzwerts, der ein Konfidenzniveau unter einem vorher bestimmten Schwellenwert für eine Konfidenz, dass die Strukturform und die Pixel in dem Luftbild ausgerichtet sind, anzeigt.
Verfahren gemäß Anspruch 12, wobei es sich bei dem Maschinenlernmodell um ein Convolutional-Neural-Network-Bildklassifikatormodell und/oder ein Generative-Adversarial-Network-Bildklassifikatormodell handelt.
Verfahren gemäß Anspruch 12, das ferner Folgendes beinhaltet: automatisches Identifizieren einer Form der Änderung der Struktur mit dem einen oder den mehreren Prozessoren unter Nutzung eines oder mehrerer von Folgendem: einer Punktwolkenschätzung, eines Convolutional Neural Network, eines Generative Adversarial Network oder einer Merkmalserkennungstechnik.
Verfahren gemäß Anspruch 12, wobei das Ausrichten der Strukturform ferner Folgendes beinhaltet: automatisches Erzeugen der Strukturform mit dem einen oder den mehreren Prozessoren unter Nutzung eines zum ersten Zeitpunkt aufgenommenen Bilds einer Struktur.
Verfahren gemäß Anspruch 12, wobei der Ausrichtungskonfidenzwert durch Analysieren einer Formüberschneidung zwischen der Strukturform und einem Umriss der in den Pixeln des Luftbilds dargestellten Struktur bestimmt wird.
Verfahren gemäß Anspruch 12, wobei die Strukturform ein zuvor bestimmter Umriss der Struktur zum ersten Zeitpunkt ist.
Verfahren gemäß Anspruch 12, wobei der erste Zeitpunkt vor dem zweiten Zeitpunkt liegt oder der erste Zeitpunkt nach dem zweiten Zeitpunkt liegt.
Verfahren gemäß Anspruch 12, wobei das Ausrichten der Strukturform ferner Folgendes beinhaltet: Erkennen von Kanten der Struktur in dem Luftbild; Bestimmen eines oder mehrerer Verschiebungsabstände zwischen der Strukturform und einer oder mehreren Kanten der erkannten Kanten der Struktur in dem Luftbild; und Verschieben der Strukturform um den Verschiebungsabstand.
Verfahren gemäß Anspruch 19, das ferner Folgendes beinhaltet: automatisches Bestimmen einer strukturellen Veränderung mit dem einen oder den mehreren Prozessoren auf der Basis des Vorliegens der Änderung und auf einem Vergleich zwischen der Strukturform und den Pixeln in dem die Struktur darstellenden Luftbild, nachdem die Strukturform um den Verschiebungsabstand verschoben worden ist.