DE202014010866U1

DE202014010866U1 - Spekularitätsbestimmung von Bildern

Info

Publication number: DE202014010866U1
Application number: DE202014010866.8U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2013-12-16
Filing date: 2014-12-12
Publication date: 2017-01-17
Anticipated expiration: 2024-12-13
Also published as: US9076032B1; EP3084725A1; EP3389014B1; EP3084725B1; CN105900143B; US20150170369A1; EP3389014A1; US8805088B1; WO2015094956A1; CN105900143A

Abstract

System zur Bestimmung der Spekularität, das System umfasst ein oder mehrere Computergeräte, die folgendermaßen konfiguriert sind: Auswahl einer Geometriefläche; Identifizierung eines Bildersatzes, der den Bereich der Geometrie umfasst; Bestimmung eines Satzes von Intensitätswerten für den Bereich für jedes Bild des Bildersatzes; Bestimmung eines Satzes von Winkelwerten für jedes Bild des Bildersatzes, die zumindest auf Grundlage der Richtung der Kamera, die das jeweilige Bild aufgenommen hat, basiert; Anpassung des Satzes von Intensitätswerten und des Satzes von Winkelwerten an eine Kurve; und Klassifizierung der Spekularität der Fläche mindestens auf Grundlage der Kurvenanpassung.

Description

VERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung bezieht sich auf die US-Patentanmeldung Nr. 14/319,024, eingereicht am 30. Juni 2014, welche eine Fortsetzung ist der US-Patentanmeldung Nr. 14/107,210 ist, eingereicht am 16. Dezember 2013, was jetzt US-Patent Nr. 8,805,088 ist, die Offenbarungen werden hiermit durch Bezugnahme hierin aufgenommen.
HINTERGRUND
Es können verschiedene Systeme zur Bestimmung der Spekularität eines Objekts verwendet werden. Diese Systeme nutzen in der Regel spezielle Beleuchtungen und Flächenbedingungen in Laborumgebungen. Daher kann die Modellierung der Spekularität eines Objekts auf Grundlage von Bildern geräuschintensiv und schwierige werden, wenn keine Laborumgebung gegeben ist. Als Beispiel sei genannt, dass die Anzahl der Unbekannten sehr groß sein kann, was die Verarbeitung großer Datenmengen für viele verschiedene Objekte auch bei einer kleinen Anzahl von Bildern, wie beispielsweise 40 oder weniger, ineffizient und zeitaufwändig wird. In einigen Beispielen kann der gesamte Prozess fehlschlagen und sinnwidrige Ergebnisse liefern.
KURZDARSTELLUNG
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen. Die Aspekte der Offenbarung beinhalten ein computerimplementiertes Verfahren zur Bestimmung der Spekularität. Das Verfahren umfasst die Auswahl eines Geometriebereichs mittels eines oder mehrerer Computergeräte; die Identifizierung eines Satzes von Bildern, die den Bereich der Geometrie umfassen, mittels eines oder mehrerer Computergeräte; die Bestimmung eines Satzes von Intensitätswerten für den Bereich für jedes Bild des Bildersatzes mittels eines oder mehrerer Computergeräte; die Bestimmung eines Satzes von Winkelwerten für jedes Bild des Bildersatzes auf der Basis von mindestens einer Kamera, die das jeweilige Bild bei der Erfassung des Bilds in mindestens einer Richtung erfasst hat, mittels eines oder mehrerer Computergeräte; die Anpassung des Satzes der Intensitätswerte und des Satzes von Winkelwerten zu einer Kurve mittels eines oder mehrerer Computergeräte; und die Klassifizierung der Spekularität des Bereichs auf Grundlage von zumindest der Anpassung.
In einem Beispiel geschieht die Bestimmung eines Satzes von Intensitätswerten zusätzlich auf der Bestimmung eines Durchschnittsintensitätswerts für den Bereich in jedem Bild des Bildersatzes. In einem anderen Beispiel wird der Satz von Winkelwerten zusätzlich auf Grundlage einer Richtung der Flächennormalen für den Bereich der Geometrie bestimmt. In einem anderen Beispiel wird der Satz von Winkelwerten zusätzlich auf Grundlage der Richtung der Sonne zum Zeitpunkt der Aufnahme des jeweiligen Bildes bestimmt. In einem anderen Beispiel beinhaltet die Anpassung die Verwendung einer versetzten Gauß-Kurve. In einem weiteren Beispiel beinhaltet das Verfahren auch die Verwendung der Spekularitätsklassifizierung, um Aspekte einer 3D-Repräsentation des Geometriebereichs für die Darstellung verfügbar zu machen. In einem weiteren Beispiel beinhaltet das Verfahren auch die Kombination des Satzes von Durchschnittsintensitäten mit dem Satz von Winkelwerten zum einem Satz von Tupeln und wobei zudem die Anpassung auf den Tupeln basiert ist. In einem anderen Beispiel ist der Geometriebereich ein 3D-Dreieck, wobei die Bestimmung des Satzes von Intensitätswerten für den Bereich von jedem Bild des Bildersatzes außerdem die Projektion des Geometriebereichs in 2D auf jedes Bild des Bildersatzes beinhaltet. In einem anderen Beispiel beinhaltet das Verfahren den Erhalt einer Anfrage von einem Computergerät zur Wiedergabe eines Bildes, das den Bereich beinhaltet. Die Anfrage beinhaltet einen Kamerawinkel und Anweisungen an das Computergerät zur Wiedergabe des Bildes auf Grundlage des Kamerawinkels und der Spekularitätsklassifizierung des Bereichs.
Ein weiterer Aspekt der Offenbarung bietet ein Verfahren zur Bestimmung der Spekularität. Das Verfahren umfasst die Auftrennung eines Objekts in einen Satz von kleinen, polygonförmigen Flächengeometriestellen mittels eines oder mehrerer Computergeräte; die Bestimmung eines Kurvenanpassungsmodells durch Identifizierung eines Bildersatzes, der auf die Erfassung des Objekts zu verschiedenen Zeitpunkten und in verschiedenen Ausrichtungen basiert, sowie durch Bestimmung eines Durchschnittsintensitätswerts für die jeweilige Teilstelle für jedes Bild des Bildersatzes mittels eines oder mehrerer Computergeräte; die Bestimmung eines Winkelwerts der jeweiligen Teilstelle für jedes Bild des Bildersatzes; und die Verwendung des Kurvenanpassungmodells für jede jeweilige Teilstelle mittels eines oder mehrerer Computergeräte, um einen Grad des Glanzes für diese jeweilige Teilstelle zu bestimmen.
In einem Beispiel beinhaltet das Verfahren die Verbreitung des Grads des Glanzes zwischen benachbarten Teilstellen in einer gemeinsamen Fläche des Objekts mittels eines oder mehrerer Computergeräte. In einem anderen Beispiel umfasst die Verbreitung außerdem die Durchführung einen Erosionsvorgangs und anschließend die Verwendung eines Flutfüllungsvorgangs, bei dem der Grad des Glanzes für mindestens eine Teilstelle verwendet wird. In einem weiteren Beispiel ist mindestens eins der Kurvenanpassungsmodelle ein Halbwinkelkeulenmodell. In einem anderen Beispiel sind die Intensitätswerte die durchschnittlichen Intensitätswerte für die jeweilige Teilstelle. In einem anderen Beispiel beinhaltet die Aufteilung des Objekts in den Satz von polygonförmigen Oberflächengeometriestellen die Umwandelung einer 3D-Szene, die eine Vielzahl von Dreiecken umfasst, in einen Satz von einheitlich geformten Dreiecken. In einem weiteren Beispiel beinhaltet das Verfahren auch das Filtern eines bestimmten Bildersatzes einer bestimmten Teilstelle durch die Identifizierung der Kombinationen von Kamera- und Stellenpositionen für den gegebenen Bildersatz, wodurch die Sichtbarkeit der jeweiligen Teilstelle hinsichtlich der Position der Kamera auf Grundlage dieser Kombinationen bestimmt wird und dann bestimmt wird, inwiefern die jeweilige Teilstelle zu dem Zeitpunkt, an dem das Bild erfasst wurde, hinsichtlich der Sonne sichtbar war. In einem anderen Beispiel wird jede bestimmte Modellkurvenanpassung zusätzlich auf Grundlage der Annahme bestimmt, dass ein maximaler Winkelwert des Satzes der Winkelwerte für diese bestimmte Modellkurvenanpassung der Spitze einer Kurve entspricht. In einem anderen Beispiel wird jeder einzelne Grad der Glanzes zusätzlich auf Grundlage einer relativen Spitzenhöhe der Modellkurvenanpassung bestimmt. In einem anderen Beispiel wird jeder einzelne Grad des Glanzes zusätzlich auf Grundlage eines Schwellenwerts für die Höhe der Modellkurvenanpassung bestimmt.
Ein zusätzlicher Aspekt der Offenbarung bietet ein System zur Bestimmung der Spekularität. Das System beinhaltet ein oder mehrere Computergeräte. Das einzelne oder die mehreren Computergeräte sind wie folgt konfiguriert: Auswahl eines Bereichs der Geometrie; Identifizierung eines Satzes von Bildern, die den Bereich der Geometrie umfassen; die Bestimmung eines Satzes von Intensitätswerten für den Bereich für jedes Bild des Bildersatzes; Bestimmung eines Satzes von Winkelwerten für jedes Bild des Bildersatzes zumindest auf der Basis von einer Kamera, die das jeweilige Bild bei der Erfassung des Bilds in mindestens einer Richtung erfasst hat; Anpassung des Satzes der Intensitätswerte und des Satzes von Winkelwerten auf eine Kurve; und Klassifizierung der Spekularität des Bereichs auf Grundlage von zumindest der Anpassung. In einem Beispiel wird ein oder mehrere Computergeräte zusätzlich so konfiguriert, den Satz von Intensitätswerten zu bestimmen, indem ein Durchschnittsintensitätswert für den Bereich in jedem Bild des Bildersatzes bestimmt wird.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Funktionsdiagramm eines Beispielsystems gemäß den Aspekten der vorliegenden Offenbarung.
2 ist ein Bilddiagramm des Beispielsystems aus 1.
3A und 3B sind Beispiele für eine Flugbahn- und Luftbildkonfiguration in Übereinstimmung mit Aspekten der Offenbarung.
4A und 4B sind Diagramme von Licht, wie es von einem Objekt in Bildern gemäß der Aspekte der Offenbarung reflektiert wird.
5A und 5B sind Beispiele für Bilder von Objekten in Übereinstimmung mit Aspekten der Offenbarung.
6A und 6B sind Diagramme von Beispieldaten in Übereinstimmung mit Aspekten der Offenbarung.
7 ist ein Beispiel für Bilder, Objekte und Diagramme von Beispieldaten in Übereinstimmung mit Aspekten der Offenbarung.
8 ist eine weiteres Beispiel für Abbildungen, Objekte und Diagramme von Beispieldaten in Übereinstimmung mit Aspekten der Offenbarung.
9 ist ein Beispieldiagramm für die Klassifizierung von Stellen in Übereinstimmung mit Aspekten der Offenbarung.
10 ist eine Beispielabbildung für 3D-Modelle in Übereinstimmung mit Aspekten der Offenbarung.
11 ist eine weitere Beispielabbildung von 3D-Modellen in Übereinstimmung mit Aspekten der Offenbarung.
12 sind weitere Beispielabbildungen von 3D-Modellen in Übereinstimmung mit Aspekten der Offenbarung.
13 ist ein weiteres Systemdiagramm in Übereinstimmung mit Aspekten der Offenbarung.
14 ist ein Flussdiagramm in Übereinstimmung mit Aspekten der Offenbarung.
DETAILLIERTE BESCHREIBUNG
ÜBERSICHT
Die Technologie bezieht sich im Allgemeinen auf die Bestimmung der Spekularität mittels der Verwendung mehrerer, aus verschiedenen Winkeln aufgenommener Luftaufnahmen. In einem Beispiel kann die Bestimmung, ob eine Fläche aus reflektierendem Material besteht, außerdem beinhalten, zu bestimmen, ob eine Fläche heller ist, wenn die reflektierten Strahlen von der Sonne sich an einem Strahl ausrichten, der von dem Mittelpunkt der Kamera in der Richtung der Teilstelle verläuft. Wenn die beobachtete Intensität der Teilstelle um die Winkel der Ausrichtung höher ist und dunkler für größere Winkel ist, dann kann dies ein Indikator für ein reflektierendes bzw. glänzendes Material sein. In allen anderen Fällen kann von nicht-glänzenden Materialien ausgegangen werden.
Durch die Bestimmung, ob ein Objekt glänzend ist (d. h. Spekularitätsniveau des Objekts), können solche Gegenstände so wiedergegeben werden, dass sie für einen Benutzer realistischer erscheinen. Wenn beispielsweise einem Benutzer ein dreidimensionales (3D) Modell eines tatsächlichen geographischen Standorts, beispielsweise eine Stadt, angezeigt wird, kann die Spekularität der Objekte dazu verwendet werden, um bestimmte Bereiche des Modells hervorzuheben, so dass es scheint, als ob die Sonne sich an bestimmten Position im Himmel befinden würde usw. Daher können Benutzer die Sonnenreflexionen an Gebäuden sehen, während sie sich durch bzw. umher das 3D-Modell der Stadt navigieren. Dies kann dem Benutzer das Gefühl geben, dass er oder sie eine echte, natürliche Umgebung oder eine tatsächliche Stadt betrachtet und sich nicht nur eine statische oder leblose Simulation ansieht.
Um die Spekularität zu bestimmen, kann ein Stück Geometrie ausgewählt werden. Die Geometrie kann einem oder mehreren Abschnitten eines 3D-Gitters entsprechen, welches dazu verwendet wird, ein 3D-Modell des geografischen Bereichs zu erzeugen. Als ein Beispiel, kann sich eine „Teilstelle” auf einem einzigen Abschnitt oder auf ein minimales Flächenelement der ausgewählten Geometrie. Wenn das 3D-Gitter aus Dreiecken besteht, kann eine Teilstelle dem geographischen Bereich eines kleinen Dreiecks entsprechen. Diesbezüglich kann die Spekularität für einen Abschnitt der Geometrie für jedes einzelne Dreieck oder für jede einzelne Teilstelle der ausgewählten Geometrie bestimmt werden. In anderen Beispielen kann eine Teilstelle sich auf eine Sammlung von Dreiecken oder ein Polygon eines 3D-Gitters beziehen.
Als nächstes können die Bilder identifiziert werden, die diese ausgewählte Geometrie möglicherweise enthalten. Zum Beispiel können die Bilder Teil einer großen Gruppe von Luftbildern sein, die von einer an einem Flugzeug oder einer Drohne montierten Kamera gemacht wurden. In dieser Hinsicht kann es mehrere Bilder der gleichen Geometrie geben, die aus unterschiedlichen Winkeln aufgenommen wurden.
Da es wichtig ist, Bilder zu identifizieren, auf denen die ausgewählte Geometrie gut erfasst wurde, können Bereiche, die in den Bildern verdeckt sind oder im Schatten stehen, ignoriert werden. In dieser Hinsicht kann eine Okklusionsprüfung und eine Schattenprüfung der Geometrie ausgeführt werden, um sicherzustellen, dass eine Teilstelle bei einer Position sowohl der Kamera als auch der Sonne sichtbar ist, die jeweils mit einem bestimmten Bild assoziiert sind. Die Stellen können außerdem aus dem Anpassungsverfahren ausgeschlossen werden, wenn sie hohe Normalabweichungen zu benachbarten Stellen haben, eine übermäßig große oder kleine Größe haben oder eine stark verlängerte Form haben.
Für jede Teilstelle der gewählten Geometrie kann ein durchschnittlicher Intensitätswert bestimmt werden. Um dies zu erreichen, kann die Fläche der Teilstelle auf die identifizierten Bilder projiziert werden, auf denen die Teilstelle für die Kamera und die Sonne sichtbar ist. Die durchschnittlichen Intensitätswerte für die Teilstelle können dann in einem Vektor zusammengefasst werden, wie beispielsweise als der Vektor x.
Ein Modell der Reflexionsverteilung kann für jede Teilstelle mittels der Bilder erzeugt werden, die die Teilstelle abbilden. Das Modell kann nur eine kleine Anzahl von Parametern verwenden, um bei Vorhandensein von Rauschen zu funktionieren. Zum Beispiel bei Luftaufnahmen, die über einen Zeitraum von Stunden bis Tagen voneinander und mit unterschiedlichen Kamerasets aufgenommen wurden. Beispielsweise können die Aspekte einer bidirektionalen Reflexionsverteilungsfunktion (BDRF), die ausfallende Strahlung anhand einfallender Strahlung für alle möglichen Richtungen spezifiziert, dazu verwendet werden, um diese Modelle zu erzeugen. Eine vollständige BRDF kann schnell sehr komplex werden und ist unter Umständen keine effiziente Methode für die Bestimmung von Spekularität direkt von Luftbilddaten, die Rauschen enthalten. In einem Beispiel kann dieses Modell verschiedene Elemente verwenden, einschließlich, aber nicht beschränkt auf, einen Kosinus eines Winkels, der zwischen einem Halfway-Vektor und einer Normalen zu der Teilstelle gemessen wird. Dieser Halfway-Vektor kann sich auf einen Winkel beziehen, der sich auf halben Weg zwischen der Richtung der Sonne und der Richtung der Kamera befindet, die das Bild erfasst hat. Die Kosinuswerte für die Teilstelle können dann in einem Vektor zusammengefasst werden, wie beispielsweise der Vektor y.
Die Vektoren werden dann als Tupel zusammengefasst und es wird eine Kurve an die Tupel angepasst. Beispielsweise kann ein Tupel (x_i, y_i) sein, wobei x_i das i^th Element des Vektors x ist und y_i das i^th Element des Vektors y ist. Eine robuste Kurvenanpassungsmethode, wie beispielsweise eine nicht-lineare Optimierung der kleinsten Quadrate, kann verwendet werden, um eine versetzte Gauß-Kurve anzupassen. Je größer der Unterschied zwischen dem relativen Maximalwert der Gauß-Kurve und dem Verschiebungsgrad der Gauß-Kurve oder dem relativen Maximalwert ist, desto wahrscheinlicher ist es, dass die Teilstelle über eine bestimmte Spekularität verfügt. Diesbezüglich kann jede Teilstelle als spiegelnd oder als nicht-spiegelnd eingestuft werden, je nach einem bestimmten Schwellenwert für die Anpassung. In einigen Beispielen kann die Spekularität einer Teilstelle verwendet werden, um beispielsweise mittels eines Flutfüllungsalgorithmus die Spekularität der Stellen in der Umgebung zu schätzen. Darüber hinaus können unterschiedliche Kurvenformen verwendet werden, um die jeweiligen Stellen als verschiedene Materialarten zu klassifizieren. Wie oben erwähnt, können diese Klassifizierungen verwendet werden, um eine realistischere Ansicht der 3D-Modelle von geographischen Gebieten wiederzugegeben.
BEISPIELSYSTEME
1 und 2 beinhalten ein Beispielsystem 100, in welchem die vorstehend beschriebenen Merkmale implementiert sein können. Dieses soll nicht als den Umfang der Offenbarung oder Nützlichkeit der hierin beschriebenen Merkmale einschränkend betrachtet werden. In diesem Beispiel kann System 100 Berechnungsvorrichtungen 110, 120, 130 und 140 sowie ein Speichersystem 150 beinhalten. Computergerät 110 kann einen oder mehr Prozessoren 112, Speicher 114 und andere Komponenten enthalten, die typischerweise in Universal-Computergeräten vorliegen. Speicher 114 von Computergerät 110 kann Informationen speichern, die von Prozessor 112 abgerufen werden können, einschließlich Anweisungen 116, die durch den Prozessor 112 ausgeführt werden können.
Speicher kann außerdem Daten 118 enthalten, die durch den Prozessor abgerufen, manipuliert oder gespeichert werden können. Bei dem Speicher kann es sich um einen nicht transitorischen Speicher handeln, der in der Lage ist, Informationen zu speichern, auf die der Prozessor zugreifen kann, wie etwa eine Festplatte, eine Speicherkarte, ROM, RAM, DVD, CD-ROM, beschreibbare Speicher und Read-Only-Speicher.
Die Anweisungen 116 können ein beliebiger Satz von Anweisungen sein, die direkt, wie Maschinencode, oder indirekt, wie Skripte, durch den Prozessor ausgeführt werden können. Diesbezüglich können die Begriffe „Anweisungen”, „Schritte” und „Programme” hierin austauschbar verwendet sein. Die Anweisungen können in Objektcodeformat zur direkten Verarbeitung durch den Prozessor oder in jeder anderen Computergerätsprache, die Skripte oder Sammlungen von unabhängigen Quellcode-Modulen beinhaltet, die auf Anforderung interpretiert oder vorab kompiliert werden. Funktionen, Verfahren und Routinen der Anweisungen werden unten ausführlicher erklärt.
Daten 118 können gemäß den Anweisungen 116 durch Prozessor 112 abgerufen, gespeichert oder modifiziert werden. Beispielsweise können, obwohl der hierin beschriebene Gegenstand nicht durch eine beliebige bestimmte Datenstruktur beschränkt ist, die Daten in Computerregistern, als Tabelle, die viele verschiedene Felder und Datensätze aufweist, oder XML-Dokumenten gespeichert werden. Die Daten können außerdem in einem beliebigen computergerätlesbaren Format wie, aber nicht beschränkt auf, Binärwerte, ASCII oder Unicode formatiert sein. Des Weiteren können die Daten beliebige Informationen umfassen, die ausreichend sind, um die relevanten Informationen zu identifizieren, wie Zahlen, beschreibenden Text, proprietäre Codes, Zeiger, Referenzen auf Daten, die in anderen Speichern wie anderen Netzwerkstandorten gespeichert sind, oder Informationen, die von einer Funktion verwendet werden, um die relevanten Daten zu berechnen, umfassen.
Der eine oder die mehreren Prozessoren 112 können jeden herkömmlichen Prozessor, wie eine im Handel erhältliche CPU, beinhalten. Alternativ kann der Prozessor eine dedizierte Komponente wie ein ASIC oder ein anderer hardwarebasierter Prozessor sein. Obwohl nicht notwendig, können Computergeräte 110 spezialisierte Hardwarekomponenten beinhalten, um spezifische Rechenprozesse wie Decodieren von Video, Abgleichen von Videoframes mit Bildern, Verzerren von Videos, Codieren verzerrter Videos usw. schneller und effizienter durchzuführen.
Obwohl 1 funktionsmäßig den Prozessor, Speicher und andere Elemente von Computergerät 110 als im gleichen Block befindlich darstellt, können der Prozessor, Computer, Computergerät oder Speicher tatsächlich mehrere Prozessoren, Computer, Computergeräte oder Speicher umfassen, die innerhalb desselben physischen Gehäuses gelagert sein können. Der Speicher kann beispielsweise eine Festplatte oder anderes Speichermedium sein, das sich in einem Gehäuse befindet, das anders als das von Computergeräten 110 ist. Dementsprechend werden Referenzen auf einen Prozessor, Computer, Computergerät oder Speicher so verstanden, als sie Referenzen auf eine Sammlung von Prozessoren, Computern, Computergeräten oder Speichern beinhalten, die parallel arbeiten können oder nicht. Die Computergeräte 110 können beispielsweise Server-Computergeräte beinhalten, die als eine lastverteilende Serverfarm arbeiten. Weiterhin, obwohl einige nachstehend beschriebenen Funktionen als auf einem einzigen Computergerät, das einen einzigen Prozessor aufweist, stattfindend beschrieben sind, können verschiedene Aspekte des hierin beschriebenen Gegenstandes durch mehrere Computergeräte implementiert werden, beispielsweise Weitergabe von Informationen über ein Netzwerk 160.
Die Computergeräte 110 können sich an verschiedenen Knoten eines Netzwerks 160 befinden und sind in der Lage, mit anderen Knoten des Netzwerks 160 direkt und indirekt zu kommunizieren. Obwohl in den 1–2 nur einige Computergeräte abgebildet sind, versteht es sich von selbst, dass ein typisches System eine große Anzahl an miteinander verbundenen Computergeräten beinhalten kann, wobei sich jedes einzelne Computergerät an einem unterschiedlichen Knoten des Netzwerks 160 befindet. Das Netzwerk 160 und dazwischenliegende Knoten, die hierin beschrieben sind, können unter Verwendung verschiedener Protokolle und Systeme vernetzt sein, sodass das Netzwerk Teil des Internets, Word Wide Web, spezifischer Intranets, Langstreckennetze oder lokaler Netzwerke sein kann. Das Netzwerk kann Standardkommunikationsprotokolle, wie Ethernet, WLAN und HTTP, Protokolle, die proprietär für eine oder mehrere Unternehmen sind, und verschiedene Kombinationen der vorstehenden nutzen. Obwohl bestimmte Vorteile erzielt werden, wenn Informationen wie oben beschrieben übertragen oder empfangen werden, sind andere Aspekte des hierin beschriebenen Gegenstands nicht auf eine bestimmte Art der Übertragung von Informationen beschränkt.
Als ein Beispiel können Computergeräte 110 einen oder mehrere Webserver beinhalten, die in der Lage sind, mit Speichersystem 150 sowie Computergeräten 120, 130 und 140 über das Netzwerk zu kommunizieren. Beispielsweise können die Server-Computergeräte 110 das Netzwerk 160 nutzen, um Information einem Benutzer, wie beispielsweise 220, 250 oder 250, zu senden und auf den Displays wie 122, 132 oder 142 der Computergeräte 120, 130, oder 140 zu präsentieren. Diesbezüglich können Computergeräte 120, 130 und 140 als Client-Computergeräte erachtet werden und können alle oder einige der nachstehend beschriebenen Funktionalitäten durchführen.
Alle Client-Computergeräte können, wie vorstehend beschrieben, auf ähnliche Weise wie die Server-Computergeräte 110 mit einem oder mehreren Prozessoren, einem Speicher und Anweisungen konfiguriert werden. Jedes Client-Computergerät 120, 130 oder 140 kann ein persönliches Computergerät sein, dass zur Verwendung durch den Benutzer 220, 250 oder 250 vorgesehen ist, und verfügt über alle Komponenten, die normalerweise in Verbindung mit einer persönlichen Recheneinrichtung verwendet werden, wie z. B. eine zentrale Recheneinheit (CPU), Speicher (z. B. RAM und interne Festplatten), um Daten und Anweisungen zu speichern, eine Anzeige wie Displays 122, 132 oder 142 (z. B. ein Monitor in der Form eines Bildschirms, Touchscreens, Projektors, Fernsehers oder eines anderen Geräts, das dazu verwendet werden kann, Informationen darzustellen) und ein Benutzereingabegerät 125 (z. B. Maus, Tastatur, Touchscreen oder Mikrofon). Das Client-Computergerät kann außerdem eine Kamera zum Aufnehmen von Videostreams, Lautsprecher, eine Netzwerkschnittstellenvorrichtung und alle der Komponenten, die zum Verbinden dieser Elemente miteinander verwendet werden, beinhalten.
Obwohl die Client-Computergeräte 120, 130 und 140 jeweils ein persönliches Computergerät in voller Größe umfassen können, können sie alternativ mobile Computergeräte umfassen, die fähig sind, Daten drahtlos über ein Netzwerk wie das Internet mit einem Server auszutauschen. Nur exemplarisch kann ein Client-Computergerät 120 ein Mobiltelefon oder eine Vorrichtung wie ein funkfähiger PDA, ein Tablet-PC oder ein Netbook sein, die in der Lage sind, Informationen über das Internet abzurufen. In einem anderen Beispiel kann Client-Computergerät 130 ein am Kopf befestigtes Computersystem sein. Als ein Beispiel kann der Benutzer Informationen unter Verwendung einer kleinen Tastatur, eines Tastenfeldes, Mikrofons, unter Verwendung visueller Signale mit einer Kamera oder eines Touchscreens eingeben.
Das Speichersystem 150 kann Modellinformationen sowie Bilddaten speichern. Die Karteninformationen können dreidimensionale (3D) Modelle von verschiedenen geografischen Gebieten beinhalten. Zum Beispiel können die 3D-Modelle verschiedene Merkmale wie Straßen, Vegetation, Gebäude usw. beinhalten. Die 3D-Modelle können aus geografischen, aus Dreiecken zusammengesetzten 3D-Gittern bestehen, mit denen die verschiedenen Texturen für die diversen Merkmale der 3D-Modelle wiedergegeben werden. Das 3D-Gitter kann beispielsweise mit geographischen Ortsinformationen verknüpft werden, wie beispielsweise Breitengrad- und Längengrad-Koordinaten oder anderen Ortskoordinaten.
Die Bilddaten können Satelliten- oder Luftbilder von diversen Orten enthalten, die unter verschiedenen Winkeln zu verschiedenen Zeiten des Tages aufgenommen wurden. Jedes dieser Bilder kann mit geographischen Ortsinformationen verknüpft werden, wie beispielsweise Breite, Länge, Höhe und/oder Orientierungskoordinaten oder andere Ortskoordinaten, die mit der Position der Kamera korrespondieren, die das Bild erfasst hat und/oder mit der Position von einem oder mehreren Objekten innerhalb des Bildes korrespondieren. Die Bilder können auch mit Zeitinformationen unter Angabe des Datums und der Zeit, bei der das jeweilige Bild erfasst wurde, verknüpft werden, sowie mit weiteren Informationen bezüglich der Kameramarke und Modelldetails, Angaben zu Objektiv und Sensor, Belichtungszeit und Blendeneinstellungen.
3A enthält eine Karte 310, auf der ein Beispielflugweg 312, z. B. der eines Flugzeug oder einer Drohne, mit der die Luftbilder erfasst werden, auf Ebene 314 dargestellt wird. 3B enthält ein Beispiel für eine Kamerabildkonfiguration für Ebene 314. In diesem Beispiel können fünf Kameras montiert werden, um gleichzeitig oder periodisch einen Satz von den fünf Luftbildern 320, 322, 324, 326 und 328 der Bereiche unterhalb der Ebene 314 in verschiedenen Winkeln zu erfassen. Diese Bilder können von den verschiedenen Kameras heruntergeladen werden, beispielsweise unter Verwendung eines der Client-Geräte 120, 130, oder 140, und in Speichersystem 150 gespeichert werden. Wie nachfolgend ausführlicher beschrieben wird, können diese Satelliten- oder Luftbilder dazu verwendet werden, die Spekularität verschiedener Objekten zu bestimmen, die in dem 3D-Modell enthalten sind.
Speichersystem 150 kann, wie Speicher 114 auch, jede Art eines rechnergestützten Speichers, der fähig ist, Informationen zu speichern, die von Server 110 abgerufen werden können, sein, wie eine Festplatte, Speicherkarte, ROM, RAM, DVD, CD-ROM, beschreibbare und ausschließlich lesbare Speicher. Zusätzlich kann das Speichersystem 150 ein verteiltes Speichersystem beinhalten, in dem Daten auf einer Vielzahl von verschiedenen Speichergeräten gespeichert werden, die physisch an den gleichen oder verschiedenen geografischen Standorten angeordnet sein können. Wie in 1 gezeigt, kann das Speichersystem 150 über das Netzwerk 160 mit den Computergeräten verbunden werden und/oder kann direkt mit allen Computergeräten 110–140 (nicht dargestellt) verbunden werden bzw. in dieselben integriert werden.
BEISPIELVERFAHREN
Um die Spekularität eines Objekts zu bestimmen, kann eine Vielzahl von Bildern des Objekts erforderlich sein. Die Bestimmung, ob eine Fläche aus glänzendem Material besteht, kann die Bestimmung beinhalten, ob eine Flächenstelle heller ist, wenn die reflektierten Strahlen von der Sonne an einem Strahl, der aus dem Zentrum der Kamera in Richtung der Teilstelle verläuft, ausgerichtet werden. Wenn die beobachtete Intensität der Teilstelle um die Winkel der Ausrichtung höher ist und dunkler für größere Winkel ist, dann kann dies ein Indikator für ein reflektierendes bzw. glänzendes Material sein.
Zum Beispiel, wie in den 4A und 4B gezeigt wird, können Kameras 410 und 412 die Bilder 440, 442 und 444, 446 von einem Objekt 420 von verschiedenen Positionen und Ausrichtungen zu verschiedenen Tageszeiten aufnehmen. Dementsprechend kann sich die Position der Sonne 430 ändern. Sonnenlicht 432 kann auf Objekt 420 treffen und durch Objekt 420 in verschiedene Richtungen reflektiert werden. Das reflektierte Licht 434 und 436 kann die Kameraobjektive unterschiedlich treffen, je nach Position der Sonne und der Kamera. Wie allgemein bekannt ist, kann die Position der Sonne am Himmel mit dem Zeitstempel eines Bildes bestimmt werden, der Informationen über das Datum und die Uhrzeit, an der das Bild aufgenommen wurde, zur Verfügung stellt.
In Abhängigkeit der Spekularität von Objekt 420, kann Objekt 420 in verschiedenen Bildern je nach der Reflexion des Lichts von der Sonne 430 ein unterschiedliches Aussehen haben. Wenn das Objekt 420 zum Beispiel heller erscheint als die reflektierten Strahlen von der Sonne an einem Strahl aus dem Objektiv von Kamera 410 oder 412 ausgerichtet werden, kann dies darauf hinweisen, dass das Objekt 420 glänzend oder spiegelnd ist. In allen anderen Fällen kann von nicht-glänzenden Materialien ausgegangen werden. Beim Vergleich der 4A und 4B, kann Objekt 420 in 4A ein glänzendes Material sein, kann aber in 4B ein nicht-glänzendes Material sein.
Um die Bilder zu verarbeiten, kann ein Teil der Geometrie durch ein oder mehrere Computergeräte ausgewählt werden, wie beispielsweise Server-Computergerät 110 oder Client-Computergeräte 120, 130 oder 140. Dieser Teil der Geometrie kann einem oder mehreren Abschnitten des 3D-Gitters entsprechen, das für die Erzeugung eines der 3D-Modelle des Speichersystems 150 verwendet wird. In diesem Zusammenhang kann sich eine Teilstelle sich auf einen einzelnen Abschnitt oder ein minimales Flächenelement der ausgewählten Geometrie beziehen. Diesbezüglich kann die gewählte Geometrie mit einer oder mehreren Stellen korrespondieren. Wenn das 3D-Gitter aus Dreiecken besteht, kann eine Teilstelle dem geographischen Bereich eines kleinen Dreiecks entsprechen. Diesbezüglich kann die Spekularität für einen Abschnitt der Geometrie für jedes einzelne Dreieck oder für jede einzelne Teilstelle der ausgewählten Geometrie bestimmt werden. In anderen Beispielen kann eine Teilstelle sich auf eine Sammlung von Dreiecken oder ein Polygon eines 3D-Gitters beziehen. Zusätzlich können die Dreiecke des Gitters auch in einen Satz von maßvoll dimensionierten, allgemein einheitlich geformten Dreiecksstellen rekonfiguriert werden, indem Zweiteilungen der längsten Kanten und Edge-Collapse-Operationen wiederholt durchgeführt werden. Zum Beispiel können diese Teilflächen eine durchschnittliche Kantenlänge von 2–3 Metern haben.
Als nächstes kann der Bildersatz identifiziert werden, auf dem möglicherweise jede Teilstelle der ausgewählten Geometrie sichtbar ist. Zum Beispiel kann das Computergerät den geographischen Standort bzw. Standorte des 3D-Gitters identifizieren, die mit einer bestimmten ausgewählten Teilstelle oder ein Satz von Stellen korrespondieren, die der ausgewählten Geometrie entspricht. Dieser identifizierte geografische Standort kann dazu verwendet werden, auf Grundlage der mit den Bilddaten verknüpften geografischen Standortinformation, einen Satz von Bildern aus den Bilddaten des Speichersystems 150 auszuwählen. Zum Beispiel können Bilder identifiziert werden, die von dem gleichen und/oder ähnlichem gemacht wurden. Darüber hinaus ist es nicht nötig, dass dieser Satz von Bildern ein wesentliches Volumen hat. Ein Satz kann beispielsweise 6 oder mehr Bilder umfassen, wenn die Bilder in verschiedenen Ausrichtungen und unterschiedlichen Zeiten erfasst wurden, es können aber auch mehr Bilder verwendet werden.
5A ist ein Beispiel für ein Bild 510 mit einem Objekt 512. In diesem Beispiel korrespondiert Objekt 512 den Sonnenkollektoren auf dem Dach eines Gebäudes. Hier kann Objekt 512 einem Objekt entsprechen, das die gleiche geografische Lage hat wie die Geometrie, die durch das Computergerät ausgewählt wurde. 5B ist ein weiteres Beispiel und zeigt Bild 520, das auch Objekt 512 enthält. Die Bilder 510 und 520 können gemeinsam einen Satz von Bildern bilden, zusammen mit einem oder mehreren anderen Bildern, die das Objekt 512 enthalten können.
Der Satz oder die Sätze von Bildern können gefiltert werden, um Bilder oder Teilstellen zu entfernen, wo die korrespondierende Teilstelle für diesen Satz von Bildern verdeckt ist oder sich im Schatten befindet. In dieser Hinsicht kann eine Okklusions- und eine Schattenprüfung der Geometrie durchgeführt werden, um sicherzustellen, dass die spezifisch ausgewählte Teilstelle bei einer Position sowohl der Kamera als auch der Sonne sichtbar ist, die jeweils mit einem bestimmten Bild assoziiert sind. Die Okklusionsüberprüfung kann durch Rastern einer zweidimensionalen Projektion einer Teilstelle auf jedes Bild auf einem Tiefenpuffer ausgeführt werden. Wenn die Teilstelle ein Dreieck ist, kann die Projektion mit einem zweidimensionalen (2D) Dreieck korrespondieren oder mit den Pixeln, die diesem Dreieck entsprechen. Die Teilstelle wird dann nochmals gerastert und die Anzahl der durch den Tiefenpuffer validierten Pixel wird gezählt. Wenn einige, alle oder ein Wert dazwischen der mit der Projektion korrespondierenden Pixel hinter einer sich in der Nähe befindlichen Geometrie befinden, kann die Projektion und das damit korrespondierende Bild zurückgewiesen werden. Anders ausgedrückt kann ein Bild zurückgewiesen werden, wenn aus dem Sichtwinkel der Kamera die Teilstelle (überwiegend oder teilweise) hinter einer nahe befindlichen Geometrie verborgen wird, wie beispielsweise ein anderes Dreieck bzw. Dreiecke eines Dreiecksgitters. Wenn alle Bilder für einen Satz abgelehnt werden, kann auch die ausgewählte Teilstelle abgelehnt werden. Somit können Teilstellen, die für eine oder mehrere Kameras, die die Bilder erfasst haben, nicht sichtbar sind, von der Spekularitätsbestimmung zurückgewiesen oder ausgeschlossen werden.
Ähnliches gilt für die Schattenprüfung: eine Projektion einer Teilstelle kann auf ein Bild gerastert werden, das von einer virtuellen orthografischen Kamera, die die Sonne emuliert, aufgenommen werden. Danach kann jede Projektion und jedes Bild auch für die Validierung mit dem Sonnenrasterbild überprüft werden. Wenn alle Bilder für einen Satz abgelehnt werden, kann auch die ausgewählte Teilstelle abgelehnt werden. Es können also Teilstellen verwendet werden, die der Sonne gegenüberliegen, insbesondere wo die Sonne in die gleiche Richtung zeigt wie die Flächennormale der Teilstelle, d. h. ein positives Skalarprodukt mit der Normalen hat. Diejenigen Teilstellen, die nicht der Sonne gegenüberliegen, können nicht verwendet werden. Es können auch Bilder abgelehnt werden, wenn es eine andere Teilstelle in dem Tiefenpuffer gibt, dessen Samples näher an der Sonne sind. Anders ausgedrückt kann ein Bild zurückgewiesen werden, wenn aus dem Sichtwinkel der Kamera die Teilstelle (überwiegend oder teilweise) hinter einer nahe befindlichen Geometrie verborgen wird, wie beispielsweise ein andere Dreiecke eines Dreiecksgitters vom Standpunkt der Sonne gesehen zum Zeitpunkt der Aufnahme des Bildes.
Die Teilstellen können weiterhin auf Grundlage ihrer Eigenschaften von der Spekularitätsbestimmung zurückgewiesen werden. Eine Teilstelle beispielsweise ausgeschlossen werden, wenn sie hohe Normalabweichungen zu benachbarten Stellen hat, eine übermäßig große oder kleine Größe hat oder eine stark verlängerte Form hat. In dieser Hinsicht können Teilstellen abgelehnt werden, die eine Geometrie aufweisen, die zu schmal ist, wie ein Dreieck, das zu spitzwinklig ist, oder Teilstellen, die zu klein sind (z. B. < 50 Pixel).
Für jede Teilstelle der gewählten Geometrie kann für jedes Bild des Bildersatzes ein durchschnittlicher Intensitätswert bestimmt werden. Auch hier kann dieser Bildersatz wie oben beschrieben gefiltert werden. Um dies zu erreichen, kann die Fläche der Teilstelle auf jedes Bilder des Bildersatzes Bilder projiziert werden. Der Intensitätswert kann mit dem durchschnittlichen Intensitäts- oder Helligkeitswert für eine Teilstelle korrespondieren. Diese durchschnittlichen Intensitätswerte eines Bildersatzes für eine bestimmte Teilstelle können dann in einem Vektor zusammengefasst werden, wie beispielsweise als der Vektor x.
Ein Modell der Reflexionsverteilung kann für jede ausgewählte Teilstelle mittels der Bilder, auf denen diese Teilstelle enthalten ist, erzeugt werden. Wie oben erwähnt, nur eine kleine Anzahl von Parametern bei diesem Modell verwendet werden, um bei Vorhandensein von Rauschen noch zu funktionieren. Zum Beispiel bei Luftaufnahmen, die über einen Zeitraum von Stunden bis Tagen voneinander und mit unterschiedlichen Kamerasets aufgenommen wurden. Die Aspekte einer BDRF, die ausfallende Strahlung anhand einfallender Strahlung für alle möglichen Richtungen spezifiziert, können dazu verwendet werden, um diese Modelle zu erzeugen.
In einem Fall kann das Computergerät einen Winkelwert auf der Grundlage der Position und Ausrichtung der Kamera, sowie des Standorts der Sonne für jedes Bild des Bildersatzes bestimmen. Dieser Winkelwert kann auch auf der Ausrichtung einer Projektion der Lage der Teilstelle auf dem Bild basieren. Beispielsweise kann ein Winkelwert mit dem ein Kosinus eines Winkels korrespondieren, der zwischen einem Einheiten-Halfway-Vektor und einer Normalen zu der Teilstelle gemessen wird. Dieser Einheiten-Halfway-Vektor kann sich auf einen Winkel beziehen, der sich auf halben Weg zwischen der Richtung der Sonne und der Richtung der Kamera befindet, die das Bild erfasst hat. In einem Fall kann der Einheiten-Halfway-Vektor h für ein bestimmtes Teilstellenbild mittels dieser Gleichung bestimmt werden: h = s + c / norm(s + c) wobei sich s auf die Richtung der Sonne bezieht (die Richtung zu der Sonne von dem Standort der Teilstelle zu dem Zeitpunkt der Aufnahme des Bildes) und c bezieht sich auf die Kamerarichtung (die Richtung der Kamera zu dem Zeitpunkt der Aufnahme des Bildes). So kann der Kosinus des Winkelwerts für ein einzelnes Teilstellenbild aus dem des Kosinus des Winkels zischen zwischen h und n bestimmt werden, wobei n die Flächennormale einer bestimmten ausgewählten Teilstelle ist (ein Vektor, der senkrecht zum Pfad und von ihm weg verläuft, so dass der Winkel zwischen n und dem Strahl, der von der Teilstelle zur Kamera verläuft, geringer als 90 Grad ist). Der Winkelwert kann auch aus dem Wert des Skalars bestimmt werden (h, n), wobei der Skalar das Skalarprodukt ist. Diese Winkelwerte eines Bildersatzes für eine bestimmte ausgewählte Teilstelle können dann in einem Vektor zusammengefasst werden, wie beispielsweise als der Vektor x.
6A ist ein Beispielgraph 600A. Graph 600A zeigt die Kosinuswerte durch den Mittelwertsintensitätswert für eine Teilstelle von Objekt 512, das in Bildern 510 und 520 dargestellt wird. Der Bereich 610 zeigt die tatsächlichen Kosinuswerte, während der Bereich 612 einen Satz von synthetischen Symmetriedaten zeigt, was nachfolgend noch eingehender erörtert wird. Somit korrespondieren die Datenpunkte im Bereich 620 mit den Tupeln der Vektoren x und y, wie oben erörtert. Weiterhin entspricht jeder einzelne Punkt auch einem einzelnen Bild.
Die Intensitäts- und Winkelwerte für jedes Bild können als Tupel kombiniert werden, die resultierenden Datenpunkte können für eine bestimmte ausgewählte Teilstelle an eine Kurve angepasst werden. Eine robuste Kurvenanpassung, wie beispielsweise eine robuste, nicht-lineare Optimierung der kleinsten Quadrate, kann verwendet werden, um eine versetzte Gauß-Kurve anzupassen. Das Client-Computergerät kann dies unter der Annahme durchführen, dass der Wert von x_i = 1 mit dem Zentrum einer Gauß-Kurve korrespondiert. Beispielsweise kann ein Drei-Parameter-Kurve verwendet werden, gemäß der Gleichung:
Hier gilt x_i = dot(h, n), wobei i ein bestimmtes Bild von einem Bildersatz von einem bestimmte ausgewählte Teilstelle ist. Der Winkelwert x_i = 1 korrespondiert mit der Ausrichtung zwischen den reflektierten Strahlen der Sonne und dem Blickwinkel der Kamera. Dies korrespondiert mit dem Maximalwert der Gauß-Kurve, wenn es sich um ein glänzendes Material handelt. Der Wert σ repräsentiert die Keulenbreite der Kurve. Dies kann nicht immer ein genaues Maß dafür sein, wie spiegelartig das Objekt, je nach den Abständen zwischen den Messungen. Der Wert α repräsentiert eine Albedo-ähnliche, durchschnittliche Farbe des Objekts und der Wert β repräsentiert die Höhe der Keule über oder relativ zu einer Verschiebung.
6B ist ein Beispiel einer Kurvenanpassung unter Verwendung der in 6A dargestellten Daten und den oben beschriebenen Beispielgleichungen. In diesem Zusammenhang zeichnet Graph 600B die Skalarproduktwerte anhand der mittleren Intensitätswerte für die Bilder eines bestimmten ausgewählten Pfades auf. Auch hier sind die mit Bereich 620 korrespondierenden Datenpunkte real, während die Datenpunkte, mit Bereich 622 korrespondieren, synthetische Symmetriedatenpunkte sind. Die Kurvenanpassung 636 zeigt die glockenförmigen Natur der echten und der synthetischsymmetrischen Datenpunkten.
Je größer der Maximalwert oder die Keulte über oder relativ zu der Verschiebung ist, desto wahrscheinlicher ist es, dass die Teilstelle über eine Spekularität verfügt. Mit anderen Worten, je größer der Unterschied zwischen dem relativen Maximalwert der Gauß-Kurve und dem Verschiebungsgrad der Gauß-Kurve ist, desto wahrscheinlicher ist es, dass die Teilstelle über eine bestimmte Spekularität verfügt. Dieser Unterschied kann durch den Wert β dargestellt werden. Somit kann der Wert β der primäre Indikator für Glanz sein; je größer dieser Wert ist, desto größer ist die Spekularität bzw. Glanz der Teilstelle. Beispielsweise kann β > 0,15 die Existenz einer spiegelnden Keule bedeuten.
Der relative Maximalwert der Keule bzw. der Wert von β der Kurvenanpassung 636 in der Mitte von 6B, ist wie erwartet nahe des Werts x_i = 1 und ist somit relativ groß (d. h. in der Größenordnung von 0,25). Dies kann darauf hinweisen, dass die entsprechende Teilstelle von Objekt 512 glänzend oder spiegelnd ist.
7 ist ein Beispiel der Bilder 710 und 720 inklusive des Fußballfelds 712. 7 enthält auch einen Graph 730 der Skalarprodukte, realer, synthetische und mittlerer Intensitätswerte für einen Bildersatz, der die Bilder 710 und 720 enthält. In diesem Beispiel ist das Fußballfeld nicht sehr spiegelnd und somit gibt es keine positiven Keulen. Dementsprechend kann der Wert von β kann sehr klein oder sogar negativ sein.
8 ist ein Beispiel für die Bilder 810 und 820 inklusive des Wasserwegs 812. 8 enthält auch einen Graph 830 der Skalarprodukte, realer, synthetische und mittlerer Intensitätswerte für einen Bildersatz, der die Bilder 810 und 820 enthält. In diesem Beispiel ist der Wasserweg sehr spiegelnd und somit gibt es eine gut definierte positive Keule, die ab Kurvenanpassung 840 gesehen werden kann. Dementsprechend kann der Wert von β relativ groß sein.
Somit kann das Computergerät jede Teilstelle auf Grundlage der Kurvenanpassung klassifizieren. Unter Verwendung der obigen Gleichungen, können größere Werte von β, also größer als 0,15, auf eine spiegelnde Keule hinweisen und somit auf eine spiegelnde Teilstelle. Diesbezüglich kann jede Teilstelle mittels eines bestimmten Schwellenwerts für die Kurvenanpassung, wie in 9 dargestellt ist, als spiegelnd oder nicht-spiegelnd eingestuft werden. Beispielsweise sind in der 9 die jeweiligen Werte ca. 0,28 für 600B, 0,45 für 830 und 0,0 für 730. In diesem Beispiel können die Teilstellen der Graphen 600B und 830, die jeweils mit den Sonnenkollektoren bzw. der Wasserstraße korrespondieren, als spiegelnd klassifiziert werden, während die Teilstelle von Graph 730, die mit einem Fußballfeld korrespondiert, als nicht-spiegelnd klassifiziert werden kann.
Bei einigen Teilstellen sind die Datenpunkte unter Umständen nicht gleichmäßig verteilt. In anderen Worten kann es einige wenige Bilder mit sehr ähnlichen Ausrichtungen der Kamera und der Sonne geben, was zu falschen Positiven führen kann. Alternativ können falsche Positive aus der Tatsache resultieren, dass Datenpunkte sich im flachen Bereich des Keule gruppiert haben und die Kurvenanpassung das Hinzufügen einer Gaußschen Keule ignoriert oder einen Bereich außerhalb der Messungen nicht beachtet. Mit anderen Worten sind keine Datenpunkte nahe an x_i = 1 oder in dem Bereich, der die Spitze der Keule wäre, vorhanden. Folglich können solche Daten entweder mit oder ohne eine positive Keule gut an eine Kurve angepasst werden.
Um derartige falsche Positive zu vermeiden, wenn eine Teilstelle als spiegelnd klassifiziert wird, kann das Client-Computergerät bestimmen, ob sich eventuell Datenpunkte auf der Keule und auch vor der Keule befinden (in der flachen Region). Ein Schwellenwert kann derart verwendet werden, dass die kleinste Messung nicht kleiner sein sollte als 1 – 2σ und die größte größer als 1 – 2σ. Wenn die Teilstelle diese Schwelle nicht erfüllt, dann kann es als nicht-spiegelnd neu eingestuft werden, oder als unbekannt, oder mit einem anderen Wert assoziiert werden.
Bei einigen Beispielen, in denen es ausreichend Bilder für einen äußerst sicheren Wert von β gibt, können verschiedene Kurvenformen verwendet werden, um die Teilstellen als unterschiedliche Arten von Materialien auf Grundlage der Werte von α, β und γ aus der versetzten Gauß-Kurve zu klassifizieren.
Die Klassifizierung mittels kleiner Teilstellen kann mit Rauschen verbunden sein und eine Art gesprenkelte Ausgabe erzeugen. 10 ist ein Musterbild 1010 von einem 3D-Modell, das eine Vielzahl von klassifizierten (oder markierten) Teilstellen enthält. In diesem Beispiel werden die rohen Einstufungen für zahlreiche kleine Teilstellen (hier: Dreiecke) durch die markierten Bereiche 1012 innerhalb des Feldes 1014 gezeigt. In diesem Beispiel gibt es viele kleine Löcher und „Inseln”, die zu falschen negativen bzw. falschen positiven Klassifizierungen führen können.
Dieses Rauschen kann geglättet werden, indem zuerst mit einem Erosionsalgorithmus die kleinen Inseln der Bereiche, die mit den spiegelnden Teilflächen korrespondieren, einschrumpft. Als nächstes wird der geschrumpfte Bereich erweitert, um mittels eines Flutfüllungsalgorithmus alle verbundenen Teilstellen mit einer ähnlichen Normalen abzudecken, die mit dem geschrumpften Bereich korrespondiert. Dies kann sich wie das Ausfüllen der Vorderfont oder des Dachs eines Gebäudes vorgestellt werden, wie in den Beispielen des Bildes 1020 zu sehen ist. Die in diesem Beispiel hervorgehobene Bereiche 1022 decken beinahe das gesamte Dach des Gebäudes innerhalb von Feld 1026 ab. Sowohl die Erosion als auch die Flutfüllung kann unter Verwendung von Zusatzinformationen wie Unterschiede in Bezug auf Größe, Form, Ausrichtung, Farbe und/oder Textur der Teilstellen verfeinert werden. Ein Beispiel dafür wäre ein Belief-Ausbreitungsalgorithmus, der Techniken des maschinellen Lernens verwendet, um Gewichtungen für Unterschiede in der Textur, bei Normalen, bei Kanten, usw. zu bestimmen.
Wie oben erwähnt, können diese Klassifizierungen verwendet werden, um die Teilstellen eines 3D-Netzes zu markieren. Diese Markierungen können wiederum verwendet werden, um eine realistischere Ansicht von 3D-Modellen von geographischen Gebieten wiederzugeben. Durch die Bestimmung, ob ein Objekt glänzend ist (oder z. B. die Höhe der Spekularität des Objekts), können solche Objekte in einer Weise wiedergegeben werden, dass sie dem Benutzer realistischer erscheinen. Eine oder mehrere Computergeräte, wie beispielsweise Server-Computergeräte 110 und/oder Client-Computergeräte 120, 130 oder 140 können die oben erwähnten Markierungen verwenden, um bestimmen, wie ein 3D-Modell mit realistischen Eigenschaften wiederzugeben ist.
Wenn beispielsweise einem Benutzer ein dreidimensionales (3D) Modell eines tatsächlichen geographischen Standorts, beispielsweise eine Stadt, angezeigt wird, kann die Spekularität der Objekte dazu verwendet werden, bestimmte Bereiche des Modells hervorzuheben, so dass es scheint, als ob die Sonne sich an bestimmten Position im Himmel befinden würde usw. Daher können Benutzer die Sonnenreflexionen an Gebäuden sehen, während sie sich durch bzw. umher das 3D-Modell der Stadt navigieren. Dies kann dem Benutzer das Gefühl geben, dass er oder sie eine echte, natürliche Umgebung oder eine tatsächliche Stadt betrachtet und sich nicht nur eine statische oder leblose Simulation ansieht.
Dieses Konzept wird in den Beispielen der 11 und 12 demonstriert. In dem Beispiel von 11 beinhaltet Bild 1110 eine 3D-Darstellung eines Gebäudes 1112, ohne dass zwischen spiegelnden und nicht-spiegelnden Teilstellen differenziert wird. Bild 1120 hebt einige Merkmale mit Hilfe der Spekularitäts-Klassifizierungen der Teilstellen hervor. Insbesondere Gebäude 1112 in Bild 1120 erscheint so, als ob es das Licht von der Sonne reflektieren würde, wodurch der gleichen Szene in Bild 1120 im Vergleich zu Bild 1110 etwas mehr „Leben” verliehen wird. In ähnlicher Weise zeigt das Beispiel in 12, wie das Bild 1210 eine 3D-Darstellung eines Parkplatzes 1212 und eines Dachs des Gebäudes 1214 beinhaltet, ohne dass zwischen spiegelnden und nicht-spiegelnden Teilstellen differenziert wird. Bild 1220 hebt sowohl den Parkplatz 1212 als auch das Dach des Gebäudes hervor, indem beide als teilweise bzw. vollständig in dem Pfad der Sonne gezeigt werden. Auch hier demonstriert dieses Beispiel, wie die Spekularität verwendet werden kann, um Bilder naturgetreuer und interessanter für einen Betrachter zu machen.
13 ist ein Beispiel 1300 einer Systemübersicht, die einige der hier beschriebenen Aspekte der Technologie veranschaulicht. Wie aus diesem Beispiel ersichtlich ist, sind die Teilstellen 1304 des 3D-Gitters 1302 in Block 1310 ausgewählt. Die korrespondierenden Bilder 1306, die die geografischen Gebiete dieser Teilstellen enthalten, werden in Block 1320 ausgewählt. Die Teilstellen 1304 werden auf die Bilder 1306 in Block 1330 projiziert. Die verschiedenen Statistiken für die Intensitäts- und Winkelwerte für die Anpassung von Modell 1308 für jede Teilstelle werden in Block 1340 ermittelt und verwendet. Die Anpassungen werden dann verwendet, um die Teilstellen in Block 1350 zu klassifizieren. In Block 1360 können dann die Teilstellen markiert und dazu verwendet werden, die Markierungen der in der Nähe befindlichen Teilstellen zu klassifizieren und zu aktualisieren.
Das Flussdiagramm 1400 in 14 ist ein Beispiel von Schritten, die von einem oder mehreren Computergeräten, wie beispielsweise den Server-Computergeräten 110 und/oder den Client-Computergeräten 120, 130 und 140 in Übereinstimmung mit einigen der hier beschriebenen Aspekten der Technik durchgeführt werden. In diesem Beispiel wird ein Bereich der Geometrie in Block 1402 ausgewählt. Ein Satz von Bildern, der den Bereich der Geometrie enthält, wird in Block 1404 erfasst. Dieser Bildersatz kann wie oben beschrieben gefiltert werden. Ein Satz von Intensitätswerten für den Bereich wird für jedes Bild des Bildersatzes in Block 1406 bestimmt. Ein Satz von Winkelwerten für jedes Bild des Bildersatzes wird zumindest auf Grundlage der Richtung der Kamera, die das jeweilige Bild aufgenommen hat, in Block 1408 bestimmt. Der Satz von durchschnittlichen Intensitäten und der Satz von Winkelwerten wird in Block 1410 gekoppelt und anpasst. Die Spekularität des Bereichs wird auf der Grundlage zumindest der Kurvenanpassung in Block 1412 klassifiziert.
Die meisten der vorstehenden alternativen Beispiele schließen sich nicht gegenseitig aus, können aber in unterschiedlichen Kombinationen implementiert werden, um charakteristische Vorteile zu erzielen. Auch wenn diese und andere Variationen und Kombinationen der oben beschriebenen Merkmale verwendet werden können, ohne von dem in den Ansprüchen definierten Gegenstand abzuweichen, ist die vorstehende Beschreibung der Ausführungsformen nur als Veranschaulichung und nicht als Einschränkung des in den Ansprüchen definierten Gegenstands anzusehen. Beispielsweise muss bei der Durchführung der vorhergehenden Operationen nicht die genaue oben beschriebene Reihenfolge eingehalten werden. Stattdessen können unterschiedliche Schritte in unterschiedlicher Reihenfolge oder simultan durchgeführt werden. Sofern nicht anderweitig angegeben, können auch Schritte ausgelassen werden. Darüber hinaus darf die Angabe der hierin beschriebenen Beispiele und Klauseln, die mit Begriffen wie etwa „zum Beispiel”, „einschließlich” und dergleichen formuliert werden, nicht als Einschränkung des Gegenstands der Ansprüche auf diese spezifischen Beispiele interpretiert werden, da die Beispiele lediglich dazu dienen, eine der vielen möglichen Ausführungsformen zu veranschaulichen. Ferner können dieselben Referenznummern in unterschiedlichen Zeichnungen dieselben oder ähnliche Elemente identifizieren.
INDUSTRIELLE ANWENDBARKEIT
Die vorliegende Erfindung genießt breite industrielle Anwendbarkeit, einschließlich, aber nicht beschränkt auf, der Spekularitätsbestimmung von Objekten auf Bildaufnahmen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8805088 [0001]