DE112021004612T5

DE112021004612T5 - Aufzeichnung eines digitalen zwillings für ein mehrdimensionales modell unter verwendung von photogrammetrie

Info

Publication number: DE112021004612T5
Application number: DE112021004612.8T
Authority: DE
Inventors: John Kaufmann
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2020-09-03
Filing date: 2021-08-31
Publication date: 2023-06-15
Also published as: JP2023540927A; CN116157756A; US20220067229A1; WO2022048534A1

Abstract

Bei einem Ansatz zum Erstellen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung von Photogrammetrie wird von einer oder mehreren mobilen Einheit eine Mehrzahl Bilder eines Objekts empfangen. Aus der Mehrzahl Bilder wird ein 3D-Modell des Objekts erstellt. Es wird geprüft, ob das 3D-Modell mit einer Aufzeichnung des digitalen Zwillings übereinstimmt.

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung betrifft allgemein das Gebiet der Datenverarbeitung und insbesondere das Erstellen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Model unter Verwendung von Photogrammetrie.
Bei einem digitalen Zwilling handelt es sich um eine virtuelle Darstellung eines physischen Objekts oder Systems während deren Lebensdauer. Hierbei werden Echtzeitdaten und andere Quellen verwendet, um Lernen, Begründen und dynamisches Neuausrichten zum verbesserten Fällen von Entscheidungen zu ermöglichen. Dies bedeutet einfach gesagt Erstellen eines komplexen virtuellen Modells, welches das genaue Pendant (Zwilling) eines physischen Gegenstands darstellt. Bei dem „Gegenstand“ kann es sich um ein Auto, einen Tunnel, eine Brücke oder sogar ein Strahltriebwerk handeln. Mit dem physischen Objekt verbundene Sensoren sammeln Daten, die auf das virtuelle Modell abgebildet werden können. Durch Betrachten des digitalen Zwillings kann ein Benutzer nunmehr wichtige Informationen darüber erkennen, wie das physische Objekt unter realen Bedingungen funktioniert.
Photogrammetrie ist als Technik, Wissenschaft und Technologie zum Gewinnen zuverlässiger Informationen über physische Objekte und die Umwelt durch den Prozess des Aufzeichnens, Messens und Auswertens fotografischer Bilder definiert. Durch Photogrammetrie werden aus zweidimensionalen Fotos genaue Messungen von dreidimensionalen Objekten und Geländemerkmalen abgeleitet. Als Anwendungen kommen das Messen von Koordinaten, das Beziffern von Entfernungen, Höhen, Flächen und Volumina, topografische 3D-Abbildungen und das Erstellen von digitalen Höhenmodellen und Orthofotos infrage.
KURZDARSTELLUNG
Ausführungsformen der vorliegenden Erfindung offenbaren ein Verfahren, ein Computerprogrammprodukt und ein System zum Erstellen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung von Photogrammetrie. Gemäß einer Ausführungsform wird eine Mehrzahl von Bildern eines Objekts von einer oder mehreren mobilen Einheiten empfangen. Aus der Mehrzahl von Bildern wird ein 3D-Modell des Objekts erstellt. Es wird geprüft, ob das 3D-Modell des Objekts mit einer Aufzeichnung des digitalen Zwillings übereinstimmt.
Figurenliste

1 ist ein funktionales Blockschaubild, das eine verteilte Datenverarbeitungsumgebung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
2a zeigt ein Beispiel eines Benutzers des Photogrammetrieprogramms, der eine Einheit zum Aufnehmen eines Fotos eines Objekts gemäß einer Ausführungsform der vorliegenden Erfindung verwendet.
2b zeigt ein Beispiel eines 3D-Modells, das durch ein Photogrammetrieprogramm gemäß einer Ausführungsform der vorliegenden Erfindung erstellt wurde.
2c zeigt ein Beispiel des Photogrammetrieprogramms, welches das 3D-Modell mit einem digitalen Zwilling vergleicht, gemäß einer Ausführungsform der vorliegenden Erfindung.
3 zeigt einen Ablaufplan, der Arbeitsschritte des Photogrammetrieprogramms auf einer Datenverarbeitungseinheit innerhalb der verteilten Datenverarbeitungsumgebung von 1 zeigt, um eine Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell gemäß einer Ausführungsform der vorliegenden Erfindung zu erstellen.
4 zeigt einen Blockschaltplan von Komponenten der das Photogrammetrieprogramm ausführenden Datenverarbeitungseinheit innerhalb der verteilten Datenverarbeitungsumgebung von 1 gemäß einer Ausführungsform der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG
Im vorliegenden Zusammenhang handelt es sich bei der Photogrammetrie um eine Technik zum Aufnehmen mehrerer einander überlappender Fotos und zum Ableiten von Messwerten aus den Fotos, um dreidimensionale (3D) Modelle von Objekten oder Szenen zu erstellen. Der Grundgedanke ist der Fähigkeit vieler Kameras ähnlich, die es einem Benutzer ermöglichen, durch Zusammensetzen einander überlappender Fotos zu einem zweidimensionalen (2D) Mosaik ein Panorama zu erstellen. In der Photogrammetrie wird das Konzept weiterentwickelt, indem die Position der Kamera auf ihrem Weg durch den dreidimensionalen Raum dazu genutzt wird, für jedes Pixel des Originalbildes die Koordinaten X, Y und Z zu ermitteln.
Bei einem digitalen Zwilling handelt es sich um ein virtuelles Modell eines Prozesses, Produkts oder Dienstes. Durch diesen paarweisen Vergleich zwischen der virtuellen und der realen Welt wird es möglich, Daten zu analysieren und Systeme zu überwachen, um Problemen vor deren Auftreten zuvorzukommen, Ausfallzeiten zu verhindern, neue Chancen zu entwickeln und unter Verwendung von Simulationen sogar Pläne für die Zukunft zu erstellen. Zum Beispiel stellt ein digitaler Zwilling einer Einheit des Internets der Dinge (loT) nicht nur die Elemente, sondern auch die Arbeitsweise der Einheit und deren Verhalten während ihres gesamten Lebenszyklus bereit.
Digitale Zwillinge können loT, künstliche Intelligenz, maschinelles Lernen und Softwareanalytik miteinander vereinen, um lebendige digitale Simulationsmodelle zu erstellen, die sich in dem Maße aktualisieren und verändern, wie sich ihre physischen Pendants verändern. Ein digitaler Zwilling lernt aus mehreren Quellen und aktualisiert sich selbst, um seinen Zustand, seinen Betriebszustand oder seine Position möglichst in Echtzeit darzustellen. Ein digitaler Zwilling nimmt in sich auch historische Daten einer früheren Nutzung der Maschine auf, um diese in sein digitales Modell einzubeziehen.
Die vorliegende Erfindung ermöglicht es Besitzern von digitalen Zwillingen, eine dauerhafte Aufzeichnung von 3D-Modellen ihrer physischen Objekte unter Verwendung einer mobilen Einheit zu erstellen, die mit einem Kameraeingang ausgestattet ist, und diese auf ihre zugeordneten digitalen Zwillinge aus einer Bibliothek oder einem Vorrat an digitalen Zwillingen anzuwenden oder neue digitale Zwillinge aus den 3D-Modellen zu erzeugen, die aus den dem Vorrat zugeführten Fotos erstellt wurden. Diese Daten können dann für jede der oben erwähnten Analyseformen verwendet werden.
Gemäß einer Ausführungsform werden die unveränderbaren Modelldaten in ein Objektverwaltungssystem eingegeben. Gemäß einer Ausführungsform verwendet die vorliegende Erfindung die Blockchain-Technologie dazu, das Modell in einer Bibliothek oder einem Vorrat digitaler Zwillinge zu speichern, das Modell in das Objektverwaltungssystem einzugeben oder die unveränderbaren Datensätze des Modells gemeinsam mit verschiedenen Teilnehmern zu nutzen.
1 zeigt ein funktionales Blockschaubild, das eine verteilte Datenverarbeitungsumgebung mit der Bezugsnummer 100 veranschaulicht, die für die Arbeit des Photogrammetrieprogramms 112 gemäß mindestens einer Ausführungsform der vorliegenden Erfindung geeignet ist. Mit dem hierin verwendeten Begriff „verteilt“ wird ein Computersystem beschrieben, das mehrere physisch eigenständige Einheiten umfasst, die wie ein einziges Computersystem zusammenarbeiten. 1 stellt lediglich eine Veranschaulichung einer Ausführungsart dar und ist nicht als Einschränkung in Bezug auf die Umgebungen zu verstehen, in denen verschiedene Ausführungsformen realisiert werden können. Ein Fachmann kann an der gezeigten Umgebung zahlreiche Änderungen vornehmen, ohne vom Schutzumfang der Erfindung abzuweichen, der in den Ansprüchen dargelegt ist.
Die verteilte Datenverarbeitungsumgebung 100 umfasst eine Datenverarbeitungseinheit 110 und eine Benutzereinheit 130, die beide mit einem Netzwerk 120 verbunden sind. Bei dem Netzwerk 120 kann es sich zum Beispiel um ein Telekommunikations-Netzwerk, ein lokales Netzwerk (LAN), ein Weitverkehrs-Netzwerk (WAN) wie das Internet oder um eine Kombination derselben handeln, und es kann leitungsgebundene, drahtlose oder Lichtwellenleiter-Verbindungen enthalten. Das Netzwerk 120 kann ein oder mehrere leitungsgebundene und/oder drahtlose Netzwerke umfassen, die in der Lage sind, Daten-, Sprach- und/oder Videosignale zu empfangen und zu übertragen, darunter Multimediasignale, die Sprach-, Daten- und Videoinformationen enthalten. Allgemein kann es sich bei dem Netzwerk 120 um eine beliebige Kombination von Verbindungen und Protokollen handeln, die Datenübertragungen zwischen der Datenverarbeitungseinheit 110, der Benutzereinheit 130 und anderen (nicht gezeigten) Datenverarbeitungseinheiten innerhalb der verteilten Datenverarbeitungsumgebung 100 unterstützen.
Bei der Datenverarbeitungseinheit 110 kann es sich um eine eigenständige Datenverarbeitungseinheit, einen Verwaltungsserver, einen Webserver, eine mobile Datenverarbeitungseinheit oder eine beliebige andere Elektronikeinheit oder ein Datenverarbeitungssystem handeln, die/das in der Lage ist, Daten zu empfangen, zu senden und zu verarbeiten. Gemäß einer Ausführungsform kann es sich bei der Datenverarbeitungseinheit 110 um einen Laptop-Computer, einen Tablet-Computer, einen Netbook-Computer, einen Personal Computer (PC), einen Arbeitsplatz-Computer, einen persönlichen digitalen Assistenten (PDA), ein Smartphone oder eine beliebige programmierbare elektronische Einheit handeln, die in der Lage ist, Daten mit anderen (nicht gezeigten) Datenverarbeitungseinheiten innerhalb der verteilten Datenverarbeitungsumgebung 100 über das Netzwerk 120 auszutauschen. Gemäß einer anderen Ausführungsform kann die Datenverarbeitungseinheit 110 ein Server-Datenverarbeitungssystem darstellen, das mehrere Computer als Serversystem wie beispielsweise in einer Cloud-Computing-Umgebung nutzt. Gemäß noch einer anderen Ausführungsform stellt die Datenverarbeitungseinheit 110 ein Datenverarbeitungssystem dar, das Gruppen von Computern und Komponenten (z.B. Datenbank-Server-Computer, Anwendungs-Server-Computer usw.) nutzt, die sich wie ein einziger Vorrat nahtlos miteinander verbundener Ressourcen verhalten, wenn innerhalb der verteilten Datenverarbeitungsumgebung 100 auf diese zugegriffen wird.
Gemäß einer Ausführungsform enthält die Datenverarbeitungseinheit 110 ein Photogrammetrieprogramm 112. Gemäß einer Ausführungsform handelt es sich bei dem Photogrammetrieprogramm 112 um ein Programm, eine Anwendung oder ein Unterprogramm eines größeren Programms zum Erstellen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung von Photogrammetrie. Gemäß einer alternativen Ausführungsform kann sich das Photogrammetrieprogramm 112 auf einer beliebigen anderen Einheit befinden, auf die die Datenverarbeitungseinheit 110 über das Netzwerk 120 zugreifen kann.
Gemäß einer Ausführungsform enthält die Datenverarbeitungseinheit 110 eine Informationsablage (information repository) 114. Gemäß einer Ausführungsform kann die Informationsablage 114 durch das Photogrammetrieprogramm 112 verwaltet werden. Gemäß einer alternativen Ausführungsform kann die Informationsablage 114 allein oder zusammen mit dem Photogrammetrieprogramm 112 durch das Betriebssystem der Einheit verwaltet werden. Bei der Informationsablage 114 handelt es sich um eine Datenablage, in der Informationen gespeichert, gesammelt, verglichen und/oder miteinander kombiniert werden können. Gemäß einigen Ausführungsformen ist die Informationsablage 114 außerhalb der Datenverarbeitungseinheit 110 untergebracht, und auf diese wird durch ein Datenübertragungs-Netzwerk wie das Netzwerk 120 zugegriffen. Gemäß einigen Ausführungsform ist die Informationsablage 114 auf der Datenverarbeitungseinheit 110 gespeichert. Gemäß einigen Ausführungsformen kann sich die Informationsablage 114 auf einer anderen (nicht gezeigten) Datenverarbeitungseinheit befinden, sofern durch die Datenverarbeitungseinheit 110 auf die Informationsablage 114 zugegriffen werden kann. Die Informationsablage 114 enthält, ohne darauf beschränkt zu sein, Foto-Bilddaten, Daten des digitalen Zwillings, Daten des 3D-Modells, Systemdaten, Benutzerdaten und andere Daten, die durch das Photogrammetrieprogramm 112 von einer oder mehreren Quellen empfangen werden, sowie Daten, die durch das Photogrammetrieprogramm 112 erzeugt werden.
Gemäß einer Ausführungsform kann die Informationsablage 114 auch eine Datenablage des digitalen Zwillings enthalten. Gemäß einer Ausführungsform kann die Datenablage des digitalen Zwillings von der Informationsablage 114 getrennt sein, sofern durch die Datenverarbeitungseinheit 110 auf die Datenablage des digitalen Zwillings zugegriffen werden kann.
Die Informationsablage 114 kann unter Verwendung beliebiger in der Technik bekannter flüchtiger oder nichtflüchtiger Speichermedien zum Speichern von Informationen realisiert werden. Die Informationsablage 114 kann zum Beispiel mit einer Magnetband-Bibliothek, einer optischen Bibliothek, einem oder mehreren unabhängigen Festplattenlaufwerken, mehreren Festplattenlaufwerken in einem redundanten Array unabhängiger Platten (RAID), Halbleiter-Speicherplatten (SSD) oder einem Direktzugriffsspeicher (RAM) realisiert werden. Desgleichen kann die Informationsablage 114 mit einer beliebigen geeigneten, in der Technik bekannten Speicher-Architektur, beispielsweise mit einer relationalen Datenbank, einer NoSQL-Datenbank, einer objektorientierte Datenbank oder einer oder mehreren Tabellen realisiert werden.
Bei der Benutzereinheit 130 kann es sich um ein Smartphone, eigenständige Datenverarbeitungseinheiten, eine mobile Datenverarbeitungseinheit oder eine beliebige andere elektronische Einheit oder ein Datenverarbeitungssystem mit der Fähigkeit handeln, Daten zu empfangen, zu senden und zu verarbeiten. Gemäß einer Ausführungsform kann es sich bei der Benutzereinheit 130 um ein Smartphone, einen Laptop-Computer, einen Tablet-Computer, einen Netbook-Computer, einen Personal Computer (PC), einen Arbeitsplatz-Computer, einen persönlichen digitalen Assistenten (PDA) oder eine beliebige programmierbare elektronische Einheit mit der Fähigkeit handeln, Fotos aufzunehmen und Daten über das Netzwerk 120 mit anderen (nicht gezeigten) Datenverarbeitungseinheiten innerhalb der verteilten Datenverarbeitungsumgebung 100 auszutauschen.
Die 2a bis 2c zeigen ein Beispiel zum Erzeugen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung von Photogrammetrie, was durch das Photogrammetrieprogramm 112 gemäß einer Ausführungsform der vorliegenden Erfindung erfolgt. In 2a verwendet ein Benutzer des Photogrammetrieprogramms 112 eine Einheit mit einer Kamera, z.B. die Benutzereinheit 130 von 1, um übliche 2D-Fotos eines Objekts, zum Beispiel eines Bauteils einer Industrieanlage, aufzunehmen, die durch das Photogrammetrieprogramm 112 zum Erstellen eines 3D-Modells verwendet werden. In 2b erstellt das Photogrammetrieprogramm 112 ein 3D-Modell aus den durch den Benutzer aufgenommenen 2D-Fotos. Nach dem Aufnehmen aller Bilder und dem Erstellen des 3D-Modells vergleicht das Photogrammetrieprogramm 112 in 2c das in 2b erstellte 3D-Modell mit einem digitalen Zwilling, der als Datensatz in einer Ablage des digitalen Zwillings aufbewahrt wird. Bei diesem Beispiel wünscht der Benutzer Aufzeichnungen einer häufig verwendeten Anlage zu erzeugen und aufzubewahren. Durch Verwenden einer mobilen Einheit wie beispielsweise eines Smartphones kann der Benutzer neue oder aktualisierte Modelle des digitalen Zwillings der Anlage in regelmäßigen Intervallen, z.B. alle zwei Monate, oder nach bestimmten Ereignissen erstellen, beispielsweise nach Erneuerungen oder intensiver Nutzung der Anlage. Auf diese Weise kann der digitale Zwilling den aktuellen Zustand der Anlage über deren gesamte Lebensdauer hinweg genau darstellen.
3 ist ein Ablaufplan des Arbeitsablaufs 300, der Arbeitsschritte des Photogrammetrieprogramms 112 zum Erzeugen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung von Photogrammetrie gemäß mindestens einer Ausführungsform der Erfindung zeigt. Gemäß einer alternativen Ausführungsform können die Schritte des Arbeitsablaufs 300 während der Arbeit mit dem Photogrammetrieprogramm 112 durch ein beliebiges anderes Programm ausgeführt werden. Gemäß einer Ausführungsform wird das Photogrammetrieprogramm 112 mit einer Benutzereinheit verbunden, um mit dem Erstellen des 3D-Modells zu beginnen. Gemäß einer Ausführungsform detektiert das Photogrammetrieprogramm 112 eine betreffende Einheit. Gemäß einer Ausführungsform prüft das Photogrammetrieprogramm 112, ob die detektierte Kamera einen Schwellenwert für die Qualitätsanforderungen an Fotos zum Einstellen des Algorithmus erfüllt, um das 3D-Modell zu erstellen. Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass die Kamera einen Schwellenwert für die Qualitätsanforderungen nicht erfüllt, wird der Benutzer durch das Photogrammetrieprogramm 112 benachrichtigt, dass die Kamera zum Erzeugen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung von Photogrammetrie nicht geeignet ist. Dann wird das Photogrammetrieprogramm 112 für diesen Zyklus beendet. Gemäß einer Ausführungsform empfängt das Photogrammetrieprogramm 112 eine Reihe 2D-Fotos von der Kamera in der Einheit. Gemäß einer Ausführungsform beginnt das Photogrammetrieprogramm 112, unter Verwendung der im vorhergehenden Schritt empfangenen 2D-Fotos ein 3D-Modell zu erstellen. Gemäß einer Ausführungsform prüft das Photogrammetrieprogramm 112, ob es in dem 3D-Modell noch Bereiche gibt, die unvollständig oder ungenau sind. Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass es in dem 3D-Modell Bereiche gibt, die unvollständig oder ungenau sind, weist das Photogrammetrieprogramm 112 den Benutzer auf die unvollständigen Bereiche hin, um weitere Fotos aufzunehmen. Wenn der Benutzer gemäß einer Ausführungsform das Aufnehmen der Fotos des Objekts beendet hat, empfängt das Photogrammetrieprogramm 112 eine Mitteilung von dem Benutzer. Gemäß einer Ausführungsform ermittelt das Photogrammetrieprogramm 112, ob das erstellte 3D-Modell mit einem digitalen Zwilling übereinstimmt, indem es das 3D-Modell mit allen digitalen Zwillingen in einer Ablage vergleicht. Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass das erstellte 3D-Modell nicht mit einem digitalen Zwilling übereinstimmt, prüft das Photogrammetrieprogramm 112, ob der Benutzer eine Übereinstimmung bestätigt. Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass das erstellte 3D-Modell nicht mit einem digitalen Zwilling übereinstimmt oder der Benutzer keine Übereinstimmung bestätigt, erzeugt das Photogrammetrieprogramm 112 aus dem erstellten 3D-Modell einen neuen digitalen Zwilling. Gemäß einer Ausführungsform erzeugt das Photogrammetrieprogramm 112 dann eine neue Aufzeichnung in der Ablage und speichert den neuen digitalen Zwilling in der Aufzeichnung.
Es sollte einsichtig sein, dass Ausführungsformen der vorliegenden Erfindung zumindest für das Erzeugen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung von Photogrammetrie sorgen. 3 stellt jedoch lediglich eine Veranschaulichung einer Ausführungsart bereit und ist nicht als Einschränkung in Bezug auf die Umgebungen zu verstehen, in denen verschiedene Ausführungsformen realisiert werden können. Ein Fachmann kann an der gezeigten Umgebung viele Änderungen vornehmen, ohne von dem durch die Ansprüche genannten Schutzumfang der Erfindung abzuweichen.
Das Photogrammetrieprogramm 112 wird mit einer Benutzereinheit verbunden (Schritt 302). Gemäß einer Ausführungsform wird das Photogrammetrieprogramm 112 mit einer Benutzereinheit, z.B. mit der Benutzereinheit 130 von 1, verbunden, um mit dem Erstellen des 3D-Modells zu beginnen. Gemäß einer Ausführungsform wird das Photogrammetrieprogramm 112 auf der Grundlage des Empfangens einer Verbindungsanforderung von dem Benutzer mit der Benutzereinheit verbunden. Gemäß einer anderen Ausführungsform wird das Photogrammetrieprogramm 112 automatisch mit der Benutzereinheit verbunden, nachdem der Benutzer eine Kamera-Anwendung auf der Einheit gestartet hat. Gemäß einer Ausführungsform hält das Photogrammetrieprogramm 112 die Verbindung zwischen der Benutzereinheit und der Datenverarbeitungseinheit während des gesamten Prozesses des Aufnehmens der Bilddaten aufrecht. Gemäß einer Ausführungsform wird das Photogrammetrieprogramm 112 über ein Netzwerk, z.B. das Netzwerk 120 von 1, mit einer Benutzereinheit verbunden.
Das Photogrammetrieprogramm 112 detektiert die Einheit und die Kamera (Schritt 304). Gemäß einer Ausführungsform detektiert das Photogrammetrieprogramm 112 die entsprechende Einheit, mit der es in Schritt 302 verbunden wurde. Gemäß einer Ausführungsform detektiert das Photogrammetrieprogramm 112 die Kamera in der Benutzereinheit. Gemäß einer Ausführungsform verwendet das Photogrammetrieprogramm 112 eine Datenbank von bildgebenden Einheiten, um die betreffende Einheit zu detektieren. Gemäß einer anderen Ausführungsform durchsucht das Photogrammetrieprogramm 112 die Einheit nach den Kameraparametern. Gemäß noch einer anderen Ausführungsform empfängt das Photogrammetrieprogramm 112 die Einheitenparameter von dem Benutzer.
Das Photogrammetrieprogramm 112 prüft, ob die Kamera über eine ausreichende fotografische Qualität verfügt (Entscheidungsblock 306). Gemäß einer Ausführungsform prüft das Photogrammetrieprogramm 112, ob die in Schritt 304 detektierte Kamera einen Schwellenwert der Qualitätsanforderungen an Fotos zum Einstellen des Algorithmus zum Erstellen des 3D-Modells erfüllt. Gemäß einer Ausführungsform können als Qualitätsanforderungen an Fotos die Bildauflösung, die Bildschärfe, der Dynamikbereich, die Verzerrung und Bildrauschen infrage kommen. Gemäß einer anderen Ausführungsform können als Qualitätsanforderungen an Fotos die Lichtempfindlichkeit des Bildsensors, der Winkel zwischen der Kamera und dem Objekt eine Rolle spielen und ob der Hintergrund einfarbig ist (d.h., ein einfarbiger Hintergrund erschwert das Detektieren von Kanten).
Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass die Kamera einen Schwellenwert für die Qualitätsanforderungen erfüllt („Ja“-Zweig, Entscheidungsblock 306), geht das Photogrammetrieprogramm 112 weiter zu Schritt 310.
Das Photogrammetrieprogramm 112 teilt dem Benutzer mit, dass die Kamera ungeeignet ist (Schritt 308). Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass die Kamera einen Schwellenwert für die Qualitätsanforderungen nicht erfüllt („Nein“-Zweig, Entscheidungsblock 306), teilt das Photogrammetrieprogramm 112 dem Benutzer mit, dass die Kamera für das Erzeugen einer Aufzeichnung eines digitalen Zwillings für ein mehrdimensionales Modell unter Verwendung der Photogrammetrie nicht geeignet ist. Dann wird das Photogrammetrieprogramm 112 für diesen Zyklus beendet.
Das Photogrammetrieprogramm 112 empfängt Fotos (Schritt 310). Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass die Kamera einen Schwellenwert für die Qualitätsanforderungen erfüllt („Ja“-Zweig, Entscheidungsblock 306), empfängt das Photogrammetrieprogramm 112 eine Reihe von 2D-Fotos von der Kamera in der Einheit. Gemäß einer Ausführungsform empfängt das Photogrammetrieprogramm 112 Fotos im JPEG-Format (Joint Photographic Experts Group). Gemäß anderen Ausführungsformen kann das Photogrammetrieprogramm 112 Bilder im Kamera-Rohformat, im TIFF-Format (Tagged Image File Format) oder einem beliebigen anderen dem Fachmann bekannten digitalen Format für 2D-Fotos empfangen. Gemäß einer Ausführungsform werden die Fotos über ein Netzwerk, z.B. das über Netzwerk 112 von 1, empfangen.
Das Photogrammetrieprogramm 112 beginnt mit dem Erstellen eines 3D-Modells (Schritt 312). Gemäß einer Ausführungsform beginnt das Photogrammetrieprogramm 112 mit dem Erstellen eines 3D-Modells unter Verwendung der in Schritt 310 empfangenen 2D-Fotos. Gemäß einer Ausführungsform überprüft das Photogrammetrieprogramm 112 die Vollständigkeit und Genauigkeit des erstellten Modells auf der Grundlage der eingegebenen Fotos. Gemäß einer Ausführungsform beginnt der SIFT-Algorithmus (skaleninvariante Merkmalstransformation) mit dem Erstellen des 3D-Modells. Gemäß einer anderen Ausführungsform verwendet das Photogrammetrieprogramm 112 den GLOH-Algorithmus (Gradientenlage- und -Ausrichtungs-Histogramm), um mit dem Erstellen des 3D-Modells zu beginnen. Gemäß noch einer anderen Ausführungsform verwendet das Photogrammetrieprogramm 112 einen beliebigen dem Fachmann bekannten 2D- zu 3D-Umwandlungs-Algorithmus, um mit dem Erstellen des 3D-Modells zu beginnen.
Das Photogrammetrieprogramm 112 prüft, ob es unvollständige Bereiche des Modells gibt (Entscheidungsblock 314). Gemäß einer Ausführungsform prüft das Photogrammetrieprogramm 112, ob es Bereiche des 3D-Modells gibt, die unvollständig oder ungenau sind. Gemäß einer Ausführungsform ermittelt das Photogrammetrieprogramm 112 die Vollständigkeit und Genauigkeit des Modells auf der Grundlage von Unterschieden zwischen den Fotos. Wenn das Photogrammetrieprogramm 112 zum Beispiel festlegt, einen Ausschnitt von einem ankommenden Foto in einen Bereich des Modells einzufügen, muss ein anderes Foto aus diesem Bereich und unter diesem Winkel mit den vorhergehenden Berechnungen verglichen werden. Gemäß einer Ausführungsform ermittelt das Photogrammetrieprogramm 112 die Vollständigkeit und Genauigkeit des Modells auf der Grundlage des 3D-Faktors. Möglicherweise sind manche Modelle aufgrund der Anordnung in der Maschine nur in der Lage, 70 % des Modells zu erfassen (z.B. können Fotos nur von der Vorderseite und den Seiten eines Rades aufgenommen werden, da die Rückseite mit der Achse verbunden ist). Beim Vergleichen des 3D-Modells mit dem digitalen Zwilling wird in diesem Beispiel beim Ermitteln der globalen Vollständigkeit des 3D-Modells berücksichtigt, dass das Modell nur 70 % erfassen konnte.
Das Photogrammetrieprogramm 112 weist den Benutzer auf unvollständige Bereiche hin (Schritt 316). Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass es unvollständige oder ungenaue Bereiche des 3D-Modells gibt („Ja“-Zweig, Entscheidungsblock 314), weist das Photogrammetrieprogramm 112 den Benutzer auf die unvollständigen Bereiche hin, um weitere Fotos aufzunehmen. Gemäß einer Ausführungsform weist das Photogrammetrieprogramm 112 den Benutzer auf die unvollständigen Bereiche hin, um weitere Fotos aufzunehmen, indem es Bewegungsanweisungen an die Benutzereinheit sendet. Das Photogrammetrieprogramm 112 kann zum Beispiel einen Pfeil an den Bildschirm der Benutzereinheit senden, um dem Benutzer die Richtung anzuzeigen, in der er sich zum Aufnehmen weiterer Bilder bewegen sollte. Gemäß einer anderen Ausführungsform weist das Photogrammetrieprogramm 112 den Benutzer auf die unvollständigen Bereiche hin, um weitere Fotos aufzunehmen, indem es eines der früheren Fotos an den Benutzer sendet, in dem die unvollständigen Bereiche hervorgehoben sind. Gemäß noch einer anderen Ausführungsform weist das Photogrammetrieprogramm 112 den Benutzer auf die unvollständigen Bereiche hin, um weitere Fotos aufzunehmen, indem es beliebige geeignete Benachrichtigungsverfahren verwendet, die dem Fachmann bekannt sein dürften.
Das Photogrammetrieprogramm 112 empfängt eine Ausführungsnachricht von dem Benutzer (Schritt 318). Wenn der Benutzer das Aufnehmen der Fotos des Objekts beendet hat, empfängt das Photogrammetrieprogramm 1112 gemäß einer Ausführungsform eine Ausführungsnachricht von dem Benutzer. Gemäß einer Ausführungsform zeigt diese Nachricht dem Photogrammetrieprogramm 112 an, dass keine weiteren Fotos empfangen werden und somit das Erstellen des 3D-Modells abgeschlossen ist.
Das Photogrammetrieprogramm 112 prüft, ob das Modell mit einem digitalen Zwilling übereinstimmt (Entscheidungsblock 320). Gemäß einer Ausführungsform prüft das Photogrammetrieprogramm 112, ob das erstellte 3D-Modell mit einem digitalen Zwilling übereinstimmt, durch Vergleichen des 3D-Modells mit allen digitalen Zwillingen in einer Ablage. Gemäß einer Ausführungsform prüft das Photogrammetrieprogramm 112, ob das erstellte 3D-Modell mit einem digitalen Zwilling übereinstimmt, auf der Grundlage der Modelleigenschaften und der Metadaten der Fotos. Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass das erstellte 3D-Modell mit einem digitalen Zwilling nicht übereinstimmt, („Nein“-Zweig, Entscheidungsblock 320), geht das Photogrammetrieprogramm 112 weiter zu Schritt 324, um eine neue Aufzeichnung zu erzeugen.
Gemäß einer Ausführungsform prüft das Photogrammetrieprogramm 112, ob das erstellte 3D-Modell mit einem digitalen Zwilling übereinstimmt, auf der Grundlage der Verwendung der 3D-Punktvektoren und durch Vergleichen der nächstgelegenen Punkte anderer digitaler Zwillinge auf der Grundlage jedes Fotos. Zum Beispiel wird ein Foto mit einem erzeugten Satz 3D-Punkte empfangen und die Datenbank nach der bestmöglichen Übereinstimmung durchsucht. Gemäß einer Ausführungsform wird der Prozess während der weiteren Erstellung des Modells fortgesetzt.
Das Photogrammetrieprogramm 112 prüft, ob der Benutzer eine Übereinstimmung bestätigt (Entscheidungsblock 322). Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass das erstellte 3D-Modell mit einem digitalen Zwilling nicht übereinstimmt („Ja“-Zweig, Entscheidungsblock 320), prüft das Photogrammetrieprogramm 112, ob der Benutzer eine Übereinstimmung bestätigt. Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass der Benutzer keine Übereinstimmung bestätigt („Nein“-Zweig, Entscheidungsblock 322), geht das Photogrammetrieprogramm 112 weiter zu Schritt 324. Gemäß einer Ausführungsform fordert das Photogrammetrieprogramm 112 vom Benutzer eine Bestätigung an, dass das erstellte 3D-Modell und der digitale Zwilling aus der Ablage übereinstimmen. Gemäß einer Ausführungsform sendet das Photogrammetrieprogramm 112 eine Kopie des digitalen Zwillings an den Benutzer, damit dieser die Übereinstimmung zwischen dem erstellten 3D-Modell und dem digitalen Zwilling aus der Ablage bestätigen kann. Gemäß einer anderen Ausführungsform sendet das Photogrammetrieprogramm 112 einen Link der Kopie des digitalen Zwillings an die Benutzereinheit, damit der Benutzer den digitalen Zwilling betrachten und die Übereinstimmung zwischen dem erstellten 3D-Modell und dem digitalen Zwilling aus der Ablage bestätigen kann. Dann wird das Photogrammetrieprogramm 112 für diesen Zyklus beendet.
Das Photogrammetrieprogramm 112 erzeugt eine neue Aufzeichnung des digitalen Zwillings (Schritt 324). Wenn das Photogrammetrieprogramm 112 gemäß einer Ausführungsform feststellt, dass das erstellte 3D-Modell mit einem digitalen Zwilling nicht übereinstimmt („Nein“-Zweig, Entscheidungsblock 320) oder der Benutzer keine Übereinstimmung bestätigt („Nein“-Zweig, Entscheidungsblock 322), erzeugt das Photogrammetrieprogramm 112 aus dem erstellten 3D-Modell einen neuen digitalen Zwilling. Gemäß einer Ausführungsform erzeugt das Photogrammetrieprogramm 112 den physischen Teil des digitalen Zwillings aus dem 3D-Modell. Gemäß einer Ausführungsform erzeugt das Photogrammetrieprogramm 112 dann eine neue Aufzeichnung in der Datenablage und speichert den neuen digitalen Zwilling in dem Datensatz. Gemäß einer Ausführungsform sammelt das Photogrammetrieprogramm 112 dann weitere Daten über das Objekt vom Benutzer, zum Beispiel loT-Sensordaten, Betriebsdaten, Simulationsdaten usw. Gemäß einer Ausführungsform fügt das Photogrammetrieprogramm 112 die zusätzlichen Daten dann in den digitalen Zwilling ein. Dann wird das Photogrammetrieprogramm 112 für diesen Zyklus beendet.
4 ist ein Blockschaltbild, das Komponenten der Datenverarbeitungseinheit 110 zeigt, die für das Photogrammetrieprogramm 112 gemäß mindestens einer Ausführungsform der Erfindung geeignet sind. 4 zeigt einen Computer 400, einen oder mehrere Prozessoren 404 (darunter ein oder mehrere Computerprozessoren), ein Datenübertragungsnetz 402, einen Arbeitsspeicher 406 mit einem Direktzugriffsspeicher (RAM) 416 und einem Cache 418, einen permanenten Speicher 408, eine Datenübertragungseinheit 412, E-/A-Schnittstellen 414, einen Bildschirm 422 und externe Einheiten 420. Es sollte einsichtig sein, dass 4 nur eine Veranschaulichung einer Ausführungsform darstellt und nicht als Einschränkung in Bezug auf die Umgebungen zu verstehen ist, in denen verschiedene Ausführungsformen realisiert werden können. Ein Fachmann kann an der gezeigten Umgebung zahlreiche Änderungen vornehmen.
Gezeigt ist, dass der Computer 400 über das Datenübertragungsnetz 402 wirksam wird, das Datenübertragungen zwischen dem einen oder mehreren Computerprozessoren 404, dem Arbeitsspeicher 406, dem permanenten Speicher 408, der Datenübertragungseinheit 412 und einer oder mehreren Eingabe-/Ausgabe- (E-/A-) Schnittstellen 414 bereitstellt. Das Datenübertragungsnetz 402 kann mittels einer beliebigen Architektur implementiert werden, die zum Weiterleiten von Daten oder Steuerinformationen zwischen den Prozessoren 404 (z.B. Mikroprozessoren, Datenübertragungs-Prozessoren und Netzwerk-Prozessoren), dem Arbeitsspeicher 406, den externen Einheiten 420 und anderen Hardwarekomponenten innerhalb eines Systems geeignet ist. Das Datenübertragungsnetz 402 kann zum Beispiel mit einem oder mehreren Bussen implementiert werden.
Bei dem Arbeitsspeicher 406 und dem dauerhaften Speicher 408 handelt es sich um durch einen Computer lesbare Speichermedien. Bei der gezeigten Ausführungsform weist der Arbeitsspeicher 406 einen RAM 416 und einen Cache 418 auf. Allgemein kann der Arbeitsspeicher 406 beliebige geeignete flüchtige oder nichtflüchtige, durch einen Computer lesbare Speichermedien umfassen. Bei dem Cache 418 handelt es sich um einen schnellen Speicher, der die Leistungsfähigkeit des einen oder mehrerer Prozessoren 404 durch Aufbewahren vom RAM 416 erst kürzlich aufgerufener und nahezu kürzlich aufgerufener Daten verbessert.
Programmanweisungen für das Photogrammetrieprogramm 112 können in dem dauerhaften Speicher 408 oder allgemein in allen durch einen Computer lesbaren Speichermedien gespeichert werden, um über einen oder mehrere Speicher des Arbeitsspeichers 406 durch einen oder mehrere der entsprechenden Computerprozessoren 404 ausgeführt zu werden. Bei dem dauerhaften Speicher 408 kann es sich um ein magnetisches Festplattenlaufwerk, eine Halbleiter-Speicherplatte, eine Halbleiter-Speichereinheit, einen Nur-Lese-Speicher (ROM), einen elektronisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), einen Flash-Speicher oder beliebige andere durch einen Computer lesbare Speichermedien handeln, die in der Lage sind, Programmanweisungen oder digitale Informationen zu speichern.
Die durch den dauerhaften Speicher 408 verwendeten Medien können auch austauschbar sein. Zum Beispiel kann für den dauerhaften Speicher 408 ein austauschbares Festplattenlaufwerk verwendet werden. Als weitere Beispiele kommen optische und magnetische Platten, USB-Sticks und Smartcards infrage, die in ein Laufwerk zum Übertragen auf ein anderes durch einen Computer lesbares Speichermedium gesteckt werden, das ebenfalls Teil des dauerhaften Speichers 408 ist.
Die Datenübertragungen zu anderen Datenverarbeitungssystemen oder -einheiten erfolgen bei diesen Beispielen über die Datenübertragungseinheit 412. Bei diesen Beispielen umfasst die Datenübertragungseinheit 412 eine oder mehrere Netzwerk-Schnittstellenkarten. Die Datenübertragungseinheit 412 kann Datenübertragungen durch die Verwendung von physischen und/oder drahtlosen Datenübertragungsverbindungen bereitstellen. Im Zusammenhang mit einigen Ausführungsformen der vorliegenden Erfindung kann die Quelle der verschiedenen Eingabedaten physisch vom Computer 400 entfernt sein, sodass die Eingabedaten über die Datenübertragungseinheit 412 empfangen und die Ausgabedaten ebenso über die Datenübertragungseinheit 412 übertragen werden können.
Die eine oder mehrere E-/A-Schnittstellen 414 ermöglichen ein Eingeben und Ausgeben von Daten für andere mit dem Computer 400 verbundene Einheiten. Die eine oder mehrere E-/A-Schnittstellen können zum Beispiel eine Verbindung mit einer oder mehreren externen Einheiten 420 wie mit einer Tastatur, einem Tastenfeld, einem berührungsempfindlichen Bildschirm, einem Mikrofon, einer digitalen Kamera und/oder einer anderen geeigneten Eingabeeinheit bereitstellen. Die eine oder mehrere externe Einheiten 420 können auch entnehmbare, durch einen Computer lesbare Speichermedien wie beispielsweise USB-Sticks, entnehmbare optische oder magnetische Platten und Speicherkarten umfassen. Zum Anwenden von Ausführungsformen der vorliegenden Erfindung genutzte Software und Daten, z.B. das Photogrammetrieprogramm 112, können auf solchen entnehmbaren, durch einen Computer lesbaren Speichermedien gespeichert und über die eine oder mehrere E-/A-Schnittstellen 414 auf den permanenten Speicher 408 geladen werden. Die eine oder mehrere E-/A-Schnittstellen 414 sind auch mit einem Bildschirm 422 verbunden.
Der Bildschirm 422 stellt einen Mechanismus zum Anzeigen von Daten für einen Benutzer bereit und kann zum Beispiel aus einem Computermonitor bestehen. Der Bildschirm 422 kann auch als berührungsempfindlicher Bildschirm fungieren, beispielsweise als Bildschirm eines Tablet-Computers.
Die hierin beschriebenen Programme werden auf der Grundlage der Anwendung ausgewählt, für die sie gemäß einer bestimmten Ausführungsform der Erfindung eingesetzt werden. Es sollte jedoch einsichtig sein, dass jede einzelne hierin verwendete Programmbezeichnung nur der Zweckmäßigkeit halber gewählt wurde und die Erfindung demgemäß nicht ausschließlich auf eine bestimmte Anwendung beschränkt sein soll, die durch eine solche Bezeichnung gekennzeichnet und/oder nahegelegt wird.
Bei der vorliegenden Erfindung kann es sich um ein System, ein Verfahren und/oder ein Computerprogrammprodukt handeln. Das Computerprogrammprodukt kann ein durch einen Computer lesbares Speichermedium (oder -medien) mit durch einen Computer lesbaren Programmanweisungen darauf umfassen, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch ein System zur Ausführung von Anweisungen behalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine auswechselbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein auswechselbarer Kompaktspeicherplatte-Nur-Lese-Speicher (CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch kodierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. ein Lichtwellenleiterkabel durchlaufende Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs-/Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Leitwegrechner, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server umfassen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, darunter objektorientierte Programmiersprachen wie Smalltalk, C++ o.ä. sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem fernen Computer oder vollständig auf dem fernen Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetzwerk (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwendung eines Internet-Dienstanbieters). In einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, vor Ort programmierbare Gatter-Anordnungen (FPGA, field programmable gate arrays) oder programmierbare Logikanordnungen (PLA, programmable logic arrays) die durch einen Computer lesbaren Programmanweisungen ausführen, indem sie Zustandsinformationen der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaltbilder bzw. Schaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaltbildern bzw. Schaubildern mittels durch einen Computer lesbare Programmanweisungen ausgeführt werden können.
Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen ein Mittel zur Umsetzung der in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, so dass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, ein Herstellungsprodukt umfasst, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken des Ablaufplans und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktion/Schritts umsetzen.
Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um das Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der anderen programmierbaren Vorrichtung oder anderen Einheit zu verursachen, um einen auf einem Computer ausgeführten Prozess zu erzeugen, so dass die auf dem Computer, einer anderen programmierbaren Vorrichtung oder einer anderen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken der Ablaufpläne und/oder der Blockschaltbilder bzw. Schaubilder festgelegten Funktionen/Schritte umsetzen.
Die Ablaufpläne und die Blockschaltbilder bzw. Schaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in den Ablaufplänen oder Blockschaltbildern bzw. Schaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zur Ausführung der festgelegten logischen Funktion(en) umfassen. In einigen alternativen Ausführungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt stattfinden. Zwei nacheinander gezeigte Blöcke können zum Beispiel in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist ferner anzumerken, dass jeder Block der Blockschaltbilder bzw. Schaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaltbildern bzw. Schaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.
Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung sind zur Veranschaulichung vorgelegt worden, erheben jedoch nicht den Anspruch auf Vollständigkeit oder Einschränkung auf die offenbarten Ausführungsformen. Dem Fachmann dürften viele Modifikationen und Varianten offensichtlich sein, ohne vom Schutzumfang der Erfindung abzuweichen. Die hierin verwendeten Begriffe wurden gewählt, um die Grundgedanken der Erfindung, die praktische Anwendung oder technische Verbesserung gegenüber handelsüblichen Technologien bestmöglich zu erläutern oder anderen Fachleuten das Verständnis der hierin offenbarten Ausführungsformen zu ermöglichen.

Claims

Computergestütztes Verfahren zum Erstellen eines Modells, wobei das computergestützte Verfahren aufweist: Empfangen einer Mehrzahl Bilder eines Objekts durch einen oder mehrere Computerprozessoren von einer oder mehreren mobilen Einheiten; Erstellen eines 3D-Modells des Objekts durch den einen oder mehrere Computerprozessoren aus der Mehrzahl Bilder; und Prüfen durch den einen oder mehrere Computerprozessoren, ob das 3D-Modell mit der Aufzeichnung eines digitalen Zwillings übereinstimmt.
Computergestütztes Verfahren nach Anspruch 1, wobei das Prüfen, ob das 3D-Modell des Objekts mit der Aufzeichnung des digitalen Zwillings übereinstimmt, ferner aufweist: Empfangen einer Bestätigung durch den einen oder mehrere Computerprozessoren von einem Benutzer, dass das Objekt mit der Aufzeichnung des digitalen Zwillings übereinstimmt; und Zuordnen des 3D-Modells des Objekts zu der Aufzeichnung des digitalen Zwillings durch den einen oder mehrere Computerprozessoren.
Computergestütztes Verfahren nach Anspruch 1, das ferner als Reaktion auf ein Feststellen, dass das 3D-Modell unvollständig ist, ein Benachrichtigen eines Benutzers der mobilen Einheit durch den einen oder mehrere Computerprozessoren über einen oder mehrere Bereiche des Objekts aufweist, für die weitere Bilder erforderlich sind.
Computergestütztes Verfahren nach Anspruch 1, wobei als Reaktion darauf, dass das 3D-Modell nicht mit der Aufzeichnung des digitalen Zwillings übereinstimmt, durch den einen oder mehrere Computerprozessoren eine neue Aufzeichnung des digitalen Zwillings für das 3D-Modell erzeugt wird.
Computergestütztes Verfahren nach Anspruch 1, das ferner ein Verwenden einer oder mehrerer Photogrammetrietechniken durch den einen oder mehrere Computerprozessoren aufweist, um das 3D-Modell aus der Mehrzahl Bilder zu erstellen.
Computergestütztes Verfahren nach Anspruch 1, wobei das 3D-Modell unveränderbar ist.
Computergestütztes Verfahren nach Anspruch 1, wobei das Empfangen der Mehrzahl Bilder des Objekts von der einen oder mehreren mobilen Einheiten ferner ein Empfangen einer Benachrichtigung von einem Benutzer durch den einen oder mehrere Computerprozessoren über die Vervollständigung der Mehrzahl Bilder aufweist.
Computerprogrammprodukt zum Erstellen eines Modells, wobei das Computerprogrammprodukt aufweist: eine oder mehrere durch einen Computer lesbare Speichereinheiten und Programmanweisungen, die auf der einen oder mehreren durch einen Computer lesbaren Speichereinheiten gespeichert sind, wobei die gespeicherten Programmanweisungen Anweisungen aufweisen, um: eine Mehrzahl Bildes eines Objekts von einer oder mehreren mobilen Einheiten zu empfangen; aus der Mehrzahl Bilder ein 3D-Modell des Objekts zu erstellen; und zu ermitteln, ob das 3D-Modell mit der Aufzeichnung des digitalen Zwillings übereinstimmt.
Computerprogrammprodukt nach Anspruch 8, wobei das Ermitteln, ob das 3D-Modell des Objekts mit der Aufzeichnung des digitalen Zwillings übereinstimmt, ferner eine oder mehrere der folgenden Programmanweisungen aufweist, die auf dem einen oder mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, um: eine Bestätigung von einem Benutzer zu empfangen, dass das Objekt mit der Aufzeichnung des digitalen Zwillings übereinstimmt; und das 3D-Modell der Aufzeichnung des digitalen Zwillings zuzuordnen.
Computerprogrammprodukt nach Anspruch 8, das ferner als Reaktion auf ein Feststellen, dass das 3D-Modell unvollständig ist, ein Benachrichtigen eines Benutzers der mobilen Einheit über einen oder mehrere Bereiche des Objekts aufweist, für die weitere Bilder erforderlich sind.
Computerprogrammprodukt nach Anspruch 8, wobei als Reaktion darauf, dass das 3D-Modell des Objekts nicht mit der Aufzeichnung des digitalen Zwillings übereinstimmt, eine neue Aufzeichnung des digitalen Zwillings für das 3D-Modell erzeugt wird.
Computerprogrammprodukt nach Anspruch 8, das ferner ein Verwenden einer oder mehrerer Photogrammetrietechniken zum Erstellen des 3D-Modells aus der Mehrzahl Bilder aufweist.
Computerprogrammprodukt nach Anspruch 8, wobei das 3D-Modell unveränderbar ist.
Computerprogrammprodukt nach Anspruch 8, wobei das Empfangen der Mehrzahl Bilder des Objekts von der einen oder mehreren mobilen Einheiten ferner ein Empfangen einer Benachrichtigung von einem Benutzer über die Vervollständigung der Mehrzahl Bilder aufweist.
Computersystem zum Erstellen eines Modells, wobei das Computersystem aufweist: einen oder mehrere Computerprozessoren; ein oder mehrere durch einen Computer lesbare Speichermedien; und auf dem einen oder mehreren durch einen Computer lesbaren Speichermedien gespeicherte Programmanweisungen zur Ausführung durch mindestens einen des einen oder mehrerer Computerprozessoren, wobei die gespeicherten Programmanweisungen Anweisungen aufweisen, um: eine Mehrzahl Bilder eines Objekts von einer oder mehreren mobilen Einheiten zu empfangen; aus der Mehrzahl Bilder ein 3D-Modell des Objekts zu erstellen; und zu ermitteln, ob das 3D-Modell des Objekts mit einer Aufzeichnung des digitalen Zwillings übereinstimmt.
Computersystem nach Anspruch 15, wobei das Ermitteln, ob das 3D-Modell des Objekts mit der Aufzeichnung des digitalen Zwillings übereinstimmt, ferner eine oder mehrere der folgenden auf dem einen oder mehreren durch einen Computer lesbaren Speichermedien gespeicherten Programmanweisungen aufweist, um: eine Bestätigung von einem Benutzer zu empfangen, dass das Objekt mit der Aufzeichnung des digitalen Zwillings übereinstimmt; und das 3D-Modell des Objekts der Aufzeichnung des digitalen Zwillings zuzuordnen.
Computersystem nach Anspruch 15, das ferner als Reaktion auf ein Feststellen, dass das 3D-Modell unvollständig ist, ein Benachrichtigen eines Benutzers der mobilen Einheit über einen oder mehrere Bereiche des Objekts aufweist, für die weitere Bilder erforderlich sind.
Computersystem nach Anspruch 15, wobei als Reaktion darauf, dass das 3D-Modell des Objekts nicht mit der Aufzeichnung des digitalen Zwillings übereinstimmt, für das 3D-Modell eine neue Aufzeichnung des digitalen Zwillings erzeugt wird.
Computersystem nach Anspruch 15, das ferner ein Verwenden einer oder mehrerer Photogrammetrietechniken zum Erstellen des 3D-Modells aus der Mehrzahl Bilder aufweist.
Computersystem nach Anspruch 15, wobei das 3D-Modell unveränderbar ist.