-
Die vorliegende Offenbarung betrifft ein computer-implementiertes Verfahren, das ausgestaltet ist, um eine Korrektheit eines Zusammenbaus zu prüfen. Ferner wird eine Vorrichtung zur Datenverarbeitung bereitgestellt, die ausgestaltet ist, um das Verfahren zumindest teilweise auszuführen. Ferner wird ein Computerprogramm bereitgestellt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen. Ferner wird ein computerlesbares Medium bereitgestellt, das Befehle umfasst, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen.
-
Die Erörterung zum Stand der Technik in der Beschreibung ist keinesfalls als Eingeständnis zu werten, dass dieser Stand der Technik allgemein bekannt ist oder zum allgemeinen Fachwissen auf dem technischen Gebiet der vorliegenden Offenbarung gehört.
-
Bei einem Montageverfahren, insbesondere eines komplexen Zusammenbaus, wie es beispielsweise im Maschinen- und Anlagenbau häufig der Fall ist, kann es zu Fehlern bei der Montage der den Zusammenbau bildenden Komponenten kommen. Ein solcher Fehler kann je nach Anwendungsfall und Gerät zu Produktionsausfällen und, unter anderem nach Auslieferung des Zusammenbaus an einen Kunden, einen erheblichen Nachbearbeitungsaufwand für einen Hersteller des Zusammenbaus nach sich ziehen.
-
Herkömmlich werden daher Zusammenbauten manuell von einem oder mehreren menschlichen Qualitätsprüfern bewertet (sog. engl. end-of-line test), um die Qualität der Montage dahingehend zu beurteilen, ob die richtigen bzw. korrekten Komponenten montiert wurden, ob die montierten Komponenten vollständig sind (d. h. ob alle Komponenten montiert wurden) und ob eine Ausrichtung aller beteiligten Komponenten, z. B. zueinander, korrekt ist. Ein solches manuelles Verfahren ist zeitaufwendig und kann fehleranfällig sein.
-
Daher sind im Stand der Technik automatisierte Lösungen zur Überprüfung der Korrektheit eines Zusammenbaus beschrieben.
-
In diesem Zusammenhang sei auf
US 9,187,188 B2 und
US 10,242,438 B2 verwiesen.
-
US 9,187,188 B2 betrifft ein Verfahren zur Inspektion eines Zusammenbaus von Komponenten in einer Flugzeugstruktur. Das Verfahren umfasst ein Erfassen einer visuellen Darstellung von mindestens einem Teil der Struktur, der eine Vielzahl von Komponenten umfasst, ein Speichern einer elektronischen Datei der visuellen Darstellung auf einem computerlesbaren Medium und ein Zugreifen auf ein dreidimensionales Modell der Struktur, wobei das dreidimensionale Modell Informationen über eine richtige bzw. gewünschte Position jeder der Vielzahl von Komponenten innerhalb der Struktur enthält. Ferner umfasst das Verfahren ein Vergleichen der erfassten visuellen Darstellung mit dem dreidimensionalen Entwurf unter Verwendung eines Computers durch grafisches Überlagern eines Bildes, das sich auf die visuelle Darstellung bezieht, mit einem zweiten Bild, das sich auf den dreidimensionalen Entwurf bezieht, um zu bestimmen, ob sich jede der mehreren Komponenten, die von der visuellen Darstellung umfasst sind, in einer richtigen Position in der Struktur befindet, wie durch eine Position jeder entsprechenden Komponente bestimmt, die in dem dreidimensionalen Entwurf umfasst ist. Das Verfahren umfasst letztlich ein Erzeugen einer Rückmeldung, die ein Ergebnis des Vergleichs angibt.
-
Die
US 10,242,438 B2 beschreibt ein Verfahren zum Bestimmen, ob eine Montage eines Zusammenbaus erfolgreich war oder nicht, sowie, als Teil dieses Verfahren, ein Verfahren zum Ermitteln von Position und Orientierung von Bauteilen des Zusammenbaus. Das Verfahren zum Bestimmen, ob eine Montage eines Zusammenbaus erfolgreich war oder nicht, umfasst die nachfolgend beschriebenen drei Schritte. In einem ersten Schritt erfolgt ein Aufnehmen eines Graustufenbilds und eines ränge image (d. h. ein Bild mit Tiefeninformationen) des Zusammenbaus. In einem zweiten Schritt erfolgt ein Ermitteln der Position und der Orientierung der Bauteile des Zusammenbaus basierend auf den beiden aufgenommen Bildern sowie einem 3D-Modell des Zusammenbaus. In einem dritten Schritt erfolgt das Bestimmen, ob die Montage des Zusammenbaus erfolgreich war oder nicht, basierend auf der bestimmten Position und Orientierung. In dem zweiten Schritt werden zum Ermitteln von Position und Orientierung der Bauteile des Zusammenbaus aus dem aufgenommen Graustufenbild extrahierte Kanten sowie in dem ränge image enthaltene Tiefenpunkte iterativ mit dem 3D Modell des Zusammenbaus bestmöglich in Übereinstimmung gebracht, sodass basierend darauf eine Abweichung der Form des Zusammenbaus von dem 3D Modell bestimmt, sodass über einen Vergleich der bestimmten Abweichung mit einem Grenzwert in dem nachfolgenden dritten Schritt des Verfahrens bestimmt werden kann, ob die Montage eines Zusammenbaus erfolgreich war oder nicht.
-
Ein Nachteil des Vorgehens gemäß der
US 9,187,188 B2 als auch der
US 10,242,438 B2 ist, dass der Zusammenbau gemäß der Lehre beider nur aus einer Perspektive betrachtet werden kann, sodass dieses beschriebene Vorgehen bei komplexen Zusammenbauten, wie es z. B. im Maschinen- und Anlagenbau zumeist der Fall ist, insofern an seine Grenzen stößt, als dass das Verfahren für solche komplexen Zusammenbauten für eine Vielzahl verschiedener Perspektiven durchzuführen wäre, was wiederum sehr zeit- und rechenintensiv ist. Da beide Verfahren perspektivische Projektionen auf 2D-Bildebene nutzen, welche die 3D-Realität nicht vollständig abbilden, müssen Inspektionsposen, die keine schnelle oder intuitive Nutzung oder Implementierung erlauben, typischerweise vordefiniert werden, damit eine Anzahl an benötigten Perspektiven für die Inspektion gering gehalten werden kann.
-
Die
DE10 2020 134 680 A1 betrifft ein Verfahren zur Qualitätsprüfung eines Objekts einer realen Umgebung unter Verwendung einer Kamera, einer optischen Darstellungseinrichtung und einer Verarbeitungsvorrichtung. Das Verfahren weist die folgenden Schritte auf: Definition einer Prüfgeometrie und einer Referenzgeometrie innerhalb eines computergestützten Datenmodells, Definition einer Prüfpose, in der die Kamera von einem Benutzer für eine durchzuführende Qualitätsprüfung des zu prüfenden Objekts als Soll-Positionierung zu platzieren ist, und Visualisierung der Prüfpose auf der optischen Darstellungseinrichtung. In einer zweiten Phase wird wenigstens eine Abbildung der realen Umgebung durch die Kamera erfasst, deren Pose sich in einem Bereich befindet, der die Prüfpose umfasst, und die Prüfgeometrie und Referenzgeometrie in der Abbildung getrackt. Weiterhin wird eine Pose der getrackten Prüfgeometrie in Relation zur Referenzgeometrie sowie wenigstens ein Parameter auf Basis dessen bestimmt, wie die Pose der getrackten Prüfgeometrie zu einer im Datenmodell definierten Soll-Pose der Prüfgeometrie in Relation ist. Ferner wird ein Qualitätsindikator auf Basis des wenigstens einen Parameters bestimmt und über eine Mensch-Maschine-Schnittstelle an den Benutzer ausgegeben.
-
Die Lehre der
DE10 2020 134 680 A1 benötigt demnach, ebenso wie die
US 9,187,188 B2 als auch der
US 10,242,438 B2 , in Abhängigkeit des konkret zu prüfenden Bauteils vordefinierte Beobachtungsperspektiven bzw. Inspektionsposen, was ein Einsatzgebiet des Verfahrens limitiert bzw. einen Einsatz davon unflexibel macht.
-
Vor dem Hintergrund dieses Standes der Technik kann eine Aufgabe der vorliegenden Offenbarung darin gesehen werden, eine Vorrichtung und/oder ein Verfahren anzugeben, welche jeweils geeignet sind, den Stand der Technik zu bereichern.
-
Eine konkrete Ausgestaltung der Offenbarung kann die Aufgabe lösen, eine Möglichkeit zur automatisierten Überprüfung einer Korrektheit eines komplexen Zusammenbaus, wie es beispielsweise im Maschinen- und Anlagenbau der Fall ist, bereitzustellen.
-
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die nebengeordneten Ansprüche und Unteransprüche haben jeweils und in Kombination optionale Weiterbildungen der Offenbarung zum Inhalt.
-
Danach wird die Aufgabe durch ein computer-implementiertes Verfahren gelöst, das ausgestaltet ist, um eine Korrektheit eines Zusammenbaus zu prüfen. Das Verfahren umfasst ein Bestimmen eines Ist-3D-Modells des Zusammenbaus basierend auf Bilddaten des Zusammenbaus, und ein Vergleichen des bestimmten Ist-3D-Modells mit einem Soll-3D-Modell des Zusammenbaus zur Prüfung der Korrektheit des Zusammenbaus.
-
Unter einem computer-implementierten Verfahren kann ein Verfahren verstanden werden, bei dem ein Schritt, mehrere Schritte oder alle Schritte des Verfahrens zumindest teilweise von einer Vorrichtung zur Datenverarbeitung bzw. einem Computer ausgeführt bzw. durchgeführt wird bzw. werden.
-
Es wird folglich eine automatisierte Lösung zum Prüfen eines Zusammenbaus vorgeschlagen. Denkbar ist dabei, dass der betreffende Zusammenbau ebenfalls automatisiert und/oder manuell, z. B. unter Nutzung eines mobilen Geräts, gescannt wird und automatisiert eine Rückmeldung über die Qualität der Montage, z. B. über ein Display des mobilen Endgeräts, ausgegeben werden kann.
-
Die Bilddaten stellen zunächst 2D bzw. 2,5D Informationen betreffend den Zusammenbau dar, welche dann in 3D Informationen umgewandelt werden. Denkbar ist, dass die Bilddaten Tiefen-Informationen (z. B. als Tiefenkarte, engl. depth map) und/oder Bilder (z. B. RGB-Bilder) umfassen. Beide können aus einer oder mehreren Perspektiven erfasst bzw. aufgenommen werden. Tiefenbilder (auch mit ungenauer Tiefenauflösung) können uneindeutige Szenen und/oder Tiefen-Skalierungs-Uneindeutigkeit bei einer Verwendung einer Einzelkamera auflösen. Eine synchrone Aufnahme von Tiefenbildern mit Bilddaten kann daher eine Perspektivenschätzung einer (mobilen) Kamera ergänzen, um so eine robustere bzw. schnellere Konvergenz zu erhalten. Denkbar ist, dass dazu einer oder mehrere mobile und kompakte Sensoren, wie z. B. eine RGB-D Tiefenkamera (unter RGB-D kann ein farbige Punktwolke verstanden werden), ein Solid-State-Lidar oder Ähnliches, verwendet wird/werden. Mit anderen Worten, die Bilddatenerfassung kann in verschiedenen Modalitäten erfolgen, z. B. mittels einer Monochrom- und/oder Farbkamera, eines Tiefensensors, eines Lidar/ToF-Sensors und/oder anderen bzw. weiteren 3D-Sensoren, die z. B. eine Muster-/Streifenprojektion nutzen und/oder einen Laserscanner umfassen. Die Verwendung von 2D/RGB-Informationen hat - inter alia - den Vorteil, dass eine Empfindlichkeit gegenüber 3D-Sensorrauschen vergleichsweise gering ist, sodass insbesondere auch relativ dunkle, kleine und/oder glänzende Komponenten zuverlässig erfasst werden können. Ergänzend sei angemerkt, dass dunkle Bereiche und kleine Komponenten mit einer mobilen Kamera leicht erfasst bzw. zugänglich sein können. Für glänzende Objekte kann eine Verwendung verschiedener Perspektiven vorteilhaft sein.
-
Der Zusammenbau ist ein in der realen Welt existierendes Objekt. Bei dem Zusammenbau handelt es sich um eine Baugruppe (It. DIN 199 kurz Gruppe genannt), welche ein in sich geschlossener, aus zwei oder mehr Teilen oder Baugruppen niederer Ordnung bestehender Gegenstand ist, der in der Regel wieder zerlegbar ist. Ein Einzelteil dagegen kann vorliegend von dem Zusammenbau insofern abgegrenzt werden, als dass dieses nicht zerstörungsfrei zerlegt werden kann (s. DIN 199 Technische Produktdokumentation). Mit anderen Worten, der Zusammenbau weist mehrere Einzelteile auf, die ggf. in Unterbaugruppen zusammengefasst sein können.
-
Der nachfolgend verwendete Terminus „Komponente“ bezieht sich daher sowohl auf ein Einzelteil als auch auf mehrere Einzelteile umfassende Unter- bzw. Subbaugruppen, welche jeweils Teil des Zusammenbaus sind.
-
Der Terminus „Korrektheit“ kann in Bezug auf den Zusammenbau angesichts der obigen Definition des Zusammenbaus breit verstanden werden und sich - inter alia - auf eine Vollständigkeit des Zusammenbaus hinsichtlich der einzelnen, den Zusammenbau bildenden Komponenten beziehen. Zusätzlich oder alternativ kann eine Korrektheit der verbauten Komponenten hinsichtlich dessen, ob überhaupt die korrekte Komponente verbaut ist und/oder ob die verbaute Komponente korrekt verbaut ist, d. h. z. B. ob die verbaute Komponente an der richtigen bzw. korrekten Stelle bzw. Position verbaut ist, geprüft werden. Mit einer Prüfung darauf, ob die korrekte Komponente verbaut ist, kann auch sichergestellt werden, dass keine Komponente verwechselt wurde. Da typischerweise in der Montage ähnliche Komponenten mit leicht anderen Dimensionen für andere Baureihen oder Prozesse verfügbar sind, ist ein solches Ausschließen von Vertauschungen vorteilhaft.
-
Die Korrektheit wird vorliegenden über den Soll-Zustand definiert bzw. festgelegt. Ein vorangestelltes Soll-, wie z. B. bei dem Soll-3D-Modell (nachfolgend auch bei Position und Ausrichtung verwendet), kennzeichnet daher den gewünschten Zustand der durch den Ist-Zustand abgebildet bzw. erreicht werden soll, sodass die Prüfung der Korrektheit bei Übereinstimmung von Ist-Zustand und Soll-Zustand bejaht und bei Abweichung der vorgenannten verneint werden kann. Folglich beschreibt der Ist-Zustand den tatsächlichen, z. B. durch die Montage des Zusammenbaus erreichten, physischen Zustand des Zusammenbaus in der realen Welt.
-
Der Schritt des Vergleichens kann daher auch als Soll-Ist-Vergleich verstanden werden, bei dem die Prüfung der Korrektheit des Zusammenbaus erfolgt.
-
Im Unterschied zum Stand der Technik bietet das offenbarungsgemäße Verfahren eine Reihe von Vorteilen. Unter anderem erlaubt das Verfahren eine dreidimensionale (3D) Prüfung des Zusammenbaus auf Korrektheit und eignet sich daher auch für die Prüfung komplexer Zusammenbauten, bei welchen herkömmliche Verfahren an ihre Grenzen stoßen.
-
Im Detail: Unter einem Modell kann vorliegend ein Computermodell verstanden werden, welches - als ein sog. „digital twin“ - ein vereinfachtes Abbild der Wirklichkeit bzw. des Zusammenbaus darstellt. Dabei ist das offenbarungsgemäß genutzte Modell zumindest dreidimensional, d. h. es gibt die Außenabmessungen des Zusammenbaus räumlich im Wesentlichen wieder. Daher kann der Zusammenbau aus verschiedenen Perspektiven bzw. Blickwinkeln betrachtet und damit auch aus verschiedenen Blickwinkeln geprüft werden. Die eingangs beschriebenen herkömmlichen Verfahren nutzen hingegen im Falle der
US 9,187,188 B2 ein perspektivisches 2D-Modell (d. h. ein Bild) und im Falle der
US 10,242,438 B2 ein 2.5D-Modell (d. h. ein Bild gepaart mit Tiefeninformationen) des Zusammenbaus, wodurch jeweils nur der Teil des Zusammenbaus auf Korrektheit überprüft werden kann, der sich im Blickfeld (engl. Field-of-View (FoV)) der jeweils verwendeten Kamera befindet. Will man das zu prüfende Objekt bzw. den Zusammenbau mit herkömmlichen Verfahren aus zwei verschiedenen Richtungen bzw. Perspektiven, z. B. eine Vorderseite und eine Rückseite des Zusammenbaus, prüfen, so muss das jeweilige herkömmliche Verfahren zweimal komplett, einmal mit Blick der Kamera auf die Vorderseite und einmal mit Blick auf die Rückseite, unter jeweiliger Berechnung des 2D- bzw. 2,5D Modells durchgeführt werden. Davon abweichend ist es offenbarungsgemäß ausreichend, das 3D-Modell des Zusammenbaus nur ein einziges Mal zu erzeugen, um eine umfassende Prüfung des Zusammenbaus aus verschiedenen Perspektiven durch Vergleich des Ist-3D-Modells mit dem Soll-3D-Modell durchführen zu können, wobei auch der Schritt des Vergleichens mit dem offenbarungsgemäßen Verfahren nur ein einziges Mal und nicht wie herkömmlich für jede Perspektive separat durchgeführt werden muss.
-
Die Verwendung des 3D-Modells bietet, inter alia, z. B. gegenüber der Verwendung des 2D- oder 2,5D-Modells, den technischen Effekt, dass zur Überprüfung der Korrektheit eines komplexen Zusammenbauteils bzw. eines komplexen Zusammenbaus aus mehreren Perspektiven nur ein einziger Soll-Ist-Vergleichsschritt unter Verwendung eines einzigen zu berechnenden (virtuellen bzw. digitalen) Modells des zu prüfenden Zusammenbaus erfolgen kann.
-
Ausgehend vom Stand der Technik kann der Fachmann folglich vor der objektiv technischen Aufgabe stehen, aus dem Stand der Technik bekannte Verfahren - wie z. B. in der
US 9,187,188 B2 oder der
US 10,242,438 B2 beschrieben - dahingehend zu modifizieren, als dass ein komplexer Zusammenbau aus mehreren Perspektiven mit nur einem einzigem Soll-Ist-Vergleichsschritt unter Verwendung eines einzigen zu berechnenden (virtuellen bzw. digitalen) Modells des zu prüfenden Zusammenbaus geprüft werden kann.
-
Dies wird, wie oben im Detail erläutert, offenbarungsgemäß zumindest durch die Verwendung des 3D-Modells erzielt. Ein solches Vorgehen bzw. die offenbarungsgemäße Lösung ist weder aus dem Stand der Technik bekannt, noch wird der Fachmann dazu angeregt.
-
Das oben Beschriebene lässt sich wie nachfolgend als für die Offenbarung nicht einschränkend beschreiben und auf eine konkrete Ausgestaltung der offenbarungsgemäßen Lehre bezogen zusammenfassen: Zunächst kann ein Erfassen von Bilddaten, z. B. in Form eines Videostreams oder einer oder mehreren einzelnen Bildern, des Zusammenbaus erfolgen. Anschließend kann ein Erkennen und Identifizieren von Einzelteilen (der sichtbaren Hülle) des Zusammenbaus in 2D erfolgen. Dies kann eine Vorhersage eines 2D-Objektzentrums und einer Pose (z. B. mittels einer Rotationsmatrix) sowie einer 2D-Segmentierungsmaske im Videobild oder in der einzelnen Bildaufnahme umfassen. Insbesondere wenn ein Videostream verfügbar ist, kann eine Optimierung der vorhergesagten Objektposition basierend auf mehreren (perspektivischen) Vorhersagen erfolgen. Es kann das jeweils ähnlichste CAD-Modell aus einer Datenbank basierend auf einer Ähnlichkeit in einem Erscheinungsbild-Einbettungsraum ausgewählt werden und eine Erkennung der Position der identifizierten Komponente in Bezug auf andere Bauteile in der Umgebung des identifizierten Bauteils erfolgen. Dies kann für alle erkannten Komponenten wiederholt werden. Nun kann eine virtuelle Erstellung des Zusammenbaus als 3D-Modell mit allen erkannten Komponenten und deren Posen zueinander erfolgen. Abschließend kann ein Vergleich des virtuellen 3D-Modells mit dem digitalen 3D-Modell des Zusammenbaus erfolgen und so können fehlende, falsch ausgerichtete und falsche Komponenten des Zusammenbaus identifiziert werden.
-
Nachfolgend werden mögliche Weiterbildungen des obigen Verfahrens im Detail erläutert, wobei diese Weiterbildungen für sich, aber auch in Kombination die oben beschriebenen Vorteile des Verfahrens zumindest verstärken.
-
Das Verfahren kann ein Identifizieren mehrerer Komponenten, die den Zusammenbau bilden, in den Bilddaten, und ein Bestimmen einer Ist-Position und Ist-Ausrichtung der identifizierten Komponenten relativ zueinander und/oder bezüglich einer vorbestimmten Kameraperspektive, aus der die Bilddaten erfasst wurden, basierend auf den Bilddaten umfassen.
-
Im Rahmen des Identifizierens kann ein Vorhandensein eines Objekts bzw. einer Komponente, z. B. eines einzelnen Bauteils und/oder eine mehrere Bauteile umfassende Baugruppe des Zusammenbaus, in den Bilddaten erkannt werden und es kann bestimmt werden, um welche Art oder konkreter um welche Komponente aus einer Vielzahl vorbekannter bzw. vorbestimmter Komponenten es sich handelt. Das Vorhandensein kann konkreter ausgedrückt beispielsweise insofern verstanden werden, als dass die jeweilige zu identifizierende Komponente bei einer Visualisierung der Bilddaten zu sehen ist und daher mittels eines Algorithmus, z. B. eines Objekterkennungsalgorithmus, erkannt werden kann bzw. soll.
-
Unter einer Ist-Position kann die Position, z. B. eines geometrischen Zentrums und/oder eines Masseschwerpunkts, einer Komponente im Raum in der realen Welt verstanden werden. Unter einer Ist-Ausrichtung kann eine Ausrichtung dieser Komponente im Raum in der realen Welt verstanden werden. Das zuvor Beschriebene gilt analog für die Soll-Position und die Soll-Ausrichtung, welche in dem Soll-3D-Modell als Informationen enthalten sind und direkt oder zumindest indirekt mittels des Verfahrens aus diesem extrahiert werden können.
-
Unter einer Kameraperspektive kann ein Blickwinkel einer Kamera auf den Zusammenbau verstanden werden. Dabei ist das Verfahren nicht auf eine Variation der Kameraperspektive beschränkt, vielmehr kann zusätzlich oder alternativ auch ein Blickfeld der Kamera in einer Größe (d. h. es kann der Zusammenbau ausschnittsweise und/oder komplett betrachtet werden) und/oder ein Abstand der Kamera zum Zusammenbau (z. B. virtuell über einen Zoom und/oder physisch durch eine tatsächliche Verringerung oder Vergrößerung des Abstands der Kamera zum Zusammenbau) variiert werden.
-
Das Identifizieren der Komponenten sowie das Bestimmen von deren Ist-Position und Ist-Ausrichtung bietet - inter alia - den technischen Effekt, dass damit für jede der den Zusammenbau bildenden Komponenten eine Prüfung der Korrektheit ermöglicht wird. Das heißt, es kann (wie nachfolgend weiter im Detail erläutert) komponentenweise auf Korrektheit des Zusammenbaus geprüft werden, sodass - was insbesondere bei komplexen Zusammenbauten vorteilhaft ist - nicht nur angegeben werden, dass das Soll-3D-Modell als Ganzes nicht mit dem Ist-3D-Modell übereinstimmt, sondern es kann vielmehr angegeben werden, welche Komponente fehlerhaft sind. Dies ermöglicht eine gezielte Nacharbeit und/oder eine gezielte manuelle Überprüfung des Zusammenbaus (z. B. im Rahmen einer geführten Nutzerinteraktion).
-
Denkbar ist, dass das Identifizieren der Komponenten einem mehrstufigen Ansatz folgt. Dies kann bedeuten, dass in einem ersten Schritt zunächst Komponenten identifiziert werden, die größer sind als ein vordefinierter Schwellenwert. Anschließend können in einem zweiten Schritt Objekte identifiziert werden, die kleiner sind als der vordefinierter Schwellenwert. Hierzu können in dem zweiten Schritt Bilddaten verwendet werden, die im Vergleich zu den im ersten Schritt verwendeten Bilddaten mit einer höheren Zoomstufe oder mit einem geringeren Abstand der Kamera zum Zusammenbau erfasst wurden. Der erste und der zweite Schritt können nacheinander oder zumindest teilweise simultan ablaufen.
-
Das Identifizieren der mehreren Komponenten und/oder das Bestimmen der Position und Ausrichtung der identifizierten Komponenten kann mittels eines, optional einzigen, auf künstlicher Intelligenz beruhenden Modells (z. B. aufweisend ein oder mehrere künstliche neuronale Netze) erfolgen. Das Modell kann trainiert sein, um aus den Bilddaten des Zusammenbaus, optional simultan, einzelne Komponenten aus einem Pool von Komponenten zu identifizieren und/oder deren Ist-Position und Ist-Ausrichtung zu bestimmen.
-
Konkreter ausgedrückt kann mit dem Modell beispielsweise eine 2D-Instanzsegmentierung von Komponenten, die in einem Pool möglicher Komponenten zur Verfügung stehen, erfolgen. Der Pool möglicher Komponenten definiert dabei den sog. Einbettungsraum (engl. embedding space). Es kann eine Erkennung und Segmentierung von Komponenten mittels des trainierten Modells erfolgen, welche durch vorheriges Lernen aus 2D-Projektionen (Ansichten) von 3D-CAD-Modellen der Komponenten ermöglicht wird. Dabei können Methoden wie Multi-Objekt-Erkennung einschließlich der Erkennung von Objektposen (d. h. Ist-Position und Ist-Ausrichtung) genutzt werden, wobei das Modell so trainiert sein kann, dass dieses die jeweiligen Komponenten auch bei teilweiser Verdeckung der Komponenten in den Bilddaten aufgrund eines Montagezustands der Komponente am Zusammenbau und/oder einer jeweiligen Kameraperspektive identifizieren und deren Ist-Position und Ist-Ausrichtung bestimmen kann.
-
Denkbar ist, dass zur Objektposenschätzung (bzw. zur Bestimmung der Ist-Ausrichtung) zuvor trainierte Schlüsselpunkte (engl. keypoints) in Ansichten geschätzt werden, die z. B. die 3D-Boundingbox des Objekts beschreiben. Diese geschätzten Schlüsselpunkte können ein Zwischenergebnis darstellen, mit dem letztlich die Objektperspektive bzw. Objektpose bestimmt wird.
-
Denkbar ist, dass das Modell ferner so ausgestaltet bzw. trainiert ist, dass es eine Unsicherheit bzw. Mehrdeutigkeit eines Ergebnisses des Identifizierens und des Bestimmens der Ist-Position und der Ist-Ausrichtung der einzelnen Komponenten, d. h. z. B. eine Wahrscheinlichkeit dafür, dass die Komponente sowie deren Ist-Position und Ist-Ausrichtung richtig erkannt wurde, zu bestimmen. Mit anderen Worten, ein ML-Netz kann neben der Identifikation und/oder der Pose auch lernen wie sicher bzw. wahrscheinlich ein Ergebnis ist. Dies kann einem Zuverlässigkeitswert zwischen 0 und 1 entsprechen. So kann beispielsweise eine Komponente mit hoher Wahrscheinlichkeit aus einer bestimmten Perspektive erkannt werden, aus einer anderen Perspektive oder mit Teilverschattung bzw. Teilverdeckung jedoch schlechter. Diese Unsicherheit kann beim Erzeugen des Ist-3D-Modells berücksichtigt werden. Konkret kann das Maß der Zuverlässigkeit berücksichtigt werden, wenn Objektidentifikationen und/oder Posen aus unterschiedlichen Richtungen bzw. Perspektiven zusammengeführt werden. Denkbar ist, dass das Ergebnis mit der größten Zuverlässigkeit verwendet wird. Es ist aber auch denkbar, dass eine geeignete Fusion der verschiedenen (Teil-) Informationen zu Objektidentifikationen und/oder Pose erfolgt. Weiterhin ist denkbar, dass die erwarteten Objektidentifikationen und -posen (aus dem Soll-3D-Modell) genutzt werden, um z. B. Ergebnisse mit einem unzureichenden Konfidenzwert dennoch einzubeziehen bzw. deren Korrektheit zu bestätigen, und optional mit einer anderen Aufbereitung bzw. einer vorbestimmten Farbe im Feedback für den User anzuzeigen.
-
Zusätzlich kann das Modell trainiert sein, um Objekte innerhalb von oder angrenzend an Komponenten zu identifizieren, die nicht zu den erwarteten bzw. entsprechenden Objekten im CAD-Pool passen. Dies ermöglicht eine weitergehende Überprüfung des Ist-3D-Modells auf Korrektheit insofern, als dass fälschlicherweise zu viel verbaute Komponenten des Zusammenbaus erkannt werden können.
-
Das oben beschriebene Bestimmen der Ist-Ausrichtung und Ist-Position kann in einer möglichen konkreten Ausgestaltung als Vorhersage der 3D-Eigenschaften einer jeden identifizierten Komponente verstanden werden, welche - wie oben bereits beschrieben - zusammen mit dem Identifizieren der Komponente erfolgen kann. Dabei kann neben einer Rotationsmatrix, die die Ausrichtung der Komponente im 3D-Raum angibt, auch eine 2D-Projektion eines 3D-Zentrums der Komponente auf eine Bildebene der Bilddaten und ein Formcode-Vektor (engl. shape code vector) der Komponente zur Bestimmung der Position der Komponente geschätzt bzw. bestimmt werden, der eine Einbettung (engl. embedding) entsprechend einem 3D-Modell (z. B. 3D-CAD-Modell) darstellt, das der identifizierten Komponente entspricht. Mit anderen Worten, durch Bestimmung der Position im 2D-Bild aus verschiedenen Perspektiven kann die 3D-Position ermittelt werden, wobei durch (pixelweise) Segmentierung und der Objektidentifikation mittels der Silhouette eine Orientierungsbestimmung möglich ist. Der Formcode-Vektor kann der Identifizierung im Embedding Space entsprechen und demnach die Zuweisung angeben, um welche Komponente es sich handelt, was zunächst unabhängig von deren Pose ist. Es kann auch eine Schätzung der Lage der einzelnen Komponente im Raum in Bezug auf andere Komponenten oder in Bezug auf eine bekannte Kameraperspektive erfolgen.
-
Unter einem auf künstliche Intelligenz beruhenden Modell kann ein durch maschinelles Lernen erzeugtes Modell verstanden werden, das im vorliegenden Fall ausgestaltet ist, um aus den Bilddaten des Zusammenbaus einzelne Komponenten aus einem Pool von Komponenten zu identifizieren und/oder deren Ist-Position und Ist-Ausrichtung zu bestimmen. Das maschinelle Lernen kann als eine „künstliche“ Generierung von Wissen aus Erfahrung verstanden werden, bei dem ein künstliches System aus Beispielen lernt und diese nach Beendigung der Lernphase verallgemeinern kann. Das heißt, es werden nicht einfach die Beispiele auswendig gelernt, sondern Muster und Gesetzmäßigkeiten in den Lerndaten erkannt. So kann das trainierte Modell auch unbekannte Daten beurteilen (sog. Lerntransfer).
-
Denkbar ist, dass das Identifizieren und Bestimmen der Ist-Position und Ist-Ausrichtung simultan erfolgen, d. h. mittels eines einzigen Modells. Dies kann durch ein sog. End-zu-Ende-Lernen (engl. End-2-End (E2E)) erreicht werden, bei dem alle für das Ergebnis notwendigen Zwischenschritte in einem einheitlichen Modell integriert sind.
-
Unter dem Pool von Komponenten kann eine Datenbank verstanden werden, welche für eine bestimmte Anzahl an vorbestimmten Komponenten einen Identifikator (z. B. M12-Schraube) und ein zugehöriges 3D-Modell umfasst. Das Modell kann nur speziell darauf trainiert sein, die in dem Pool von Komponenten enthaltenen Komponenten in den Bilddaten zu erkennen. Dafür können zum Trainieren des Modells (synthetische) Bilddaten der jeweiligen Komponenten verwendet werden.
-
Bei dem Modell kann es sich insbesondere um ein sog. Deep-Learning-Modell handeln. Diese benötigen zum Trainieren im Allgemeinen eine große Menge an Trainingsdaten, d. h. eine große Anzahl von 2D-CAD-Paaren, um ein robustes und zur Verallgemeinerung taugliches Modell zu erhalten. Realistische 2D-CAD-Paare mit eingebetteten/zusammengebauten 3D-Komponenten können jedoch auf automatisierte Weise mit synthetischen gerenderten Bildern und deren Erweiterungen generiert werden, was zu einer Erhöhung der verfügbaren Trainingsdaten führt und die hohe Anzahl an Trainingsdaten leichter erreichen lässt.
-
Dabei sei angemerkt, dass sich die Offenbarung auch auf ein Verfahren zum Trainieren des hierin beschriebenen auf künstlicher Intelligenz beruhenden Modells bezieht.
-
Die Verwendung des oben beschriebenen auf künstlicher Intelligenz beruhenden Modells bietet - inter alia - den technischen Effekt, als dass das Verfahren Zusammenbau übergreifend, d. h. für Zusammenbauten verschiedener Art, verwendet werden kann, solange diese Zusammenbauten Komponenten aus dem Pool von Komponenten aufweisen oder daraus bestehen. Dies bietet eine Flexibilität des Einsatzes des Verfahrens, sodass sich dieses auch für Kleinserien eignet, da nicht für jeden neuen bzw. von vorherigen Zusammenbauten abweichenden Zusammenbau ein Modell neu trainiert werden muss.
-
Das Verfahren kann ein Beziehen eines jeweils zugehörigen 3D-Modells für jede der identifizierten Komponenten, und ein Bestimmen des Ist-3D-Modells des Zusammenbaus durch Zusammensetzen der bezogenen 3D-Modelle basierend auf deren bestimmter Ist-Positionen und Ist-Ausrichtungen umfassen.
-
Unter dem Zusammensetzen kann ein digitales Nachbauen des Zusammenbaus verstanden werden, sodass das Ist-3D-Modell resultiert. Dies bietet - inter alia - den technischen Effekt, dass das resultierende Ist-3D-Modell mit herkömmlich konstruierten 3D-Modellen, die folglich als Soll-3D-Modelle verwendet werden können, kompatibel ist. Mit anderen Worten, 3D-Modelle werden regelmäßig mit CAD-Programmen (computer-aided design), d. h. rechnergestützt, konstruiert. Solche 3D-Modelle setzen sich, wie das Ist-3D-Modelle aus einzeln konstruierten Modellen einzelner Komponenten zusammen. Durch die Kompatibilität von Ist-3D-Modell mit dem Soll-3D-Modell, das z. B. aus einer Entwicklungsphase des Zusammenbaus stammt, können zusätzliche Schritte des Adaptierens des Ist-3D-Modells vermieden werden und damit kann der Soll-Ist-Vergleich mit vergleichsweise geringer Rechenleistung durchgeführt werden.
-
Das Beziehen des 3D-Modells kann ein Laden des jeweils zugehörigen 3D-Modells aus dem Pool von Komponenten umfassen, der für jede Komponente des Pools ein jeweils zugehöriges 3D-Modell umfasst.
-
Dies bietet den Vorteil, dass der Pool von 3D-Modellen unabhängig, insbesondere unabhängig von einem etwaig verwendeten auf künstlicher Intelligenz beruhenden Modells, verwaltet werden und angepasst werden kann.
-
Das Soll-3D-Modell kann aus 3D-Modellen einzelner, den Zusammenbau bildenden Komponenten zusammengesetzt sein. Das Vergleichen des bestimmten Ist-3D-Modells mit dem Soll-3D-Modell des Zusammenbaus zur Prüfung der Korrektheit des Zusammenbaus kann ein komponentenweises Vergleichen der das Soll-3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen umfassen.
-
Hier wird auf die oben, mit Bezug zum Bestimmen des Ist-3D-Modells, beschriebenen Vorteile verwiesen.
-
Das komponentenweise Vergleichen der das Soll-3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen kann ein Vergleichen der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells an sich umfassen, um so in dem Ist-3D-Modell im Vergleich zum Soll-3D-Modell fehlende 3D-Modelle einzelner Komponenten und/oder im Ist-3D-Modell aber nicht im Soll-3D-Modell vorhandene 3D-Modelle einzelner Komponenten zu identifizieren. Zusätzlich oder alternativ kann das komponentenweise Vergleichen der das Soll-3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen ein Vergleichen einer Soll-Position und Soll-Ausrichtung mit der Ist-Position und Ist-Ausrichtung der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells umfassen, um im Ist-3D-Modell vom Soll-3D-Modell abweichend angeordnete 3D-Modelle einzelner Komponenten zu identifizieren.
-
Konkret kann dies bedeuten, dass ein Vergleich des Ist-3D-Modells, also des virtuellen 3D-Nachbaus des Zusammenbaus, mit dem Soll-3D-Modell, also dem digitalen 3D-Modell des Zusammenbaus (z. B. ein 3D-CAD-Modell des Zusammenbaus), umfassend eine bauteilbezogene bzw. komponentenbezogene Bewertung der Korrektheit erfolgt. Diese komponentenbezogene Bewertung der Korrektheit kann ein Identifizieren fehlender Komponenten, ein Identifizieren von falsch ausgerichteten Komponenten und/oder ein Identifizieren falscher Komponenten (anhand nicht übereinstimmender Merkmale der 3D-Modelle) umfassen.
-
Hier wird auf die oben, mit Bezug zum komponentenweisen Vergleich des Ist-3D-Modells beschriebenen Vorteile verwiesen. Weiterhin bietet diese spezielle Ausgestaltung - inter alia - den technischen Effekt, dass nicht nur ein Fehler betreffend im Zusammenbau vorhandener Komponenten hinsichtlich deren Position und Ausrichtung, sondern auch eine Vollständigkeitsprüfung ermöglicht wird.
-
Das Bestimmen des Ist-3D-Modells kann unter Berücksichtigung der in dem Soll-3D-Modell enthaltenen 3D-Modelle an sich und/oder der Soll-Position und Soll-Ausrichtung der in dem Soll-3D-Modell enthaltenen 3D-Modelle erfolgen.
-
Mit anderen Worten, das Zusammenbauen des Ist-3D-Modells aus den einzelnen geladenen 3D-Modellen der identifizierten Komponenten kann dahingehend vereinfacht werden, dass neben den aus den Bilddaten bekannten Ist-Ausrichtungen und Ist-Positionen auch die aus dem Soll-3D-Modell bekannten gewünschten Soll-Positionen und Soll-Ausrichtungen der einzelnen 3D-Modelle der identifizierten Komponenten berücksichtigt werden. Das Soll-3D-Modell kann als Initialisierung dienen; wobei alle Teile des Soll-3D-Modells ausgeblendet werden können, die im Ist-3D-Modell nicht identifiziert wurden.
-
Das Bestimmen des Ist-3D-Modells kann ein Identifizieren von zumindest einer in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponente des Zusammenbaus basierend auf einem initial bestimmten Ist-3D-Modell umfassen. Das Verfahren kann ferner ein Bestimmen einer Ist-Position und Ist-Ausrichtung der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponente relativ zu den restlichen, identifizierten Komponenten und/oder bezüglich der vorbestimmten Kameraperspektive, mit der die Bilddaten erfasst wurden, basierend auf den Bilddaten, umfassen. Das Verfahren kann ein Beziehen eines zugehörigen 3D-Modells der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponenten, und ein Anpassen des initial bestimmten Ist-3D-Modells unter Hinzufügen des 3D-Modells der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponenten basierend auf deren bestimmter Ist-Position und Ist-Ausrichtung, um das Ist-3D-Modell zu erhalten.
-
Zusätzlich oder alternativ kann das Bestimmen des Ist-3D-Modells ein Durchführen einer Plausibilitätsprüfung der bestimmten Ist-Positionen und der Ist-Ausrichtungen der identifizierten Komponenten basierend auf einem initial bestimmten Ist-3D-Modell umfassen. Das Verfahren kann ein Anpassen des initial bestimmten Ist-3D-Modells unter Anpassen der Positionen und Ausrichtungen der in dem initialen Ist-3D-Modell enthaltenen 3D-Modelle basierend auf einem Ergebnis der Plausibilitätsprüfung umfassen.
-
Mit anderen Worten, die oben bereits beschriebene digitale 3D-Rekonstruktion kann zunächst zu einem unbefriedigenden Ergebnis führen, dem sog. initialen Ist-3D-Modell, da ggf. einzelne Komponenten in den Bilddaten gar nicht identifiziert oder deren Ist-Position und Ist-Ausrichtung zunächst falsch bestimmt wurden. In einem Nachbearbeitungsschritt kann dies z. B. mit einer Plausibilitätsprüfung basierend auf dem initialen Ist-3D-Modell, z. B. wegen Lücken im initialen Ist-3D-Modell und/oder sich überschneidenden/überlappenden einzelnen 3D-Modellen des Ist-3D-Modells, erkannt werden. Es kann dann eine eingehendere Analyse u.a. der Bilddaten erfolgen und/oder es kann, z. B. auch anhand des Soll-3D-Modells, eine Optimierung des initialen Ist-3D-Modells erfolgen, um so das (finale) für den Soll-Ist-Vergleich zu verwendende Ist-3D-Modell zu erhalten.
-
Denkbar ist auch, dass zum Auflösen von Mehrdeutigkeiten bei der Identifizierung der einzelnen Komponenten, z. B. aufgrund von Blendung bzw. ungünstiger Beleuchtung und/oder anspruchsvoller Oberflächenbeschaffenheit des Zusammenbaus, erscheinungsbasierter Überlegungen, wie Verfahren, die Neural Radiance Fields (NeRF) verwenden, genutzt werden können.
-
Weiterhin ist denkbar, dass eine (lokale) 3D-Rekonstruktion des Zusammenbaus verwendet wird, wenn Mehrdeutigkeiten des 2D-CAD-Matchings nicht gelöst werden können, d. h. wenn in den Bilddaten enthaltene Komponenten nicht eindeutig bzw. mit ausreichender Sicherheit einem der 3D-Modelle des Pools zugeordnet werden können. Dies kann insbesondere ein 3D-Rekonstruktion von bestimmten Formen/Objekten umfassen, die sonst nicht auflösbar sind. Es kann dann ein 3D-Vergleich mit dem Soll-3D-Modell in verschiedenen Datenformaten erfolgen, z. B. u.a. durch Darstellung der Komponente als Punktwolke, mit einem Netz und/oder als Voxel-Gitter.
-
Das Verfahren kann ein Erfassen der Bilddaten des Zusammenbaus, vorteilhafterweise aus mehreren Perspektiven, umfassen. Diesbezüglich wird zunächst auf die obigen Ausführungen zu den Bilddaten und deren Erfassung verwiesen. Ferner weist das Erfassen von Bilddaten aus mehreren bzw. verschiedenen Perspektiven gegenüber dem Erfassen von Bilddaten aus einer einzigen Perspektive, also gegenüber z. B. einem Einzelbild, u.a. den Vorteil auf, dass eine durch eine Projektion von 3D auf 2D entstehende Mehrdeutigkeit hinsichtlich einer Größe von Komponenten entlang einer Bildachse aufgelöst werden kann. Denkbar ist, dass das Verfahren, zusätzlich oder alternativ, ein Bestimmen einer jeweiligen Perspektive (z. B. mittels SLAM (engl. für Simultaneous Localization and Mapping) und/oder Odometrie (z. B. Bewegungsdaten aufintegriert aus IMU-Daten der Beschleunigung)), aus der die Bilddaten aufgenommen bzw. erfasst wurden, umfasst.
-
Das Verfahren kann ein Ausgeben einer ein Ergebnis des Vergleichens des bestimmten Ist-3D-Modells mit dem Soll-3D-Modell umfassenden Information, optional auditiv und/oder visuell, optional durch Ansteuern einer Anzeigevorrichtung, umfassen.
-
Konkret kann dies bedeuten, dass eine Rückmeldung an einen Nutzer ausgegeben wird. Dafür kann eine Schnittstelle, z. B. in Form eines Displays, vorgesehen sein, welches offenbarungsgemäß angesteuert werden kann. Optional kann so eine Rückmeldung von Bewertungswerten des oben beschriebenen 3D-Vergleichs, z. B. mittels einer Visualisierung für den menschlichen Benutzer, z. B. umfassend eine Empfehlung zur Nacharbeit und/oder zusätzlichen menschlichen Prüfung, ausgegeben werden. Die Schnittstelle ist jedoch nicht auf ein solches Human Machine Interface (HMI) beschränkt, sondern es kann sich, zusätzlich oder alternativ, um eine Datenschnittstelle handeln, über welche ein Ergebnis des Soll-Ist-Vergleichs für eine Datenverarbeitungsvorrichtung, die z. B. drahtgebunden und/oder drahtlos zur Schnittstelle verbunden ist, bereitgestellt werden kann.
-
Dabei beschränkt sich die Möglichkeit zur Interaktion mit dem Nutzer nicht nur auf die Präsentation des Ergebnisses des Verfahren, sondern der Nutzer kann durch eine entsprechende Informationsausgabe beispielsweise im Rahmen einer geführten Nutzerinteraktion bei dem Erfassen der Bilddaten, z. B. durch Anzeige von vorteilhaften Kameraposition usw., unterstützt werden.
-
Denkbar ist, dass damit ein hierarchischer Ansatz realisiert wird. Dieser kann den oben beschriebenen Ansatz insofern erweitern, als dass damit eine bessere Sicht auf verdeckte Komponenten des Zusammenbaus und/oder Möglichkeiten zum Zoomen auf kleine oder nicht leicht zu identifizierende Komponenten des Zusammenbaus geschaffen werden können. Dazu können die oben beschriebenen Unsicherheitsmetriken aus der Ausgabe des auf künstlicher Intelligenz beruhenden Modells verwendet werden, um mit dem Nutzer darüber zu interagieren, welche Teile nach einer ersten Erfassung von Bilddaten nochmals mit geänderten bzw. angepassten Bilderfassungseinstellungen (z. B. geänderte Perspektive oder geänderter Zoom bzw. Abstand der Kamera zum Zusammenbau) im Rahmen einer zweiten bzw. weiteren Bilderfassung erfasst werden sollen. Mit anderen Worten, da der Vergleich der 3D-Daten wesentlich vom Ist-3D-Modell abhängt, welches jedoch unterschiedliche Konfidenzwerte/Zuverlässigkeitsscores beinhalten kann, ist es denkbar, dass das Ist-3D-Modell als Visualisierung farbkodiert aufbereitet wird (z. B. grün für alle Komponenten mit Konfidenzwert größer 90%, gelb für alle Komponenten mit Konfidenzwerten bis 65% und für alle anderen nicht erkannten oder mit Abweichungen erkannten Komponenten rot). Denkbar wäre auch eine Ergebnisliste mit Prozentangaben.
-
Weiterhin sei darauf verwiesen, dass das oben beschriebene Verfahren zwar auf die Verwendung eines 3D-Modells abzielt, jedoch eine zusätzliche Verwendung aus dem Stand der Technik bekannter konturbasierter Prüfmethoden, wie z. B. in der
US 9,187,188 B2 und
US 10,242,438 B2 beschrieben, nicht ausschließt.
-
Ferner betrifft die Offenbarung eine Vorrichtung zur Datenverarbeitung, die ausgestaltet ist, um das oben beschriebene Verfahren zumindest teilweise auszuführen.
-
Bei der Vorrichtung zur Datenverarbeitung kann es sich um einen Computer handeln. Dabei kann es sich bei der Vorrichtung zur Datenverarbeitung um ein verteiltes System handeln, es können mehrere einzelne physisch voneinander getrennte Vorrichtungen zur Datenverarbeitung, z. B. über das Internet, zusammengeschlossen werden und das Verfahren gemeinsam ausführen.
-
Die Vorrichtung zur Datenverarbeitung kann Teil eines Systems zur Datenverarbeitung sein, das neben der Vorrichtung zur Datenverarbeitung einen oder mehrere Sensoren zur Erfassung der Bilddaten und/oder eine oder mehrere Schnittstellen, z. B. zur Nutzerinteraktion, aufweist.
-
Denkbar ist, dass ein embedding space zentral auf einem Server vorgehalten wird, während lediglich object shape vectors ausgetauscht werden, die eine Identifizierung der Komponenten erlauben.
-
Ferner betrifft die Offenbarung ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.
-
Bei dem Computerprogramm kann es sich um eine Software, z. B. umfassend eine Firmware und/oder Anwendungssoftware, handeln. Unter Firmware kann eine Software verstanden werden, die in elektronischen Geräten, wie hier einem Sensor zur Bilddatenerfassung, (fest) eingebettet ist und dort grundlegende Funktionen leistet. Die Firmware kann eine Zwischenstellung zwischen einer Hardware des Geräts (also den physischen Anteilen des Geräts) und einer etwaig vorhandenen Anwendungssoftware (den ggf. austauschbaren Programmen des Geräts) einnehmen. Die Anwendungssoftware, welche die offenbarungsgemäße Auswertung der erfassten Bilddaten übernimmt, kann auf einem zu dem Sensor verbundenen Computer, z. B. einem Personal Computer, einem Tablet, einem Smartphone usw., ausführbar sein.
-
Ferner betrifft die Offenbarung ein computerlesbares Medium, z. B. ein computerlesbares Speichermedium und/oder ein Datensignal, umfassend Befehle, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.
-
Es kann insbesondere ein computerlesbares Medium umfassend das oben beschriebene Computerprogramm bereitgestellt werden.
-
Bei dem computerlesbaren Medium kann es sich um ein beliebiges digitales Datenspeichergerät handeln, wie zum Beispiel einen USB-Stick, eine Festplatte, einen Flash-Speicher, eine CD-ROM, eine SD-Karte oder eine SSD-Karte.
-
Das Computerprogramm muss nicht zwingend auf einem solchen computerlesbaren Speichermedium gespeichert sein, um dem Computer zur Verfügung gestellt zu werden, sondern kann auch als Datensignal über das Internet oder anderweitig extern bezogen werden.
-
Nachfolgend wird eine optionale Ausführungsform mit Bezug zu 1 und 2 beschrieben.
- 1 zeigt schematisch ein System zur Datenverarbeitung, das ausgestaltet ist, um ein offenbarungsgemäßes computer-implementiertes Verfahren auszuführen, das wiederum ausgestaltet ist, um eine Korrektheit eines Zusammenbaus zu prüfen, und
- 2 zeigt schematisch ein Ablaufdiagramm dieses Verfahrens.
-
In 1 ist schematisch ein Zusammenbau 1 aufweisend, vorliegend bestehend aus, mehreren einzelnen Komponenten 2 - 5 in einer Seitenansicht gezeigt. Ferner ist in 1 schematisch ein Sensor 6, der ausgestaltet ist, um Bilddaten des Zusammenbaus 1 zu erfassen (FoV mit gestrichelter Linie dargestellt), ein zum Sensor 6 verbundener Computer 7 und ein zum Computer 7 verbundenes Display 8 gezeigt. Letztgenannte Einheiten 6 - 8 sind Teil eines Systems zur Datenverarbeitung, welches ausgestaltet ist, um das nachfolgend im Detail beschriebene Verfahren auszuführen. Bei diesem Verfahren handelt es sich um ein computer-implementiertes Verfahren, das ausgestaltet ist, um eine Korrektheit des Zusammenbaus 1 zu prüfen. Ein Ablaufdiagramm des Verfahrens ist in 2 schematisch und dargestellt.
-
Wie sich aus 2 ergibt, lässt sich das Verfahren grob in vier Schritte S1-S4 untergliedern.
-
In einem ersten Schritt S1 des Verfahrens werden mittels des Sensors 6, z. B. einer Kamera, Bilddaten des Zusammenbaus 1 (optional aus mehreren Perspektiven, hier in 1 zur Einfachheit ist nur eine Perspektive dargestellt) erfasst und an den Computer 7 ausgegeben.
-
In einem zweiten Schritt S2 des Verfahrens wird ein Ist-3D-Modell des Zusammenbaus basierend auf den in dem ersten Schritt S1 erfassten Bilddaten des Zusammenbaus 1 mittels eines in einem Speicher 72 des Computers 7 hinterlegten Computerprogramms, das von einem Prozessor 71 des Computers 7 ausgeführt wird, bestimmt. Nachfolgend wird der zweite Schritt S2 weiter im Detail erläutert.
-
In einem ersten Teilschritt S21 des zweiten Schritts S2 erfolgt ein Identifizieren der Komponenten 2 - 5, die den Zusammenbau bilden, in den von dem Sensor 6 aufgenommenen Bilddaten sowie ein Bestimmen einer Ist-Position und Ist-Ausrichtung der identifizierten Komponenten 2 - 5 basierend auf den Bilddaten. Die Ist-Position und Ist-Ausrichtung der identifizierten Komponenten 2 - 5 kann z. B. relativ zueinander und/oder bezüglich einer vorbestimmten Kameraperspektive, mit der die Bilddaten erfasst wurden, insbesondere einer Bildachse Z, erfolgen.
-
Das Identifizieren der mehreren Komponenten 2 - 5 und das Bestimmen der Ist-Position und Ist-Ausrichtung der identifizierten Komponenten 2 - 5 erfolgt in dem ersten Teilschritt S21 mittels einem einzigen auf künstlicher Intelligenz beruhenden Modells. Das Modell ist trainiert und damit ausgestaltet, um aus den Bilddaten des Zusammenbaus 1 zur gleichen Zeit sowohl einzelne Komponenten 2 - 5 des Zusammenbaus 1 zu identifizieren, die zu Komponenten aus einem Pool von Komponenten korrespondieren, und deren Ist-Position und Ist-Ausrichtung zu bestimmen.
-
In einem zweiten Teilschritt S22 des zweiten Schritts S2 erfolgt ein Beziehen eines jeweils zugehörigen 3D-Modells für jede der identifizierten Komponenten 2 - 5 durch Laden des jeweils zugehörigen 3D-Modells aus dem Pool von Komponenten, der in dem Speicher des Computers 7 gespeichert ist und der für jede Komponente des Pools ein jeweils zugehöriges 3D-Modell umfasst.
-
In einem dritten Teilschritt S23 des zweiten Schritts S2 erfolgt ein Bestimmen eines initialen bzw. ersten Ist-3D-Modells des Zusammenbaus 1 durch Zusammensetzen der bezogenen 3D-Modellen basierend auf deren bestimmter Ist-Positionen und Ist-Ausrichtungen sowie unter Berücksichtigung von in einem Soll-3D-Modell des Zusammenbaus enthaltenen 3D-Modellen an sich und/oder der Soll-Position und Soll-Ausrichtung der in dem Soll-3D-Modell enthaltenen 3D-Modelle (welche sich wiederum auf die zu den einzelnen Komponenten 3 -5 korrespondierenden 3D-Modelle relativ zueinander oder (absolut) auf die Kameraperspektive beziehen können). Das Soll-3D-Modell ist aus 3D-Modellen einzelner, den Zusammenbau bildenden Komponenten 2 - 5 zusammengesetzt und umfasst eine Information über die jeweilige Soll-Position und Soll-Ausrichtung dieser 3D-Modelle.
-
Genauer gesagt kann eine Ist-Position und Ist-Ausrichtung des jeweils geladenen 3D-Modells in dem Ist-3D-Modell (welche sich wiederum auf die zu den einzelnen Komponenten 3 -5 korrespondierenden 3D-Modelle relativ zueinander oder (absolut) auf die Kameraperspektive beziehen können) gleich der bestimmten Ist-Position und Ist-Ausrichtung der jeweiligen, bestimmten einzelnen Komponenten 2 - 5 gesetzt werden. Dabei kann das Soll-3D-Modell beispielsweise insofern berücksichtigt werden, als dass leicht bzw. innerhalb eines vorbestimmten Toleranzbereichs abweichende Ist-Positionen und Ist-Ausrichtungen von 3D-Modellen in dem ersten Ist-3D-Modell basierend auf den in dem Soll-3D-Modell enthaltenen Soll-Positionen und Soll-Ausrichtungen der einzelnen 3D-Modelle angepasst werden, um so ein stimmiges erstes Ist-3D-Modell zu erzeugen.
-
Dieses erzeugte initiale bzw. erste Ist-3D-Modell kann nun wie nachfolgend beschrieben (weiter) optimiert werden.
-
Dazu wird in einem vierten Teilschritt S24 des zweiten Schritts S2 basierend auf dem initial bestimmten Ist-3D-Modell geprüft, ob eine in den Bilddaten enthaltene, aber fälschlicherweise nicht identifizierte Komponente 4 des Zusammenbaus 1 vorliegt und falls ja, wird diese identifiziert (s. erster Teilschritt S21 des zweiten Schritts S2). Hier wird beispielhaft davon ausgegangen, dass die Komponente 4 nicht identifiziert bzw. nicht hinreichend zuverlässig erkannt wurde. Zum Identifizieren der nicht identifizierte Komponente 4 des Zusammenbaus 1 kann das initiale Ist-3D-Modell beispielsweise einer Plausibilitätsprüfung unterzogen werden. Dabei kann das erste Ist-3D-Modell beispielsweise, wie nachfolgend mit Bezug zu einem dritten Schritt S3 des Verfahrens im Detail beschrieben, mit einem Soll-3D-Modell vergleichen werden und wenn festgestellt wird, dass die Komponente 4 in dem Ist-3D-Modell nicht, aber in dem Soll-3D-Modell schon enthalten ist, dann können die Bilddaten nochmals gezielt auf die Komponente 4 hin untersucht werden. Falls diese Verifizierung hinreichend erfolgreich ist (d. h. einen ausreichend hohen Konfidenzwert aufweist), kann mit dieser Komponente 4 genauso verfahren werden wie mit den zuvor eindeutig identifizierten Komponenten. Dies ist nur ein Beispiel der Plausibilitätsprüfung und es sind auch andere Verfahren denkbar.
-
In einem fünften Teilschritt S25 des zweiten Schritts S2 erfolgt basierend auf den Bilddaten ein Bestimmen einer Ist-Position und Ist-Ausrichtung der fälschlicherweise nicht identifizierten Komponente 4 relativ zu den restlichen, identifizierten Komponenten 2, 3, 5 und/oder bezüglich der vorbestimmten Kameraperspektive mit der die Bilddaten erfasst wurden (s. erster Teilschritt S21 des zweiten Schritts S2).
-
In einem sechsten Teilschritt S26 erfolgt ein Beziehen eines zugehörigen 3D-Modells der fälschlicherweise nicht identifizierten Komponenten 4 (s. zweiter Teilschritt S22 des zweiten Schritts S2).
-
In einem siebten Teilschritt S27 erfolgt ein Anpassen des initial bestimmten Ist-3D-Modells unter Hinzufügen des geladenen 3D-Modells der fälschlicherweise nicht identifizierten Komponente 4 basierend auf deren bestimmter Ist-Position und Ist-Ausrichtung (s. dritter Teilschritt S23 des zweiten Schritts S2), um ein zweites Ist-3D-Modell zu erhalten.
-
Oben wurde die Prüfung des initialen Ist-3D-Modells der Vollständigkeit halber beschrieben. Zusätzlich oder alternativ kann auch eine Prüfung dahingehend erfolgen, ob die zwar identifizierten Komponenten 2 - 5 des Zusammenbaus 1 im erzeugten Ist-3D-Modell korrekt angeordnet sind. Vorliegend erfolgt dies basierend auf dem zweiten, angepassten Ist-3D-Modell. Denkbar wäre aber auch, einen nachfolgend beschriebenen achten und neunten Teilschritt S28, S29 des zweiten Schritts S2 basierend auf dem ersten bzw. initial erzeugten Ist-3D-Modell durchzuführen.
-
In dem achten Teilschritt S28 des zweiten Schritts S2 erfolgt ein Durchführen einer Plausibilitätsprüfung der bestimmten Ist-Positionen und der Ist-Ausrichtungen der identifizierten Komponenten 2 - 5 basierend auf einem initial bestimmten Ist-3D-Modell. Genauer gesagt kann das zweite Ist-3D-Modell beispielsweise, wie nachfolgend mit Bezug zu dem dritten Schritt S3 des Verfahrens im Detail beschrieben, mit dem Soll-3D-Modell vergleichen werden. Wenn festgestellt wird, dass ein 3D-Modell einer der Komponenten 2 - 5, z. B. das 3D-Modell der Komponente 4, abweichend von dem 3D-Modell der Komponente 4 in dem Soll-3D-Modell angeordnet ist, dann können die Bilddaten nochmals gezielt auf diese Komponente 4 hin untersucht werden. Dies ist nur ein Beispiel der Plausibilitätsprüfung und es sind auch andere Verfahren denkbar. Es kann dann ein Bestimmen einer angepassten Ist-Position und Ist-Ausrichtung der Komponente 4 und damit einer angepassten Ist-Position und Ist-Ausrichtung des zur Komponente 4 in dem zweiten Ist-3D-Modell korrespondierenden 3D-Modells in oben beschriebener Weise erfolgen (s. dritter Teilschritt S23 des zweiten Schritts S2).
-
In dem neunten Teilschritt S29 des zweiten Schritts S2 erfolgt ein Anpassen des zweiten bestimmten Ist-3D-Modells unter Anpassen der Ist-Positionen und Ist-Ausrichtungen der in dem zweiten Ist-3D-Modell enthaltenen 3D-Modelle basierend auf einem Ergebnis des achten Teilschritts S28. Bei dem vorliegenden Beispiel kann dies bedeuten, dass die Ist-Position und Ist-Ausrichtung des zu der Komponente 4 korrespondierenden 3D-Modells in dem zweiten Ist-3D-Modell auf Basis der in dem achten Teilschritt S28 des zweiten Schritts 2 bestimmten angepassten Ist-Position und Ist-Ausrichtung des besagten zweiten 3D-Modells aktualisiert wird. Daraus resultiert ein finales bzw. drittes Ist-3D-Modell, welches nachfolgend als das Ist-3D-Modell bezeichnet wird.
-
In dem dritten Schritt S3 des Verfahrens wird das in dem zweiten Schritt S2 bestimmte Ist-3D-Modell mit dem in dem Speicher 72 hinterlegten Soll-3D-Modell des Zusammenbaus 1 zur Prüfung der Korrektheit des Zusammenbaus 1 wiederum mittels des in dem Speicher 72 hinterlegten und von dem Prozessor 71 ausgeführten Computerprogramms komponentenweise, d. h. 3D-Modell für 3D-Modell der beiden 3D-Modelle des Zusammenbaus 1, verglichen. Mit anderen Worten, das Vergleichen des bestimmten Ist-3D-Modells mit dem Soll-3D-Modell des Zusammenbaus 1 zur Prüfung der Korrektheit des Zusammenbaus 1 umfasst ein komponentenweises Vergleichen der das Soll-3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen. Das Soll-3D-Modell ist dafür, wie oben beschrieben, aus 3D-Modellen einzelner, den Zusammenbau bildenden Komponenten 2 - 5 zusammengesetzt und umfasst die Information bezüglich der Soll-Ausrichtung und der Soll-Position der einzelnen 3D-Modelle. Nachfolgend wird der dritte Schritt S3 weiter im Detail erläutert. Dabei kann optional teilweise auf die Ergebnisse aus den oben beschriebenen Optimierungsschritten S24 - S 29 zurückgegriffen werden.
-
In einem ersten Teilschritt S31 des dritten Schritts S3, d. h. des komponentenweisen Vergleichens, erfolgt ein Vergleichen der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells an sich, um so in dem Ist-3D-Modell im Vergleich zum Soll-3D-Modell fehlende 3D-Modelle einzelner Komponenten 2 - 5 und/oder im Ist-3D-Modell aber nicht im Soll-3D-Modell vorhandene 3D-Modelle einzelner Komponenten 2 - 5 zu identifizieren.
-
In einem zweiten Teilschritt S32 des dritten Schritts S3, d. h. des komponentenweisen Vergleichens, erfolgt ein Vergleichen der Soll-Position und Soll-Ausrichtung mit der Ist-Position und Ist-Ausrichtung der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells, um im Ist-3D-Modell vom Soll-3D-Modell abweichend angeordnete 3D-Modelle einzelner Komponenten 2 - 5 zu identifizieren.
-
In einem vierten Schritt S4 des Verfahrens wird eine ein Ergebnis des Vergleichens des bestimmten Ist-3D-Modells mit dem Soll-3D-Modell umfassende Information, d. h. das Ergebnis des dritten Schritts S3, vorliegend visuell durch Ansteuern der Anzeigevorrichtung 8 (umfassend ein Erzeugen eines entsprechend Steuersignals mittels des in dem Speicher 72 hinterlegten und von dem Prozessor 72 ausgeführten Computerprogramms) ausgegeben.
-
Die oben beschriebenen Schritte S1 - S4 und Teilschritte S21 - S29, S31, S32 repräsentieren einen möglichen Ablauf des Verfahrens, wobei auch davon abweichende Abläufe denkbar sind. Die einzelnen Schritte S1 - S4 und Teilschritte S21 - S29, S31, S32 müssen dabei nicht notwendigerweise als separate Schritte S1 - S4 und Teilschritte S21 - S29, S31, S32 mittels Software implementiert werden. Vielmehr können auch mehrere Schritte S1 - S4 und/oder Teilschritte S21 - S29, S31, S32 zusammengefasst werden. Beispielsweise können die Teilschritte S24 - S26 des zweiten Schritts S2 in einem einzigen (Teil-) Schritt zusammengefasst werden.
-
Bezugszeichenliste
-
- 1
- Zusammenbau
- 2 - 5
- Komponenten des Zusammenbaus
- 6
- Sensor, z. B. Kamera
- 7
- Computer
- 71
- Prozessor
- 72
- Speicher
- 8
- Anzeigevorrichtung, z. B. Display
- S1 - S4
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 9187188 B2 [0006, 0007, 0009, 0011, 0025, 0027, 0070]
- US 10242438 B2 [0006, 0008, 0009, 0011, 0025, 0027, 0070]
- DE 102020134680 A1 [0010, 0011]
