-
Die vorliegende Erfindung betrifft ein Verfahren zur Qualitätsprüfung eines Objekts einer realen Umgebung unter Verwendung wenigstens einer Kamera zum Erfassen wenigstens einer Abbildung der realen Umgebung, einer optischen Darstellungseinrichtung und einer Verarbeitungsvorrichtung, die mit der wenigstens einen Kamera und mit der optischen Darstellungseinrichtung verbindbar ist. Die Erfindung betrifft weiterhin ein Computerprogrammprodukt zur Ausführung eines solchen Verfahrens, sowie eine entsprechende Anordnung zur Qualitätsprüfung eines Objekts.
-
Für Qualitätskontrollprozesse, beispielsweise in der Produktion, werden heute häufig für die verschiedenen Prüfaufgaben geschulte Werker eingesetzt. Dazu werden spezifische Informationen zur aktuell gefertigten Produktkonfiguration mit einem sogenannten „Product Information Paper“ (Produktinformationsblatt) ausgezeichnet, das entweder ausgedruckt und angeheftet oder auf ein Mobilsystem übertragen wird.
-
Diese klassische Vorgehensweise ist sehr flexibel, weil die Werker fortwährend für neue Anforderungen geschult werden, allerdings treten bei Müdigkeit gehäuft Fehler auf. Wenn die Fehler im Produktionsablauf aber unentdeckt bleiben, sind die Folgekosten häufig sehr hoch (vgl. B. Jung, S. Schweißer, and J. Wappis, „Qualitätssicherung im Produktionsprozess“, Hanser, 2013; V. B. Sommerhoff, A. Brecht, and M. Fiegler, „Moderne Ansätze der Qualitätssicherung in der Serienfertigung“, DGQ, 2014).
-
Deshalb wird eine Überprüfung der korrekten geometrischen Anordnung von komplexen Produkten oder Zusammenbauten oftmals auch durch Nutzung von (physikalischen) Schablonen oder Messlehren unterstützt. Hier benötigt allerdings jede Produktvariante eine spezielle Messlehre. Daraus resultiert aber gerade in der sogenannten Rump-Up-Phase (Produkteinführungsphase) eine geringe Wandlungsfähigkeit, weil Veränderungen in den Schablonen eine aufwendige Produktion der Messlehren bedingen. Gerade hier werden zunehmend auch automatisierte, Computer-Vision-basierte Prüfverfahren entwickelt, die z.B. für die über lange Zeiträume konstante Massenproduktion im Bereich Elektronik eingesetzt werden (vgl. Bo Su, Eric Solecky, Alok Vaid, „Introduction to metrology applications in IC manufacturing“, SPIE Press, 2015).
-
Auch in den Prüfeinrichtungen der komplexen Automobilproduktion werden bereits Computer-Vision-basierte Prüfmethoden eingesetzt. So werden etwa bildbasierte Prüfsysteme von Neurocheck (vgl. https://www.neurocheck.de/systemloesungen/ anwendungsgebiete/montagekontrolle/) oder VMT (vgl. https://vmt-visiontechnology.com/files/225/vmt-unternehmen-de-lq.pdf), die mit Referenzbildern trainiert werden, eingesetzt. Der Aufwand für das Trainieren ist allerdings sehr hoch, weil zunächst eine hohe Anzahl an Referenzbildern gesammelt und zum Trainieren der zugrundeliegenden Klassifikationsnetzwerke per Nutzerinteraktion als IO/NIO („in Ordnung/ nicht in Ordnung“) markiert („gelabelt“) werden müssen. Darüber hinaus ist der Ansatz sehr unflexibel, da für jede Produktvariante oder - veränderung neue Bilddaten antrainiert werden müssen. Deshalb werden zu überprüfende Produktaufbauten als auch die Prüfbetriebsmittel für die aktuelle Produktvariante mit Bar-Codes ausgezeichnet, beide Codes werden automatisiert eingelesen und zueinander verifiziert. Dadurch kann zumindest geprüft werden, ob die richtige Komponenten eingebaut wurden, die korrekte Pose wird allerdings nicht betrachtet (vgl. Strassner, M., Fleisch, E., „The Promise of Auto-ID in the Automotive Industry“, White Paper, Auto-ID Center, MIT, Cambridge (MA), 2003).
-
In weiteren Ansätzen werden auch sogenannte Augmented Reality Systeme zur Qualitätssicherung eingesetzt. Hier können z.B. die folgenden Systeme genannt werden:
- Das System „Digital-assisted Operator“ der Firma Diota (vgl. https://diota.com/) unterstützt die Echtzeit-Überlagerung von CAD-Modellen im Kamerabild in einer Augmented Reality Visualisierung. Es kann jedoch keine automatisierte Qualitätsüberprüfung umgesetzt werden. Ebenso wird mit dem System „FARO Visual Inspect“ der Firma FARO (vgl. https://www.faro.com/de-de/produkte/3d-manufacturing/visual-inspect/) die Echtzeit-Überlagerung von CAD-Modellen im Kamerabild in einer Augmented Reality Visualisierung unterstützt. Auch hier kann eine Qualitätsanalyse nur durch die Beobachtung des Prüfers und nicht automatisiert erfolgen.
-
Zwar nutzen diese Systeme Augmented Reality („AR“) und visualisieren CAD Daten in Überlagerung zu einem Objekt, das mit der Kamera aufgezeichnet wird, allerdings kann die Qualitätsinspektion nur durch einen visuellen Abgleich durch den Prüfer durchgeführt werden, den er in der Augmented Reality Visualisierung selbst erkennt. Die AR-Prüfung ist auch nicht zu späteren Zeitpunkten zuverlässig reproduzierbar und nicht automatisierbar, weil der IO („in Ordnung“), nIO („nicht in Ordnung“) Befund durch die Beobachtung des Prüfers mit Hilfe der Augmented Reality Visualisierung erfolgt.
-
DE 10 2016 112 800 A1 betrifft ein Verfahren zur Prüfung einer eingebauten Komponente, welche den Empfang einer Identität und einer ausgewählten Position der Komponente in Form eines Eingangssignals über ein mobiles Prüfgerät mit einer Steuerung, einer digitalen Kamera und einem Bildschirm beinhaltet, das mithilfe der digitalen Kamera ein dynamisches Pixelbild der ausgewählten Position in Echtzeit erfasst. Das Verfahren beinhaltet die Anzeige des Bildes in Echtzeit über den Bildschirm, die Projektion virtueller Hilfslinien auf dem Bild, die den Kanten der eingebauten Komponente entsprechen, und die Identifizierung der Komponente über die Steuerung, wenn das Bild an den projizierten Hilfslinien ausgerichtet wird. Ein vorbestimmter Bereich der eingebauten Komponente wird nach der Erkennung der eingebauten Komponente identifiziert, eine vorbestimmte Merkmalsabmessung wird im vorbestimmten Bereich gemessenen und ein Ausgangssignal mit einer Statusanzeige wird erzeugt, die anzeigt, ob die gemessene Merkmalsabmessung in einem kalibrierten Bereich liegt.
-
DE 10 2015 220 031 A1 betrifft ein Verfahren zur Abschätzung der Konfidenz einer optisch-visuellen Bestimmung der räumlichen Position und/oder Orientierung zumindest eines optischen Aufnahmegerätes anhand von Aufnahmen des zumindest einen Aufnahmegerätes von dem umgebenden Raum.
-
US 2016/0364867 A1 betrifft ein Verfahren, welches das Bestimmen einer Bewegung einer Kamera von einem ersten Zeitpunkt, an dem ein erstes Bild aufgenommen wurde, bis zu einem zweiten Zeitpunkt, an dem ein zweites Bild aufgenommen wurde, umfasst, sowie das Durchführen von Schätzverarbeitungsschritten zum Schätzen einer Position und Pose der Kamera.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Anordnung zur Qualitätsprüfung eines Objekts anzugeben, mit dem bzw. der eine qualitativ hochwertige, automatisierte und reproduzierbare Qualitätsüberprüfung eines zu prüfenden Objekts, beispielsweise in der Produktion, umgesetzt werden kann.
-
Die Erfindung betrifft ein Verfahren und eine Anordnung zur Qualitätsprüfung eines Objekts, sowie ein Computerprogrammprodukt, gemäß den Merkmalen, wie in den beigefügten Patentansprüchen angegeben.
-
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Qualitätsprüfung eines Objekts einer realen Umgebung unter Verwendung wenigstens einer Kamera zum Erfassen wenigstens einer Abbildung der realen Umgebung, einer optischen Darstellungseinrichtung und einer Verarbeitungsvorrichtung, die mit der wenigstens einen Kamera und mit der optischen Darstellungseinrichtung verbindbar ist, mit den folgenden Schritten:
- - Bereitstellen eines computergestützten Datenmodells eines zu prüfenden Objekts der realen Umgebung,
- - Definition einer Prüfgeometrie als einen geometrischen Teilbereich innerhalb des Datenmodells,
- - Definition einer Referenzgeometrie innerhalb des Datenmodells als ein Bezugssystem, zu dem eine Prüfung durchgeführt werden soll,
- - Definition, durch die Verarbeitungsvorrichtung, einer Prüfpose, in der die Kamera von einem Benutzer für eine durchzuführende Qualitätsprüfung des zu prüfenden Objekts als Soll-Positionierung zu platzieren ist,
- - Visualisierung, durch die Verarbeitungsvorrichtung, der Prüfpose auf der optischen Darstellungseinrichtung,
- - Erfassen wenigstens einer Abbildung der realen Umgebung durch die Kamera, deren Pose sich in einem Bereich befindet, der die Prüfpose umfasst, und Tracken, durch die Verarbeitungsvorrichtung, der Prüfgeometrie und der Referenzgeometrie in der wenigstens einen Abbildung,
- - Bestimmen, durch die Verarbeitungsvorrichtung, einer Pose der getrackten Prüfgeometrie in Relation zur Referenzgeometrie sowie wenigstens eines Parameters, der auf Basis dessen bestimmt wird, wie die Pose der getrackten Prüfgeometrie zu einer im Datenmodell definierten Soll-Pose der Prüfgeometrie in Relation ist,
- - Bestimmen, durch die Verarbeitungsvorrichtung, eines Qualitätsindikators, der eine Information über wenigstens eine Qualitätseigenschaft des zu prüfenden Objekts enthält, auf Basis des wenigstens einen Parameters und
- - Ausgabe, durch die Verarbeitungsvorrichtung, des Qualitätsindikators über eine Mensch-Maschine-Schnittstelle an den Benutzer.
-
Die Erfindung bietet den Vorteil, dass durch die Kombination der vorgenommenen Maßnahmen eine qualitativ hochwertige, automatisierte und reproduzierbare Qualitätsüberprüfung eines zu prüfenden Objekts, beispielsweise in der Produktion, umgesetzt werden kann. Dies wird zum einen dadurch ermöglicht, dass die Posen (Position und Orientierung) der in der Abbildung getrackten Prüfgeometrie und Referenzgeometrie in Relation zueinander gesetzt werden (mithin die Referenzgeometrie und Prüfgeometrie in Relation zueinander registriert werden), um die geometrische Ausrichtung der zugehörigen realen Objekte (zu prüfendes Objekt und Referenzobjekt) zueinander zu registrieren, womit eine berechnete und damit automatisierbare Information über wenigstens eine Qualitätseigenschaft des zu prüfenden Objekts in Form eines Qualitätsindikators gewonnen werden kann. Zugleich ist eine solche zuverlässige und automatisierte Qualitätsüberprüfung auch zu einem späteren Zeitpunkt reproduzierbar, da eine Visualisierung einer vorher definierten Prüfpose auf der optischen Darstellungseinrichtung für den Benutzer erfolgt. Mit einer solchen Prüfpose, die dem Benutzer visualisiert wird, damit dieser (und später auch ein anderer Benutzer) sie zuverlässig mit der Kamera einnehmen kann, kann eine (weitere) vergleichbare, reproduzierbare Qualitätsüberprüfung am gleichen oder einem ähnlichen Produkt, auch zu einem späteren Zeitpunkt, vorgenommen werden. Mit Ausgabe des Qualitätsindikators (beispielsweise IO/nIO für „in Ordnung“/„nicht in Ordnung“) über eine Mensch-Maschine-Schnittstelle an den Benutzer, z.B. visuell oder akustisch, ist die Qualitätsüberprüfung automatisierbar und hängt nicht mehr allein davon ab, ob der Benutzer die jeweilige individuelle Qualitätsprüfung aufgrund eines visuellen Abgleichs subjektiv für in Ordnung oder nicht in Ordnung befindet.
-
Die Erfindung betrifft gemäß dem ersten Aspekt auch eine Anordnung zur Qualitätsprüfung eines Objekts einer realen Umgebung mit einer Verarbeitungsvorrichtung, welche mit wenigstens einer Kamera zum Erfassen wenigstens einer Abbildung der realen Umgebung und einer optischen Darstellungseinrichtung koppelbar ist, wobei die Verarbeitungsvorrichtung eingerichtet ist, die oben beschriebenen Schritte auszuführen.
-
Gemäß einer Ausführungsform der Erfindung wird eine Pose der Kamera in einem Koordinatensystem der Referenzgeometrie erfasst.
-
Gemäß einer weiteren Ausführungsform der Erfindung zeigt der Qualitätsindikator eine erste Information an, die kennzeichnend für eine zufriedenstellende Qualität ist (z.B. „IO“), wenn die Pose der getrackten Prüfgeometrie von einer im Datenmodell definierten Soll-Position der Prüfgeometrie um weniger als einen vorbestimmten Abstand und/oder von einer im Datenmodell definierten Soll-Ausrichtung der Prüfgeometrie um weniger als einen vorbestimmten Winkel abweicht. Beispielsweise ist ein solcher vorbestimmter Abstand in einem Bereich von 1 mm, und ein solcher vorbestimmter Winkel in einem Bereich von 1 Grad.
-
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Qualitätsprüfung eines Objekts einer realen Umgebung unter Verwendung wenigstens einer Kamera zum Erfassen wenigstens einer Abbildung der realen Umgebung, einer optischen Darstellungseinrichtung und einer Verarbeitungsvorrichtung, die mit der wenigstens einen Kamera und mit der optischen Darstellungseinrichtung verbindbar ist, mit den folgenden Schritten:
- - Bereitstellen eines computergestützten Datenmodells eines zu prüfenden Objekts der realen Umgebung,
- - Definition einer Prüfgeometrie als einen geometrischen Teilbereich innerhalb des Datenmodells,
- - Definition, durch die Verarbeitungsvorrichtung, einer Prüfpose, in der die Kamera von einem Benutzer für eine durchzuführende Qualitätsprüfung des zu prüfenden Objekts als Soll-Positionierung zu platzieren ist,
- - Visualisierung, durch die Verarbeitungsvorrichtung, der Prüfpose auf der optischen Darstellungseinrichtung,
- - Erfassen wenigstens einer Abbildung der realen Umgebung durch die Kamera, deren Pose sich in einem Bereich befindet, der die Prüfpose umfasst, und Durchführung eines Trackings einer oder mehrerer Kanten in der Abbildung in Relation zur Prüfgeometrie durch die Verarbeitungsvorrichtung,
- - Bestimmen, durch die Verarbeitungsvorrichtung, von ersten Kanten in der Abbildung, für die ein vordefinierter erster Grad an Übereinstimmung zwischen dem Datenmodell und der Abbildung erreicht oder überschritten wird, und zweiten Kanten in der Abbildung, für die ein vordefinierter zweiter Grad an Übereinstimmung zwischen dem Datenmodell und der Abbildung unterschritten wird,
- - Bestimmen, durch die Verarbeitungsvorrichtung, eines Qualitätsindikators, der eine Information über wenigstens eine Qualitätseigenschaft des zu prüfenden Objekts enthält, auf Basis der bestimmten ersten und/oder zweiten Kanten, und
- - Ausgabe, durch die Verarbeitungsvorrichtung, des Qualitätsindikators über eine Mensch-Maschine-Schnittstelle an den Benutzer.
-
Ein solches Verfahren bietet dem Grundsatz nach die Kombination an Effekten und Vorteilen, wie oben in Bezug auf den ersten Aspekt beschrieben. Die kantenbasierte Prüfung kann, im Unterschied zum ersten Aspekt, ohne Bezug zu einer Referenzgeometrie durchgeführt werden. Beispielsweise kann eine IO/niO Klassifizierung in Form eines Qualitätsindikators etwa über einen Anteil der zweiten Kanten zur Anzahl aller in der Abbildung gerenderten Kanten erfolgen.
-
Die Erfindung betrifft gemäß dem weiteren Aspekt auch eine Anordnung zur Qualitätsprüfung eines Objekts einer realen Umgebung mit einer Verarbeitungsvorrichtung, welche mit wenigstens einer Kamera zum Erfassen wenigstens einer Abbildung der realen Umgebung und einer optischen Darstellungseinrichtung koppelbar ist, wobei die Verarbeitungsvorrichtung eingerichtet ist, die oben beschriebenen Schritte auszuführen.
-
Gemäß einer Ausführungsform der Erfindung wird die Definition der Prüfgeometrie innerhalb des Datenmodells und/oder die Definition der Referenzgeometrie innerhalb des Datenmodells von dem Benutzer angeleitet und in der Verarbeitungsvorrichtung hinterlegt. Unter Definition der Prüfgeometrie bzw. Referenzgeometrie wird die datentechnische Einrichtung oder das datentechnische Hinterlegen der Prüfgeometrie bzw. Referenzgeometrie in der Verarbeitungsvorrichtung verstanden. Eine Definition der Prüfgeometrie und/oder Referenzgeometrie in der Verarbeitungsvorrichtung kann auch durch ein Einlesen der Daten der Prüfgeometrie bzw. Referenzgeometrie von einer anderen Datenverarbeitungsvorrichtung in die Verarbeitungsvorrichtung erfolgen.
-
Das computergestützte Datenmodell ist beispielsweise ein CAD-Modell, welches ein Datenmodell (zum Beispiel als Teilgeometrie) des zu prüfenden Objekts beinhaltet. Beispielsweise werden auf der Grundlage von CAD-Daten Teilgeometrien von einem oder mehreren Prüfobjekten festgelegt.
-
Erfindungsgemäß legt der Benutzer zur Bestimmung der Prüfpose im Datenmodell eine Pose der Kamera fest, aus der das zu prüfende Objekt, und bei Definition der Referenzgeometrie wenigstens ein Teil der Referenzgeometrie, für die Kamera sichtbar ist. Dadurch wird ermöglicht, dass eine Qualitätsprüfung später aus der Prüfpose heraus zuverlässig durchgeführt werden kann.
-
Gemäß einer Ausführungsform der Erfindung weist die Verarbeitungsvorrichtung wenigstens eine erste Datenverarbeitungseinrichtung und eine zweite mobile Datenverarbeitungseinrichtung auf. Die Definition der Prüfgeometrie und/oder die Definition der Referenzgeometrie wird von dem Benutzer auf der ersten Datenverarbeitungseinrichtung angeleitet, beispielsweise auf einem stationären oder mobilen PC (Laptop) am Arbeitsplatz. Nach Fertigstellung wird die definierte Prüfgeometrie bzw. Referenzgeometrie von der ersten Datenverarbeitungseinrichtung an die mobile Datenverarbeitungsvorrichtung übertragen, beispielsweise an einen Tablet-Computer mit integrierter Kamera, mit welchem die Qualitätsprüfung durchgeführt wird.
-
Gemäß einer Ausführungsform der Erfindung wird die Prüfpose in Relation zum zu prüfenden Objekt festgelegt und die Visualisierung der Prüfpose erfolgt auf der optischen Darstellungseinrichtung in Relation zum zu prüfenden Objekt. Damit kann dem Benutzer verständlich visualisiert werden, von welcher Pose aus die Qualitätsprüfung des zu prüfenden Objekts durchgeführt werden soll.
-
In einer weiteren Ausführungsform erfolgt die Visualisierung der Prüfpose auf der optischen Darstellungseinrichtung durch die Verarbeitungsvorrichtung derart, dass diese als wenigstens eine Markierung, insbesondere virtueller Rahmen, im Sichtfeld einer Augmented Reality Anwendung auf der optischen Darstellungseinrichtung eingeblendet wird. Damit kann dem Benutzer in leicht verständlicher Weise visualisiert werden, von welcher Pose aus die Qualitätsprüfung des zu prüfenden Objekts durchgeführt werden soll.
-
Gemäß einer Ausführungsform der Erfindung wird mit der Visualisierung der Prüfpose eine Distanz zwischen der Markierung und dem zu prüfenden Objekt an den Benutzer ausgegeben. Auch dies dient der Verbesserung des Verständnisses für den Benutzer, anhand derer der Benutzer verifizieren kann, dass die Qualitätsprüfung ordnungsgemäß durchgeführt wird.
-
Gemäß einer weiteren Ausführungsform erfolgt die Visualisierung der Prüfpose auf der optischen Darstellungseinrichtung durch die Verarbeitungsvorrichtung derart, dass zusätzlich wenigstens eine Bodenmarkierung eingeblendet wird, die dem Benutzer anzeigt, an welcher Stelle auf dem Boden sich der Benutzer für die Einnahme der Prüfpose platzieren soll. Auch mit dieser Maßnahme kann dem Benutzer in leicht verständlicher Weise visualisiert werden, von welcher Pose aus die Qualitätsprüfung des zu prüfenden Objekts durchgeführt werden soll.
-
Gemäß einer Ausführungsform der Erfindung wird vor dem Erfassen der wenigstens einer Abbildung der realen Umgebung durch die Kamera von der Verarbeitungsvorrichtung die Pose der Kamera in Relation zur Prüfpose getrackt, und bei Feststellung, dass die getrackte Kamerapose um mehr als wenigstens einen vordefinierten Parameter von einer Sollausrichtung und/oder Sollposition der Prüfpose abweicht, dem Benutzer über die Mensch-Maschine-Schnittstelle signalisiert, dass ein Erfassen der wenigstens einer Abbildung der realen Umgebung durch die Kamera nicht erfolgen soll. Andernfalls wird signalisiert, dass ein Erfassen der wenigstens einer Abbildung der realen Umgebung durch die Kamera erfolgen kann. Damit kann dem Benutzer eine klare Anweisung gegeben werden, wann eine Qualitätsprüfung erfolgen soll, und damit einer fehlerhaften Qualitätsprüfung vorgebeugt werden.
-
Beispielsweise lässt die Verarbeitungsvorrichtung bei Feststellung, dass die getrackte Kamerapose um mehr als den wenigstens einen vordefinierten Parameter von einer Sollausrichtung und/oder Sollposition der Prüfpose abweicht, eine nachfolgende Qualitätsprüfung des prüfenden Objekts nicht zu. Damit kann eine fehlerhafte Qualitätsprüfung bei zu stark abweichender Kamerapose verhindert werden.
-
Gemäß einer Ausführungsform der Erfindung ist wenigstens ein Teil der Verarbeitungsvorrichtung als eine mobile Datenverarbeitungsvorrichtung ausgeführt. Bevorzugt ist sie in einem mobilen PC (Laptop), Tablet-Computer, Smartphone, oder Wearable Computer enthalten oder mit einem solchen gekoppelt.
-
Gemäß einer weiteren Ausführungsform sind wenigstens ein Teil der Verarbeitungsvorrichtung, die Kamera und die optische Darstellungseinrichtung in ein gemeinsames Gehäuse integriert. Beispielsweise sind diese in einen Tablet-Computer integriert.
-
Gemäß einer weiteren Ausführungsform sind wenigstens ein erster Teil der Verarbeitungsvorrichtung als wenigstens ein Remote-Computer (d.h. ein Computer, der sich von dem Ort der Qualitätsprüfung entfernt befindet, wie etwa ein Server-Computer) und ein zweiter Teil der Verarbeitungsvorrichtung als eine mobile Datenverarbeitungsvorrichtung ausgeführt, die miteinander koppelbar sind. Beispielsweise kann es sich bei dem Remote-Computer um einen Firmen-Server-Computer handeln, der über das Firmennetz mit der mobilen Datenverarbeitungsvorrichtung (beispielsweise ein Tablet-Computer) verbunden ist, oder um einen Server-Computer, der sich z.B. auf einer externen Serverfarm befindet. Beispielsweise sind der oder die Remote-Computer und die mobile Datenverarbeitungsvorrichtung über ein Netzwerk, etwa ein Firmennetz, oder das Internet miteinander verbunden.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt mit Softwarecode-Abschnitten, welche konfiguriert sind, ein Verfahren gemäß der vorliegenden Erfindung auszuführen, wenn sie in einen internen Speicher wenigstens einer Datenverarbeitungsvorrichtung, beispielsweise einen Tablet-Computer, geladen werden. Das Computerprogrammprodukt kann ein flüchtiges oder nicht-flüchtiges Speichermedium sein oder sich auf einem flüchtigen oder nicht-flüchtigen Speichermedium befinden oder dieses beinhalten.
-
Alle hierin beschriebenen Ausführungsformen in Bezug auf das Verfahren sind in analoger Weise auch auf eine Anordnung, wie hierin beschrieben, anwendbar, wobei die Verarbeitungsvorrichtung durch geeignete Hardware und/oder Software entsprechend eingerichtet ist, die Verfahrensschritte auszuführen. Bei der Verarbeitungsvorrichtung kann es sich um ein oder mehrere diskrete Systeme handeln, beispielsweise um einen mobilen PC, ein Tablet-Computer und/oder Smartphone, oder auch um ein verteiltes System unter Verwendung mehrerer gehäusetechnisch getrennter Datenverarbeitungsvorrichtungen, wie oben beschrieben. Beispielsweise lassen sich rechenintensive Verarbeitungsschritte, wie die Posenbestimmung oder das Tracken, an einen leistungsfähigen Server-Computer auslagern, der dann das jeweilige Ergebnis an den mobilen Computer, z.B. Tablet-Computer, zurücksendet. Darüber hinaus sind auch weitere verteilte Anwendungen, je nach den gegebenen Umständen, denkbar.
-
Die Erfindung wird im folgenden anhand der in der Zeichnung dargestellten Figuren, die Ausführungsformen der Erfindung darstellen, näher erläutert. Es zeigen:
- 1A ein Beispiel eines zu prüfenden Objekts, bzw. eines Teils davon, in Form eines Produkts mit komplexer geometrischer Form,
- 1B ein weiteres Beispiel eines zu prüfenden Objekts, bzw. eines Teils davon, in Form eines Produkts mit komplexer geometrischer Form,
- 2 eine Ausführungsform eines computergestützten Datenmodells, hier in Form eines CAD-Modells, in dem eine Prüfgeometrie definiert wird,
- 3 eine Ausführungsform eines computergestützten Datenmodells auf Basis des Datenmodells gemäß 2, in dem eine Referenzgeometrie definiert wird,
- 4 eine Ausführungsform eines zu prüfenden Produkts mit einer Visualisierung der Prüfpose in Form einer Markierung, die als Rahmen ausgeführt ist,
- 5 eine weitere Ausführungsform eines zu prüfenden Produkts mit Visualisierungen von verschiedenen Prüfposen in Form von Rahmen und zugehörigen Bodenmarkierungen zum Anzeigen einer entsprechenden Position auf dem Boden, auf die sich der Prüfer stellen soll,
- 6 eine Anordnung zur Qualitätsprüfung eines Objekts gemäß einer Ausführungsform der Erfindung,
- 7A, 7B eine Ausführungsform eines zu prüfenden Produkts mit einer Visualisierung von Prüfposen in Form einer Markierung, die als Rahmen ausgeführt ist, zu verschiedenen Zeitpunkten,
- 8A, 8B eine Ansicht einer optischen Darstellungseinrichtung während eines Qualitätsprüfungsprozesses gemäß einer Ausführungsform, bei der eine getrackte Kamerapose für die automatisierte Prüfung ungültig ist (8A) und bei der eine getrackte Kamerapose für die automatisierte Prüfung gültig ist (8B),
- 9A, 9B verschiedene Stadien eines zu prüfenden Produkts gemäß einer Ausführungsform, bei denen ein Ergebnis der Qualitätsprüfung für in Ordnung befunden (9A) bzw. nicht in Ordnung befunden (9B) wurde,
- 10A, 10B eine Ausführungsform eines zu prüfenden Produkts, bei der die Qualitätsprüfung auf Grundlage einer kantenbasierten Prüfung ohne Bezug zu einer Referenzgeometrie durchgeführt wird.
-
Im folgenden werden mehrere Ausführungsformen, teilweise von verschiedenen Aspekten der vorliegenden Erfindung beschrieben. Dabei werden zum Teil unterschiedliche zu prüfende Objekte, hier in Form von industriell hergestellten Produkten, dargestellt. Die Art des jeweiligen Produkts hat jedoch keinerlei beschränkende Wirkung auf das jeweils durchgeführte Verfahren bzw. deren jeweilige Schritte, so dass die in Bezug auf ein Ausführungsbeispiel beschriebenen Merkmale ohne weiteres auch auf die jeweils anderen dargestellten Ausführungsformen übertragen bzw. mit diesen untereinander auch teilweise kombiniert werden können.
-
Im Rahmen dieser Erfindung wird ein Verfahren und eine Anordnung vorgeschlagen, durch das bzw. die eine Qualitätsinspektion mit Hilfe eines mobilen Systems, welches mindestens eine Kamera umfasst (die z.B. in einem Tablet-Computer integriert ist), automatisiert werden kann. Dabei können beispielsweise folgende mögliche Produktgruppen untersucht werden, wie etwa Produkte mit komplexer geometrischer Form, z.B. ein Blech 201, wie in 1A dargestellt, oder komplexe Zusammenbauten, z.B. eine Automobilachse 202, wie in 1B dargestellt.
-
Im folgenden wird anhand eines konkreten Ausführungsbeispiels beschrieben, wie eine mögliche Qualitätsprüfung eines Objekts vorgenommen werden kann.
-
Um die Qualität eines Objekts, oder eines Teils davon, zu prüfen (zu validieren), wird eine Vorgehensweise vorgeschlagen, die bevorzugt die folgenden Komponenten verwendet:
- Ein erstes computergestütztes Verfahren, etwa in Form eines Computerprogramms (Software), zum Einrichten von Prüffällen (d.h. von verschiedenen möglichen zu prüfenden Objekten), das etwa auf einem stationären Computer, wie einem PC, ausgeführt wird.
-
Ein zweites computergestütztes Verfahren, etwa in Form eines Computerprogramms (Software), zum Durchführen einer Computer-Vision basierten Qualitätsprüfung eines Objekts, das etwa auf einem Tablet-Computer ausgeführt wird. Hierbei können auch weitere Komponenten, wie ein stationärer Computer und/oder Server-Computer zur Durchführung spezieller Rechenoperationen, hinzugezogen werden, wie bereits beschrieben.
-
Eine Ausführungsform für das erste computergestützte Verfahren wird im folgenden anhand der 2 und 3 näher beschrieben:
- Auf der Grundlage eines computergestützten Datenmodells 20 (z.B. CAD-Daten; CAD steht für „Computer Aided Design“) des Prüfobjektes, hier eines Blechs, werden ein oder mehrere Teilgeometrien des Prüfobjekts festgelegt, die für die automatisierte Prüfung die folgenden Aufgaben übernehmen:
-
„Prüfgeometrie“:
-
Eine innerhalb des Datenmodells 20 definierte Prüfgeometrie 21 beschreibt einen geometrischen Teilbereich, z.B. eine Ausstanzung, deren korrekte Form und/oder Platzierung innerhalb des Prüfobjektes überprüft werden soll. So kann etwa im Prüfobjekt die korrekte Lage und/oder Ausführung der Ausstanzung 21 geprüft werden (2).
-
„Referenzgeometrie“:
-
Eine innerhalb des Datenmodells 20 definierte Referenzgeometrie 22 definiert das Bezugssystem, zu dem eine Prüfung durchgeführt wird. Die Referenzgeometrie 22 wird z.B. durch den Benutzer interaktiv mit der Einrichtungssoftware festgelegt. Dabei wird z.B. die Prüfgeometrie 21 durch eine Verdeckungsgeometrie überlagert, ebenso können flexible Bauteile (z.B. Kabel oder deformierbare Objekte) aus der Referenzgeometrie entfernt werden, so dass nur noch starre Geometrieanteile übrigbleiben. 3 zeigt eine Ausführungsform einer Referenzgeometrie 22, die das zu prüfende Element (die Ausstanzung 21 gemäß 2) nicht beinhaltet, sondern nur die starren Elemente in der Umgebung des Prüfelements beinhaltet.
-
Wenn eine Qualitätsprüfung nicht komplexe geometrische Objekte, sondern Zusammenbauten betrifft, können die Prüfgeometrien und Referenzgeometrien aus starren Teilkomponenten des Zusammenbaus zusammengestellt werden, die oft im CAD als separierbare Subkonten modelliert sind.
-
„Prüfpose“:
-
Zusätzlich zu einer Definition der Referenz- und Prüfgeometrien werden im nächsten Schritt eine oder mehrere Prüfposen festgelegt. Das ist deshalb von Bedeutung, weil durch eine festgelegte Prüfpose sichergestellt werden kann, dass sowohl die Prüf- als auch die Referenzgeometrie aus der Prüfpose gut getrackt (in dem Kamerabild nachverfolgt) werden kann. Damit kann die relative Ausrichtung der Prüf- und Referenzgeometrie zueinander registriert werden.
-
Die Genauigkeit des Trackings ist (unter anderem) abhängig von dem Abstand der Kamera zum Prüfobjekt und von der zu prüfenden Struktur, die aus einer spezifischen Kamerapose erfasst werden kann. Deshalb kann eine Genauigkeit prinzipiell nicht unabhängig von der Prüfpose bestimmt werden. Deswegen wird eine Prüfung dann umso mehr replizierbar, wenn die Kamera in die gleiche oder zumindest eine ähnliche Pose in Relation zum Prüfobjekt geführt wird.
-
Zum modellbasierten Tracking und zur Registrierung von Objekten mit digitalen Modellen sind mehrere Dokumente bekannt, wie beispielsweise
EP 2 339 537 A1 oder
US 2012 / 0 120 199 A1 . Die dort beschriebenen Trackingverfahren, welche grundsätzlich auch bei dieser Erfindung anwendbar sind, werden jedoch dort nicht zur automatisierten Qualitätsprüfung verwendet, und die Pose (Position und Orientierung) der Objekte werden nicht in Relation zueinander registriert, um die geometrisch korrekte Ausrichtung der Objekte zueinander zu registrieren.
-
Die 4 zeigt schematisch eine Ausführungsform eines zu prüfenden Objekts 203 (hier eine Fahrzeugachse) mit einer Visualisierung der Prüfpose 30 in Form einer Markierung, die hier als Rahmen 100 ausgeführt ist. Im allgemeinen ist eine Prüfpose die Soll-Pose (Position und Orientierung) einer Kamera 12, in der die Kamera 12 eine oder mehrere Abbildungen des zu prüfenden Objekts 203 aufnehmen soll, um eine Qualitätsprüfung des Objekts 203 an der gewünschten Stelle durchzuführen. Die Prüfpose wird beispielsweise vom Benutzer im Datenmodell 20 bestimmt und festgelegt.
-
Gemäß einer bevorzugten Variante legt der Benutzer zur Bestimmung der Prüfpose 30 im Datenmodell 20 eine Pose der Kamera 12 fest, aus der das zu prüfende Objekt (hier der zu untersuchende Teil der Fahrzeugachse 203) und wenigstens ein Teil der Referenzgeometrie 22 für die Kamera 12 sichtbar ist. Bevorzugt wird die Prüfpose 30 in Relation zum zu prüfenden Objekt 203 festgelegt. Auch die Visualisierung der Prüfpose 30 erfolgt bevorzugt in Relation zum zu prüfenden Objekt 203.
-
In diesem Zusammenhang ist in 6 eine mögliche Anordnung 1 zur Qualitätsprüfung eines Objekts gemäß einer Ausführungsform der Erfindung gezeigt. Gezeigt ist dabei eine Anordnung, bei der wenigstens ein Teil der Verarbeitungsvorrichtung, beispielsweise in Form eines oder mehrerer Mikroprozessoren auf einer oder mehreren Schaltungsplatinen, als eine mobile Datenverarbeitungsvorrichtung 11 ausgeführt ist. Diese kann wiederum in einem mobilen PC (Laptop), Tablet-Computer, Smartphone oder Wearable Computer (allgemeiner Begriff für tragbare (Klein-) Computer oder ein in die Kleidung integriertes oder (unmittelbar) am Körper getragenes Computersystem, wie Smartwatches, Headsets oder ähnliches) enthalten oder mit diesem gekoppelt sein. Im vorliegenden Ausführungsbeispiel ist die mobile Datenverarbeitungsvorrichtung 11 in einem Smartphone oder Tablet-Computer 10 enthalten.
-
Die optische Darstellungseinrichtung 13 kann im Prinzip jede Art von geeigneten Bildschirmen oder optische Anzeigen enthalten und integriert oder separat vom Tablet-Computer 10 ausgeführt sein. Beispielsweise ist oder enthält die optische Darstellungseinrichtung 13 ein LCD- oder OLED-Display, das in den Tablet-Computer 10 integriert ist.
-
Die verwendete Kamera 12 kann dem Grundsatz nach jede geeignete Kamera zur Aufnahme von digitalen Abbildungen (Bildern) der Realität sein und als Kameravorrichtung 12 auch mehrere integrierte (beispielsweise eine Stereokamera) oder verteilte Kameras enthalten. Im vorliegenden Ausführungsbeispiel ist die Kamera 12 in dem Tablet-Computer 10, etwa auf dessen Rückseite, welche dem Display 13 abgewandt ist, integriert. Damit sind die Datenverarbeitungsvorrichtung 11, die Kamera 12 und das Display 13 in ein gemeinsames Gehäuse 14 integriert, so dass der Benutzer alle notwendigen Komponenten in einem kompakten System verein hat. Es ist jedoch auch möglich, diese Komponenten als verteilte Systemkomponenten zu benutzen, die miteinander verdrahtet oder drahtlos verbunden sind.
-
Außerdem ist es möglich, wie bereits beschrieben, dass ein zweiter Teil der Verarbeitungsvorrichtung, welche die Qualitätsprüfung durchführt, als ein Remote-Computer 15 ausgeführt ist, auf den bei Bedarf eine oder mehrere Rechenoperationen, wie beispielsweise das Tracking, ausgelagert werden können. Der Remote-Computer 15, z.B. ein Server-Computer, ist mit dem Tablet-Computer 10 bzw. der mobilen Datenverarbeitungsvorrichtung 11 drahtlos koppelbar, beispielweise über ein Netzwerk 16 wie das Internet.
-
Ebenso ist ein mobiler PC (Laptop) 17, auf dem das oben beschriebene Programm zur Definition der Prüfgeometrie, Referenzgeometrie und der Prüfpose ausgeführt werden kann, mit dem Tablet-Computer 10 drahtlos koppelbar.
-
Wenn die erste Phase der Qualitätsprüfung mit dem oben beschriebenen Programm zur Definition der Prüfgeometrie, Referenzgeometrie und der Prüfpose abgeschlossen ist, welches beispielsweise auf dem Laptop 17 oder einem stationären PC durchgeführt wurde, werden die eingerichteten Prüfumgebungen (wie ein oder mehrere Prüfgeometrien, Referenzgeometrien, Prüfposen) auf das mobile Computersystem, hier den Tablet-Computer 10, übertragen oder ausgerollt („deployed“).
-
Es erfolgt dann das zweite computergestützte Verfahren, etwa in Form eines Programms, zum Durchführen der Computer-Vision basierten Qualitätsprüfung eines Objekts.
-
Mit Bezug wiederum auf 4, führt der Prüfer die Kamera 12 in die Prüfpose 30, die vorab in dem Einrichtungsprogramm definiert wurde, um eine Qualitätsprüfung am Objekt 203 durchzuführen. Aus dieser Prüfpose 30 kann die Prüfgeometrie 21 und die Referenzgeometrie 22 gut erkannt werden, so dass die Prüfung zuverlässig durchgeführt werden kann. Ebenso ist der Abstand der Kamera 12 zum Prüfobjekt in dieser Pose bekannt, so dass die Genauigkeit der Prüfung reproduzierbar wird. Der Prüfer wird durch eine Markierung, hier in Form eines Rahmens 100, auch als sogenannter „View Point Indicator“ bezeichnet, die auf dem Display 13 in einer Augmented Reality Anwendung dargestellt wird, zu dieser Kamerapose navigiert. Der „View Point Indicator“ zeigt dabei die Prüfpose 30 an, zu der der Prüfer navigiert wird. Beispielsweise signalisiert der Rahmen 100 die Position, in der der Prüfer den Tablet-Computer 10 mit seinem rechteckigen Gehäuse positionieren soll, so dass der Rahmen 100 den Tablet-Computer 10 umschließt, um die Prüfpose einzunehmen.
-
Hierbei kann es vorkommen, dass die Pose der Kamera 12 bei der Aufnahme einer Abbildung des Prüfobjekts nicht exakt der Prüfpose 30 entspricht, sondern sich in einem Bereich um die Prüfpose 30 herum befindet. Es ist für die Zwecke der vorliegenden Erfindung ausreichend, wenn sich die Kamerapose innerhalb eines Bereichs befindet, der die Prüfpose 30 umfasst. Dieser Bereich kann relative Abweichungen in Position und/oder Orientierung von beispielsweise +/- 10% von der definierten Prüfpose 30 (z.B. bezogen auf einen Abstand bzw. Orientierung zum Prüfobjekt) umfassen.
-
Wie in 5 näher dargestellt, werden eine oder mehrere Prüfposen 30 dem Benutzer 2 (Prüfer) durch entsprechende Markierungen 100 („View Point Indicator“) angezeigt. So wird z.B. Position und Orientierung des Tablet-Computers 10 dargestellt, in die der reale Tablet-Computer für die AR-Inspektion geführt werden soll. Zusätzlich zu der Prüfpose können auch Posen auf dem Fußboden angezeigt werden, an denen sich der Prüfer 2 platzieren sollte, beispielsweise durch entsprechende Bodenmarkierungen 200 (sogenannte „Ground Point Indicator“). Diese „Ground Point Indicator“ 200 werden z.B. durch orthogonale Projektion der definierten „View Point Indicator“ 100 auf den Fußboden definiert. Der Fußboden kann beispielsweise über ein SLAM-(Simultanous Localisation and Mapping) basiertes Verfahren bestimmt werden, das als Standardverfahren durch viele aktuelle Smartphone-/Tabletsysteme und deren integrierte Software bestimmt werden kann. Mit der idealen Kamerapose am View Point (Betrachtungspunkt) kann somit darüber hinaus auch der optimale Standpunkt am Objekt 204 verortet und visualisiert werden.
-
Die View Point Indikatoren stellen somit eine Assistenzvisualisierung dar und werden dem Benutzer 2 beispielsweise als virtueller Rahmen 100 zur Soll-Positionierung für die Qualitätsprüfung im Sichtfeld seiner Augmented Reality Anwendung eingeblendet. Die View Point Indikatoren werden in Relation zum zu prüfenden und zum getrackten Objekt festgelegt und in Relation zu diesem visualisiert.
-
Ein maßgeblicher Vorteil der vorliegenden Erfindung ist auch, dass Qualitätsprüfungen zu unterschiedlichen Zeitpunkten und/oder durch unterschiedliche Benutzer besser reproduzierbar und automatisierbar sind. In diesem Zusammenhang zeigen die 7A und 7B schematische Darstellungen von unterschiedlichen Benutzern 2, die zu unterschiedlichen Zeiten einen gleichen Dokumentationsschritt am Objekt 204 aus der gleichen Prüfpose (visualisiert durch den Rahmen 100) heraus erstellen, womit wird die Qualitätsprüfung reproduzierbar wird.
-
Die 8A, 8B zeigen jeweils eine bzw. auf einem Display eines Tablet-Computers 10 während eines Qualitätsprüfungsprozesses gemäß einer Ausführungsform der Erfindung. Hierbei wird ein Symbol 102 (z.B. X-Symbol) eingeblendet, wenn eine getrackte Kamerapose von der Verarbeitungsvorrichtung für die automatisierte Prüfung als ungültig befunden wird (8A). Gegebenenfalls kann mit einem weiteren Symbol 104 angezeigt werden, in welche Richtung der Benutzer 2 die Kameraposition bzw. das Tablet 10 verschieben soll, um die Prüfpose 30 einzunehmen. In 8B ist eine der Kamera gezeigt, bei der eine getrackte Kamerapose für die automatisierte Prüfung gültig ist. Dies wird beispielsweise durch ein Haken-Symbol 101 angezeigt. Der Benutzer 2 hat hierzu das Tablet 10 innerhalb des virtuellen Rahmens 100 platziert, um die Prüfpose 30 einzunehmen. Über einen Button 103 kann ein Menü mit weiteren Funktionen aufgerufen werden. In der Visualisierung der Prüfpose kann außerdem eine Distanz d zwischen der Markierung 100 (und damit der Prüfpose 30) und dem zu prüfenden Objekt 204 auf dem Display dargestellt werden.
-
Mit der Visualisierung der Prüfpose und dem Einnehmen der entsprechenden Positionierung durch den Benutzer 2 werden zur automatisierten und reproduzierbaren Qualitätsprüfung die folgenden Schritte gemäß einer Ausführungsform der Erfindung durchgeführt.
-
Zunächst wird in der von der Kamera 12 erfassten Abbildung (Kamerabild) die Kamerapose in Relation zur Referenzgeometrie 22 getrackt. Des weiteren wird die Kamera 12 so ausgerichtet, dass eine Abweichung zwischen Soll-Pose (Prüfpose) und Ist-Pose beispielsweise einen vorgegebenen Schwellenwert nicht übersteigt. Ein solcher Schwellenwert (z.B. für die Positionierung und/oder Orientierung, jeweils in mehreren Dimensionen) definiert zum Beispiel einen (Ähnlichkeits-) Bereich, innerhalb dessen sich die Kamerapose befinden soll und der auch die Prüfpose umfasst. Ist das der Fall, wird die Kamerapose als gültig klassifiziert. Im nächsten Schritt wird aus einer gültigen Kamerapose die Prüfgeometrie 21 in Relation zur Referenzgeometrie 22 getrackt, d.h. in der von der Kamera aufgenommenen Abbildung nachverfolgt. Hierzu können verschiedene dem Fachmann bekannte Trackingverfahren eingesetzt werden, wie bereits beschrieben. Wenn die getrackte Ist-Pose der Prüfgeometrie 21 in Relation zu der in dem CAD-Modell 20 definierten Soll-Pose der Prüfgeometrie 21 einen vorgegebenen Schwellenwert nicht übersteigt, wird der Prüfschritt als „IO“ (in Ordnung), andernfalls als „NίO“ (nicht in Ordnung) klassifiziert. „IO“ bedeutet, dass das jeweilige Objekt in einem ordnungsgemäßen Zustand ist. Entsprechend bedeutet „NIO“, dass das jeweilige Objekt in einem nicht ordnungsgemäßen Zustand ist. Im Grunde entspricht diese Berechnung der Bestimmung eines Parameters (z.B. eines Vergleichsoperators auf Basis einer definierten Metrik), der auf Basis dessen bestimmt wird, wie die Pose der getrackten Prüfgeometrie 21 zu der im Datenmodell 20 definierten Soll-Pose der Prüfgeometrie 21 in Relation ist. Auf dessen Grundlage wird dann ein Qualitätsindikator (hier: „IO“, „NίO“ mit Information über eine Qualitätseigenschaft des geprüften Objekts (hier: ob die Prüfgeometrie im realen Produkt korrekt positioniert oder ausgerichtet ist) berechnet und an den Benutzer, z.B. über das Display 13 oder akustisch, ausgegeben.
-
In diesem Zusammenhang sind selbstverständlich auch andere Qualitätsindikatoren und Qualitätseigenschaften im Zusammenhang mit der vorliegenden Erfindung anwendbar. Z.B. sind auch Qualitätsindikatoren anwendbar, die auch eine Information über einen Grad einer Übereinstimmung bzw. Nicht-Übereinstimmung geben, z.B. um wie viel die jeweilige Prüfgeometrie abweicht.
-
Im folgenden wird anhand der 6 und 9A, 9B ein weiterer beispielhafter Anwendungsfall beschrieben. Eine Firma, welche komplexe Fahrzeugachsen herstellt, die für verschiedene Fahrzeugtypen konfiguriert werden können, will eine Qualitätsprüfung eines bestimmten Teils einer jeweiligen Fahrzeugachse durchführen. Für jede gefertigte Achse werden z.B. verschiedene Prüfungen auf Basis von CAD-Daten ausgeführt. So wird etwa geprüft, ob ein bestimmter Gewindebolzen in Relation zu einem Integralträger einer Achse 205 exakt ausgerichtet ist.
-
Zum Aufsetzen der Prüfung führt der Benutzer, beispielsweise ein Prüfingenieur, die folgenden Prüfschritte durch:
- Der Prüfingenieur startet das Programm (erster Teil des Verfahrens, wie oben beschrieben) zum Einrichten der Prüffälle. Der Prüfingenieur lädt die CAD-Daten zu der Achse, die geprüft werden soll, in einen Computer (beispielsweise einen Laptop 17 gemäß 6). Nachfolgend zeichnet der Prüfingenieur den Gewindebolzen im CAD-Modell 20 als Prüfgeometrie 21 und den Integralträger im CAD-Modell 20 als Referenzgeometrie 22 aus. Des weiteren legt der Prüfingenieur im CAD-Modell 20 eine Kamerapose als Prüfpose 30 fest, aus der der Gewindebolzen und der Integralträger sichtbar ist. Diese Schritte werden in dieser Ausführungsform vom Prüfingenieur angeleitet und datentechnisch in der Verarbeitungsvorrichtung, z.B. des Laptops 17 (beispielsweise einem Mikroprozessor mit zugehörigem Speicher), zur späteren Weiterverarbeitung definiert, mithin hinterlegt oder gespeichert. Diese Schritte könnten jedoch zumindest teilweise auch auf z.B. einem Tablet-Computer 10 oder einem Server-Computer 15, wie in 6 dargestellt, durchgeführt werden.
-
Es ist auch denkbar, dass die Prüfgeometrie, Referenzgeometrie und/oder Prüfpose auch zumindest teilweise automatisiert in der Verarbeitungsvorrichtung definiert werden, beispielsweise mit Hilfe intelligenter oder vom Benutzer instruierter Erkennungsalgorithmen, die in der Verarbeitungsvorrichtung hinterlegt sind oder Ergebnisse an die Verarbeitungsvorrichtung übertragen.
-
Nach der Festlegung dieses Prüfschrittes werden gegebenenfalls weitere Prüfschritte definiert. Nach Fertigstellung der Prüfpläne werden die erstellten Prüfpläne mit den oben beschriebenen Daten auf den Tablet-Computer 10 übertragen, welches einem Qualitätsprüfer (welcher sich von dem Prüfingenieur unterscheiden kann) übergeben wird.
-
Der Prüfer führt dann eine Qualitätsprüfung in den folgenden Schritten durch:
- Der Prüfer initiiert das Tracking mit der Referenzgeometrie 22, d.h. die Kamerapose der Kamera 12 bzw. der Tablet-Computer 10 (in dem die Kamera 12 integriert ist) wird im Koordinatensystem der Referenzgeometrie erfasst. Dem Prüfer wird in einer Augmented Reality Visualisierung auf dem Display 13 des Tablet-Computers 10 mit einem „View Point Indicator“ 100 die vorab definierte Prüfpose 30 in Bezug zur dargestellten Realität angezeigt (siehe z.B. die 5). Der Prüfer richtet dann den Tablet-Computer 10 so aus, wie es in der Augmented Reality Visualisierung des View Point Indicators vorgegeben ist.
-
Wenn die getrackte Pose der Kamera 12 (mithin die getrackte Pose des Tablet-Computers 10) z.B. mehr als 2° von der geplanten Kamera- bzw. Tabletausrichtung und mehr als 2 mm von der geplanten Kamera- bzw. Tabletposition abweicht, wird dem Prüfer ein X-Symbol 102 (8A) angezeigt, wenn die Ausrichtung unter 2° und unter 2 mm abweicht, wird ein Haken-Symbol 101 (8B) angezeigt. Danach kann der Prüfer eine gültige Qualitätsprüfung durchführen.
-
Aus der eingenommenen Prüfposition wird in dem Kamerabild 51 bzw. 52 die Referenzgeometrie 22 getrackt, ebenso wird die Prüfgeometrie 21 in Relation zur Referenzgeometrie getrackt. Wenn die getrackte Pose der Prüfgeometrie 21 z.B. weniger als 1° und 1 mm von der Soll-Ausrichtung bzw. Soll-Position, wie im CAD-Modell definiert, abweicht, wird die Prüfgeometrie entsprechend gekennzeichnet (beispielsweise hervorgehoben oder grün eingefärbt, vgl. Prüfgeometrie 21B gemäß 9B), im anderen Fall anders gekennzeichnet (beispielsweise rot eingefärbt), vgl. Prüfgeometrie 21A gemäß 9A. Im ersten Fall wird die Pose der getrackten Prüfgeometrie für in Ordnung befunden, im anderen Fall für nicht in Ordnung.
-
Wenn die Prüfgeometrie für in Ordnung befunden ist, wird der Prüffall automatisch als „IO“ Fall, andernfalls als „NIO“ Fall klassifiziert. Dazu kann ein Haken-Symbol 302 für „IO“ („in Ordnung“) bzw. ein X-Symbol 301 für „NIO“ („nicht in Ordnung“) eingeblendet werden. Danach wird der Prüfer über den View Point Indicator 100 gegebenenfalls zur nächsten Prüfstelle navigiert.
-
Gemäß einem weiteren Aspekt der Erfindung kann eine Qualitätsprüfung nicht nur auf Objektebene durchgeführt werden. Ebenso können einzelne Kanten, durch die eine Geometrie eines zu prüfenden Objektes beschrieben wird, in Relation zur Prüfgeometrie getrackt werden, so dass gezeigt werden kann, welche Bereiche der Prüfgeometrie besonders deutlich abweichen.
-
Eine solche kantenbasierte Prüfung kann ebenso ohne Bezug zu einer Referenzgeometrie durchgeführt werden. Im folgenden wird anhand von 10A und 10B eine Ausführungsform eines solchen Qualitätsprüfungsverfahrens beschrieben. Hierbei zeigen 10A, 10B eine Ausführungsform eines zu prüfenden Produkts, hier eines Metallträgers 206, bei der die Qualitätsprüfung auf Grundlage einer kantenbasierten Prüfung ohne Bezug zu einer Referenzgeometrie durchgeführt wird.
-
Die 10A zeigt ein Kamerabild 61 des Metallträgers 206 in einer ersten Form, bei der ein Arm an seinem Ende abgewinkelt ist, während die 10B ein Kamerabild 62 des Metallträgers 206 in einer zweiten Form zeigt, in der der Arm an seinem Ende gerade verläuft. Eine Qualitätsprüfung soll nun feststellen, ob ein Metallträger gemäß dem Kamerabild 61 einem ordnungsgemäßen Metallträger entspricht.
-
Zunächst wird der Metallträger 206 in einer Form gemäß 10A oder ein Teil davon als Prüfgeometrie in einem CAD-Modell definiert. Danach wird die Kamera 12 bzw. der Tablet-Computer 10 in eine vorher definierte Prüfpose 30 gebracht (beispielsweise durch Einblendung von „View Point Indicator“ 100 angeleitet), wie anhand der vorherigen Ausführungsbeispiele beschrieben. Danach wird aus der Prüfpose heraus ein jeweiliges Kamerabild 61, 62 aufgenommen und ein Tracking einer oder mehrerer Kanten im Kamerabild 61 und im Kamerabild 62 jeweils in Relation zur Prüfgeometrie durchgeführt.
-
Dabei werden z.B. modellbasierte Trackingverfahren eingesetzt, die gerenderte Modellkanten und im Kamerabild erkannte Kanten assoziieren. Siehe hierzu auch: Wuest H., Vial F., Stricker D., „Adaptive line tracking with multiple hypotheses for augmented reality,“ Fourth IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR'05), 2005, pp. 62-69, doi: 10.1109/ISMAR.2005.8. Insbesondere werden sodann erste Kanten 71 in dem jeweiligen Kamerabild bestimmt, für die ein vordefinierter erster Grad an Übereinstimmung zwischen dem CAD-Modell des Metallträgers 206 und dem Kamerabild erreicht oder überschritten wird, sowie zweite Kanten 72, für die ein vordefinierter zweiter Grad an Übereinstimmung zwischen dem CAD-Modell und dem Kamerabild unterschritten wird. Beispielsweise werden Kanten 71, für die eine gute Übereinstimmung zwischen CAD-Modell und erfasstem Objekt gefunden wird, grün gefärbt, während Kanten 72, für die keine Übereinstimmung gefunden werden kann, rot gefärbt werden (in 10A gestrichelt dargestellt). Das heißt, zu den Kanten 72, die im Kamerabild 62 detektiert werden, können keine Modellkanten assoziiert werden.
-
Hierbei definiert ein Erreichen oder eine Überschreitung des ersten Grads an Übereinstimmung (z.B. eines entsprechend definierten Schwellenwerts) eine gute Übereinstimmung, während eine Unterschreitung eines zweiten Grads an Übereinstimmung (welcher dem ersten Grad gleich oder davon unterschiedlich sein kann, z.B. dem definierten Schwellenwert entspricht) keiner Übereinstimmung entspricht.
-
Ein Qualitätsindikator kann dann auf Basis der bestimmten ersten und/oder zweiten Kanten 71, 72 bestimmt werden. Beispielsweise findet eine IO/NIO Klassifizierung dann etwa über einen Anteil der zweiten Kanten 72 zur Anzahl aller im Kamerabild gerenderten (erkannten) Kanten statt. Ein solcher Qualitätsindikator kann ähnlich wie in 9A, 9B zum Beispiel als Haken-Symbol 302 im Fall „IO“ bzw. als X-Symbol im Fall „NIO“ am Display des Tablet-Computers 10 ausgegeben werden.
-
Weiterhin kann auch an den Benutzer ausgegeben werden, welche der Kanten eine gute Überstimmung aufweisen bzw. welche keine Übereinstimmung aufweisen. Damit kann der Benutzer auch zum Beispiel örtliche oder quantitative Rückschlüsse darüber ziehen, wo und gegebenenfalls in welcher Art Qualitätsmängel vorliegen.
-
Eine Ausgabe des Qualitätsindikators kann in dieser Ausführungsform, wie auch in den anderen Ausführungsformen, nicht nur optisch auf einem Display dargestellt werden, sondern kann zusätzlich oder alternativ auch akustisch oder haptisch über eine entsprechende Mensch-Maschine-Schnittstelle an den Benutzer ausgegeben werden.
-
Aspekte der vorliegenden Erfindung beinhalten somit die folgenden vorteilhaften Merkmale und Effekte:
- Unterschiedliche Personen können zu unterschiedlichen Zeitpunkten eine meist gleichbleibende Inspektion und Inspektionsdokumentation erstellen, d.h. die Qualitätsprüfung wird reproduzierbar.
-
Die Qualitätsprüfung hängt nicht mehr vom Geschick oder der Erfahrung eines einzelnen Benutzers ab, d.h. die Qualitätsprüfung wird teilweise automatisiert.
-
Anhand der Ausgabe der Distanz zwischen einem View Point Indicator und dem Zielobjekt kann der Benutzer neben der Definition einer idealen Prüfpose auch die räumliche Einnehmbarkeit eben dieser beurteilen (wenn Pose zu weit weg, kann diese auf Grund der Umgebung potentiell nicht eingenommen werden).
-
Die festgelegten Prüfposen können bei ähnlichen Prüfobjekten von einem Prüffall auf den nächsten übertragen werden und müssen gegebenenfalls nur leicht modifiziert werden.
-
Die erfolgreiche Einnahme eines View Point Indicators kann über die Trackingtechnologie validiert werden, so dass z.B. eine gültige Qualitätsprüfung nur dann zugelassen wird, wenn sich die Kamera in einer Pose befindet, die der vorgegebenen Prüfpose entspricht oder ähnlich ist.
-
Die Anleitung eines Prüfprozesses kann sehr intuitiv durchgeführt werden, weil der Benutzer durch die View Point Indicator sehr intuitiv durch komplexe Prüfprozesse geführt werden kann.
