-
GEBIET
-
Hierin beschriebene Ausführungsformen beziehen sich allgemein auf ein Messsystem und ein Aufzeichnungsmedium, das darauf ein Messprogramm speichert.
-
HINTERGRUND
-
Iterativ-Nächst-Punkt (ICP, Iterative Closest Point) ist als eine Technik zum Abgleichen von Daten von zwei Punktwolken gemäß demselben Messziel bekannt. Eine Abgleichstechnik, wie etwa die ICP-Technik kann beispielsweise einen Bildvergleichsprozess zum Überprüfen, dass Teile korrekt montiert sind, angewendet werden.
-
In einer Abgleichstechnik, wie etwa der ICP-Technik, tendiert die Menge an Verarbeitungszeit dazu, anzusteigen, wenn die Anzahl von Punktwolken groß ist. Entsprechend, falls eine Abgleichstechnik, wie etwa die ICP-Technik einfach auf ein Teile-Montagesystem angewendet würde, könnte es sein, dass die Echtzeit-Eigenschaften zur Zeit der Messung verloren gehen.
-
Figurenliste
-
- 1 ist ein Blockdiagramm, das eine Konfiguration eines Beispiels eines Messsystems gemäß einer ersten Ausführungsform zeigt.
- 2 ist ein Diagramm, das ein Beispiel einer Hardwarekonfiguration des Messsystems zeigt.
- 3 ist ein Flussdiagramm, das einen Betrieb des Messsystems gemäß der ersten Ausführungsform zeigt.
- 4 ist ein Diagramm, das ein Konzept einer Kreuzregion zeigt.
- 5A ist ein Diagramm, das ein Beispiel eines Anzeigeprozesses zeigt.
- 5B ist ein Diagramm, das ein Beispiel eines Anzeigeprozesses zeigt.
- 5C ist ein Diagramm, das ein Beispiel eines Anzeigeprozesses zeigt.
- 6 ist ein Blockdiagramm, das eine Konfiguration eines Beispiels eines Messsystems gemäß einer zweiten Ausführungsform zeigt.
- 7 ist ein Flussdiagramm, das einen Betrieb des Messsystems gemäß der zweiten Ausführungsform zeigt.
- 8 ist ein Flussdiagramm, das einen Führungsprozess zeigt.
- 9A ist ein Diagramm, das ein Anzeigebeispiel eines drei-dimensionalen Objektes zeigt.
- 9B ist ein Diagramm, das ein Anzeigebeispiel eines drei-dimensionalen Objektes zeigt.
-
DETAILLIERTE BESCHREIBUNG
-
Im Allgemeinen, gemäß einer Ausführungsform, ein Messsystem, das einen Prozessor umfasst, der Hardware beinhaltet. Der Prozessor berechnet eine erste Information unter Bezugnahme auf einen Marker, der in einem Messziel vorgesehen ist. Die erste Information gibt eine Position und eine Haltung einer Kamera an. Die Kamera misst Tiefeninformation, welche eine Tiefe zu jedem Punkt des Messziels angibt, zusammen mit einem Bild des Messziels. Der Prozessor extrahiert zweite Forminformation aus erster Forminformation auf Basis der ersten Information. Die erste Forminformation gibt eine dreidimensionale Form des Messziels an. Die zweite Forminformation, die eine drei-dimensionale Form angibt, entsprechend einem Bildgebungsbereich der Kamera. Der Prozessor vergleicht die Tiefeninformation mit der zweiten Forminformation. Der Prozessor berechnet zweite Information auf Basis eines Ergebnisses des Vergleichs zwischen der Tiefeninformation und der zweiten Forminformation. Die zweite Information gibt die Position und die Haltung der Kamera mit höherer Präzision als die erste Information an. Der Prozessor veranlasst eine Anzeige, Information, die sich auf das Ergebnis des Vergleichs zwischen der Tiefeninformation und der zweiten Forminformation bezieht, basierend auf der zweiten Information, anzuzeigen.
-
Nachfolgend werden Ausführungsformen unter Bezugnahme auf die Zeichnungen beschrieben.
-
Erste Ausführungsform
-
1 ist ein Blockdiagramm, welches eine Konfiguration eines Beispiels eines Messsystems gemäß einer ersten Ausführungsform zeigt. Das in 1 gezeigte Messsystem 1 kann zur Messung in einem Montagesystem von Teilen verwendet werden. Ein Messziel des Messsystems 1 ist beispielsweise ein Teil p, welches in eine Vorrichtung D eingebracht wird. Das Teil p, welches ein Messziel ist, wird mechanisch in die Vorrichtung D beispielsweise durch ein Montagesystem montiert. Eine Konfiguration eines Montagesystems ist nicht auf eine bestimmte beschränkt. Das Teil p kann in die Vorrichtung D beispielsweise durch eine Person eingebaut werden.
-
Das Messsystem 1 gemäß der Ausführungsform vergleicht Information zu einer drei-dimensionalen Form der Vorrichtung D, die durch eine Kamera 2 gemessen wird, und Information, welche die drei-dimensionale Form der Vorrichtung D angibt, die vorab vorbereitet ist, und präsentiert dem Anwender ein Ergebnis des Vergleichs. Der Anwender ist beispielsweise ein Arbeiter, der überprüft, ob das Teil p korrekt in die Vorrichtung D montiert ist.
-
Wie in 1 gezeigt, beinhaltet das Messsystem 1 eine erste Recheneinheit 11, eine Extraktionseinheit 12, eine Formdatenbank (DB) 13, eine zweite Recheneinheit 14 und eine Anzeigesteuereinheit 15. Das Messsystem 1 ist konfiguriert, mit der Kamera 2 kommunizierbar zu sein. Die Kommunikation zwischen dem Messsystem 1 und der Kamera 2 kann entweder drahtlos oder verdrahtet sein. Das Messsystem 1 ist konfiguriert, mit der Anzeige 3 kommunizierbar zu sein. Die Kommunikation zwischen dem Messsystem 1 und der Anzeige 3 kann entweder drahtlos oder verdrahtet erfolgen.
-
Die Kamera 2 ist beispielsweise eine Kamera, die durch den Anwender ergriffen wird, und konfiguriert ist, Tiefeninformation eines Messziels zusammen mit einem Bild des Messziels zu messen. Die Tiefeninformation ist Information zu einer Distanz ab der Kamera 2 zu jedem Punkt auf einer Oberfläche der Vorrichtung D. Die Messung der Tiefeninformation durch die Kamera 2 kann beispielsweise durch Projizieren und Empfangen von Doppellinsen-Infrarotlicht durchgeführt werden. Jedoch ist die Messung der Tiefeninformation nicht darauf beschränkt. Die Tiefeninformation kann beispielsweise durch ein Lichtdetektions- und Reichweiten-(LiDAR)-Verfahren gemessen werden. Die Kamera 2 kann eine RGB-D-Kamera sein. Eine RGB-D-Kamera ist eine Kamera, die konfiguriert ein RGB-D-Bild zu messen. Ein RGB-D-Bild beinhaltet ein Tiefenbild und ein Farbbild (RGB-Farbbild). Ein Tiefenbild ist ein Bild, das eine Tiefe jedes Punkts eines Messziels als einen Pixelwert enthält. Ein Farbbild ist ein Bild, das einen RGB-Bildwert jedes Punkts eines Messziels als einen Pixelwert enthält. Die Kamera 2 kann eine Kamera sein, die zum Messen eines Graustufenbildes statt eines Farbbilds in der Lage ist.
-
Die Anzeige 3 ist eine Anzeige, wie etwa eine Flüssigkristallanzeige oder eine organische EL-Anzeige. Die Anzeige 3 zeigt verschiedene Typen von Bildern auf Basis von Daten an, die aus dem Messsystem 1 transferiert werden.
-
Die erste Recheneinheit 11 berechnet erste Information, die eine Position und eine Haltung der Kamera 2 angibt, welche die Vorrichtung D fotografiert hat, unter Bezugnahme auf einen Marker M, der in der Vorrichtung D vorab angeordnet ist. Der Marker M ist ein Marker mit einer bekannten Größe und in einer vorbestimmten Orientierung an einer vorbestimmten Position der Vorrichtung D angeordnet. Beispielsweise ist der Marker M an einer vorbestimmten Position der Vorrichtung D auf solche Weise angeordnet, dass seine zwei Seiten orthogonal zueinander parallel zu vorbestimmten X- und Y-Achsen auf einer Oberfläche der Vorrichtung D sind, und dass sein Normal parallel zu einer vorbestimmten Z-Achse auf der Oberfläche der Vorrichtung D ist. Der Marker M ist beispielsweise ein augmentierter Realitäts-(AR)-Marker und kann erkannt werden basierend auf einem Bild, welches durch die Kamera 2 erfasst wird. Zwei oder mehr Marker M können auf einer einzelnen Oberfläche der Vorrichtung D angeordnet sein. Die Marker M können auf zwei oder mehr Oberflächen der Vorrichtung D angeordnet sein.
-
Aus bekannter drei-dimensionaler Forminformation des Messziels, die in der Form-DB 13 gespeichert ist, extrahiert die Extraktionseinheit 12 auf Basis erster Information dreidimensionale Forminformation entsprechend einem Bildbereich von Tiefeninformation der Kamera 2. Wie später beschrieben wird, ist der Bildgebungsbereich der Tiefeninformation ein quadratischer pyramidaler Bereich unter Bezugnahme auf die Kamera 2.
-
Die Form-DB 13 speichert bekannte drei-dimensionale Forminformation des Messziels. Die bekannte drei-dimensionale Forminformation können beispielsweise Entwurfszeichnungsdaten sein, die auf einem 3D-Computer unterstützten Design (CAD) der Vorrichtung D basieren, beinhaltend das Messziel. Die bekannte drei-dimensionale Forminformation ist nicht auf Entwurfszeichendaten beschränkt, und kann Daten einer gegebenen Punktwolke oder Daten, die in Daten einer Punktwolke umgewandelt werden können, sein. Auch kann die Form-DB 13 außerhalb des Messsystems 1 vorgesehen sein. In diesem Fall erfasst die Extraktionseinheit 12 des Messsystems 1 Information aus der Form-DB 13 nach Bedarf. Die bekannte drei-dimensionale Forminformation kann am Messsystem 1 durch den Anwender eingegeben werden, statt in der Form-DB 13 registriert zu sein.
-
Die zweite Recheneinheit 14 vergleicht durch die Kamera 2 gemessene Tiefeninformation und durch die Extraktionseinheit 12 extrahierte drei-dimensionale Forminformation. Spezifisch vergleicht die zweite Recheneinheit 14 Daten zu einer Messpunktwolke, die aus Tiefeninformation erzeugt wird, und Daten zu einer Punktwolke, welche drei-dimensionale Forminformation konfiguriert, und führt Datenabgleich der zwei Punktwolken durch, wodurch zweite Information berechnet wird, welche die Position und Haltung der Kamera 2 mit höherer Präzision als die erste Information angibt. Der Datenabgleich der Punktwolken kann durch eine iterative Nächst-Punkt-(ICP)-Technik, eine kohärente Punkt-Drift-(CPD)-Technik etc. durchgeführt werden.
-
Die Anzeigesteuereinheit 15 zeigt, auf Basis der zweiten Information, Information über ein Formvergleichsergebnis durch die zweite Recheneinheit 14 auf der Anzeige 3 an. Die Information über das Formvergleichsergebnis ist beispielsweise ein Bild, welches durch Überlagern eines Bilds basierend auf einer Punktwolke eines Messziels, das in der Form-DB 13 gespeichert ist, über ein Bild, das auf einer Punktwolke basiert, welche durch die Kamera 2 gemessen wird, ermittelt wird. Die Anzeigesteuereinheit 15 assoziiert das durch die Kamera 2 gemessene Bild mit einer aus der durch die Kamera 2 gemessenen Tiefeninformation ermittelten Punktwolke basierend auf beispielsweise der Hochpräzisionsposition und Haltung der Kamera 2, wodurch ein drei-dimensionales Modell des Messziels erzeugt wird. Die Anzeigesteuereinheit 15 überlagert ein drei-dimensionales Modell, welches auf der bekannten drei-dimensionalen Forminformation basiert, dem erzeugten drei-dimensionalen Model des Messziels und zeigt es auf der Anzeige 3 an.
-
2 ist ein Diagramm, das ein Beispiel einer Hardwarekonfiguration des Messsystems 1 zeigt. Das Messsystem 1 kann eine Endgerätvorrichtung verschiedener Typen sein, wie etwa eines persönlichen Computers (PC), eines Tablet-Endgeräts etc. Wie in 2 gezeigt, beinhaltet das Messsystem 1 einen Prozessor 101, ein ROM 102, ein RAM 103, einen Speicher 104, eine Eingabeschnittstelle 105, und ein Kommunikationsmodul 106 als Hardware.
-
Der Prozessor 101 ist ein Prozessor, welcher den Gesamtbetrieb des Messsystems 1 steuert. Der Prozessor 101 führt beispielsweise in dem Speicher 104 gespeicherte Programme aus, wodurch er als eine erste Recheneinheit 11, eine Extraktionseinheit 12, eine zweite Recheneinheit 14 und eine Anzeigesteuereinheit 15 arbeitet. Der Prozessor 101 ist beispielsweise eine Zentraleinheit (CPU). Der Prozessor 101 kann beispielsweise eine Mikroprozessoreinheit (MPU), eine Graphikverarbeitungseinheit (GPU), eine applikationsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gatter-Array (FPGA), etc. sein. Der Prozessor 101 kann beispielsweise entweder eine Einzel-CPU oder eine Vielzahl von CPUs sein.
-
Ein Nur-Lesespeicher (ROM) 102 ist ein nicht-flüchtiger Speicher. Das ROM 102 speichert ein Aktivierungsprogramm etc. des Messsystems 1. Ein Wahlfrei-Zugriffsspeicher (RAM) 103 ist ein flüchtiger Speicher. Das RAM 103 wird beispielsweise als ein Arbeitsspeicher während der Verarbeitung am Prozessor 101 verwendet.
-
Der Speicher 104 ist beispielsweise ein Speicher wie etwa ein Festplattenlaufwerk oder ein Solid-State-Laufwerk. Der Speicher 104 speichert verschiedene Typen von durch den Prozessor 101 ausgeführten Programme, wie etwa ein Messprogramm. Der Speicher 104 kann die Form-DB 13 speichern. Die Form-DB 13 muss nicht notwendiger Weise im Speicher 104 gespeichert werden.
-
Die Eingabeschnittstelle 105 beinhaltet Eingabevorrichtungen wie etwa ein Touch-Panel, eine Tastatur und eine Maus. Wenn eine Bedienung an einer Eingabevorrichtung der Eingabeschnittstelle 105 durchgeführt wird, wird ein einem Inhalt der Bedienung entsprechendes Signal an den Prozessor 101 eingegeben. Der Prozessor 101 führt verschiedene Prozesse in Reaktion auf dieses Signal durch.
-
Das Kommunikationsmodul 106 ist ein Kommunikationsmodul, um dem Messsystem 1 zu gestatten, mit externen Vorrichtungen wie etwa der Kamera 2 und der Anzeige 3 zu kommunizieren. Das Kommunikationsmodul 106 kann ein Kommunikationsmodul für entweder verdrahtete oder Drahtlos-Kommunikationen sein.
-
Als Nächstes wird ein Betrieb des Messsystems 1 gemäß der ersten Ausführungsform beschrieben. 3 ist ein Flussdiagramm, das einen Betrieb des Messsystems 1 gemäß der ersten Ausführungsform zeigt. Die Verarbeitung von 3 wird durch den Prozessor 101 ausgeführt. Hier wird ein Fall beschrieben, bei dem die Kamera 2 eine RGB-D-Kamera ist und die bekannte drei-dimensionale Forminformation ein Beispiel von 3D CAD-Daten der Vorrichtung D ist. Jedoch, wie oben beschrieben, muss die Kamera 2 nicht eine RGB-D-Kamera sein und die bekannte drei-dimensionale Forminformation muss nicht 3D CAD-Daten der Vorrichtung D sein.
-
Im Schritt S1 erfasst der Prozessor 101 ein RGB-D-Bild der Vorrichtung D einschließlich eines Teils p, welches ein Messziel ist, aus der Kamera 2.
-
Im Schritt S2 detektiert der Prozessor 101 einen Marker M aus einem durch die Kamera 2 erfasstem Farbbild. Der Prozessor 101 wandelt das aus der Kamera 2 erfasste Farbbild in beispielsweise ein Graustufenbild um, wandelt weiter das Graustufenbild in ein Schwarz-Weiß-Binärbild um, vergleicht das Schwarz-Weiß-Binärbild mit einem Muster des Markers M, das vorab gespeichert ist, und detektiert dadurch den Marker M. Die Detektionstechnik des Markers M ist nicht darauf beschränkt.
-
Im Schritt S3 berechnet der Prozessor 101 eine Position und eine Haltung der Kamera 2. Der Prozessor 101 berechnet eine Position und eine Haltung der Kamera 2 auf Basis einer Position, einer Größe und einer Orientierung des Markers M, der im Farbbild detektiert wird. Der Marker M wird in einer vorbestimmten Orientierung an einer vorbestimmten Position der Vorrichtung D angeordnet. Basierend auf der Position, der Größe und der Orientierung des Markers M im Farbbild, können die Position und Haltung der Kamera 2 in Bezug auf die Vorrichtung D berechnet werden. Basierend auf beispielsweise der Position und der Größe des Markers M im Farbbild kann eine Distanz von der Kamera 2 zum Marker M, das heißt die Position der Kamera 2, berechnet werden. Auch kann basierend auf einer Neigung jeder Seite (jeder Achse) des Markers M im Farbbild eine Neigung der Kamera 2 in Bezug auf die Vorrichtung D, das heißt die Haltung der Kamera 2, berechnet werden.
-
Im Schritt S4 führt der Prozessor 101 eine Koordinatenumwandlung von 3D CAD-Daten durch. Spezifisch erfasst der Prozessor 101 3D CAD-Daten der Vorrichtung D aus dem Speicher 104. Basierend auf der berechneten Position und Haltung der Kamera 2 wandelt der Prozessor 101 Werte von Koordinaten jedes Punkts in den 3D CAD-Daten in Werte in einem Koordinatensystem der Kamera 2 um. Beispielsweise wendet der Prozessor 101 eine basierend auf Position und Haltung der Kamera 2 berechnete Transformationsmatrix auf Werte von Koordinaten jedes Punkts in den 3D CAD-Daten an, wodurch gestattet wird, dass die Koordinaten jedes Punkts in den 3D CAD-Daten parallel bewegt und rotiert werden.
-
Im Schritt S5 bestimmt der Prozessor 101 eine Kreuzregion, wo eine Punktwolke in den 3D CAD-Daten und ein Bildgebungsbereich der Kamera 2 sich kreuzen. 4 ist ein Diagramm, das ein Konzept einer Kreuzregion zeigt. Wenn eine Tiefenrichtung auch berücksichtigt wird, wird ein Bildgebungsbereich der Kamera 2 durch einen quadratischen pyramidalen Bereich repräsentiert, der um eine optische Achse der Kamera 2 gebildet wird. Annehmend beispielsweise, dass die Kamera 2 an der Position eines Punkts C in 4 ist, ist ein Bildgebungsbereich r der Kamera 2 ein quadratischer pyramidaler Bereich mit dem Punkt C als Spitze und der optischen Achse der Kamera 2 als der Normalen. Die Kreuzregion ist eine Region, wo der quadratische pyramidale Bildgebungsbereich r und eine Punktwolke, welche die 3D CAD-Daten konfiguriert, überlappen. Hier, annehmend dass die Position und die Haltung der Kamera 2 bekannt sind und ein Sichtwinkel oder eine Brennweite der Kamera 2 zum Zeitpunkt der Fotographie bekannt ist, kann der quadratische pyramidale Bildgebungsbereich r durch Werte im Koordinatensystem der Kamera 2 repräsentiert werden. Im Schritt S5 bestimmt der Prozessor 101 von dem quadratischen pyramidalen Bildgebungsbereich r einen Bereich, der Koordinatenwerte der Punktwolken der 3D CAD-Daten als einer Kreuzregion beinhaltet. Rechenfehler der Position und der Haltung der Kamera 2 berücksichtigend, kann die Kreuzregion eine gewisse Spannbreitenregion beinhalten.
-
Im Schritt S6 extrahiert der Prozessor 101 3D CAD-Daten, die in der Kreuzregion der 3D CAD-Daten enthalten sind. Die Kamera 2 misst Tiefeninformation des Bildgebungsbereichs. Entsprechend sind Daten zu einer aus der Tiefeninformation erzeugten Messpunktwolke auch auf Daten im Bildgebungsbereich der Kamera 2 beschränkt. Somit reicht es aus, dass die 3D CAD-Daten Daten in den Bildgebungsbereich der Kamera 2 enthalten. In der Ausführungsform sind die 3D CAD-Daten entsprechend dem Bildgebungsbereich der Kamera 2 beschränkt, um die Verarbeitungszeit des Abgleichs der Punktwolken zu reduzieren.
-
Im Schritt S7 führt der Prozessor 101 Abgleich von Daten einer Punktwolke durch, welche die extrahierten 3D CAD-Daten konfiguriert, und Daten zu einer Messpunktwolke, die aus der Tiefeninformation erzeugt wird, wodurch die Hochpräzisionsposition und Haltung der Kamera 2 berechnet wird. Die Daten über die Messpunktwolke können durch Synthetisieren der Tiefeninformation und der Farbbilddaten nach Durchführen von Ausrichtung unter Verwendung der ICP-Technik, der CPD-Technik etc. erzeugt werden. In der Ausführungsform, da die Anzahl von Punktwolken der 3D CAD-Daten entsprechend dem Bildgebungsbereich beschränkt ist, kann erwartet werden, dass der Abgleich in einer kurzen Zeitperiode abgeschlossen wird.
-
Im Schritt S8 überlagert der Prozessor 101 ein dreidimensionales Bild des Messziels auf Basis der 3D CAD-Daten einem dreidimensionalen Bild eines Messziels auf Basis von durch die Kamera 2 gemessenen Tiefeninformation, und zeigt das überlagerte Bild auf der Anzeige 3 an. Danach beendet der Prozessor 101 die Verarbeitung von 3.
-
5A, 5B und 5C sind Diagramme, die ein Beispiel eines Anzeigeprozesses im Schritt S8 zeigen. Hier zeigt 5A ein Beispiel eines Bilds eines Messziels, das auf 3D CAD-Daten basiert. 5B zeigt ein Beispiel eines Bilds eines Messziels auf Basis von Tiefeninformation, welche durch die Kamera 2 gemessen wird. 5C zeigt ein Beispiel eines tatsächlich im Schritt S8 angezeigten Bilds. Das Bild von 5A wird beispielsweise durch Anbringen einer Textur an den 3D CAD-Daten erzeugt. Das Bild von 5B wird beispielsweise durch Anbringen einer Textur oder von Farbbilddaten an den Daten auf der Messpunktwolke erzeugt. Das Bild von 5C kann beispielsweise erzeugt werden durch Überlagern des Bilds von 5A auf das Bild von 5B und Betonen eines Differenzialbereichs. Die Ausrichtung des Bilds von 5A und des Bilds von 5B kann basierend auf einem Abgleichsergebnis im Schritt S8 durchgeführt werden. Die Hervorhebung kann durch verschiedene Techniken, wie etwa Ändern der Farbe des Differenzialbereichs, Hinzufügen von Schattierungen entsprechend der Differenz und Anzeigen eines Rahmens etc., der den Differenzialbereich angibt, durchgeführt werden.
-
5A zeigt, dass entwurfsgemäß das Teil p verschraubt ist. Andererseits ist, wie in 5B gezeigt, in dem nach Abschluss der Montage gemessenen Bilds das Teil p nicht verschraubt. Entsprechend wird in dem ein Vergleichsergebnis zeigenden Bild, wie in 5C gezeigt, das Teil p zur Anzeige gefärbt. Durch Betrachten des Bilds von 5C kann der Anwender erkennen, dass das Teil p nicht korrekt montiert ist.
-
Hier, zusätzlich zum Prozess von 3, kann die Tiefeninformation und das Farbbild, gemessen durch die Kamera 2, im Speicher 104 gespeichert werden. Solche Tiefeninformation und ein Farbbild kann verwendet werden als Evidenz in einer Prüfoperation von einer Teilemontage.
-
Wie oben beschrieben, ist gemäß der ersten Ausführungsform eine Punktwolke in dreidimensionaler Forminformation, die ein Vergleichsziel in Bezug auf eine aus Tiefeninformation der Kamera 2 erzeugte Messpunktwolke ist, gemäß dem Bildgebungsbereich der Kamera 2 beschränkt. Da eine Punktwolke in einem Bereich, der nicht durch die Kamera 2 gemessen werden kann, nicht zum Abgleich verwendet werden muss, kann die Verarbeitungszeit für den Abgleich reduziert werden, indem die Punktwolken der dreidimensionalen Forminformation vorab beschränkt werden. Somit kann das Messsystem 1 der ersten Ausführungsform auch einen Echtzeitprozess bewältigen.
-
Es kann einen Fall geben, bei dem eine Dichte der durch die Kamera 2 gemessenen Messpunktwolke und eine Dichte einer Punktwolke der bekannten dreidimensionalen Forminformation sich unterscheiden. In diesem Fall, wenn die Bereiche der zwei Punktwolken, die verglichen werden, differieren, kann ein Abgleich nicht an einer angemessenen Position durchgeführt werden, abhängig von dem Charakteristikbetrag. In der ersten Ausführungsform führt die Beschränkung der Vergleichsziel-Punktwolke, um den Bereich der Messpunktwolke und den Bereich der Vergleichsziel-Punktwolke äquivalent zu machen, auch zur Unterdrückung von Fehlern beim Abgleich.
-
Zweite Ausführungsform
-
Als Nächstes wird die zweite Ausführungsform beschrieben. 6 ist ein Blockdiagramm, welches eine Konfiguration eines Beispiels eines Messsystems gemäß der zweiten Ausführungsform zeigt. In 6 werden dieselben Bezugszeichen wie jene von 1 Elementen ähnlich jenen in 1 zugewiesen. Eine Beschreibung der Elemente, die jenen in 1 ähneln, ist geeigneter Weise weggelassen oder vereinfacht.
-
Das in 6 gezeigte Messsystem 1 beinhaltet weiter eine Führungseinheit 16. Die Führungseinheit 16 empfängt durch die erste Recheneinheit 11 berechnete erste Information. Die Führungseinheit 16 führt einen Prozess zum Führen des Anwenders auf solche Weise, dass die Position und Haltung der Kamera 2 geeignet werden für die Erfassung von Tiefeninformation, durch. Dieser Prozess ist beispielsweise ein Prozess des Erzeugens eines Bilds, welches das nächste Messziel angibt. Das Bild, welches das nächste Messziel angibt, kann beispielsweise ein dreidimensionales Objekt sein, welches das Messziel simuliert.
-
Die Anzeigesteuereinheit 15 gemäß der zweiten Ausführungsform zeigt ein durch die Führungseinheit 16 erzeugtes Bild auf der Anzeige 3 an.
-
Eine Hardwarekonfiguration des Messsystems 1 gemäß der zweiten Ausführungsform ist grundlegend ähnlich demjenigen von 2. In der zweiten Ausführungsform kann der Prozessor 101 als eine Führungseinheit 16 arbeiten.
-
Als Nächstes wird der Betrieb des Messsystems 1 gemäß der zweiten Ausführungsform beschrieben. 7 ist ein Flussdiagramm, das eine Operation des Messsystems 1 gemäß der zweiten Ausführungsform zeigt. Die Verarbeitung von 7 wird durch den Prozessor 101 ausgeführt. In 7 werden dieselben Bezugszeichen wie jene von 3 Prozessen ähnlich zu jenen in 3 zugewiesen. Eine Beschreibung der Prozesse, welchen dieselben Bezugszeichen wie jenen in 3 zugewiesen sind, wird geeigneter Weise weggelassen oder vereinfacht.
-
Die Verarbeitung ab Schritt S1 bis Schritt S4 ist die gleiche wie diejenige in 3. Im Schritt S11 führt, nachdem eine Koordinatenumwandlung der 3D CAD-Daten im Schritt S4 durchgeführt ist, der Prozessor 101 einen Führungsprozess durch. Nach dem Führungsprozess verschiebt sich die Verarbeitung zu Schritt S12. Der Führungsprozess ist ein Prozess zum Veranlassen der Anzeige 3, ein dreidimensionales Objekt zum Führen des Anwenders auf der Anzeige 3 anzuzeigen. Nachfolgend wird der Führungsprozess beschrieben. 8 ist ein Flussdiagramm, das einen Führungsprozess zeigt.
-
Im Schritt S21 erzeugt der Prozessor 101 ein dreidimensionales Objekt des nächsten Messziels zur Führung. Das dreidimensionale Objekt ist ein dreidimensionales Modell, das die Form des Messziels simuliert. Wenn beispielsweise das Messziel ein in die Vorrichtung D montiertes Teil p ist, kann das dreidimensionale Objekt ein dreidimensionales Modell sein, welches die Form des Teils p simuliert. Ein solches dreidimensionales Objekt kann beispielsweise im Speicher 104 gespeichert sein. In diesem Fall erfasst der Prozessor 101 ein dreidimensionales Objekt entsprechend dem nächsten Messziel aus dem Speicher 104.
-
Im Schritt S22 überlagert der Prozessor 101 ein dreidimensionales Objekt des nächsten Messziels beispielsweise einem Farbbild der Vorrichtung D, das durch die Kamera 2 gemessen wird. Die Überlagerungsposition des dreidimensionalen Objektes ist die Position des nächsten Messziels im Farbbild der Vorrichtung D. Durch die Verarbeitung im Schritt 3 wird die Position und Haltung der Kamera 2 in Bezug auf die Vorrichtung D unter Bezugnahme auf den Marker M berechnet. Basierend auf Position und Haltung der Kamera 2 kann die Position im nächsten Messziel im Farbbild spezifiziert werden. Hier ist es wünschenswert, dass das dem Farbbild überlagerte dreidimensionale Objekt entsprechend der Haltung der Kamera 2 in Bezug auf die Vorrichtung D rotiert wird. Eine Beschreibung ist im Schritt S22 gegeben worden, bei dem das dreidimensionale Objekt des nächsten Messziels einem durch die Kamera 2 gemessenen Farbbild überlagert wird. Jedoch ist die Konfiguration nicht darauf beschränkt. Das dreidimensionale Objekt des nächsten Messziels kann einem durch die Kamera 2 gemessenen Tiefenbild überlagert werden oder kann in dem Speicher 104 gespeicherten 3D CAD-Daten überlagert werden. Das heißt, dass das dreidimensionale Objekt einem gegebenen Bild überlagert werden kann, das dem Anwender gestattet, die Position und die Richtung des Fotografierens des nächsten Messziels zu erkennen.
-
Im Schritt S23 zeigt der Prozessor 101 ein Farbbild der Vorrichtung D an, auf welche ein dreidimensionales Objekt der Anzeige 3 überlagert ist. Danach beendet der Prozessor 101 die Verarbeitung in 8 und kehrt zur Verarbeitung in 7 zurück.
-
9A und 9B sind Diagramme, die ein Anzeigebeispiel eines dreidimensionalen Objekts zeigen. Wie in 9A und 9B gezeigt, ist ein dreidimensionales Objekt O einer Position eines Teils pn des nächsten Messziels überlagert. Durch Betrachten der Bilder von 9A und 9B kann der Anwender erkennen, wo das nächste Messziel positioniert ist, und von wo das nächste Messziel fotografiert werden sollte. Falls der Anwender beispielsweise das Bild in 9A betrachtet, erkennt der Anwender, dass das Teil pn des nächsten Messziels durch ein anderes Teil verborgen ist, da das dreidimensionale Objekt O einem anderen Teil überlagert ist. In diesem Fall kann der Anwender berücksichtigen, ob er die Richtung des Fotografierens der Kamera 2 in einer solchen Weise ändert, dass das Bild wie in 9B gezeigt, fotografiert wird.
-
Hier kann zusätzlich zur Verarbeitung in 8 ein Farbbild, dem ein dreidimensionales Objekt überlagert ist, im Speicher 104 gespeichert werden. Ein solches Farbbild kann als Evidenz bei einer Prüfoperation der Teilemontage verwendet werden.
-
Rückbezugnehmend auf 7 wird eine weitere Beschreibung gegeben. Im Schritt S12 nach dem Führungsprozess bestimmt der Prozessor 101, ob der Bildgebungsbereich der Kamera 2 angemessen ist. Im Schritt S12, falls bestimmt wird, dass der Bildgebungsbereich der Kamera 2 angemessen ist, verschiebt sich die Verarbeitung zu Schritt S5. Im Schritt S12, falls bestimmt wird, dass der Bildgebungsbereich der Kamera 2 unangemessen ist, kehrt die Verarbeitung zu Schritt S1 zurück. In diesem Fall führt der Anwender eine Fotografie eines Messzielteils wieder aus, indem er die Richtung des Fotografierens der Kamera 2 ändert, während er das auf der Anzeige 3 angezeigte Bild betrachtet.
-
Nunmehr wird eine Beschreibung der Bestimmung im Schritt S12 gegeben. Ob der Bildgebungsbereich der Kamera 2 angemessen ist oder nicht, wird basierend darauf bestimmt, ob eine adäquate Punktwolke für das nächste Messziel erfasst wird oder nicht. Im in 9A gegebenen Beispiel wird das Teil pn, welches das Messziel ist, durch ein anderes Teil verborgen. Eine Punktwolke kann nicht aus dem durch das andere Teil verborgenen Bereich erhalten werden. In solch einem Fall wird bestimmt, dass der Bildgebungsbereich unangemessen ist. Weiter, im Schritt S12, falls der Bereich der Überlappung zwischen dem Teil p des Messziels und dem dreidimensionalen Objekt O gleich oder niedriger als ein Schwellenwert ist, kann beispielsweise bestimmt werden, dass der Bildgebungsbereich angemessen ist. Im Schritt S12, zusätzlich zur Bestimmung, ob der Bereich der Überlappung gleich zu oder kleiner als ein Schwellenwert ist oder nicht, kann bestimmt werden, dass der Bildgebungsbereich angemessen ist, wenn die Größe des Teils p des Messziels im Farbbild gleich oder größer als ein Schwellenwert ist.
-
Im Schritt S12, nachdem sich die Verarbeitung zu Schritt S5 verschiebt, führt der Prozessor 101 eine Verarbeitung in einer ähnlichen Weise zu der der ersten Ausführungsform durch. Eine Beschreibung der Verarbeitung ab Schritt S5 bis Schritt S8 wird weggelassen.
-
Wie oben beschrieben wird gemäß der zweiten Ausführungsform ein Prozess zum Führen des Anwenders auf solche Weise implementiert, dass Position und Haltung der Kamera 2 für die Erfassung der Tiefeninformation geeignet werden, basierend auf Position und Haltung der Kamera 2 in Bezug auf die Vorrichtung D unter Bezugnahme auf den Marker M. Dadurch wird die Fotografie an einer angemessenen Position und Haltung durchgeführt, was zu einer Unterdrückung von Fehlern führt, wenn ein Abgleich zwischen einer Messpunktwolke und einer Punktwolke in der bekannten dreidimensionalen FormInformation durchgeführt wird.
-
Auch wird in der zweiten Ausführungsform ein, einen Teil des nächsten Messziels angebendes dreidimensionales Objekt beispielsweise einem Farbbild überlagert. Dies gestattet dem Anwender, auf solche Weise geführt zu werden, dass eine Teilemontageprüfoperation gemäß einer vorbestimmten Reihenfolge durchgeführt wird.
-
Modifikation
-
Eine Modifikation der ersten und zweiten Ausführungsformen wird beschrieben. In den ersten und zweiten Ausführungsformen wird das Messsystem 1 für die Messung eines Teilemontagesystems verwendet. Jedoch kann das Messsystem gemäß den ersten und zweiten Ausführungsformen auf ein gegebenes Messsystem angewendet werden, in welchem ein Abgleich zwischen ersten Punktwolkendaten auf Basis von Tiefeninformation, gemessen durch die Kamera 2, und zweiten Punktwolkendaten, die über einen breiteren Bereich als die ersten Punktwolkendaten verteilt sind, durchgeführt wird. In diesem Fall extrahiert der Prozessor 101 aus den zweiten Punktwolkendaten die Punktwolkendaten, die eine Kreuzregion mit dem Bildgebungsbereich der Kamera 2 bilden.
-
In den ersten und zweiten Ausführungsformen ist der Marker M ein AR-Marker. Jedoch muss ein AR-Marker, der Bilderkennung involviert, nicht notwendigerweise verwendet werden und es kann jeglicher Marker verwendet werden, der in der Lage ist, Position und Haltung der Kamera 2 zu berechnen. Beispielsweise können andere Marker wie etwa ein optischer Marker als der Marker M verwendet werden. Der optische Marker ist ein Marker, der Erkennung auf Basis einer Kombination eines Lichtprojektionselementes und eines Lichtempfangselementes durchführt. Durch Anordnen von drei oder mehr Sätzen von optischen Markern auf einer Oberfläche der Vorrichtung D ist es möglich, die Position und Haltung der Kamera 2 in Bezug auf die Vorrichtung D zu berechnen. Alternativ kann ein zweidimensionaler Code, ein Barcode, ein Checkerbode, etc. als der Marker M verwendet werden.
-
Darüber hinaus kann die Kamera 2 integral mit dem Messsystem 1 in den ersten und zweiten Ausführungsformen konfiguriert sein. In diesem Fall kann die Steuerung der Position und Haltung der Kamera 2 durch das Messsystem 1 durchgeführt werden.
-
Während gewisse Ausführungsformen beschrieben worden sind, sind diese Ausführungsformen nur beispielhaft präsentiert worden und sollen nicht den Umfang der Erfindung beschränken. Tatsächlich können die hierin beschriebenen neuen Ausführungsformen in einer Vielzahl anderer Formen verkörpert werden; darüber hinaus können verschiedene Weglassungen, Austäusche und Änderungen in Form der hierin beschriebenen Ausführungsformen gemacht werden, ohne vom Geist der Erfindungen abzuweichen. Die beigefügten Ansprüche und ihre Äquivalente sollen solche Formen oder Modifikationen mitabdecken, die innerhalb des Schutzumfangs und Geists der Erfindung fallen würden.
