DE112021000595T5

DE112021000595T5 - Bildverarbeitungssystem

Info

Publication number: DE112021000595T5
Application number: DE112021000595.2T
Authority: DE
Inventors: Yuta Namiki
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-01-17
Filing date: 2021-01-12
Publication date: 2022-12-01
Also published as: CN114902281A; US20230033339A1; WO2021145304A1; JPWO2021145304A1

Abstract

Die vorliegende Erfindung befasst sich mit dem Problem, ein Bildverarbeitungssystem bereitzustellen, das ein Zielobjekt genau und effizient erkennen kann, selbst wenn sich die Positionsbeziehung zwischen einer Bildaufnahmevorrichtung und dem Zielobjekt zwischen dem Zeitpunkt des Lehrens und dem Zeitpunkt der Detektion unterscheidet. Ein Bildverarbeitungssystem 1 umfasst: einen Controller 52, der auf Basis von Positionsinformationen eines Roboters 2 zur Bestimmung der Position eines Optiksensors 4 in einem Roboterkoordinatensystem und auf der Grundlage von Positionsinformationen, die die Position eines Zielobjekts W in einem Bildkoordinatensystem zeigen, die Positionsbeziehung zwischen dem Optiksensor 4 und dem Zielobjekt W erhält; undeine Speichereinheit 51, die auf der Grundlage eines Modellmusters, das aus Merkmalspunkten besteht, die aus einem Lehrbild extrahiert wurden, und auf der Grundlage der Positionsbeziehung zwischen dem Optiksensor 4 und dem Zielobjekt W beim Erfassen des Lehrbildes das Modellmuster in Form von dreidimensionalen Positionsinformationen speichert. Die Controller-Einheit 52 führt eine Erkennungsverarbeitung durch, bei der das Zielobjekt W aus einem Erkennungsbild auf der Grundlage eines Ergebnisses erkannt wird, das durch den Abgleich des Modellmusters mit den Merkmalspunkten erhalten wird, die aus dem Erkennungsbild, das das Zielobjekt W enthält, extrahiert wurden.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungssystem.
HINTERGRUND
Konventionell gibt es ein bekanntes Verfahren zum Vergleich von Merkmalswerten eines zweidimensionalen Eingangsbildes, das von einer Bildgebungsvorrichtung aufgenommen wurde, mit Merkmalswerten eines Modellmusters als voreingestellte Standardinformation, um festzustellen, dass ein Objekt erkannt wird, wenn der Grad der Übereinstimmung ein vorgegebenes Niveau überschreitet. Beispiele für eine solche Technik beinhalten die generalisierte Hankel-Fourier-Transformation. Die Patentdokumente 1 bis 3 offenbaren Bildverarbeitungstechniken zur Erkennung eines Objekts aus einem Eingangsbild.
Patentdokument 1 bezieht sich auf eine Technik zur dreidimensionalen Rekonstruktion von Kanten, die sich nahezu parallel zu einer Epipolarlinie schneiden. Zum Beispiel beschreibt das Patentdokument 1 in Absatz 0014 „die ersten Kanten e2 und e4 sind zwei der Kanten, die sich in derselben Ebene befinden und die Epipolarlinie EP innerhalb eines vorbestimmten Winkelbereichs relativ zu 90 Grad schneiden. Diese Kanten können durch die Stereomethode mit einer Genauigkeit dreidimensional rekonstruiert werden“.
Patentdokument 2 bezieht sich auf eine Technik zur Messung eines Abstands zu einem vorbestimmten Bereich eines Messobjekts unter Verwendung von mindestens drei Bildgebungsvorrichtungen, die jeweils ein Bild des Messobjekts über ein Bildgebungsobjektiv aufnehmen.
Patentdokument 3 bezieht sich auf eine Technik zur Verringerung des Einflusses von Pseudobildmerkmalen, die aus einem Bildbereich extrahiert werden, der einem schattierten Bereich entspricht, wodurch die Stabilität und Genauigkeit der Anpassung und des Abgleichs verbessert werden.

Patentdokument 1: Ungeprüfte japanische Patentanmeldung, JP-2013-130508 A
Patentdokument 2: Ungeprüfte japanische Patentanmeldung, JP-2009-002761 A
Patentdokument 3: Ungeprüfte japanische Patentanmeldung, JP-2012-042396 A

OFFENBARUNG DER ERFINDUNG
Durch die Erfindung zu lösende Probleme
Wenn eine zweidimensionale Kamera als Bildgebungsvorrichtung verwendet wird, wird das Erfassungsergebnis in einem Bildkoordinatensystem dargestellt. Dies erfordert eine Transformation des zweidimensionalen Erfassungsergebnisses, das im Bildkoordinatensystem dargestellt wird, in dreidimensionale Information, die in einem Roboterkoordinatensystem dargestellt ist, so dass ein Roboter an dem detektierten Objekt arbeitet. Die Transformation in die dreidimensionale Information erfolgt beispielsweise durch ein Verfahren zur Projektion des im Bild gefundenen Detektionsergebnisses auf eine imaginäre Ebene unter der Annahme, dass das Detektionsergebnis in einer bestimmten Ebene liegt.
Wenn sich die Positionsbeziehung zwischen der bildgebenden Vorrichtung und dem Objekt beim Einlernen eines Modellmusters von einer detektierten Positionsbeziehung zwischen der bildgebenden Vorrichtung und dem Objekt unterscheidet, weichen Größe und Form des Objekts im Bild von denen des eingelernten Modellmusters ab. Die Detektion des Objekts in diesem Zustand kann fehlschlagen oder Zeit in Anspruch nehmen. Dieses Phänomen tritt in der Regel auf, wenn der Roboter die Bildgebungsvorrichtung oder das Objekt bewegt und sich deren Lagebeziehung ändert. Selbst wenn die Bildgebungsvorrichtung fixiert ist, treten ähnliche Probleme auf, wenn die Bildgebungsvorrichtung verlagert wird und sich die relativen Positionen von Objekt und Bildgebungsvorrichtung ändern. Bestehende Techniken haben ähnliche Probleme.
Mittel zur Lösung der Probleme
Ein Bildverarbeitungssystem der vorliegenden Offenbarung ist ein Bildverarbeitungssystem, das ein Bild eines Objekts aus einem Bild erkennt, das von einer Bildgebungsvorrichtung aufgenommen wurde, deren Position relativ zu dem Objekt von einem Roboter geändert wird. Das Bildverarbeitungssystem umfasst: eine Steuerung, die eine Positionsbeziehung zwischen der Bildgebungsvorrichtung und dem Objekt auf der Grundlage von Positionsinformationen des Roboters, die verwendet werden, um die Position der Bildgebungsvorrichtung in einem Roboterkoordinatensystem zu identifizieren, und Positionsinformationen, die die Position des Objekts in einem Bildkoordinatensystem angeben, erfasst; und einen Speicher, der ein Modellmuster, das aus Merkmalspunkten gebildet ist, die aus einem Bild zum Lehren extrahiert wurden, in Form von dreidimensionalen Positionsinformationen auf Basis des Modellmusters und einer Positionsbeziehung zwischen der Bildgebungsvorrichtung und dem Objekt, als das Bild zum Lehren aufgenommen wurde, speichert. Die Steuerung führt einen Detektionsprozess zum Detektieren des Objekts aus einem detektierten Bild, das das Objekt beinhaltet, auf Basis des Ergebnisses des Abgleichs zwischen den aus dem detektierten Bild extrahierten Merkmalspunkten und dem Modellmuster aus.
Auswirkungen der Erfindung
Die vorliegende Offenbarung stellt ein Bildverarbeitungssystem bereit, das in der Lage ist, ein Objekt korrekt und effizient zu detektieren, selbst wenn eine detektierte Positionsbeziehung zwischen einer Bildgebungsvorrichtung und dem Objekt von einer eingelernten Positionsbeziehung zwischen der Bildgebungsvorrichtung und dem Objekt abweicht.
Figurenliste

1 ist eine Ansicht, die eine Konfiguration eines Bildverarbeitungssystems zeigt;
2 ist eine Ansicht, die Konfigurationen einer Optiksensorsteuerungsvorrichtung und einer Robotersteuerungsvorrichtung zeigt;
3 ist ein funktionelles Blockdiagramm, das schematisch die von einem Steuergerät ausgeführten Funktionen im Zusammenhang mit der Bildverarbeitung darstellt;
4 ist eine Ansicht, die ein Modellmuster zeigt, das aus einer Vielzahl von Merkmalspunkten besteht;
5 ist ein Flussdiagramm eines Verfahrens zur Erstellung eines Modellmusters;
6 ist eine Ansicht, die einen in einem Bild spezifizierten Modellmusterbereich zeigt;
7 ist ein Flussdiagramm der Umwandlung eines Modellmusters in dreidimensionale Punkte;
8 ist ein Diagramm, das die Beziehung zwischen einer Sichtlinie eines Optiksensors als Bildgebungsvorrichtung und einer Kompensationsebene illustriert;
9 ist ein Flussdiagramm eines Anpassungsprozesses eines ersten Beispiels; und
10 ist ein Flussdiagramm eines Anpassungsprozesses eines zweiten Beispiels.

BEVORZUGTER MODUS ZUM AUSFÜHREN DER ERFINDUNG
Eine Ausführungsform der vorliegenden Erfindung wird im Folgenden beschrieben. 1 ist ein Diagramm, das eine Konfiguration eines Bildverarbeitungssystems 1 gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Das in 1 dargestellte Bildverarbeitungssystem 1 detektiert ein Bild eines Objekts W aus einem Bild, das von einem Optiksensor 4 aufgenommen wurde, der als Bildgebungsvorrichtung dient, deren Position relativ zum Objekt W von einem Roboter 2 verändert wird. In der folgenden Beschreibung bezieht sich ein „Bildkoordinatensystem“ auf ein (zweidimensionales) Koordinatensystem, das in einem Bild definiert ist, und ein „Sensorkoordinatensystem“ bezieht sich auf ein (dreidimensionales) Koordinatensystem, das vom Optiksensor 4 aus gesehen wird. Ein „Roboterkoordinatensystem“ (mechanisches Koordinatensystem) ist ein (dreidimensionales) Koordinatensystem, das vom Roboter 2 aus gesehen wird.
Das Bildverarbeitungssystem 1 der vorliegenden Ausführungsform umfasst den Roboter 2, einen Arm 3, den Optiksensor 4, eine Optiksensorsteuervorrichtung 5, eine Robotersteuervorrichtung 6 und eine Konsole 7. Das Bildverarbeitungssystem 1 erkennt die Position des Objekts W, beispielsweise auf Basis eines vom Optiksensor 4 aufgenommenen Bildes des Objekts W, und handhabt oder bearbeitet das Objekt W.
An einer Spitze des Arms 3 des Roboters 2 ist eine Hand oder ein Werkzeug angebracht. Der Roboter 2 führt Arbeiten wie die Handhabung und Bearbeitung des Objekts W unter der Steuerung der Robotersteuerungsvorrichtung 6 durch. Der Optiksensor 4 ist ebenfalls an der Spitze des Arms 3 des Roboters 2 angebracht.
Der Optiksensor 4 ist eine Bildgebungsvorrichtung, die ein Bild des Objekts W unter der Kontrolle der Optiksensorsteuerungsvorrichtung 5 aufnimmt. Der Optiksensor 4 kann eine zweidimensionale Kamera mit einer Bildaufnahmevorrichtung sein, die einen ladungsgekoppelten Bildsensor (CCD) und ein Objektiv enthält, oder eine stereoskopische Kamera, die eine dreidimensionale Messung durchführen kann. In der vorliegenden Ausführungsform nimmt der Optiksensor 4 ein Bild des auf einem Arbeitstisch 8 befestigten Objekts W auf.
Die Robotersteuerungsvorrichtung 6 führt ein Betriebsprogramm des Roboters 2 aus, um den Betrieb des Roboters 2 zu steuern. Die Robotersteuerungsvorrichtung 6 betreibt den Roboter 2, und die Position des Optiksensors 4 relativ zum Objekt W ändert sich.
Die Konsole 7 ist eine Empfangseinheit, über die ein Benutzer das Bildverarbeitungssystem 1 bedient. Der Benutzer gibt über die Konsole 7 verschiedene Arten von Befehlen an die Optiksensorsteuervorrichtung 5 ein.
2 ist eine Ansicht, die die Konfigurationen der Optiksensorsteuerungsvorrichtung 5 und der Robotersteuerungsvorrichtung 6 veranschaulicht. 3 ist ein funktionelles Blockdiagramm, das schematisch die Funktionen im Zusammenhang mit der Bildverarbeitung, die von einem Steuergerät ausgeführt wird, darstellt. Die Optiksensorsteuerungsvorrichtung 5 der vorliegenden Ausführungsform umfasst einen Speicher 51 und einen Controller 52.
Der Speicher 51 ist eine Speichervorrichtung, wie etwa ein Festwertspeicher (ROM), in dem ein Betriebssystem und Anwendungsprogramme gespeichert sind, ein Arbeitsspeicher (RAM), ein Festplattenlaufwerk und ein Solid-State-Laufwerk (SSD), die verschiedene Arten von Informationen speichern.
Der Speicher 51 umfasst einen Modellmusterspeicher 511 und einen Kalibrierungsdatenspeicher 512.
Der Modellmuster-Speicher 511 wird im Folgenden beschrieben. Der Modellmusterspeicher 511 speichert ein Modellmuster, das ein modelliertes Abbild des Objekts W ist. Beispiele für das Modellmuster werden später beschrieben.
Der Kalibrierungsdatenspeicher 512 speichert Kalibrierungsdaten, die ein Roboterkoordinatensystem, das ein Standard für die Steuerung des Betriebs des Roboters 2 ist, mit einem Bildkoordinatensystem verknüpfen, das ein Standard für die Messung durch den Optiksensor 4 ist. Die Kalibrierungsdaten können jedes beliebige Format haben und nach jeder vorgeschlagenen Methode berechnet werden.
Der Controller 52 ist ein Prozessor, wie z.B. eine Zentraleinheit (CPU), und fungiert als Bildverarbeitungseinheit, die verschiedene Arten der Steuerung des Bildverarbeitungssystems 1 ausführt.
3 ist ein funktionales Blockdiagramm, das schematisch die Funktionen im Zusammenhang mit der von dem Controller 52 ausgeführten Bildverarbeitung zeigt. Wie in 3 gezeigt, umfasst der Controller 52 als Funktionseinheiten eine Merkmalspunktextraktionseinheit 521, eine Kalibrierungseinheit 522, eine Bestimmungseinheit 523 und eine Anzeigeverarbeitungseinheit 524. Die Funktionseinheiten des Controller 52 arbeiten, wenn das im Speicher 51 gespeicherte Programm abläuft.
Die Merkmalspunktextraktionseinheit 521 extrahiert Merkmalspunkte aus einem vom Optiksensor 4 aufgenommenen Eingangsbild. Zur Extraktion der Merkmalspunkte können verschiedene Methoden verwendet werden. In der vorliegenden Ausführungsform werden als Merkmalspunkte Kantenpunkte extrahiert, die einen großen Luminanzgradienten im Bild aufweisen und zur Erfassung einer Konturform des Objekts verwendet werden können. Ein Bild einer Konturlinie des Objekts W hat im Allgemeinen einen großen Luminanzgradienten. Daher kann die Konturform des Objekts W durch Verwendung der Kantenpunkte als Merkmalspunkte erfasst werden. Für die Extraktion der Kantenpunkte kann ein Sobel-Filter oder ein Canny-Kantendetektor verwendet werden.
Die Kalibrierungseinheit 522 führt eine Transformation zwischen den Positionen der zweidimensionalen Punkte im Bildkoordinatensystem und den Positionen der dreidimensionalen Punkte im Roboterkoordinatensystem auf der Grundlage der Positionsbeziehung zwischen dem Optiksensor 4 und dem Objekt W und den im Kalibrierungsdatenspeicher 512 gespeicherten Kalibrierungsdaten durch. Wenn beispielsweise Daten der dreidimensionalen Punkte im Roboterkoordinatensystem gegeben sind, berechnet die Kalibrierungseinheit 522 die Position eines Bildes der dreidimensionalen Punkte in dem vom Optiksensor 4 aufgenommenen Bild, d.h. der zweidimensionalen Punkte im Bildkoordinatensystem. Wenn die Daten der zweidimensionalen Punkte im Bildkoordinatensystem gegeben sind, berechnet die Kalibrierungseinheit 522 eine Sichtlinie im Roboterkoordinatensystem (Weltkoordinatensystem). Die Sichtlinie ist eine dreidimensionale Gerade, die durch einen Blickpunkt und einen Fokus des Optiksensors 4 verläuft. Der Blickpunkt ist ein dreidimensionaler Punkt des Objekts W im Roboterkoordinatensystem (dreidimensionale Positionsinformation des Merkmalspunkts). Die Kalibrierungseinheit 522 führt eine Transformation der Daten der zweidimensionalen Punkte in die dreidimensionalen Punkte durch, d. h. in Daten, die die dreidimensionale Position angeben, basierend auf der berechneten Sichtlinie.
Die Bestimmungseinheit 523 vergleicht eine Merkmalspunktwolke (eine Kantenpunktwolke), die aus dem von der Bildgebungsvorrichtung erfassten Eingangsbild extrahiert wurde, mit dem im Modellmusterspeicher 511 gespeicherten Modellmuster und erkennt das Objekt auf der Grundlage des Grades der Übereinstimmung zwischen ihnen.
Die Anzeigeverarbeitungseinheit 524 zeigt auf der Konsole 7 das Ergebnis der Bestimmung durch die Bestimmungseinheit 523 und einen Betriebsbildschirm zur Einstellung einer Kompensationsebene (imaginäre Ebene) an, die später beschrieben wird.
Die Robotersteuerungsvorrichtung 6 umfasst eine Betriebssteuerung 61. Die Betriebssteuerung 61 führt ein Betriebsprogramm des Roboters 2 in Übereinstimmung mit einem Befehl von der Optiksensorsteuereinrichtung 5 aus, um den Betrieb des Roboters 2 zu steuern.
Wie die Merkmalspunktextraktionseinheit 521 das Modellmuster im Bildkoordinatensystem erstellt, wird im Folgenden beschrieben. 4 ist eine Ansicht, die das aus einer Vielzahl von Merkmalspunkten gebildete Modellmuster zeigt. Wie in 4 gezeigt, ist das in der vorliegenden Ausführungsform verwendete Modellmuster ein aus einer Vielzahl von Merkmalspunkten P i gebildetes Modellmuster. Wie in 4 dargestellt, wird das Modellmuster aus einer Vielzahl von Merkmalspunkten P i (i=1 bis NP) gebildet. In diesem Beispiel werden die Merkmalspunkte P_i, die das Modellmuster bilden, in dem Modellmusterspeicher 511 gespeichert.
Die Position und Lage der Merkmalspunkte P i, die das Modellmuster bilden, können in beliebiger Form dargestellt werden. Beispielsweise wird ein Koordinatensystem des Modellmusters (im Folgenden als „Modellmusterkoordinatensystem“ bezeichnet) definiert, und die Position und Lage jedes der das Modellmuster bildenden Merkmalspunkte P i werden durch einen Positionsvektor oder einen Richtungsvektor vom Modellmusterkoordinatensystem aus betrachtet dargestellt.
Der Ursprung O des Modellmusterkoordinatensystems kann nach Belieben festgelegt werden. Zum Beispiel kann ein beliebiger Punkt aus den Merkmalspunkten P i, die das Modellmuster bilden, als Ursprung definiert werden, oder der Schwerpunkt aller Merkmalspunkte P i, die das Modellmuster bilden, kann als Ursprung definiert werden.
Die Lage (Achsenrichtung) des Modellmusterkoordinatensystems kann nach Bedarf festgelegt werden. Beispielsweise kann die Lage so definiert werden, dass das Bildkoordinatensystem und das Modellmuster-Koordinatensystem in einem Bild, in dem das Modellmuster erstellt wird, parallel zueinander sind. Alternativ können aus den Merkmalspunkten, die das Modellmuster bilden, zwei beliebige Punkte ausgewählt werden, so dass eine Richtung von einem der beiden Punkte zum anderen als X-Achsenrichtung und eine zur X-Achsenrichtung orthogonale Richtung als Y-Achsenrichtung definiert wird. Die Lage kann so definiert werden, dass das Bildkoordinatensystem und das Modellmuster-Koordinatensystem in einem Bild, in dem ein Modellmuster 50 erstellt wird, parallel zueinander sind. So können das Modellmuster-Koordinatensystem und der Ursprung O je nach den Umständen in geeigneter Weise geändert werden.
Im Folgenden wird ein Beispiel für die Erstellung des Modells beschrieben. 5 ist ein Flussdiagramm eines Verfahrens zur Erstellung des Modellmusters. 6 ist eine Ansicht, die einen in einem Bild spezifizierten Modellmusterbereich zeigt.
Zunächst wird das Objekt W, das der Benutzer als Modellmuster einlernen möchte, in einem Sichtfeld des Optiksensors 4 angeordnet, so dass ein Bild des Objekts W aufgenommen werden kann. Auf diese Weise wird ein Eingangsbild (ein Bild zum Einlernen) mit dem Objekt W aufgenommen (Schritt S101). In diesem Schritt ist die Position des Optiksensors 4 relativ zu dem Objekt W vorzugsweise die gleiche wie die Position des Optiksensors 4 bei der Erfassung des Objekts W im tatsächlichen Gebrauch.
Dann wird ein Bereich, in dem das Objekt W in dem aufgenommenen Bild gefunden wird, als Modellmusterbereich festgelegt (Schritt S102). Der in Schritt S102 festgelegte Bereich wird im Folgenden als Modellmusterspezifikationsbereich 60 bezeichnet. Der Modellmuster-Spezifikationsbereich 60 der vorliegenden Ausführungsform wird durch ein Rechteck oder einen Kreis, der das Objekt W umgibt, festgelegt. Der Modellmuster-Spezifikationsbereich 60 kann als vom Bediener erstellte Information im Modellmusterspeicher 511 gespeichert werden.
Als nächstes werden die Merkmalspunkte extrahiert (Schritt S103). Wie oben beschrieben, bilden die Merkmalspunkte das Modellmuster. Eine Vielzahl von Merkmalspunkten P_i (i=1 bis NP) wird aus dem Modellmuster-Spezifikationsbereich 60 extrahiert.
In Schritt S103 werden die physikalischen Größen der Kantenpunkte berechnet. Beispiele für die physikalischen Größen jedes Kantenpunkts sind die Position des Kantenpunkts sowie die Richtung und der Betrag des Luminanzgradienten des Kantenpunkts. Wenn die Richtung des Luminanzgradienten des Kantenpunkts als die Lage des Merkmalspunkts definiert ist, kann die Lage des Merkmalspunkts zusammen mit seiner Position definiert werden. Die physikalischen Größen des Kantenpunkts, d. h. die Position des Kantenpunkts, die Lage (Richtung des Luminanzgradienten) des Kantenpunkts und der Betrag des Luminanzgradienten des Kantenpunkts, werden als physikalische Größen des Merkmalspunkts gespeichert.
Dann wird in der Modellmuster-Spezifikationsregion 60 ein Modellmuster-Koordinatensystem definiert und durch Lagevektoren v Pi und Positionsvektoren t Pi der Merkmalspunkte P_i auf der Grundlage des ModellmusterKoordinatensystems und des Ursprungs O dargestellt.
Dann wird das Modellmuster 50 auf der Grundlage der extrahierten physikalischen Größen der Merkmalspunkte P_i erstellt (Schritt S104). In Schritt S104 werden die extrahierten physikalischen Größen der Merkmalspunkte P_i als die Merkmalspunkte P i, die das Modellmuster bilden, gespeichert. Die Merkmalspunkte P_i bilden das Modellmuster. In der vorliegenden Ausführungsform wird das Modellmuster-Koordinatensystem im Modellmuster-Spezifikationsbereich 60 definiert, und die Position und die Lage der Merkmalspunkte P_i werden als Werte gespeichert, die von den im Bildkoordinatensystem repräsentierten Werten (siehe 6) in die im Modellkoordinatensystem repräsentierten Werte (siehe 4) transformiert werden.
Falls erforderlich, wird das Modellmuster 50 korrigiert (Schritt S105). Die Korrektur des Modellmusters in Schritt S105 wird von einem Bediener oder der Bildverarbeitungseinheit 32 durchgeführt. Alternativ kann die Korrektur auch automatisch durch maschinelles Lernen durchgeführt werden.
Wenn die Korrektur des Modellmusters unnötig ist, kann Schritt S105 übersprungen werden. Das Modellmuster im Bildkoordinatensystem wird durch die oben beschriebene Reihe von Prozessen erzeugt.
Die Umwandlung des Modellmusters in dreidimensionale Punkte wird im Folgenden beschrieben. Die dreidimensionalen Punkte stellen eine dreidimensionale Positionsinformation dar, die die dreidimensionalen Positionen der Merkmalspunkte identifiziert, die das Modellmuster bilden. 7 ist ein Flussdiagramm der Umwandlung des Modellmusters in dreidimensionale Punkte. 8 ist ein Diagramm, das eine Beziehung zwischen der Sichtlinie des Optiksensors 4 als Bildgebungsvorrichtung und einer Kompensationsebene veranschaulicht.
Eine Ebene, in der das Modellmuster existiert, wird als Kompensationsebene festgelegt (Schritt S201). Die Kompensationsebene ist eine imaginäre Ebene. Die Kompensationsebene kann durch verschiedene Methoden festgelegt werden. Beispielsweise legt der Benutzer die Kompensationsebene über die Konsole 7 fest, indem er der vom Roboterkoordinatensystem oder vom Sensorkoordinatensystem aus gesehenen Kompensationsebene mit einem Roboter Verbesserungen hinzufügt. Die Kompensationsebene muss nicht unbedingt eine einzige Ebene sein, und kann auch zwei oder mehr Ebenen oder gekrümmte Flächen umfassen.
Die Sichtlinie zu jedem Merkmalspunkt des Modellmusters wird auf der Grundlage der Kalibrierungsdaten des Optiksensors 4 und der Positionsinformationen des Roboters 2 erfasst (Schritt S202) .
Wie in 8 gezeigt, wird ein Schnittpunkt Pw der in Schritt S201 erfassten Ausgleichsebene mit der in Schritt S202 erfassten Sichtlinie erfasst, und die dreidimensionalen Punkte der Merkmalspunkte werden auf der Grundlage des erfassten Schnittpunkts Pw erfasst (Schritt S203). Die dreidimensionalen Punkte bilden die dreidimensionale Positionsinformation der Merkmalspunkte. Die dreidimensionalen Positionsinformationen der Merkmalspunkte, die das Modellmuster bilden, werden als Informationen, die für den Abgleich verwendet werden, in dem Modellmusterspeicher 511 gespeichert.
Wie aus der vorangehenden Beschreibung ersichtlich, umfasst das Bildverarbeitungssystem 1 der vorliegenden Ausführungsform: der Controller 52, der die Positionsbeziehung zwischen dem Optiksensor 4 und dem Objekt W auf der Grundlage der Positionsinformationen des Roboters 2, die verwendet werden, um die Position des Optiksensors 4 im Roboterkoordinatensystem zu identifizieren, und der Positionsinformationen, die die Position des Objekts W im Bildkoordinatensystem angeben, erfasst; und den Speicher 51, der das Modellmuster, das aus den Merkmalspunkten gebildet wird, die aus einem Bild zum Einlernen extrahiert werden, in Form von dreidimensionalen Positionsinformationen auf der Grundlage des Modellmusters und der Positionsbeziehung zwischen dem Optiksensor 4 und dem Objekt W, wenn das Bild zum Einlernen aufgenommen wurde, speichert. Der Controller 52 führt einen Erkennungsprozess zur Erkennung des Objekts W aus einem erkannten Bild, das das Objekt W enthält, auf der Grundlage des Ergebnisses des Abgleichs zwischen den aus dem erkannten Bild extrahierten Merkmalspunkten und dem Modellmuster durch. Der Abgleich wird auf der Grundlage des Modellmusters durchgeführt, das in Form der dreidimensionalen Positionsinformationen gespeichert ist. Dies kann eine Situation vermeiden, in der die eingelernten relativen Positionen des Optiksensors 4 und des Objekts W von den erkannten relativen Positionen abweichen. Dies kann verhindern, dass die Erkennung des Objekts W fehlschlägt oder Zeit in Anspruch nimmt, und kann das Objekt W korrekter und effizienter als bekannte Techniken erkennen.
Das Bildverarbeitungssystem der vorliegenden Ausführungsform erfasst die dreidimensionalen Positionsinformationen des im Speicher 51 gespeicherten Modellmusters auf der Grundlage des Schnittpunkts der Kompensationsebene, bei der es sich um die imaginäre Ebene handelt, von der angenommen wird, dass sie die aus dem Bild für die Lehre extrahierten Merkmalspunkte enthält, mit der Sichtlinie des Optiksensors 4 zu den Merkmalspunkten des Objekts W. Dies gestattet die Erfassung der dreidimensionalen Positionsinformationen des Modellmusters unter Verwendung der Kompensationsebene, die die imaginäre Ebene ist, und somit eine korrektere Erfassung unter Verwendung der Kompensationsebene. In der vorliegenden Ausführungsform wird davon ausgegangen, dass das Objekt W auf einer bestimmten Ebene (Kompensationsebene) erfasst wird. Diese Annahme ermöglicht die Erfassung der dreidimensionalen Positionsinformationen jedes der Merkmalspunkte (Kantenpunkte), die das Modellmuster bilden.
Das Bildverarbeitungssystem 1 der vorliegenden Ausführungsform detektiert das Bild des Objekts W aus dem Eingangsbild, das das zu detektierende Objekt enthält, auf Basis der dreidimensionalen Positionsinformationen jedes der das Modellmuster bildenden Merkmalspunkte. Die Erkennung des Objekts W unter Verwendung der dreidimensionalen Positionsinformationen jedes Merkmalspunkts, der das Modellmuster bildet, kann mit einer Reihe von Verfahren durchgeführt werden.
Zuerst wird ein Abgleichprozess eines ersten Beispiels anhand von 9 beschrieben. 9 ist ein Flussdiagramm des Abgleichprozesses des ersten Beispiels.
In Schritt S301 erfasst der Controller 52 ein vom Optiksensor 4 aufgenommenes Eingangsbild. Das Eingangsbild ist ein detektiertes Bild eines passenden Ziels, das das zu erkennende Objekt W enthält. Das Bild des passenden Ziels unterscheidet sich von dem Bild zum Einlernen, das zur Erstellung des Modellmusters verwendet wurde, und wird vom Optiksensor 4 neu erfasst.
In Schritt S302 extrahiert der Controller 52 die Kantenpunkte als Merkmalspunkte aus dem Eingangsbild. Die Kantenpunkte können nach der oben beschriebenen Methode extrahiert werden.
In Schritt S303 erfasst der Controller 52 die Kompensationsebene, in der das Bild aufgenommen wurde, und die Position des Optiksensors 4. Die Kompensationsebene ist eine imaginäre Ebene, die der imaginären Ebene ähnlich ist, die bei der Erstellung des Modellmusters festgelegt wurde. Die hier erwähnte Position des Optiksensors 4 ist die Position des Optiksensors 4 relativ zum Objekt W. Die Position des Optiksensors 4 wird auf der Grundlage der Kalibrierungsdaten, der Positionsinformationen des Roboters 2, der Kompensationsebene und der Positionsinformationen des Objekts W im Bildkoordinatensystem ermittelt. Wenn der Optiksensor 4 beispielsweise eine zweidimensionale Kamera ist, wird der Schnittpunkt der Sichtlinie zu den Kantenpunkten mit der Kompensationsebene unter der Annahme erfasst, dass die Merkmalspunkte (Kantenpunkte) auf der Kompensationsebene vorhanden sind. Handelt es sich bei dem Optiksensor 4 um einen dreidimensionalen Sensor, werden Informationen über einen Abstand zur Position der Kantenpunkte erfasst, um die dreidimensionalen Positionsinformationen zu erfassen.
In Schritt S304 werden die Kantenpunkte, bei denen es sich um die aus dem Eingangsbild des passenden Ziels (detektiertes Bild) extrahierten Merkmalspunkte handelt, auf die Ausgleichsebene projiziert, um dreidimensionale Punkte als dreidimensionale Positionsinformationen der Kantenpunkte zu erfassen. Auf diese Weise werden die Daten einer dreidimensionalen Punktwolke aus dem Eingangsbild des passenden Ziels erfasst.
In Schritt S305 wird ein Matching-Prozess durchgeführt, d.h. die dreidimensionalen Punkte, die aus dem Eingangsbild des passenden Ziels (detektiertes Bild) extrahiert wurden, werden mit den dreidimensionalen Punkten verglichen, die das Modellmuster bilden. Bei diesem Prozess wird ein Bild des Objekts aus dem Eingangsbild des passenden Ziels detektiert.
Im Erkennungsprozess des ersten Beispiels werden die Merkmalspunkte im erfassten Bild in Form der dreidimensionalen Positionsinformationen auf der Grundlage des Schnittpunkts der Kompensationsebene, bei der es sich um die imaginäre Ebene handelt, von der angenommen wird, dass sie die aus dem erfassten Bild extrahierten Merkmalspunkte enthält, mit der Sichtlinie des Optiksensors 4 in Richtung der Merkmalspunkte des Objekts W erfasst. Dann wird das Objekt W aus dem erfassten Bild auf Basis des Ergebnisses des Abgleichs der Merkmalspunkte in dem erfassten Bild, das in Form der dreidimensionalen Positionsinformationen erfasst wurde, mit den Merkmalspunkten auf Basis des Modellmusters, das in Form der dreidimensionalen Positionsinformationen gespeichert ist, erfasst. Im ersten Beispiel kann der Erkennungsprozess die dreidimensionalen Positionsinformationen des Modellmusters korrekt wiedergeben, was die Erkennung des Objekts W aus dem detektierten Bild auf der Grundlage der geeigneten Positionsbeziehung ermöglicht. Wenn die dreidimensionale Drehung zum Modellmuster im Anpassungsprozess hinzugefügt wird, kann die Erkennung unabhängig von einer dreidimensionalen Änderung der Körperhaltung erfolgen. Somit kann das erste Beispiel die dreidimensionale Veränderung der Körperhaltung berücksichtigen.
Als nächstes wird ein Abgleichsverfahren eines zweiten Beispiels unter Bezugnahme auf 10 beschrieben. 10 ist ein Flussdiagramm des Matching-Prozesses des zweiten Beispiels.
In Schritt S401 erfasst der Controller 52 ein vom Optiksensor 4 aufgenommenes Eingangsbild. Das Eingangsbild ist ein Bild eines passenden Ziels, das das zu erkennende Objekt W enthält. Das Bild des übereinstimmenden Ziels unterscheidet sich von dem Eingangsbild, das zur Erstellung des Modellmusters verwendet wurde, und wird vom Optiksensor 4 neu erfasst.
In Schritt S402 werden die Merkmalspunkte aus dem Eingangsbild extrahiert. Der Controller 52 extrahiert die Kantenpunkte als Merkmalspunkte aus dem Eingangsbild. Die Kantenpunkte können nach der oben beschriebenen Methode extrahiert werden.
In Schritt S403 erfasst der Controller 52 die Kompensationsebene, in der das Bild aufgenommen wurde, und die Position des Optiksensors 4.
In Schritt S404 führt der Controller 52 einen Prozess der Projektion der dreidimensionalen Punkte des Modellmusters auf die Kompensationsebene unter der Annahme aus, dass das Objekt W an einem beliebigen Teil der Kompensationsebene detektiert wird.
In Schritt S405 führt der Controller 52 einen Abgleich zwischen den Merkmalspunkten im Eingangsbild im Bildkoordinatensystem und den Merkmalspunkten des projizierten Modellmusters durch. Insbesondere werden die zweidimensionalen Punkte der Merkmalspunkte im Eingangsbild mit den Merkmalspunkten verglichen, die durch zweidimensionale Transformation der dreidimensionalen Punkte des Modellmusters erhalten werden, um den Grad der Übereinstimmung zu ermitteln. Der Grad der Übereinstimmung kann mit jeder bekannten Methode berechnet werden, z.B. mit der oben beschriebenen Hankel-Fourier-Transformation.
In Schritt S406 wird bestimmt, ob eine Abbruchbedingung erfüllt ist, und die Prozesse der Schritte S404 und 405 werden wiederholt, bis die Abbruchbedingung erfüllt ist. Wenn der Prozess von Schritt S406 zu Schritt S404 zurückkehrt, werden die dreidimensionalen Punkte des Modellmusters auf die Kompensationsebene unter der Annahme projiziert, dass das Objekt W an einem anderen Teil als dem zuletzt angenommenen Teil erkannt wird, und dann wird der Prozess von Schritt S405 durchgeführt. Auf diese Weise wird das Bild des Objekts W auf der Grundlage des Anpassungsergebnisses mit dem höchsten Anpassungsgrad unter den Anpassungsergebnissen erkannt. Als Beendigungsbedingung können verschiedene Arten von Bedingungen festgelegt werden, z.B. dass das Erkennungsergebnis den hohen Grad der Übereinstimmung aufweist oder dass eine vorbestimmte Zeit vergangen ist.
Daher umfasst der Erkennungsprozess des zweiten Beispiels die Wiederholung des Projektionsprozesses, bei dem das Modellmuster auf die imaginäre Ebene projiziert wird, um die Merkmalspunkte im Bildkoordinatensystem unter der Annahme zu erfassen, dass die aus dem erkannten Bild extrahierten Merkmalspunkte in einem bestimmten Teil der imaginären Ebene erfasst werden, und den Anpassungsprozess, bei dem die aus dem erkannten Bild extrahierten Merkmalspunkte im Bildkoordinatensystem mit den Merkmalspunkten im Bildkoordinatensystem auf der Grundlage des im Projektionsprozess erfassten Modellmusters verglichen werden, wodurch das Objekt aus dem erkannten Bild auf der Grundlage des Ergebnisses des Anpassungsprozesses mit einem hohen Anpassungsgrad erfasst wird. Im zweiten Beispiel kann der Erkennungsprozess die dreidimensionalen Positionsinformationen des Modellmusters korrekt wiedergeben, wodurch die Erkennung des Objekts W aus dem erkannten Bild auf der Grundlage der geeigneten Positionsbeziehung möglich ist. In diesem Beispiel kann die unterschiedliche Darstellung des Objekts in Abhängigkeit von der Betrachtungsposition durch Wiederholung des Projektionsprozesses und des Abgleichs berücksichtigt werden. So kann der Abgleich im zweidimensionalen Koordinatensystem durchgeführt werden.
Ausführungsformen der vorliegenden Erfindung wurden gerade oben beschrieben, aber die vorliegende Erfindung ist nicht auf diese beispielhaften Ausführungsformen beschränkt. Die in den Ausführungsbeispielen beschriebenen Vorteile sind lediglich als die am besten geeigneten Vorteile der vorliegenden Erfindung aufgeführt und schränken die Vorteile der vorliegenden Erfindung nicht ein.
Es wurde in der Ausführungsform beschrieben, dass die Position des Optiksensors 4 als Bildgebungsvorrichtung relativ zum Objekt W durch den Roboter 2 verändert wird, aber die vorliegende Erfindung ist nicht auf diese Konfiguration beschränkt. Die vorliegende Erfindung ist beispielsweise auf eine Konfiguration anwendbar, bei der die Bildgebungsvorrichtung fixiert ist und das Objekt durch den Betrieb des Roboters bewegt wird. Insbesondere kann eine feststehende Kamera ein Bild des vom Roboter gehaltenen Objekts aufnehmen. In diesem Fall bewegt sich das Objekt, wenn der Roboter betrieben wird, wodurch sich die Positionsbeziehung zwischen der Bildgebungsvorrichtung und dem Objekt ändert.
In der vorliegenden Ausführungsform wurde das aus einer Vielzahl von Kantenpunkten gebildete Modellmuster als Beispiel beschrieben. Das Modellmuster ist jedoch nicht auf dieses Beispiel beschränkt. So können beispielsweise Pixel als Merkmalspunkte betrachtet werden, und das Modellmuster kann in einem Bildformat gebildet werden.
Bezugszeichenliste

1: Bildverarbeitungssystem
2: Roboter
4: Optiksensor (Bildgebungsvorrichtung)
51: Lagerung
52: Controller

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2013130508 A [0005]
JP 2009002761 A [0005]
JP 2012042396 A [0005]

Claims

Bildverarbeitungssystem, das ein Bild eines Objekts aus einem Bild erkennt, das von einer Bildgebungsvorrichtung aufgenommen wurde, deren Position relativ zu dem Objekt von einem Roboter verändert wird, wobei das Bildverarbeitungssystem umfasst: einen Controller, der eine Positionsbeziehung zwischen der Bildgebungsvorrichtung und dem Objekt auf der Grundlage von Positionsinformationen des Roboters, die verwendet werden, um die Position der Bildgebungsvorrichtung in einem Roboterkoordinatensystem zu identifizieren, und Positionsinformationen, die die Position des Objekts in einem Bildkoordinatensystem angeben, erfasst; und einen Speicher, der ein Modellmuster speichert, das aus Merkmalspunkten gebildet ist, die aus einem Bild zum Einlernen extrahiert wurden, in Form von dreidimensionalen Positionsinformationen, die auf dem Modellmuster und einer Positionsbeziehung zwischen der Bildgebungsvorrichtung und dem Objekt basieren, als das Bild für die Lehre aufgenommen wurde, wobei der Controller ausführt einen Detektionsprozess zum Detektieren des Objekts aus einem detektierten Bild, das das Objekt enthält, auf Basis des Ergebnisses der Übereinstimmung zwischen Merkmalspunkten, die aus dem detektierten Bild extrahiert wurden, und dem Modellmuster.
Bildverarbeitungssystem nach Anspruch 1, wobei die dreidimensionale Positionsinformation des in dem Speicher gespeicherten Modellmusters auf der Grundlage eines Schnittpunkts von einer imaginären Ebene, auf der die aus dem Bild für den Unterricht extrahierten Merkmale als vorhanden angenommen werden, mit einer Sichtlinie der Bildgebungsvorrichtung zu den Merkmalspunkten des Objekts.
Bildverarbeitungssystem nach Anspruch 2, wobei der Detektionsprozess beinhaltet die Wiederholung von einem Projektionsprozess, bei dem das Modellmuster auf eine imaginäre Ebene projiziert wird, um die Merkmalspunkte im Bildkoordinatensystem zu erfassen, unter der Annahme, dass die aus dem erfassten Bild extrahierten Merkmalspunkte in einem bestimmten Teil der imaginären Ebene detektiert werden, und einem Anpassungsprozess des Vergleichens der Merkmalspunkte im Bildkoordinatensystem, die aus dem detektierten Bild extrahiert wurden, mit den Merkmalspunkten im Bildkoordinatensystem auf der Grundlage des im Projektionsprozess erfassten Modellmusters, wodurch das Objekt aus dem detektierten Bild auf der Grundlage des Ergebnisses des Anpassungsprozesses mit einem hohen Anpassungsgrad detektiert wird.
Bildverarbeitungssystem nach Anspruch 2, wobei in dem Detektionsprozess, die Merkmalspunkte in dem detektierten Bild in Form von dreidimensionalen Positionsinformationen erfasst werden, die auf einem Schnittpunkt einer imaginären Ebene basieren, auf der die aus dem detektierten Bild extrahierten Merkmalspunkte als vorhanden angenommen werden, mit eine Sichtlinie der Bildgebungsvorrichtung zu den Merkmalspunkten des Objekts, und das Objekt aus dem erfassten Bild auf Basis des Ergebnisses des Abgleichprozesses des Vergleichs der Merkmalspunkte in dem detektierten Bild, das in Form der dreidimensionalen Positionsinformationen erfasst wurde, mit den Merkmalspunkten auf Basis des Modellmusters, das in Form der dreidimensionalen Positionsinformationen gespeichert ist, erfasst wird.