DE212018000178U1

DE212018000178U1 - Objekterkennungssystem mit einem 2D-Farbbildsensor und einem 3D-Bildsensor

Info

Publication number: DE212018000178U1
Application number: DE212018000178.2U
Authority: DE
Original assignee: KUKA Deutschland GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2017-03-07
Filing date: 2018-03-06
Publication date: 2019-10-22
Anticipated expiration: 2028-03-07
Also published as: DE202017001227U1; WO2018162491A1

Abstract

Objekterkennungssystem aufweisend:- eine Steuervorrichtung (9,3),- eine Basis (11), deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis (11) im Raum kennzeichnen, in der Steuervorrichtung (9) gespeichert sind,- eine Bewegungsvorrichtung (2a), die ein Grundgestell (2.1), mehrere Gelenke (4) und einen über die mehreren Gelenke (4) an dem Grundgestell (2.1) verstellbar gelagerten Halter (6a) aufweist, wobei die mehreren Gelenke (4) durch die Steuervorrichtung (9,3) automatisch verstellbar sind, um den Halter (6a) im Raum zu bewegen, wobei das Grundgestell (2.1) an einer vorbestimmten Position und Orientierung auf der Basis (11) befestigt ist und die Position und Orientierung des Grundgestells (2.1) auf der Basis (11) durch Grundkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind,- einen 3D-Bildsensor (13) zur Erfassung von 3D-Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors (13) relativ zur Basis (11) durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind, und- einen 2D-Farbbildsensor (14) zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter (6a) der Bewegungsvorrichtung (2a) befestigt ist, und welcher durch die Bewegungsvorrichtung (2a) im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke (4) der Bewegungsvorrichtung (2a) die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors (14) im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung (9,3) speicherbar sind, wobei- das Objekterkennungssystem eine Auswerteinrichtung (9a) aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung (2a) von dem 2D-Farbbildsensor (14) erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.

Description

Die Erfindung betrifft ein Objekterkennungssystem.
Aus der DE 10 2015 100 983 A1 ist ein Verfahren zur Lokalisierung von Greifpunkten von Objekten bekannt, bei dem die Objekte mittels eines 3D-Sensors abgetastet werden, die Objekte mittels zumindest einer ersten Beleuchtungseinheit beleuchtet werden, während die Objekte mittels einer Kamera erfasst werden, wobei die Relativposition des 3D-Sensors, der ersten Beleuchtungseinheit und der Kamera zueinander bekannt sind und der 3D-Sensor, die erste Beleuchtungseinheit und die Kamera zueinander ortsfest angeordnet sind. Dabei werden aus einem von der Kamera erzeugten zweidimensionalen Bild die Begrenzung der Objekte ermittelt, aus erfasster Abstandsinformation des 3D-Sensors und dem zweidimensionalen Bild wird eine räumliche Position ermittelt und die Greifpunkte für die Objekte werden aus den Begrenzungen und der räumlichen Position der Objekte bestimmt.
Aufgabe der Erfindung ist es, ein kostengünstiges und dabei zuverlässiges Objekterkennungssystem zu schaffen.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Objekterkennungssystem aufweisend:

- eine Steuervorrichtung,
- eine Basis, deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis im Raum kennzeichnen, in der Steuervorrichtung gespeichert sind,
- eine Bewegungsvorrichtung, die ein Grundgestell, mehrere Gelenke und einen über die mehreren Gelenke an dem Grundgestell verstellbar gelagerten Halter aufweist, wobei die mehreren Gelenke durch die Steuervorrichtung automatisch verstellbar sind, um den Halter im Raum zu bewegen, wobei das Grundgestell an einer vorbestimmten Position und Orientierung auf der Basis befestigt ist und die Position und Orientierung des Grundgestells auf der Basis durch Grundkoordinatenwerte bestimmt ist, die in der Steuervorrichtung gespeichert sind,
- einen 3D-Bildsensor zur Erfassung von 3D-Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors relativ zur Basis durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung gespeichert sind, und
- einen 2D-Farbbildsensor zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter der Bewegungsvorrichtung befestigt ist, und welcher durch die Bewegungsvorrichtung im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke der Bewegungsvorrichtung die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung speicherbar sind, wobei
- das Objekterkennungssystem eine Auswerteinrichtung aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung von dem 2D-Farbbildsensor erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.

Um ein Objekt in einer komplexen und/oder großen Umgebung zu detektieren und zu lokalisieren, werden üblicherweise nur Ausschnitte der Umgebung aufgenommen und analysiert. Es können dabei zwei getrennte Techniken eingesetzt werden. Dazu zählt entweder eine 2D-Objektdetektion oder eine 3D-Objektdetektion. Es gibt auch Sensoren, die Tiefen- und Farbinformation gleichzeitig liefern, nur ist die Auflösung des Farbsensors begrenzt und oft nicht hochauflösend genug.
Erfindungsgemäß wird eine Lösung zur Objektdetektion und Objektlokalisierung in einer komplexen Umgebung mittels einem hochauflösenden, insbesondere mobilen 2D-Farbsensor und einem 3D-Sensor vorgeschlagen. Der 3D-Sensor kann ein statischer 3D-Sensor sein. Insoweit kann der 3D-Sensor beispielsweise an der Basis ortsfest angeordnet sein. Alternativ kann der 3D-Sensor ein dynamischer 3D-Sensor sein, der beispielsweise an einer zusätzlichen Kinematik verstellbar bezüglich der Basis angeordnet sein kann.
Die Vorteile können sein, eine schnelle Detektion der Objekte in 2D-Bildern, eine präzise Lageerkennung der Objekte durch 3D-Daten, eine Aufnahme einer komplexen Szene und/oder eine Kostenminimierung durch Flexibilität aufgrund zweier Sensoren. Der 2D-Farbsensor kann beispielsweise durch bekannte, kostengünstige Mobiltelefon-Kameras realisiert werden und schnell eingesetzt werden. Der 3D-Sensor kann dagegen durch ein hochwertiges System realisiert werden.
Eine Aufnahme der Umgebung kann dadurch erfolgen, dass der 2D-Sensor beispielsweise durch einen Roboterarm bewegt wird, um die Umgebung aus mehreren Blickrichtungen aufnehmen zu können. Es kann eine mobile Plattform vorgesehen sein, wobei während sich die Plattform in der Umgebung bewegt, die 2D-Aufnahmen erfasst, abgelegt und zusammengeführt werden, so dass es einem Gesamtbild der Umgebung entspricht. Dazu können bekannte Verfahren zum Zusammenfügen (sog. „Stitching“) verwendet werden. Bei jeder 2D-Aufnahme können durch einen 3D-Sensor 3D-Daten generiert werden, die den 2D-Aufnahmen entsprechen. Ergänzend kann nachdem alle nötigen Aufnahmen gemacht sind, der 2D-Sensor wird abgelegt werden.
Eine Objektdetektion und Objektlokalisierung kann zuerst eine schnelle Objektdetektion im 2D-Gesamtbild durchgeführt werden, z.B. mit Hilfe von bekannten Algorithmen des „Deep Learning“. Als Ergebnis erhält man einen räumlichen Hüllkörper („Bounding-Box“), der das Objekt grob lokalisiert. Mit Hilfe von bekannten Transformationen der 2D-Sensordaten zu den 3D-Sensordaten („2D-3D Mapping“) können 2D-Koordinaten der Hüllkörper in 3D-Koordinaten umgerechnet werden. Anschließend wird ein 3D-Auschnitt geladen, der dieser 3D-Information entspricht. Gleichzeitig kann ein 3D-Modell (CAD oder Punktwolke) des gesuchten Objekts aufgerufen werden. Eine präzise 3D-Objektlageerkennung wird durchgeführt („Surface Matching-Methode“). Nach der Berechnung der Objektlage können die Greifpunkte ermittelt werden. Abschließend können die Positionen beispielsweise der mobilen Plattform und des Roboterarms errechnet werden, die das Greifen des gefunden Objekts durchführen.
Die Steuervorrichtung kann ausgebildet sein, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor durchzuführen.
Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt enthält und den aus dem 2D-Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts zu bestimmen.
Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt anhand der 2D-Farbbilddaten zu verifizieren.
Die Auswerteinrichtung kann eingerichtet sein, das gesuchte Objekt in den 2D-Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts zu verifizieren.
Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet ist, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt enthält.
Die Auswerteinrichtung kann eingerichtet sein, aus den gespeicherten 3D-Bilddaten einen Auszug einer 3D-Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimensionalen Hüllkörpers der geometrischen Grundform liegt.
Die Auswerteinrichtung kann eingerichtet sein, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Objekts durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts zu erzeugen.
Die Auswerteinrichtung kann eingerichtet sein, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt mittels des Greifers des Roboterarms gegriffen werden kann.
Die Steuervorrichtung kann eingerichtet sein, die Gelenke des Roboterarms derart zu bewegen, dass der Greifer des Roboterarms derart positioniert ist, dass der Greifer das Objekt an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten gegriffen werden kann, um anschließend das reale Objekt durch Bewegen des Roboterarms handhaben zu können.
Die Auswerteinrichtung kann eingerichtet sein, das gesuchte Objekt in den 3D-Bilddaten wiederzufinden oder in den 3D-Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts, insbesondere Geometriedaten des Objekts, die aus einem CAD-System entnommen sind, zur Auswertung herangezogen werden.
Die Auswerteinrichtung kann eingerichtet sein, den 2D-Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor die 2D-Farbbilddaten in der Aufnahmepose erfasst hat.
Die Bewegungsvorrichtung kann ein Schwenkneigekopf sein, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks aufweist, wobei das Schwenkgelenk ausgebildet ist, den Halter bezüglich des Grundgestells um eine vertikale Achse zu schwenken und das Neigegelenk ausgebildet ist, den Halter bezüglich des Grundgestells um eine horizontale Achse zu neigen, um den an dem Halter befestigten 2D-Farbbildsensor im Raum schwenken und neigen zu können.
Eine weitere Bewegungsvorrichtung kann auch ein Schwenkneigekopf sein, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks aufweist, wobei das Schwenkgelenk ausgebildet ist, einen weiteren Halter bezüglich des Grundgestells um eine vertikale Achse zu schwenken und das Neigegelenk ausgebildet ist, den weiteren Halter bezüglich des Grundgestells um eine horizontale Achse zu neigen, um den an dem weiteren Halter befestigten 3D-Bildsensor im Raum schwenken und neigen zu können.
Die Bewegungsvorrichtung kann ein Roboterarm sein, der mehrere Glieder und wenigstens drei, die Glieder gegeneinander verstellbar verbindende Gelenke aufweist, die von einer Robotersteuerung automatisch verstellbar sind, um den mit einem der Glieder des Roboterarms fest verbundenen Halter oder Greifer des Roboterarms bezüglich des Grundgestells des Roboterarms im Raum verstellen zu können, damit der an dem Halter oder Greifer befestigte 2D-Farbbildsensor oder der an dem weiteren Halter oder Greifer befestigte 3D-Sensor im Raum bewegt werden kann.
Der Roboterarm kann einen Greifer aufweisen, der ausgebildet ist, den 2D-Farbbildsensor zu ergreifen, ihn aus einer Halterung zu entnehmen und durch Verstellen der Gelenke des Roboterarms im Raum zu bewegen, wobei der 2D-Farbbildsensor während des Bewegens des 2D-Farbbildsensors mittels des Roboterarms 2D-Farbbilddaten erfasst.
Der Greifer kann ausgebildet sein, den 2D-Farbbildsensor in der Halterung abzulegen.
Die Basis kann ein Tragboden einer mobilen Plattform sein, auf welcher der Roboterarm mit seinem Grundgestell befestigt ist.
Die Halterung für den 2D-Farbbildsensor kann an der mobilen Plattform befestigt sein und die Halterung kann dabei ausgebildet sein, den 2D-Farbbildsensor in seinem ungenutzten Zustand an der mobilen Plattform aufzubewahren.
Der 3D-Bildsensor kann an der mobilen Plattform befestigt sein.
Der 3D-Bildsensor kann eine Tiefenbildkamera sein, insbesondere eine Tiefenbildkamera, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt von einem Kamerabezugspunkt zugeordnet ist.
Der 2D-Farbbildsensor kann einen hochauflösenden Kamerachip aufweisen, dessen Auflösung mindestens 1920 mal 1080 Bildpunkte beträgt.
Ein konkretes Ausführungsbeispiel der Erfindung ist in der nachfolgenden Figurenbeschreibung unter Bezugnahme auf die beigefügte Figur näher erläutert. Konkrete Merkmale dieses exemplarischen Ausführungsbeispiels können unabhängig davon, in welchem konkreten Zusammenhang sie erwähnt sind, gegebenenfalls auch einzeln oder auch in anderen Kombinationen betrachtet, allgemeine Merkmale der Erfindung darstellen.
Es zeigt die:

Figur eine schematische Darstellung einer mobilen Plattform, die eine Basis aufweist, auf der ein Roboterarm befestigt ist, der einen Greifer aufweist, welcher einen 2D-Farbbildsensor trägt, wobei an der mobilen Plattform außerdem ein 3D-Bildsensor befestigt ist.

Die Figur zeigt eine beispielhafte Anwendungsszene für ein erfindungsgemäßes Objekterkennungssystem. Das Objekterkennungssystem umfasst einen Roboter 1, der einen Roboterarm 2 und eine Robotersteuerung 3 aufweist. Der Roboterarm 2 umfasst im Falle des vorliegenden Ausführungsbeispiels mehrere, nacheinander angeordnete und mittels Gelenke 4 drehbar miteinander verbundene Glieder 5. An einem distalen Endglied weist der Roboterarm 2 einen im Raum bewegbaren Greifer 6 auf. In einem Regal 7 sind beispielhaft drei Objekte 8.1, 8.2, 8.3 unterschiedlicher Gestalt abgelegt und stehen zum automatisierten Herausnehmen durch den Roboterarm 2 bzw. durch den Greifer 6 bereit.
Das Objekterkennungssystem weist auf:

- Eine Steuervorrichtung 9, die mit der Robotersteuerung 3 über eine Kommunikationsverbindung 10 steuerungstechnisch verbunden sein kann. Alternativ können die Steuervorrichtung 9 und die Robotersteuerung 3 in einer gemeinsamen Steuervorrichtung zusammengefasst sein bzw. durch eine einzige Steuervorrichtung realisiert sein. Die Steuervorrichtung 9 kann gegebenenfalls auch außerhalb der mobilen Plattform 12 angeordnet sein.
- Eine Basis 11, deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis 11 im Raum kennzeichnen, in der Steuervorrichtung 9 gespeichert sind,
- eine Bewegungsvorrichtung 2a, die im Falle des vorliegenden Ausführungsbeispiels durch den Roboterarm 2 gebildet wird, der ein Grundgestell 2.1, mehrere Gelenke 4 und einen über die mehreren Gelenke 4 an dem Grundgestell 2.1 verstellbar gelagerten Halter 6a, im Falle des vorliegenden Ausführungsbeispiels den Greifer 6, aufweist, wobei die mehreren Gelenke 4 durch die Robotersteuerung 3 automatisch verstellbar sind, um den Halter 6a, d.h. den Greifer 6, im Raum zu bewegen, wobei das Grundgestell 2.1 an einer vorbestimmten Position und Orientierung auf der Basis 11 befestigt ist und die Position und Orientierung des Grundgestells 2.1 auf der Basis 11 durch Grundkoordinatenwerte bestimmt ist, die in der Robotersteuerung 3 oder in der Steuervorrichtung 9 gespeichert sind.
- Einen 3D-Bildsensor 13 zur Erfassung von 3D-Bilddaten, der bezüglich der Basis 11 derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors 13 relativ zur Basis 11 durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Robotersteuerung 3 oder in der Steuervorrichtung 9 gespeichert sind, und
- einen 2D-Farbbildsensor 14 zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter 6a, d.h. an dem Greifer 6 der Bewegungsvorrichtung 2a bzw. des Roboterarms 2 befestigt ist, und welcher durch den Roboterarm 2 im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke 4 die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors 14 im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung 9 speicherbar sind, wobei
- das Objekterkennungssystem eine Auswerteinrichtung 9a aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung 2a von dem 2D-Farbbildsensor 14 erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.

Die Steuervorrichtung 9 ist im Falle des vorliegenden Ausführungsbeispiels ausgebildet, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor 14 gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor 13 durchzuführen.
Die Bewegungsvorrichtung 2a ist im Falle des vorliegenden Ausführungsbeispiels also ein Roboterarm 2, der mehrere Glieder 5 und wenigstens drei, die Glieder 5 gegeneinander verstellbar verbindende Gelenke 4 aufweist, die von der Robotersteuerung 3 automatisch verstellbar sind, um den mit einem der Glieder 5 des Roboterarms 2 fest verbundenen Halter 6a, also den Greifer 6, bezüglich des Grundgestells 2.1 des Roboterarms 2 im Raum verstellen zu können, damit der an dem Halter 6a befestigte 2D-Farbbildsensor 14 im Raum bewegt werden kann.
Bei dem Roboterarm 2 wird der Halter 6a also durch den Greifer 6 gebildet, der ausgebildet ist, den 2D-Farbbildsensor 14 zu ergreifen, ihn aus einer Halterung 15 zu entnehmen und durch Verstellen der Gelenke 4 des Roboterarms 2 im Raum zu bewegen, wobei der 2D-Farbbildsensor 14 während des Bewegens des 2D-Farbbildsensors 14 mittels des Roboterarms 2 2D-Farbbilddaten erfasst.
Der Greifer 6 ist außerdem ausgebildet, den 2D-Farbbildsensor 14 in der Halterung 15 ablegen zu können. Die Halterung 15 für den 2D-Farbbildsensor 14 ist im Falle des vorliegenden Ausführungsbeispiels an der mobilen Plattform 12 befestigt und die Halterung 15 ausgebildet ist, den 2D-Farbbildsensor 14 in seinem ungenutzten Zustand an der mobilen Plattform 12 aufzubewahren.
Die Basis 11 wird im Falle des vorliegenden Ausführungsbeispiels von einem Tragboden 11a der mobilen Plattform 12 gebildet, auf welcher der Roboterarm 2 mit seinem Grundgestell 2.1 befestigt ist.
Der 3D-Bildsensor 13 ist, wie dargestellt, an der mobilen Plattform 12 im Falle des vorliegenden Ausführungsbeispiels starr befestigt und zwar mittels einer Befestigungsvorrichtung 16.
Der 3D-Bildsensor 13 kann eine Tiefenbildkamera sein, insbesondere eine Tiefenbildkamera sein, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt 8.1, 8.2, 8.3 von einem Kamerabezugspunkt zugeordnet ist.
Der 2D-Farbbildsensor kann einen hochauflösenden Kamerachip aufweisen, dessen Auflösung mindestens 1920 mal 1080 Bildpunkte beträgt.
Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt 8.1, 8.2, 8.3 enthält und den aus dem 2D-Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor 13 erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts 8.1, 8.2, 8.3 zu bestimmen.
Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt 8.1, 8.2, 8.3 enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt 8.1, 8.2, 8.3 anhand der 2D-Farbbilddaten zu verifizieren.
Die Auswerteinrichtung 9a kann eingerichtet sein, das gesuchte Objekt 8.1, 8.2, 8.3 in den 2D-Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts 8.1, 8.2, 8.3 zu verifizieren.
Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet sein, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt 8.1, 8.2, 8.3 enthält.
Die Auswerteinrichtung 9a kann eingerichtet sein, aus den gespeicherten 3D-Bilddaten einen Auszug einer 3D-Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimensionalen Hüllkörpers der geometrischen Grundform liegt.
Die Auswerteinrichtung 9a kann eingerichtet sein, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Objekts 8.1, 8.2, 8.3 durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts 8.1, 8.2, 8.3 zu erzeugen.
Die Auswerteinrichtung 9a kann eingerichtet sein, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts 8.1, 8.2, 8.3 geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt 8.1, 8.2, 8.3 mittels des Greifers 6 des Roboterarms 2 gegriffen werden kann.
Die Steuervorrichtung 9 kann eingerichtet sein, die Gelenke 4 des Roboterarms 2 derart zu bewegen, dass der Greifer 6 des Roboterarms 2 derart positioniert ist, dass der Greifer 6 das Objekt 8.1, 8.2, 8.3 an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten greifen kann, um das reale Objekt 8.1, 8.2, 8.3 durch Bewegen des Roboterarms 2 handhaben zu können.
Die Auswerteinrichtung 9a kann eingerichtet sein, das gesuchte Objekt 8.1, 8.2, 8.3 in den 3D-Bilddaten wiederzufinden oder in den 3D-Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts 8.1, 8.2, 8.3, insbesondere Geometriedaten des Objekts 8.1, 8.2, 8.3, die aus einem CAD-System entnommen sind, zur Auswertung herangezogen werden.
Die Auswerteinrichtung 9a kann außerdem eingerichtet sein, den 2D-Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor 14 die 2D-Farbbilddaten in der Aufnahmepose erfasst hat.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015100983 A1 [0002]

Claims

Objekterkennungssystem aufweisend: - eine Steuervorrichtung (9,3), - eine Basis (11), deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis (11) im Raum kennzeichnen, in der Steuervorrichtung (9) gespeichert sind, - eine Bewegungsvorrichtung (2a), die ein Grundgestell (2.1), mehrere Gelenke (4) und einen über die mehreren Gelenke (4) an dem Grundgestell (2.1) verstellbar gelagerten Halter (6a) aufweist, wobei die mehreren Gelenke (4) durch die Steuervorrichtung (9,3) automatisch verstellbar sind, um den Halter (6a) im Raum zu bewegen, wobei das Grundgestell (2.1) an einer vorbestimmten Position und Orientierung auf der Basis (11) befestigt ist und die Position und Orientierung des Grundgestells (2.1) auf der Basis (11) durch Grundkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind, - einen 3D-Bildsensor (13) zur Erfassung von 3D-Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors (13) relativ zur Basis (11) durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind, und - einen 2D-Farbbildsensor (14) zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter (6a) der Bewegungsvorrichtung (2a) befestigt ist, und welcher durch die Bewegungsvorrichtung (2a) im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke (4) der Bewegungsvorrichtung (2a) die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors (14) im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung (9,3) speicherbar sind, wobei - das Objekterkennungssystem eine Auswerteinrichtung (9a) aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung (2a) von dem 2D-Farbbildsensor (14) erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.
Objekterkennungssystem nach Anspruch 1, dadurch gekennzeichnet, dass die Steuervorrichtung (9,3) ausgebildet ist, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor (13) durchzuführen.
Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt (8.1, 8.2, 8.3) enthält und den aus dem 2D-Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor (13) erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts (8.1, 8.2, 8.3) zu bestimmen.
Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt (8.1, 8.2, 8.3) enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor (14) erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt (8.1, 8.2, 8.3) anhand der 2D-Farbbilddaten zu verifizieren.
Objekterkennungssystem nach Anspruch 4, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, das gesuchte Objekt (8.1, 8.2, 8.3) in den 2D-Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts (8.1, 8.2, 8.3) zu verifizieren.
Objekterkennungssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet ist, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt (8.1, 8.2, 8.3) enthält.
Objekterkennungssystem nach Anspruch 6, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, aus den gespeicherten 3D-Bilddaten einen Auszug einer 3D-Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimensionalen Hüllkörpers der geometrischen Grundform liegt.
Objekterkennungssystem nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Objekts (8.1, 8.2, 8.3) durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts (8.1, 8.2, 8.3) zu erzeugen.
Objekterkennungssystem nach Anspruch 8, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts (8.1, 8.2, 8.3) geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt (8.1, 8.2, 8.3) mittels eines Greifers (6) eines Roboterarms (2) gegriffen werden kann.
Objekterkennungssystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Steuervorrichtung (9, 3) eingerichtet ist, die Gelenke (4) des Roboterarms (2) derart zu bewegen, dass der Greifer (6) des Roboterarms (2) derart positioniert ist, dass der Greifer (6) das Objekt (8.1, 8.2, 8.3) an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten greifen kann, um anschließend das reale Objekt (8.1, 8.2, 8.3) durch Bewegen des Roboterarms (2) handhaben zu können.
Objekterkennungssystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, das gesuchte Objekt (8.1, 8.2, 8.3) in den 3D-Bilddaten wiederzufinden oder in den 3D-Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts, insbesondere Geometriedaten des Objekts (8.1, 8.2, 8.3), die aus einem CAD-System entnommen sind, zur Auswertung herangezogen werden.
Objekterkennungssystem nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, den 2D-Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor (14) die 2D-Farbbilddaten in der Aufnahmepose erfasst hat.
Objekterkennungssystem nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Bewegungsvorrichtung (2a) ein Schwenkneigekopf ist, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks aufweist, wobei das Schwenkgelenk ausgebildet ist, den Halter (6a) bezüglich des Grundgestells (2.1) um eine vertikale Achse zu schwenken und das Neigegelenk ausgebildet ist, den Halter (6a) bezüglich des Grundgestells (2.1) um eine horizontale Achse zu neigen, um den an dem Halter (6a) befestigten 2D-Farbbildsensor (14) im Raum schwenken und neigen zu können.
Objekterkennungssystem nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Bewegungsvorrichtung (2a) ein Roboterarm (2) ist, der mehrere Glieder (5) und wenigstens drei, die Glieder (5) gegeneinander verstellbar verbindende Gelenke (4) aufweist, die von einer Robotersteuerung (3) automatisch verstellbar sind, um den mit einem der Glieder (5) des Roboterarms (2) fest verbundenen Halter (6a), insbesondere einen Greifer (6) des Roboterarms (2) bezüglich des Grundgestells des Roboterarms (2) im Raum verstellen zu können, damit der an dem Halter (6a) oder Greifer (6) befestigte 2D-Farbbildsensor (14) im Raum bewegt werden kann.
Objekterkennungssystem nach Anspruch 14, dadurch gekennzeichnet, dass der Roboterarm (2) einen Greifer (6) aufweist, der ausgebildet ist, den 2D-Farbbildsensor (14) zu ergreifen, ihn aus einer Halterung (15) zu entnehmen und durch Verstellen der Gelenke (4) des Roboterarms (2) im Raum zu bewegen, wobei der 2D-Farbbildsensor (14) während des Bewegens des 2D-Farbbildsensors (14) mittels des Roboterarms (2) 2D-Farbbilddaten erfasst.
Objekterkennungssystem nach Anspruch 15, dadurch gekennzeichnet, dass der Greifer (6) ausgebildet ist, den 2D-Farbbildsensor (14) in der Halterung (15) abzulegen.
Objekterkennungssystem nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die Basis (11) ein Tragboden (11a) einer mobilen Plattform (12) ist, auf welcher der Roboterarm (2) mit seinem Grundgestell (2.1) befestigt ist.
Objekterkennungssystem nach 17, dadurch gekennzeichnet, dass die Halterung (15) für den 2D-Farbbildsensor (14) an der mobilen Plattform (12) befestigt ist und die Halterung (15) ausgebildet ist, den 2D-Farbbildsensor (14) in seinem ungenutzten Zustand an der mobilen Plattform (12) aufzubewahren.
Objekterkennungssystem nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass der 3D-Bildsensor (13) an der mobilen Plattform (12) befestigt ist.
Objekterkennungssystem nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass der 3D-Bildsensor (13) eine Tiefenbildkamera ist, insbesondere eine Tiefenbildkamera ist, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt (8.1, 8.2, 8.3) von einem Kamerabezugspunkt zugeordnet ist.
Objekterkennungssystem nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass der 2D-Farbbildsensor (14) einen hochauflösenden Kamerachip aufweist, dessen Auflösung mindestens 1920 mal 1080 Bildpunkte beträgt.