DE102021108974B4 - Vorrichtung zur Greifpunktbestimmung, Verfahren zur Greifpunktbestimmung und Logistikroboter - Google Patents

Vorrichtung zur Greifpunktbestimmung, Verfahren zur Greifpunktbestimmung und Logistikroboter Download PDF

Info

Publication number
DE102021108974B4
DE102021108974B4 DE102021108974.3A DE102021108974A DE102021108974B4 DE 102021108974 B4 DE102021108974 B4 DE 102021108974B4 DE 102021108974 A DE102021108974 A DE 102021108974A DE 102021108974 B4 DE102021108974 B4 DE 102021108974B4
Authority
DE
Germany
Prior art keywords
reflections
designed
stereoscopic image
gripping point
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021108974.3A
Other languages
English (en)
Other versions
DE102021108974A1 (de
Inventor
Christian Poss
Thomas Irrenhauser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021108974.3A priority Critical patent/DE102021108974B4/de
Publication of DE102021108974A1 publication Critical patent/DE102021108974A1/de
Application granted granted Critical
Publication of DE102021108974B4 publication Critical patent/DE102021108974B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162Mobile manipulator, movable base with manipulator arm mounted on it
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39542Plan grasp points, grip matrix and initial grasp force

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (10) zur Greifpunktbestimmung eines Greifpunkts (12) an einem Objekt (14), mit einer wenigstens zwei voneinander getrennte Objektiveinheiten (16) aufweisenden Kamera (18), welche dazu ausgebildet ist, wenigstens ein stereoskopisches Bild des Objekts (14) zu erfassen, wobei jede der Objektiveinheiten (16) der Kamera (18) mit einem jeweiligen Filter (20) ausgestattet ist, welcher jeweils dazu ausgebildet ist, Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild zu reduzieren, und mit einer Auswerteeinrichtung (22), welche dazu ausgebildet ist, aus dem wenigstens einen stereoskopischen Bild Objektdaten des Objekts (14) zu erzeugen und aus diesen den Greifpunkt (12) zu bestimmen, welcher an dem Objekt (14) angeordnet ist und zum Greifen des Objekt (14) durch einen Logistikroboter (24) dient. Ferner betrifft die Erfindung eine Verfahren sowie einen Logistikroboter (24).

Description

  • Die Erfindung betrifft eine Vorrichtung zur Greifpunktbestimmung an einem Objekt gemäß dem Patentanspruch 1. Ferner betrifft die Erfindung ein Verfahren zur Greifpunktbestimmung an einem Objekt gemäß dem Patentanspruch 7. Schließlich betrifft die Erfindung einen Logistikroboter, welcher eine entsprechende Vorrichtung aufweist und/oder zur Durchführung des Verfahrens ausgebildet ist, gemäß dem Patentanspruch 10.
  • Heutzutage werden Roboter in vielen Teilen der Industrie, beispielsweise bei der Montage von Automobilen, eingesetzt. Damit diese Roboter auch dazu verwendet werden können, beispielsweise bei der Montage, entsprechende Bauteile zu transportieren und/oder dementsprechend zu greifen, benötigen die Roboter Informationen zu einem Greifpunkt des dreidimensional ausgestalteten Objekts. Dabei kann das Objekt beispielsweise selbst als Transportbehälter für weitere Bauteile ausgebildet sein oder aber das Bauteil selbst sein und jeweils dementsprechend wenigstens einen Greifpunkt aufweisen. Darüber hinaus werden Roboter beispielsweise auch bei der Montage von Automobilen als Logistikroboter eingesetzt.
  • Dabei erfolgt der Einsatz solcher Roboter vorzugsweise in Hallen, insbesondere Montagehallen, welche in der Regel beispielsweise mittels Deckenlampen beleuchtet sind. Durch diese Lampen können beispielsweise Reflexionen und Spiegelungen an den Objekten auftreten.
  • Zur Bestimmung von Greifpunkten der Objekte werden in der Regel 3D-Bilder beziehungsweise stereoskopische Bilder verwendet, welche durch Umwelteinflüsse, wie beispielsweise die Deckenlampen und/oder starke Sonneneinstrahlung, Reflexionen aufweisen können. Durch diese Reflexionen können Tiefeninformationen in den Bildern verloren gehen. Dies führt dazu, dass es nicht mehr möglich ist, Objekte zu identifizieren und darüber hinaus, deren Greifpunkt robust zu bestimmen.
  • Heutzutage sind Lösungen bekannt, bei denen derartige Datenbeschädigungen, also das Fehlen der Tiefendaten, durch Füllen der nicht vorhandenen Pixel mit berechneten Werten erfolgt. Jedoch sind solche „optimierten Daten“ meist kaum besser als die Originaldaten.
  • Die Druckschriften DE 10 2015 100 983 A1 , DE 20 2017 001 227 U1 , US 9 102 055 B1 und US 2015 / 0 224 650 A1 zeigen verschiedene Vorrichtungen zur Bestimmung von Greifpunkten.
  • Ferner zeigt die JP 2018-525638 A ein dreidimensionales Messgerät mit einer Kamera, welche ein Lichtmuster erfasst, das von einem Projektor auf ein Objekt projiziert wird. Die Veröffentlichung „Conen, N., Hastedt, H., Kahmen, O., and Luhmann, T.: Improving Image Matching by Reducing Surface Reflections using Polarising Filter Techniques, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2, 267– 274, https://doi.org/10.5194/isprs- archives-XLII-2-267-2018 (2018)“ beschreibt ein Verfahren zur Verbesserung von Stereo-Verfahren.
  • Dabei ist solch ein dreidimensionales Messgerät beispielsweise sehr aufwendig und somit kostspielig.
  • Daher ist es Aufgabe der vorliegenden Erfindung, eine Vorrichtung, ein Verfahren sowie einen Logistikroboter bereitzustellen, durch welche auf besonders einfache und effiziente Weise eine Bestimmung von Greifpunkten an Objekten ermöglicht wird, welche dazu dienen, das Objekt mittels des Logistikroboters zu greifen.
  • Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung.
  • Ein erster Aspekt der Erfindung betrifft eine Vorrichtung zur Greifpunktbestimmung an einem Objekt. Dabei kann der Greifpunkt dazu dienen, dass das Objekt beispielsweise in einem Fertigungsprozess durch einen Logistikroboter gegriffen werden kann. Somit kann die Vorrichtung vorteilhafterweise für den Fertigungsprozess verwendet werden, welcher beispielsweise eine Fahrzeugmontage darstellt.
  • Die erfindungsgemäße Vorrichtung weist eine Kamera mit wenigstens zwei voneinander getrennten Objektiveinheiten auf, das heißt, die Kamera umfasst zwei voneinander getrennte Objektive beziehungsweise Linsen, wodurch die Kamera dazu ausgebildet ist, wenigstens ein stereoskopisches Bild des Objekts zu erfassen. Dabei ist unter einem stereoskopischen Bild zu verstehen, dass zwei einzelne Bilder aus zwei unterschiedlichen Blickrichtungen, jeweils mittels einer der Objektiveinheiten, von dem Objekt erfassbar sind. Dabei wird jedes der Einzelbilder durch eine der Objektiveinheiten der Kamera erfasst.
  • Erfindungsgemäß ist jede der Objektiveinheiten der Kamera mit einem jeweiligen Filter ausgestattet, welcher dazu ausgebildet ist, Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild zu reduzieren. Somit weist erfindungsgemäß die Vorrichtung wenigstens zwei Filter auf, wobei ein erster der beiden Filter für die erste Objektiveinheit vorgesehen ist und wenigstens ein zweiter, von dem ersten Filter unabhängiger Filter für die zweite Objektiveinheit der Kamera vorgesehen ist.
  • Ferner umfasst die erfindungsgemäße Vorrichtung eine Auswerteeinrichtung, welche dazu ausgebildet ist, aus dem wenigstens einen stereoskopischen Bild Objektdaten des Objekts zu erzeugen. Dabei umfassen die Objektdaten insbesondere Tiefeninformationen beziehungsweise Informationen über die dreidimensionale Erstreckung des Objekts. Bei dem Erzeugen können beispielsweise aus Informationen betreffend die unterschiedlichen Blickrichtungen der Einzelbilder des stereoskopischen Bilds entsprechende Tiefeninformationen für die Objektdaten errechnet werden. Ferner ist die Auswerteeinrichtung der Vorrichtung dazu ausgebildet, anhand der erzeugten Objektdaten den Greifpunkt des Objekts zu bestimmen, welcher an dem Objekt angeordnet ist und dazu dient, dass das Objekt durch einen Logistikroboter gegriffen werden kann.
  • Durch die erfindungsgemäße Vorrichtung kann auf besonders einfache und somit vorteilhafte Weise der Greifpunkt an dem Objekt bestimmt werden, ohne dass es dabei, wie beispielsweise im Stand der Technik, zu fehlerhaften Objektdaten, beispielsweise aufgrund fehlender Informationen, in dem stereoskopischen Bild aufgrund von Reflexionen und/oder Spiegelungen kommt. Dabei wird als einfaches Grundprinzip aufgrund der Verwendung zweier Filter für die wenigstens zwei Linsen der Kamera eine Hardware-Lösung bereitgestellt, durch welche auf besonders effektive Weise vorteilhaft das wenigstens eine stereoskopische Bild erzeugt werden kann. Dabei kann der jeweilige Filter beispielsweise dergestalt ausgestaltet sein, dass durch eine Anpassung einer jeweiligen Phasenverschiebung des durch den Filter hindurchtretenden Lichts eine Minimierung von Reflexionen und/oder Spiegelungen erfolgen kann. Ferner handelt es sich vorteilhafterweise bei der Kamera um eine Kamera, welche Licht im sichtbaren Bereich des elektromagnetischen Spektrums aufnimmt. Somit umfasst das wenigstens eine stereoskopische Bild Informationen im sichtbaren Wellenlängenbereich. Vorteilhafterweise kann der Wellenlängenbereich, für welchen die Kamera sensitiv, beispielsweise in kleinem Maße sich auch im Infrarotbereich nahe dem sichtbaren Bereich und/oder in einem Ultraviolettbereich nahe dem sichtbaren Bereich erstrecken.
  • In vorteilhafter Ausgestaltung der Erfindung ist wenigstens einer der Filter ein Polarisationsfilter. Mit anderen Worten ist der Filter dazu ausgebildet, dass polarisiertes Licht, welches von dem Objekt in Richtung Kamera gesendet beziehungsweise gestreut reflektiert wird, absorbiert wird. Dazu eignet sich der Filter auf besonders einfache Weise dafür, Lichtstrahlen zu unterdrücken, wie sie beispielsweise durch Spiegelungen auf nicht metallischen Oberflächen des Objekts hervorgerufen werden. Dabei schwingt polarisiertes Licht beispielsweise nur entlang einer Vorzugsrichtung beziehungsweise rotiert mit einer Vorzugsrichtung entlang seiner Ausbreitungsrichtung. Somit kann auf besonders einfache und vorteilhafte Weise die Vorrichtung derart ausgebildet werden, dass Reflexionen und/oder Spiegelungen besonders vorteilhaft vermieden werden können und somit besonders vorteilhaft ein dreidimensionales Bild, das stereoskopische Bild, des Objekts erzeugt werden kann.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung ist der Polarisationsfilter als linearer Polarisationsfilter ausgebildet. Mit anderen Worten wird ein linear polarisierender optischer Filter für wenigstens eine der Objektiveinheiten der Kamera verwendet. Dabei kann dieser lineare Polarisationsfilter beispielsweise aus einer makromolekularen Folie hergestellt sein, die in eine Richtung plastisch gedehnt wird. Solch ein linearer Polarisationsfilter kann auch H-Filter genannt werden.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung ist der Polarisationsfilter ein zirkularer Polarisationsfilter. Mit anderen Worten wird ein Filter verwendet, welcher beispielsweise aus linearem polarisiertem Licht zirkular polarisiertes Licht macht, welches je nach Art des Filters links- beziehungsweise rechtshändisch rotierend ist. Dadurch kann beispielsweise auf besonders vorteilhafte Weise eine Anpassung der Phasenverschiebung beispielsweise des Lichts aus der ursprünglichen Quelle und des von ihm an dem Objekt reflektierten Strahls erfolgen. Dadurch ergibt sich der Vorteil, dass die Vorrichtung besonders vorteilhaft zur Greifpunktbestimmung verwendet werden kann.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung ist der erste der Filter ein Polarisationsfilter und der zweite der Filter ein weiterer Polarisationsfilter, wobei sich die Polarisationsebenen der Filter unterscheiden. Mit anderen Worten weist der jeweilige Filter eine Polarisationsebene auf, welche entgegen der Polarisationsebene des weiteren Polarisationsfilters verdreht ist, wodurch beispielsweise in dem stereoskopischen Bild in einem der Einzelbilder die Spiegelungen und/oder Reflexionen mehr unterdrückt werden als in dem anderen Einzelbild. Dadurch ergibt sich der Vorteil, dass beispielsweise auf besonders vorteilhafte Weise durch die Auswerteeinrichtung Objektdaten des Objekts, welche die Tiefeninformationen enthalten, bestimmt werden können.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung umfasst wenigstens einer der Filter eine Verzögerungsplatte. Die Verzögerungsplatte kann beispielsweise auch als Wellenplatte ausgebildet sein und ist ein optisches Bauelement, das die Polarisation und Phase durchtretender elektromagnetischer Wellen, in Form des Lichts, ändern kann. Dabei kann die Verzögerungsplatte vorteilhafterweise als λ/4-Plättchen ausgebildet sein und/oder λ/2-Plättchen ausgebildet sein. Durch das Verzögerungsplättchen, beispielsweise auch insbesondere in Kombination mit dem einen Polarisationsfilter, insbesondere dem zirkularen Polarisationsfilter, ergibt sich der Vorteil, dass Reflexionen auf besonders vorteilhafte Weise vermieden werden können. Darüber hinaus ergibt sich der Vorteil, dass eine Anpassung der jeweiligen Phasenverschiebung zur Eliminierung von Reflexionen beziehungsweise Spiegelungen besonders vorteilhaft durchgeführt werden kann.
  • Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Greifpunktbestimmung. Dabei ist für das erfindungsgemäße Verfahren der Greifpunkt an einem Objekt angeordnet und dient dazu, dass das Objekt durch einen Logistikroboter oder ähnliches gegriffen werden kann.
  • Das erfindungsgemäße Verfahren umfasst folgende Schritte: Erfassen wenigstens eines stereoskopischen Bildes des Objekts mit einer wenigstens zwei voneinander getrennte Objektiveinheiten aufweisenden Kamera, wobei jede der Objektiveinheiten mit einem jeweiligen Filter ausgestattet ist, welcher dazu ausgebildet ist Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild zu reduzieren. Ein weiterer Schritt ist ein Erzeugen von Objektdaten aus dem stereoskopischen Bild mittels einer Auswerteeinrichtung, welche beispielsweise als elektronische Recheneinrichtung ausgebildet ist. Dabei umfassen die Objektdaten Tiefeninformationen und somit eine räumliche Ausprägung beziehungsweise Form des Objekts. Schließlich erfolgt in einem weiteren Schritt ein Bestimmen des Greifpunkts an dem Objekt aus den Objektdaten durch die Auswerteeinrichtung.
  • Durch das erfindungsgemäße Verfahren ergibt sich der Vorteil, dass auf besonders einfache und somit ausfallsichere und/oder kostengünstige Weise ein Greifpunkt eines Objekts, welches beispielsweise als Transportbox in einem Fertigungsprozess verwendet wird, erfolgen kann.
  • In vorteilhafter Ausgestaltung des Verfahrens erfolgt beim Erfassen und/oder Erzeugen eine Anpassung einer jeweiligen Phasenverschiebungen zur Reduzierung der Reflexionen und/oder Speigelungen in dem wenigstens einen stereoskopischen Bild. Mit anderen Worten wird das Verfahren derart angewendet, dass aufgrund einer durch Reflexion und/oder Spiegelung auftretenden Phasenverschiebung des reflektierten beziehungsweise gespiegelten Lichts beispielsweise im Vergleich zu dem ursprünglichen auf das Objekt treffende Licht derart korrigiert wird, dass eine Reflexion und/oder Spiegelung besonders vorteilhaft reduziert werden kann. Dabei ergibt sich der Vorteil, dass das Verfahren besonders effizient beziehungsweise wenig fehleranfällig durchgeführt werden kann.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung wird der Greifpunkt an einem als Transportmittel für eine Bauteilmontage, beziehungsweise für den Fertigungsprozess, ausgebildeten Objekt bestimmt. Mit anderen Worten kommt das Verfahren in der Bauteilmonate zum Einsatz und dient dort zum Identifizieren beziehungsweise Bestimmen von Greifpunkten an als Transportmitteln ausgebildeten Objekten. Dabei kann solch ein Transportmittel beispielsweise als eine Box ausgebildet sein, in welcher Bauteile für die Bauteilmontage transportiert werden können. Dadurch kann das Verfahren besonders vorteilhaft bei der Bauteilmontage eingesetzt werden, um diese besonders effizient und/oder kostengünstig durchführen zu können.
  • Ein dritter Aspekt der Erfindung betrifft einen Logistikroboter, welche eine Vorrichtung gemäß dem ersten Aspekt der Erfindung aufweist und/oder dazu ausgebildet ist, ein Verfahren gemäß dem zweiten Aspekt der Erfindung durchzuführen.
  • Dabei sind Vorteile und vorteilhafte Ausgestaltungen des ersten Aspekts der Erfindung als Vorteile und vorteilhafte Ausgestaltungen des zweiten Aspektes sowie des dritten Aspekts der Erfindung anzusehen und umgekehrt.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
  • Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigt:
    • 1 in einer schematischen Ansicht eine Vorrichtung für eine Greifpunktbestimmung an einem Objekt und einen zum Greifpunktgreifen ausgebildeten Logistikroboter.
  • 1 zeigt in einer schematischen Ansicht eine Vorrichtung 10 zur Greifpunktbestimmung eines Greifpunkts 12 an einem Objekt 14. Die Vorrichtung 10 dient im Ausführungsbeispiel ferner dazu, ein Verfahren zur Greifpunktbestimmung des Greifpunkts 12 an dem Objekt 14 durchzuführen beziehungsweise durchführen zu können.
  • Dazu weist die Vorrichtung 10 eine mit wenigstens zwei voneinander getrennten Objektiveinheiten 16 ausgestattete Kamera 18 auf, welche dazu ausgebildet ist, wenigstens ein stereoskopisches Bild des Objekts 14 zu erfassen. Das stereoskopische Bild ist aus wenigstens zwei Einzelbildern durch jeweils eines der voneinander getrennten Objektiveinheiten 16 erfassbar und weist somit Informationen über das Objekt 14 aus unterschiedlichen Blickrichtungen beziehungsweise Blickwinkeln auf.
  • Jeder der Objektiveinheiten 16, also ein jeweiliges Objektiv beziehungsweise eines von wenigstens zwei Linsensystemen der Kamera 18, weist einen jeweiligen Filter 20 auf. Der jeweilige Filter 20 ist dazu ausgebildet, Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild zu reduzieren beziehungsweise zu verringern. Ferner umfasst die Vorrichtung 10 eine Auswerteeinrichtung 22, welche dazu ausgebildet ist, aus dem wenigstens einen stereoskopischen Bild Objektdaten, welche insbesondere Tiefeninformationen beziehungsweise Informationen über die Form des Objekts 14 enthalten können, zu erzeugen. Des Weiteren ist die Auswerteeinrichtung 22 dazu ausgebildet, aus diesen Objektdaten den Greifpunkt 12 zu bestimmen, welcher an dem Objekt 14 angeordnet ist, und dazu dient, dass das Objekt 14durch einen Logistikroboter 24 gegriffen werden kann. Dazu kann der Logistikroboter 24 einen als Greifarm 26 ausgebildeten Manipulator aufweisen.
  • Ferner kann vorteilhafterweise die Vorrichtung 10 direkt an dem Logistikroboter 24 angeordnet sein, welcher beispielsweise dazu dient, in einem Produktionsprozess eines Bauteils, wie beispielsweise für ein Kraftfahrzeug, eingesetzt zu werden. Somit kann besonders vorteilhaft die Vorrichtung 10 nicht nur an dem Logistikroboter 24 angeordnet sein, sondern auch als Teil des Logistikroboters 24 selbst ausgebildet sein, wodurch der Logistikroboter 24 selbst dazu in der Lage ist, das Verfahren zur Greifpunktbestimmung durchzuführen.
  • Das Verfahren zur Greifpunktbestimmung, also zur Bestimmung des Greifpunkts 12, welcher an dem Objekt 14 angeordnet ist und dazu dienet, dass das Objekt 14 durch den Logistikroboter 24 gegriffen werden kann, umfasst mehrere Schritte: In einem Schritt des Verfahrens erfolgt ein Erfassen wenigstens eines stereoskopischen Bildes des Objekts 14 mit einer wenigstens zwei voneinander getrennte Objektiveinheiten 16 aufweisenden Kamera 18, wobei jede der Objektiveinheiten 16 der Kamera 18 mit einem jeweiligen Filter 20 ausgestattet ist, welcher dazu ausgebildet ist, Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild zu reduzieren. In einem weiteren Schritt erfolgt ein Erzeugen von Objektdaten aus dem stereoskopischen Bild mittels einer Auswerteeinrichtung 22 und schließlich erfolgt in einem zusätzlichen Schritt ein Bestimmen des Greifpunkts 12 an dem Objekt 14 aus den Objektdaten durch die Auswerteeinrichtung 22.
  • Durch die gezeigte Vorrichtung 10, das gezeigte Verfahren sowie den gezeigten Logistikroboter 24 wird es möglich, wenigstens einen Greifpunkt 12 besonders vorteilhaft zu bestimmen und dabei eine hohe Qualität der Bestimmung unabhängig von Umwelteinflüssen gewährleisten zu können. Die Umwelteinflüssen sind beispielsweise Reflexionen und/oder Spiegelungen beispielsweise durch starke Sonneneinstrahlung oder Deckenleuchten.
  • In konventionellen Verfahren führen solche Reflexionen und/oder Spiegelungen zur Beschädigung von in den Objektdaten enthaltenen Tiefendaten beziehungsweise Tiefeninformationen. Dies ist bei den hier gezeigten Gegenständen nicht der Fall.
  • So ist durch die gezeigte Vorrichtung 10, das gezeigte Verfahren und in dem Fall, dass die gezeigte Vorrichtung 10 Teil des Logistikroboters 24 ist auch für Letzteren, aufgrund der Verwendung der wenigstens zwei Filter 20 für die wenigstens zwei Kameralinsen beziehungsweise Objektiveinheiten 16 zumindest eine Reduzierung oder sogar eine Eliminierung der Reflexionen und/oder Spiegelungen möglich. So kann beispielsweise auch eine Anpassung der jeweiligen Phasenverschiebung von Licht, welches von dem Objekt 14 auf die Objektiveinheiten 16 der Kamera 18 trifft ermöglicht werden, wodurch Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild besonders reduziert und möglicherweise sogar eliminiert werden können.
  • Durch die Kamera 18 in Kombination mit den wenigstens zwei Filtern 20 beim Erfassen und/oder durch die Auswerteeinrichtung 22 beim Erzeugen kann eine Anpassung der jeweiligen Phasenverschiebung zur Reduzierung der Reflexion und/oder Spiegelung in dem stereoskopischen Bild durchgeführt werden.
  • Das stereoskopische Bild wird durch wenigstens zwei Einzelbilder zusammengestellt, wobei eines der Einzelbilder mit der ersten der wenigstens zwei Objektiveinheiten 16 und das zweite Einzelbild mit der zweiten der wenigstens zwei Objektiveinheiten 16, insbesondere beispielsweise gleichzeitig, erzeugt werden können. Die Objektiveinheiten 16 erfassen dabei, um einen stereoskopischen Effekt und somit Tiefeninformationen in dem stereoskopischen Bild des Objekts 14 zu erhalten, analog dem Augenabstand des menschlichen Auges, das Objekt 14 wenigstens aus zwei unterschiedlichen Blickrichtungen. Somit ist kurz gesagt die Kamera 18 zum räumlichen Sehen ausgebildet beziehungsweise kann durch die Auswerteeinrichtung 22 aus dem stereoskopischen Bild räumliches Sehen und somit Tiefeninformation in den Objektdaten abgeleitet, beispielsweise berechnet, werden.
  • Damit auf einfache und vorteilhafte Weise Reflexionen und/oder Spiegelungen vermieden werden können ist wenigstens einer der Filter 20 als ein Polarisationsfilter ausgebildet. Vorteilhafterweise sind die wenigstens zwei Filter 20 als Polarisationsfilter ausgebildet. Dabei kann der Polarisationsfilter ein linearer Polarisationsfilter und/oder ein zirkularer Polarisationsfilter sein, beziehungsweise ist wenigstens einer der Polarisationsfilter ein linearer Polarisationsfilter und der weitere der Polarisationsfilter ein zirkularer Polarisationsfilter.
  • Darüber hinaus kann der erste der Filter 20, wenn dieser als Polarisationsfilter ausgebildet ist, eine Polarisationsebene aufweisen, welche sich von dem als Polarisationsfilter ausgebildeten zweiten beziehungsweise weiteren Filter 20 unterscheidet. Zusätzlich oder alternativ kann wenigstens einer der Filter 20 eine Verzögerungsplatte beziehungsweise eine Wellenplatte aufweisen, welche beispielsweise als λ/4-Plättchen und/oder λ/2-Plättchen ausgebildet ist. So kann beispielsweise der zirkulare Polarisationsfilter eine aus der Verzögerungsplatte ausgebildete λ/4-Verzögerungsschicht aufweisen, sodass beispielsweise der zirkulare Polarisationsfilter aus zwei direkt hintereinander geschalteten optischen Elementen, einem linearen Polarisationsfilter und der Verzögerungsplatte, ausgebildet ist. Dabei können diese fest miteinander verbunden sein, sodass zunächst unpolarisiertes Licht den linearen Polarisationsfilter passiert, der je nach Drehwinkel eine bevorzugte Polarisationsrichtung hindurch lässt. Die andere Komponente wird reflektiert beziehungsweise absorbiert. Anschließend fällt das lineare polarisierte Licht auf das zweite Element, die Verzögerungsschicht, dessen optische Achse um beispielsweise +45 beziehungsweise - 45 Grad gegenüber dem linearen Polarisationsfilter gedreht ist. Durch die 45 Grad-Drehung kann das linear polarisierte Licht wiederum als Überlagerung zweier senkrecht zueinander linear polarisierter Lichtstrahlen gleicher Phase aufgefasst werden. Die λ/4-Verzögerungsschicht bewirkt nun eine Phasenverschiebung von π/2 der beiden linear polarisierten Strahlen des Lichts. Das Ergebnis ist zirkular polarisiertes Licht, das je nach Verdrehung des linearen Polarisationselement und der Verzögerungsschicht links beziehungsweise rechts-händisch rotierend ist.
  • Durch die Verwendung von Polarisationsfiltern können auf besonders vorteilhafte Weise unerwünschte Reflexionen beziehungsweise Spiegelungen von glatten, insbesondere nicht-metallischen, Oberflächen des Objekts 14 unterdrückt werden, da in der Regel an nicht-metallischen Oberflächen Licht mit senkrechter Polarisation merklich stärker reflektiert wird.
  • Wenn die Polarisationsfilter somit zu dem Objekt 14 geeignet ausgerichtet sind, werden reflektierte Lichtwellen unterdrückt, sodass der unpolarisierte Hintergrund nicht von der Reflexion überstrahlt wird. So können beispielsweise störende Reflexionen ausgeblendet werden, wodurch die Vorrichtung 10 besonders vorteilhaft betrieben und somit das Verfahren besonders vorteilhaft angewandt werden kann. Dabei ist die Kamera 18 vorzugsweise sensitiv für sichtbares Licht beziehungsweise für Licht in der für das menschliche Auge sichtbaren Wellenlänge. Dabei können jedoch Randbereiche im nahen infraroten und/oder im nahen ultravioletten Bereich ferner durch die Kamera 18 erfassbar sein.
  • Der Greifpunkt 12 des Objekts 14 ist vorteilhaft an einem als Transportmittel für eine Bauteilmontage ausgebildeten Objekt bestimmbar, wodurch die Vorrichtung 10, der Logistikroboter 24 und das Verfahren besonders vorteilhaft beispielsweise im Fahrzeugbau verwendet werden können.
  • Ein Vorteil der Vorrichtung 10 sowie des Verfahrens und des Logistikroboters 24 besteht darin, dass eine Verbesserung von räumlichen Bildern mit kameraunabhängigen Hardwarefiltern ermöglicht wird.
  • Bezugszeichenliste
  • 10
    Vorrichtung
    12
    Greifpunkt
    14
    Objekt
    16
    Objektiveinheit
    18
    Kamera
    20
    Filter
    22
    Auswerteeinrichtung
    24
    Logistikroboter
    26
    Greifarm

Claims (10)

  1. Vorrichtung (10) zur Greifpunktbestimmung eines Greifpunkts (12) an einem Objekt (14), mit einer wenigstens zwei voneinander getrennte Objektiveinheiten (16) aufweisenden Kamera (18), welche dazu ausgebildet ist, wenigstens ein stereoskopisches Bild des Objekts (14) zu erfassen, wobei jede der Objektiveinheiten (16) der Kamera (18) mit einem jeweiligen Filter (20) ausgestattet ist, welcher jeweils dazu ausgebildet ist, Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild zu reduzieren, und mit einer Auswerteeinrichtung (22), welche dazu ausgebildet ist, aus dem wenigstens einen stereoskopischen Bild Objektdaten des Objekts (14) zu erzeugen und aus diesen den Greifpunkt (12) zu bestimmen, welcher an dem Objekt (14) angeordnet ist und zum Greifen des Objekts (14) durch einen Logistikroboter (24) dient.
  2. Vorrichtung (10) nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens einer der Filter (20) ein Polarisationsfilter ist.
  3. Vorrichtung (10) nach Anspruch 2, dadurch gekennzeichnet, dass der Polarisationsfilter ein linearer Polarisationsfilter ist.
  4. Vorrichtung (10) nach Anspruch 2, dadurch gekennzeichnet, dass der Polarisationsfilter ein zirkularer Polarisationsfilter ist.
  5. Vorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der erste der Filter (20) ein Polarisationsfilter und der zweite der Filter ein weiterer Polarisationsfilter (20) ist, wobei sich die Polarisationsebenen der Filter (20) unterscheiden.
  6. Vorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens einer der Filter (20) eine Verzögerungsplatte umfasst.
  7. Verfahren zur Greifpunktbestimmung eines Greifpunkts (12), welcher an einem Objekt (14) angeordnet ist und dazu dient, dass das Objekt (14) durch einen Logistikroboter (24) gegriffen werden kann, mit den Schritten: - Erfassen wenigstens eines stereoskopischen Bildes des Objekts (14) mit einer wenigstens zwei voneinander getrennte Objektiveinheiten (16) aufweisenden Kamera (18), wobei jede der Objektiveinheiten (16) der Kamera (18) mit einem jeweiligen Filter ausgestattet ist, welcher dazu ausgebildet ist, Reflexionen und/oder Spiegelungen in dem stereoskopischen Bild zu reduzieren, - Erzeugen von Objektdaten aus dem stereoskopischen Bild mittels einer Auswerteeinrichtung (22), und - Bestimmen des Greifpunkts (12) an dem Objekt (14) aus den Objektdaten durch die Auswerteeinrichtung (22).
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass beim Erfassen und/oder Erzeugen eine Anpassung einer jeweiligen Phasenverschiebung zur Reduzierung der Reflexionen und/oder Spiegelungen in dem wenigstens einen stereoskopischen Bild erfolgt.
  9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass der Greifpunkt (12) an einem als Transportmittel für eine Bauteilmontage ausgebildeten Objekt (14) bestimmt wird.
  10. Logistikroboter (24) mit einer Vorrichtung (10) nach einem der Ansprüche 1 bis 6 und/oder dazu ausgebildet, ein Verfahren nach einem der Ansprüche 7 bis 9 durchzuführen.
DE102021108974.3A 2021-04-12 2021-04-12 Vorrichtung zur Greifpunktbestimmung, Verfahren zur Greifpunktbestimmung und Logistikroboter Active DE102021108974B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021108974.3A DE102021108974B4 (de) 2021-04-12 2021-04-12 Vorrichtung zur Greifpunktbestimmung, Verfahren zur Greifpunktbestimmung und Logistikroboter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021108974.3A DE102021108974B4 (de) 2021-04-12 2021-04-12 Vorrichtung zur Greifpunktbestimmung, Verfahren zur Greifpunktbestimmung und Logistikroboter

Publications (2)

Publication Number Publication Date
DE102021108974A1 DE102021108974A1 (de) 2022-10-13
DE102021108974B4 true DE102021108974B4 (de) 2022-10-27

Family

ID=83361706

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021108974.3A Active DE102021108974B4 (de) 2021-04-12 2021-04-12 Vorrichtung zur Greifpunktbestimmung, Verfahren zur Greifpunktbestimmung und Logistikroboter

Country Status (1)

Country Link
DE (1) DE102021108974B4 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102055B1 (en) 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
US20150224650A1 (en) 2014-02-12 2015-08-13 General Electric Company Vision-guided electromagnetic robotic system
DE102015100983A1 (de) 2015-01-23 2016-07-28 Sick Ag Verfahren zur Lokalisierung von Greifpunkten von Objekten
WO2017030885A1 (en) 2015-08-19 2017-02-23 Faro Technologies, Inc. Three-dimensional imager
DE202017001227U1 (de) 2017-03-07 2018-06-08 Kuka Deutschland Gmbh Objekterkennungssystem mit einem 2D-Farbbildsensor und einem 3D-Bildsensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102055B1 (en) 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
US20150224650A1 (en) 2014-02-12 2015-08-13 General Electric Company Vision-guided electromagnetic robotic system
DE102015100983A1 (de) 2015-01-23 2016-07-28 Sick Ag Verfahren zur Lokalisierung von Greifpunkten von Objekten
WO2017030885A1 (en) 2015-08-19 2017-02-23 Faro Technologies, Inc. Three-dimensional imager
JP2018525638A (ja) 2015-08-19 2018-09-06 ファロ テクノロジーズ インコーポレーテッド 3次元イメージャ
DE202017001227U1 (de) 2017-03-07 2018-06-08 Kuka Deutschland Gmbh Objekterkennungssystem mit einem 2D-Farbbildsensor und einem 3D-Bildsensor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Conen, N., Hastedt, H., Kahmen, O., and Luhmann, T.: Improving Image Matching by Reducing Surface Reflections using Polarising Filter Techniques, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2, 267–274, https://doi.org/10.5194/isprs-archives-XLII-2-267-2018 (2018)

Also Published As

Publication number Publication date
DE102021108974A1 (de) 2022-10-13

Similar Documents

Publication Publication Date Title
DE112020004810B4 (de) Systeme und Verfahren zur Erfassung von Oberflächennormalen mit Polarisation
DE102013008273B4 (de) Dreidimensionale Bilderfassungsvorrichtung
DE112005002690B4 (de) Verfahren und System zur optischen Kantenbestimmung
WO2000063681A2 (de) Bildbearbeitung zur vorbereitung einer texturnalyse
EP1718926A1 (de) Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts
DE102017109039A1 (de) Verfahren zur Kalibrierung einer Kamera und eines Laserscanners
DE102006055758A1 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102007025304B4 (de) Verfahren zur Verbesserung der Reproduzierbarkeit einer Koordinaten-Messmaschine und deren Genauigkeit
DE102021102233B4 (de) Vorrichtung und Verfahren zur Korrespondenzanalyse in Bildern
DE102011012611B4 (de) Verfahren und Vorrichtung zur berührungslosen Messung eines Winkels
DE102012001858A1 (de) Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
DE102021108974B4 (de) Vorrichtung zur Greifpunktbestimmung, Verfahren zur Greifpunktbestimmung und Logistikroboter
DE102004058655A1 (de) Verfahren und Anordnung zum Messen von Geometrien eines Objektes mittels eines Koordinatenmessgerätes
DE102014224274B4 (de) Vorrichtung und verfahren zum optischen vermessen von gegenständen mittels spiegelndem fluss und stereo-regularisierung
EP1814079A1 (de) Verfahren und Vorrichtung zur Korrektur der Helligkeit eines durch eine Sensormatrix erzeugten Rohbilds
DE102020116468A1 (de) Stereokamera
WO2016202562A1 (de) Streifenprojetionsverfahren, streifenprojektionsvorrichtung und computerprogrammprodukt
DE102011051781A1 (de) Deflektometrische Anordnung zur Oberflächeninspektion
DE102011056948A1 (de) Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor
DE102009052739A1 (de) Messsystem zur Bestimmung der Position und/oder Lage einer reflektiven optischen Komponente
DE112008002813T5 (de) Prüfvorrichtung für scheibenförmige Substrate
DE102021121121A1 (de) Vorrichtung zur Ermittlung geometrischer Eigenschaften einer Oberfläche mittels polarisierten Lichts
DE102006013318A1 (de) 3D-Rekonstruktion von statischen Szenen durch vereinheitlichte Kombination von geometrischen und photometrischen Verfahren
EP3086082B1 (de) Inspektion mit polarisationsfiltern
DE102007056773A1 (de) Verfahren zum automatischen Bestimmen eines virtuellen Arbeitspunktes

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R018 Grant decision by examination section/examining division
R020 Patent grant now final