DE102013018638A1 - Verfahren zum Übenwachen eines Arbeitsbereichs - Google Patents

Verfahren zum Übenwachen eines Arbeitsbereichs Download PDF

Info

Publication number
DE102013018638A1
DE102013018638A1 DE201310018638 DE102013018638A DE102013018638A1 DE 102013018638 A1 DE102013018638 A1 DE 102013018638A1 DE 201310018638 DE201310018638 DE 201310018638 DE 102013018638 A DE102013018638 A DE 102013018638A DE 102013018638 A1 DE102013018638 A1 DE 102013018638A1
Authority
DE
Germany
Prior art keywords
area
camera
depth image
image camera
work area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310018638
Other languages
English (en)
Inventor
Sebastian Beck
Dieter Carstens
Dipl.-Ing. Domke Andreas
Dipl.-Ing. Eberdt Christian
Florian Groschup
Alexander Gürtler
Dipl.-Ing. Otmar (FH) Honsberg
Dipl.-Ing. Klumpp Simon
Matthias Reichenbach
Dipl.-Ing. Ines (FH) Reinhardt
Dipl.-Ing. Konrad (FH) Wirth
Zunke Richard
Dipl.-Ing. Robert (FH) Haman
Ing. Hoang Anh Dung
Dipl.-Ing. Klumpp Willi
Dipl.-Ing. Ralf (FH) Kühnemann
Dipl.-Ing. Schuck Manfred
Dipl.-Ing. Kurt (FH) Strauss
Dr. Zürn Michael
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Systems GmbH
Original Assignee
Daimler AG
KUKA Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG, KUKA Systems GmbH filed Critical Daimler AG
Priority to DE201310018638 priority Critical patent/DE102013018638A1/de
Publication of DE102013018638A1 publication Critical patent/DE102013018638A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4061Avoiding collision or forbidden zones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37572Camera, tv, vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37631Means detecting object in forbidden zone
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/49Nc machine tool, till multiple
    • G05B2219/49157Limitation, collision, interference, forbidden zones, avoid obstacles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Überwachen eines Arbeitsbereichs in einer Fertigungsanlage, bei welchem der Arbeitsbereich mittels wenigstens einer einen Erfassungsbereich aufweisenden Tiefenbildkamera überwacht wird, gekennzeichnet durch die Schritte: – Detektieren wenigstens eines Bereichs (10) eines in dem Erfassungsbereich angeordneten Objekts (16) mittels einer von der Tiefenbildkamera unterschiedlichen und im RGB-Farbraum sensitiven Kamera, – Erfassen von den Abstand des detektierten Bereichs (10) zur Tiefenbildkamera charakterisierenden Werten mittels der Tiefenbildkamera, – Überwachen des Arbeitsbereichs anhand der Werte.

Description

  • Die Erfindung betrifft ein Verfahren zum Überwachen eines Arbeitsbereichs gemäß dem Oberbegriff von Patentanspruch 1.
  • Ein solches Verfahren ist aus der DE 10 2012 014 057 A1 als bekannt zu entnehmen. Bei diesem Verfahren wird ein Arbeitsbereich einer Fertigungsanlage mittels wenigstens einer einen Erfassungsbereich aufweisenden Tiefenbildkamera überwacht. Durch das Überwachen des Arbeitsbereichs kann beispielsweise eine besonders hohe Prozesssicherheit von in der Fertigungsanlage durchzuführenden Prozessschritten realisiert werden, da durch das Überwachen die fehlerhafte Durchführung der Prozessschritte erkannt werden kann. In der Folge kann der fehlerhafte Prozessschritt besonders frühzeitig abgebrochen und schließlich korrekt durchgeführt werden.
  • Darüber hinaus ist es möglich, mittels der Überwachung zu erfassen, ob sich wenigstens ein Objekt unerwünschterweise in den Arbeitsbereich oder in einen Teil des Arbeitsbereichs hineinbewegt. Wird dies erkannt, so kann beispielsweise eine automatisch durchgeführte Bewegung einer Komponente, insbesondere eines Roboters, unterbrochen und/oder ein menschlicher Arbeiter darauf hingewiesen werden, so dass eine Kollision des Objekts und/oder des menschlichen Arbeiters mit dem Objekt vermieden werden kann.
  • Aufgabe der vorliegenden Erfindung ist es, ein Verfahren der eingangs genannten Art derart weiterzuentwickeln, dass das Verfahren besonders flexibel einsetzbar ist.
  • Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den übrigen Ansprüchen angegeben.
  • Um ein Verfahren der im Oberbegriff des Patentanspruchs 1 angegebenen Art derart weiterzuentwickeln, dass das Verfahren besonders flexibel einsetzbar ist, ist erfindungsgemäß ein erster Schritt vorgesehen, bei welchem wenigstens ein Bereich eines in dem Erfassungsbereich der Tiefenbildkamera angeordneten Objekts mittels einer von der Tiefenbildkamera unterschiedlichen und im RGB-Farbraum sensitiven Kamera detektiert wird. Der RGB-Farbraum ist ein additiver Farbraum, der Farbwahrnehmungen durch das additive Mischen dreier Grundfarben Rot (R), Grün (G) und Blau (B) nachbildet. Mittels der Kamera ist es somit möglich, in ihrem Erfassungsbereich Farbinformationen im RGB-Farbraum zu erfassen. Dadurch ist es möglich, den Bereich des Objekts anhand dieser Farbinformationen zu detektieren.
  • Das erfindungsgemäße Verfahren umfasst auch einen zweiten Schritt, in welchem den Abstand des detektierten Bereichs zur Tiefenbildkamera charakterisierende Werte mittels der Tiefenbildkamera erfasst werden. Die Kamera beziehungsweise die mittels der Kamera erfassten Farbinformationen dienen somit zum Kalibrieren der Tiefenbildkamera. Im Rahmen des erfindungsgemäßen Verfahrens kann somit der Bereich anhand von Farbinformationen mittels der Kamera präzise erfasst werden, wobei der Abstand des Bereichs zur Tiefenbildkamera schließlich durch die Tiefenbildkamera ermittelt werden kann. In einem dritten Schritt des erfindungsgemäßen Verfahrens wird schließlich der Arbeitsbereich anhand der den Abstand des detektierten Bereichs zur Tiefenbildkamera charakterisierenden Werte überwacht.
  • Mit anderen Worten wird bei dem erfindungsgemäßen Verfahren der Bereich eingelernt, wobei zum Einlernen des Bereichs die im RGB-Farbraum sensitive Kamera, welche auch als RGB-Kamera bezeichnet wird, genutzt wird. Der Bereich kann somit mittels der RGB-Kamera gesucht und anschließend an die Tiefenbildkamera übergeben werden, mittels welcher dann der Abstand beziehungsweise die den Abstand charakterisierenden Werte ermittelt wird beziehungsweise werden. Hierdurch ist es möglich, mittels der Tiefenbildkamera über 3D-Tiefenerkennung den eingelernten Bereich zu überwachen und anhand der Überwachung des eingelernten Bereichs den Arbeitsbereich zu überwachen.
  • Durch den Einsatz der RGB-Kamera ist ein spezielles Reflektorband oder dergleichen Reflexionselement zum Detektieren des Bereichs nicht erforderlich. Um den Bereich besonders sicher und stabil mittels der RGB-Kamera erfassen zu können, kann der Bereich zumindest teilweise mit einer Farbmarkierung, beispielsweise mit gelber Farbe, versehen werden.
  • Darüber hinaus ermöglicht das erfindungsgemäße Verfahren durch den Einsatz der Tiefenbildkamera ein mehrdimensionales Überwachen des Bereichs beziehungsweise des Arbeitsbereichs, so dass beispielsweise das dreidimensionale Objekt im Raum abgesichert werden kann.
  • Ferner ist es durch das erfindungsgemäße Verfahren möglich, beliebige, freie Konturen zu überwachen. Diese beliebigen, freien Konturen können zunächst mittels der RGB-Kamera detektiert werden, woraufhin mittels der Tiefenbildkamera der Abstand zwischen der Tiefenkamera und den freien Konturen ermittelt werden kann.
  • Anhand der Überwachung des Bereichs kann beispielsweise erfasst werden, wenn zumindest ein Gegenstand unerwünschterweise in den Arbeitsbereich beziehungsweise in einen Teil des Arbeitsbereichs eindringt. Das erfindungsgemäße Verfahren ermöglicht es dabei, eine Größe beziehungsweise äußere Abmessungen, bei der beziehungsweise denen ein Gegenstand als unerwünschter Eindringling klassifiziert wird, zumindest nahezu frei zu parametrieren. Mit anderen Worten, übersteigt die Größe eines in den Arbeitsbereich beziehungsweise in einen Teil des Arbeitsbereichs eindringenden Gegenstands einen Schwellenwert, so wird dieser Gegenstand als unerwünschter Eindringling in den Arbeitsbereich beziehungsweise den Teil des Arbeitsbereichs klassifiziert. Bleibt die Größe jedoch unterhalb des Schwellenwerts, so wird der Gegenstand nicht als unerwünschter Eindringling klassifiziert. Im Rahmen des erfindungsgemäßen Verfahrens ist dabei der Schwellenwert zumindest nahezu frei parametrierbar beziehungsweise vorgebbar.
  • Das erfindungsgemäße Verfahren kann somit auf einfache Weise für unterschiedliche Arbeitsbereiche und/oder für unterschiedliche Fertigungsanlagen sowie für unterschiedliche, durchzuführende Prozesse verwendet werden, da das Verfahren auf einfache Weise an unterschiedliche Arbeitsbereiche beziehungsweise im Arbeitsbereich angeordnete und/oder den Arbeitsbereich begrenzende Objekte angepasst werden kann. Mittels der RGB-Kamera ist es nämlich möglich, zumindest nahezu beliebige Bereiche zu erfassen und in der Folge zu überwachen.
  • Vorzugsweise ist die von der Tiefenbildkamera unterschiedliche RGB-Kamera als 2D-Kamera (zweidimensionale Kamera) ausgebildet, mittels welcher keinerlei Tiefenwerte beziehungsweise dreidimensionale Informationen ermittelbar sind. Dadurch können die Kosten für das Verfahren gering gehalten werden.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnungen; diese zeigen in:
  • 1 eine schematische Darstellung eines Arbeitsbereichs, welcher mittels wenigstens einer Tiefenbildkamera und wenigstens einer von der Tiefenbildkamera unterschiedlichen und im RGB-Farbraum sensitiven Kamera überwacht wird, wobei mittels der RGB-Kamera Farbfelder zum Kalibrieren der Tiefenbildkamera erfasst werden;
  • 2 eine weitere schematische Perspektivansicht des Arbeitsbereichs, wobei anhand der erfassten Farbfelder Messkanten ermittelt werden, anhand derer der Arbeitsbereich überwacht wird;
  • 3 eine Matrix, anhand derer ein im Rahmen des Verfahrens verwendeter Mittelwertfilter veranschaulicht ist;
  • 4a und 4b jeweils eine Matrix, anhand derer ein im Rahmen des Verfahrens verwendeter Absolutwertfilter veranschaulicht ist;
  • 5 eine weitere schematische Perspektivansicht des Arbeitsbereichs, in welchem zunächst kein Getriebe angeordnet ist;
  • 6 eine weitere schematische Perspektivansicht des Arbeitsbereichs, in welchem ein Getriebe für einen Personenkraftwagen in einer ersten Stellung angeordnet ist;
  • 7 eine weitere schematische Perspektivansicht des Arbeitsbereichs, in welchem das Getriebe in einer von der ersten Stellung unterschiedlichen, zweiten Stellung angeordnet ist; und
  • 8 ein Diagramm, anhand dessen ermittelt werden kann, ob und in welcher Stellung das Getriebe im Arbeitsbereich angeordnet ist.
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
  • 1 zeigt einen Arbeitsbereich einer Fertigungsanlage zum Herstellen von Kraftwagen, insbesondere Personenkraftwagen. Dieser Arbeitsbereich wird dabei im Rahmen eines Verfahrens überwacht. Zum Überwachen des Arbeitsbereichs werden wenigstens eine in 1 nicht erkennbare Tiefenbildkamera sowie eine ebenfalls in 1 nicht erkennbare und von der Tiefenbildkamera unterschiedliche RGB-Kamera verwendet.
  • Die Tiefenbildkamera und die RGB-Kamera weisen einen jeweiligen Erfassungsbereich auf, wobei sich diese Erfassungsbereiche zumindest teilweise gegenseitig überlappen. Dies bedeutet, dass zumindest ein Teil des Arbeitsbereichs sowohl von der RGB-Kamera als auch von der Tiefenbildkamera erfasst werden kann. Somit kann sowohl die RGB-Kamera als auch die Tiefenbildkamera Bilder von dem diesen gemeinsamen Teil des Arbeitsbereichs erfassen. Diese Bilder können – wie noch im Folgenden erläutert wird – Bildverarbeitungsverfahren unterzogen werden, so dass anhand von Bildverarbeitungsalgorithmen Informationen aus diesen Bildern gewonnen werden können.
  • Die RGB-Kamera ist dabei eine im RGB-Farbraum sensitive Kamera, welche beispielsweise als 2D-Kamera ausgebildet ist und somit lediglich zweidimensionale Informationen und nicht etwa auch dreidimensionale Informationen über den Arbeitsbereich beziehungsweise den durch sie erfassbaren Teil des Arbeitsbereichs bereitstellen kann.
  • Im Rahmen des Verfahrens erfolgt zunächst eine Initialisierung beziehungsweise Kalibrierung der Tiefenbildkamera. Wie aus 1 erkennbar ist, wird mittels der RGB-Kamera wenigstens ein in 1 erkennbares Bild des Arbeitsbereichs erfasst. In diesem Bild werden innerhalb von vorgebbaren Flächen 10, 12, 14 Bereiche eines in den Erfassungsbereichen angeordneten Objekts 16 detektiert. Hierzu werden innerhalb der Flächen 10, 12, 14 erste Farbinformationen im RGB-Farbraum mittels der RGB-Kamera erfasst, wobei diese ersten Farbinformationen mit gespeicherten, vorgegebenen zweiten Farbinformationen verglichen werden. Auf diese Weise wird innerhalb der Flächen 10, 12, 14 nach sogenannten Pixelflächen 18, 20, 22 gesucht, die eine 4×4-Erstreckung aufweisen und deren RGB-Farbwert mit einem gespeicherten RGB-Farbwert korreliert.
  • Mit anderen Worten werden mittels der RGB-Kamera Pixel gesucht, deren jeweiliger RGB-Farbwert mit einem vorgebbaren, gespeicherten Farbwert übereinstimmt. Pixel, deren RGB-Farbwert mit dem gespeicherten RGB-Farbwert übereinstimmt, werden als „Übereinstimmungspixel” bezeichnet. Vier in Reihe nebeneinander angeordnete Übereinstimmungspixel bilden eine Übereinstimmungsreihe. Sind vier solcher Übereinstimmungsreihen übereinander angeordnet, so wird dadurch eine Pixelfläche mit 4×4-Erstreckung gebildet, da eine solche Pixelfläche vier Spalten und vier Reihen mit Übereinstimmungspixeln umfasst. Mittels der RGB-Kamera wird schließlich nach solchen Pixelflächen gesucht. Derartige, mittels der RGB-Kamera in den Flächen 10, 12, 14 erfasste Pixelflächen sind in 1 mit 18, 20 und 22 bezeichnet.
  • Nach Erfassen der Pixelflächen 18, 20, 22 wird mittels der Tiefenbildkamera überprüft, ob der Abstand der Pixelfläche 18 in der Fläche 10 in einem vorgebbaren ersten Bereich liegt. Dieser vorgebbare erste Bereich erstreckt sich beispielsweise von 850 Millimeter bis 1050 Millimeter. Ferner wird überprüft, ob der Abstand der gefundenen Pixelfläche 20 in der Fläche 12 zur Tiefenbildkamera in einem vorgebbaren zweiten Bereich liegt, wobei der zweite Bereich sich beispielsweise von 450 Millimeter bis 650 Millimeter erstreckt. Ferner wird überprüft, ob der Abstand der Pixelfläche 22 in der Fläche 14 zur Tiefenbildkamera in einem vorgebbaren dritten Bereich liegt, wobei sich der dritte Bereich beispielsweise von 1550 bis 1850 Millimeter erstreckt.
  • In 1 beziehungsweise in dem von der Tiefenbildkamera erfassten Bild ist auch ein Fadenkreuz 24 zu erkennen. Mittels des Fadenkreuzes 24 wird die Tiefenbildkamera relativ zum zu erfassenden Arbeitsbereich ausgerichtet, indem das Fadenkreuz beispielsweise in Überdeckung mit einem Objekt oder mit einer Geometriestruktur eines im Erfassungsbereich der Tiefenbildkamera angeordneten Objekts bewegt wird. In diesem Fall eine automatische Initialisierung der Tiefenbildkamera möglich. Hierbei orientiert sich das System an dem Fadenkreuz zur Grobpositionierung und misst sich eigenständig ein.
  • In einem aus 2 erkennbaren nächsten Schritt werden innerhalb der Flächen 10, 12, 14 Punkte P1, P2 und P3 durch einen Offsetausgleich der jeweiligen Schwerpunkte der gespeicherten Punktemengen (Pixelflächen 18, 20 und 22) ermittelt. Anhand der Punkte P1 und P2 wird eine erste Messkante 26 ermittelt. Bei der ersten Messkante 26 handelt es sich beispielsweise um eine Gerade oder eine Linie, welche sich von dem Punkt P1 zu dem Punkt P2 erstreckt beziehungsweise umgekehrt. Über Vektorrechnung wird aus den Punkten P1 und P2 ein Punkt P4 berechnet. Anschließend wird aus dem Punkt P4 und dem Punkt P3 ein Punkt P5 berechnet. Schließlich wird anhand der Punkte P3 und P5 eine zweite Messkante 28 bestimmt. Diese zweite Messkante liegt beispielsweise auf einer Geraden oder Linie, welche durch die Punkte P3 und P5 geht. Bei der zweiten Messkante 28 handelt es sich beispielsweise um eine Gerade oder Linie, welche sich vom Punkt P3 bis zum Punkt P5 beziehungsweise umgekehrt erstreckt.
  • Schließlich werden bezogen auf die Tiefenbildkamera x-Koordinaten 30 und y-Koordinaten 32 der ersten Messkante 26 bestimmt. Dementsprechend werden bezogen auf die Tiefenbildkamera x-Koordinaten und y-Koordinaten der zweiten Messkante 28 bestimmt. Liegen die x- und die y-Koordinaten beider Messkanten innerhalb vorgegebener Grenzen, so gelten diese Koordinaten als gültig. Die genannten, vorgegebenen Grenzen sind in 2 durch Bereiche 34 veranschaulicht. Liegen die x- und y-Koordinaten der Messkanten 26, 28 nicht innerhalb der vorgegebenen Grenzen, so wird die Bestimmung der Punkte P1, P2, P3, P4 und P5, welche Randpunkte sind, nochmals durchgeführt.
  • Dies bedeutet, dass im Rahmen der Initialisierung zunächst die Randpunkte in Form der Punkte P1, P2, P3, P4 und P5 bestimmt werden. Anschließend werden im Rahmen der Initialisierung die Messkanten 26, 28 bestimmt. Im Anschluss daran werden im Rahmen der Initialisierung relevante Tiefeninformationen ermittelt. Es wurde gefunden, dass die Tiefenbildkamera beispielsweise ein Einlaufverhalten von circa 900 Frames (circa 30 Sekunden) benötigt, um zumindest im Wesentlichen konstante Tiefeninformationen bereitzustellen. Nach 900 Frames wird für 100 Frames der Mittelwert des Pixelabstands zur Tiefenbildkamera für jedes in den Messkanten 26, 28 enthaltene Pixel ermittelt und gespeichert. Dieser jeweilige Mittelwert des Abstands des jeweiligen Pixels zur Tiefenbildkamera wird als Soll-Wert in einer Speichereinrichtung abgelegt.
  • Es kann vorkommen, dass nicht für jedes in den Messkanten 26, 28 enthaltene Pixel Tiefeninformationen gewonnen werden können. Kann beispielsweise von einem Pixel keine Tiefeninformation gewonnen werden, so wird diesem Pixel der Wert –1 zugeordnet, was beispielsweise aus 3 erkennbar ist. 3 zeigt eine Matrix, in welcher die Mittelwerte jeweiliger Pixelabstände eingetragen sind. Die in 3 gezeigten Werte –1 besagen also, dass für die zu diesen Werten gehörenden Pixel keine Informationen gewonnen werden konnten. Ist dies der Fall, so wird das Pixel, von dem keine Tiefeninformationen gewonnen werden konnten, mit einem 3×3 Pixel breiten Mittelwertfilter gefiltert. Dies bedeutet: Ist von einem Pixel kein Tiefenwert bekannt, so wird der Mittelwert des Abstands dieses Pixels zur Tiefenbildkamera aus den direkt unmittelbar umliegenden Pixeln mit gültiger Tiefeninformation gebildet. Hierzu wird – wie aus 3 erkennbar ist – eine 3×3-Teilmatrix 36 der in 3 gezeigten Matrix gebildet, wobei der in 3 mit 38 bezeichnete mittlere Wert der 3×3-Teilmatrix 36 einem Pixel zugeordnet ist, von dem keine gültigen Tiefeninformationen bekannt sind. Aus 3 ist ferner erkennbar, dass in direkter unmittelbarer Umgebung des mittleren Werts 38 sechs gültige Abstandswerte liegen. Diese Werte betragen vorliegend 100, 101, 101, 100, 100 und 100. Aus diesen gültigen Werten wird der mittlere Wert 38 auf folgende Weise gebildet: (100 + 101 + 101 + 100 + 100 + 100)/6 = 100,33.
  • Die Nachkommastellen werden gelöscht, so dass in der Folge ein Mittelwert von 100 berechnet wird. Dieser Mittelwert von 100 wird nun dem Pixel zugeordnet, welchem zuvor der mittlere Wert 38 der 3×3-Teilmatrix 36 zugeordnet war. Vorzugsweise ist es vorgesehen, dass auf diese Weise mit zumindest einem Teil der oder mit allen Pixeln der Messkanten 26, 28 verfahren wird, von denen keine gültigen Tiefeninformationen (Wert –1) vorliegt.
  • Nachdem auf diese Weise gültige Tiefeninformationen für die in den Messkanten 26, 28 enthaltenen Pixel ermittelt beziehungsweise berechnet wurden, wird der Arbeitsbereich anhand der erfassten beziehungsweise berechneten und den Abstand der Messkanten 26, 28 zur Tiefenbildkamera charakterisierenden Werten überwacht. Mit anderen Worten wird der Arbeitsbereich überwacht, indem die Messkanten 26, 28 beziehungsweise ihr Abstand zur Tiefenbildkamera überwacht werden. Hierzu werden 30 Frames pro Sekunde abgefragt. Mit anderen Worten wird alle 33 Millisekunden ein Frame, das heißt ein Bild von der Tiefenbildkamera erfasst. In jedem Frame beziehungsweise Bild wird von jedem Pixel der Messkanten 26, 28 der erfasste Abstand zur Tiefenbildkamera mit dem zuvor gespeicherten Soll-Wert verglichen. Dies bedeutet, dass in jedem Frame von jedem Pixel der Messkanten 26, 28 der Abstand zur Tiefenbildkamera erfasst und als Ist-Wert mit dem zuvor gespeicherten Soll-Wert verglichen.
  • Liegt beispielsweise für die Messkante 26 der Unterschied zwischen dem Soll-Wert und dem Ist-Wert innerhalb einer ersten Toleranz von beispielsweise +/–6 Millimeter und liegt für die Messkante 28 der Unterschied zwischen dem Soll-Wert und dem Ist-Wert innerhalb einer zweiten Toleranz von beispielsweise +/–300 Millimeter, so gilt dieser Zustand ohne weitere Maßnahmen als akzeptabel. Liegt der jeweilige Unterschied jedoch außerhalb der jeweiligen Toleranz, so wird dieser Unterschied, das heißt der Wert des Unterschieds mit einem Absolutwertfilter gefiltert, was anhand von 4a und 4b veranschaulicht ist.
  • 4a und 4b zeigen jeweils eine Matrix, deren mit 40 bezeichneter, mittlerer Wert der Wert des Unterschieds ist, der außerhalb der Toleranz liegt. Wie aus 4a und 4b erkennbar ist, beträgt der Unterschied 9 Millimeter. Bezogen auf die Messkante 26 bedeutet dies, dass die erste Toleranz verletzt wird, da bezogen auf die Messkante 26 lediglich ein Unterschied von +/–6 Millimetern toleriert wird.
  • Anhand der in 4a und 4b gezeigten 3×3-Matrix wird überprüft, ob ein direkt unmittelbar um den die Toleranz verletzenden Unterschied umliegender, einem anderen Pixel zugeordneter Unterschied innerhalb der Toleranz, vorliegend der ersten Toleranz, liegt. Ist dies der Fall, so gilt der die erste Toleranz eigentlich verletzende Unterschied als akzeptabel, was aus 4a erkennbar ist. An den die erste Toleranz verletzenden Unterschied (mittlerer Wert 40) grenzen vier Unterschiede an, von denen drei Unterschiede den Wert 0 und ein Unterschied den Wert 1 aufweisen und somit innerhalb der ersten Toleranz liegen.
  • Anhand von 4b ist eine Situation veranschaulicht, in der kein direkt unmittelbar um den mittleren Wert 40 umliegender Unterschied innerhalb der ersten Toleranz liegt. In der Folge wird der betrachtete, die erste Toleranz verletzende Unterschied (mittlerer Wert 40) als nicht akzeptabel eingestuft.
  • Erfolgt die Einstufung des Unterschieds als akzeptabel, so wird beispielsweise ein in dem Arbeitsbereich automatisch, beispielsweise mittels wenigstens eines Roboters, durchgeführter Vorgang fortgesetzt, da anhand des Vergleichs des jeweiligen Soll-Werts mit dem jeweiligen Ist-Wert ermittelt wird, dass im Arbeitsbereich keine unerwünschte Situation aufgetreten ist.
  • Wird jedoch der Unterschied als nicht-akzeptabel eingestuft, so wird der Vorgang unterbrochen beziehungsweise abgebrochen, das heißt beendet. Wird als der Arbeitsbereich beispielsweise ein Arbeitsbereich einer Arbeitsstation überwacht, und wird der Unterschied als nicht-akzeptabel eingestuft, so wird beispielsweise ein Not-Aus der Arbeitsstation aktiviert.
  • Zu einer Einstufung des Unterschieds als nicht-akzeptabel kann es beispielsweise dann kommen, wenn in den Arbeitsbereich ein Objekt unerwünschterweise eindringt. Dieses unerwünschte Eindringen des Objekts, welches auch als Eindringling bezeichnet wird, kann anhand der Überwachung der Messkanten 26, 28 erfasst werden. Wird ein solcher Eindringling erfasst, so kann der automatische Vorgang unterbrochen werden, um beispielsweise Kollisionen eines Menschen und/oder eines anderen Objekts mit dem eingedrungenen Objekt zu verhindern.
  • Das Verfahren ermöglicht es dabei, die Größe beziehungsweise die äußeren Abmessungen, ab welche beziehungsweise welchen ein Objekt als unerwünschter Eindringling eingestuft wird, frei vorzugeben. Beispielsweise können Objekte, welche größer als 4 oder 6 Millimeter gemäß DIN EN 349 und DIN EN ISO 13857 sind, erkannt und als Eindringling eingestuft werden. Demgegenüber kleinere Objekte können zwar erfasst werden, jedoch kann das Einstufen dieser erfassten Objekte als Eindringling unterbleiben, so dass der automatische Vorgang fortgesetzt werden kann. Im Rahmen des Verfahrens werden somit Tiefendaten zur Kantenüberwachung und/oder zum Erkennen von Objekten oder Objektmustern verwendet. Zur Realisierung einer besonders hohen Prozessstabilität und Robustheit kann ein Algorithmus des Verfahrens beispielsweise auf mehrere Abtastlinien, Nachbarpixel, eigene Farbflächen und/oder Farbmuster zurückgreifen, die gegebenenfalls auf speziell für das durchzuführende Verfahren an einem entsprechenden Objekt angebracht werden.
  • Anhand von 5 bis 8 ist veranschaulicht, auf welche Weise mittels des Verfahrens ein Objekt sowie die Stellung des Objekts im Arbeitsbereich erfasst werden kann. Bei dem Arbeitsbereich handelt es sich beispielsweise um einen Arbeitsbereich einer Arbeitsstation einer Fertigungsanlage, wobei an dieser Arbeitsstation ein Getriebe eines Personenkraftwagens montiert wird. 8 zeigt ein Diagramm, auf dessen Abszisse 42 die Anzahl der Tiefenwerte aufgetragen ist, welche mittels der Tiefenbildkamera erfasst werden. Mit anderen Worten ist auf der Abszisse 42 die Anzahl an Werten aufgetragen, die den Abstand der Messkanten 26, 28 zur Tiefenbildkamera charakterisieren. Auf der Ordinate 44 des Diagramms sind die Tiefenwerte selbst aufgetragen. Ferner ist das Diagramm in drei unterschiedliche Bereiche 46, 48 und 50 aufgeteilt, das heißt segmentiert. Aus 5 ist erkennbar, dass sich das Getriebe noch nicht im Arbeitsbereich befindet. Ist dies der Fall, so kommt es zu einer aus 8 erkennbaren Pixelhäufung 52 im Bereich 50 des Diagramms.
  • Gemäß 6 ist das mit 51 bezeichnete Getriebe zumindest teilweise im Arbeitsbereich angeordnet und befindet sich in einer ungedrehten Stellung. Ist dies der Fall, so kommt es – wie aus 8 erkennbar ist – zu einer Pixelhäufung 54 im Bereich 46 des Diagramms.
  • Gemäß 7 ist das mit 51 bezeichnete Getriebe zumindest teilweise im Arbeitsbereich angeordnet und gegenüber der ungedrehten Stellung in eine gedrehte Stellung bewegt, insbesondere verschwenkt. Befindet sich das Getriebe 51 in seiner gedrehten Stellung, so kommt es – wie aus 8 erkennbar ist – zu einer Pixelhäufung 56 im Bereich 48. Das Erkennen von Positionszuständen des Getriebes 51 ist somit umgesetzt durch Zuhilfenahme eines Bildverarbeitungsalgorithmus „Thresholding”. Alternativ zum anhand von 5 bis 8 veranschaulichten „Thresholding” ist ein Bildverarbeitungsalgorithmus „Template-Matching” denkbar, um die Positionszustände des Getriebes 51 zu erfassen. Im Rahmen des „Template-Matchings” erfolgt ein einfacher Bildvergleich von Ist-Bildern mit Soll-Bildern, anhand derer die Positionsstellungen des Getriebes 51 erkannt werden können.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102012014057 A1 [0002]
  • Zitierte Nicht-Patentliteratur
    • DIN EN 349 [0045]
    • DIN EN ISO 13857 [0045]

Claims (5)

  1. Verfahren zum Überwachen eines Arbeitsbereichs in einer Fertigungsanlage, bei welchem der Arbeitsbereich mittels wenigstens einer einen Erfassungsbereich aufweisenden Tiefenbildkamera überwacht wird, gekennzeichnet durch die Schritte: – Detektieren wenigstens eines Bereichs (10) eines in dem Erfassungsbereich angeordneten Objekts (16) mittels einer von der Tiefenbildkamera unterschiedlichen und im RGB-Farbraum sensitiven Kamera, – Erfassen von den Abstand des detektierten Bereichs (10) zur Tiefenbildkamera charakterisierenden Werten mittels der Tiefenbildkamera, – Überwachen des Arbeitsbereichs anhand der Werte.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Bereich (10) detektiert wird, indem mittels der Kamera in ihrem Erfassungsbereich erste Farbinformationen im RGB-Farbraum erfasst werden, welche mit gespeicherten, vorgegebenen zweiten Farbinformationen verglichen werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass anhand des Vergleichs wenigstens eine Pixelfläche (18) mit vorgegebener Größe ermittelt wird, deren erste Farbinformationen mit den zweiten Farbinformationen übereinstimmen.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass ein Flächenschwerpunkt der Pixelfläche (18) ermittelt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass anhand des Flächenschwerpunkts wenigstens eine Messlinie (26) und deren Koordinaten (30m 32) in Bezug auf die Tiefenkamera ermittelt werden.
DE201310018638 2013-11-06 2013-11-06 Verfahren zum Übenwachen eines Arbeitsbereichs Withdrawn DE102013018638A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310018638 DE102013018638A1 (de) 2013-11-06 2013-11-06 Verfahren zum Übenwachen eines Arbeitsbereichs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310018638 DE102013018638A1 (de) 2013-11-06 2013-11-06 Verfahren zum Übenwachen eines Arbeitsbereichs

Publications (1)

Publication Number Publication Date
DE102013018638A1 true DE102013018638A1 (de) 2015-05-07

Family

ID=52829597

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310018638 Withdrawn DE102013018638A1 (de) 2013-11-06 2013-11-06 Verfahren zum Übenwachen eines Arbeitsbereichs

Country Status (1)

Country Link
DE (1) DE102013018638A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108127661A (zh) * 2016-12-01 2018-06-08 发那科株式会社 机器人控制装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012014057A1 (de) 2012-07-13 2013-03-07 Daimler Ag Verfahren zum Überwachen eines Arbeitsbereichs und Überwachungsanordnung für einen Arbeitsbereich

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012014057A1 (de) 2012-07-13 2013-03-07 Daimler Ag Verfahren zum Überwachen eines Arbeitsbereichs und Überwachungsanordnung für einen Arbeitsbereich

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIN EN 349
DIN EN ISO 13857

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108127661A (zh) * 2016-12-01 2018-06-08 发那科株式会社 机器人控制装置
CN108127661B (zh) * 2016-12-01 2019-09-10 发那科株式会社 机器人控制装置
US10481571B2 (en) 2016-12-01 2019-11-19 Fanuc Corporation Robot controller which automatically sets interference region for robot

Similar Documents

Publication Publication Date Title
EP3200122B1 (de) Optoelektronischer sensor und verfahren zur sicheren erkennung von objekten einer mindestgrösse
EP3177474B1 (de) Verfahren zum erzeugen einer umgebungskarte sowie fahrerassistenzsystem
EP2767925B1 (de) Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
DE102015107390B4 (de) Verfahren und Vorrichtung zum automatischen Kalibrieren von Rundumsichtsystemen
EP2275989B1 (de) Stereoskopische 3D-Kamera
DE102016120386A1 (de) Verfahren zum Erkennen von Objekten in einem Lager und Flurförderzeug mit einer Einrichtung zum Erkennen von Objekten in einem Lager
DE102012209316A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
DE102016200386A1 (de) Verfahren zum Steuern eines Manipulatorsystems
DE102018113559A1 (de) Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem
WO2020169607A1 (de) Verfahren zum kalibrieren einer mobilen kameraeinheit eines kamerasystems für ein kraftfahrzeug
DE102017126495B4 (de) Kalibrierung eines stationären Kamerasystems zur Positionserfassung eines mobilen Roboters
DE102009026091A1 (de) Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
DE102019211459B4 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE102015012344A1 (de) Verfahren zum Kalibrieren einer Kamera
DE102013018638A1 (de) Verfahren zum Übenwachen eines Arbeitsbereichs
DE102013012780A1 (de) Verfahren zum Detektieren eines Zielobjekts durch Clusterbildung aus charakteristischen Merkmalen eines Bilds, Kamerasystem und Kraftfahrzeug
WO2002050770A1 (de) Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung
DE102014219428A1 (de) Selbstkalibrierung eines Stereokamerasystems im Auto
DE102020215651A1 (de) Fahrzeugsichtsystem
DE102019220364A1 (de) Kalibriereinrichtung und Verfahren zum Kalibrieren einer Vorrichtung
EP3001383B1 (de) Kalibration von surround-view-systemen
DE102013012781A1 (de) Verfahren zum Trainieren eines Algorithmus zum Erkennen von vorbestimmten Mustern in Bilddaten, Kamerasystem und Kraftfahrzeug
DE102013002375A1 (de) Verfahren zur Kalibrierung einer Kamera eines Kraftfahrzeugs
DE102019212279B3 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE102018122092A1 (de) Verfahren zum Bestimmen zumindest eines Positionsparameters eines Objekts in einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, Fahrerassistenzsystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: KUKA SYSTEMS GMBH, DE

Free format text: FORMER OWNERS: DAIMLER AG, 70327 STUTTGART, DE; KUKA SYSTEMS GMBH, 86165 AUGSBURG, DE

R005 Application deemed withdrawn due to failure to request examination