DE102013216833A1

DE102013216833A1 - 3D-Kamera

Info

Publication number: DE102013216833A1
Application number: DE102013216833.0A
Authority: DE
Inventors: Michael Paintner; Volker Frey
Original assignee: IFM Electronic GmbH
Current assignee: PMDtechnologies AG
Priority date: 2013-08-23
Filing date: 2013-08-23
Publication date: 2015-02-26

Abstract

3D-Kamera und Verfahren zum Betreiben einer solchen, bei der in einer Initialisierungsphase innerhalb eines Sichtbereichs (10) der 3D-Kamera (1) mindestens ein Erfassungsbereich (ROI1, 2, 3) definiert und für diesen mindestens einen Erfassungsbereich (ROI1, 2, 3) wenigstens ein Soll-Tiefenbild (STB) gespeichert wird,
mit den Schritten:
a) Erfassen eines Tiefenbilds (ETB) für den mindestens einen Erfassungsbereich (ROI1, 2, 3),
b) Bestimmung und Ausgabe jeweils eines Zustandswertes (ZW) für jeden Erfassungsbereich (ROI1, 2, 3) in Abhängigkeit eines Vergleichs des erfassten Tiefenbilds (ETB) mit dem Soll-Tiefenbild (STB).

Description

Die Erfindung betrifft eine 3D-Kamera und ein Verfahren zum Betreiben einer solchen nach Gattung der unabhängigen Ansprüche.
Mit 3D-Kamera sind insbesondere Lichtlaufzeitkameras bzw. entsprechende System umfasst, die Entfernungen direkt aus der Lichtlaufzeit ermitteln. Insbesondere sind auch alle 3D-Kamerasysteme umfasst, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ‚ifm electronic gmbh’ als O3D-Kamera vertrieben werden. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Aufgabe der Erfindung ist es, Überwachungsfunktionen von 3D-Kameras zu vereinfachen.
Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße 3D-Kamera und das Verfahren zum Betreiben einer solchen 3D-Kamera entsprechend der unabhängigen Ansprüche gelöst.
Vorteilhaft ist ein Verfahren zum Betreiben einer 3D-Kamera vorgesehen, bei dem in einer Initialisierungsphase innerhalb eines Sichtbereichs der 3D-Kamera mindestens ein Erfassungsbereich definiert und für diesen mindestens einen Erfassungsbereich wenigstens ein Soll-Tiefenbild gespeichert wird,
mit den Schritten:

a) Erfassen eines Tiefenbilds für den mindestens einen Erfassungsbereich,
b) Bestimmung und Ausgabe jeweils eines Zustandswertes für jeden Erfassungsbereich in Abhängigkeit eines Vergleichs des erfassten Tiefenbilds mit dem Soll-Tiefenbild.

Dieses Vorgehen hat den Vorteil, dass über eine 3D-Kamera Zustandsgrößen beispielsweise einer Fertigung überwacht werden können und für die weitere Anwendung die komplexen 3D-Daten auf applikationsrelevante vorzugsweise binäre Zustandswerte reduziert werden können.
Ferner ist es nützlich zur Bestimmung des Zustandswerts eine Differenz zwischen Tiefenbild und Soll-Tiefenbild zu ermitteln und mit einem Grenzwert zu vergleichen. Durch einen solchen Vergleich mit einer im Fertigungsprozess noch akzeptierten Toleranz, lassen sich die Zustandswerte einfach auf eine binäre Größe reduzieren.
In einer weiteren Ausgestaltung ist es vorgesehen, das für verschiedene Erfassungszeitintervalle verschiedene Erfassungsbereiche definiert und/oder verschiedene Soll-Tiefenbilder gespeichert werden. Durch dieses Vorgehen ist es möglich, auch komplexe Produktionsszenarien zu überwachen.
Insbesondere ist es vorteilhaft, in der Initialisierungsphase für einen jeweiligen Erfassungsbereich mehrere Soll-Tiefenbilder zu speichern. So ist es möglich, verschiedene Szenarien als zulässig zu akzeptieren. So können beispielsweise mehrere Roboterarmpositionen als tolerierbar hinterlegt werden. Auch ist es denkbar, in einer Zustandsliste auszugeben, welche der tolerierten Sollzustände erreicht wurde.
Insofern ist es von Vorteil ein Erreichen- oder Nichterreichen eines oder mehrerer Soll-Tiefenbilder in Form einer Zustandsliste auszugeben.
Besonders nützlich ist es, die Zustandswerte oder Zustandsliste als Schaltsignale für eine speicherprogrammierbare Steuerung (SPS) auszugeben.
Ebenso vorteilhaft ist es, ein 3D-Kamera zur Durchführung eines der vorgenannten Verfahren auszubilden.
Vorzugsweise weist die 3D-Kamera eine grafische Eingabeeinheit GUI zur Eingabe von Parametern und Definition von Erfassungsbereichen auf.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen:
1 eine Überwachungssituation mit drei Erfassungsbereichen,
2 eine Draufsicht auf die Überwachungssituation gemäß 1,
3 Tiefenbilder der Überwachungssituation gemäß 1,
4 Tiefenbilder im fehlerfreien Fall,
5 Tiefenbilder in einem Fehlerfall,
6 Tiefenbilder bei einem räumlichen Versatz des Messobjekts,
7 Tiefenbilder gemäß 6 mit einer betragsmäßigen Auswertung.
Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
In Fertigungsprozessen werden Automatisierungs-/Maschinenzustände häufig mittels einer 3D-Kamera erfasst. Der Kerngedanke der Erfindung ist es nun, eine 3D-Kamera derart auszugestalten, dass das Sichtfeld der 3D-Kamera flexibel durch den Anwender in sogenannte Region of Interests „ROI“ bzw. Erfassungsbereiche einteilen lässt. Für jeden Erfassungsbereich ROI werden ein oder mehrere Sollzustände, vorzugsweise bei der Installation oder in einer Initialisierungsphase, eingelernt. Das Einlernen erfolgt bevorzugt auf Basis einer im Erfassungsbereich ROI erfassten 3D-Punktewolke. Die Kamera erkennt in jeder Messung je Erfassungsbereich, ob der Sollzustand, d.h. die eingelernte 3D-Punktewolke erreicht ist oder nicht. Die Ergebnisse können in einer Zustandsliste über ein Bussystem nach außen gegeben werden und beispielsweise durch eine Steuerungseinheit, z.B. einer SPS, weiterverarbeitet werden.
Ein solches Vorgehen hat den Vorteil, dass Systemzustände unabhängig vom Objekt bzw. Target sowie Art und Komplexität der Szenerie allein durch die erfasste 3D-Punktewolke generisch erkannt werden können.
Ferner ist es möglich, auch komplexe Systemzustände zu erkennen, wie z.B. die Position eines Objektes im 3D-Raum, welche durch andere Sensorik beispielsweise Positionssensoren oft nicht erfasst werden können.
Insbesondere ist es von Vorteil, dass eine Vielzahl unterschiedlicher Automatisierungsvorgänge durch eine einzige generische Lösung überwacht werden können. Besonders vorteilhaft ist es, dass Systemzustände, die eine größere Anzahl von Sensoren und insbesondere Positionssensoren erfordern, allesamt durch eine erfindungsgemäße 3D-Kamera ersetzt werden können. Dies führt zu geringen Rüstkosten und geringen Verdrahtungsaufwand bei gleichzeitiger einfachen Installation und Anwendung der erfindungsgemäßen 3D-Kamera.
Die 3D-Kamera ist derart ausgestaltet, dass ein Benutzer das Sichtfeld der 3D-Kamera flexibel in Erfassungsbereich bzw. Region of Interest ROI einteilen kann. Vorzugsweise können diese Eingabebereiche und ggf. zusätzliche Parameter über ein grafisches Eingabeinterface GUI und/oder über externe Geräte vorgegeben werden.
Innerhalb jedem Erfassungsbereich werden der Kamera ein oder mehrere Soll-Systemzustände vorzugsweise bei der Installation bzw. in einer Initialisierungsphase eingelernt. In diesem so genannten Teaching werden die Objekte oder Maschinenelemente, Roboterarme etc. auf die gewünschte Sollposition gebracht und die Position als Solltiefenbild in der 3D-Kamera hinterlegt bzw. gespeichert.
Bei Bedarf können für den Erfassungsbereich mehrere für die Applikation erlaubte Sollpositionen bzw. Solltiefenbilder hinterlegt werden.
Ebenso ist es denkbar, Solltiefenbilder nur für bestimmte Applikations-Zeitfenster/Frames zu hinterlegen. Die 3D-Kamera wäre dann mit der Produktionssteuerung zu synchronisieren, so dass bestimmten Produktionsschritten korrespondierende Solltiefenbilder zugeordnet werden können.
Ferner kann für jedes Applikationszeitfenster der oder die Erfassungsbereiche der 3D-Kamera geändert und der jeweiligen Applikation angepasst werden.
Die 3D-Kamera erkennt, ob und wann der eingelernte Systemzustand erreicht ist und erkennt ferner, ob und wann es Abweichungen zu dem eingelernten Systemzustand gibt. Diese Information wird z.B. als ja/nein-Information bzw. Flag-Signal oder 1/0-Bitsignal für jeden Erfassungsbereich nach außen gegeben.
Das Erreichen eines gewünschten bzw. im Vorfeld festgelegten Systemzustands basiert auf die Erkennung, ob eine eingelernte 3D-Punktewolke bzw. Solltiefenbild erreicht ist oder ob es Abweichungen gibt.
Diese Erkennung kann beispielsweise durch eine Korrelationsanalyse des erfassten Tiefenbilds mit dem Solltiefenbild oder beispielsweise durch ein 3D-Matching-Algorithmus von gemessener Punktewolke vs. eingelernter Punktewolke erfolgen.
Die Ergebnisse dieser Überprüfung können beispielsweise als Zustandsliste ausgeben werden, auf deren Basis der Anwender mit einfachen Skriptbefehlen, beispielsweise mit der Skriptsprache Codesys, komplexe Steuerungsaufgaben lösen kann. Ausgehend von diesen Zustandslisten aus denen erkenntlich ist, ob und wann in einer Raumzone bzw. Erfassungsbereich ein eingelernter Zustand erreicht ist oder nicht, besteht die Möglichkeit, diese Zustände bzw. Zustandswerte logisch miteinander zu verknüpfen.
Mit dem erfindungsgemäßen Vorgehen können sowohl statische als auch dynamisch Vorgänge überwacht werden, da die Systemzustände mit jeder Messung, also mit jedem Tiefenbild, erfasst werden. Die zeitliche Auflösung wird naturgemäß durch die Bildwiederholfrequenz begrenzt.
1 in Seitenansicht und 2 in Draufsicht zeigen eine möglichen Überwachungssituation, bei der sich im Sichtbereich 10 einer 3D-Kamera 1 drei Objekte 40.1, 2, 3 in einem unterschiedlichen Fertigungszustand jeweils in einem separaten Erfassungsbereichen ROI_1, 2, 3 der 3D-Kamera 1 befinden.
Es kann sich hierbei um eine Fertigungslinie oder ggf. sogar einem Fließband handeln, bei dem die gefertigten Objekte 40 in bestimmten Fertigungsschritten eindeutige und reproduzierbare Raumpositionen einnehmen.
3 zeigt die 3D-Punktewolken bzw. Solltiefenbilder STB, die in einer Initialisierungsphase für die drei Erfassungsbereiche ROI_1, 2, 3 als Sollgröße bzw. als Sollzustand hinterlegt sind.
In 4 sind beispielhaft Tiefenbilder für den dritten Erfassungsbereich ROI_3 dargestellt.
In der linken Darstellung der 4 ist das hinterlegt Solltiefenbild STB gezeigt. Während der Produktionsüberwachung wird dann vorzugsweise zu einem festvorgegebenen Zeitpunkt ein Tiefenbild ETB des aktuellen Fertigungszustands aufgenommen. Im vorliegenden Fall ist das erfasste Tiefenbild ETB identisch mit dem hinterlegten Tiefenbild STB, so dass die Differenz DTW aus beiden Tiefenbildern eine Null-Ebene bildet.
In 5 wurde der letzte Produktionsschritt fehlerhaft durchgeführt, so dass die Differenz aus Soll-STB und erfassten Tiefenbild ETB ungleich Null ist. Zur einfachen Auswertung und zur Generierung eines Zustandswerts ZW ist es vorgesehen, diese „Raumdifferenz“ vorzugsweise auf einen Gut-/Schlecht-Wert bzw. Zustandswert ZW also auf ein 1-bit-Signal zu reduzieren. Hierzu können beispielsweise die Differenzen alle Tiefenbildpunkte summiert und mit einem tolerierten Grenzwert verglichen werden: DW = ΣSTB – ETB < GW ZW = 0 wenn DW < GW ZW = 1 wenn DW ≥ GW
Im dargestellten Fall weicht das Objekt 40.3 im dritten Erfassungsbereich ROI_3 erheblich vom Sollzustand STB ab, so dass der tolerierte Grenzwert GW überschritten und für diesen Erfassungsbereich ein Zustandswert ZW von Eins ausgegeben wird.
Selbstverständlich sind auch andere Algorithmen zur Bestimmung einer Abweichung denkbar, insbesondere können auch Korrelations-Algorithmen Verwendung finden. Auch kann die Zustandsliste der jeweiligen Anwendung angepasst werden. So ist es auch denkbar, alternativ oder auch zusätzlich nicht nur einen binären Gut-/Schlechtwert, sondern die Differenz absolut auszugeben.
6 zeigt eine Situation, bei der das erfasste Objekt zwar keine Fertigungsmängel aufweist sich jedoch nicht auf der eingelernten Position befindet. Wie dem Differenzbild DTB zu entnehmen ist, führen Positionsverschiebungen zu erheblichen Änderungen im Differenzbild DTB. Das erfindungsgemäße Vorgehen ist somit sehr sensitiv im Hinblick auf Positionen. Diese Eigenschaft kann insbesondere in Fertigungsanwendungen ausgenutzt werden, in denen es auf eine exakte Positionierung der Fertigungsobjekte ankommt.
Wie dem Differenzbild ferner zu entnehmen ist, kann eine einfache Summierung der Differenzen zu einem kritischen Ergebnis führen. Im dargestellten Fall summieren sich alle Differenzen zu Null. Insofern ist es, wie in 7 gezeigt, günstiger die betragsmäßige Summe mit einem Grenzwert zu vergleichen. DW = Σ|STB – ETB| < GW
Selbstverständlich können auch hier alternative Algorithmen verwendet werden. Insbesondere können die Differenzen auch quadriert werden.
Im dargestellten Beispiel sind die Werkstücke in den unterschiedlichen Fertigungsstufen an unterschiedlichen räumlichen Positionen angeordnet. Ebenso ist es möglich, ein lokal fixiertes Werkstück, beispielsweise ein Werkstück, das in einer Fräsmaschine bearbeitet wird, zu überwachen, indem zeitlich sequentiell einzelne Fertigungsstufen mit den hinterlegten Sollzuständen verglichen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1777747 [0002]
US 6587186 [0002]
DE 19704496 [0002]

Claims

Verfahren zum Betreiben einer 3D-Kamera (1), bei dem in einer Initialisierungsphase innerhalb eines Sichtbereichs (10) der 3D-Kamera (1) mindestens ein Erfassungsbereich (ROI1, 2, 3) definiert und für diesen mindestens einen Erfassungsbereich (ROI1, 2, 3) wenigstens ein Soll-Tiefenbild (STB) gespeichert wird, mit den Schritten: a) Erfassen eines Tiefenbilds (ETB) für den mindestens einen Erfassungsbereich (ROI1, 2, 3), b) Bestimmung und Ausgabe jeweils eines Zustandswertes (ZW) für jeden Erfassungsbereich (ROI1, 2, 3) in Abhängigkeit eines Vergleichs des erfassten Tiefenbilds (ETB) mit dem Soll-Tiefenbild (STB).
Verfahren nach Anspruch 1, bei dem zur Bestimmung des Zustandswerts (ZW) eine Differenz zwischen Tiefenbilds (ETB) und Soll-Tiefenbild (STB) gebildet und mit einem Grenzwert verglichen wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem für verschiedene Erfassungszeitintervalle verschiedene Erfassungsbereiche (ROI1, 2, 3) definiert und/oder verschiedene Soll-Tiefenbilder (STB) gespeichert werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem in der Initialisierungsphase für einen jeweiligen Erfassungsbereich (ROI1, 2, 3) mehrere Soll-Tiefenbilder (STB) gespeichert werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein Erreichen- oder Nichterreichen eines oder mehrerer Soll-Tiefenbilder (STB) in Form einer Zustandsliste ausgeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Zustandswerte oder Zustandsliste als Schaltsignale für eine speicherprogrammierbare Steuerung (SPS) ausgeben werden.
3D-Kamera, die zur Durchführung eines der Verfahren nach einem der vorhergehenden Ansprüche ausgebildet ist.
3D-Kamera, mit einer grafischen Eingabeeinheit (GUI) zur Eingabe von Parametern und Definition von Erfassungsbereichen (ROI_1, 2, 3).