DE102018114386A1

DE102018114386A1 - Verfahren zur Erzeugung von Bild-Metadaten für eine Steuerung

Info

Publication number: DE102018114386A1
Application number: DE102018114386.9A
Authority: DE
Inventors: Volker Frey
Original assignee: IFM Electronic GmbH
Current assignee: IFM Electronic GmbH
Priority date: 2017-12-22
Filing date: 2018-06-15
Publication date: 2019-06-27

Abstract

Verfahren zur Erzeugung von Bild-Metadaten für eine Steuerung,bei dem anhand eines von einem Bildsensor erfassten Bilds Objekte erkannt und Objektparameter ermittelbar sind,wobei ausgehend von der erkannten Objekte und den ermittelten Objektparametern Bild-Metadaten für eine Steuerung (PLC) generiert werden,wobei die Bild-Metadaten derart ausgestaltet sind, dass die Steuerung (PLC) ausgehend von diesen Bild-Metadaten Steuerungsvorgänge auslösen kann.

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung von Bild-Metadaten für eine Steuerung nach Gattung des unabhängigen Anspruchs.
Aus der DE 10 2012 200 572 A1 ist beispielsweise eine 2D3D-Kamera bekannt, bei der für jede Kamera jeweils eine eigene Objektliste der erfassten Objekte erzeugt wird. Wird ein Objekt in beiden Objektlisten erkannt, wird für ein solches Objekt ein Sicherheitssignal generiert.
Das erfindungsgemäße Verfahren ist insbesondere auch für alle Lichtlaufzeit bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie beispielsweise in der DE 197 04 496 C2 beschrieben und von der Firma ‚ifm electronic GmbH‘ oder ‚pmdtechnologies ag‘ als Frame-Grabber O3D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können. Selbstverständlich sollen mit dem Begriff Kamera bzw. Kamerasystem auch Kameras bzw. Geräte mit mindestens einem Empfangspixel mit umfasst sein.
Aufgabe der Erfindung ist es, eine Anbindung von Kameras an Steuerungen zu vereinfachen.
Die Aufgabe wird vorteilhaft durch das Verfahren und der Vorrichtung gemäß der unabhängigen Ansprüche gelöst.
Vorteilhaft ist ein Verfahren zur Erzeugung von Bild-Metadaten für eine Steuerung vorgesehen, bei dem anhand eines von einem Bildsensor erfassten Bilds Objekte erkannt und Objektparameter ermittelbar sind,
wobei ausgehend von der erkannten Objekte und den ermittelten Objektparametern Bild-Metadaten in Form von Byte-Worten für eine Steuerung (PLC) generiert werden, wobei die Bild-Metadaten derart ausgestaltet sind, dass die Steuerung (PLC) ausgehend von diesen Bild-Metadaten Steuerungsvorgänge auslösen kann.
Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen schematisch:

1 schematisch ein Lichtlaufzeitkamerasystem,
2 unterschiedliche von einem Bildsensor erfasste Objekte,
3 eine erfindungsgemäße Bildverarbeitung mit Kompression,
4 eine erfindungsgemäße Kompression direkt aus den Rohdaten.

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist.
Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.
Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
2 zeigt zwei von einem Bildsensor erfasste Objekte 01, O2. Im dargestellten Fall sind den beiden Objekten O1, O2 rechteckförmige Region of Interest ROI_1, ROI_2 zugeordnet. Eine derartige Zuordnung kann beispielsweise durch eine Bildverarbeitung vorgenommen werden. Ferner kann die Bildverarbeitung auch eine Objekterkennung aufweisen, die derart ausgestaltet ist, dass ausgehend von den erkannten Objekten Objektlisten mit Objekteigenschaften bzw. entsprechende Parameterlisten erstellt werden. Beispielsweise könnte in einer solchen Objektliste/Parameterliste die Art des Objektes, die Objektgröße, der Objektschwerpunkt bzw. Bildschwerpunkt, Fläche des Objekts, minimale und maximale Abmessungen des Objekts oder der zugehörigen Region of Interest etc. ermittelt werden Bei einem entfernungsmessenden Sensor können zudem auch Abstand, Geschwindigkeit, Bewegungsrichtung etc. mit in die Parameterliste aufgenommen werden.
Derartige Parameterlisten sind in der Regel komplexer Natur und können typischerweise von einer Steuerung insbesondere einer speicherprogrammierbaren Steuerung PLC nicht verarbeitet werden.
Erfindungsgemäß ist es daher vorgesehen, ausgehend von den Objekt- bzw. Parameterlisten Bild-Metadaten zu generieren, die von einer Steuerung insbesondere speicherprogrammierbaren Steuerung PLC / SPS bzw. einem Schaltgerät oder Schaltsystem erfasst werden können.
3 zeigt einen möglichen erfindungsgemäßen Aufbau. Die Bildsensordaten werden durch eine Bildverarbeitung BV ausgewertet und eine Objekt- bzw. Parameterliste generiert. Erfindungsgemäß ist es vorgesehen, dass diese Liste mit Hilfe eines Kompressors K in für eine Steuerung lesbare Bild-Metadaten umgewandelt werden.
Beispielsweise könnte eine Objektliste OL mit den Daten: ROI, Objektschwerpunkt OS, Fläche A, Abstand d vorliegen. Um die Daten für eine typische PLC aufzubereiten, bietet es sich an die Objektliste in eine Folge von 2-Byte-Worten W umzuwandeln.
OL(ROI, OS, A, d) → W_ROI, W_OS, W_F, W_d
Zur Übertragung an die PLC können selbstverständlich weitere 2-Byte-Worte hinzugefügt werden, um beispielsweise Kommandos, Funktionsaufrufe, Zähler etc. zu übermitteln. Die Gesamtfolge kann auf den Bedarf der jeweiligen Applikation abgestimmt werden.
Selbstverständlich können je nach Möglichkeiten der PLC auch 1 Byte oder auch höhere Wortlängen mit 4 Byte und mehr verwendet werden.
Abhängig von dem verwendeten Übertragungsprotokoll sind Größe und Struktur der Gesamtfolge anzupassen. Insbesondere bei zyklischen Systemen, wie beispielsweise Profinet oder Ethernet sollten Größe und Struktur im Vorfeld zwischen Sender und Empfänger vereinbart sein.
Grundsätzlich ist jedoch eine nicht zyklische Datenübertragung beispielsweise via TCP möglich.
In einer weiteren Ausgestaltung gemäß 4 kann es vorgesehen sein, dass der Kompressor K derart ausgestaltet ist, dass die Bild-Metadaten für die Steuerung nicht aus Parameterlisten bzw. Objektlisten, sondern direkt aus den Rohdaten gewonnen werden.
Die vorgenannten Verfahren können beispielsweise in der Kamera selbst oder in einem externen Computer realisiert sein, wie auch die Steuerung selbst auf einem Computer realisiert sein kann.
Die Daten zwischen Bildverarbeitung Kompressor und Steuerung können in unterschiedlichen Protokollen und Bus-Systemen übertragen werden, insbesondere über CAN, TCP, Profinet oder Ethernet.
Ferner kann es vorgesehen sein, dass die erfassten Region of Interest und die Objektlisten als eigener Bild-Metadatensatz an die Steuerung übertragen werden.
Bezugszeichenliste

1: Lichtlaufzeitkamerasystem
10: Beleuchtungsmodul
12: Beleuchtung
20: Empfänger, Lichtlaufzeitkamera
22: Lichtlaufzeitsensor
30: Modulator
35: Phasenschieber, Beleuchtungsphasenschieber
40: Objekt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102012200572 A1 [0002]
DE 19704496 C2 [0003]
DE 19704496 A1 [0011]

Claims

Verfahren zur Erzeugung von Bild-Metadaten für eine Steuerung, bei dem anhand eines von einem Bildsensor erfassten Bilds Objekte erkannt und Objektparameter ermittelbar sind, wobei ausgehend von der erkannten Objekte und den ermittelten Objektparametern Bild-Metadaten in Form von Byte-Worten für eine Steuerung (PLC) generiert werden, wobei die Bild-Metadaten derart ausgestaltet sind, dass die Steuerung (PLC) ausgehend von diesen Bild-Metadaten Steuerungsvorgänge auslösen kann.
Verfahren nach Anspruch 1, bei dem die Bild-Metadaten für die Steuerung (PLC) ausgehend von einer durch eine Bildverarbeitung (BV) zur Verfügung gestellten Parameterliste erzeugt werden.
Bildkamera oder Lichtlaufzeitkamera, die zur Durchführung eines der vorgenannten Verfahren ausgebildet ist.