DE102015014415A1

DE102015014415A1 - Verfahren zur Erkennung bewegter Objekte

Info

Publication number: DE102015014415A1
Application number: DE102015014415.4A
Authority: DE
Inventors: Anton Feldmann
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2015-11-07
Filing date: 2015-11-07
Publication date: 2016-05-12

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von bewegten Objekten in einer Umgebung, vorzugsweise einer Produktionshalle, bei welchem von einer 3D-Kamera ein 3D-Bild einer, die Objekte umfassende Szene erstellt wird, wobei die 3D-Kamera eine 3D-Punktwolke exportiert. Bei einem sehr einfachen und schnellen Verfahren wird in einer Produktionssteuerung ein reales Bild der gleichen Szene erstellt, bei welchem die Objekte durch ein Convolutional Neural Network klassifiziert werden und mittels der klassifizierten Objekte dieselben Objekte in der 3D-Punktwolke extrahiert und vermessen werden.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von bewegten Objekten in einer Umgebung, vorzugsweise einer Produktionshalle, bei welchem von einer 3D-Kamera ein 3D-Bild einer, die Objekte umfassenden Szene erstellt wird, wobei die 3D-Kamera eine 3D-Punktwolke exportiert.
Aus der DE 10 2013 216 833 A1 sind eine 3D-Kamera und ein Verfahren zum Betreiben einer solchen bekannt, bei welchem ein Erfassungsbereich mit wenigstens einem Solltiefenbild gespeichert wird. Dabei wird das mindestens eine Tiefenbild für den mindestens einen Erfassungsbereich erfasst und jeweils ein Zustandswert für jeden Erfassungsbereich in Abhängigkeit eines Vergleichs des erfassten Tiefenbildes mit dem Solltiefenbild bestimmt und ausgegeben. Durch die Analyse der 3D-Kamera können Zustandsgrößen in einer Fertigung überwacht werden, wobei die komplexen 3D-Daten auf applikationsrelevante, vorzugsweise binäre Zustandswerte reduziert werden können. Der Sollzustand stellt dabei eine eingelernte 3D-Punktwolke dar. Eine solche einfach nur auf einer 3D-Kamera basierende Auswertung der Fertigung erfordert einen hohen Rechenaufwand und ist daher sehr komplex und zeitaufwendig.
Aufgabe der Erfindung ist es, ein Verfahren zur Ermittlung bewegter Objekte anzugeben, welches einfach und schnell durchführbar ist.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass in einer Produktionssteuerung ein reales Bild der gleichen Szene erstellt wird, bei welchem die Objekte durch ein Convolutional Neural Network klassifiziert werden und mittels der klassifizierten Objekte dieselben Objekte in der 3D-Punktwolke extrahiert und vermessen werden. Der Abgleich zwischen dem realen und dem digitalen Bild erlaubt eine schnellere Auswertung der realen mit der virtuellen Welt.
Vorteilhafterweise wird das reale Bild von einem Standard-Kamerasystem aufgenommen.
In einer Ausgestaltung werden der 3D-Sensor und das Standard-Kamerasystem in einem gemeinsamen Koordinatensystem kalibriert. Durch die Anordnung im selben Weltkoordinatensystem kann man in dem digitalen 3D-Bild die Objekte sehr schnell finden, extrahieren und vermessen. Die metrische Information über die sich bewegenden Objekte lassen sich somit sehr schnell mit der digitalen Welt abgleichen, wodurch ein permanenter und persistenter Zustand zwischen Realität und digitaler Welt erreicht wird.
In einer Ausführungsform erzeugt das Standard-Kamerasystem ein reales n Bit-Grauwertbild. Ein solches Grauwertbild lässt eine deutliche Erkennung der einzelnen Objekte in der Produktionshalle zu, wodurch diese zuverlässig durch das Convolutional Neural Network ausgewertet werden können.
In einer Weiterbildung weisen das digitale Bild und das reale Bild die gleiche Perspektive auf die gleiche Szene in der Produktionshalle auf. Dadurch wird sichergestellt, dass man auch wirklich die in dem Augenblick der Aufnahme sich durch die Produktionshalle bewegenden Objekte vergleichen kann.
In einer Variante sind die zur Produktionssteuerung erfassten Objekte Bestandteil eines fahrerlosen Transportsystems.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
In einer Produktionshalle wird ein fahrerloses Transportsystem (FTS) verwendet, welches zur Produktion notwendige Bauteile an einen vorgegebenen Produktionsstandort bringt.
Um die einzelnen Wagen des fahrerlosen Transportsystems zu überwachen, sind ein 3D-Scanner und ein Standard-Kamerasystem so in der Produktionshalle angeordnet, dass diese dieselbe Szene in der Produktionshalle erfassen.
Der 3D-Scanner stellt einen Sensor zum Vermessen der vorliegenden Szene in der Produktionshalle dar und kann zweidimensional oder auch dreidimensional, wie der Velodyne Laserscanner, ausgebildet sein. Es sind aber auch Bild- oder Radar-Scanner verwendbar. Vorteilhafterweise wird ein Faro-Laserscanner zum Vermessen der Szene in der Produktionshalle eingesetzt. Dieser Faro-Laserscanner exportiert eine 3D-Punktwolke. Gleichzeitig wird dieselbe Szene in der Produktionshalle mit dem Standard-Kamerasystem aufgenommen, das ein normales Bild von der Szene, beispielsweise ein 16-Bit-Grauwertbild, ausgibt.
Durch die Kalibrierung des 3D-Scanners und des Standard-Kamerasystems in demselben Koordinatensystem sind alle Berechnungen in beiden Systemen gleich, wodurch die, in dem realen Bild des Kamerasystems bestimmten Wagen des Transportsystems in der 3D-Punktwolke des 3D-Scanners identifiziert werden können.
Zunächst werden in dem realen Bild, das von dem Standard-Kamerasystem aufgenommen wurde, durch das Convolutional Neural Network Wagen des fahrerlosen Transportsystems klassifiziert. Anschließend werden diese klassifizierten Wagen in der 3D-Punktwolke identifiziert, extrahiert und vermessen. Anschließend werden die metrischen Informationen, die aus der Szene bestimmt wurden, sehr schnell mit der digitalen Welt, dem digitalen Abbild der Produktionshalle, abgeglichen und so ein permanenter und persisenter Zustand zwischen Realität und digitaler Welt erreicht.
In einer Alternative kann auf den 3D-Scanner verzichtet werden. Gleiche Temperaturen vorausgesetzt, kann ein Abgleich der Wagen ausgelassen werden und die Größeninformation der Wagen aus Computerdaten entnommen werden. D. h. mit dem Standard-Kamerasystem wird ein reales Bild gemacht, welches durch das Convolutional Neural Network die Wagen klassifiziert. Mittels einer Datenbasis wird jeder Wagen mit seinen CAD-Informationen abgeglichen.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102013216833 A1 [0002]

Claims

Verfahren zur Erkennung von bewegten Objekten in einer Umgebung, vorzugsweise einer Produktionshalle, bei welchem von einer 3D-Kamera ein 3D-Bild einer, die Objekte umfassenden Szene erstellt wird, wobei die 3D-Kamera eine 3D-Punktwolke exportiert, dadurch gekennzeichnet, dass in einer Produktionssteuerung ein reales Bild der gleichen Szene erstellt wird, bei welchem die Objekte durch ein Convolutional Neural Network klassifiziert werden und mittels der klassifizierten Objekte dieselben Objekte in der 3D-Punktwolke extrahiert und vermessen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das reale Bild von einem Standard-Kamerasystem aufgenommen wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die 3D-Kamera und das Standard-Kamerasystem in einem gemeinsamen Koordinatensystem kalibriert werden.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Standard-Kamerasystem ein reales n Bit-Grauwertbild erzeugt.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das digitale Bild und das reale Bild die gleiche Perspektive auf die gleiche Szene haben.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zur Produktionssteuerung erfassten Objekte Bestandteil eines fahrerlosen Transportsystems sind.