DE102022121770A1

DE102022121770A1 - Verfahren zum kontaktlosen Einlesen von Referenzmarken

Info

Publication number: DE102022121770A1
Application number: DE102022121770.1A
Authority: DE
Inventors: Jonas Niesner; Thomas Irrenhauser
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-08-29
Filing date: 2022-08-29
Publication date: 2024-02-29

Abstract

Es wird ein Verfahren zum kontaktlosen Einlesen von Referenzmarken (3) angegeben. Das Verfahren weist folgende Schritte auf:- Bereitstellen eines fahrerlosen Transportsystems, welches eine Raumerfassungsvorrichtung zum Erfassen von Objekträumen, zumindest eine Kameravorrichtung (1) und zumindest einen Lidar-Sensor (2) aufweist,- Aufnehmen zumindest eines Bildes innerhalb eines Objektraumes mittels der Kameravorrichtung (1),- automatisches Identifizieren einer Referenzmarke (3) im aufgenommenen Bild durch Mustererkennung und Ermitteln eines Mittelpunktes der identifizierten Referenzmarke (3),- Ermitteln eines Tiefenwertes aus einer Vielzahl von mit dem Lidar-Sensor (2) aufgenommenen Tiefendaten, welcher dem Mittelpunkt der identifizierten Referenzmarke (3) zuzuordnen ist, und- Ermitteln der relativen Position der Kameravorrichtung (1) zur Referenzmarke (3) durch den ermittelten Mittelpunkt und den ermittelten Tiefenwert.

Description

Es wird ein Verfahren zum kontaktlosen Einlesen von Referenzmarken angegeben.
Es ist im Stand der Technik bekannt, dass im Rahmen der Digitalisierung Werke mittels 3D-Scaneinrichtungen gescannt werden. Hierzu werden durch Mitarbeiter Scangeräte durch die Werkshallen getragen und alle Daten aufgenommen. Die Scans erfolgen derzeit also primär manuell. Die Druckschrift DE 10 2019 120 702 A1 zeigt z.B. ein Gestell für zumindest eine Scaneinrichtung zum Tragen der Scaneinrichtung mittels des Körpers einer Person, wobei das Gestell eine Trageeinrichtung zum Anlegen und Tragen des Gestells durch die Person umfasst. Des Weiteren beschreibt die Druckschrift eine Raumerfassungsvorrichtung mit zumindest einer Scaneinrichtung und einem solchen Gestell.
Nachteilig bei der bekannten Lösung zum Scannen der Werke ist, dass dies ein zeitintensiver und mühevoller Prozess ist. Gibt es irgendwelche Änderungen im Layout oder in der Anordnung von Gegenständen (Maschinen, Anlagen, Regale, Behälter usw.) ist ein erneutes Scannen, ein sogenannter Re-Scan, erforderlich. Dies könnte beispielsweise mehrmals die Woche erfolgen. Aktuelle Daten sind erforderlich, damit z.B. Produktionsplaner auf aktuellen Daten neue Konzepte erarbeiten oder autonome Transportsysteme, die anhand der gescannten Daten ihre Aufgaben erledigen, immer auf aktuelles Kartenmaterial zurückgreifen können. Weiterhin ist es von Nachteil, dass eine Vielzahl von Referenzmarken an bestimmten Punkten in der Umgebung durch Referenzmarkierungen der Scaneinrichtungen erfasst werden müssen, indem die Referenzmarkierungen in direkten Kontakt mit den Referenzmarken gebracht werden und dabei geleichzeitig vom Anwender ein Betätigungsknopf gedrückt wird.
Es ist eine zu lösende Aufgabe zumindest einiger Ausführungsformen, ein Verfahren zum kontaktlosen Einlesen von anzugeben, das insbesondere für autonome Scanvorgänge Vorteile aufweist.
Diese Aufgabe wird durch ein Verfahren gemäß dem unabhängigen Patentanspruch gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen der Gegenstände gehen weiterhin aus den abhängigen Patentansprüchen, der nachfolgenden Beschreibung und aus der Zeichnung hervor.
Bei dem hier beschriebenen Verfahren zum kontaktlosen Einlesen von Referenzmarken wird ein fahrerloses Transportsystem bereitgestellt, welches eine Raumerfassungsvorrichtung zum Erfassen von Objekträumen, zumindest eine Kameravorrichtung und zumindest einen Lidar-Sensor aufweist. Die die Kameravorrichtung kann z.B. eine RGB-Kamera sein. Die Kameravorrichtung und der Lidar-Sensor können Teil der Raumerfassungsvorrichtung sein. Alternativ können die Kameravorrichtung und der Lidar-Sensor auch separat von der Raumerfassungsvorrichtung ausgebildet sein.
Weiterhin wird zumindest ein Bild innerhalb eines Objektraumes mittels der Kameravorrichtung aufgenommen. Eine Referenzmarke im aufgenommenen Bild wird automatisch durch Mustererkennung identifiziert und ein Mittelpunkt der identifizierten Referenzmarke wird Ermitteln. Die Mustererkennung kann z.B. mithilfe von neuronalen Netzen und/oder künstlicher Intelligenz erfolgen.
Aus einer Vielzahl von mit dem Lidar-Sensor aufgenommenen Tiefendaten wird ein Tiefenwert ermittelt, welcher dem Mittelpunkt der identifizierten Referenzmarke zuzuordnen ist. Dies kann insbesondere erfolgen, da die intrinsischen (Beschaffenheit der Kameravorrichtung, Aufbau der Linse, Entfernung von Bildsensor zu Linse, etc.) und extrinsischen Parameter (relative Position Kameravorrichtung zum Lidar-Sensor, Entfernung und/oder Drehung zum Lidar-Sensor) der Kameravorrichtung bekannt sind. Weiterhin wird die relative Position der Kameravorrichtung zur Referenzmarke ermittelt, und zwar insbesondere durch den ermittelten Mittelpunkt und den ermittelten Tiefenwert.
Anschließend kann zumindest ein 3D-Scan der Raumerfassungsvorrichtung georeferenziert werden, insbesondere da die absoluten Koordinaten der Referenzmarke bekannt sind, und also die Koordinaten des 3D-Scan der Raumerfassungsvorrichtung ermittelt werden können.
Gemäß einer weiteren Ausführungsform werden die Kameravorrichtung und der Lidar-Sensor und die Raumerfassungsvorrichtung vor dem Aufnehmen des Bildes durch das fahrerlose Transportsystem bewegt werden. Beispielsweise kann sich das fahrerlose Transportsystem innerhalb des Objektraums autonom bewegen.
Weiterhin können das Aufnehmen des Bildes und/oder Aufnahmen von Tiefendaten durch den Lidar-Sensor automatisiert erfolgen.
Die Raumerfassungsvorrichtung kann einen oder mehrere Mehrfachscanner aufweisen. Beispielweise kann die Raumerfassungsvorrichtung einen ersten Mehrfachscanner und einen zweiten Mehrfachscanner aufweisen, welche jeweils an einem Gestell angeordnet bzw. befestigt sein können. Der erste und der zweite Mehrfachscanner können insbesondere eine Vielzahl von in einem Bauteil integrierten Emissionseinheiten zum Erzeugen einer Vielzahl von Signalstrahlen in definierten Emissionsrichtungen umfassen, sowie einen Empfänger zum Detektieren von Reflexionsstrahlungen, die durch Reflexionen der Signalstrahlen an einem oder mehreren Objekten des Objektraums erzeugt werden, und eine Abtasteinrichtung zum Verändern der Emissionsrichtungen der Signalstrahlen. Der Einsatz von Mehrfachscannern ermöglicht das unterbrechungsfreie Erfassen des Objektraums. Durch die Verwendung der Mehrfachscanners kann ein Echtzeit-3D-SLAM-Verfahren mit sechs Freiheitsgraden eingesetzt werden.
Aus der Verwendung der Mehrfachscanners in der Raumerfassungsvorrichtung ergibt sich der Vorteil, dass die Vorrichtung in der Bewegung immer nicht nur neue Oberflächenabschnitte des Objektraums erfasst, indem die Signalstrahlen diese Oberflächenabschnitte überstreichen, sondern dass die Signalstrahlen immer auch auf bereits zuvor erfasste Oberflächenabschnitte treffen, das heißt solche Oberflächenabschnitte, die bereits von zuvor ausgesandten anderen Signalstrahlen erfasst wurden. Hierdurch wird es möglich, einen Abgleich der von dem Empfänger detektierten Reflexionsstrahlungen mit bereits zuvor detektierten Reflexionsstrahlungen durchzuführen. Aus diesem Abgleich kann dann die Bewegung der Raumerfassungsvorrichtung berechnet werden, so dass es möglich ist, die Position der Raumerfassungsvorrichtung im Objektraum zu bestimmen. Hierdurch ist es wiederum möglich, eine graphische Darstellung derjenigen Bereiche des Objektraums zu erzeugen und auszugeben, durch welche die Raumerfassungsvorrichtung bewegt wurde. Hieraus wiederum lässt sich anhand einer vorläufigen Modellierung des Objektraums anhand der Daten, die zumindest aus den Reflexionsstrahlungen gewonnen werden können, bestimmen, durch welche Bereiche im Objektraum die Raumerfassungsvorrichtung bewegt werden kann. Diese möglichen Bewegungen der Vorrichtung im Objektraum können außerdem graphisch dargestellt und ausgegeben werden. Die Mehrfachscanner können jeweils Emissionseinheiten mit einem oder mehreren Lasern aufweisen.
Weiterhin kann die Raumerfassungsvorrichtung eine oder mehrere Kameras aufweisen, welche an dem Gestell angeordnet bzw. befestigt sein können. Die am Gestell montierte Kamera bzw. montierten Kameras können insbesondere dazu ausgebildet sein, Kamerabilder zumindest eines Teils des Objektraums aufzunehmen. Die von der Kamera oder den Kameras aufgenommenen Bilder können beim Erzeugen der verschiedenen graphischen Darstellungen des Objektraums in Echtzeit berücksichtigt werden. Auf diese Weise kann eine sehr realitätsnahe Darstellung des begangenen und/oder begehbaren Bereichs des Objektraums oder des von der Raumerfassungsvorrichtung bereits abgetasteten Bereichs des Objektraums in Echtzeit erzeugt werden.
Bei dem hier beschriebenen Verfahren ist vorteilhaferweise keine physische Berührung der Referenzmarke notwendig. Dadurch kann vermieden werden, dass Sicherheitssysteme des fahrerlosen Transportfahrzeugs auslösen. Somit kann eine physische Abnahme zur Lokalisierung der Raumerfassungsvorrichtung entfallen.
Weitere Vorteile und vorteilhafte Ausführungsformen des hier beschriebenen Verfahrens ergeben sich aus der im Folgenden in Verbindung mit der 1 beschriebenen Ausführungsform. Es zeigt:

1 eine schematische Darstellung des Verfahrens gemäß einem Ausführungsbeispiel.

Die dargestellten Elemente und deren Größenverhältnisse untereinander sind grundsätzlich nicht als maßstabsgerecht anzusehen. Vielmehr können einzelne Elemente zur besseren Darstellbarkeit und/oder zum besseren Verständnis übertrieben dick oder groß dimensioniert dargestellt sein.
1 zeigt eine schematische Darstellung des Verfahrens gemäß einem Ausführungsbeispiel.
Es wird ein fahrerloses Transportsystem (nicht dargestellt) bereitgestellt, welches eine Raumerfassungsvorrichtung (nicht dargestellt) zum Erfassen von Objekträumen, zumindest eine Kameravorrichtung 1 und zumindest einen Lidar-Sensor 2 aufweist. Die die Kameravorrichtung 1 kann z.B. eine RGB-Kamera sein.
Um eine Referenzmarke 3 einzulesen, wird diese zuerst auf einem Bild einer Kameravorrichtung 1 bzw. einem RGB-Bild einer RGB-Kamera mit Objekterkennung erkannt. Dann wird die Pixelposition des Mittelpunkts der erkannten Referenzmarke 3 ermittelt. Daraus kann, da die intrinsischen und extrinsischen Parameter der Kameravorrichtung 1 bekannt sind, ein Tiefenwert aus der durch den Lidar-Sensor 2 erzeugten Punktwolke ermittelt werden. Dadurch kann wiederum mit den intrinsischen Kameraparametern die 3D-Position der Referenzmarke 3 relativ zur Kameravorrichtung 1 ermittelt werden. Mit dieser Information kann eine Georeferenzierung durchgeführt werden.
Durch die Kombination der Kameravorrichtung 1 und des Lidar-Sensors 2 kann das Einlesen von Referenzmarken 3 vorteilhafterweise auch aus größeren Entfernungen als bei einem auf einer Tiefenkamera basierenden Verfahren erfolgen, da Lidar-Sensoren 2 bzw. 3D-Lidar-Scanner auch bei höheren Distanzen genaue Tiefenwertinformationen liefern.
Die Raumerfassungsvorrichtung zum Erfassen von Objekträumen, die Kameravorrichtung 1 und der Lidar-Sensor 2 können autonom auf dem fahrerlosen Transportfahrzeug durch das Werk transportiert werden, um Referenzmarken 3 einzulesen und 3D-Scans der Umgebung mittels der Raumerfassungsvorrichtung auszuführen, wobei die 3D-Scans durch das Einlesen der Referenzmarken 3 georeferenziert werden können.
Alternativ oder zusätzlich kann das in den Figuren gezeigte Ausführungsbeispiel weitere Merkmale gemäß den Ausführungsformen der allgemeinen Beschreibung aufweisen.
Bezugszeichenliste

1: Kameravorrichtung
2: Lidar-Sensor
3: Referenzmarke

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019120702 A1 [0002]

Claims

Verfahren zum kontaktlosen Einlesen von Referenzmarken (3), aufweisend die folgenden Schritte: - Bereitstellen eines fahrerlosen Transportsystems, welches eine Raumerfassungsvorrichtung zum Erfassen von Objekträumen, zumindest eine Kameravorrichtung (1) und zumindest einen Lidar-Sensor (2) aufweist, - Aufnehmen zumindest eines Bildes innerhalb eines Objektraumes mittels der Kameravorrichtung (1), - automatisches Identifizieren einer Referenzmarke (3) im aufgenommenen Bild durch Mustererkennung und Ermitteln eines Mittelpunktes der identifizierten Referenzmarke (3), - Ermitteln eines Tiefenwertes aus einer Vielzahl von mit dem Lidar-Sensor (2) aufgenommenen Tiefendaten, welcher dem Mittelpunkt der identifizierten Referenzmarke (3) zuzuordnen ist, und - Ermitteln der relativen Position der Kameravorrichtung (1) zur Referenzmarke (3) durch den ermittelten Mittelpunkt und den ermittelten Tiefenwert.
Verfahren nach Anspruch 1, wobei anschließend zumindest ein 3D-Scan der Raumerfassungsvorrichtung georeferenziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kameravorrichtung (1) und der Lidar-Sensor (2) vor dem Aufnehmen des Bildes durch das fahrerlose Transportsystem bewegt werden.
Verfahren nach Anspruch 3, wobei sich das fahrerlose Transportsystem innerhalb des Objektraums autonom bewegt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kameravorrichtung (1) eine RGB-Kamera ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Ermitteln des Tiefenwertes intrinsische und/oder extrinsische Parameter der Kameravorrichtung (1) verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Aufnehmen des Bildes und/oder Aufnahmen von Tiefendaten durch den Lidar-Sensor (2) automatisiert erfolgen.