EP4588022A1 - Verfahren zur detektion eines objekts durch ein mobiles system - Google Patents

Verfahren zur detektion eines objekts durch ein mobiles system

Info

Publication number
EP4588022A1
EP4588022A1 EP23754704.7A EP23754704A EP4588022A1 EP 4588022 A1 EP4588022 A1 EP 4588022A1 EP 23754704 A EP23754704 A EP 23754704A EP 4588022 A1 EP4588022 A1 EP 4588022A1
Authority
EP
European Patent Office
Prior art keywords
image
sensor
mobile system
detected
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23754704.7A
Other languages
English (en)
French (fr)
Inventor
Quamrul Hasan Mallik
Patrick Betz
Maja Sliskovic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SEW Eurodrive GmbH and Co KG
Original Assignee
SEW Eurodrive GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SEW Eurodrive GmbH and Co KG filed Critical SEW Eurodrive GmbH and Co KG
Publication of EP4588022A1 publication Critical patent/EP4588022A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the invention relates to a method for detecting an object by a mobile system, in particular in a technical system, wherein the mobile system has at least one first sensor and at least one second sensor.
  • the technical system is in particular an industrial application, for example a production plant, an industrial hall or a logistics center.
  • the mobile system is, for example, an autonomous vehicle.
  • the mobile system is used, for example, to transport objects within the technical system. There are also other objects in the technical system.
  • the mobile system has a sensor, in particular a laser scanner, for detecting such objects and distances to such objects.
  • the mobile system has a first sensor, which is designed as a laser scanner, and a second sensor, which is designed as a monocular camera. By linking the data recorded by the two sensors, objects in the technical system are recognized.
  • Objects can be detected from images recorded by a camera.
  • Image pyramids are usually created and used for object detection.
  • An image pyramid is associated with an object and has multiple scale levels. Each scale level includes an object image of a different size. Each scale level shows the object at a different distance. To find the object in an image, all scaling levels of the pyramid must be processed, each comparing it to the object image at the scaling level. The comparison with the large number of object images is computationally intensive.
  • the invention is based on the object of developing a method for detecting an object using a mobile system.
  • a method for detecting an object by a mobile system in particular in a technical system, is proposed.
  • the mobile system has at least one first sensor, at least one second sensor and at least one image pyramid.
  • the at least one image pyramid is assigned to an object and contains several scaling levels, each of which includes an object image.
  • the first sensor several points of an object are detected, and distances to the detected points are determined, and a resulting distance to the detected points is determined.
  • the second sensor an image containing the object is recorded, and an image of the object is recognized in the recorded image.
  • At least one scaling level is selected from the at least one image pyramid, to which the resulting distance is assigned.
  • the object image of the at least one selected scaling level is compared with the image recognized in the captured image. If the object image matches the image, the object in the image is detected.
  • An object to which an image pyramid is assigned is, for example, a pallet, a forklift or a grid box.
  • the first sensor is designed as a laser scanner.
  • the resulting distance to the detected points is determined as the arithmetic mean of the determined distances to the detected points.
  • the resulting distance therefore corresponds to a distance from the first sensor to a point in the middle of the object.
  • the resulting distance to the detected points is determined as the smallest of the determined distances to the detected points.
  • the resulting distance therefore corresponds to a distance between the first sensor and a side of the object facing the mobile system.
  • the scaling levels of the at least one image pyramid are discrete and each include an object image at exactly one resulting distance. According to an advantageous development of the invention, a range of resulting distances is assigned to each scaling level of the at least one image pyramid. This means that resulting distances that lie between two discrete scaling levels can also be processed.
  • the mobile system has a position sensor for detecting a position of the mobile system, particularly within the technical system.
  • the sensor in question is, for example, a GPS receiver or a SLAM system. Recording the mobile system's own position, especially in the technical system, makes it possible to create a local map, which forms the basis for the autonomous driving of the mobile system.
  • Figure 1 a schematic side view of a mobile system and an object in a technical system
  • Figure 3 a picture with an image of the object
  • Figure 5 an overlay of the image with the recorded points.
  • Figure 1 shows a schematic side view of a mobile system 10 and an object 11 in a technical system.
  • the object 11 in this case is a pallet.
  • the technical system has additional objects 11 not shown here, for example additional pallets, forklifts and mesh boxes.
  • the technical system also has other mobile systems 10, not shown here, which are designed in the same way.
  • the mobile system 10 is designed as an autonomously driving vehicle and has a drive device, an electrical energy storage device for supplying the drive device and a control unit for controlling the drive device.
  • the mobile system 10 also has a position sensor for detecting a position of the mobile system 10 within the technical system.
  • the mobile system 10 also includes a communication device for wireless communication over a network.
  • the mobile system 10 in the present case has two first sensors 1, which are designed as laser scanners. Each of the first sensors 1 is used to detect objects 11 and to detect distances to detected objects 11. The first sensor 1 detects several points P of the object 11 and determines the distances to the detected points P.
  • the mobile system 10 has a second sensor 2, which is designed as a monocular camera. The second sensor 2 is used to record images on which objects 11 in particular are depicted.
  • the mobile system 10 is located on a level floor in the technical facility.
  • the first sensors 1, designed as laser scanners, are arranged on the mobile system 10 in such a way that the scanning planes of the first sensors 1 are aligned parallel to the floor.
  • the second sensor 2, designed as a monocular camera, is arranged on the mobile system 10 in such a way that the optical axis of the second sensor 2 is aligned parallel to the ground.
  • FIG 2 shows a schematic top view of the mobile system 10 and the object 11 in the technical system shown in Figure 1.
  • the mobile system 10 has an approximately rectangular cross section.
  • the first sensors 1, designed as laser scanners, are arranged at opposite corners of the mobile system 10.
  • the second sensor 2, designed as a monocular camera, is arranged on a front side of the mobile system 10.
  • the geometric arrangement of the first sensors 1 relative to the second sensor 2 on the mobile system 10 can be detected by calibration and is therefore known.
  • the geometric arrangement in question is constant and is therefore not changed dynamically.
  • a transformation of detected points P and distances to the detected points P into a recorded image can clearly be carried out.
  • the mobile system 10 also has several image pyramids. Each image pyramid is assigned to an object. Such objects are, for example, a pallet, a forklift or a wire mesh box. Each image pyramid contains multiple scaling levels. Each scaling level includes an object image. The object images of the scaling levels have different sizes. Each scaling level therefore shows the object at a different distance.
  • FIG. 4 shows the detected points P of the object 11 shown in FIG. 1. From the distances of the mobile system 10 to the detected points P, a resulting distance of the mobile system 10 to the detected points P is determined.
  • a hypothetical object is proposed from the detected points P of the object 11 and the distances of the mobile system 10 to the detected points P. Based on the position and orientation of the points P, a pallet is proposed as a hypothetical object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion eines Objekts durch ein mobiles System (10), insbesondere in einer technischen Anlage, wobei das mobile System (10) mindestens einen ersten Sensor (1), mindestens einen zweiten Sensor (2) und mindestens eine Bildpyramide, welche einem Objekt zugeordnet ist, und welche mehrere Skalierungsstufen enthält, welche jeweils ein Objektbild umfassen, aufweist; wobei mittels des ersten Sensors (1) mehrere Punkte (P) eines Gegenstands (11) erfasst werden, und Entfernungen zu den erfassten Punkten (P) ermittelt werden, und eine resultierende Entfernung zu den erfassten Punkten (P) bestimmt wird; mittels des zweiten Sensors (2) ein Bild, welches den Gegenstand (11) enthält, aufgenommen wird, und in dem aufgenommenen Bild ein Abbild (A) des Gegenstandes (11) erkannt wird; aus der mindestens einen Bildpyramide mindestens eine Skalierungsstufe ausgewählt wird, welcher die resultierende Entfernung zugeordnet ist; das Objektbild der mindestens einen ausgewählten Skalierungsstufe mit dem in dem aufgenommenen Bild erkannten Abbild (A) verglichen wird; und bei Übereinstimmung des Objektbildes mit dem Abbild (A) das Objekt in dem Bild detektiert wird.

Description

Verfahren zur Detektion eines Objekts durch ein mobiles System
Beschreibung:
Die Erfindung betrifft ein Verfahren zur Detektion eines Objekts durch ein mobiles System, insbesondere in einer technischen Anlage, wobei das mobile System mindestens einen ersten Sensor und mindestens einen zweiten Sensor aufweist.
Bei der technischen Anlage handelt es sich insbesondere um eine industrielle Anwendung, beispielsweise ein Produktionswerk, eine Industriehalle oder ein Logistikzentrum. Bei dem mobilen System handelt es sich beispielsweise um ein autonom fahrendes Fahrzeug. Das mobile System dient beispielsweise zum Transport von Gegenständen innerhalb der technischen Anlage. In der technischen Anlage befinden sich auch weitere Objekte. Das mobile System weist einen Sensor, insbesondere einen Laserscanner, zur Erfassung solcher Objekte und Entfernungen zu solchen Objekten auf.
Aus dem Dokument DE 102021 001 282 A1 sind ein mobiles System und ein Verfahren zum Betreiben des mobilen Systems in einer technischen Anlage bekannt. Das mobile System weist einen ersten Sensor, der als Laserscanner ausgebildet ist, und einen zweiten Sensor, der als monokulare Kamera ausgebildet ist, auf. Durch Verknüpfung der von den beiden Sensoren aufgenommenen Daten werden Objekte in der technischen Anlage erkannt.
Aus Bildern, die von einer Kamera aufgenommen werden, sind Objekte detektierbar. Für die Objektdetektion werden üblicherweise Bildpyramiden erstellt und verwendet. Eine Bildpyramide ist einem Objekt zugeordnet und weist mehrere Skalierungsstufen auf. Jede Skalierungsstufe umfasst ein Objektbild in einer anderen Größe. Jede Skalierungsstufe zeigt das Objekt in einer anderen Entfernung. Um das Objekt in einem Bild zu finden, müssen alle Skalierungsstufen der Pyramide verarbeitet werden, wobei jeweils ein Vergleich mit dem Objektbild der Skalierungsstufe durchgeführt wird. Der Vergleich mit der Vielzahl von Objektbildern ist rechenintensiv.
Aus dem Dokument von X. Zhao, P. Sun, Z. Xu, H. Min and H. Yu, "LIDAR and Camera Data for Object Detection in Autonomous Vehicle Applications" in IEEE Sensors Journal, vol. 20, no. 9, pp. 4901-4913, 1 May, 2020, doi: 10.1109/JSEN.2020.2966034 ist ein Verfahren zur Detektion von Objekten durch Fusion von 3D LDAR und Kameradaten bekannt. Dabei werden 3D LIDAR Daten genutzt um passende Object-Region-Proposals zu erzeugen, welche dann als Regions of Interest (ROI) einem Convolutional Neural Network (CNN) zur Objekterkennung zugeführt werden.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Detektion eines Objekts durch ein mobiles System weiterzubilden.
Die Aufgabe wird durch ein Verfahren zur Detektion eines Objekts durch ein mobiles System mit den in Anspruch 1 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der Unteransprüche.
Es wird ein Verfahren zur Detektion eines Objekts durch ein mobiles System, insbesondere in einer technischen Anlage, vorgeschlagen. Dabei weist das mobile System mindestens einen ersten Sensor, mindestens einen zweiten Sensor und mindestens eine Bildpyramide auf. Die mindestens eine Bildpyramide ist einem Objekt zugeordnet und enthält mehrere Skalierungsstufen, welche jeweils ein Objektbild umfassen. Mittels des ersten Sensors werden mehrere Punkte eines Gegenstands erfasst, und Entfernungen zu den erfassten Punkten werden ermittelt, und eine resultierende Entfernung zu den erfassten Punkten wird bestimmt. Mittels des zweiten Sensors wird ein Bild, welches den Gegenstand enthält, aufgenommen, und in dem aufgenommenen Bild wird ein Abbild des Gegenstandes erkannt. Aus der mindestens einen Bildpyramide wird mindestens eine Skalierungsstufe ausgewählt, welcher die resultierende Entfernung zugeordnet ist. Das Objektbild der mindestens einen ausgewählten Skalierungsstufe wird mit dem in dem aufgenommenen Bild erkannten Abbild verglichen. Bei Übereinstimmung des Objektbildes mit dem Abbild wird das Objekt in dem Bild detektiert.
Ein Objekt, welchem eine Bildpyramide zugeordnet ist, ist beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Um das Objekt in dem aufgenommenen Bild zu detektieren müssen bei Kenntnis der resultierenden Entfernung zu den erfassten Punkten des Gegenstands nicht alle Skalierungsstufen der Pyramide verarbeitet werden. Es ist ausreichend, lediglich das Objektbild einer einzigen Skalierungsstufe, welcher die resultierende Entfernung zugeordnet ist, mit dem in dem aufgenommenen Bild erkannten Abbild zu vergleichen. Gegebenenfalls ist es erforderlich, die Objektbilder einer geringen Anzahl von Skalierungsstufen, welchen die resultierende Entfernung zugeordnet ist, mit dem in dem aufgenommenen Bild erkannten Abbild zu vergleichen. Die Rechenintensität zum Vergleich des Abbilds mit Objektbildern ist dadurch vorteilhaft verringert. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist der erste Sensor als Laserscanner ausgebildet. Ein Laserscanner sendet einen Laserstrahl aus, detektiert einen reflektierten Laserstrahl und berechnet daraus eine Entfernung zu einem Punkt eines Gegenstandes, der den Laserstrahl reflektiert. Laserscanner sind in bekannten mobilen Systemen bereits vorhanden, es fallen somit keine zusätzlichen Kosten für die Installation des ersten Sensors an. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist der zweite Sensor als monokulare Kamera ausgebildet. Eine monokulare Kamera ist verhältnismäßig kostengünstig, robust und zuverlässig.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird die resultierende Entfernung zu den erfassten Punkten als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten bestimmt. Somit entspricht die resultierende Entfernung einem Abstand des ersten Sensors zu einer Stelle inmitten des Gegenstandes.
Gemäß einer anderen vorteilhaften Ausgestaltung der Erfindung wird die resultierende Entfernung zu den erfassten Punkten als die kleinste der ermittelten Entfernungen zu den erfassten Punkten bestimmt. Somit entspricht die resultierende Entfernung einem Abstand des ersten Sensors zu einer dem mobilen System zugewandten Seite des Gegenstandes.
Die Skalierungsstufen der mindestens einen Bildpyramide sind diskret und umfassen jeweils ein Objektbild bei genau einer resultierenden Entfernung. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist jeder Skalierungsstufe der mindestens einen Bildpyramide ein Bereich von resultierenden Entfernungen zugeordnet. Somit können auch resultierende Entfernungen, die zwischen zwei diskreten Skalierungsstufen liegen, verarbeitet werden.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung überlappen sich die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind. Dadurch sind geringe Fehler und Verzerrungen bei der Aufnahme des Bildes ausgleichbar.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung sind die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind, voneinander getrennt. Dadurch ist jede resultierende Entfernung genau einer Skalierungsstufe zugeordnet. Dadurch wird die Rechenintensität zum Vergleich des Abbilds mit Objektbildern weiter verringert. Gemäß einer vorteilhaften Weiterbildung der Erfindung weist das mobile System mehrere Bildpyramiden auf, welche jeweils einem Objekt zugeordnet sind. Dabei wird aus den erfassten Punkten des Gegenstandes und den Entfernungen zu den erfassten Punkten ein hypothetisches Objekt vorgeschlagen, und diejenige Bildpyramide wird ausgewählt, welche dem hypothetischen Objekt zugeordnet ist. Aus der ausgewählten Bildpyramide wird mindestens eine Skalierungsstufe ausgewählt, welcher die resultierende Entfernung zugeordnet ist.
Objekte, welchen jeweils eine Bildpyramide zugeordnet ist, sind beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Es ist somit möglich, verschiedenartige Objekte zu detektieren. Durch den Vorschlag des hypothetischen Objekts wird bereits eine Vorauswahl getroffen. Ein Vergleich mit allen Bildpyramiden ist daher nicht erforderlich. Dadurch wird die Rechenintensität zum Vergleich des Abbilds mit Objektbildern verringert.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist das mobile System als autonom fahrendes Fahrzeug ausgebildet, welches eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung aufweist. Die Antriebseinrichtung umfasst beispielsweise einen Elektromotor, ein Getriebe und Antriebsräder. Bei dem mobilen System handelt es sich insbesondere um ein fahrerloses Transportsystem zum Transport von Gegenständen innerhalb der technischen Anlage.
Gemäß einer vorteilhaften Weiterbildung der Erfindung weist das mobile System einen Positionssensor zur Erfassung einer Position des mobilen Systems insbesondere innerhalb der technischen Anlage auf. Bei dem besagten Sensor handelt es sich beispielsweis um einen GPS-Empfänger oder um ein SLAM-System. Die Erfassung der eigenen Position des mobilen Systems, insbesondere in der technischen Anlage, ermöglicht, eine lokale Karte zu erstellen, welche die Grundlage für das autonome Fahren des mobilen Systems bildet.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird eine lokale Karte erstellt, welche mindestens ein detektiertes Objekt aufweist. Die lokale Karte bildet die Grundlage für das autonome Fahren des mobilen Systems.
Die Erfindung ist nicht auf die Merkmalskombination der Ansprüche beschränkt. Für den Fachmann ergeben sich weitere sinnvolle Kombinationsmöglichkeiten von Ansprüchen und/oder einzelnen Anspruchsmerkmalen und/oder Merkmalen der Beschreibung und/oder der Figuren, insbesondere aus der Aufgabenstellung und/oder der sich durch Vergleich mit dem Stand der Technik stellenden Aufgabe.
Die Erfindung wird nun anhand von Abbildungen näher erläutert. Die Erfindung ist nicht auf die in den Abbildungen dargestellten Ausführungsbeispiele beschränkt. Die Abbildungen stellen den Gegenstand der Erfindung nur schematisch dar. Es zeigen:
Figur 1 : eine schematische Seitenansicht eines mobilen Systems und eines Gegenstandes in einer technischen Anlage,
Figur 2: eine schematische Draufsicht auf das mobile System und den Gegenstand in der technischen Anlage,
Figur 3: ein Bild mit einem Abbild des Gegenstandes,
Figur 4: erfasste Punkte des Gegenstandes und
Figur 5: eine Überlagerung des Abbildes mit den erfassten Punkten.
Figur 1 zeigt eine schematische Seitenansicht eines mobilen Systems 10 und eines Gegenstandes 11 in einer technischen Anlage. Bei dem Gegenstand 11 handelt es sich vorliegend um eine Palette. Die technische Anlage weist weitere, hier nicht dargestellte, Gegenstände 11 auf, beispielsweise weitere Paletten, Gabelstapler sowie Gitterboxen. Auch weist die technische Anlage weitere, hier nicht dargestellte, mobile Systeme 10 auf, die gleichartig ausgestaltet sind.
Das mobile System 10 ist als autonom fahrendes Fahrzeug ausgebildet und weist eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung auf. Das mobile System 10 weist ferner einen Positionssensor zur Erfassung einer Position des mobilen Systems 10 innerhalb der technischen Anlage auf. Das mobile System 10 weist auch eine Kommunikationsvorrichtung zur drahtlosen Kommunikation über ein Netzwerk auf.
Das mobile System 10 weist vorliegend zwei erste Sensoren 1 , welche als Laserscanner ausgebildet sind, auf. Jeder der ersten Sensoren 1 dient zur Erkennung von Gegenständen 11 sowie zur Erkennung von Entfernungen zu erkannten Gegenständen 11. Dabei erfasst der erste Sensor 1 mehrere Punkte P des Gegenstands 11 und ermittelt die Entfernungen zu den erfassten Punkten P. Das mobile System 10 weist vorliegend einen zweiten Sensor 2, welcher als monokulare Kamera ausgebildet ist, auf. Der zweite Sensor 2 dient zur Aufnahme von Bildern, auf welchen insbesondere Gegenstände 11 abgebildet sind.
Das mobile System 10 befindet sich auf einem ebenen Boden in der technischen Anlage. Die als Laserscanner ausgebildeten ersten Sensoren 1 sind derart an dem mobilen System 10 angeordnet, dass die Scanebenen der ersten Sensoren 1 parallel zu dem Boden ausgerichtet sind. Der als monokulare Kamera ausgebildete zweite Sensor 2 ist derart an dem mobilen System 10 angeordnet, dass die optische Achse des zweiten Sensors 2 parallel zu dem Boden ausgerichtet ist.
Figur 2 zeigt eine schematische Draufsicht auf das mobile System 10 und den Gegenstand 11 in der in Figur 1 dargestellten technischen Anlage. Das mobile System 10 weist einen annähernd rechteckförmigen Querschnitt auf. Die als Laserscanner ausgebildeten ersten Sensoren 1 sind an gegenüberliegenden Ecken des mobilen Systems 10 angeordnet. Der als monokulare Kamera ausgebildete zweite Sensor 2 ist an einer Frontseite des mobilen Systems 10 angeordnet.
Die geometrische Anordnung der ersten Sensoren 1 relativ zu dem zweiten Sensor 2 an dem mobilen System 10 ist mittels Kalibrierung erfassbar und somit bekannt. Die besagte geometrische Anordnung ist dabei konstant, wird also nicht dynamisch verändert. Durch Berücksichtigung der besagten geometrischen Anordnung ist eine Transformation von erfassten Punkten P und Entfernungen zu den erfassten Punkten P in ein aufgenommenes Bild eindeutig durchführbar.
Das mobile System 10 weist auch mehrere Bildpyramiden auf. Dabei ist jede Bildpyramide einem Objekt zugeordnet. Solche Objekte sind beispielsweise eine Palette, ein Gabelstapler oder eine Gitterbox. Jede Bildpyramide enthält mehrere Skalierungsstufen. Jede Skalierungsstufe umfasst ein Objektbild. Die Objektbilder der Skalierungsstufen weisen dabei verschiedene Größen auf. Jede Skalierungsstufe zeigt somit das Objekt in einer anderen Entfernung.
Nachfolgend wird das Verfahren zur Detektion eines Objekts durch das mobile System 10 in der technischen Anlage beschrieben. Mittels des zweiten Sensors 2 wird ein Bild aufgenommen, wobei das aufgenommene Bild den Gegenstand 11 enthält. In dem aufgenommenen Bild wird ein Abbild A des Gegenstandes 11 erkannt.
Figur 3 zeigt ein Bild mit dem Abbild A des in Figur 1 dargestellten Gegenstandes 11. Bei dem Gegenstand 11 handelt es sich vorliegend, wie bereits erwähnt, um eine Palette. Das Abbild A entspricht einer perspektivischen Darstellung des Gegenstands 11.
Mittels des ersten Sensors 1 werden mehrere Punkte P des Gegenstands 11 erfasst. Auch werden Entfernungen des mobilen Systems 10 zu den erfassten Punkten P ermittelt.
Figur 4 zeigt die erfassten Punkte P des in Figur 1 dargestellten Gegenstandes 11. Aus den Entfernungen des mobilen Systems 10 zu den erfassten Punkten P wird eine resultierende Entfernung des mobilen Systems 10 zu den erfassten Punkten P bestimmt.
Die resultierende Entfernung zu den erfassten Punkten P wird beispielsweise als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten P bestimmt. Alternativ wird die resultierende Entfernung zu den erfassten Punkten P als die kleinste der ermittelten Entfernungen zu den erfassten Punkten P bestimmt.
Die erfassten Punkten P sowie die ermittelten Entfernungen zu den erfassten Punkten P werden anschließend in das von dem zweiten Sensor aufgenommene Bild transformiert. Dabei werden die erfassten Punkte P dem Abbild A überlagert. Figur 5 zeigt eine Überlagerung des in Figur 3 dargestellten Abbildes A mit den in Figur 4 dargestellten erfassten Punkten P.
Aus den erfassten Punkten P des Gegenstandes 11 und den Entfernungen des mobilen Systems 10 zu den erfassten Punkten P wird ein hypothetisches Objekt vorgeschlagen. Anhand der Lage und der Ausrichtung der Punkte P wird vorliegend eine Palette als hypothetisches Objekt vorgeschlagen.
Aus den mehreren Bildpyramiden, die das mobile System 10 aufweist, wird nun diejenige Bildpyramide ausgewählt, welche dem hypothetischen Objekt, vorliegend also einer Palette, zugeordnet ist. Aus der ausgewählten Bildpyramide wird dann eine Skalierungsstufe ausgewählt, welcher die zuvor bestimmte resultierende Entfernung zugeordnet ist. Das Objektbild der ausgewählten Skalierungsstufe wird dann mit dem in dem aufgenommenen Bild erkannten Abbild A verglichen. Bei Übereinstimmung des Objektbildes mit dem Abbild A wird das Objekt, vorliegend die Palette, in dem Bild detektiert.
Bezugszeichenliste
I erster Sensor 2 zweiter Sensor
10 Mobiles System
I I Gegenstand
A Abbild
P Punkt

Claims

Patentansprüche:
1. Verfahren zur Detektion eines Objekts durch ein mobiles System (10), insbesondere in einer technischen Anlage, wobei das mobile System (10) mindestens einen ersten Sensor (1), mindestens einen zweiten Sensor (2) und mindestens eine Bildpyramide, welche einem Objekt zugeordnet ist, und welche mehrere Skalierungsstufen enthält, welche jeweils ein Objektbild umfassen, aufweist; wobei mittels des ersten Sensors (1) mehrere Punkte (P) eines Gegenstands (11) erfasst werden, und Entfernungen zu den erfassten Punkten (P) ermittelt werden, und eine resultierende Entfernung zu den erfassten Punkten (P) bestimmt wird; mittels des zweiten Sensors (2) ein Bild, welches den Gegenstand (11) enthält, aufgenommen wird, und in dem aufgenommenen Bild ein Abbild (A) des Gegenstandes (11) erkannt wird; aus der mindestens einen Bildpyramide mindestens eine Skalierungsstufe ausgewählt wird, welcher die resultierende Entfernung zugeordnet ist; das Objektbild der mindestens einen ausgewählten Skalierungsstufe mit dem in dem aufgenommenen Bild erkannten Abbild (A) verglichen wird; und bei Übereinstimmung des Objektbildes mit dem Abbild (A) das Objekt in dem Bild detektiert wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der erste Sensor (1) als Laserscanner ausgebildet ist, und/oder dass der zweite Sensor (2) als monokulare Kamera ausgebildet ist.
3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die resultierende Entfernung zu den erfassten Punkten (P) als arithmetisches Mittel der ermittelten Entfernungen zu den erfassten Punkten (P) bestimmt wird.
4. Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass die resultierende Entfernung zu den erfassten Punkten (P) als die kleinste der ermittelten Entfernungen zu den erfassten Punkten (P) bestimmt wird.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass jeder Skalierungsstufe der mindestens einen Bildpyramide ein Bereich von resultierenden Entfernungen zugeordnet ist.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind, sich überlappen.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Bereiche von resultierenden Entfernungen, welche benachbarten Skalierungsstufen zugeordnet sind, voneinander getrennt sind.
8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mobile System (10) mehrere Bildpyramiden aufweist, welche jeweils einem Objekt zugeordnet sind, wobei aus den erfassten Punkten (P) des Gegenstandes (11) und den Entfernungen zu den erfassten Punkten (P) ein hypothetisches Objekt vorgeschlagen wird; diejenige Bildpyramide ausgewählt wird, welche dem hypothetischen Objekt zugeordnet ist; aus der ausgewählten Bildpyramide mindestens eine Skalierungsstufe ausgewählt wird, welcher die resultierende Entfernung zugeordnet ist.
9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mobile System (10) als autonom fahrendes Fahrzeug ausgebildet ist, welches eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung aufweist.
10. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine lokale Karte erstellt wird, welche mindestens ein detektiertes Objekt aufweist.
EP23754704.7A 2022-09-13 2023-08-07 Verfahren zur detektion eines objekts durch ein mobiles system Pending EP4588022A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022003372 2022-09-13
PCT/EP2023/025369 WO2024056205A1 (de) 2022-09-13 2023-08-07 Verfahren zur detektion eines objekts durch ein mobiles system

Publications (1)

Publication Number Publication Date
EP4588022A1 true EP4588022A1 (de) 2025-07-23

Family

ID=87571777

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23754704.7A Pending EP4588022A1 (de) 2022-09-13 2023-08-07 Verfahren zur detektion eines objekts durch ein mobiles system

Country Status (3)

Country Link
EP (1) EP4588022A1 (de)
DE (1) DE102023003260A1 (de)
WO (1) WO2024056205A1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
JP2008172441A (ja) * 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP5690688B2 (ja) * 2011-09-15 2015-03-25 クラリオン株式会社 外界認識方法，装置，および車両システム
EP4128017A1 (de) 2020-04-01 2023-02-08 SEW-EURODRIVE GmbH & Co. KG Mobiles system und verfahren zum betreiben eines mobilen systems

Also Published As

Publication number Publication date
DE102023003260A1 (de) 2024-03-14
WO2024056205A1 (de) 2024-03-21

Similar Documents

Publication Publication Date Title
EP3497476B1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
EP1554606A1 (de) Verfahren zur erkennung und verfolgung von objekten
EP2767925A2 (de) Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
EP2439487A1 (de) Volumenmessvorrichtung für bewegte Objekte
EP1419402B1 (de) Verfahren zur erkennung und verfolgung von objekten
WO2021197785A1 (de) Mobiles system und verfahren zum betreiben eines mobilen systems
EP4153943A1 (de) Verfahren zum ermitteln einer ausgangspose eines fahrzeugs
WO2024056205A1 (de) Verfahren zur detektion eines objekts durch ein mobiles system
WO2023180202A1 (de) Verfahren zum bestimmen einer lage eines objekts relativ zu einer erfassungseinrichtung, computerprogramm und datenträger
WO2023151856A1 (de) Überwachungsvorrichtung für einen lagerbereich, intralogistikanordnung mit der überwachungsvorrichtung sowie überwachungsverfahren
EP3770804B1 (de) Flurförderzeug mit einer objekterkennung
EP4702312A1 (de) Verfahren zum betrieb einer technischen anlage und technische anlage
DE102024129075A1 (de) Verfahren zum Betreiben einer technischen Anlage und technische Anlage
DE102020211596A1 (de) Verfahren zum Generieren eines trainierten neuronalen Faltungs-Netzwerks mit invarianter Integrationsschicht zum Klassifizieren von Objekten
DE102024103428B3 (de) Verfahren zum Betreiben einer technischen Anlage und technische Anlage
DE102019219247A1 (de) Verfahren zur Umfelderfassung, Datenverarbeitungseinheit
WO2020160861A1 (de) Kalibrierung eines sensors für ein fahrzeug basierend auf objektseitigen und bildseitigen identifikationsindizes eines referenzobjektes
DE102024122135A1 (de) Verfahren zum Betrieb einer technischen Anlage
DE102019210129A1 (de) Verfahren zum Überprüfen einer Kalibrierung mehrerer Sensoren und Kraftfahrzeug mit mehreren Sensoren
WO2025016743A1 (de) Verfahren zum betrieb eines autonomen fahrzeugs in einer umgebung und autonomes fahrzeug
DE102024111578A1 (de) Verfahren zum Betrieb einer technischen Anlage und technische Anlage
EP4578815A1 (de) Vorrichtung, verfahren und system zum betreiben eines flurförderzeugs in einem warenlager
DE102024116933A1 (de) Vorrichtung, Verfahren und System zum Betreiben eines Flurförderzeugs in einem Warenlager
EP4249957A1 (de) Kalibrierung eines kombinierten sensorsystems für ein fahrzeug
EP4202484A1 (de) Verfahren zum bestimmen einer relativen anbauposition einer ersten sensoreinheit in bezug auf eine zweite sensoreinheit an einem flurförderzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250414

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS