EP4128017A1 - Mobiles system und verfahren zum betreiben eines mobilen systems - Google Patents

Mobiles system und verfahren zum betreiben eines mobilen systems

Info

Publication number
EP4128017A1
EP4128017A1 EP21711846.2A EP21711846A EP4128017A1 EP 4128017 A1 EP4128017 A1 EP 4128017A1 EP 21711846 A EP21711846 A EP 21711846A EP 4128017 A1 EP4128017 A1 EP 4128017A1
Authority
EP
European Patent Office
Prior art keywords
real object
sensor
mobile system
real
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21711846.2A
Other languages
English (en)
French (fr)
Inventor
Maja Sliskovic
Jens Kesselring
Quamrul Hasan Mallik
Ruben KLEIS
Lukas BENZ
Patrick Betz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SEW Eurodrive GmbH and Co KG
Original Assignee
SEW Eurodrive GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SEW Eurodrive GmbH and Co KG filed Critical SEW Eurodrive GmbH and Co KG
Publication of EP4128017A1 publication Critical patent/EP4128017A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a mobile system for operation, in particular in a technical installation, which comprises a first sensor for detecting a distance to a real object.
  • the invention also relates to a method for operating a mobile system according to the invention, in particular in a technical installation.
  • the technical system is in particular an industrial application, for example a production plant, an industrial hall or a logistics center.
  • the mobile system of the technical installation is, for example, an autonomously driving vehicle.
  • the mobile system is used, for example, to transport objects within the technical system. There are also other objects in the technical system.
  • the mobile system has a sensor for detecting such objects and distances to such objects.
  • the document DE 102019001 253 A1 discloses a method for operating a technical installation which has at least one mobile system that can be moved on a traffic area of the technical installation.
  • the mobile system detects objects in the technical system with the help of appropriate sensors.
  • the positions of the objects detected in this way are compared with assumed positions of objects according to a map of the technical installation.
  • the document US 2011/0218670 A1 describes a method for object recognition by means of a laser scanner and a camera.
  • the document US 9,102,055 B1 describes a method and a system for recognizing an environment.
  • the document US 9,938,092 B2 describes a device for unloading containers which has a camera.
  • the document US 2019/0213438 A1 describes a mobile cleaning robot, which a Has camera.
  • Document DE 102018205964 A1 describes a method and a control device for navigating an autonomous vehicle using a camera.
  • the invention is based on the object of developing a mobile system and a method for operating a mobile system, in particular in a technical installation.
  • the object is achieved by a mobile system with the features specified in claim 1.
  • Advantageous refinements and developments are the subject of the subclaims.
  • the object is also achieved by a method for operating a mobile system with the features specified in claim 6.
  • Advantageous refinements and developments are the subject of the subclaims.
  • the mobile system has a second sensor for taking an image, and the mobile system has a recognition unit for recognizing a real object in an image taken by the second sensor, and the mobile system has a classification unit for classifying an object type of one of the recognition unit recognized real object, and the mobile system has a linking unit for generating a virtual object by linking an object type classified by the classification unit with a distance detected by the first sensor.
  • the generated virtual object includes information about the object type, the position and the orientation of the real object and geometric properties of the real object.
  • the interaction of the two different sensors significantly improves the classification and localization of real objects. For example, it is possible to distinguish whether a supposed object is just an image or a real object. Linking the data reduces the errors in the classification of the object recognition.
  • the object type of the real objects in the environment of a mobile system provides information that is important for further software parts in the mobile system, for example for planning a route.
  • the first sensor is designed as a laser scanner.
  • a laser scanner sends out a laser beam and detects a reflected one Laser beam and uses this to calculate a distance to a real object that reflects the laser beam.
  • a laser scanner serves the mobile system in particular to recognize real objects such as obstacles in the technical system and to record a distance to a recognized real object.
  • a laser scanner is already available in known mobile systems, so there are no additional costs for installing the first sensor.
  • the second sensor is designed as a monocular camera.
  • a monocular camera is relatively inexpensive, robust and reliable.
  • Further sensors, for example in the form of a radar sensor, can also be replaced, but are not required.
  • the first sensor is designed as a 3D camera.
  • a 3D camera calculates a distance to a real object that is recognized by the 3D camera.
  • a 3D camera serves the mobile system in particular to recognize real objects such as obstacles in the technical system and to record a distance to a recognized real object.
  • the classification unit comprises a neural network.
  • the classification unit is specifically designed for the classification of real objects in an industrial environment and is specially trained for the classification of such objects.
  • Real objects in an industrial environment are, for example, forklifts, lattice boxes, people and other mobile transport systems.
  • the mobile system is designed as an autonomously driving vehicle which has a drive device, an electrical energy store for supplying the drive device and a control unit for controlling the drive device.
  • the drive device includes, for example, an electric motor, a transmission and drive wheels.
  • the mobile system is, in particular, a driverless transport system for transporting objects within the technical system.
  • the mobile system has a position sensor for detecting a position of the mobile system, in particular within the technical installation.
  • Said sensor is, for example, one GPS receiver or a SLAM system.
  • a distance to a real object is detected by means of the first sensor, and an image is recorded by means of the second sensor, and a real object is detected in the by means of the detection unit recorded image is recognized, and by means of the classification unit an object type of the recognized real object is classified, and by means of the linking unit, a virtual object is generated by linking the classified object type with the detected distance.
  • the method according to the invention allows not only to recognize the visible geometry of a real object, but also to infer the actual complete geometry of the real object via the object recognition.
  • the method according to the invention significantly improves the classification and localization of real objects through the interaction of the two different sensors. For example, it is possible to distinguish whether a supposed object is just an image or a real object. Linking the data reduces errors in the classification of the object recognition.
  • the object type of the real objects in the environment of a mobile system provides information that is important for further software parts in the mobile system, for example for planning a route.
  • an image is recorded by means of the second sensor in a first step.
  • a real object is recognized in the recorded image by means of the recognition unit.
  • an angular range is determined within the recorded image in which the recognized real object is located.
  • an object type of the recognized real object is classified by means of the classification unit.
  • a distance to the real object located in the determined angular range is recorded by means of the first sensor.
  • the virtual object is generated by means of the linking unit. After an image of the real object has been recorded by the second sensor, the distance to this real object is recorded by the first sensor, and the virtual object is generated from this information.
  • visible edges of the real object located in the determined angular range are segmented in the fifth step, and the segmented visible edges are compared with geometric properties of the classified object type in the sixth step.
  • the visible geometry of a real object which is detected by a first sensor designed as a laser scanner, usually consists only of edges. Edges are also present in the image recorded by the second sensor. The visible edges detected by the first sensor can be assigned to the edges present in the recorded image. The information about the object type allows conclusions to be drawn about the geometric properties of the real object.
  • a distance to a real object is recorded in a first step by means of the first sensor.
  • an angular range is determined in which the detected real object is located.
  • the second sensor records an image that extends at least over the determined angular range.
  • the recognition unit recognizes a real object in the determined angular range within the recorded image.
  • an object type of the recognized real object is classified by means of the classification unit.
  • the virtual object is generated by means of the linking unit. After a real object and the distance to this object have been detected by the first sensor, an image of this real object is recorded by the second sensor, and the virtual object is generated from this information.
  • visible edges of the real object located in the determined angular range are segmented in the second step, and the segmented visible edges are compared with geometric properties of the classified object type in the sixth step.
  • the visible geometry of a real object which is detected by a first sensor designed as a laser scanner, usually consists only of edges. Edges are also present in the image recorded by the second sensor. The visible edges detected by the first sensor can be assigned to the edges present in the recorded image. The information about the object type allows conclusions to be drawn about the geometric properties of the real object.
  • said steps are repeated at defined time intervals until the virtual object is generated. Changes in the recorded distance to the real object are registered, and changes in the Angular range in which the real object is located are registered. A movement of the virtual object is recognized from the registered changes. By detecting a movement, it is possible, in particular, to distinguish between static real objects and dynamic real objects. Furthermore, the precise determination of a pose of the real object is made possible.
  • a speed of the virtual object is preferably calculated from the registered changes.
  • the speed of the virtual object corresponds to a speed of the real object.
  • a direction of movement of the virtual object is preferably calculated from the registered changes.
  • the direction of movement of the virtual object corresponds to a direction of movement of the real object.
  • a local map which has at least one generated virtual object.
  • the local map forms the basis for the autonomous driving of the mobile system.
  • a calculated speed of the at least one virtual object and / or a calculated direction of movement of the at least one virtual object is preferably entered in the local map.
  • a reaction of the mobile system is triggered as a function of the distance to the real object and / or as a function of the object type of the real object. If, for example, a person is recognized at a relatively short distance, the mobile system is immediately braked. If, for example, a lattice box is detected at a relatively great distance, a steering movement is initiated to drive around the lattice box, possibly at a reduced speed.
  • Figure 1 a schematic representation of a mobile system in a technical installation
  • FIG. 1 shows a schematic representation of a mobile system 10 in a technical installation.
  • the mobile system 10 is designed as an autonomously driving vehicle and has a drive device, an electrical energy store for supplying the drive device and a control unit for controlling the drive device.
  • the mobile system 10 also has a position sensor for detecting a position of the mobile system 10 within the technical installation.
  • the technical system has further mobile systems 10, not shown here, which are designed in the same way.
  • the mobile system 10 comprises a first sensor 1, which is designed as a laser scanner, and a second sensor 2, which is designed as a monocular camera.
  • the first sensor 1 is used to detect real objects 11, 12, 13 and to detect a distance to a real object 11, 12, 13.
  • the second sensor 2 is used to record images on which, in particular, real objects 11, 12, 13 are shown.
  • the mobile system 10 has a recognition unit for recognizing a real object 11,
  • the mobile system 10 also has a classification unit for classifying an object type of a real object 11, 12, 13 recognized by the recognition unit.
  • the classification unit comprises a neural network.
  • the mobile system 10 also has a linking unit for generating a virtual object.
  • a virtual object is generated by linking an object type of a real object 11, 12, 13 classified by the classification unit with a distance to the real object 11, 12, 13 detected by the first sensor 1.
  • the recognition unit, the classification unit and the linking unit are parts of a processing unit 25.
  • a first real object 11, a second real object 12 and a third real object are present in the technical installation in a visual area 20 of the mobile system 10 Object 13.
  • the first real object 11 is a forklift in the present case.
  • the second real object 12 is a person.
  • the third real object 13 is a mobile transport system.
  • the first sensor 1 detects and segments a visible edge 31 of the first real object 11 and a distance to the first real object 11 in a specific angular range.
  • the position of the first real object 11 is determined from the own position of the mobile system 10 detected by means of the position sensor, the detected distance and the angular range.
  • the second sensor 2 records an image that extends beyond the specific angular range.
  • the recognition unit recognizes the first real object 11 in the recorded image.
  • the classification unit classifies an object type of the recognized first real object 11.
  • the object type includes further information, for example geometric properties, and in particular a floor plan 35.
  • the object type of the first real object 11 is a forklift truck.
  • the floor plan 35 of this type of object is a rectangle in the present case.
  • the segmented visible edge 31 of the first real object 11 is compared with geometric properties of the classified object type, in particular with edges that are present in the image recorded by the second sensor 2.
  • the visible edge 31 detected by the first sensor 1 can be assigned to an edge present in the recorded image.
  • the information about the object type allows conclusions to be drawn about geometric properties of the first real object 11, in particular about the floor plan 35.
  • the linking unit then generates a virtual object by linking the classified object type of the first real object 11, in this case a forklift truck, with the detected distance to the first real object 11.
  • the generated virtual object thus includes information about the object type, the position and the orientation of the first real object 11 and geometric properties, in particular the floor plan 35, of the first real object 11.
  • the first sensor 1 likewise detects and segments a visible edge 31 of the second real object 12 and a distance to the second real object 12 in a specific angular range. From the mobile's own position detected by means of the position sensor System 10, the detected distance and the angular range, the position of the second real object 12 is determined.
  • the second sensor 2 records an image that extends beyond the specific angle range.
  • the recognition unit recognizes the second real object 12 in the recorded image, and the classification unit classifies an object type of the recognized second real object 12.
  • the object type of the second real object 12 is a person.
  • the floor plan 35 of this type of object is in the present case a circle or an oval.
  • the segmented visible edge 31 of the second real object 12 is compared with geometric properties of the classified object type, in particular with edges that are present in the image recorded by the second sensor 2.
  • the linking unit then generates a virtual object by linking the classified object type of the second real object 12, in the present case a person, with the detected distance to the second real object 12.
  • the generated virtual object thus includes information about the object type, the position and the orientation of the second real object 12 and geometric properties, in particular the floor plan 35, of the second real object 12.
  • the first sensor 1 also detects and segments two visible edges 31 of the third real object 13 and a distance to the third real object 13 in a specific angular range.
  • the position of the third real object 13 is determined from the own position of the mobile system 10 detected by means of the position sensor, the detected distance and the angular range.
  • the second sensor 2 records an image that extends beyond the specific angle range.
  • the recognition unit recognizes the third real object 13 in the recorded image, and the classification unit classifies an object type of the recognized third real object 13.
  • the object type of the third real object 13 is a mobile transport system.
  • the floor plan 35 of this type of object is a rectangle in the present case.
  • the segmented visible edge 31 of the third real object 13 is compared with geometric properties of the classified object type, in particular with edges that are present in the image recorded by the second sensor 2.
  • the linking unit then generates a virtual object by linking the classified object type of the third real object 13, in the present case a rectangle, with the detected distance to the third real object 13.
  • the generated virtual object thus includes information about the object type, the position and the orientation of the third real object 13 and geometric properties, in particular the floor plan 35, of the third real object 13.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein mobiles System (10) zum Betrieb insbesondere in einer technischen Anlage, umfassend einen ersten Sensor (1) zur Erfassung einer Entfernung zu einem realen Objekt (11, 12, 13), wobei das mobile System (10) einen zweiten Sensor (2) zur Aufnahme eines Bildes aufweist, und das mobile System (10) eine Erkennungseinheit zur Erkennung eines realen Objekts (11, 12, 13) in einem von dem zweiten Sensor (2) aufgenommenen Bild aufweist, und das mobile System (10) eine Klassifizierungseinheit zur Klassifizierung eines Objekttyps eines von der Erkennungseinheit erkannten realen Objekts (11, 12, 13) aufweist, und das mobile System (10) eine Verknüpfungseinheit zur Erzeugung eines virtuellen Objekts durch Verknüpfung eines von der Klassifizierungseinheit klassifizierten Objekttyps mit einer von dem ersten Sensor (1) erfassten Entfernung aufweist. Die Erfindung betrifft auch ein Verfahren zum Betreiben eines erfindungsgemäßen mobilen Systems (10), insbesondere in einer technischen Anlage, wobei mittels des ersten Sensors (1) eine Entfernung zu einem realen Objekt (11, 12, 13) erfasst wird, und mittels des zweiten Sensors (2) ein Bild aufgenommen wird, und mittels der Erkennungseinheit ein reales Objekt (11, 12, 13) in dem aufgenommenen Bild erkannt wird, und mittels der Klassifizierungseinheit ein Objekttyp des erkannten realen Objekts (11, 12, 13) klassifiziert wird, und mittels der Verknüpfungseinheit durch eine Verknüpfung des klassifizierten Objekttyps mit der erfassten Entfernung ein virtuelles Objekt erzeugt wird.

Description

Mobiles System und Verfahren zum Betreiben eines mobilen Systems
Beschreibung:
Die Erfindung betrifft ein mobiles System zum Betrieb insbesondere in einer technischen Anlage, welches einen ersten Sensor zur Erfassung einer Entfernung zu einem realen Objekt umfasst. Die Erfindung betrifft auch ein Verfahren zum Betreiben eines erfindungsgemäßen mobilen Systems, insbesondere in einer technischen Anlage.
Bei der technischen Anlage handelt es sich insbesondere um eine industrielle Anwendung, beispielsweise ein Produktionswerk, eine Industriehalle oder ein Logistikzentrum. Bei dem mobilen System der technischen Anlage handelt es sich beispielsweise um ein autonom fahrendes Fahrzeug. Das mobile System dient beispielsweise zum Transport von Gegenständen innerhalb der technischen Anlage. In der technischen Anlage befinden sich auch weitere Objekte. Das mobile System weist einen Sensor zur Erfassung solcher Objekte und Entfernungen zu solchen Objekten auf.
Aus dem Dokument DE 102019001 253 A1 ist Verfahren zum Betreiben einer technischen Anlage bekannt, welche mindestens ein mobiles System aufweist, das auf einer Verkehrsfläche der technischen Anlage verfahrbar ist. Das mobile System erfasst mit Hilfe von entsprechenden Sensoren Objekte in der technischen Anlage. Die Positionen der so erfassten Objekte werden dabei mit vermuteten Positionen von Objekten gemäß einer Karte der technischen Anlage verglichen.
Weitere Verfahren zum Betreiben von technischen Anlagen mit mobilen Systemen, wobei Karten oder Landkarten von der technischen Anlage erstellt werden, sind untern anderem aus den Dokumenten DE 102018002 378 A1, DE 102018009 114 A1, DE 102019 000903 A1 bekannt.
Das Dokument US 2011/0218670 A1 beschreibt ein Verfahren zur Objekterkennung mittels eines Laserscanners und einer Kamera. Das Dokument US 9,102,055 B1 beschreibt ein Verfahren und ein System zur Erkennung einer Umgebung. Das Dokument US 9,938,092 B2 beschreibt eine Vorrichtung zum Entladen von Containern, welches eine Kamera aufweist. Das Dokument US 2019/0213438 A1 beschreibt einen mobilen Reinigungsroboter, welcher eine Kamera aufweist. Das Dokument DE 102018205964 A1 beschreibt ein Verfahren und ein Steuergerät zum Navigieren eines autonomen Fahrzeugs mittels einer Kamera.
Der Erfindung liegt die Aufgabe zugrunde, ein mobiles System sowie ein Verfahren zum Betreiben eines mobilen Systems, insbesondere in einer technischen Anlage, weiterzubilden.
Die Aufgabe wird durch ein mobiles System mit den in Anspruch 1 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der Unteransprüche. Die Aufgabe wird auch durch ein Verfahren zum Betreiben eines mobilen Systems mit den in Anspruch 6 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der Unteransprüche.
Ein erfindungsgemäßes mobiles System zum Betrieb insbesondere in einer technischen Anlage umfasst einen ersten Sensor zur Erfassung einer Entfernung zu einem realen Objekt. Das mobile System weist einen zweiten Sensor zur Aufnahme eines Bildes auf, und das mobile System weist eine Erkennungseinheit zur Erkennung eines realen Objekts in einem von dem zweiten Sensor aufgenommenen Bild auf, und das mobile System weist eine Klassifizierungseinheit zur Klassifizierung eines Objekttyps eines von der Erkennungseinheit erkannten realen Objekts auf, und das mobile System weist eine Verknüpfungseinheit zur Erzeugung eines virtuellen Objekts durch Verknüpfung eines von der Klassifizierungseinheit klassifizierten Objekttyps mit einer von dem ersten Sensor erfassten Entfernung auf. Das erzeugte virtuelle Objekt umfasst dabei Informationen über den Objekttyp, die Position sowie die Ausrichtung des realen Objekts und geometrische Eigenschaften des realen Objekts.
Bei einem erfindungsgemäßen mobilen System sind durch das Zusammenwirken der zwei unterschiedlichen Sensoren die Klassifizierung und die Lokalisierung von realen Objekten signifikant verbessert. Beispielsweise ist unterscheidbar, ob es sich bei einem vermeintlichen Objekt lediglich um ein Bild oder um ein reales Objekt handelt. Die Verknüpfung der Daten verringert die Fehler in der Klassifizierung der Objekterkennung. Der Objekttyp der realen Objekte im Umfeld eines mobilen Systems bietet einen Informationsgewinn, der für weitere Softwareteile in dem mobilen System, beispielsweise für die Planung einer Fahrtroute, von Bedeutung ist.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist der erste Sensor als Laserscanner ausgebildet. Ein Laserscanner sendet einen Laserstrahl aus, detektiert einen reflektierten Laserstrahl und berechnet daraus eine Entfernung zu einem realen Objekt, das den Laserstrahl reflektiert. Ein Laserscanner dient dem mobilen System insbesondere dazu, reale Objekt wie beispielsweise Hindernisse in der technischen Anlage zu erkennen und eine Entfernung zu einem erkannten realen Objekt zu erfassen. Ein Laserscanner ist in bekannten mobilen Systemen bereits vorhanden, es fallen somit keine zusätzlichen Kosten für die Installation des ersten Sensors an.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist der zweite Sensor als monokulare Kamera ausgebildet. Eine monokulare Kamera ist verhältnismäßig kostengünstig, robust und zuverlässig. Weitere Sensoren, beispielsweise in Form eines Radarsensors sind ebenfalls ersetzbar, aber nicht erforderlich.
Gemäß einerweiteren vorteilhaften Ausgestaltung der Erfindung ist der erste Sensor als 3D- Kamera ausgebildet. Eine 3D-Kamera berechnet eine Entfernung zu einem realen Objekt, das von der 3D-Kamera erkannt wird. Eine 3D-Kamera dient dem mobilen System insbesondere dazu, reale Objekt wie beispielsweise Hindernisse in der technischen Anlage zu erkennen und eine Entfernung zu einem erkannten realen Objekt zu erfassen.
Gemäß einer vorteilhaften Weiterbildung der Erfindung umfasst die Klassifizierungseinheit ein neuronales Netzwerk. Die Klassifizierungseinheit ist dabei speziell auf die Klassifizierung von realen Objekten in einer industriellen Umgebung ausgelegt und wird speziell auf die Klassifizierung solcher Objekte trainiert. Reale Objekte in einer industriellen Umgebung sind beispielsweise Gabelstapler, Gitterboxen, Personen sowie andere mobile Transportsysteme.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist das mobile System als autonom fahrendes Fahrzeug ausgebildet, welches eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung aufweist. Die Antriebseinrichtung umfasst beispielsweise einen Elektromotor, ein Getriebe und Antriebsräder. Bei dem mobilen System handelt es sich insbesondere um ein fahrerloses Transportsystem zum Transport von Gegenständen innerhalb der technischen Anlage.
Gemäß einer vorteilhaften Weiterbildung der Erfindung weist das mobile System einen Positionssensor zur Erfassung einer Position des mobilen Systems insbesondere innerhalb der technischen Anlage auf. Bei dem besagten Sensor handelt es sich beispielsweis um einen GPS-Empfänger oder um ein SLAM-Syste . Die Erfassung der eigenen Position des mobilen Systems, insbesondere in der technischen Anlage, ermöglicht, eine lokale Karte zu erstellen, welche die Grundlage für das autonome Fahren des mobilen Systems bildet.
Gemäß einem erfindungsgemäßen Verfahren zum Betreiben eines erfindungsgemäßen mobilen Systems, insbesondere in einer technischen Anlage, wird mittels des ersten Sensors eine Entfernung zu einem realen Objekt erfasst, und mittels des zweiten Sensors wird ein Bild aufgenommen, und mittels der Erkennungseinheit wird ein reales Objekt in dem aufgenommenen Bild erkannt, und mittels der Klassifizierungseinheit wird ein Objekttyp des erkannten realen Objekts klassifiziert, und mittels der Verknüpfungseinheit wird durch eine Verknüpfung des klassifizierten Objekttyps mit der erfassten Entfernung ein virtuelles Objekt erzeugt.
Das erfindungsgemäße Verfahren gestattet, nicht nur die sichtbare Geometrie eines realen Objekts zu erkennen, sondern über die Objekterkennung auf die tatsächliche vollständige Geometrie des realen Objekts zu schließen. Durch das erfindungsgemäße Verfahren werden durch das Zusammenwirken der zwei unterschiedlichen Sensoren die Klassifizierung und die Lokalisierung von realen Objekten signifikant verbessert. Beispielsweise ist unterscheidbar, ob es sich bei einem vermeintlichen Objekt lediglich um ein Bild oder um ein reales Objekt handelt. Durch die Verknüpfung der Daten werden Fehler in der Klassifizierung der Objekterkennung verringert. Der Objekttyp der realen Objekte im Umfeld eines mobilen Systems bietet einen Informationsgewinn, der für weitere Softwareteile in dem mobilen System, beispielsweise für die Planung einer Fahrtroute, von Bedeutung ist.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird in einem ersten Schritt mittels des zweiten Sensors ein Bild aufgenommen. In einem zweiten Schritt wird mittels der Erkennungseinheit ein reales Objekt in dem aufgenommenen Bild erkannt. In einem dritten Schritt wird ein Winkelbereich innerhalb des aufgenommenen Bildes ermittelt, in welchem sich das erkannte reale Objekt befindet. In einem vierten Schritt wird mittels der Klassifizierungseinheit ein Objekttyp des erkannten realen Objekts klassifiziert. In einem fünften Schritt wird mittels des ersten Sensors eine Entfernung zu dem in dem ermittelten Winkelbereich befindlichen realen Objekt erfasst. In einem sechsten Schritt wird mittels der Verknüpfungseinheit das virtuelle Objekt erzeugt. Nachdem also von dem zweiten Sensor ein Bild des realen Objekts aufgenommen wurde, wird von dem ersten Sensor die Entfernung zu diesem realen Objekt erfasst, und aus diesen Informationen wird das virtuelle Objekt erzeugt. Gemäß einer vorteilhaften Weiterbildung werden dabei in dem fünften Schritt sichtbare Kanten des in dem ermittelten Winkelbereich befindlichen realen Objekts segmentiert, und in dem sechsten Schritt werden die segmentierten sichtbaren Kanten mit geometrischen Eigenschaften des klassifizierten Objekttyps abgeglichen. Die sichtbare Geometrie eines realen Objekts, das von einem als Laserscanner ausgebildeten ersten Sensor erfasst wird, besteht in der Regel lediglich aus Kanten. Kanten sind auch in dem von dem zweiten Sensor aufgenommenen Bild vorhanden. Die von dem ersten Sensor erfassten sichtbaren Kanten sind dabei den in dem aufgenommenen Bild vorhandenen Kanten zuordenbar. Durch die Information über den Objekttyp lässt sich auf geometrische Eigenschaften des realen Objekts schließen.
Gemäß einer anderen vorteilhaften Ausgestaltung der Erfindung wird in einem ersten Schritt mittels des ersten Sensors eine Entfernung zu einem realen Objekt erfasst. In einem zweiten Schritt wird ein Winkelbereich ermittelt, in welchem sich das erfasste reale Objekt befindet. In einem dritten Schritt wird mittels des zweiten Sensors ein Bild aufgenommen, das sich mindestens über den ermittelten Winkelbereich erstreckt. In einem vierten Schritt wird mittels der Erkennungseinheit ein reales Objekt in dem ermittelten Winkelbereich innerhalb des aufgenommenen Bildes erkannt. In einem fünften Schritt wird mittels der Klassifizierungseinheit ein Objekttyp des erkannten realen Objekts klassifiziert. In einem sechsten Schritt wird mittels der Verknüpfungseinheit das virtuelle Objekt erzeugt. Nachdem also von dem ersten Sensor ein reales Objekt und die Entfernung zu diesem Objekt erfasst wurden, wird von dem zweiten Sensor ein Bild dieses realen Objekts aufgenommen, und aus diesen Informationen wird das virtuelle Objekt erzeugt.
Gemäß einer vorteilhaften Weiterbildung werden dabei in dem zweiten Schritt sichtbare Kanten des in dem ermittelten Winkelbereich befindlichen realen Objekts segmentiert, und in dem sechsten Schritt werden die segmentierten sichtbaren Kanten mit geometrischen Eigenschaften des klassifizierten Objekttyps abgeglichen. Die sichtbare Geometrie eines realen Objekts, das von einem als Laserscanner ausgebildeten ersten Sensor erfasst wird, besteht in der Regel lediglich aus Kanten. Kanten sind auch in dem von dem zweiten Sensor aufgenommenen Bild vorhanden. Die von dem ersten Sensor erfassten sichtbaren Kanten sind dabei den in dem aufgenommenen Bild vorhandenen Kanten zuordenbar. Durch die Information über den Objekttyp lässt sich auf geometrische Eigenschaften des realen Objekts schließen.
Gemäß einer bevorzugten Weiterbildung der Erfindung werden die besagten Schritte bis zur Erzeugung des virtuellen Objekts in definierten Zeitabständen wiederholt. Dabei werden Änderungen der erfassten Entfernung zu dem realen Objekt registriert, und Änderungen des Winkelbereichs, in welchem sich das reale Objekt befindet, werden registriert. Aus den registrierten Änderungen wird eine Bewegung des virtuellen Objekts erkannt. Durch die Erkennung einer Bewegung ist insbesondere eine Unterscheidung zwischen statischen realen Objekten und dynamischen realen Objekten möglich. Ferner ist die genaue Bestimmung einer Pose des realen Objekts ermöglicht.
Vorzugsweise wird aus den registrierten Änderungen eine Geschwindigkeit des virtuellen Objekts berechnet. Die Geschwindigkeit des virtuellen Objekts entspricht dabei einer Geschwindigkeit des realen Objekts.
Vorzugsweise wird aus den registrierten Änderungen eine Bewegungsrichtung des virtuellen Objekts berechnet. Die Bewegungsrichtung des virtuellen Objekts entspricht dabei einer Bewegungsrichtung des realen Objekts.
Gemäß einer vorteilhaften Weiterbildung wird eine lokale Karte erstellt, welche mindestens ein erzeugtes virtuelles Objekt aufweist. Die lokale Karte bildet die Grundlage für das autonome Fahren des mobilen Systems.
Vorzugsweise wird in die Lokale Karte eine berechnete Geschwindigkeit des mindestens einen virtuellen Objekts und/oder eine berechnete Bewegungsrichtung des mindestens einen virtuellen Objekts eingetragen.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird in Abhängigkeit von der Entfernung zu dem realen Objekt und/oder in Abhängigkeit von dem Objekttyp des realen Objekts eine Reaktion des mobilen Systems ausgelöst. Wenn beispielsweise eine Person in verhältnismäßig geringer Entfernung erkannt wird, so wird eine sofortige Bremsung des mobilen Systems veranlasst. Wenn beispielsweise eine Gitterbox in verhältnismäßig großer Entfernung erkannt wird, so wird eine Lenkbewegung zum Umfahren der Gitterbox, eventuell mit verringerter Geschwindigkeit, veranlasst.
Die Erfindung ist nicht auf die Merkmalskombination der Ansprüche beschränkt. Für den Fachmann ergeben sich weitere sinnvolle Kombinationsmöglichkeiten von Ansprüchen und/oder einzelnen Anspruchsmerkmalen und/oder Merkmalen der Beschreibung und/oder der Figuren, insbesondere aus der Aufgabenstellung und/oder der sich durch Vergleich mit dem Stand der Technik stellenden Aufgabe. Die Erfindung wird nun anhand von Abbildungen näher erläutert. Die Erfindung ist nicht auf die in den Abbildungen dargestellten Ausführungsbeispiele beschränkt. Die Abbildungen stellen den Gegenstand der Erfindung nur schematisch dar. Es zeigen:
Figur 1: eine schematische Darstellung eines mobilen Systems in einer technischen Anlage
Figur 1 zeigt eine schematische Darstellung eines mobilen Systems 10 in einer technischen Anlage. Das mobile System 10 ist als autonom fahrendes Fahrzeug ausgebildet und weist eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung auf. Das mobile System 10 weist ferner einen Positionssensor zur Erfassung einer Position des mobilen Systems 10 innerhalb der technischen Anlage auf. Die technische Anlage weist weitere, hier nicht dargestellte mobile Systeme 10 auf, die gleichartig ausgestaltet sind.
Das mobile System 10 umfasst einen ersten Sensor 1, der als Laserscanner ausgebildet ist, und einen zweiten Sensor 2, der als monokulare Kamera ausgebildet ist. Der erste Sensor 1 dient zur Erfassung von realen Objekten 11, 12, 13 sowie zur Erfassung einer Entfernung zu einem realen Objekt 11, 12, 13. Der zweite Sensor 2 dient zur Aufnahme von Bildern, auf welchen insbesondere reale Objekte 11, 12, 13 abgebildet sind.
Das mobile System 10 weist eine Erkennungseinheit zur Erkennung eines realen Objekts 11,
12, 13 in einem von dem zweiten Sensor 2 aufgenommenen Bild auf. Das mobile System 10 weist ferner eine Klassifizierungseinheit zur Klassifizierung eines Objekttyps eines von der Erkennungseinheit erkannten realen Objekts 11, 12, 13 auf. Die Klassifizierungseinheit umfasst ein neuronales Netzwerk.
Das mobile System 10 weist auch eine Verknüpfungseinheit zur Erzeugung eines virtuellen Objekts auf. Ein virtuelles Objekt wird dabei durch Verknüpfung eines von der Klassifizierungseinheit klassifizierten Objekttyps eines realen Objekts 11, 12, 13 mit einer von dem ersten Sensor 1 erfassten Entfernung zu dem realen Objekt 11, 12, 13 erzeugt. Die Erkennungseinheit, die Klassifizierungseinheit und die Verknüpfungseinheit sind dabei Teile einer Verarbeitungseinheit 25.
In einem Sichtbereich 20 des mobilen Systems 10 befinden sich in der technischen Anlage vorliegend ein erstes reales Objekt 11, ein zweites reales Objekt 12 und ein drittes reales Objekt 13. Bei dem ersten realen Objekt 11 handelt es sich vorliegend um einen Gabelstapler. Bei dem zweiten realen Objekt 12 handelt es sich vorliegend um eine Person. Bei dem dritten realen Objekt 13 handelt es sich vorliegend um ein mobiles Transportsystem.
Der erste Sensor 1 erfasst und segmentiert eine sichtbare Kante 31 des ersten realen Objekts 11 und eine Entfernung zu dem ersten realen Objekt 11 in einem bestimmten Winkelbereich. Aus der mittels des Positionssensors erfassten eigenen Position des mobilen Systems 10, der erfassten Entfernung und des Winkel bereichs wird die Position des ersten realen Objekts 11 bestimmt.
Der zweite Sensor 2 nimmt ein Bild auf, das sich über den bestimmten Winkelbereich hinaus erstreckt. Die Erkennungseinheit erkennt das erste reale Objekt 11 in dem aufgenommenen Bild. Die Klassifizierungseinheit klassifiziert einen Objekttyp des erkannten ersten realen Objekts 11. Der Objekttyp umfasst weitere Informationen, beispielsweise geometrische Eigenschaften, und insbesondere einen Grundriss 35. Vorliegend ist der Objekttyp des ersten realen Objekts 11 ein Gabelstapler. Der Grundriss 35 dieses Objekttyps ist vorliegend ein Rechteck.
Die segmentierte sichtbare Kante 31 des ersten realen Objekts 11 wird mit geometrischen Eigenschaften des klassifizierten Objekttyps abgeglichen, insbesondere mit Kanten, die in dem von dem zweiten Sensor 2 aufgenommenen Bild vorhanden sind. Die von dem ersten Sensor 1 erfasste sichtbare Kante 31 ist dabei einer in dem aufgenommenen Bild vorhandenen Kante zuordenbar. Durch die Information über den Objekttyp lässt sich auf geometrische Eigenschaften des ersten realen Objekts 11, insbesondere auf den Grundriss 35, schließen.
Die Verknüpfungseinheit erzeugt anschließend durch eine Verknüpfung des klassifizierten Objekttyps des ersten realen Objekts 11, vorliegend ein Gabelstapler, mit der erfassten Entfernung zu dem ersten realen Objekt 11 ein virtuelles Objekt. Das erzeugte virtuelle Objekt umfasst somit Informationen über den Objekttyp, die Position sowie die Ausrichtung des ersten realen Objekts 11 und geometrische Eigenschaften, insbesondere den Grundriss 35, des ersten realen Objekts 11.
Der erste Sensor 1 erfasst und segmentiert ebenfalls eine sichtbare Kante 31 des zweiten realen Objekts 12 und eine Entfernung zu dem zweiten realen Objekt 12 in einem bestimmten Winkelbereich. Aus der mittels des Positionssensors erfassten eigenen Position des mobilen Systems 10, der erfassten Entfernung und des Winkelbereichs wird die Position des zweiten realen Objekts 12 bestimmt.
Der zweite Sensor 2 nimmt ein Bild auf, das sich über den bestimmten Wnkelbereich hinaus erstreckt. Die Erkennungseinheit erkannt das zweite reale Objekt 12 in dem aufgenommenen Bild, und die Klassifizierungseinheit klassifiziert einen Objekttyp des erkannten zweiten realen Objekts 12. Vorliegend ist der Objekttyp des zweiten realen Objekts 12 eine Person. Der Grundriss 35 dieses Objekttyps ist vorliegend ein Kreis oder ein Oval. Die segmentierte sichtbare Kante 31 des zweiten realen Objekts 12 wird mit geometrischen Eigenschaften des klassifizierten Objekttyps abgeglichen, insbesondere mit Kanten, die in dem von dem zweiten Sensor 2 aufgenommenen Bild vorhanden sind.
Die Verknüpfungseinheit erzeugt anschließend durch eine Verknüpfung des klassifizierten Objekttyps des zweiten realen Objekts 12, vorliegend eine Person, mit der erfassten Entfernung zu dem zweiten realen Objekt 12 ein virtuelles Objekt. Das erzeugte virtuelle Objekt umfasst somit Informationen über den Objekttyp, die Position sowie die Ausrichtung des zweiten realen Objekts 12 und geometrische Eigenschaften, insbesondere den Grundriss 35, des zweiten realen Objekts 12.
Der erste Sensor 1 erfasst und segmentiert ferner zwei sichtbare Kanten 31 des dritten realen Objekts 13 und eine Entfernung zu dem dritten realen Objekt 13 in einem bestimmten Winkelbereich. Aus der mittels des Positionssensors erfassten eigenen Position des mobilen Systems 10, der erfassten Entfernung und des Wnkelbereichs wird die Position des dritten realen Objekts 13 bestimmt.
Der zweite Sensor 2 nimmt ein Bild auf, das sich über den bestimmten Wnkelbereich hinaus erstreckt. Die Erkennungseinheit erkannt das dritte reale Objekt 13 in dem aufgenommenen Bild, und die Klassifizierungseinheit klassifiziert einen Objekttyp des erkannten dritten realen Objekts 13. Vorliegend ist der Objekttyp des dritten realen Objekts 13 ein mobiles Transportsystem. Der Grundriss 35 dieses Objekttyps ist vorliegend ein Rechteck. Die segmentierten sichtbaren Kante 31 des dritten realen Objekts 13 werden mit geometrischen Eigenschaften des klassifizierten Objekttyps abgeglichen, insbesondere mit Kanten, die in dem von dem zweiten Sensor 2 aufgenommenen Bild vorhanden sind. Die Verknüpfungseinheit erzeugt anschließend durch eine Verknüpfung des klassifizierten Objekttyps des dritten realen Objekts 13, vorliegend ein Rechteck, mit der erfassten Entfernung zu dem dritten realen Objekt 13 ein virtuelles Objekt. Das erzeugte virtuelle Objekt umfasst somit Informationen über den Objekttyp, die Position sowie die Ausrichtung des dritten realen Objekts 13 und geometrische Eigenschaften, insbesondere den Grundriss 35, des dritten realen Objekts 13.
Bezugszeichenliste
I erster Sensor 2 zweiter Sensor
10 Mobiles System
I I erstes reales Objekt
12 zweites reales Objekt
13 drittes reales Objekt 20 Sichtbereich
25 Verarbeitungseinheit
31 sichtbare Kanten
35 Grundriss

Claims

Patentansprüche:
1. Mobiles System (10) zum Betrieb insbesondere in einer technischen Anlage, umfassend einen ersten Sensor (1) zur Erfassung einer Entfernung zu einem realen Objekt (11,
12, 13), dadurch gekennzeichnet, dass das mobile System (10) einen zweiten Sensor (2) zur Aufnahme eines Bildes aufweist, und dass das mobile System (10) eine Erkennungseinheit zur Erkennung eines realen Objekts (11, 12, 13) in einem von dem zweiten Sensor (2) aufgenommenen Bild aufweist, und dass das mobile System (10) eine Klassifizierungseinheit zur Klassifizierung eines Objekttyps eines von der Erkennungseinheit erkannten realen Objekts (11, 12, 13) aufweist, und dass das mobile System (10) eine Verknüpfungseinheit zur Erzeugung eines virtuellen Objekts durch Verknüpfung eines von der Klassifizierungseinheit klassifizierten Objekttyps mit einer von dem ersten Sensor (1) erfassten Entfernung aufweist.
2. Mobiles System (10) nach Anspruch 1, dadurch gekennzeichnet, dass der erste Sensor (1) als Laserscanner ausgebildet ist, und/oder dass der zweite Sensor (2) als monokulare Kamera ausgebildet ist.
3. Mobiles System (10) nach Anspruch 1, dadurch gekennzeichnet, dass der erste Sensor (1) als 3D-Kamera ausgebildet ist, und/oder dass der zweite Sensor (2) als monokulare Kamera ausgebildet ist.
4. Mobiles System (10) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Klassifizierungseinheit ein neuronales Netzwerk umfasst.
5. Mobiles System (10) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mobile System (10) als autonom fahrendes Fahrzeug ausgebildet ist, welches eine Antriebseinrichtung, einen elektrischen Energiespeicher zur Versorgung der Antriebseinrichtung sowie eine Steuereinheit zur Steuerung der Antriebseinrichtung aufweist.
6. Verfahren zum Betreiben eines mobilen Systems (10) nach einem der vorangegangenen Ansprüche, insbesondere in einer technischen Anlage, dadurch gekennzeichnet, dass mittels des ersten Sensors (1) eine Entfernung zu einem realen Objekt (11, 12, 13) erfasst wird, und mittels des zweiten Sensors (2) ein Bild aufgenommen wird, und mittels der Erkennungseinheit ein reales Objekt (11, 12, 13) in dem aufgenommenen Bild erkannt wird, und mittels der Klassifizierungseinheit ein Objekttyp des erkannten realen Objekts (11, 12, 13) klassifiziert wird, und mittels der Verknüpfungseinheit durch eine Verknüpfung des klassifizierten Objekttyps mit der erfassten Entfernung ein virtuelles Objekt erzeugt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in einem ersten Schritt mittels des zweiten Sensors (2) ein Bild aufgenommen wird; in einem zweiten Schritt mittels der Erkennungseinheit ein reales Objekt (11, 12, 13) in dem aufgenommenen Bild erkannt wird; in einem dritten Schritt ein Winkelbereich innerhalb des aufgenommenen Bildes ermittelt wird, in welchem sich das erkannte reale Objekt (11, 12, 13) befindet; in einem vierten Schritt mittels der Klassifizierungseinheit ein Objekttyp des erkannten realen Objekts (11, 12, 13) klassifiziert wird; in einem fünften Schritt mittels des ersten Sensors (1) eine Entfernung zu dem in dem ermittelten Wnkelbereich befindlichen realen Objekts (11, 12, 13) erfasst wird; in einem sechsten Schritt mittels der Verknüpfungseinheit das virtuelle Objekt erzeugt wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass in dem fünften Schritt sichtbare Kanten (31) des in dem ermittelten Wnkelbereich befindlichen realen Objekts (11, 12, 13) segmentiert werden, und dass in dem sechsten Schritt die segmentierten sichtbaren Kanten (31) mit geometrischen Eigenschaften des klassifizierten Objekttyps abgeglichen werden.
9. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in einem ersten Schritt mittels des ersten Sensors (1) eine Entfernung zu einem realen Objekt (11, 12, 13) erfasst wird; in einem zweiten Schritt ein Winkelbereich ermittelt wird, in welchem sich das erfasste reale Objekt (11, 12, 13) befindet; in einem dritten Schritt mittels des zweiten Sensors (2) ein Bild aufgenommen wird, das sich mindestens über den ermittelten Winkelbereich erstreckt; in einem vierten Schritt mittels der Erkennungseinheit ein reales Objekt (11, 12, 13) in dem ermittelten Wnkelbereich innerhalb des aufgenommenen Bildes erkannt wird; in einem fünften Schritt mittels der Klassifizierungseinheit ein Objekttyp des erkannten realen Objekts (11, 12, 13) klassifiziert wird; in einem sechsten Schritt mittels der Verknüpfungseinheit das virtuelle Objekt erzeugt wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass in dem zweiten Schritt sichtbare Kanten (31) des in dem ermittelten Wnkelbereich befindlichen realen Objekts (11, 12, 13) segmentiert werden, und dass in dem sechsten Schritt die segmentierten sichtbaren Kanten (31) mit geometrischen Eigenschaften des klassifizierten Objekttyps abgeglichen werden.
11. Verfahren nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass die Schritte in definierten Zeitabständen wiederholt werden, und dass
Änderungen der erfassten Entfernung zu dem realen Objekt (11, 12, 13) registriert werden, und dass
Änderungen des Winkelbereichs, in welchem sich das reale Objekt (11, 12, 13) befindet, registriert werden, und dass aus den registrierten Änderungen eine Bewegung des virtuellen Objekts erkannt wird.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass aus den registrierten Änderungen eine Geschwindigkeit des virtuellen Objekts berechnet wird, und/oder dass aus den registrierten Änderungen eine Bewegungsrichtung des virtuellen Objekts berechnet wird.
13. Verfahren nach Anspruch einem der Ansprüche 6 bis 12, dadurch gekennzeichnet, dass eine lokale Karte erstellt wird, welche mindestens ein erzeugtes virtuelles Objekt aufweist.
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass in die Lokale Karte eine berechnete Geschwindigkeit des mindestens einen virtuellen Objekts und/oder eine berechnete Bewegungsrichtung des mindestens einen virtuellen Objekts eingetragen wird.
15. Verfahren nach Anspruch einem der Ansprüche 6 bis 14, dadurch gekennzeichnet, dass in Abhängigkeit von der Entfernung zu dem realen Objekt (11, 12, 13) und/oder in Abhängigkeit von dem Objekttyp des realen Objekts (11, 12, 13) eine Reaktion des mobilen Systems (10) ausgelöst wird.
EP21711846.2A 2020-04-01 2021-03-10 Mobiles system und verfahren zum betreiben eines mobilen systems Pending EP4128017A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020002043 2020-04-01
PCT/EP2021/056116 WO2021197785A1 (de) 2020-04-01 2021-03-10 Mobiles system und verfahren zum betreiben eines mobilen systems

Publications (1)

Publication Number Publication Date
EP4128017A1 true EP4128017A1 (de) 2023-02-08

Family

ID=74873755

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21711846.2A Pending EP4128017A1 (de) 2020-04-01 2021-03-10 Mobiles system und verfahren zum betreiben eines mobilen systems

Country Status (3)

Country Link
EP (1) EP4128017A1 (de)
DE (1) DE102021001282A1 (de)
WO (1) WO2021197785A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023002751A1 (de) 2022-08-03 2024-02-08 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Betreiben einer technischen Anlage
EP4588022A1 (de) 2022-09-13 2025-07-23 Sew-Eurodrive GmbH & Co. KG Verfahren zur detektion eines objekts durch ein mobiles system
DE102025127046A1 (de) 2024-08-13 2026-02-19 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Klassifizierung von Objekten

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538577B2 (en) 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9233470B1 (en) 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
WO2016054656A1 (en) 2014-10-03 2016-04-07 Wynright Corporation Perception-based robotic manipulation system and method for automated truck unloader that unloads/unpacks product from trailers and containers
DE102018002378A1 (de) 2017-04-21 2018-10-25 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Detektieren beweglicher Objekte in einer Anlage und/oder zur Kollisionsvermeidung in einer Anlage und Anlage zur Durchführung eines solchen Verfahrens
DE102018009114A1 (de) 2017-12-21 2019-06-27 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Bestimmung der Position eines auf einer Verfahrfläche bewegbaren Mobilteils und Anlage mit Mobilteil zur Durchführung des Verfahrens
US10878294B2 (en) 2018-01-05 2020-12-29 Irobot Corporation Mobile cleaning robot artificial intelligence for situational awareness
DE102019000903A1 (de) 2018-02-21 2019-08-22 Sew-Eurodrive Gmbh & Co Kg System mit Anlage, Objekten und Mobilteilen, und Verfahren zum Betreiben eines Systems
WO2019170292A1 (de) 2018-03-08 2019-09-12 Sew-Eurodrive Gmbh & Co. Kg Verfahren zum betreiben einer anlage
DE102018205964A1 (de) 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information

Also Published As

Publication number Publication date
WO2021197785A1 (de) 2021-10-07
DE102021001282A1 (de) 2021-10-07

Similar Documents

Publication Publication Date Title
DE102014111125B4 (de) Verfahren zum Erkennen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Ultraschallsensors, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3824247A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE102016220945A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Manövriervorganges eines Kraftfahrzeuges
EP4128017A1 (de) Mobiles system und verfahren zum betreiben eines mobilen systems
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE102018127059A1 (de) Verfahren zur Überprüfung mindestens eines Umfelderfassungssensors eines Fahrzeugs
EP3977225B1 (de) Verfahren zur erstellung einer umgebungskarte für die verwendung bei der autonomen navigation eines mobilen roboters
DE102004028763A1 (de) Andockassistent
DE102018213378B4 (de) Fahrassistenzsystem für ein Fahrzeug, Fahrzeug mit demselben und Fahrassistenzverfahren für ein Fahrzeug
DE102020118629A1 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
DE102017120996A1 (de) Verfahren und Vorrichtung zur Kollisionsvermeidung beim Betrieb eines Flurförderzeugs
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
EP3980724A1 (de) Verfahren zum erstellen einer universell einsetzbaren merkmalskarte
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
DE102010021042A1 (de) Verfahren zur rechnergestützten Spurführung von Fahrzeugen
DE102021003567A1 (de) Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten
DE102019128253B4 (de) Verfahren zum Navigieren eines Flurförderzeugs
WO2018172240A1 (de) Verfahren und auswertevorrichtung zum erfassen einer umgebung eines fahrzeugs und fahrzeug
DE102017121000A1 (de) Verfahren und Vorrichtung zur Navigation eines Flurförderzeugs
EP3423911B1 (de) Verfahren zum aktualisieren einer belegungskarte und autonomes fahrzeug
DE102021204063B4 (de) Abgleich von Kartendaten und Sensordaten
DE102023120364B3 (de) Verfahren zum kartenbasierten Lokalisieren von einem Fahrzeug aus, sowie Fahrzeug
DE102024129585B3 (de) Verfahren zur Freiraumerkennung durch eine Umfelderfassung eines Fahrzeugs
EP4158436B1 (de) Verfahren zur umgehung von unpassierbaren hindernissen durch einen roboter
DE102023003260A1 (de) Verfahren zur Detektion eines Objekts durch ein mobiles System

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250212