EP4449221A1 - Verfahren zur erzeugung einer umgebungskarte für einen mobilen logistik-roboter und mobiler logistik-roboter - Google Patents

Verfahren zur erzeugung einer umgebungskarte für einen mobilen logistik-roboter und mobiler logistik-roboter

Info

Publication number
EP4449221A1
EP4449221A1 EP22821974.7A EP22821974A EP4449221A1 EP 4449221 A1 EP4449221 A1 EP 4449221A1 EP 22821974 A EP22821974 A EP 22821974A EP 4449221 A1 EP4449221 A1 EP 4449221A1
Authority
EP
European Patent Office
Prior art keywords
objects
cells
environment
logistics robot
mobile logistics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22821974.7A
Other languages
English (en)
French (fr)
Inventor
Bengt Abel
Yan RUDALL
Mohamed Bakr
Dennis SCHÜTHE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STILL GmbH
Original Assignee
STILL GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STILL GmbH filed Critical STILL GmbH
Publication of EP4449221A1 publication Critical patent/EP4449221A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/1653—Program controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Definitions

  • the invention relates to a method for generating an environment map for a mobile logistics robot, the environment being detected by means of sensors and the sensor data being evaluated in a processor unit, a virtual grid of the environment being generated with cells, the cells in which Objects are detected are marked as occupied cells and the cells in which no objects are detected are marked as free cells, thereby creating a representation of the environment.
  • the invention also relates to a mobile logistics robot for carrying out the method.
  • Mobile logistics robots are increasingly being used in industry and in logistics companies to automate processes in industrial production and in logistical tasks, such as order picking.
  • mobile logistics robots with arm manipulators, in particular robot arms are used.
  • So-called articulated-arm robots are an example of this.
  • mobile logistics robots in particular autonomous industrial trucks with robotic arms for load handling, for example mobile picking robots
  • mobile logistics robots are particularly demanding because logistics robots are supposed to move freely in a logistics area, for example a warehouse.
  • the mobile logistics robots constantly encounter completely new working environments.
  • 3D sensors for example, an octree is used.
  • the method is similar to that of 2D sensors , only with the difference that the cells are now three-dimensional, i.e. the size is, for example, 10 cm x 10 cm x 10 cm.
  • the pure sensor information is used for the map, so that a representation of the environment is created
  • the present invention is based on the object of designing a method of the type mentioned and a mobile logistics robot for carrying out the method in such a way that maps of the surroundings can be generated with a higher information content.
  • this object is achieved according to the invention in that the objects which occupy the cells are identified in the processor unit.
  • the gap in the known mapping methods can be closed, which consists in the fact that one does not know what the objects are that occupy the cells.
  • the identification of the objects it is thus possible to also enter the result of the identification of the objects in the generated map of the surroundings, i.e. the information about which object it is that occupies a cell.
  • the mobile logistics robot receives specific information about which objects are located where.
  • the objects are expediently identified using image processing methods.
  • a sensor system that includes at least one optical sensor, in particular a camera.
  • the Sensor data can then be evaluated in the processor unit using imaging methods, so that the objects can be identified.
  • a preferred development of the invention provides that the objects are identified using methods of artificial intelligence.
  • the objects are advantageously recognized in at least one object recognition unit of the processor unit, which works in particular with imaging methods and/or artificial intelligence.
  • Object recognition makes it possible for the objects to be identified with their pose, i.e. both the translational space coordinates x, y and z and the orientation coordinates roll, pitch and yaw, i.e. with their position and orientation, as well as with their dimensions. i.e. the latitude, height and depth into which the map of the area is plotted. If an object is recognized, it can serve as a natural landmark for localization.
  • the objects can also be classified in at least one classification unit of the processor unit.
  • at least one other property of the detected object is taken into account when it is entered in the map.
  • the objects are preferably classified into static, manipulable and dynamic objects and entered in the map of the surroundings.
  • the objects are thus differentiated according to static objects, such as walls, columns, shelves, objects that can be manipulated, such as pallets, boxes, lattice boxes, and dynamic objects, such as people and vehicles.
  • static objects such as walls, columns, shelves
  • objects that can be manipulated such as pallets, boxes, lattice boxes
  • dynamic objects such as people and vehicles.
  • the dynamic objects are never to be used for a localization and can therefore always be excluded for this task. However, the information is useful, for example, for a management system that can record which vehicle is currently located where.
  • the environment map generated can be made up of the following three parts, for example: 1 ) Map for the static objects: This map is very well suited for locating the mobile logistics robot.
  • Tamperable Object Card This card can be used to track inventory and thus inventory.
  • Map for dynamic objects This map can be used, for example, for locating all vehicles, both robotic and non-robotic vehicles that do not have sensors on board.
  • a digital twin of the environment of the logistics robot in particular of a warehouse including inventory, can also be generated via such a map structure in the processor unit.
  • Another possibility of fusion is before classification and/or object recognition.
  • sensor signals from different sensors of the sensor system can be transferred to the classification unit and/or object recognition unit.
  • sensor types can be used as input, such as laser scanners, RGB cameras, depth cameras, RGBD cameras, radar sensors, etc.
  • the objects to be identified can in particular be all objects that can be found in a warehouse or its external premises. This includes, for example, pallets, fire extinguishers, doors, emergency exit signs, walls, ceilings, floor markings, etc.
  • the invention also relates to a mobile logistics robot for carrying out the method with a device for generating an area map for the mobile Logistics robot, which includes a sensor system for detecting the environment of the mobile logistics robot and a processor unit for evaluating the sensor data, the processor unit being set up to generate a virtual grid of the environment with cells and the cells in which objects are detected to identify as occupied cells and to identify the cells in which no objects are detected as free cells, whereby a representation of the environment can be generated.
  • the task at hand is achieved in that the processor unit includes an identification unit that is designed to identify the objects that occupy the cells.
  • the identification unit expediently comprises at least one classification unit and/or at least one object recognition unit.
  • the sensor system preferably includes at least one optical sensor, in particular a laser scanner and/or a camera.
  • the sensor system can also include at least one radar sensor.
  • the invention enables a semantic map to be generated as a map of the surroundings of the mobile logistics robot. In this way, the gap as to which objects are involved in a map can be closed. The amount of data for this semantic map can also be kept much smaller, which leads to savings in resources. The invention also leads to a simple conclusion as to where which objects are.
  • the cards contain significantly more information about the objects, so that they can also be filtered according to them in order to find them or to manipulate them, i.e. to record them, to relocate them, etc..
  • many more operations based on the semantic Map than is the case with conventional mapping methods, such as grid maps.
  • mapping methods such as grid maps.
  • the invention can be used for inventory, goods tracking within the department store, detection of damage to the infrastructure, detection of anomalies (such as the emergency exit is blocked or vehicles are in no-parking zones), accident prevention and accident avoidance.
  • FIG. 1 shows a flowchart for generating the environment map
  • FIG. 2 shows an example of a classification of dynamic objects
  • Figure 3 shows an example of a classification of manipulable objects
  • FIG. 4 shows an example of a classification of static objects.
  • Figure 1 shows a flow chart for generating the environment map 5 according to the invention for a mobile logistics robot using a device 15.
  • the object for example a shelf, is formed by the sensor system 2, which includes optical sensors 6, which are designed as cameras 7, for example are recorded.
  • the sensor data from the sensors 6 are transferred to the processor unit 3 which has an identification unit 14 which includes object recognition units 4 and classification units 8 .
  • the object recognition units 4 recognize the object, for example using image processing methods, and determine the position, orientation and spread (extent) of the object 1.
  • the classification units 8 classify the object 1, for example using methods of artificial intelligence, as a static, manipulable or dynamic object 1.
  • classification units 8 and object recognition units 4 can be merged.
  • the environment map 5 is created in the processor unit 3 from the results of the classification units 8 and object recognition units 4 .
  • Detected objects 1 with their position, orientation and spread (extent) are thus entered into the map 5 of the surroundings and entered with the additional property of which object 1 it is, ie whether it is a static object or a manipulable object or a dynamic object acts.
  • the sensor signals of the various sensors 6 of the sensor system 2 can be merged before the object recognition units 4 and classification units 8 and transferred to them.
  • FIG. 2 shows an example of a classification of dynamic objects 1 from the point of view of the mobile logistics robot, which is provided with the device 15 of FIG.
  • Industrial trucks 9 and 10 in the vicinity of the mobile logistics robot are classified as dynamic objects 1 and entered in the map of the surroundings.
  • the dynamic objects 1 are never to be used for a localization and can therefore always be excluded for this task.
  • the information is useful, for example, for a management system that can record where which industrial truck 9, 10 is located.
  • FIG. 3 shows an example of a classification of objects 1 that can be manipulated from the perspective of the mobile logistics robot, which is provided with the device 15 of FIG. Packages 11, 12 in the area surrounding the mobile logistics robot are classified as objects 1 to be manipulated and entered in the area map. This information can be used to track inventory and therefore inventory.
  • FIG. 4 also shows an example of a classification of static objects 1 from the point of view of the mobile logistics robot, which is provided with the device 15 from FIG.
  • ground markings 13 in the area surrounding the mobile logistics robot are classified as static objects 1 and entered into the area map.
  • the floor markings 13 can be used to localize and navigate the mobile logistics robot.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erzeugung einer Umgebungskarte (5) für einen mobilen Logistik-Roboter, wobei die Umgebung mittels einer Sensorik (2) erfasst wird und die Sensordaten in einer Prozessoreinheit (3) ausgewertet werden, wobei ein virtuelles Raster der Umgebung mit Zellen erzeugt wird, wobei die Zellen, in denen Objekte (1) detektiert werden, als belegte Zellen gekennzeichnet werden und die Zellen, in denen keine Objekte (1) detektiert werden, als freie Zellen gekennzeichnet werden, wodurch eine Repräsentation der Umgebung erzeugt wird. Es wird vorgeschlagen, dass in der Prozessoreinheit (3) die Objekte (1), die die Zellen belegen, identifiziert werden. Ferner betrifft die Erfindung einen mobilen Logistik-Roboter zur Durchführung des Verfahrens.

Description

Beschreibung
Verfahren zur Erzeugung einer Umqebunaskarte für einen mobilen Logistik-Roboter und mobiler Logistik-Roboter
Die Erfindung betrifft ein Verfahren zur Erzeugung einer Umgebungskarte für einen mobilen Logistik-Roboter, wobei die Umgebung mittels einer Sensorik erfasst wird und die Sensordaten in einer Prozessoreinheit ausgewertet werden, wobei ein virtuelles Raster der Umgebung mit Zellen erzeugt wird, wobei die Zellen, in denen Objekte detektiert werden, als belegte Zellen gekennzeichnet werden und die Zellen, in denen keine Objekte detektiert werden, als freie Zellen gekennzeichnet werden, wodurch eine Repräsentation der Umgebung erzeugt wird.
Ferner betrifft die Erfindung einen mobilen Logistik-Roboter zur Durchführung des Verfahrens.
Mobile Logistik-Roboter kommen vermehrt in der Industrie und in Logistikbetrieben zum Einsatz, um Abläufe in der industriellen Fertigung und bei logistischen Aufgaben, beispielsweise bei der Kommissionierung, zu automatisieren. Meist werden dabei mobile Logistik-Roboter mit Armmanipulatoren, insbesondere Roboterarmen, eingesetzt. Ein Beispiel hierfür sind so genannte Knickarmroboter.
Besonders anspruchsvoll ist die Umsetzung mobiler Logistik-Robotern, insbesondere autonomen Flurförderzeugen mit Roboterarmen zur Lasthandhabung, zum Beispiel mobilen Kommisssionierrobotern, weil sich Logistik-Roboter frei in einem Logistikbereich, zum Beispiel einer Lagerhalle, bewegen sollen. Dabei treffen die mobilen Logistik-Roboter ständig auf völlig neue Arbeitsumgebungen.
Um eine Lokalisierung und Navigation eines mobilen Logistik-Roboters in solchen wechselnden Arbeitsumgebungen zu ermöglichen, müssen Umgebungskarten für den mobilen Logistik-Roboter laufend aktuell erstellt werden.
Es gibt unterschiedliche Methoden, Umgebungskarten für mobile Logistik-Roboter zu erzeugen. Zum einen kann man auf 2D-Karten, sogenannte Grid-Maps, setzen, in denen die Daten aus 2D-Sensorik, zum Beispiel Laserscans, eingezeichnet werden. Die Grid-Map basiert auf einem Raster, dem Grid, mit Zellen in Größen von jeweils beispielsweise 10 cm x 10 cm. Alles was mit der 2D-Sensorik gesehen wird, wird als „belegt" in die Karte eingetragen. Zellen, die von der Sensorquelle bis zu einem Objekt geschnitten werden, werden als frei gekennzeichnet. So entsteht eine 2D- Repräsentation der Umgebung, allerdings ohne die Information, um welches Objekt es sich handelt, d.h. ohne die Information, welches Objekt eine Zelle belegt. Das gleiche Verfahren kann auch bei einer 3D-Sensorik verwendet werden. Hier wird dann zum Beispiel ein Octree genutzt. Das Verfahren gleicht dem der 2D-Sensorik, nur mit dem Unterschied, dass die Zellen jetzt dreidimensional sind, das heißt in der Größe beispielsweise 10 cm x 10 cm x 10 cm betragen. Dabei werden für die Karte ebenfalls nur die reinen Sensorinformationen verwendet, so dass eine Repräsentation der Umgebung entsteht. Ein Rückschluss auf Objekte in der Karte, d.h. welche Objekte die Zellen belegen, ist nicht möglich oder bedarf der nachträglichen Bearbeitung.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren der genannten Art sowie einen mobilen Logistik-Roboter zur Durchführung des Verfahrens so auszugestalten, dass Umgebungskarten mit einem höheren Informationsgehalt erzeugt werden können.
Diese Aufgabe wird verfahrensseitig erfindungsgemäß dadurch gelöst, dass in der Prozessoreinheit die Objekte, die die Zellen belegen, identifiziert werden.
Mit der Erfindung kann die Lücke der bekannten Kartierungsverfahren geschlossen werden, die darin besteht, dass man nicht weiß, um welche Objekte es sich bei den Objekten handelt, die die Zellen belegen. Mit der Identifikation der Objekte wird es somit ermöglicht, in der erzeugten Umgebungskarte auch das Ergebnis der Identifikation der Objekte einzutragen, d.h. die Information, um welches Objekt es sich handelt, das eine Zelle belegt. Der mobile Logistik- Roboter erhält mit der Erfindung gezielte Informationen darüber, wo sich welche Objekte befinden.
Dabei werden die Objekte zweckmäßigerweise mittels Bildverarbeitungsmethoden identifiziert. In diesem Zusammenhang ist es von Vorteil, eine Sensorik zu verwenden, die mindestens einen optischen Sensor, insbesondere eine Kamera, umfasst. Die Sensordaten können dann in der Prozessoreinheit mittels bildgebender Verfahren ausgewertet werden, so dass die Objekte identifiziert werden können.
Eine bevorzugte Weiterbildung der Erfindung sieht vor, dass die Objekte mittels Methoden künstlicher Intelligenz identifiziert werden.
Zur Identifikation werden die Objekte vorteilhafterweise in mindestens einer Objekterkennungseinheit der Prozessoreinheit, die insbesondere mit bildgebenden Verfahren und/oder künstlicher Intelligenz arbeitet, erkannt.
Mit der Objekterkennung wird es ermöglicht, dass die Objekte mit ihrer Pose, also sowohl den translatorischen Raum-Koordinaten x, y und z als auch den Orientierungs- Koordinaten roll, pitch und yaw, das heißt mit Position und Ausrichtung, sowie mit ihren Ausmaßen, d.h. die Breite, Höhe und Tiefe, in die Umgebungskarte eingetragen werden. Wird ein Objekt wiedererkannt, kann dieses als natürliche Landmarke für die Lokalisierung dienen.
Zur Identifikation können die Objekte auch in mindestens einer Klassifizierungseinheit der Prozessoreinheit klassifiziert werden. Hierzu wird neben der Pose und den Ausmaßen des Objekts noch mindestens eine weitere Eigenschaft des detektierten Objekts bei der Eintragung in die Karte berücksichtigt.
Dabei werden die Objekte vorzugsweise in statische, manipulierbare und dynamische Objekte klassifiziert und in der Umgebungskarte eingetragen. Die Objekte werden also unterschieden nach statischen Objekten, wie zum Beispiel Wänden, Säulen, Regale, nach manipulierbaren Objekten, wie zum Beispiel Paletten, Boxen, Gitterboxen, und dynamischen Objekten, wie zum Beispiel Personen und Fahrzeugen. Die dynamischen Objekte sind für eine Lokalisierung nie zu verwenden und können damit immer für diese Aufgabe ausgeschlossen werden. Nützlich ist die Information aber zum Beispiel für ein Managementsystem, welches erfassen kann, wo sich gerade welches Fahrzeug befindet.
Die erzeugte Umgebungskarte kann hierbei beispielswiese aus folgenden drei Teilen aufgebaut werden: 1 ) Karte für die statischen Objekte: Diese Karte ist sehr gut geeignet für die Lokalisierung des mobilen Logistik-Roboters.
2) Karte für manipulierbare Objekte: Diese Karte kann zur Nachverfolgung des Warenbestands und somit zur Inventur verwendet werden.
3) Karte für dynamische Objekte: Diese Karte kann zum Beispiel für die Lokalisierung von allen Fahrzeugen, sowohl von robotischen als auch von nicht robotischen Fahrzeugen, die keine Sensorik an Bord haben, eingesetzt werden.
Insgesamt kann über solch eine Kartenstruktur in der Prozessoreinheit auch ein digitaler Zwilling der Umgebung des Logistik-Roboters, insbesondere eines Lagerhauses samt Inventar, erzeugt werden.
Wie die Ausgestaltung der Umgebungskarte umgesetzt wird, also mit allen Objekte in einer Karte oder aufgeteilt auf mehrere Karten, ist dabei wählbar.
Um die Qualität der Identifikation der Objekte zu erhöhen, ist gemäß einer bevorzugten Weiterbildung des Erfindungsgedankens vorgesehen, dass mehrere, insbesondere verschiedene, Klassifizierungseinheiten und/oder mehrere, insbesondere verschiedene, Objekterkennungseinheiten fusioniert werden.
Eine weitere Möglichkeit der Fusion besteht vor der Klassifizierung und/oder Objekterkennung. So können Sensorsignale verschiedener Sensoren der Sensorik an die Klassifizierungseinheit und/oder Objekterkennungseinheit übergeben werden.
Hierzu können unterschiedliche Sensortypen als Eingabe genutzt werden, wie zum Beispiel Laserscanner, RGB-Kameras, Depth-Kameras, RGBD-Kameras, Radarsensoren etc..
Bei den zu identifizierenden Objekten kann es sich insbesondere um alle Objekte handeln, die in einem Warenlager oder deren Außenbetriebsgeländen zu finden sind. Hierzu gehören zum Beispiel Paletten, Feuerlöscher, Türen, Notausgangsschilder, Wände, Decken, Bodenmarkierungen, etc..
Die Erfindung betrifft außerdem einen mobilen Logistik-Roboter zur Durchführung des Verfahrens mit einer Einrichtung zur Erzeugung einer Umgebungskarte für den mobilen Logistik-Roboter, die eine Sensorik zur Erfassung der Umgebung des mobilen Logistik- Roboters und eine Prozessoreinheit zur Auswertung der Sensordaten umfasst, wobei die Prozessoreinheit dazu eingerichtet ist, ein virtuelles Raster der Umgebung mit Zellen zu erzeugen und die Zellen, in denen Objekte detektiert werden, als belegte Zellen zu kennzeichnen und die Zellen, in denen keine Objekte detektiert werden, als freie Zellen zu kennzeichnen, wodurch eine Repräsentation der Umgebung erzeugbar ist.
Beim mobilen Logistik-Roboter wird die gestellte Aufgabe dadurch gelöst, dass die Prozessoreinheit eine Identifikationseinheit umfasst, die dazu ausgebildet ist, die Objekte, die die Zellen belegen, zu identifizieren.
Dabei umfasst die Identifikationseinheit zweckmäßigerweise mindestens eine Klassifizierungseinheit und/oder mindestens eine Objekterkennungseinheit.
Außerdem umfasst die Sensorik bevorzugt mindestens einen optischen Sensor, insbesondere einen Laserscanner und/oder eine Kamera.
Die Sensorik kann auch mindestens einen Radar-Sensor umfassen.
Die Erfindung bietet eine ganze Reihe von Vorteilen:
Die Erfindung ermöglicht die Erzeugung einer semantischen Karte als Umgebungskarte des mobilen Logistik-Roboters. Somit kann die Lücke, um welche Objekte es sich in einer Karte handelt, geschlossen werden. Die Datenmenge für diese semantische Karte kann außerdem wesentlich kleiner gehalten werden, was zu Einsparungen in den Resourcen führt. Die Erfindung führt weiterhin dazu, dass man einfacher Rückschluss erhält, wo welche Objekte stehen.
Zudem erhalten die Karten wesentlich mehr Informationen über die Objekte, so dass auch nach diesen gefiltert werden kann, um diese zu finden oder sie zu manipulieren, das heißt aufzunehmen, zu verlagern, etc.. Insgesamt können sehr viel mehr Operationen, basierend auf der semantischen Karte, ausgeführt werden, als es bei herkömmlichen Kartierungsverfahren, zum Beispiel bei Grid-Maps, der Fall ist. Ausgestaltungsmöglichkeiten gibt es vor allem in den digitalen Services, die hinter der erfindungsgemäßen Karte stehen. So kann die Erfindung zum Beispiel zur Inventur, zum Warentracking innerhalb des Warenhauses, zur Erkennung von Schäden an der Infrastruktur, zur Erkennung von Anomalien (wie Notausgang ist zugeparkt oder Fahrzeuge stehen in Parkverboten), zur Unfallverhütung und Unfallvermeidung verwendet werden.
Weitere Vorteile und Einzelheiten der Erfindung werden anhand der in den schematischen Figuren dargestellten Ausführungsbeispiele näher erläutert. Hierbei zeigen
Figur 1 ein Fließdiagramm zur Erzeugung der Umgebungskarte,
Figur 2 ein Beispiel einer Klassifizierung von dynamischen Objekten,
Figur 3 ein Beispiel einer Klassifizierung von manipulierbaren Objekten und
Figur 4 ein Beispiel einer Klassifizierung von statischen Objekten.
Die Figur 1 zeigt ein Fließdiagramm zur Erzeugung der erfindungsgemäßen Umgebungskarte 5 für einen mobilen Logistik-Roboter mittels einer Einrichtung 15. Das Objekt 1 , zum Beispiel ein Regal, wird durch die Sensorik 2, die optische Sensoren 6 umfasst, welche beispielsweise als Kameras 7 ausgebildet sind, erfasst. Die Sensordaten der Sensoren 6 werden der Prozessoreinheit 3 übergeben, die über eine Identifikationseinheit 14 verfügt, welche Objekterkennungseinheiten 4 und Klassifizierungseinheiten 8 umfasst. Die Objekterkennungseinheiten 4 erkennen das Objekt beispielsweise mittels Bildverarbeitungsverfahren und ermitteln die Position, Ausrichtung und Ausbreitung (Ausmaße) des Objekts 1. Die Klassifizierungseinheiten 8 klassifizieren das Objekt 1, beispielsweise unter Nutzung von Methoden der künstlichen Intelligenz, als statisches, manipulierbares oder dynamisches Objekt 1.
Um die Qualität der Objekterkennung und Objektklassifikation zu erhöhen, können mehrere Klassifizierungseinheiten 8 und Objekterkennungseinheiten 4 fusioniert werden. Aus den Ergebnissen der Klassifizierungseinheiten 8 und Objekterkennungseinheiten 4 wird die Umgebungskarte 5 in der Prozessoreinheit 3 erstellt. In die Umgebungskarte 5 werden somit erkannte Objekte 1 mit ihrer Position, Ausrichtung und Ausbreitung (Ausmaße) eingetragen sowie mit der weiteren Eigenschaft eingetragen, um welches Objekt 1 es handelt, d.h. ob es sich um ein statisches Objekt oder ein manipulierbares Objekt oder ein dynamisches Objekt handelt.
Weiterhin können die Sensorsignale der verschiedenen Sensoren 6 der Sensorik 2 vor den Objekterkennungseinheiten 4 und Klassifizierungseinheiten 8 fusioniert und an diese übergeben werden.
Die Figur 2 zeigt ein Beispiel einer Klassifizierung von dynamischen Objekten 1 aus der Sicht des mobilen Logistik-Roboters, der mit der Einrichtung 15 der Figur 1 versehen ist. Dabei werden Flurförderzeuge 9 und 10 in der Umgebung des mobilen Logistik-Roboters als dynamische Objekte 1 klassifiziert und in die Umgebungskarte eingetragen. Die dynamischen Objekte 1 sind für eine Lokalisierung nie zu verwenden und können damit immer für diese Aufgabe ausgeschlossen werden. Nützlich ist die Information aber zum Beispiel für ein Managementsystem, welches erfassen kann, wo sich gerade welches Flurförderzeug 9, 10 befindet.
Die Figur 3 zeigt ein Beispiel einer Klassifizierung von manipulierbaren Objekten 1 aus der Sicht des mobilen Logistik-Roboters, der mit der Einrichtung 15 der Figur 1 versehen ist. Dabei werden Pakete 11 , 12 in der Umgebung des mobilen Logistik- Roboters als zu manipulierende Objekte 1 klassifiziert und in die Umgebungskarte eingetragen. Diese Informationen können zur Nachverfolgung des Warenbestands und somit zur Inventur verwendet werden.
Schließlich zeigt noch die Figur 4 ein Beispiel einer Klassifizierung von statischen Objekten 1 aus der Sicht des mobilen Logistik-Roboters, der mit der Einrichtung 15 der Figur 1 versehen ist. Dabei werden Bodenmarkierungen 13 in der Umgebung des mobilen Logistik-Roboters als statische Objekte 1 klassifiziert und in die Umgebungskarte eingetragen. Die Bodenmarkierungen 13 können zur Lokalisierung und Navigation des mobilen Logistik-Roboters verwendet werden.

Claims

8
Patentansprüche Verfahren zur Erzeugung einer Umgebungskarte (5) für einen mobilen Logistik- Roboter, wobei die Umgebung mittels einer Sensorik (2) erfasst wird und die Sensordaten in einer Prozessoreinheit (3) ausgewertet werden, wobei ein virtuelles Raster der Umgebung mit Zellen erzeugt wird, wobei die Zellen, in denen Objekte (1) detektiert werden, als belegte Zellen gekennzeichnet werden und die Zellen, in denen keine Objekte (1) detektiert werden, als freie Zellen gekennzeichnet werden, wodurch eine Repräsentation der Umgebung erzeugt wird, dadurch gekennzeichnet, dass in der Prozessoreinheit (3) die Objekte (1 ), die die Zellen belegen, identifiziert werden. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Objekte (1) mittels Bildverarbeitungsmethoden identifiziert werden. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Objekte (1) mittels Methoden künstlicher Intelligenz identifiziert werden. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Objekte (1) in mindestens einer Objekterkennungseinheit (4) der Prozessoreinheit (3) erkannt werden. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Objekte (1) mit ihrer Position und Ausrichtung sowie ihren Ausmaßen in die Umgebungskarte (5) eingetragen werden. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Objekte (1) in mindestens einer Klassifizierungseinheit (8) der Prozessoreinheit (3) klassifiziert werden. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Objekte (1) in statische, manipulierbare und dynamische Objekte (1) klassifiziert werden. 9
8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass mehrere Klassifizierungseinheiten (8) und/oder mehrere Objekterkennungseinheiten (4) fusioniert werden.
9. Verfahren nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass Sensorsignale verschiedener Sensoren (6) der Sensorik (2) an die Klassifizierungseinheit (8) und/oder Objekterkennungseinheit (4) übergeben werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass in der Prozessoreinheit (3) ein digitaler Zwilling der Umgebung erzeugt wird.
11. Mobiler Logistik-Roboter zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 10 mit einer Einrichtung (15) zur Erzeugung einer Umgebungskarte (5) für den mobilen Logistik-Roboter, die eine Sensorik (2) zur Erfassung der Umgebung des mobilen Logistik-Roboters und eine Prozessoreinheit (3) zur Auswertung der Sensordaten umfasst, wobei die Prozessoreinheit (3) dazu eingerichtet ist, ein virtuelles Raster der Umgebung mit Zellen zu erzeugen und die Zellen, in denen Objekte (1) detektiert werden, als belegte Zellen zu kennzeichnen und die Zellen, in denen keine Objekte (1) detektiert werden, als freie Zellen zu kennzeichnen, wodurch eine Repräsentation der Umgebung erzeugbar ist, dadurch gekennzeichnet, dass die Prozessoreinheit (3) eine Identifikationseinheit (14) umfasst, die dazu ausgebildet ist, die Objekte (1), die die Zellen belegen, zu identifizieren. 2. Mobiler Logistik-Roboter nach Anspruch 11, dadurch gekennzeichnet, dass die Identifikationseinheit (14) mindestens eine Klassifizierungseinheit (8) und/oder mindestens eine Objekterkennungseinheit (4) umfasst. 3. Mobiler Logistik-Roboter nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Sensorik (2) mindestens einen optischen Sensor (6), insbesondere einen Laserscanner und/oder eine Kamera (7) umfasst. 4. Mobiler Logistik-Roboter nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Sensorik (2) mindestens einen Radar-Sensor umfasst.
EP22821974.7A 2021-12-17 2022-11-23 Verfahren zur erzeugung einer umgebungskarte für einen mobilen logistik-roboter und mobiler logistik-roboter Pending EP4449221A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021133614.7A DE102021133614A1 (de) 2021-12-17 2021-12-17 Verfahren zur Erzeugung einer Umgebungskarte für einen mobilen Logistik-Roboter und mobiler Logistik-Roboter
PCT/EP2022/082947 WO2023110341A1 (de) 2021-12-17 2022-11-23 Verfahren zur erzeugung einer umgebungskarte für einen mobilen logistik-roboter und mobiler logistik-roboter

Publications (1)

Publication Number Publication Date
EP4449221A1 true EP4449221A1 (de) 2024-10-23

Family

ID=84487689

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22821974.7A Pending EP4449221A1 (de) 2021-12-17 2022-11-23 Verfahren zur erzeugung einer umgebungskarte für einen mobilen logistik-roboter und mobiler logistik-roboter

Country Status (5)

Country Link
US (1) US20250042016A1 (de)
EP (1) EP4449221A1 (de)
CN (1) CN118435142A (de)
DE (1) DE102021133614A1 (de)
WO (1) WO2023110341A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023125462A1 (de) 2023-09-20 2025-03-20 Still Gesellschaft Mit Beschränkter Haftung Vorrichtung und Verfahren zum automatisierten Erkennen von Gefahrensituationen in einem Warenlager
EP4530942B1 (de) * 2023-09-27 2025-08-13 Sick Ag Erzeugen eines umgebungsmodells
DE102024116308A1 (de) 2024-06-11 2025-12-11 Still Gesellschaft Mit Beschränkter Haftung Vorrichtung, Verfahren und System zum Betreiben eines Flurförderzeugs in einem Warenlager
DE102024131005A1 (de) 2024-10-24 2026-04-30 Still Gesellschaft Mit Beschränkter Haftung Ticketing-System für ein intralogistisches Umfeld mit Flurförderzeugen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021175434A1 (en) * 2020-03-05 2021-09-10 Cambridge Enterprise Limited System and method for predicting a map from an image

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4999734B2 (ja) * 2008-03-07 2012-08-15 株式会社日立製作所 環境地図生成装置、方法及びプログラム
DE102015119501A1 (de) * 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
US11449061B2 (en) * 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
US10754351B2 (en) * 2017-02-28 2020-08-25 Toyota Jidosha Kabushiki Kaisha Observability grid-based autonomous environment search
CN108344414A (zh) * 2017-12-29 2018-07-31 中兴通讯股份有限公司 一种地图构建、导航方法及装置、系统
US10754343B2 (en) * 2018-02-15 2020-08-25 X Development Llc Semantic mapping of environments for autonomous devices
US11179850B2 (en) * 2019-04-24 2021-11-23 Intrinsic Innovation Llc Robot motion planning
US11467599B2 (en) * 2020-09-15 2022-10-11 Irobot Corporation Object localization and recognition using fractional occlusion frustum
JP7657301B2 (ja) * 2020-11-30 2025-04-04 クラッターボット インコーポレイテッド クラッターをクリアするロボットシステム
CN117545598A (zh) * 2021-06-25 2024-02-09 西门子公司 用于自主箱中抓取的高级传感器融合和多标准决策
US12007785B2 (en) * 2021-08-31 2024-06-11 Samsung Electronics Co., Ltd. Cleaning robot capable of obtaining map of indoor space and operating method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021175434A1 (en) * 2020-03-05 2021-09-10 Cambridge Enterprise Limited System and method for predicting a map from an image

Also Published As

Publication number Publication date
WO2023110341A1 (de) 2023-06-22
US20250042016A1 (en) 2025-02-06
CN118435142A (zh) 2024-08-02
DE102021133614A1 (de) 2023-06-22

Similar Documents

Publication Publication Date Title
EP4449221A1 (de) Verfahren zur erzeugung einer umgebungskarte für einen mobilen logistik-roboter und mobiler logistik-roboter
DE112017006018T5 (de) Mobile robotische vorrichtung, die unstrukturierte daten von innenumgebungen verarbeitet, um räume in einer einrichtung zu segmentieren, um die bewegung der vorrichtung durch die einrichtung zu verbessern
DE60222449T2 (de) Mobile objektverfolgung
EP1987371B1 (de) Verfahren zur detektion von objekten mit einer schwenkbaren sensoreinrichtung
DE102021002798A1 (de) Verfahren zur kamerabasierten Umgebungserfassung
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
EP3142913B1 (de) Umfeldkarte für fahrflächen mit beliebigem höhenverlauf
DE102021201369A1 (de) Verfahren und System zur Bestimmung einer Okklusion bzw. Verdeckung innerhalb eines Kamerasichtfelds
EP3977225B1 (de) Verfahren zur erstellung einer umgebungskarte für die verwendung bei der autonomen navigation eines mobilen roboters
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
DE102018122374A1 (de) Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
DE102012214307B4 (de) Verfahren und Vorrichtung zum Modellieren eines Umfelds
DE102017120996A1 (de) Verfahren und Vorrichtung zur Kollisionsvermeidung beim Betrieb eines Flurförderzeugs
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102020127315B4 (de) System und Verfahren zum Annotieren von Automobilradardaten
DE102021001282A1 (de) Mobiles System und Verfahren zum Betreiben eines mobilen Systems
DE102019208384A1 (de) Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
EP4239428B1 (de) Verfahren und system zur navigation eines flurförderzeugs
DE102015010514B4 (de) Verfahren zur Ermittlung von Karteninformationen für einen Kartendatensatz einer Navigationsumgebung und Recheneinrichtung
WO2023151856A1 (de) Überwachungsvorrichtung für einen lagerbereich, intralogistikanordnung mit der überwachungsvorrichtung sowie überwachungsverfahren
WO2023072500A1 (de) Verfahren zur erfassung von ladegut
DE102021124404B3 (de) Verfahren und Vorrichtung zum Ermitteln eines Gütewerts eines Parkraums
DE102023125123B4 (de) Verfahren zum Betreiben eines Flurförderzeugs in einem Lager und Flurförderzeug
EP4604082A1 (de) Verfahren zum erfassen einer position und orientierung eines vorbestimmten gegenstands in einer umgebung eines flurförderzeugs
EP4498039A1 (de) Verfahren zum filtern von eingaben an ein lokalisierungsverfahren eines autonomen fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240611

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250506