EP4143653A1 - Navigieren eines roboters - Google Patents

Navigieren eines roboters

Info

Publication number
EP4143653A1
EP4143653A1 EP21723151.3A EP21723151A EP4143653A1 EP 4143653 A1 EP4143653 A1 EP 4143653A1 EP 21723151 A EP21723151 A EP 21723151A EP 4143653 A1 EP4143653 A1 EP 4143653A1
Authority
EP
European Patent Office
Prior art keywords
area
robot
navigation system
drive unit
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP21723151.3A
Other languages
English (en)
French (fr)
Other versions
EP4143653B1 (de
Inventor
Fabian BAIER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4143653A1 publication Critical patent/EP4143653A1/de
Application granted granted Critical
Publication of EP4143653B1 publication Critical patent/EP4143653B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory

Definitions

  • the invention relates to a method for navigating a robot moved by means of a drive unit, in which a first navigation system assigned to a first area determines a first route in the first area using first environmental data from the first area and corresponding first control data for moving the robot along the first route for the drive unit of the robot.
  • the invention further relates to a computer program product comprising a program for a computer unit of a control device of a robot.
  • the invention also relates to a robot with a drive unit for moving the robot and a first navigation system assigned to a first area for determining a first route in the first area using first environmental data from the first area and for providing corresponding first control data for moving the robot along of the first travel path for the drive unit of the robot.
  • the invention also relates to a production facility with a first area, a second area that is moved with respect to the first area, and a robot that can be moved from the respective area to the other area.
  • a component that is used for two-dimensional navigation is also known as a ROS navigation stack.
  • the components for navigation are for example from GUIMAR ⁇ ES, Rodrigo Longhi, et al. in ROS navigation: Concepts and tutorial, Robot Operating System (ROS), Springer, Cham, 2016, Pages 121 to 160, which can also be viewed at the Internet address https: //link.springer.eom/chapter/10.1007/978-3-319-26054-9_6.
  • the navigation system is then divided into, among other things, map provision, global route planning, local route planning, in particular obstacle avoidance and localization.
  • An option that is available under ROS but is not integrated in the ROS navigation stack is formed by components of a Mobile Robotic Programming Toolkit (mrpt).
  • RODRIGUEZ Enrique, et al.
  • Both location and navigation methods, which are contained in the components, use particle filter methods.
  • the components are also based, among other things, on using only a single coordinate system or reference system, which is used as the basis for determining the navigation.
  • the invention is based on the object of improving the navigation of the robot, which is moved by means of the drive unit, in particular within a production facility in which the robot is moved in a mobile manner in areas which themselves move relative to one another.
  • the invention proposes a method, a computer program product, a robot and a production facility according to the independent claims.
  • Advantageous developments result from the features of the dependent claims.
  • the invention proposes in particular that a second navigation system, which is assigned to a second area that is moved relative to the first area, determines a second route in the second area using second environment data of the second area and corresponding second control data for the drive unit of the robot provides for moving along the second travel path.
  • the invention proposes in particular that the computer program product comprises a program for a computer unit of a control device of a robot, the program having program code sections of a program for executing the steps of a method according to the invention when the program is executed by the computer unit will
  • the invention proposes in particular that it have a second navigation system assigned to a second area moved relative to the first area for determining a second route in the second area using second environmental data from the second area and for providing corresponding second control data for the drive unit of the robot to move along the second travel path.
  • the invention is based, inter alia, on the idea that the robot can be positioned and / or navigated or guided by means of second navigation systems which preferably use two different reference systems or coordinate systems.
  • the navigation systems can at least partially use the ROS navigation stack or the like, for example.
  • the route is preferably divided into at least the first and the second route, the first route being in the first area and the second route being in the second area.
  • Each of the coordinate systems is preferably coupled to the respective area, so that the two coordinate systems or reference systems are also moved to one another in accordance with the movement of the areas to one another.
  • One example is a movement of the robot from a stationary area of a production facility onto a conveyor belt or a push-skid unit, as it is used in a cycle-based flow production.
  • the reference system or the coordinate system is preferably changed by changing the use of the navigation systems.
  • the environment perceived by means of a laser scanner of the robot, which previously appeared static in the associated reference system or coordinate system, is now moved relative to the robot without the drive unit executing a corresponding movement.
  • the invention therefore provides for the working area of the robot, which in particular comprises the first and the second area, to be divided into two different sub-areas, namely the first area and the second area.
  • the first area can preferably be stationary, whereas the second area is preferably moved with respect to the first area. This corresponds to dividing a navigation map into two corresponding parts.
  • a partial card can be assigned to the movable belt or the push-skid unit.
  • Another partial map is assigned to the rest of the environment, which is stationary.
  • Both partial maps preferably each use an individual coordinate system or reference system on which the navigation or positioning is based and, for example, can include an overlapping map area which corresponds to at least one dimension of the robot.
  • the reference systems or coordinate systems and / or the partial maps can preferably be spatially correctly aligned to one another at any time using data from a belt drive of the belt or the push-skid unit, so that a current representation of the environment, which includes at least the areas, results at a respective point in time .
  • the respective navigation systems therefore only need to use the respective current environment data or partial maps for their navigation and not use the part that is moved from their point of view.
  • a tree structure of coordinate systems or reference systems can be achieved, so that a respective complex navigation task can be divided into corresponding parts.
  • stable and reliable control of the robot when moving can be achieved by means of the drive unit.
  • the invention can of course also include more than two areas that are moved relative to one another and can be adapted accordingly.
  • Moving in the context of the present application means that the robot changes its local position, preferably within a respective one of the areas, by moving or moving, for example, along the travel path that can include the first and second travel paths.
  • the robot can therefore also have a Be a transport vehicle.
  • the robot can, however, also be a work device that can take on assignable activities in the production facility.
  • the route can include a trajectory that is determined by a respective one of the navigation systems and along which the robot is moved.
  • the respective navigation system provides corresponding control data for the drive unit of the robot so that it moves along the route.
  • the route can also be formed only by a single position or by several positions. As a result of the movement or movement of the robot, its position changes at least in the respective area in which the robot is arranged.
  • the navigation system therefore preferably also includes a computer program which can be executed on a control device of the robot.
  • the control device or the computer unit can at least partially also be comprised by the drive unit.
  • the navigation system can also include one or more hardware circuits.
  • the navigation system is preferably at least partially an application in the manner of a computer program.
  • the control device comprises the program-controlled computer unit, which can be controlled by means of the computer program in such a way that it is able to provide the desired functionality according to the invention.
  • the control device can be at least partially encompassed by the drive unit. However, it can also be designed at least partially as a separate unit of the robot.
  • the first and the second navigation system communicate with the drive unit via the same interface. This makes it possible to switch between the navigation systems for controlling the drive unit in a simple manner. As a result, switching between the navigation systems can be achieved not only quickly but also reliably.
  • the interface can be formed, for example, by predeterminable control data that are provided for and / or transmitted to the drive unit, in particular the control device.
  • this is a software interface that enables data to be exchanged between applications that are connected to the respective interface.
  • the first and the second navigation system are operated independently of one another and that the drive unit either only communicates with the first or only with the second navigation system. It can thereby be achieved that the drive unit is preferably always only controlled by the navigation system which is assigned to the respective area in which the robot is located. It is therefore not necessary for both navigation systems to be active at the same time. This makes it possible to save computer capacity when navigating.
  • the navigation systems can be encapsulated so that they can be operated essentially independently of one another. Depending on requirements, the required navigation system can also be partially deactivated.
  • the first and the second navigation system preferably use at least partially shared data to determine the respective routes.
  • the data can be stored in a shared memory which the first and the second navigation system access.
  • This memory can be a superordinate memory of a control center or the like.
  • the first and second areas form at least one common overlap area and that the communication between the drive unit and the navigation systems when the robot travels through the overlap area from one area to the other area from one navigation system to the other the navigation system changes.
  • This makes it possible in a simple manner to enable a reliable change of the navigation systems during the transition from the first area to the second area.
  • the instabilities occurring in the prior art can thereby be further avoided. It is thus achieved that the robot can reliably switch from one area to the other.
  • the overlap area is an area which preferably has dimensions which at least correspond to the dimensions of the robot in the area plane.
  • the robot can be moved from the respectively assigned area into the overlap area by means of one of the navigation systems, in which case In the overlapping area, the navigation systems are then changed and the robot is subsequently moved into the assigned other area by means of the other navigation system.
  • the overlapping area thus enables a reliable and mobile handover of the control of the robot in the event of a transition from one of the areas to the respective other area.
  • the respective environmental data be determined separately before use by the respective navigation systems.
  • the environmental data, from which the corresponding maps or partial maps can be determined can have been determined separately before the robot or the navigation systems are started up.
  • environment sensor system for short, to at least partially determine the corresponding environment data before the robot is used in normal operation.
  • an adaptive neural network can also be used, the robot being moved accordingly during a training mode.
  • other options for recording the environmental data can also be considered or used in combination.
  • first and second environmental data relate to respective first and second reference systems and, in particular, when the robot moves from a respective area to the respective other area, a reference point of the respective other area is recorded.
  • the environmental data are accordingly adapted to or linked to the respective areas to which they belong.
  • the environmental data of the first area are preferably related to the reference system or coordinate system assigned to the first area.
  • a reference point of the respective other area is recorded. This can be done using the robot-side environment sensors. This has the advantage that the transfer of one the navigation systems can be facilitated to the respective other of the navigation systems. Because the reference point of the respective other coordinate system is detected, a comparison can be improved in a simple manner when the robot moves from one area to the other area.
  • the respective active sub-scenario or navigation system can communicate the currently determined position of the robot to the inactive sub-scenario or navigation system. This enables a good initialization when changing between the active navigation system and the inactive navigation system and can thereby determine a stable localization during the transition.
  • the scenarios are preferably switched over automatically as soon as the robot has moved in the overlapping area and is at a speed in the direction of the other area.
  • the encapsulation of the navigation systems makes it possible to use or operate the interfaces externally, in particular with regard to the drive unit, and thus to implement a change in a fluid and stable manner. It is therefore possible to navigate in a simple manner in the reference system of the conveyor belt or the push skid unit and a stationary reference system.
  • the invention also includes further developments of the robot according to the invention which have features as they have already been described in connection with the further developments of the method according to the invention. For this reason, the corresponding developments of the robot according to the invention are not described again here.
  • the invention also includes the combinations of the features of the described embodiments.
  • 1 shows a schematic representation of a production environment of a vehicle assembly as a manufacturing facility
  • 2 shows a schematic representation of an assembly scenario
  • FIG. 3 shows a schematic illustration of navigation in a fixed area
  • FIG. 5 shows a schematic illustration of a navigation in a transition area
  • FIG. 6 shows a schematic representation of the navigation from the point of view of coordinate systems
  • FIG. 7 shows a schematic map representation of a section of the production environment according to FIG. 1;
  • FIG. 8 shows a schematic map representation of the section according to FIG. 7, which is divided into a stationary and a movable part.
  • the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also develop the invention independently of one another and are thus also to be regarded as part of the invention individually or in a combination other than the one shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
  • FIG. 1 shows, in a schematic representation, a production environment 18 of a vehicle assembly as a production facility.
  • the production environment 18 has a conveyor belt 14 as the second area, to which vehicles 20 are attached, which vehicles are driven through a stationary first area 12 of the production environment 18 by means of the conveyor belt 14.
  • the first area 12 includes, among other things, directly next to a longitudinal extension of the conveyor belt 14, a worker area 22 in which assembly personnel 24 and several robots 10 (FIG. 2) are positioned in order to carry out corresponding assembly activities on the vehicles 20 transported by means of the conveyor belt 14.
  • That Conveyor belt 14 has a transverse extension of about 2.4 meters in the present case. This dimension can also vary as required.
  • the craftsman's area 22 has a width transverse to the longitudinal extension of the conveyor belt 14 of approximately one meter. This dimension can also vary as required.
  • Opposite to the conveyor belt 14 adjoins the worker area 20 in each case with a supply strip 26 in which the material that is required for the assembly is made available.
  • roads 28 are connected, which serve to make material available on the provision strip 26, or to drive it off.
  • FIG. 2 shows a schematic representation of an assembly scenario based on the production environment 18 according to FIG. 1. It can be seen that two fitters 24 and a robot 10 are located in the worker area 22.
  • the demonstration scenario relates to an installation of a gearbox mount and a hydraulic unit in a respective one of the vehicles 20 transported by means of the conveyor belt 14 20 are provided.
  • the transport belt 14 has individual transport sections which follow one another in the longitudinal direction in a direction of movement according to the arrows 38. Each section has a vehicle 20 that is to be assembled. In the left area of the illustrated conveyor belt, a section with a vehicle 20 is shown, in which a robot 10 and a fitter 24 jointly carry out activities on a front section of the vehicle 20. For this purpose, it is necessary for the robot 10 to be able to switch between the worker area 22 and the conveyor belt 14, just like the fitters 24. a drive unit (not shown) of the robot 10 is controlled as explained below.
  • FIG. 7 shows a schematic map representation of a section of the production environment based on FIGS. 1, 2.
  • a navigation map 40 is shown here. With arrows 46 an area of the navigation map 40 is shown which is assigned to the conveyor belt 14 and is therefore movable.
  • FIG. 8 shows in a schematic representation like FIG. 7 how the card 40 is divided using the invention, namely into a card 42 which represents a stationary part or stationary part of the production environment 18, here in particular the worker area 22, the supply strip 26 and the route 29.
  • a map 44 of the movable part that is assigned to the conveyor belt 14 is shown.
  • the two cards 42, 44 provide an overlap area 16. In the present case, the overlap area 16 is larger than the corresponding dimensions of the robot 10.
  • FIG. 3 shows in a schematic representation a navigation from the fixed area 12, based on the map 42 according to FIG. 2, to the moving area 14. It can be seen that a position 48 of the robot 10 is present in the worker area 22, that is, is positioned in the area of the card 42 (Fig. 8).
  • the first navigation system 52 therefore uses the map 42 of the fixed area and also includes a localization unit 54 and a route planner 56.
  • a position of the robot 10 is detected as stationary with the localization unit 54. Accordingly, the navigation or route planning also takes place in a stationary manner with the corresponding route planner 56.
  • the first navigation system 52 thus provides a first travel path 58 with which the drive unit of the robot 10 is controlled accordingly.
  • the robot 10 perceives the environment in each case.
  • the left and right representations each represent the stationary environment data of the first area 12 when the robot 10 is located in the first area 12.
  • the middle illustration shows the moving environment data when the robot 10 is in the second area 14.
  • the robot 10 or its control device uses the first navigation system 52 because the robot 10 is in the worker area 22.
  • the robot 10 is located on the conveyor belt 14 in the middle field, which is why in this case the control device of the robot 10 uses a second navigation system 62 in order to determine a route 68. In this case, the robot 10 therefore uses the control data according to a second travel path 68 in order to be moved accordingly.
  • the second navigation system 62 uses the second map 44 (FIG. 8) in order to determine the position 48 of the robot 10 by means of a localization unit 64.
  • the second navigation system 62 uses a route planning unit 66 to determine the corresponding second travel path 68 or control data for this, which are transmitted to the drive unit of the robot 10.
  • reliable control of the robot 10 can be ensured both on the conveyor belt 14 and in the stationary area 12, in particular the worker area 22.
  • the robot 10 changes from the worker area 22 to the conveyor belt 14 at position 48.
  • FIG. 4 now shows, in a representation like FIG. 3, a movement of the robot 10 from the conveyor belt 14 into the worker area 22.
  • the robot 10 is located on the conveyor belt 14 in the illustration on the left and therefore perceives the environmental data of the first area 12 as being moved , although it does not need to be moved on the conveyor belt 14.
  • the robot 10 is first controlled by the second navigation system 62 using the map 44.
  • the robot position 48 is determined by the localization unit 44, and route planning is carried out according to the route planner 66, which determines the second route 68 and provides corresponding control data the control device of the robot 10 is transmitted.
  • the robot 10 changes from the conveyor belt 14 to the stationary area 12, here the worker area 22.
  • the use of the navigation system by the control device of the robot 10 also changes.
  • the robot 10 is now controlled by the navigation system 52, which is a Carries out localization by means of the localization unit 54 based on the map 42 and carries out a corresponding route planning according to the route planner 56.
  • the first travel path 58 is determined and corresponding control data are transmitted to the drive unit of the robot.
  • a static coordinate system of the first area 12 is designated by 70, which also includes the worker area 22.
  • 74 denotes a speed vector in the direction of the belt edge of the robot 10.
  • 16 denotes the overlap area 16 of the two cards 42, 44.
  • FIG 6 shows a schematic representation of the navigation from the perspective of the respective coordinate systems 70, 72.
  • the shift of the coordinate system of the robot 10 when changing the reference system or when changing between the first and second areas 12, 14 can be seen in the left area of FIG 6 is the reference system of the robot 10 below the reference system 72 of the conveyor belt 14.
  • In the right-hand area is the reference system of the robot 10 below the static reference system 70 of the area 12 and parallel to the reference system of the conveyor belt 14.
  • the exemplary embodiments show how the invention can improve and stabilize the operation of the robot 10 in areas that are moved relative to one another.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Navigieren eines mittels einer Antriebseinheit bewegten Roboters (10), bei dem ein erstes einem ersten Bereich (12) zugeordnetes Navigationssystem einen ersten Fahrweg im ersten Bereich unter Nutzung von ersten Umgebungsdaten des ersten Bereichs (12) ermittelt und entsprechende erste Steuerdaten zum Bewegen des Roboters (10) entlang des ersten Fahrwegs für die Antriebseinheit des Roboters (10) bereitstellt. Ein zweites Navigationssystem, welches einem gegenüber dem ersten Bereich (12) bewegten zweiten Bereich (14) zugeordnet ist, ermittelt einen zweiten Fahrweg im zweiten Bereich unter Nutzung von zweiten Umgebungsdaten des zweiten Bereichs (14) und stellt entsprechende zweite Steuerdaten für die Antriebseinheit des Roboters (10) zum Bewegen entlang des zweiten Fahrwegs bereit.

Description

Beschreibung
Navigieren eines Roboters
Die Erfindung betrifft ein Verfahren zum Navigieren eines mittels einer Antriebseinheit bewegten Roboters, bei dem ein erstes einem ersten Bereich zugeordnetes Navigationssystem einen ersten Fahrweg im ersten Bereich unter Nutzung von ersten Umgebungsdaten des ersten Bereichs ermittelt und entsprechende erste Steuerdaten zum Bewegen des Roboters entlang des ersten Fahrwegs für die Antriebseinheit des Roboters bereitstellt. Die Erfindung betrifft weiterhin ein Rechnerprogrammprodukt umfassend ein Programm für eine Rechnereinheit einer Steuereinrichtung eines Roboters. Die Erfindung betrifft darüber hinaus einen Roboter mit einer Antriebseinheit zum Bewegen des Roboters und einem ersten einem ersten Bereich zugeordneten Navigationssystem zum Ermitteln eines ersten Fahrwegs im ersten Bereich unter Nutzung von ersten Umgebungsdaten des ersten Bereichs und zum Bereitstellen von entsprechenden ersten Steuerdaten zum Bewegen des Roboters entlang des ersten Fahrwegs für die Antriebseinheit des Roboters. Schließlich betrifft die Erfindung auch eine Fertigungsstätte mit einem ersten Bereich, einem gegenüber dem ersten Bereich bewegten zweiten Bereich und einem Roboter, der vom jeweiligen Bereich zum jeweils anderen Bereich bewegbar ist.
In Bezug auf eine Fertigungsstätte können mobile Roboter, fahrerlose Transportsysteme und/oder dergleichen regelmäßig in die Lage kommen, insbesondere bei einer taktgebundenen Fließfertigung, wie sie beispielsweise in der Automobilindustrie vorliegt, bewegte Bänder befahren beziehungsweise überqueren zu müssen. Nicht nur aber besonders hierbei erweist sich die Anwendung von Navigationssystemen als erforderlich. Es ist bekannt, dass im Bereich der mobilen Navigation von Robotern mittels Navigationssystemen Komponenten beziehungsweise Programmkomponenten eines Robot Operating Systems (ROS) genutzt werden. Hierbei handelt es sich um ein Open-Source Projekt, welches unter anderem dazu dient, eine mobile, autonome Servicerobotik im Bereich von Forschung und/oder Entwicklung mit einheitlichen Softwarekomponenten beziehungsweise Rechnerprogrammkomponenten zu unterstützen. In der Industrie finden derartige Komponenten insbesondere Anwendung beim Steuern von fahrerlosen Transportfahrzeugen. Es können ergänzend eigene Implementierungen der Industrie vorgesehen sein. Eine Komponente, die für eine zweidimensionale Navigation genutzt wird, wird auch als ROS-Navigation-Stack bezeichnet. Die Komponenten zur Navigation sind zum Beispiel von GUIMARÄES, Rodrigo Longhi, et al. in ROS navigation: Concepts and tutorial, Robot Operating System (ROS), Springer, Cham, 2016, Seiten 121 bis 160 beschrieben, welches auch unter der Internet-Adresse https://link.springer.eom/chapter/10.1007/978-3-319-26054-9_6 eingesehen werden kann. Das Navigationssystem gliedert sich danach unter anderem in Kartenbereitstellung, globale Wegplanung, lokale Wegplanung, insbesondere Hindernisvermeidung und Lokalisierung. Eine Option, welche unter ROS vorhanden ist, aber nicht in den ROS-Navigation-Stack integriert ist, ist durch Komponenten eines Mobile-Robotic-Programming-Toolkit (mrpt) gebildet. Hierzu offenbart zum Beispiel RODRIGUEZ, Enrique, et al. A ros reactive navigation System for ground vehicles based on tp-space transformations in XXXVII Jornadas de Automatica, 2016, welches auch unter der Internet-Adresse http://ingmec.ual.es/~jlblanco/papers/ja2016reactive.pdf eingesehen werden kann. Beide Ortungs- beziehungsweise Navigationsverfahren, welche in den Komponenten enthalten sind, nutzen Partikelfiltermethoden. Die Komponenten basieren unter anderem ferner darauf, ausschließlich ein einziges Koordinatensystem beziehungsweise Bezugssystem zu nutzen, welches dem Ermitteln der Navigation zugrundegelegt wird.
Um ein sich bewegendes Band beziehungsweise eine Schubskid-Einheit bei einer Roboterpositionierungs- beziehungsweise Roboternavigationsanwendung zu berücksichtigen, wurde bereits versucht, eine Karte, auf deren Basis ein Fahrweg ermittelt wird beziehungsweise navigiert wird, anzupassen, und einen bewegten Teil sowie einen statischen Teil der Navigation beziehungsweise des Fahrwegs in einem gemeinsamen Bezugssystem zusammenzufassen. Eine Problematik besteht hierbei darin, dass verfügbare Positionierungsalgorithmen, wie zum Beispiel Advance-Monte-Carlo-Localization, eine nahezu statische Karte annehmen, um eine Positionierung und/oder Routenplanung beziehungsweise Navigation durchzuführen. Als Abgrenzung hierzu kann zum Beispiel Seif Localization and Mapping (SLAM) gesehen werden. Das ist ein Verfahren, welches auch Staubsaugerroboter nutzen. Bei Verwendung einer dynamisch angepassten Karte kann es bei der Positionierung zu Problemen in Form von Instabilitäten kommen, und zwar unabhängig davon, in welchem der Teile sich der Roboter sich befindet. Dies ergibt sich deshalb, weil verfügbare verwendete Algorithmen statische Karten zum Navigieren als Bedingung erfordern. Diese Karten liegen vorzugsweise digital zum Beispiel als Pixelgrafiken im Dateiformat PGM (Pixel Grid Map) oder dergleichen vor.
Der Erfindung liegt die Aufgabe zugrunde, das Navigieren des mittels der Antriebseinheit bewegten Roboters insbesondere innerhalb einer Fertigungsstätte zu verbessern, bei der der Roboter mobil in Bereichen verfahren wird, die sich selbst zueinander bewegen.
Als Lösung werden mit der Erfindung ein Verfahren, ein Rechnerprogrammprodukt, ein Roboter sowie eine Fertigungsstätte gemäß den unabhängigen Ansprüchen vorgeschlagen. Vorteilhafte Weiterbildungen ergeben sich durch Merkmale der abhängigen Ansprüche.
In Bezug auf ein gattungsgemäßes Verfahren wird mit der Erfindung insbesondere vorgeschlagen, dass ein zweites Navigationssystem, welches einem gegenüber dem ersten Bereich bewegten zweiten Bereich zugeordnet ist, einen zweiten Fahrweg im zweiten Bereich unter Nutzung von zweiten Umgebungsdaten des zweiten Bereichs ermittelt und entsprechende zweite Steuerdaten für die Antriebseinheit des Roboters zum Bewegen entlang des zweiten Fahrwegs bereitstellt.
In Bezug auf ein Rechnerprogrammprodukt wird mit der Erfindung insbesondere vorgeschlagen, dass das Rechnerprogrammprodukt ein Programm für eine Rechnereinheit einer Steuereinrichtung eines Roboters umfasst, wobei das Programm Programmkodeabschnitte eines Programms zum Ausführen der Schritte eines Verfahrens gemäß der Erfindung aufweist, wenn das Programm durch die Rechnereinheit ausgeführt wird
In Bezug auf einen gattungsgemäßen Roboter wird mit der Erfindung insbesondere vorgeschlagen, dass dieser ein zweites einem gegenüber dem ersten Bereich bewegten zweiten Bereich zugeordnetes Navigationssystem zum Ermitteln eines zweiten Fahrwegs im zweiten Bereich unter Nutzung von zweiten Umgebungsdaten des zweiten Bereichs und zum Bereitstellen von entsprechenden zweiten Steuerdaten für die Antriebseinheit des Roboters zum Bewegen entlang des zweiten Fahrwegs aufweist.
Bezüglich einer gattungsgemäßen Fertigungsstätte wird insbesondere vorgeschlagen, dass der Roboter gemäß der Erfindung ausgebildet ist.
Die Erfindung basiert unter anderem auf dem Gedanken, dass der Roboter mittels zweiter Navigationssysteme positioniert und/oder navigiert beziehungsweise geführt werden kann, die vorzugsweise zwei voneinander unterschiedliche Bezugssysteme beziehungsweise Koordinatensysteme nutzen. Die Navigationssysteme können zumindest teilweise beispielsweise den ROS-Navigation-Stack oder dergleichen nutzen. Der Fahrweg wird vorzugsweise in wenigstens in den ersten und den zweiten Fahrweg aufgeteilt, wobei der erste Fahrweg im ersten Bereich und der zweite Fahrweg im zweiten Bereich ist. Jedes der Koordinatensysteme ist dabei vorzugsweise an den jeweiligen Bereich gekoppelt, sodass die beiden Koordinatensysteme beziehungsweise Bezugssysteme entsprechend der Bewegung der Bereiche zueinander ebenfalls zueinander bewegt sind. Ein Beispiel ist dabei ein Verfahren des Roboters von einem ortsfesten Bereich einer Fertigungsstätte auf ein Transportband beziehungsweise eine Schubskid-Einheit, wie es bei einer taktgebundenen Fließfertigung Einsatz findet. Bei einer Überquerung einer Grenze zwischen einem ortsfesten Anstellbereich und der fahrenden Schubskid-Einheit erfolgt vorzugsweise ein Wechsel des Bezugssystems beziehungsweise des Koordinatensystems, indem ein Wechsel der Nutzung der Navigationssysteme erfolgt. Die mittels eines Laserscanners des Roboters wahrgenommene Umgebung, welche zuvor im zugehörigen Bezugssystem beziehungsweise Koordinatensystem statisch erschien, ist nun relativ zum Roboter bewegt, ohne dass die Antriebseinheit eine entsprechende Bewegung ausführt. Die Erfindung sieht daher vor, den Arbeitsbereich des Roboters, der insbesondere den ersten und den zweiten Bereich umfasst, in zwei unterschiedliche Teilbereiche aufzuteilen, nämlich den ersten Bereich und den zweiten Bereich. Der erste Bereich kann vorzugsweise ortsfest sein, wohingegen der zweite Bereich vorzugsweise gegenüber dem ersten Bereich bewegt ist. Dies entspricht einer Aufteilung einer Navigationskarte in zwei entsprechende Teile. Bei dem vorgenannten Beispiel kann eine Teilkarte dem beweglichen Band beziehungsweise der Schubskid-Einheit zugeordnet sein. Eine andere Teilkarte hingegen ist dem Rest der Umgebung zugeordnet, die ortsfest ist. Beide Teilkarten nutzen vorzugsweise jeweils ein individuelles Koordinatensystem beziehungsweise Bezugssystem, welches dem Navigieren beziehungsweise Positionieren zugrundeliegt, und beispielsweise einen überlappenden Kartenbereich umfassen kann, der wenigstens einer Abmessung des Roboters entspricht. Die Bezugssysteme beziehungsweise Koordinatensysteme und/oder die Teilkarten können durch Daten eines Bandantriebes des Bandes beziehungsweise der Schubskid-Einheit vorzugsweise jederzeit, räumlich korrekt zueinander ausgerichtet werden, sodass sich zu einem jeweiligen Zeitpunkt eine jeweils aktuelle Repräsentation der Umgebung, die zumindest die Bereiche umfasst, ergibt. Bei der Erfindung brauchen die jeweiligen Navigationssysteme daher nur die jeweiligen aktuellen Umgebungsdaten beziehungsweise Teilkarten für ihre Navigation zu nutzen und den jeweils aus ihrer Sicht bewegten Teil nicht zu verwenden. Dadurch kann eine Baumstruktur aus Koordinatensystemen beziehungsweise Bezugssystemen erreicht werden, sodass eine jeweilige komplexe Navigationsaufgabe in entsprechende Teile unterteilt werden kann. Dadurch kann eine stabile und zuverlässige Steuerung des Roboters beim Bewegen mittels der Antriebseinheit erreicht werden. Die Erfindung kann natürlich auch mehr als zwei zueinander bewegte Bereiche umfassen und entsprechend adaptiert werden.
Bewegen im Sinne der vorliegenden Anmeldung meint, dass der Roboter seine örtliche Position, vorzugsweise innerhalb eines jeweiligen der Bereiche, verändert, indem er beispielsweise entlang des Fahrwegs, der den ersten und den zweiten Fahrweg umfassen kann, verfahren wird beziehungsweise bewegt wird. Der Roboter kann daher auch ein Transportfahrzeug sein. Der Roboter kann aber auch ein Arbeitsgerät sein, welches vorgebbare Tätigkeiten in der Fertigungsstätte übernehmen kann.
Der Fahrweg kann eine Trajektorie umfassen, die durch ein jeweiliges der Navigationssysteme ermittelt wird und entlang dem der Roboter verfahren wirdl. Zu diesem Zweck stellt das jeweilige Navigationssystem entsprechende Steuerdaten für die Antriebseinheit des Roboters bereit, sodass dieser sich entlang des Fahrwegs bewegt. Dem Grunde nach kann der Fahrweg jedoch auch lediglich durch eine einzige oder durch mehrere Positionen gebildet sein. Durch das Verfahren beziehungsweise Bewegen des Roboters ändert sich seine Position zumindest in dem jeweiligen Bereich, in dem der Roboter angeordnet ist.
Das Navigationssystem umfasst daher vorzugsweise auch ein Rechnerprogramm, welches auf einer Steuereinrichtung des Roboters ausgeführt werden kann. Die Steuereinrichtung beziehungsweise die Rechnereinheit kann zumindest teilweise auch von der Antriebseinheit umfasst sein. Zumindest teilweise kann das Navigationssystem jedoch auch eine oder mehrere Hardwareschaltungen umfassen. Das Navigationssystem ist vorzugsweise zumindest teilweise eine Anwendung nach Art eines Rechnerprogramms.
Die Steuereinrichtung umfasst die programmgesteuerte Rechnereinheit, die mittels des Rechnerprogramms derart gesteuert werden kann, dass sie die gewünschte Funktionalität gemäß der Erfindung bereitzustellen vermag. Die Steuereinrichtung kann zumindest teilweise von der Antriebseinheit umfasst sein. Sie kann aber auch zumindest teilweise als separate Einheit des Roboters ausgebildet sein.
Es wird ferner vorgeschlagen, dass das erste und das zweite Navigationssystem über eine gleiche Schnittstelle mit der Antriebseinheit kommunizieren. Dadurch kann erreicht werden, dass zwischen den Navigationssystemen zum Steuern der Antriebseinheit auf einfache Weise gewechselt werden kann. Dadurch kann das Wechseln zwischen den Navigationssystemen nicht nur schnell sondern auch zuverlässig erreicht werden.
Die Schnittstelle kann zum Beispiel durch vorgebbare Steuerdaten gebildet sein, die für die Antriebseinheit, insbesondere die Steuereinrichtung, bereitgestellt und/oder an diese übermittelt werden. Insbesondere handelt es sich hierbei um eine Softwareschnittstelle, die es ermöglicht, Daten zwischen Anwendungen, die an die jeweilige Schnittstelle angeschlossen sind, auszutauschen. Gemäß einer Weiterbildung wird vorgeschlagen, dass das erste und das zweite Navigationssystem unabhängig voneinander betrieben werden und die Antriebseinheit entweder nur mit dem ersten oder nur mit dem zweiten Navigationssystem kommuniziert. Dadurch kann erreicht werden, dass die Antriebseinheit vorzugsweise immer nur durch das Navigationssystem gesteuert wird, welches dem jeweiligen Bereich zugeordnet ist, in welchem sich der Roboter befindet. Es brauchen daher nicht beide Navigationssysteme zugleich aktiv sein. Dies erlaubt es, Rechnerkapazität beim Navigieren einzusparen. Darüber hinaus können die Navigationssysteme gekapselt werden, sodass sie im Wesentlichen unabhängig voneinander betrieben werden können. Je nach Bedarf kann also das benötigte Navigationssystem zum Teil auch deaktiviert werden.
Vorzugsweise nutzen das erste und das zweite Navigationssystem zum Ermitteln der jeweiligen Fahrwege zumindest teilweise gemeinsame Daten. Die Daten können in einem gemeinsamen Speicher, auf den das erste und das zweite Navigationssystem zugreifen, gespeichert sein. Dieser Speicher kann ein übergeordneter Speicher einer Zentrale oder dergleichen sein. Dadurch besteht die Möglichkeit, dass, insbesondere wenn ein Wechsel der Navigationssysteme aufgrund eines Wechsels der Bereiche erforderlich erscheint, das jeweils nicht aktivierte Navigationssystem schnell zu aktivieren, sodass ein Wechsel zuverlässig und schnell durchgeführt werden kann. Zu diesem Zweck kann vorgesehen sein, dass Bezugspunkte der Bezugssysteme beziehungsweise Koordinatensysteme miteinander verglichen werden und zumindest die gemeinsam genutzten Daten entsprechend für das zu aktivierende Navigationssystem angepasst werden.
Es wird ferner vorgeschlagen, dass der erste und der zweite Bereich wenigstens einen gemeinsamen Überlappungsbereich ausbilden und die Kommunikation zwischen der Antriebseinheit und den Navigationssystemen beim Durchfahren des Überlappungsbereichs durch den Roboter von einem jeweiligen Bereich in den jeweils anderen Bereich von einem jeweiligen Navigationssystem auf das jeweils andere der Navigationssystem wechselt. Das ermöglicht es auf einfache Weise, einen zuverlässigen Wechsel der Navigationssysteme beim Übergang vom ersten Bereich in den zweiten Bereich zu ermöglichen. Insbesondere die beim Stand der Technik auftretenden Instabilitäten können dadurch weiter vermieden werden. Es wird also erreicht, dass der Roboter zuverlässig von einem Bereich in den jeweiligen anderen Bereich wechseln kann. Der Überlappungsbereich ist ein Bereich, der vorzugsweise Abmessungen aufweist, die zumindest den Abmessungen des Roboters in Bereichsebene entsprechen. Dadurch kann der Roboter mittels eines der Navigationssysteme aus dem jeweils zugeordneten Bereich in den Überlappungsbereich bewegt werden, wobei im Überlappungsbereich sodann ein Wechsel der Navigationssysteme erfolgt und der Roboter in der Folge mittels des anderen Navigationssystems in den zugeordneten anderen Bereich bewegt wird. Der Überlappungsbereich ermöglicht also eine zuverlässige und mobile Übergabe der Steuerung des Roboters bei einem Übergang von einem der Bereiche in den jeweiligen anderen Bereich.
Es wird ferner vorgeschlagen, dass die jeweiligen Umgebungsdaten vor einer Nutzung durch die jeweiligen Navigationssysteme separat ermittelt werden. Die Umgebungsdaten, aus denen die entsprechenden Karten beziehungsweise Teilkarten ermittelt werden können, können vor einer Inbetriebnahme des Roboters beziehungsweise der Navigationssysteme separat ermittelt worden sein. Dem Grunde nach besteht natürlich auch die Möglichkeit, eine entsprechende Umfelderfassungssensorik des Roboters, im Folgenden kurz Umfeldsensorik genannt, dazu zu nutzen, die entsprechenden Umgebungsdaten zumindest teilweise zu ermitteln, bevor eine Nutzung des Roboters im bestimmungsgemäßen Betrieb erfolgt. Zu diesem Zweck kann zum Beispiel auch ein lernfähiges neuronales Netz genutzt werden, wobei der Roboter während eines Trainingsmodus entsprechend verfahren wird. Natürlich können auch weitere Möglichkeiten des Erfassens der Umgebungsdaten in Betracht kommen beziehungsweise in Kombination genutzt werden.
Es wird ferner vorgeschlagen, dass die ersten und die zweiten Umgebungsdaten auf jeweilige erste und zweite Bezugssysteme bezogen sind und insbesondere bei einem Bewegen des Roboters von einem jeweiligen Bereich in den jeweils anderen Bereich ein Bezugspunkt des jeweils anderen Bereichs erfasst wird. Die Umgebungsdaten sind demgemäß an die jeweiligen Bereiche, zu denen sie gehören, angepasst beziehungsweise mit diesen verbunden. Vorzugsweise werden die Umgebungsdaten des ersten Bereichs auf das dem ersten Bereich zugeordneten Bezugssystem beziehungsweise Koordinatensystem bezogen. Dadurch kann das erste Navigationssystem die ersten Umgebungsdaten sehr einfach handhaben.
Entsprechendes gilt für das zweite Bezugssystem. Das hat den großen Vorteil, dass bei den zueinander bewegten Bezugssystemen die jeweiligen Umgebungsdaten zumindest teilweise im Wesentlichen ortsfest sein können, und zwar in Bezug auf das jeweilige Bezugssystem beziehungsweise Koordinatensystem. Dies reduziert den Rechenaufwand bei der Navigation erheblich.
Bei einem Bewegen des Roboters von einem jeweiligen Bereich in den jeweils anderen Bereich wird ein Bezugspunkt des jeweils anderen Bereichs erfasst. Dies kann unter Nutzung der roboterseitigen Umfeldsensorik erfolgen. Dies hat den Vorteil, dass die Übergabe von einem der Navigationssysteme auf das jeweilige andere der Navigationssysteme erleichtert werden kann. Dadurch, dass der Bezugspunkt des jeweiligen anderen Koordinatensystems erfasst wird, kann ein Abgleich beim Übergang des Roboters von dem einen Bereich in den anderen Bereich auf einfache Weise verbessert werden. Das jeweilige aktive Teilszenario beziehungsweise Navigationssystem kann die aktuell ermittelte Position des Roboters dem inaktiven Teilszenario beziehungsweise Navigationssystem mitteilen. Dies ermöglicht eine gute Initialisierung beim Wechsel zwischen dem aktiven Navigationssystem und dem inaktiven Navigationssystem und kann dadurch eine stabile Lokalisierung beim Übergang ermitteln. Das Umschalten der Szenarien erfolgt vorzugsweise automatisch, sobald der Roboter sich in dem Überlappungsbereich bewegt hat und dabei eine Geschwindigkeit in Richtung des anderen Bereich aufweist.
Durch die Kapselung der Navigationssysteme ist es möglich, nach außen, insbesondere in Bezug auf die Antriebseinheit, die Schnittstellen zu nutzen beziehungsweise zu bedienen und damit ein Wechseln flüssig und stabil zu realisieren. Somit besteht auf einfache Weise die Möglichkeit im Bezugssystem des Transportbandes beziehungsweise der Schubskid-Einheit und einem ortsfesten Bezugssystem zu navigieren.
Die für das erfindungsgemäße Verfahren angegebenen Vorteile und Wirkungen gelten gleichermaßen für das Rechnerprogrammprodukt der Erfindung, den Roboter der Erfindung und die Fertigungsstätte gemäß der Erfindung und umgekehrt. Insbesondere können daher Verfahrensmerkmale auch vorrichtungstechnisch und umgekehrt formuliert sein.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Roboters, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Roboters hier nicht noch einmal beschrieben.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:
Fig. 1 eine schematische Darstellung eines Produktionsumfelds einer Fahrzeugmontage als Fertigungsstätte; Fig. 2 eine schematische Darstellung eines Montageszenarios;
Fig. 3 eine schematische Darstellung einer Navigation in einem ortsfesten Bereich;
Fig. 4 eine schematische Darstellung einer Navigation in einem bewegten Bereich;
Fig. 5 eine schematische Darstellung einer Navigation in einem Übergangsbereich;
Fig. 6 eine schematische Darstellung der Navigation aus Sicht von Koordinatensystemen;
Fig. 7 eine schematische Kartendarstellung eines Ausschnitts des Produktionsumfelds gemäß Fig. 1; und
Fig. 8 eine schematische Kartendarstellung des Ausschnitts gemäß Fig. 7, der in einen stationären und einen beweglichen Teil aufgeteilt ist.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebene Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
Fig. 1 zeigt in einer schematischen Darstellung ein Produktionsumfeld 18 einer Fahrzeugmontage als Fertigungsstätte. Zu erkennen ist, dass das Produktionsumfeld 18 ein Transportband 14 als zweiten Bereich aufweist, an dem Fahrzeuge 20 befestigt sind, die durch einen ortsfesten ersten Bereich 12 des Produktionsumfelds 18 mittels des Transportbands 14 gefahren werden. Der erste Bereich 12 umfasst unter anderem unmittelbar neben einer Längserstreckung des Transportbands 14 einen Werkerbereich 22, in dem Montagepersonal 24 und mehrere Roboter 10 (Fig. 2) positioniert sind, um entsprechende Montagetätigkeiten an den mittels des Transportbands 14 transportierten Fahrzeugen 20 vorzunehmen. Das Transportband 14 hat eine Quererstreckung von vorliegend etwa 2,4 Metern. Je nach Bedarf kann diese Abmessung auch variieren. Der Handwerkerbereich 22 hat vorliegend eine Breite quer zur Längserstreckung des Transportbands 14 von etwa einem Meter. Je nach Bedarf kann auch diese Abmessung variieren. Gegenüberliegend zum Transportband 14 grenzt an den Werkerbereich 20 jeweils ein Bereitstellstreifen 26 an, in dem Material, welches für die Montage benötigt wird, bereitgestellt wird. An den Bereitstellstreifen 26 schließen sich dann nach außen Fahrstraßen 28 an, die dazu dienen, Material an den Bereitstellstreifen 26 zur Verfügung zu stellen, beziehungsweise abzufahren.
Fig. 2 zeigt eine schematische Darstellung eines Montageszenarios basierend auf dem Produktionsumfeld 18 gemäß Fig. 1. Zu erkennen ist, dass sich im Werkerbereich 22 zwei Monteure 24 sowie ein Roboter 10 aufhalten. Das Demonstrationsszenario bezieht sich auf einen Einbau eines Getriebelagers und eines Hydroaggregats in ein jeweiliges der mittels des Transportbandes 14 transportierten Fahrzeuge 20. Entsprechend sind im Bereitstellstreifen 26 Getriebelager 30, Kleinteile 32 hierfür, Hydroaggregate 34 sowie Kleinteile 36 hierfür bereitgestellt, die zur Montage an den Kraftfahrzeugen 20 vorgesehen sind.
Das Transportband 14 weist einzelne Transportabschnitte auf, die in einer Bewegungsrichtung gemäß den Pfeilen 38 aufeinander in Längsrichtung folgen. Jeder Abschnitt weißt ein Fahrzeug 20 auf, welches zu montieren ist. Im linken Bereich des dargestellten Transportbands ist ein Abschnitt mit einem Fahrzeug 20 gezeigt, bei dem ein Roboter 10 und ein Monteur 24 gemeinsam an einer Frontpartie des Fahrzeugs 20 Tätigkeiten vornehmen. Zu diesem Zweck ist es erforderlich, dass der Roboter 10 zwischen dem Werkerbereich 22 und dem Transportband 14 wechseln kann, und zwar ebenso wie die Monteure 24. Damit ein zuverlässiger Betrieb der Roboter 10 sowohl im Bereitstellbereich 22 als auch auf dem Transportband 14 möglich ist, wird eine Antriebseinheit (nicht dargestellt) des Roboters 10 wie im Folgenden erläutert, gesteuert.
Fig. 7 zeigt eine schematische Kartendarstellung eines Ausschnitts des Produktionsumfelds basierend auf den Fig. 1, 2. Es ist hier eine Navigationskarte 40 dargestellt. Mit Pfeilen 46 ist ein Bereich der Navigationskarte 40 dargestellt, der dem Transportband 14 zugeordnet ist und daher beweglich ist.
Fig. 8 zeigt in einer schematischen Darstellung wie Fig. 7, wie die Karte 40 unter Nutzung der Erfindung aufgeteilt wird, und zwar in eine Karte 42, die einen stationären Teil beziehungsweise ortsfesten Teil des Produktionsumfelds 18 repräsentiert, hier insbesondere der Werkerbereich 22, der Bereitstellstreifen 26 sowie die Fahrstraße 29. Darüber hinaus ist eine Karte 44 des beweglichen Teils, der dem Transportband 14 zugeordnet ist, dargestellt. Die beiden Karten 42, 44 stellen einen Überlappungsbereich 16 bereit. Der Überlappungsbereich 16 ist vorliegend größer ausgebildet als entsprechende Abmessungen des Roboters 10.
Fig. 3 zeigt in einer schematischen Darstellung eine Navigation vom ortsfesten Bereich 12, basierend auf der Karte 42 gemäß Fig. 2, auf den bewegten Bereich 14. Zu erkennen ist, dass eine Position 48 des Roboters 10 vorliegend im Werkerbereich 22, das heißt, im Bereich der Karte 42 (Fig. 8) positioniert ist. Ein erstes Navigationssystem 52 einer Steuereinrichtung des Roboters 10, die dem ersten Bereich 12 zugeordnet ist, nutzt vorliegend also die stationäre Karte 42, die unter anderem den Logistikbereich - wie oben beschrieben - umfasst. Das erste Navigationssystem 52 nutzt daher also die Karte 42 vom ortsfesten Bereich und umfasst ferner eine Lokalisierungseinheit 54 und einen Routenplaner 56.
Eine Position des Roboters 10 wird hinsichtlich der Lokalisierung als stationär mit der Lokalisierungseinheit 54 erfasst. Entsprechend erfolgt auch die Navigation beziehungsweise Routenplanung stationär mit dem entsprechenden Routenplaner 56. Das erste Navigationssystem 52 liefert somit einen ersten Fahrweg 58, mit der die Antriebseinheit des Roboters 10 entsprechend gesteuert wird.
In den unteren dargestellten Feldern ist ersichtlich, wie eine Umfeldsensorik des Roboters 10 das Umfeld jeweils wahrnimmt. Zu erkennen ist, dass die linke und die rechte Darstellung jeweils die ortsfesten Umfelddaten des ersten Bereichs 12 darstellen, wenn der Roboter 10 sind im ersten Bereich 12 befindet. Dagegen zeigt die mittlere Darstellung die beweglichen Umgebungsdaten, wenn sich der Roboter 10 im zweiten Bereich 14 befindet. Im linken und im rechten Feld nutzt der Roboter 10 beziehungsweise dessen Steuereinrichtung das erste Navigationssystem 52, weil der Roboter 10 sich im Werkerbereich 22 aufhält. Im mittleren Feld befindet sich der Roboter 10 auf dem Transportband 14, weshalb in diesem Fall die Steuereinrichtung des Roboters 10 ein zweites Navigationssystem 62 nutzt, um einen Fahrweg 68 zu ermitteln. In diesem Fall nutzt der Roboter 10 daher die Steuerdaten gemäß einem zweiten Fahrweg 68, um entsprechend verfahren zu werden. Das zweite Navigationssystem 62 nutzt hierfür die zweite Karte 44 (Fig. 8), um mittels einer Lokalisierungseinheit 64 die Position 48 des Roboters 10 zu ermitteln. In diesem Fall wurde festgestellt, dass die Position 48 des Roboters 10 auf dem Transportband 14 ist, weshalb das zweite Navigationssystem 62 mittels einer Routenplanungseinheit 66 den entsprechenden zweiten Fahrweg 68 beziehungsweise Steuerdaten hierzu ermittelt, die an die Antriebseinheit des Roboters 10 übermittelt werden. Dadurch kann sowohl auf dem Transportband 14 als auch im stationären Bereich 12, insbesondere dem Werkerbereich 22, ein zuverlässiges Steuern des Roboters 10 gewährleistet werden. In Fig. 3 wechselt der Roboter 10 an der Position 48 vom Werkerbereich 22 auf das Transportband 14.
Fig. 4 zeigt nun in einer Darstellung wie Fig. 3 eine Bewegung des Roboters 10 vom Transportband 14 in den Werkerbereich 22. Der Roboter 10 befindet sich bei der linken Darstellung auf dem Transportband 14 und nimmt deshalb die Umgebungsdaten des ersten Bereichs 12 als bewegt wahr, obwohl er auf dem Transportband 14 nicht bewegt sein zu braucht. Gesteuert wird der Roboter 10 in diesem Betriebszustand zunächst durch das zweite Navigationssystem 62 unter Nutzung der Karte 44. Mittels der Lokalisierungseinheit 44 wird die Roboterposition 48 ermittelt, und es erfolgt eine Routenplanung gemäß dem Routenplaner 66, der den zweiten Fahrweg 68 ermittelt und entsprechende Steuerdaten an die Steuereinrichtung des Roboters 10 übermittelt. Im mittleren Feld wechselt der Roboter 10 vom Transportband 14 in den stationären Bereich 12, hier den Werkerbereich 22. Mit dem Wechseln wechselt auch die Nutzung des Navigationssystems durch die Steuereinrichtung des Roboters 10. Der Roboter 10 wird nunmehr durch das Navigationssystem 52 gesteuert, welches eine Lokalisierung mittels der Lokalisierungseinheit 54 basierend auf der Karte 42 durchführt und eine entsprechende Routenplanung gemäß dem Routenplaner 56 durchführt. Es wird der erste Fahrweg 58 ermittelt, und entsprechende Steuerdaten werden an die Antriebseinheit des Roboters übermittelt.
Fig. 5 verdeutlicht in einer schematischen Darstellung die Navigation im ortsfesten Bereich beziehungsweise im Werkerbereich 22 und auf das bewegte Transportband 14. Mit 70 ist ein statisches Koordinatensystem des ersten Bereichs 12 bezeichnet, welches auch den Werkerbereich 22 umfasst. Mit 72 ist ein Bandkoordinatensystem bezeichnet, welches dem Transportband 14 zugeordnet ist. 74 bezeichnet einen Geschwindigkeitsvektor in Richtung der Bandkante des Roboters 10. 16 bezeichnet den Überlappungsbereich 16 der beiden Karten 42, 44.
Fig. 6 zeigt eine schematische Darstellung der Navigation aus Sicht der jeweiligen Koordinatensysteme 70, 72. Zu erkennen ist die Verschiebung des Koordinatensystems des Roboters 10 bei einem Bezugssystemwechsel beziehungsweise bei einem Wechsel zwischen dem ersten und dem zweiten Bereich 12, 14. Im linken Bereich der Fig. 6 ist das Bezugssystem des Roboters 10 unterhalb vom Bezugssystem 72 des Transportbands 14. Im rechten Bereich ist das Bezugssystem des Roboters 10 unterhalb des statischen Bezugssystems 70 des Bereichs 12 und parallel zum Bezugssystem des Transportbands 14.
Insgesamt zeigen die Ausführungsbeispiele, wie durch die Erfindung das Betreiben des Roboters 10 in zueinander bewegten Bereichen verbessert und stabilisiert werden kann.
Die Ausführungsbeispiele dienen ausschließlich der Erläuterung der Erfindung und sind für diese nicht beschränkend.
Bezugszeichenliste Roboter erster Bereich zweiter Bereich Überlappungsbereich Produktionsumfeld Fahrzeug Werkerbereich Montagepersonal Bereitstellstreifen Fahrstraße Getriebelager Kleinteile Hydroaggregate Kleinteile Bewegungsrichtung Navigationskarte Karte Karte Pfeil Position Navigationssystem Lokalisierungseinheit Routenplaner Fahrweg Navigationssystem Lokalisierungseinheit Routenplanungseinheit Fahrweg Koordinatensystem Bandkoordinatensystem Geschwindigkeitsvektor

Claims

Patentansprüche
1. Verfahren zum Navigieren eines mittels einer Antriebseinheit bewegten Roboters (10), bei dem ein erstes einem ersten Bereich (12) zugeordnetes Navigationssystem einen ersten Fahrweg (58) im ersten Bereich unter Nutzung von ersten Umgebungsdaten des ersten Bereichs (12) ermittelt und entsprechende erste Steuerdaten zum Bewegen des Roboters (10) entlang des ersten Fahrwegs (58) für die Antriebseinheit des Roboters (10) bereitstellt, dadurch gekennzeichnet, dass ein zweites Navigationssystem, welches einem gegenüber dem ersten Bereich (12) be wegten zweiten Bereich (14) zugeordnet ist, einen zweiten Fahrweg (68) im zweiten Be reich unter Nutzung von zweiten Umgebungsdaten des zweiten Bereichs (14) ermittelt und entsprechende zweite Steuerdaten für die Antriebseinheit des Roboters (10) zum Bewegen entlang des zweiten Fahrwegs (68) bereitstellt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das erste und das zweite Navigationssystem über eine gleiche Schnittstelle mit der Antriebseinheit kommunizie ren.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste und das zweite Navigationssystem unabhängig voneinander betrieben werden und die Antriebseinheit entweder nur mit dem ersten oder nur mit dem zweiten Navigati onssystem kommuniziert.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste und das zweite Navigationssystem zum Ermitteln der jeweiligen Fahrwege zumindest teilweise gemeinsame Daten nutzen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der erste und der zweite Bereich (12, 14) wenigstens einen gemeinsamen Überlap pungsbereich (16) ausbilden und die Kommunikation zwischen der Antriebseinheit und den Navigationssystemen beim Durchfahren des Überlappungsbereichs (16) von einem jeweiligen Bereich (12, 14) in den jeweils anderen Bereich (12, 14) durch den Roboter (10) von einem jeweiligen Navigationssystem auf das jeweils andere der Navigations system wechselt.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweiligen Umgebungsdaten vor einer Nutzung durch die jeweiligen Navigationssys teme separat ermittelt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ersten und die zweiten Umgebungsdaten auf jeweilige erste und zweite Bezugssys teme bezogen sind und insbesondere bei einem Bewegen des Roboters (10) von einem jeweiligen Bereich (12, 14) in den jeweils anderen Bereich (12, 14) ein Bezugspunkt des jeweils anderen Bereichs (12, 14) erfasst wird.
8. Rechnerprogrammprodukt umfassend ein Programm für eine Rechnereinheit einer Steuereinrichtung eines Roboters (10), wobei das Programm Programmkodeabschnitte eines Programms zum Ausführen der Schritte eines Verfahrens nach einem der vorher gehenden Ansprüche aufweist, wenn das Programm durch die Rechnereinheit ausge führt wird.
9. Roboter (10) mit einer Antriebseinheit zum Bewegen des Roboters (10) und einem ersten einem ersten Bereich (12) zugeordneten Navigationssystem zum Ermitteln eines ersten Fahrwegs im ersten Bereich (12) unter Nutzung von ersten Umgebungsdaten des ersten Bereichs (12) und zum Bereitstellen von entsprechenden ersten Steuerdaten zum Bewegen des Roboters (10) entlang des ersten Fahrwegs für die Antriebseinheit, gekennzeichnet durch ein zweites einem gegenüber dem ersten Bereich (12) bewegten zweiten Bereich (14) zugeordnetes Navigationssystem zum Ermitteln eines zweiten Fahrwegs im zweiten Be reich (14) unter Nutzung von zweiten Umgebungsdaten des zweiten Bereichs (14) und zum Bereitstellen von entsprechenden zweiten Steuerdaten für die Antriebseinheit des Roboters (10) zum Bewegen entlang des zweiten Fahrwegs.
10. Fertigungsstätte (18) mit einem ersten Bereich (12), einem gegenüber dem ersten Bereich (12) bewegten zweiten Bereich (14) und einem Roboter (10), der von einem je weiligen Bereich (12, 14) zum jeweils anderen Bereich (12, 14) bewegbar ist, dadurch gekennzeichnet, dass der Roboter (10) gemäß Anspruch 9 ausgebildet ist.
EP21723151.3A 2020-04-30 2021-04-27 Navigieren eines roboters Active EP4143653B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020205544.0A DE102020205544A1 (de) 2020-04-30 2020-04-30 Navigieren eines Roboters
PCT/EP2021/060997 WO2021219645A1 (de) 2020-04-30 2021-04-27 Navigieren eines roboters

Publications (2)

Publication Number Publication Date
EP4143653A1 true EP4143653A1 (de) 2023-03-08
EP4143653B1 EP4143653B1 (de) 2024-02-14

Family

ID=75787045

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21723151.3A Active EP4143653B1 (de) 2020-04-30 2021-04-27 Navigieren eines roboters

Country Status (4)

Country Link
EP (1) EP4143653B1 (de)
CN (1) CN115552347B (de)
DE (1) DE102020205544A1 (de)
WO (1) WO2021219645A1 (de)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005034582B4 (de) 2005-07-25 2007-11-08 Eisenmann Anlagenbau Gmbh & Co. Kg Fördersystem und Verfahren zum gleichzeitigen Transport von Werkstücken und Monteuren in einer Fertigungslinie
CN103675878A (zh) * 2012-09-11 2014-03-26 联想(北京)有限公司 一种定位导航的方法及电子设备
US9785911B2 (en) * 2013-07-25 2017-10-10 I AM Robotics, LLC System and method for piece-picking or put-away with a mobile manipulation robot
DE102014013207A1 (de) * 2014-09-06 2015-08-27 Audi Ag Verfahren zur Navigation eines Benutzers zwischen einer ersten Position innerhalb eines Gebäudebereichs und einer zweiten Position
US9908702B2 (en) * 2016-02-05 2018-03-06 Invia Robotics, Inc. Robotic navigation and mapping
WO2017167375A1 (en) * 2016-03-31 2017-10-05 Here Global B.V. Definition of one or more gateways for linking navigation data sets representing maps of at least partially overlapping geographic regions
MX2019008947A (es) * 2017-01-30 2019-09-16 Walmart Apollo Llc Sistemas y metodos para resolver problemas en un sistema de robot autonomo distribuido.
CN108759824A (zh) * 2018-07-24 2018-11-06 顺丰科技有限公司 高精度定位导航系统及方法
CN109917439A (zh) * 2019-04-01 2019-06-21 陕西中良智能科技有限公司 自动导引运输车及其组合定位导航方法和装置

Also Published As

Publication number Publication date
CN115552347A (zh) 2022-12-30
EP4143653B1 (de) 2024-02-14
DE102020205544A1 (de) 2021-11-04
WO2021219645A1 (de) 2021-11-04
CN115552347B (zh) 2025-08-05

Similar Documents

Publication Publication Date Title
EP1913569B1 (de) Verfahren zur flugführung mehrerer im verband fliegender flugzeuge
EP2279467B1 (de) Ansteuerverfahren für ein roboterfahrzeug
DE102016216740A1 (de) System und Verfahren zum Verwenden von durch Geo-Fencing abgegrenzten Führungslinien
EP3616184A1 (de) Verfahren, computerprogrammprodukt, computer-lesbares medium, steuergerät und fahrzeug umfassen das steuergerät zum bestimmen eines kollektiven manövers von wenigstens zwei fahrzeugen
WO1999040496A1 (de) Bahnplanungsverfahren für eine mobile einheit zur flächenbearbeitung
WO2008104488A1 (de) Einparkhalbautomat
DE69007089T2 (de) Verfahren zur elektronischen erzeugung einer strassenanlage für ein automatisch geführtes fahrzeug.
DE102020100749A1 (de) Ermittlung von wegen für fahrzeuge
EP3363273A1 (de) Landwirtschaftliches maschinensystem und verfahren zur planung von fahrspuren zur bearbeitung einer landwirtschaftlichen fläche
DE112019007750T5 (de) Umgebungskarten- Erzeugungsvorrichtung und -Verfahren, Vorrichtung zum Schätzen der lokalen Position, und autonomer beweglicher Körper
EP4457572A1 (de) Verfahren und system zur navigation von mobilen logistik-robotern
DE102020213979A1 (de) Automatisches Führen eines Regelpunktes eines Fahrzeuggespannes entlang einer Soll-Trajektorie
DE102021213380B3 (de) Automatische Ermittlung geometrischer Kennwerte eines Fahrzeugs
EP4143653B1 (de) Navigieren eines roboters
EP4435550B1 (de) Verfahren zur bestimmung einer fahrstrecke für mindestens ein selbstständig fahrendes mobil, manöverautomat, computerprogramm sowie softwareprodukt
EP4296815B1 (de) Verfahren zum bestimmen einer trajektorie für ein mobiles gerät
DE102005012561B4 (de) Verfahren zum Betrieb eines Werkstück-Transfersystems
DE102019123783A1 (de) Verfahren zum Steuern eines Bewegungsverhaltens eines sich autonom bewegenden Roboters
EP4443261B1 (de) Verfahren zum bestimmen einer trajektorie für ein autonomes fahrzeug
DE102019201697A1 (de) Verfahren zum Stoppen eines autonomen Fahrzeugs
DE112005001095T5 (de) Anordnung und Verfahren für die relative Steuerung von Lastbewegungsaktuatoren
EP4281838B1 (de) Planen eines pfads eines fahrerlosen mobilen roboters
EP1410125B1 (de) Fahrzeug-führungssystem zur automatischen fahrzeug-führung
DE102024117697A1 (de) Verfahren zum zumindest semiautonomen Manövrieren eines Fahrzeugs zu einer Zwischenposition und/oder einem Endpunkt entlang einer trainierten Fahrtrajektorie, elektronisches Rangiersystem, sowie Steuergerät
EP4364546A1 (de) Verfahren, steuereinrichtung und lenksystem zum automatisierten lenken eines landwirtschaftlichen fahrzeugs sowie landwirtschaftliches fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221130

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230922

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20231214

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502021002699

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240614

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240514

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240514

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240514

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240614

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240515

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240614

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240614

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502021002699

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240427

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20240430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240427

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240430

26N No opposition filed

Effective date: 20241115

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240427

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240214

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250430

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20250422

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250424

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20250721

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20210427

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20210427