DE102022118151A1 - Driverless transport system - Google Patents
Driverless transport system Download PDFInfo
- Publication number
- DE102022118151A1 DE102022118151A1 DE102022118151.0A DE102022118151A DE102022118151A1 DE 102022118151 A1 DE102022118151 A1 DE 102022118151A1 DE 102022118151 A DE102022118151 A DE 102022118151A DE 102022118151 A1 DE102022118151 A1 DE 102022118151A1
- Authority
- DE
- Germany
- Prior art keywords
- transport
- transport vehicle
- reference mark
- transport system
- driverless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 238000001454 recorded image Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/244—Arrangements for determining position or orientation using passive navigation aids external to the vehicle, e.g. markers, reflectors or magnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/20—Specific applications of the controlled vehicles for transportation
- G05D2105/28—Specific applications of the controlled vehicles for transportation of freight
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/70—Industrial sites, e.g. warehouses or factories
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/10—Optical signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Fahrerloses Transportsystem (1), umfassend ein fahrerloses Transportfahrzeug (2), insbesondere einen fahrbaren Transportroboter, und einen in einem Transportzustand des Transportfahrzeugs (2) mit dem Transportfahrzeug (2) gekoppelten Aufbau (3), der in dem Transportzustand von dem Transportfahrzeug (2) transportierbar ist, wobei eine Identifizierungseinrichtung (8) dazu ausgebildet ist, eine Referenzmarke (7-7") in der Umgebung des Transportfahrzeugs (2), insbesondere in einer Anlage, basierend auf wenigstens einem mittels einer Erfassungseinrichtung (6) des Transportsystems (1) aufgenommenen Bilds und einer Positionsdatenbank der Identifizierungseinrichtung (8) zu erfassen, welche Positionsdatenbank räumliche Positionen von wenigstens zwei Referenzmarken (7-7") umfasst.Driverless transport system (1), comprising a driverless transport vehicle (2), in particular a mobile transport robot, and a structure (3) which is coupled to the transport vehicle (2) in a transport state of the transport vehicle (2) and which is supported by the transport vehicle (2) in the transport state ) can be transported, wherein an identification device (8) is designed to detect a reference mark (7-7") in the surroundings of the transport vehicle (2), in particular in a system, based on at least one by means of a detection device (6) of the transport system (1 ) recorded image and a position database of the identification device (8), which position database includes spatial positions of at least two reference marks (7-7").
Description
Die Erfindung betrifft ein fahrerloses Transportsystem, umfassend ein fahrerloses Transportfahrzeug, insbesondere einen fahrbaren Transportroboter, und einen in einem Transportzustand des Transportfahrzeugs mit dem Transportfahrzeug gekoppelten Aufbau, der in dem Transportzustand von dem Transportfahrzeug transportierbar ist.The invention relates to a driverless transport system, comprising a driverless transport vehicle, in particular a mobile transport robot, and a structure which is coupled to the transport vehicle in a transport state of the transport vehicle and which can be transported by the transport vehicle in the transport state.
Fahrerlose Transportsysteme, umfassend fahrerlose Transportfahrzeuge, wie beispielsweise fahrbare Transportroboter, sind grundsätzlich aus dem Stand der Technik bekannt. Solche fahrerlosen Transportfahrzeuge werden für unterschiedliche Transportaufgaben, zum Beispiel in Produktionsanlagen, wie Produktionshallen, Montagehallen und dergleichen, verwendet, um Gegenstände oder Einrichtungen automatisiert zu transportieren.Driverless transport systems, including driverless transport vehicles, such as mobile transport robots, are basically known from the prior art. Such driverless transport vehicles are used for various transport tasks, for example in production facilities such as production halls, assembly halls and the like, in order to automatically transport objects or equipment.
Ferner bieten derartige fahrerlose Transportsysteme die Möglichkeit, als Aufbau eine Erfassungseinrichtung, zum Beispiel einen 3D-Scanner, zu transportieren, mit dem Erfassungsaufgaben innerhalb der Anlage während des Transports erfüllt werden können. Hierbei kann zum Beispiel die gesamte Anlage oder Teile davon aufgenommen werden, um diese einem dreidimensionalen Modell der Produktionsanlage zuzuführen oder ein solches zu pflegen. Vorteilhafterweise kann das fahrerlose Transportsystem derartige Transportaufgaben autonom ausführen, beispielsweise auch dann, wenn der Betrieb der Anlage ruht, beispielsweise kein Mitarbeiter in der Anlage arbeitet. Dadurch können die Fahrt und die Erfassung ungestört ausgeführt werden.Furthermore, such driverless transport systems offer the possibility of transporting a recording device, for example a 3D scanner, as a structure, with which recording tasks within the system can be carried out during transport. For example, the entire system or parts of it can be recorded in order to add it to a three-dimensional model of the production system or to maintain one. Advantageously, the driverless transport system can carry out such transport tasks autonomously, for example even when operation of the system is idle, for example when no employee is working in the system. This means that the journey and the recording can be carried out undisturbed.
Bei der Ausführung derartiger Erfassungsaufgaben ist es üblich, dass eine Referenz aufgenommener Bilder zu einem bestimmten Referenzpunkt hergestellt wird, sodass beispielsweise eine Registrierung aufgenommener Bilder miteinander möglich ist, um sicherzustellen, dass die Positionierung der Erfassungseinrichtung bei Bildaufnahme bekannt ist und gegebenenfalls unterschiedliche aufgenommene Bilder bzw. in unterschiedlichen Positionen aufgenommenen Bilder korrekt miteinander verbunden werden können. Hierzu ist es im Stand der Technik bekannt, Referenzmarken in der zu erfassenden Reduktionsumgebung anzubringen und diese mit einem Identifizierungsmerkmal, zum Beispiel einem alphanumerischen Code, zu versehen.When carrying out such capture tasks, it is common practice for a reference of captured images to be established to a specific reference point, so that, for example, registration of captured images with one another is possible in order to ensure that the positioning of the capture device during image capture is known and, if necessary, different captured images or Images taken in different positions can be connected correctly. For this purpose, it is known in the prior art to attach reference marks in the reduction environment to be detected and to provide them with an identification feature, for example an alphanumeric code.
Führt ein Benutzer die Erfassungseinrichtung durch die Umgebung, um mittels der Erfassungseinrichtung Bilder aufzunehmen, ist es möglich, die Erfassungseinrichtung an die Referenzmarke zu halten und den entsprechenden alphanumerischen Code einzugeben. Soll die Erfassungseinrichtung autonom durch das fahrerlose Transportsystem bewegt werden, besteht diese Möglichkeit nicht. Aufgrund der Beschaffenheit der Referenzmarke selbst, ist eine Erfassung der Referenzmarke durch die Erfassungseinrichtung deutlich einfacher möglich, als es eine Erfassung des zuvor beschriebenen Identifizierungsmerkmals, zum Beispiel des Codes. Die Referenzmarke mittels der Erfassungseinrichtung zu erfassen und den alphanumerischen Identifizierungscode auszulesen wäre daher nur unter erhöhtem Aufwand, beispielsweise bezogen auf die Güte der Erfassung mittels der Erfassungseinrichtung, möglich.If a user guides the detection device through the environment in order to take images using the detection device, it is possible to hold the detection device to the reference mark and enter the corresponding alphanumeric code. If the detection device is to be moved autonomously by the driverless transport system, this option does not exist. Due to the nature of the reference mark itself, detection of the reference mark by the detection device is much easier than detection of the previously described identification feature, for example the code. Detecting the reference mark using the detection device and reading out the alphanumeric identification code would therefore only be possible with increased effort, for example in relation to the quality of the detection using the detection device.
Der Erfindung liegt die Aufgabe zugrunde, ein demgegenüber verbessertes fahrerloses Transportsystem anzugeben.The invention is based on the object of specifying an improved driverless transport system.
Die Aufgabe wird durch ein fahrerloses Transportsystem gemäß Anspruch 1 gelöst. Die hierzu abhängigen Ansprüche betreffen mögliche Ausführungsformen.The task is solved by a driverless transport system according to
Wie beschrieben, betrifft die Erfindung ein fahrerloses Transportsystem, das ein fahrerloses Transportfahrzeug, zum Beispiel einen autonom fahrbaren Transportroboter, aufweist, das in einem Transportzustand mit einem Aufbau gekoppelt ist, sodass der Aufbau in dem Transportzustand von dem Transportfahrzeug transportiert werden kann. Grundsätzlich ist die Art und Weise, wie der Aufbau mit dem Transportfahrzeug gekoppelt wird, beliebig wählbar. Im Speziellen soll der Aufbau nicht fest mechanisch mit dem Transportfahrzeug gekoppelt sein, sondern nur lose zum Transport mit dem Transportfahrzeug gekoppelt sein, sodass der Aufbau auch im Transportzustand nach oben von dem Transportfahrzeug abgehoben werden könnte. Daraus ergibt sich der Vorteil, dass das Transportfahrzeug nicht fest mit dem Aufbau verbunden ist, sodass das Transportfahrzeug nach Beenden des Transportzustands ohne Umrüstung für jedwede weitere Transportaufgaben verwendet werden kann und nicht auf den Transport des Aufbaus festgelegt ist. Mit anderen Worten kann das Transportfahrzeug, wenn die Erfassungsaufgabe beendet ist, den Aufbau mit der Erfassungseinrichtung abstellen und einen beliebigen anderen Aufbau aufnehmen.As described, the invention relates to a driverless transport system that has a driverless transport vehicle, for example an autonomously mobile transport robot, which is coupled to a structure in a transport state, so that the structure can be transported by the transport vehicle in the transport state. In principle, the way in which the body is coupled to the transport vehicle can be chosen as desired. In particular, the structure should not be firmly mechanically coupled to the transport vehicle, but should only be loosely coupled to the transport vehicle for transport, so that the structure could be lifted upwards from the transport vehicle even in the transport state. This results in the advantage that the transport vehicle is not firmly connected to the body, so that after the transport state has ended, the transport vehicle can be used for any further transport tasks without being converted and is not tied to the transport of the body. In other words, when the detection task is completed, the transport vehicle can park the structure with the detection device and pick up any other structure.
Die Erfindung beruht auf der Erkenntnis, dass das Transportsystem eine Identifizierungseinrichtung aufweist, die dazu ausgebildet ist, eine Referenzmarke in der Umgebung des Transportfahrzeugs, insbesondere in einer Anlage, basierend auf wenigstens einem mittels einer Erfassungseinrichtung des Transportsystems aufgenommenen Bilds und einer Positionsdatenbank der Identifizierungseinrichtung zu erfassen, welche Positionsdatenbank räumliche Positionen von wenigstens zwei Referenzmarken umfasst. Mit anderen Worten beruht die Erfindung darauf, zum einen ein Bild mittels der Erfassungseinrichtung aufzunehmen, auf der die Referenzmarke als solche erfasst werden kann und eine Identifizierung der Referenzmarke basierend auf dem Bild und der Positionsdatenbank vorzunehmen.The invention is based on the knowledge that the transport system has an identification device which is designed to detect a reference mark in the surroundings of the transport vehicle, in particular in a system, based on at least one image recorded by means of a detection device of the transport system and a position database of the identification device , which position database includes spatial positions of at least two reference marks. In other words, the invention is based on, on the one hand, an image using the Recording device on which the reference mark can be recorded as such and to identify the reference mark based on the image and the position database.
In der Positionsdatenbank sind wenigstens zwei Referenzmarken mit ihren räumlichen Positionen vermerkt bzw. gespeichert. Somit ist es möglich, mittels der Erfassungseinrichtung das Bild aufzunehmen und mittels der Identifizierungseinrichtung in dem Bild die Referenzmarke zu identifizieren. Das Bild dient somit dazu, zu erkennen, ob in dem Bild eine Referenzmarke vorliegt, der Erfassungsschritt der Referenzmarke in dem Bild dient somit lediglich dazu, festzustellen ob eine Referenzmarke in dem Bild aufgenommen wurde. Die tatsächliche Identifizierung, d.h., das Feststellen, welche Referenzmarke aus einer Vielzahl in der Anlage vorhandener Referenzmarken in dem Bild aufgenommen wurde, wird basierend auf der Positionsdatenbank vorgenommen. Mit anderen Worten kann die Identifizierungseinrichtung aus der Positionsdatenbank auslesen, welche einzelne Referenzmarke der Vielzahl von Referenzmarken in dem Bild abgebildet ist.At least two reference marks with their spatial positions are noted or stored in the position database. It is therefore possible to record the image using the detection device and to identify the reference mark in the image using the identification device. The image thus serves to detect whether a reference mark is present in the image; the step of detecting the reference mark in the image therefore only serves to determine whether a reference mark has been recorded in the image. The actual identification, i.e. determining which reference mark was recorded in the image from a large number of reference marks present in the system, is carried out based on the position database. In other words, the identification device can read from the position database which individual reference mark of the plurality of reference marks is depicted in the image.
Als Anlage im Sinne der vorliegenden Erfindung wird jedwede Umgebung verstanden, in der Referenzmarken angebracht sind und mittels Erfassungseinrichtung erfasst werden können. Die Anlage ist im Speziellen ein Werk, zum Beispiel eine Produktionsanlage, also beispielsweise eine Produktionshalle, Montagehalle, ein Hangar und dergleichen. Das fahrerlose Transportsystem wird dazu verwendet, den Aufbau mit dem Transportfahrzeug zu transportieren, welcher Aufbau die Erfassungseinrichtung umfasst. Die Erfassungseinrichtung kann somit während des Transports durch das Transportfahrzeug mittels der Erfassungseinrichtung Bilder aufnehmen, die zum Beispiel für eine Modellerstellung der Anlage verwendet werden. Die Identifizierungseinrichtung kann in den Bildern Referenzmarken identifizieren, nämlich zum einen erfassen ob in einem Bild eine Referenzmarke abgebildet ist und, insbesondere basierend auf der Positionsdatenbank, identifizieren welche Referenzmarke in dem Bild abgebildet ist.For the purposes of the present invention, a system is understood to mean any environment in which reference marks are attached and can be detected using a detection device. The system is in particular a factory, for example a production facility, for example a production hall, assembly hall, a hangar and the like. The driverless transport system is used to transport the structure with the transport vehicle, which structure includes the detection device. The capture device can thus record images by means of the capture device during transport by the transport vehicle, which are used, for example, to create a model of the system. The identification device can identify reference marks in the images, namely on the one hand detect whether a reference mark is depicted in an image and, in particular based on the position database, identify which reference mark is depicted in the image.
Letztlich ermöglicht das fahrerlose Transportsystem somit einen zweistufigen Prozess wonach die grundsätzliche Erfassung einer Referenzmarke als solche mittels des Bilds, das durch die Erfassungseinrichtung des Aufbaus erfasst wurde, erfasst werden kann und die Identifikation der Referenzmarke, die in einer Vielzahl von Referenzmarken ein Individuum darstellt, mittels der Identifizierungseinrichtung basierend auf der Positionsdatenbank vorgenommen wird. Mit anderen Worten können alle Referenzmarken individuell mit einem Identifizierungsmerkmal charakterisiert sein, beispielsweise einem alphanumerischen Code. Anstelle das Identifizierungsmerkmal bildbasiert auszulesen wird die Identifizierung basierend auf der Positionsdatenbank vorgenommen. Die Referenzmarke kann hinsichtlich ihrer Koordinaten in der Anlage individuell sein, beispielsweise vorvermessene Koordinaten aufweisen, die in Bezug zu einem definierten Nullpunkt stehen. Der Nullpunkt kann beispielsweise ein Mittelpunkt der Anlage oder ein Nullpunkt der Anlage oder jedwede beliebige weitere räumliche Punkt sein.Ultimately, the driverless transport system thus enables a two-stage process according to which the basic detection of a reference mark as such can be recorded by means of the image that was captured by the detection device of the structure and the identification of the reference mark, which represents an individual in a large number of reference marks, by means of the identification device is made based on the position database. In other words, all reference marks can be individually characterized with an identifying feature, for example an alphanumeric code. Instead of reading out the identification feature based on images, the identification is carried out based on the position database. The reference mark can be individual in terms of its coordinates in the system, for example have pre-measured coordinates that are related to a defined zero point. The zero point can be, for example, a center point of the system or a zero point of the system or any other spatial point.
Bei dem beschriebenen fahrerlosen Transportsystem kann vorgesehen sein, dass die Identifizierungseinrichtung dazu ausgebildet ist, die Referenzmarke mittels des Bilds der Erfassungseinrichtung zu erfassen und die erfasste Referenzmarke basierend auf einem Abstand und/oder einer Position des Transportsystems in der das Bild erfasst wurde aus der Positionsdatenbank zu bestimmen. Wie zuvor beschrieben, kann mittels der Erfassungseinrichtung ein Bild erfasst werden, in dem die Referenzmarke abgebildet ist. Die Identifizierungseinrichtung kann somit die Referenzmarke in dem aufgenommenen bzw. erfassten Bild erfassen, d.h. Bildinformationen extrahieren, ob und gegebenenfalls wo in dem Bild die Referenzmarke abgebildet ist.In the driverless transport system described, it can be provided that the identification device is designed to detect the reference mark using the image of the detection device and to retrieve the detected reference mark from the position database based on a distance and/or a position of the transport system in which the image was captured determine. As described above, the capture device can be used to capture an image in which the reference mark is depicted. The identification device can thus detect the reference mark in the recorded or captured image, i.e. extract image information as to whether and, if necessary, where in the image the reference mark is depicted.
Ferner kann die Identifizierungseinrichtung basierend auf einem Abstand und/oder einer Position des Transportsystems in der das Bild erfasst wurde, zum Beispiel eine Position des Transportsystems in der Anlage oder einem Abstand der des Transportsystems zu einer Struktur der Anlage bzw. wenigstens einer weiteren Referenzmarke, aus der Positionsdatenbank bestimmen, welche Referenzmarke in dem Bild abgebildet ist. Anderen Worten kann aus einer Vielzahl von Referenzmarken, die der Positionsdatenbank gespeichert sind, abstandsbasiert oder positionsbasiert diejenige Referenzmarke als die in dem erfassten oder aufgenommenen Bild abgebildete Referenzmarke bestimmt werden, deren Position in der Positionsdatenbank der erfassten Referenzmarke am nächsten kommt. Da die Positionsdatenbank die Positionen aller Referenzmarken aufweisen kann, kann bestimmt werden, welche Referenzmarken infrage kommen. Durch die aktuelle Position des Transportsystems in der das Bild erfasst wurde bzw. einen Abstand des Transportsystems zu dieser Position kann bestimmt werden, welche der Referenzmarken in dem Bild abgebildet ist.Furthermore, the identification device can be based on a distance and/or a position of the transport system in which the image was captured, for example a position of the transport system in the system or a distance of the transport system from a structure of the system or at least one further reference mark the position database determine which reference mark is shown in the image. In other words, from a plurality of reference marks that are stored in the position database, the reference mark whose position in the position database comes closest to the recorded reference mark can be determined as the reference mark depicted in the captured or recorded image, based on distance or position. Since the position database can have the positions of all reference marks, it can be determined which reference marks are suitable. The current position of the transport system in which the image was captured or a distance of the transport system from this position can be used to determine which of the reference marks is depicted in the image.
Hierbei kann das Transportsystem zur Positionsbestimmung ausgebildet sein, d.h., dass die Position des Transportfahrzeugs seitens des Transportsystems bestimmt werden kann. Die Identifizierungseinrichtung kann somit eine erfasste Referenzmarke als diejenige Referenzmarke der Positionsdatenbank mit dem geringsten Abstand zu der Position des Transportfahrzeugs bei Bilderfassung identifizieren. Grundsätzlich sind an die Positionsbestimmung des Transportfahrzeugs bzw. des Aufbaus nur geringe Anforderungen zu stellen, da der Abstand, in dem die Referenzmarken angeordnet sind gegenüber der Genauigkeit der Positionsbestimmung deutlich größer sind.The transport system can be designed to determine the position, that is, the position of the transport vehicle can be determined by the transport system. The identification device can thus assign a detected reference mark as the reference mark in the position database with the shortest distance identify the position of the transport vehicle when capturing images. In principle, only low demands are placed on the position determination of the transport vehicle or the structure, since the distance at which the reference marks are arranged is significantly greater than the accuracy of the position determination.
Mit anderen Worten ist es ausreichend, die Positionsbestimmung seitens des Transportsystems auf mehrere Meter genau auszuführen, da der Abstand zwischen den Referenzmarken deutlich größer gewählt ist. Eine solche Grobbestimmung der Position seitens des Transportsystems ist daher ausreichend, um diese mit den Positionen der Referenzmarken in der Positionsdatenbank abzugleichen. Dadurch kann bestimmt werden, welche Referenzmarke am nächsten an derjenigen Position ist, in der die Referenzmarke in dem Bild aufgenommen wurde. Es ist daher vorteilhafterweise nicht erforderlich, Identifizierungsmerkmale der Referenzmarke bildbasiert zu erfassen, um zu bestimmen welche Referenzmarke in dem Bild erfasst wurde, sondern dies kann positionsbasiert vorgenommen werden. Die Identifizierung der Referenzmarke kann somit basierend auf dem minimalen Abstand vorgenommen werden bzw. kann die Referenzmarke aus der Positionsdatenbank als die erfasste Referenzmarke bestimmt werden, die den geringsten Abstand zu der Position des Transportsystems bei Bilderfassung aufweist.In other words, it is sufficient for the transport system to determine the position with an accuracy of several meters, since the distance between the reference marks is chosen to be significantly larger. Such a rough determination of the position by the transport system is therefore sufficient to compare it with the positions of the reference marks in the position database. This makes it possible to determine which reference mark is closest to the position in which the reference mark was recorded in the image. It is therefore advantageously not necessary to capture identification features of the reference mark on an image-based basis in order to determine which reference mark was captured in the image, but this can be done on a position-based basis. The reference mark can therefore be identified based on the minimum distance or the reference mark can be determined from the position database as the recorded reference mark that has the shortest distance to the position of the transport system during image capture.
Wie beschrieben, kann das Transportsystem zur Positionsbestimmung ausgebildet sein. Die Positionsbestimmung kann beispielsweise mittels einer Positionserfassungseinrichtung des Transportfahrzeugs oder mittels der Erfassungseinrichtung des Aufbaus durchgeführt werden. Die Positionserkennung des Fahrzeugs kann zum Beispiel basierend auf einer Routenführung des Transportfahrzeugs oder mittels Sicherheitserfassungseinrichtungen, Funk, GPS, Sensordaten von Näherungssensoren oder Kameraeinrichtungen des Transportfahrzeugs erfolgen. Ebenso kann mittels der Erfassungseinrichtung, beispielsweise bildbasiert, eine Positionsbestimmung erfolgen.As described, the transport system can be designed to determine position. The position determination can be carried out, for example, by means of a position detection device of the transport vehicle or by means of the detection device of the body. The position detection of the vehicle can be carried out, for example, based on route guidance of the transport vehicle or by means of safety detection devices, radio, GPS, sensor data from proximity sensors or camera devices of the transport vehicle. A position determination can also be carried out using the detection device, for example based on images.
Das Transportsystem kann zur Positionsbestimmung basierend auf einer Erfassung eines Drittobjekts ausgebildet sein, dessen Position bekannt ist, zum Beispiel in der Positionsdatenbank hinterlegt ist. Derartige Drittobjekte können markante Punkte bzw. sogenannte „Landmarks“ sein. Als Drittobjekte können zum Beispiel Markierungen in der Anlage herangezogen werden, zum Beispiel Brandschutzeinrichtungen, Gefahrenschilder, Positionen von Produktionseinrichtungen, wie Robotern, Regalen, Bewegungsbereiche für Fahrzeuge oder Gabelstapler oder Personen, anderweitige Label, wie beispielsweise RFID-Label und dergleichen.The transport system can be designed to determine the position based on a detection of a third object whose position is known, for example stored in the position database. Such third-party objects can be prominent points or so-called “landmarks”. Markings in the system can be used as third-party objects, for example fire protection devices, danger signs, positions of production facilities such as robots, shelves, movement areas for vehicles or forklifts or people, other labels such as RFID labels and the like.
Nach einer weiteren Ausgestaltung des fahrerlosen Transportsystems kann das Transportsystem dazu ausgebildet sein, eine erfasste Referenzmarke abstandsbasiert zu plausibilisieren. Wird durch die Identifizierungseinrichtung in einem von der Erfassungseinrichtung aufgenommenen Bild eine Referenzmarke erkannt, kann somit plausibilisieren werden, ob es sich bei dem in dem Bild erfassten Objekt tatsächlich um eine Referenzmarke handeln kann. Hierzu kann die Identifizierungseinrichtung in der Positionsdatenbank abgleichen, ob in dem Bereich eine Referenzmarke vorhanden ist. Ist in dem Bereich keine Referenzmarke vorhanden, kann die in dem Bild erfasste Referenzmarke als Fehlerfassung gespeichert und entsprechend behandelt werden. Ist eine Referenzmarke in der Positionsdatenbank vorhanden, deren Positionen der erfassten Referenzmarke in dem Bild entspricht, kann die Erfassung der Referenzmarke in Bild verifiziert werden.According to a further embodiment of the driverless transport system, the transport system can be designed to check the plausibility of a detected reference mark based on distance. If a reference mark is recognized by the identification device in an image recorded by the detection device, it can thus be checked whether the object captured in the image can actually be a reference mark. For this purpose, the identification device can check in the position database whether a reference mark is present in the area. If there is no reference mark in the area, the reference mark captured in the image can be saved as an error capture and treated accordingly. If there is a reference mark in the position database whose positions correspond to the captured reference mark in the image, the capture of the reference mark in the image can be verified.
Das Transportsystem kann ferner dazu ausgebildet sein, einen Maximalabstand zu definieren, und eine Erfassung einer potentiellen Referenzmarke außerhalb eines Maximalabstands einer der in der Positionsdatenbank hinterlegten Referenzmarken als Fehlerfassung zu bestimmen. Mit anderen Worten wird seitens der Identifizierungseinrichtung in der Positionsdatenbank abgeglichen, ob im Bereich der potenziell erfassten Referenzmarke eine Referenzmarke angeordnet ist. Weicht der Abstand der nächsten Referenzmarke um mehr als den Maximalabstand von der potenziell erfassten Referenzmarke ab, kann die potenziell erfasste Referenzmarke als Fehlerfassung behandelt werden.The transport system can also be designed to define a maximum distance and to determine a detection of a potential reference mark outside a maximum distance of one of the reference marks stored in the position database as an error detection. In other words, the identification device checks in the position database whether a reference mark is arranged in the area of the potentially detected reference mark. If the distance of the next reference mark deviates from the potentially detected reference mark by more than the maximum distance, the potentially detected reference mark can be treated as an error detection.
Neben dem fahrerlosen Transportsystem betrifft die Erfindung auch einen Aufbau für ein zuvor beschriebenes fahrerloses Transportsystem, welcher Aufbau in einem Transportzustand des Transportfahrzeugs mit dem Transportfahrzeug gekoppelt und von dem Transportfahrzeug transportierbar ist, wobei der Aufbau eine Identifizierungseinrichtung aufweist, die dazu ausgebildet ist, eine Referenzmarke in der Umgebung des Transportfahrzeugs, insbesondere in einer Anlage, basierend auf wenigstens einem mittels einer Erfassungseinrichtung des Transportsystems aufgenommenen Bilds und einer Positionsdatenbank der Identifizierungseinrichtung zu erfassen, welche Positionsdatenbank räumliche Positionen von wenigstens zwei Referenzmarken umfasst. Ferner betrifft die Erfindung ein fahrerloses Transportfahrzeug für ein zuvor beschriebenes fahrerloses Transportsystem, welches Transportfahrzeug dazu ausgebildet ist, in einem Transportzustand des Transportfahrzeugs einen mit dem Transportfahrzeug gekoppelten Aufbau zu transportieren, wobei das Transportfahrzeug eine Identifizierungseinrichtung aufweist, die dazu ausgebildet ist, eine Referenzmarke in der Umgebung des Transportfahrzeugs, insbesondere in einer Anlage, basierend auf wenigstens einem mittels einer Erfassungseinrichtung des Transportsystems aufgenommenen Bilds und einer Positionsdatenbank der Identifizierungseinrichtung zu erfassen, welche Positionsdatenbank räumliche Positionen von wenigstens zwei Referenzmarken umfasst.In addition to the driverless transport system, the invention also relates to a structure for a previously described driverless transport system, which structure is coupled to the transport vehicle in a transport state of the transport vehicle and can be transported by the transport vehicle, the structure having an identification device which is designed to include a reference mark the environment of the transport vehicle, in particular in a system, based on at least one image recorded by means of a detection device of the transport system and a position database of the identification device, which position database includes spatial positions of at least two reference marks. The invention further relates to a driverless transport vehicle for a previously described driverless transport system, which transport vehicle is designed to transport a structure coupled to the transport vehicle in a transport state of the transport vehicle, the transport vehicle having an identification device which is designed for this purpose is to detect a reference mark in the environment of the transport vehicle, in particular in a system, based on at least one image recorded by means of a detection device of the transport system and a position database of the identification device, which position database includes spatial positions of at least two reference marks.
Weiter betrifft die Erfindung ein Verfahren zum Betreiben eines fahrerlosen Transportsystems, insbesondere ein zuvor beschriebenes fahrerloses Transportsystem, umfassend ein fahrerloses Transportfahrzeug, insbesondere einen fahrbaren Transportroboter, und einen in einem Transportzustand des Transportfahrzeugs mit dem Transportfahrzeug gekoppelten Aufbau, der in dem Transportzustand von dem Transportfahrzeug transportierbar ist, wobei mittels einer Identifizierungseinrichtung eine Referenzmarke in der Umgebung des Transportfahrzeugs, insbesondere in einer Anlage, basierend auf wenigstens einem mittels einer Erfassungseinrichtung des Transportsystems aufgenommenen Bilds und einer Positionsdatenbank der Identifizierungseinrichtung erfasst wird, welche Positionsdatenbank räumliche Positionen von wenigstens zwei Referenzmarken umfasst.The invention further relates to a method for operating a driverless transport system, in particular a previously described driverless transport system, comprising a driverless transport vehicle, in particular a mobile transport robot, and a structure coupled to the transport vehicle in a transport state of the transport vehicle, which can be transported by the transport vehicle in the transport state is, wherein by means of an identification device a reference mark is detected in the environment of the transport vehicle, in particular in a system, based on at least one image recorded by means of a detection device of the transport system and a position database of the identification device, which position database comprises spatial positions of at least two reference marks.
Sämtliche Vorteile, Einzelheiten, Ausführungen und/oder Merkmale, die in Bezug auf das fahrerlose Transportsystem beschrieben wurden, sind vollständig auf den Aufbau, das fahrerlose Transportfahrzeug und das Verfahren übertragbar.All advantages, details, designs and/or features described in relation to the automated guided vehicle system are fully transferable to the structure, the automated guided vehicle and the method.
Die Erfindung ist anhand von Ausführungsbeispielen unter Bezugnahme auf die Fig. erläutert. Die Fig. sind schematische Darstellungen und zeigen:
-
1 eine Prinzipdarstellung eines fahrerlosen Transportsystems gemäß einem Ausführungsbeispiel in einer seitlichen Darstellung; und -
2 eine Prinzipdarstellung des fahrerlosen Transportsystemsvon 1 gemäß einem Ausführungsbeispiel in einer Draufsicht.
-
1 a schematic representation of a driverless transport system according to an exemplary embodiment in a side view; and -
2 a schematic diagram of thedriverless transport system 1 according to an exemplary embodiment in a top view.
Der Aufbau 3 weist eine Erfassungseinrichtung 6 auf, die dazu ausgebildet ist, Bilder der Umgebung zu erfassen, insbesondere der Umgebung einer Anlage, im Speziellen eines Werks im Sinne einer Produktionsanlage, die eine Produktionshalle, Montagehalle, ein Hangar oder jedwede weitere Anlage darstellen kann. Die Erfassungseinrichtung 6 kann mehrere Kameras aufweisen, die Bilder in unterschiedlichen Richtungen bezogen auf den Aufbau 3 bzw. das Transportfahrzeug 2 aufnehmen können. Die Erfassungseinrichtung 6 kann insbesondere als 3D-Scanner ausgebildet sein. Zur Referenzierung der Position der Bilder bzw. Bildausschnitte, die den Bildern abgebildet sind und zur Registrierung der Bilder untereinander, um diese beispielsweise in ein dreidimensionales Modell einzupflegen, sind in der Anlage Referenzmarken 7 an unterschiedlichen Positionen angeordnet.The structure 3 has a
Die Erfassungseinrichtung 6 kann somit Bilder der Anlage aufnehmen, in denen Referenzmarken 7 abgebildet sind. Das Transportsystem 1 weist, beispielsweise dem Aufbau 3 zugeordnet, eine Identifizierungseinrichtung 8 auf, die dazu ausgebildet ist, Referenzmarken 7 zu erfassen und zu identifizieren. Wie beschrieben, sind die Referenzmarken 7 in den Bildern abgebildet, die mittels der Erfassungseinrichtung 6 erfasst werden. Die Identifizierungseinrichtung 8 kann, beispielsweise mittels geeigneter Bildanalysealgorithmen, die Referenzmarke 7 in dem erfassten Bild 8 erfassen. Für die Identifizierung weist die Identifizierungseinrichtung 8 eine Positionsdatenbank auf, in der die Referenzmarken 7 der Anlage mit ihren Positionen hinterlegt sind.The
Die Identifizierungseinrichtung 8 kann somit die Position des Transportsystems 1 bei Bilderfassung mit den Positionen abgleichen, die in der Positionsdatenbank hinterlegt sind. Anschließend kann diejenige Referenzmarke 7 bestimmt werden, der die Position des Transportsystems 1 bei Bilderfassung am nächsten entspricht. Beispielsweise kann ein Abgleich der Position des Transportsystems 1 mit den Positionen der Referenzmarken 7 durchgeführt werden. Hierbei kann zum Beispiel der geringste Abstand ausgewählt werden und somit die Referenzmarke 7 als diejenige Referenzmarke aus der Positionsdatenbank bestimmt werden, die der Position des Transportsystems 1, der das Bild aufgenommen wurde, in dem die Referenzmarke 7 abgebildet ist, am nächsten entspricht. Hierbei können weitere Parameter berücksichtigt werden, beispielsweise in welche Richtung das Bild mit der Referenzmarke 7 aufgenommen wurde. Ferner kann eine Projektion vorgenommen werden, in der ausgehend von der Position des Transportsystems 1 bei Bilderfassung, zum Beispiel unter Heranziehung von Tiefendaten des Bilds, die ungefähre Position der Referenzmarke 7 ausgehend von der Position des Transportsystems 1 noch genauer bestimmt werden kann. Vorteilhafterweise muss die Erfassungseinrichtung 6 nicht dazu ausgebildet sein einem bestimmten Identifizierungscode der Referenzmarke 7 bildbasiert auslesen zu können, beispielsweise bildbasiert einen alphanumerischen Code zu erfassen und fehlerfrei dadurch die Referenzmarke 7 zu identifizieren. Stattdessen wird die Identifizierung der erfassten Referenzmarke 7 basierend auf der Position des Transportsystems 1 durchgeführt.The identification device 8 can thus compare the position of the
In einer zweiten beispielhaften Situation, die strichliert dargestellt ist, ist das Transportsystem 1 der Referenzmarke 7' am nächsten. In der strichliert dargestellten Position kann wiederum ein Bild aufgenommen werden, in dem die Referenzmarke 7' erfasst werden kann. Entsprechend ergibt der Abgleich der Positionsdatenbank mit der Position des Transportsystems 1 bei Bilderfassung der Referenzmarke 7', dass in dieser Situation der Abstand 9' am geringsten ist und die anderen Abstände 9, 9" größer sind. Entsprechend kann in dieser Situation die Referenzmarke 7' basierend auf dem Abstand 9' aus der Positionsdatenbank ausgelesen und somit identifiziert werden.In a second exemplary situation, which is shown in dashed lines, the
Wird in einem Bereich der Anlage eine Referenzmarke fälschlich erfasst, kann die Identifizierungseinrichtung 8 ebenfalls in der Positionsdatenbank die Position abgleichen, um festzustellen, dass in dieser Position, in der das Bild der potentiellen Referenzmarke erfasst wurde, keine der Referenzmarken angeordnet ist. Die Erfassung kann anschließend als Fehlerfassung markiert werden. Hierzu kann seitens der Identifizierungseinrichtung 8 ein Maximalabstand definiert werden, wobei bei Überschreiten des Maximalabstands eine Fehlerfassung angenommen werden kann und andernfalls die korrekte Erfassung einer der Referenzmarken 7-7" plausibilisiert bzw. verifiziert werden kann.If a reference mark is incorrectly detected in an area of the system, the identification device 8 can also compare the position in the position database in order to determine that none of the reference marks is arranged in this position in which the image of the potential reference mark was captured. The capture can then be marked as an error capture. For this purpose, a maximum distance can be defined by the identification device 8, whereby if the maximum distance is exceeded, an error detection can be assumed and otherwise the correct detection of one of the reference marks 7-7" can be checked for plausibility or verified.
Zur Positionsbestimmung stehen dem Transportsystem 1 mehrere Möglichkeiten zur Verfügung. Das Transportsystem 1 kann beispielsweise eine Positionserfassung seitens des Transportfahrzeugs 2 verwenden, welches gegebenenfalls für die Bewegung des Transportfahrzeugs 2, zum Beispiel ein autonomes Fahren des Transportfahrzeugs 2, ohnehin vorhanden sein kann. Ebenso können, zum Beispiel bildbasiert, Daten der Erfassungseinrichtung 6 verwendet werden, um die Position zu verifizieren oder zu bestimmen. Zum Beispiel weist das Transportfahrzeug 2 eine Sicherheitserfassungseinrichtung 10 auf, die zur Erfassung von Hindernissen ausgebildet sein kann. Die Sicherheitserfassungseinrichtung 10 kann Abstandssensoren bzw. Näherungssensoren aufweisen, die auch zur Positionsbestimmung verwendet werden können. Weiter kann die Positionsbestimmung auch basierend auf mittels der Erfassungseinrichtung 6 erfassten anderen Strukturen der Anlage, beispielsweise Landmarks, Markierungen oder ähnlichem erfolgen.The
Grundsätzlich genügt für die Identifizierung der Referenzmarken 7-7" eine vergleichsweise grobe Bestimmung der Position des Transportsystems 1, da der Abstand zwischen den Referenzmarken 7-7" deutlich größer ist, als es eine Positionsbestimmung des Transportsystems 1 erforderlich machen würde. Vorteilhafterweise sind die Referenzmarken 7-7" so weit voneinander beabstandet, dass bei Bilderfassung einer der Referenzmarken 7-7" die Referenzmarke 7, 7" eindeutig der Position des Transportsystems 1 bei Bilderfassung zugeordnet werden kann.In principle, a comparatively rough determination of the position of the
BezugszeichenlisteReference symbol list
- 11
- fahrerloses Transportsystemdriverless transport system
- 22
- fahrerloses Transportfahrzeugdriverless transport vehicle
- 33
- AufbauConstruction
- 44
- AuflageflächeSupport surface
- 55
- Tragflächewing
- 66
- ErfassungseinrichtungDetection device
- 7 - 7"7-7"
- ReferenzmarkeReference mark
- 88th
- IdentifizierungseinrichtungIdentification device
- 9-9"9-9"
- AbstandDistance
- 1010
- SicherheitserfassungseinrichtungSecurity detection device
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022118151.0A DE102022118151A1 (en) | 2022-07-20 | 2022-07-20 | Driverless transport system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022118151.0A DE102022118151A1 (en) | 2022-07-20 | 2022-07-20 | Driverless transport system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022118151A1 true DE102022118151A1 (en) | 2024-01-25 |
Family
ID=89429701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022118151.0A Pending DE102022118151A1 (en) | 2022-07-20 | 2022-07-20 | Driverless transport system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022118151A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009046109A1 (en) | 2009-10-28 | 2011-05-05 | Ifm Electronic Gmbh | Position determining system for e.g. agricultural working machine, has evaluation device assigned to camera such that position and orientation of vehicle is determined in reference system based on detected detection marks |
DE102011012689A1 (en) | 2011-03-01 | 2012-09-06 | E&K Automation GmbH | Method for determining position of object e.g. vehicle in reference system e.g. landmark, involves determining position of object using detected relative position of landmarks and detected characteristic of marker |
-
2022
- 2022-07-20 DE DE102022118151.0A patent/DE102022118151A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009046109A1 (en) | 2009-10-28 | 2011-05-05 | Ifm Electronic Gmbh | Position determining system for e.g. agricultural working machine, has evaluation device assigned to camera such that position and orientation of vehicle is determined in reference system based on detected detection marks |
DE102011012689A1 (en) | 2011-03-01 | 2012-09-06 | E&K Automation GmbH | Method for determining position of object e.g. vehicle in reference system e.g. landmark, involves determining position of object using detected relative position of landmarks and detected characteristic of marker |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3323770B1 (en) | Method for providing the positions of storage areas in a warehouse and an industrial truck | |
EP3105547B1 (en) | Method for determining the absolute position of a mobile unit, and mobile unit | |
WO2005033734A1 (en) | Transponder-assisted positioning system | |
DE102018221054A1 (en) | Method for providing map data in a motor vehicle, motor vehicle and central data processing device | |
DE102017216554A1 (en) | Method and device for locating and / or moving an object in an environment | |
DE10220936A1 (en) | Localization device with fixed and / or variable landmarks | |
EP3333116A1 (en) | Method for automatic alignment of an industrial truck in a warehouse and system consisting of an industrial truck and a warehouse | |
DE102018009114A1 (en) | Method for determining the position of a mobile part movable on a travel surface and installation with mobile part for carrying out the method | |
EP3977225B1 (en) | Method for creating an environment map for use in the autonomous navigation of a mobile robot | |
EP3974936B1 (en) | Configuration of a visualisation device for a machine area | |
DE102020201785B4 (en) | Markers for defining the movement trajectory of a vehicle | |
DE102022118151A1 (en) | Driverless transport system | |
EP3938734A1 (en) | Method, apparatus and system for navigating autonomous vehicles | |
DE102019128253B4 (en) | Procedure for navigating an industrial truck | |
WO2014026843A2 (en) | Container compound and operation thereof | |
DE112021007260T5 (en) | Alert control device, alert control method, alert control program and storage medium | |
DE102016222664A1 (en) | Method for installing a localization system | |
DE102021114265A1 (en) | Robotic device set up to determine a target object position of a predetermined target object and method | |
DE102017220634B4 (en) | Arrangement and procedure | |
DE102020209841A1 (en) | Cleaning system with a self-propelled cleaning robot and a charging station | |
DE112020001340T5 (en) | Mobile robot, control system for a mobile robot and method for controlling a mobile robot | |
DE202018002946U1 (en) | Geometric localization / Coordinate determination of one / more objects by cameras on a surface (calculation of the position of the object in a reference system eg geoposition) - Intelligent object localization | |
DE102023103468B3 (en) | Method for operating a driverless transport system with movable landmarks | |
DE102022119355A1 (en) | Driverless transport system | |
DE102008058828B4 (en) | Method and device for localizing a mobile object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |