EP1542893A1 - Sensor system and method for monitoring the travel path of a mobile unit - Google Patents

Sensor system and method for monitoring the travel path of a mobile unit

Info

Publication number
EP1542893A1
EP1542893A1 EP03750482A EP03750482A EP1542893A1 EP 1542893 A1 EP1542893 A1 EP 1542893A1 EP 03750482 A EP03750482 A EP 03750482A EP 03750482 A EP03750482 A EP 03750482A EP 1542893 A1 EP1542893 A1 EP 1542893A1
Authority
EP
European Patent Office
Prior art keywords
monitoring
route
mobile unit
information
autonomous mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP03750482A
Other languages
German (de)
French (fr)
Inventor
Jochen Bauer
Mark Christmann
Wendelin Feiten
Claudio Laloni
Peter Rummel
Harmut Scherer-Winner
Richard Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1542893A1 publication Critical patent/EP1542893A1/en
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/34—Control, warning or like safety means along the route or between vehicles or trains for indicating the distance between vehicles or trains by the transmission of signals therebetween
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L2210/00—Vehicle systems
    • B61L2210/02—Single autonomous vehicles

Definitions

  • CCD video cameras are suitable, which can be equipped with normal or telephoto lenses. It is also possible to use one in isolation or in combination with other cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

The invention relates to the monitoring of a travel path of an autonomous mobile unit, such as a driverless railborne means of transport, with the aid of a multisensor system combining three different types of sensors, i.e. a laser sensor, a radar sensor, and a video sensor. The result of the combination is used for monitoring the travel path.

Description

SENSORSYSTEM UND VERFAHREN ZUR FAHRWEGÜBERWACHUNG FÜR EINE MOBILE EINHEIT SENSOR SYSTEM AND METHOD FOR MONITORING THE TRAVEL FOR A MOBILE UNIT
Beschreibungdescription
Sensorsystem zur Fahrwegüberwachung für eine autonome mobile Einheit, Verfahren sowie Computerprogramm mit Programmcode- Mitteln und Computerprogramm-Produkt zur Überwachung eines Fahrwegs für eine autonome mobile EinheitSensor system for route monitoring for an autonomous mobile unit, method and computer program with program code means and computer program product for monitoring a route for an autonomous mobile unit
Die Erfindung betrifft ein Sensorsystem zur Überwachung eines Fahrwegs einer autonomen mobilen Einheit, wie beispielsweise eines fahrerlosen, im Wesentlichen spurgebundenen Fahrzeugs, sowie ein entsprechendes Verfahren zur Fahrwegüberwachung, ein entsprechendes Computerprogramm mit Programmcode-Mitteln und auch ein entsprechendes Computerprogramm-Produkt.The invention relates to a sensor system for monitoring a route of an autonomous mobile unit, such as a driverless, essentially track-bound vehicle, as well as a corresponding method for route monitoring, a corresponding computer program with program code means and also a corresponding computer program product.
Ein eben solches Sensorsystem zur Fahrwegüberwachung bei einem fahrerlosen, spurgebundenen Schienenfahrzeug, einem Verkehrsmittel Eisenbahn, ist aus [1] bekannt.Such a sensor system for route monitoring in a driverless, track-bound rail vehicle, a means of transport, is known from [1].
Fahrerlose bzw. automatisch fahrende Fahrzeuge sind autonome Systeme, welche nicht einer unmittelbaren Überwachung undDriverless or automatically driving vehicles are autonomous systems that do not require direct monitoring and
Steuerung durch Bedienpersonal unterliegen, sondern selbständig, d.h. autonom, ihre Funktion erfüllen. Dabei müssen sie Umgebungsbedingungen, unter denen sie agieren, erfassen und entsprechend diesen reagieren können.Controlled by operating personnel, but independently, i.e. autonomous, perform their function. In doing so, they must record the environmental conditions in which they operate and be able to react accordingly.
Dazu bedürfen sie technischer Einrichtungen, beispielweise solcher zur Erkennung von Hindernissen vor dem Fahrzeug, insbesondere auf einem Fahrweg vor dem Fahrzeug.To do this, they require technical devices, for example those for detecting obstacles in front of the vehicle, in particular on a road ahead of the vehicle.
Das aus [1] bekannte fahrerlose Schienenfahrzeug verwendet hierfür ein kombiniertes Sensorsystem bzw. eine leistungsfähige Sensorik, mit der Abstände und Differenzgeschwindigkeiten zu sämtlichen Objekten in einem Beobachtungsbereich des Schienenfahrzeugs präzise gemessen werden können.For this purpose, the driverless rail vehicle known from [1] uses a combined sensor system or a powerful sensor system with which distances and differential speeds to all objects in an observation area of the rail vehicle can be measured precisely.
Dieses kombinierte Sensorsystem, ein Multisensorsystem, besteht aus einer Vielzahl von einzelnen Komponenten (Einzel- sensoren) , die zusammen mindestens einen gleichen Sicherheitsstandard gewährleisten, wie er im herkömmlichen Schienenverkehr gilt.This combined sensor system, a multi-sensor system, consists of a large number of individual components (single sensors), which together guarantee at least the same safety standard as that used in conventional rail transport.
Im Detail umfasst das bekannte Multisensorsystem eine schwenkbare Telekamera, realisiert durch eine CCD-Videokamera mit Teleobjektiv, einen Fernbereichsradar, realisiert durch ein gepulstes CW-Radar im 77 GHz Band, eine Übersichtskamera, in Form einer CCD-Videokamera mit Normalobjektiv, sowie ei Nahbereichsradarnetzwerk, realisiert durch mehrere hochauflö- sende Pulsradare in 24 GHz Band.In detail, the well-known multi-sensor system includes a swiveling telecamera, implemented by a CCD video camera with telephoto lens, a long-range radar, implemented by a pulsed CW radar in the 77 GHz band, an overview camera, in the form of a CCD video camera with normal lens, and a short-range radar network, realized by several high-resolution pulse radars in the 24 GHz band.
Entsprechende Einzelsensoren sowie deren grundlegende Techniken sind allgemein bekannt; auch wird auf sie in [1] verwie- sen.Corresponding individual sensors and their basic techniques are generally known; it is also referred to in [1].
Einbaupositionen für die Radarsensoren an dem Schienenfahrzeug sind vergleichsweise niedrig gewählt, um unter einem möglichst flachen Winkel den Bereich vor dem Fahrzeug zu ver- messen.Installation positions for the radar sensors on the rail vehicle are selected to be comparatively low in order to measure the area in front of the vehicle at the lowest possible angle.
Die Kameras des Mulisensorsystems befinden sich vor Wettereinflüssen geschützt hinter einer Frontscheibe des Schienenfahrzeugs und sind damit in einer hohen Einbauposition. Die hohe Einbauposition der Kameras gewährt einen guten Blick auf den Beobachtungsbereich vor dem Fahrzeug.The cameras of the multi-sensor system are protected from the weather behind a windscreen of the rail vehicle and are therefore in a high installation position. The high installation position of the cameras allows a good view of the observation area in front of the vehicle.
Die einzelnen Sensorsysteme übertragen ihre Messergebnisse an eine zentrale Fusionseinheit. Dort wird aus den verschiedenen Messwerten ein Abbild der Umgebung vor dem Schienefahrzeug erstellt.The individual sensor systems transmit their measurement results to a central fusion unit. An image of the surroundings in front of the rail vehicle is created from the various measured values.
Dieses Abbild, eine Szenenrepräsentation, bildet eine Grundlage für eine Detektion von Hindernissen auf dem Fahrweg.This image, a scene representation, forms the basis for the detection of obstacles on the route.
Nachteilig bei diesem aus [1] bekannten Sensorsystem zur Fahrwegüberwachung ist, dass insbesondere bei messtechnisch ungünstigen Umgebungsbedingungen, wie bei Dunkelheit und Regen, eine Genauigkeit und damit eine Sicherheit bei der Hinderniserkennung durch das Multisensorsystem vermindert sein kann.A disadvantage of this sensor system for route monitoring, which is known from [1], is that, particularly in the case of measurement technology unfavorable environmental conditions, such as in darkness and rain, accuracy and thus safety in obstacle detection can be reduced by the multi-sensor system.
Der Erfindung liegt die Aufgabe zugrunde, ein Sensorsystem bzw. ein Verfahren zur Überwachung eines Fahrwegs einer autonomen mobilen Einheit zur Verfügung zu stellen, welches flexibel bei beliebigen Umgebungsbedingungen einsetzbar ist und die Überwachung eines Fahrwegs mit höherer Zuverlässigkeit und mit höherer Sicherheit als obiges bekannte System ermöglicht.The invention has for its object to provide a sensor system or a method for monitoring a route of an autonomous mobile unit, which can be used flexibly under any environmental conditions and enables the monitoring of a route with higher reliability and with higher security than the known system above ,
Diese Aufgabe wird durch das Sensorsystem zur Fahrwegüberwa- chung für eine mobile Einheit sowie durch das Verfahren, das Computerprogramm mit Programmcode-Mitteln und das Computerprogramm-Produkt zur Überwachung eines Fahrwegs für eine autonome mobile Einheit mit den Merkmalen gemäß dem jeweiligen unabhängigen Patentanspruch gelöst.This object is achieved by the sensor system for route monitoring for a mobile unit and by the method, the computer program with program code means and the computer program product for monitoring a route for an autonomous mobile unit with the features according to the respective independent patent claim.
Das Sensorsystem zur Fahrwegüberwachung für eine autonome mobile Einheit weist auf:The sensor system for route monitoring for an autonomous mobile unit has:
- ein Radarüberwachungssystem, welches derart an der autonomen mobilen Einheit angebracht ist, dass ein Fahrweg der autonomen mobilen Einheit überwachbar ist, wobei bei der- A radar monitoring system which is attached to the autonomous mobile unit in such a way that a route of the autonomous mobile unit can be monitored, with the
Radarüberwachung eine RadarüberwachungsInformation erzeugt wird, ein Laserüberwachungssystem, welcher derart an der autonomen mobilen Einheit angebracht ist, dass ebenfalls der Fahrweg der autonomen mobilen Einheit überwachbar ist, wobei bei der Laserüberwachung eine Laserüberwachungsinformation erzeugt wird, ein Videoüberwachungssystem, welches derart an der autonomen mobilen Einheit angebracht ist, dass ebenfalls der Fahrweg der autonomen mobilen Einheit überwachbar ist, wobei bei der Videoüberwachung eine Videoüberwachungsinformation erzeugt wird. Neben mindestens diesen drei Überwachungssystemen, in der Regel realisiert durch entsprechende Sensoren bzw. Sensortypen, weist das Sensorsystem eine mit den Überwachungssystemen ge- koppelte zentrale Kontrolleinheit auf, in welcher die Überwachungsinformationen der Überwachungssysteme zusammengeführt werden (Sensorfusion) . Aus den Überwachungsinformationen der Überwachungssysteme ist eine Gesamtfahrwegsüberwachungsinfor- mation ermittelbar, mit welcher Gesamtfahrwegsüberwachungsin- formation der Fahrweg überwachbar ist.Radar monitoring generates radar monitoring information, a laser monitoring system which is attached to the autonomous mobile unit such that the travel path of the autonomous mobile unit can also be monitored, laser monitoring information being generated during laser monitoring, and a video monitoring system which is attached to the autonomous mobile unit in this way is that the route of the autonomous mobile unit can also be monitored, with video surveillance information being generated during video surveillance. In addition to at least these three monitoring systems, usually implemented by corresponding sensors or sensor types, the sensor system has a central control unit coupled to the monitoring systems, in which the monitoring information from the monitoring systems is brought together (sensor fusion). From the monitoring information of the monitoring systems, total route monitoring information can be determined with which total route monitoring information the route can be monitored.
Bei dem Verfahren zur Fahrwegüberwachung für eine autonome mobile Einheit wird: unter Verwendung eines RadarüberwachungsSystems ein Fahr- weg der autonomen mobilen Einheit überwacht, wobei bei der Radarüberwachung eine Radarüberwachungsinformation erzeugt wird,In the method for route monitoring for an autonomous mobile unit, a route of the autonomous mobile unit is monitored using a radar monitoring system, radar monitoring information being generated during radar monitoring,
- unter Verwendung eines Laserüberwachungssystems ebenfalls der Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Laserüberwachung eine Laserüberwachungsinformation erzeugt wird,the route of the autonomous mobile unit is also monitored using a laser monitoring system, laser monitoring information being generated during laser monitoring,
- unter Verwendung eines Videoüberwachungssystems auch der Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Videoüberwachung eine Videoüberwachungsinformation er- zeugt wird.- The route of the autonomous mobile unit is also monitored using a video surveillance system, with video surveillance information being generated during video surveillance.
Die Überwachungsinformationen der Überwachungssysteme werden zusammengeführt ( Sensorfusion) . Aus den Überwachungsinformationen der Überwachungssysteme wird eine Gesamtfahrwegsüber- wachungsinformation ermittelt, mit welcher Gesamtf ahrwegs- überwachungsinformation der Fahrweg überwacht wird.The monitoring information from the monitoring systems is merged (sensor fusion). A total route monitoring information is determined from the monitoring information of the monitoring systems, with which total route monitoring information the route is monitored.
Bei dem erfindungsgemäßen sensorunterstütztem Fahrwegüberwachungssystem handelt es sich um ein multifunktionales , kombi- niertes Sicherheitssystem, welches sehr hohe Anforderungen, die an eine Messgenauigkeit, Reaktionszeit, Reichweite usw. des Systems gestellt werden, bei nahezu beliebigen Umgebungsbedingungen erfüllt.The sensor-assisted travel path monitoring system according to the invention is a multifunctional, combined safety system which has very high requirements in terms of measurement accuracy, response time, range, etc. of the system are fulfilled in almost any environmental conditions.
Entsprechendes gilt analog für das erfindungsgemäße Verfah- ren.The same applies analogously to the method according to the invention.
Der Einsatz verschiedener bzw. verschiedenartiger Sensoren innerhalb des erfindungsgemäßen Multisensorsystems eröffnet für die genannte Sicherheitsaufgabe die Möglichkeit, die spe- zifischen Vorteile jedes einzelnen Sensors bzw. Sensortyps zu nutzen und die insgesamt von den Sensoren gemessene Information in einer Datenfusionseinrichtung auszuwerten.The use of different or different types of sensors within the multisensor system according to the invention opens up the possibility for the mentioned security task of utilizing the specific advantages of each individual sensor or sensor type and evaluating the information measured overall by the sensors in a data fusion device.
Durch eine gewinnbringende Fusion der verschiedenen Messdaten entsteht ein Informationsbestand, der mehr Aussagekraft als die Summe der isoliert betrachteten Einzeldaten hat.A profitable fusion of the various measurement data creates an information stock that is more meaningful than the sum of the individual data considered in isolation.
Die charakteristischen Eigenschaften von Sensoren bzw. Sensortypen für die ObjektVermessung, deren Schwächen und Stär- ken, sind prinzipiell von der verwendeten Technologie bzw. vom verwendeten Typ abhängig.The characteristic properties of sensors or sensor types for object measurement, their weaknesses and strengths, depend in principle on the technology or type used.
Beispiele für die technologiebedingten Unterschiede bzw. Schwächen und Stärken sind die gute Entfernungsmessung der Radartechnik im Gegensatz zur guten Winkelmessung von Videosystemen sowie die von Umgebungsbedingungen relativ unabhängige hohe Genauigkeit der Laserscanner insgesamt.Examples of the technology-related differences or weaknesses and strengths are the good distance measurement of the radar technology in contrast to the good angle measurement of video systems and the high accuracy of the laser scanner as a whole, which is relatively independent of ambient conditions.
Stellt man unter diesem Gesichtspunkt die verschiedenen Ei- genschaften von Videosystemen, von Radarsensoren und Laserscannern gegenüber, so zeigt sich, dass die drei Technologien sich gegenseitig sehr gut ergänzen.If one compares the various properties of video systems, radar sensors and laser scanners from this point of view, it shows that the three technologies complement each other very well.
Die Bilder von Videokameras können als Grauwertmatrizen ange- sehen werden. Diese werden anhand passender Modellannahmen interpretiert und auf das Vorhandensein von Hindernissen untersucht. Aufgrund der hohen räumlichen Auflösung können so mit Videosystemen besonders gut die Winkel zu detektierten Objekten gemessen werden. Auch können bei bekannter Entfernung die Breite und Höhe eines Hindernisses über die Winkel zu den Außenkanten bestimmt werden.The images from video cameras can be viewed as grayscale matrices. These are interpreted on the basis of suitable model assumptions and examined for the presence of obstacles. Because of the high spatial resolution the angles to detected objects are measured particularly well with video systems. If the distance is known, the width and height of an obstacle can also be determined via the angles to the outer edges.
Gerade die Entfernung kann aber mit monokularen Videosystemen nur ungenau ermittelt werden. Desweiteren ist die Videotechnik stark lichtabhängig und bei messtechnisch ungünstigen Umgebungsbedingungen, wie Dunkelheit und Regen, nur unzurei- chend einsetzbar.However, the distance in particular can only be determined inaccurately with monocular video systems. Furthermore, video technology is heavily light-dependent and can only be used inadequately in environmental conditions that are unfavorable from a measurement point of view, such as darkness and rain.
Es ist deshalb sinnvoll, die Nideosensorik durch ein bzw. mehrere Systeme zu ergänzen, das bzw. die die Entfernung auch bei schwierigen Umgebungsbedingungen gut messen kann bzw. können.It is therefore sensible to supplement the video sensor system with one or more systems that can measure the distance well, even in difficult environmental conditions.
Hierfür bietet sich zum einen Radarsensorik an.On the one hand, radar sensors are available.
Sie ist in der Lage auch in großen Distanzen noch zuverlässig die Entfernung zu messen. Die Einschränkung einer vergleichsweise eher schlechteren Winkelauflösung und -genauigkeit bei Radarsystemen wird hingegen durch das Videosystem kompensiert .It is able to reliably measure the distance even at great distances. The limitation of a comparatively poorer angular resolution and accuracy in radar systems, however, is compensated for by the video system.
Da aber auch die alleinige Kombination von Radar- und Video- sensorik unter erwähnten schwierigen Umgebungsbedingungen Nachteile aufweist, ist es sinnvoll, eine weitere Technik zu integrieren, nämlich eine Lasertechnik.However, since the combination of radar and video sensors alone has disadvantages under the difficult environmental conditions mentioned, it makes sense to integrate a further technique, namely a laser technique.
Ein solcher Nachteil bei alleiniger Kombination von Radar- und Videosensorik wäre beispielsweise, dass eine Zuordnung von Messungen in einem Videobild zu Messungen durch den Radarsensor dadurch schwierig ist, dass der Radarsensor eine schlechte Winkelauflösung aufweist.Such a disadvantage with a combination of radar and video sensors alone would be that it is difficult to assign measurements in a video image to measurements by the radar sensor because the radar sensor has a poor angular resolution.
Die Lasertechnik hingegen zeichnet sich durch hohe Genauigkeit sowohl bei Winkel- und Entfernungsmessung aus. Das derart kombiniert konzipierte, erfindungsgemäße Sensorsystem erreicht durch seine Sensorkombination hohe Flexibilität beim Einsatz unter nahezu beliebigen Umgebungsbedingungen sowie hohe Sicherheit und Zuverlässigkeit beim Überwachen von Fahrwegen.Laser technology, on the other hand, is characterized by high accuracy in both angle and distance measurement. Thanks to its sensor combination, the sensor system according to the invention, which is designed in this way in combination, achieves a high degree of flexibility when used under almost any ambient conditions as well as a high level of safety and reliability when monitoring travel routes.
Das Computerprogramm mit Programmcode-Mitteln ist eingerichtet, um alle Schritte gemäß des erfindungsgemäßen Verfahrens durchzuführen, wenn das Programm auf einem Computer ausge- führt wird.The computer program with program code means is set up to carry out all steps according to the inventive method when the program is executed on a computer.
Das Computerprogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln ist eingerichtet, um alle Schritte gemäß des erfindungsgemäßen Verfahrens durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.The computer program product with program code means stored on a machine-readable carrier is set up to carry out all steps according to the inventive method when the program is executed on a computer.
Das erfindungsgemäße System sowie das erfindungsgemäße Computerprogramm mit Programmcode-Mitteln sowie das erfindungsge- mäße Computerprogramm-Produkt sind insbesondere geeignet zur Durchführung des erfindungsgemäßen Verfahrens oder einer seiner nachfolgend erläuterten Weiterbildungen.The system according to the invention and the computer program according to the invention with program code means and the computer program product according to the invention are particularly suitable for carrying out the method according to the invention or one of its further developments explained below.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.Preferred developments of the invention result from the dependent claims.
Die im Weiteren beschriebenen Weiterbildungen beziehen sich sowohl auf das erfindungsgemäße System, das erfindungsgemäße Verfahren sowie das erfindungsgemäße Computerprogramm mit Programmcode-Mitteln sowie das erfindungsgemäße Computerprogramm-Produkt .The further developments described below relate both to the system according to the invention, the method according to the invention and the computer program according to the invention with program code means and the computer program product according to the invention.
Die Erfindung und die im Weiteren beschriebenen Weiterbildungen können sowohl in Software als auch in Hardware, bei- spielsweise unter Verwendung einer speziellen elektrischen Schaltung, realisiert werden. Ferner ist eine Realisierung der Erfindung oder einer im Weiteren beschriebenen Weiterbildung möglich durch ein computerlesbares Speichermedium, auf welchem das Computerprogramm mit Programmcode-Mitteln gespeichert ist, welches die Erfindung oder eine deren Weiterbildungen ausführt.The invention and the developments described below can be implemented both in software and in hardware, for example using a special electrical circuit. Furthermore, an implementation of the invention or a further development described below is possible by means of a computer-readable storage medium on which the computer program is stored with program code means, which carries out the invention or a further development thereof.
Auch kann die Erfindung oder jede im Weiteren beschriebene Weiterbildung durch ein Computerprogrammerzeugnis realisiert sein, welches ein Speichermedium aufweist, auf welchem das Computerprogramm mit Programmcode-Mitteln gespeichert ist, welches die Erfindung oder eine deren Weiterbildungen ausführt .The invention or any further development described below can also be implemented by a computer program product which has a storage medium on which the computer program with program code means which carries out the invention or one of its developments is stored.
Ein erster Block von Weiterbildungen und Ausgestaltungen be- trifft das Laserüberwachungssystem bzw. den Lasersensor [4] .A first block of further developments and refinements relates to the laser monitoring system or the laser sensor [4].
Hierbei kann als Lasersensor ein Laserscanner verwendet werden. 2D- oder 3D-Laserscanner sind beide einsetzbar, wobei in den jeweiligen Fällen die Laserüberwachungsinformation eine 2D- bzw. 3D-Information einer Umgebung des Fahrwegs beinhaltet. Diese können in Form von entsprechenden 2D- oder SD- Umgebungsmodellen vorliegen [4] .Here, a laser scanner can be used as the laser sensor. 2D or 3D laser scanners can both be used, the laser monitoring information in each case containing 2D or 3D information about an environment of the route. These can be in the form of corresponding 2D or SD environment models [4].
Weitergehend können mehrere Lasersensoren, wie die vorerwähn- ten Laserscanner, nebeneinander, sich jeweils unterstützend verwendet werden, beispielsweise derart, dass der oder die zusätzlichen Lasersensoren zu einer schnellen Abtastung besonders gefährdeter Regionen bzw. Ebenen herangezogen werden.In addition, a plurality of laser sensors, such as the aforementioned laser scanners, can be used side by side in a supporting manner, for example in such a way that the additional laser sensor or sensors are used to quickly scan regions or planes particularly at risk.
Ein zweiter Block von Weiterbildungen und Ausgestaltungen betrifft das Radarüberwachungssystem bzw. den Radarsensor [3] .A second block of further developments and refinements relates to the radar monitoring system or the radar sensor [3].
Entsprechende 2D- oder 3D-Sensoren, analog zu denjenigen der Lasertechnik, sind jeweils in Alleinstellung oder auch in Kombination einsetzbar. So kann es unter Umständen sinnvoll sein, einen Fernbereichsradar, beispielsweise einen gepulsten CW-Radar, in Kombination mit einem Nahbereichsradar, wie einem hochauflösenden Pulsradar, einzusetzen.Corresponding 2D or 3D sensors, analogous to those of laser technology, can be used individually or in combination. Under certain circumstances, it may make sense to use a long-range radar, for example a pulsed CW radar, in combination with a short-range radar, such as a high-resolution pulse radar.
Ein nächster Block von Weiterbildungen und Ausgestaltungen betrifft das Videoüberwachungssystem bzw. den Videosensor [2], [5].The next block of further developments and refinements relates to the video surveillance system or the video sensor [2], [5].
Hierzu eigenen sich CCD-Videokameras, welche mit Normal- oder Teleobjektiven ausgestattet sein können. Auch ist es möglich eine solche in Alleinstellung oder in Kombination mit weiteren Kameras zu verwenden.For this purpose, CCD video cameras are suitable, which can be equipped with normal or telephoto lenses. It is also possible to use one in isolation or in combination with other cameras.
In einer weiteren Ausgestaltung beobachten die einzelnen Sensorsysteme den Bereich vor dem Schienenfahrzeug zunächst un- ■ abhängig voneinander und vermessen Positionen und/oder gegebenenfalls Geschwindigkeiten von detektierten Objekten.In a further embodiment, the individual sensor systems initially observe the area in front of the rail vehicle independently of one another and measure positions and / or speeds of detected objects.
Dazu erfolgt in den jeweiligen Sensorsystemen eine spezifische Signalverarbeitung, da dort die meisten Randbedingungen, die einen Einfluss auf die Entstehung der Beobachtung haben, bekannt sind. Auf diese Weise wird eine verbesserte Verteilung der Verarbeitungslast zwischen den Sensorsystemen und der Sensor- bzw. Datenfusion erreicht und die Menge der zu übertragenden Daten wird reduziert.For this purpose, specific signal processing takes place in the respective sensor systems, since most of the boundary conditions that have an influence on the origin of the observation are known. In this way, an improved distribution of the processing load between the sensor systems and the sensor or data fusion is achieved and the amount of data to be transmitted is reduced.
Bei der Fusionierung der verschiedenen Messdaten des Multi- sensorsystems können Charakteristika, wie spezifische Stärken und Schwächen, individuelle (Mess-) Genauigkeiten, Ausfallwahrscheinlichkeiten und/oder Sicherheiten, der unterschiedlichen Sensorsysteme berücksichtigt werden.When merging the different measurement data of the multi-sensor system, characteristics such as specific strengths and weaknesses, individual (measurement) accuracies, failure probabilities and / or certainties of the different sensor systems can be taken into account.
So ist es beispielsweise möglich, bei der Ermittlung der Ge- samtfahrwegüberwachungsinformation aus den Überwachungsinformationen diese jeweils entsprechend einer Sicherheit des jeweiligen Überwachungssystems zu berücksichtigen. Weiterfüh- rend können die jeweiligen Sicherheiten von Umgebungsbedingungen der autonomen mobilen Einheit abhängig gemacht werden.For example, when determining the total route monitoring information from the monitoring information, it is possible to take this into account in accordance with the security of the respective monitoring system. Weiterfüh- The respective collateral can be made dependent on the ambient conditions of the autonomous mobile unit.
Die bei der Sensorfusion gebildete Gesamtfahrwegüberwachungs- Information beinhaltet ein Abbild der beobachteten Szene vor dem Fahrweg und damit im allgemeinen eine 3D-Information der Umgebung des Fahrwegs. Diese kann in Form eines SD- Umgebungsmodells vorliegen.The total route monitoring information formed during the sensor fusion contains an image of the observed scene in front of the route and thus generally 3D information about the surroundings of the route. This can be in the form of an SD environment model.
Die erfindungsgemäß überwachbare mobile, autonome Einheit kann ein spurgebundenes Fahrzeug, wie ein an Schienen gebundenes (Schienen-) Fahrzeug oder ein straßengebundenes (Straßen-) Fahrzeug, sein.The mobile, autonomous unit which can be monitored according to the invention can be a track-bound vehicle, such as a (rail) vehicle bound to rails or a road-bound (road) vehicle.
Ein Ziel der Fahrwegüberwachung ist unter anderem auch dieOne of the goals of the route monitoring is also
Erkennung eines Objekts bzw. eines Hindernisses auf dem Fahrweg der überwachbaren autonomen, mobilen Einheit. Dazu wird das fusionierte Umgebungsabbild (3D-Umgebungsmodell) entsprechend ausgewertet, wobei Bildverarbeitungstechniken einsetz- bar sind, und dabei Objekte und Hindernisse erkannt bzw. de- tektiert. Anhand des Umgebungsabbilds wird entschieden, ob sich eines der detektierten Objekte auf bzw. in dem Fahrweg befindet .Detection of an object or an obstacle on the route of the autonomous, mobile unit that can be monitored. For this purpose, the merged environment image (3D environment model) is evaluated accordingly, whereby image processing techniques can be used, and objects and obstacles are recognized or detected. Based on the surrounding image, a decision is made as to whether one of the detected objects is on or in the route.
In diesem Fall erfolgt eine entsprechende (Warn-) Meldung an eine Steuereinheit der mobilen Einheit, die entsprechend auf die Fahrt der mobilen Einheit einwirkt.In this case, a corresponding (warning) message is sent to a control unit of the mobile unit, which acts accordingly on the travel of the mobile unit.
So kann beispielsweise bei der Detektion eines relevanten Hindernisses die Geschwindigkeit bis zum Stillstand reduziert bzw. entsprechend angepasst werden und/oder ein akustisches oder visuelles Warnsignal gegeben werden.For example, when a relevant obstacle is detected, the speed can be reduced to a standstill or adapted accordingly and / or an acoustic or visual warning signal can be given.
In Figuren ist ein Ausführungsbeispiei der Erfindung darge- stellt, welches im Weiteren näher erläutert wird.An exemplary embodiment of the invention is shown in the figures and is explained in more detail below.
Es zeigen Figuren la und lb Skizzen eines autonomen, fahrerlosen Schienenfahrzeugs (CargoMover) mit einem Fahrwegüberwachungssystem;Show it Figures la and lb sketches of an autonomous, driverless rail vehicle (CargoMover) with a route monitoring system;
Figur 2 Skizze eines Aufbaus eines kombinierten Fahrwegüberwachungssystems mit unterschiedlichen Sensorsystemen mit den jeweiligen Sensordetektionsbereichen;Figure 2 Sketch of a structure of a combined route monitoring system with different sensor systems with the respective sensor detection areas;
Figur 3 strukturelle und funktionelle Systemübersicht des Fahrwegüberwachungssystems .Figure 3 structural and functional system overview of the route monitoring system.
Ausführungsbeispiel: "CargoMover", ein autonomes, fahrerloses SchienenfahrzeugExample: "CargoMover", an autonomous, driverless rail vehicle
Figuren la und lb zeigen ein autonomes, fahrerloses Schienenfahrzeug, einen "CargoMover" 100.Figures la and lb show an autonomous, driverless rail vehicle, a "CargoMover" 100.
Der CargoMover 100 ist ein fahrerloses, autonomes, schienengebundenes Transportsystem, welches nicht einer unmittelbaren Überwachung und Steuerung durch Bedienpersonal unterliegt, sondern selbständig und autonom seine (Transport-) Funktion erfüllt.The CargoMover 100 is a driverless, autonomous, rail-bound transport system that is not subject to direct monitoring and control by operating personnel, but rather performs its (transport) function independently and autonomously.
• Um autonom agieren zu können, muss er Umgebungsbedingungen im Gleisbereich automatisch erfassen, dort Objekte und/oder Hindernisse erkennen und detektieren, diese entsprechend ihrer Bedeutung interpretieren und in Abhängigkeit davon regieren können.• In order to be able to act autonomously, it must automatically record ambient conditions in the track area, recognize and detect objects and / or obstacles there, interpret them according to their meaning and be able to govern them depending on them.
Dazu ist er mit einem Sicherheitssystem, einem Multisensorsystem 110, ausgestattet, welches ihm die Durchführung der genannten Aufgaben ermöglicht. Insbesondere ermöglicht dieses Multisensorsystem 110, Abstände und Differenzgeschwindigkeiten zu sämtlichen Objekten bzw. Hindernissen in einem Beobachtungsbereich des CargoMovers 100 präzise zu messen. Dieses Multisensorsystem 110 kombiniert Sensoren 120 unterschiedlicher Messtechniken, einer Lasertechnik, einer Radartechnik und einer Videotechnik, miteinander.For this purpose, it is equipped with a security system, a multi-sensor system 110, which enables it to carry out the aforementioned tasks. In particular, this multi-sensor system 110 enables distances and differential speeds to all objects or obstacles to be precisely measured in an observation area of the CargoMover 100. This multi-sensor system 110 combines sensors 120 of different measurement techniques, a laser technique, a radar technique and a video technique.
Im Detail umfasst das Multisensorsystem 110 des CargoMovers 100 ein Radarüberwachungssystem 124, umfassend einen rechten 121, einen mittleren 122 und einen linken 123 Radarsensor, ein Laserüberwachungssystem 132, umfassend einen unteren, festen 130 und einen oberen, schwenkbaren 131 3D- Laserscanner, sowie ein Videoüberwachungssystem 141, umfassend eine Videokamera 140.In detail, the multi-sensor system 110 of the CargoMover 100 comprises a radar monitoring system 124, comprising a right 121, a middle 122 and a left 123 radar sensor, a laser monitoring system 132, comprising a lower, fixed 130 and an upper, pivotable 131 3D laser scanner, and a video monitoring system 141, including a video camera 140.
Die einzelnen Sensorsysteme 124, 132, 141 übertragen ihre Messergebnisse an eine zentrale Fusionseinheit 150 des Multi- sensorsystems 110. Dort wird aus den verschiedenen Messwerten ein Abbild der Umgebung vor dem CargoMover 100 erstellt.The individual sensor systems 124, 132, 141 transmit their measurement results to a central fusion unit 150 of the multi-sensor system 110. There, an image of the environment in front of the CargoMover 100 is created from the various measured values.
Dieses Abbild, eine Szenenrepräsentation, bildet eine Grundlage für die Erkennung bzw. Detektion von Objekten und Hin- dernissen auf dem Gleis 160.This image, a scene representation, forms a basis for the detection or detection of objects and obstacles on the track 160.
Multisensor onzeptMultisensor oncept
An das Sicherheitssystem 100 bzw. an das Multisensorsystem 110 werden sehr hohe Anforderungen hinsichtlich der Sicherheit bei der Erkennung von Objekten und Hindernissen gestellt. Denn nur dann ist ein sicherer, autonomer Betrieb des CargoMovers 100 gewährleistbar bzw. möglich.The security system 100 and the multisensor system 110 are subject to very high requirements with regard to security in the detection of objects and obstacles. This is the only way to ensure that the CargoMover 100 can operate safely and autonomously.
Daraus resultieren hohe Anforderungen in Bezug auf Messgenauigkeit, Reaktionszeit, Reichweite usw., die an das Multisensorsystem 110 gestellt werden.This results in high requirements with regard to measurement accuracy, response time, range, etc., which are placed on the multi-sensor system 110.
Der Einsatz der verschiedenen, passend ausgewählten Sensor- Systeme 124, 132, 141 innerhalb des Multisensorsystems 110 eröffnet für diese Aufgabe die Möglichkeit, die spezifischen Vorteile jedes einzelnen Sensortyps zu nutzen und die insge- samt von den Sensoren gemessene Information in einer Datenfusionseinrichtung, der Fusionseinheit 150, auszuwerten.The use of the various, suitably selected sensor systems 124, 132, 141 within the multi-sensor system 110 opens up the possibility for this task of utilizing the specific advantages of each individual sensor type and the overall together with the information measured by the sensors in a data fusion device, the fusion unit 150.
Durch eine gewinnbringende Fusion der verschiedenen Messdaten entsteht ein Informationsbestand, der mehr Aussagekraft als die Summe der Einzeldaten hat.A profitable fusion of the various measurement data creates an information stock that is more meaningful than the sum of the individual data.
Die charakteristischen Eigenschaften von Sensoren für die Objektvermessung sind prinzipiell von der verwendeten Technolo- gie und anderen Designparametern abhängig. So zeichnet sich die Radartechnik insbesondere durch gute Entfernungsmessung aus im Gegensatz zur guten Winkelmessung von Videosystemen. Die Stärke einer Lasertechnik liegt in ihrer Genauigkeit sowohl bei Winkel- und Entfernungsmessung.The characteristic properties of sensors for object measurement basically depend on the technology used and other design parameters. The radar technology is particularly characterized by good distance measurement in contrast to the good angle measurement of video systems. The strength of a laser technology lies in its accuracy in both angle and distance measurement.
Stellt man unter diesem Gesichtspunkt die verschiedenen Eigenschaften bzw. Schwächen und Stärken von Videosystemen, von Radarsystemen und von Lasersystemen einander gegenüber, so zeigt sich, dass die Technologien sich gegenseitig sehr gut ergänzen.If one compares the various properties or weaknesses and strengths of video systems, radar systems and laser systems from this point of view, it shows that the technologies complement each other very well.
Aufgrund des großen zu überwachenden Bereiches werden bei dem Multisensorsystems 110 des CargoMovers 100 jeweils mehrere Einzelsensoren desselben Sensortechnik, so bei dem Radar- 124 und dem Lasersystem 132, verwendet, die jeweils unterschiedliche Bereiche schwerpunktmäßig vor dem CargoMover 100 erfassen.Due to the large area to be monitored, multiple individual sensors of the same sensor technology, such as the radar 124 and the laser system 132, are used in the multi-sensor system 110 of the CargoMover 100, each of which mainly detects different areas in front of the CargoMover 100.
Figur 2 zeigt das Multisensorsystem 110 des CargoMovers 100 mit den jeweiligen Detektionsbereichen 200 bzw. 210, 220, 230 der einzelnen Sensoren bzw. Sensorsystemen 124, 132, 141.FIG. 2 shows the multi-sensor system 110 of the CargoMover 100 with the respective detection areas 200 or 210, 220, 230 of the individual sensors or sensor systems 124, 132, 141.
Es werden folgende Modellreihen von Sensoren als Basistypen für das Multisensorsystem 110 verwendet: Videokamera 140: JAI M10RS, 1/2 Zoll Chip, Progressive Scan, 782 x 582 Pixel mit Auto-Iris Objektiv COSM H1212E; Infrarot Laser Scanner 130, 131: Fa. Sick AG, LMS 221-30206 mit veränderlicher Winkelauflösung und damit korrelierter Scanzeit, einer davon schwenkbar montiert;The following model series of sensors are used as basic types for the multi-sensor system 110: Video camera 140: JAI M10RS, 1/2 inch chip, progressive scan, 782 x 582 pixels with auto-iris lens COSM H1212E; Infrared laser scanner 130, 131: Sick AG, LMS 221-30206 with variable angular resolution and thus correlated scan time, one of which is pivotally mounted;
Radarsensor 121, 122, 123: FMCW Radar-Modulen mit Patch An- tennen, modifiziert.Radar sensor 121, 122, 123: FMCW radar modules with patch antennas, modified.
Die Bilder der Videokamera 140 werden auch genutzt zur Bestimmung des Fahrwegverlaufs (vgl. Figur 3, 311, 322) .The images from the video camera 140 are also used to determine the course of the route (see FIGS. 3, 311, 322).
Sensorfusion (Figur 3)Sensor fusion (Figure 3)
Die einzelnen Sensorsysteme 124, 132, 141 beobachten den Bereich vor dem CargoMover zunächst unabhängig voneinander und vermessen die Position und ggf. die Geschwindigkeit der de- tektierten Objekte bzw. Hindernisse.The individual sensor systems 124, 132, 141 initially observe the area in front of the CargoMover independently of one another and measure the position and, if appropriate, the speed of the detected objects or obstacles.
Dazu erfolgt in den jeweiligen Sensorsystemen 124, 132, 141 eine spezifische Signalverarbeitung (vgl. Figur 3, 310 bis 312, 320 bis 322), da dort die meisten Randbedingungen be- kannt sind, die einen Einfluss auf die Entstehung der Beobachtung haben. Bei der spezifischen Signalverarbeitung werden die oben besprochenen Charakteristika bzw. Stärken und Schwächen der unterschiedlichen Sensorsysteme 124, 132, 141 berücksichtigt .For this purpose, specific signal processing takes place in the respective sensor systems 124, 132, 141 (cf. FIGS. 3, 310 to 312, 320 to 322), since most of the boundary conditions are known which have an influence on the origin of the observation. In the case of specific signal processing, the characteristics or strengths and weaknesses of the different sensor systems 124, 132, 141 discussed above are taken into account.
Ferner wird auf diese Weise eine bessere Verteilung der Datenverarbeitungslast zwischen den Sensorsystemen 124, 132, 141 und der Datenfusion erreicht und die Menge der zu übertragenden Daten wird reduziert.Furthermore, a better distribution of the data processing load between the sensor systems 124, 132, 141 and the data fusion is achieved in this way and the amount of data to be transmitted is reduced.
Um aus den Messungen der verschiedenen Sensorsysteme 124, 132, 141 ein gutes Abbild der zu beobachtenden Szene vor dem CargoMover 100 zu erhalten (3D-Umgebungsmodell, vgl. Figur 3, 330) , werden die jeweiligen Messergebnisse bzw. Verarbei- tungsergebnisse möglichst gewinnbringend vereint bzw. fusioniert (vgl. Figur 3, 330) . Deshalb werden auch bei dieser Fusionierung (vgl. Figur 3, 330) der verschiedenen Messdaten des Multisensorsystems 110 die oben besprochenen Charakteristika bzw. Stärken und Schwächen der unterschiedlichen Sensorsysteme 124, 132, 141 be- rücksichtigt. Dies erfolgt durch variabler Gewichtung der zu fusionierenden Messdaten.In order to obtain a good image of the scene to be observed in front of the CargoMover 100 from the measurements of the various sensor systems 124, 132, 141 (3D environment model, cf. FIGS. 3, 330), the respective measurement results or processing results are combined as profitably as possible or merged (see FIG. 3, 330). For this reason, the characteristics or strengths and weaknesses of the different sensor systems 124, 132, 141 discussed above are also taken into account in this fusion (cf. FIGS. 3, 330) of the various measurement data of the multi-sensor system 110. This is done by variable weighting of the measurement data to be merged.
Das Ziel der Datenfusion ist es dabei, ein möglich genaues Abbild der Umgebung (3D-Umgebungsmodell) des CargoMovers 100 zu erzeugen (vgl. Figur 3, 330) sowie die Zustände (Position und Geschwindigkeit) der beobachteten Objekte sowie deren Entfernung (vgl. Figur 3, 340) zum CargoMover 100 aus dem Umgebungsabbild bzw. aus den aktuellen und vorhergegangenen Messungen möglichst präzise zu bestimmen.The aim of the data fusion is to generate a possible accurate image of the environment (3D environment model) of the CargoMover 100 (see FIGS. 3, 330) as well as the states (position and speed) of the observed objects and their distance (see FIG 3, 340) for the CargoMover 100 to be determined as precisely as possible from the surrounding image or from the current and previous measurements.
Das entstehende Umgebungsabbild (vgl. Figur 3, 330) wird für die Interpretation der Szenen, d.h. in diesem Fall für die Entscheidung, ob sich eines der detektierten Objekte im Gleis 160 befindet, und für die anschließende Entfernungsbestimmung 340 genutzt.The resulting environmental image (see Fig. 3, 330) is used for the interpretation of the scenes, i.e. in this case used for the decision whether one of the detected objects is in the track 160 and for the subsequent distance determination 340.
Figur 3 zeigt eine strukturelle und funktionelle Systemübersicht 300 des Multisensorsystems 110 des CargoMovers 100. Die Datenflüsse sind durch Pfeile in Figur 3 gekennzeichnet.FIG. 3 shows a structural and functional system overview 300 of the multi-sensor system 110 of the CargoMover 100. The data flows are indicated by arrows in FIG. 3.
Von den einzelnen Sensorsystemen 124, 132, 141 werden die jeweiligen Messergebnisse 310 bis 312, 320 bis 322 an die zentrale Fusionseinheit 150 übertragen.The respective measurement results 310 to 312, 320 to 322 are transmitted from the individual sensor systems 124, 132, 141 to the central fusion unit 150.
Dort erfolgt unter anderem die Bestimmung des SD- Umgebungsmodells 330, welches als Grundlage für die Identifizierung von Hindernissen sowie die Ermittlung der jeweiligen Entfernungen 340 dieser zum CargoMover 100 dient.Among other things, the SD environment model 330 is determined there, which serves as the basis for the identification of obstacles and the determination of the respective distances 340 to the CargoMover 100.
Auf Basis der einzelnen Sensorsignale der Sensorsysteme 124, 132, 141 wird insbesondere ermittelt: - aus den Messsignalen des Radarsystems 124 eine 2D- Hindernisserkennung 312,On the basis of the individual sensor signals of sensor systems 124, 132, 141, the following is determined in particular: a 2D obstacle detection 312 from the measurement signals of the radar system 124,
- aus den Messsignalen des Videosystems 141 ein 2D- 311 und daraus ein 3D-Streckenverlauf 321 sowie Hindernisse in Bo- dennähe (2D) 322, aus den Messsignalen des Lasersystems 132 eine SD- Hinderniserkennung 320 und aus den Messsignalen des Lasersystems 132 in Kombination mit dem 2D-Streckenverlauf 311 eine Gleishöhe und eine Überhöhung 310, welche auch in die Ermittlung des 3D-Streckenverlaufs 321 einfließt.a 2D 311 from the measurement signals of the video system 141 and from this a 3D route 321 and obstacles in the vicinity of the ground (2D) 322, an SD obstacle recognition 320 from the measurement signals of the laser system 132 and from the measurement signals of the laser system 132 in combination with the 2D route 311 a track height and a cant 310, which also flows into the determination of the 3D route 321.
Das 3D-Umgebungsmodell 330, eine entlang einer 3D-Kurve angeordnete Folge von 2D-Gitterkarten mit Lichtraumprofil, wird erstellt unter Verwendung der 2D-Hinderniserkennung 312, der Hindernisse in Bodennähe 322, des 3D-Streckenverlaufs 321 sowie der 3D-Hinderniserkennung 320.The 3D environment model 330, a sequence of 2D grid maps with a clearance profile arranged along a 3D curve, is created using the 2D obstacle detection 312, the obstacles near the ground 322, the 3D route 321 and the 3D obstacle detection 320.
Anschließend wird unter Verwendung des 3D-Umgebungsmodells 330 ein Hindernis identifiziert und die Entfernung dieses Hindernisses zum CargoMover 100 ermittelt 340.An obstacle is then identified using the 3D environment model 330 and the distance of this obstacle to the CargoMover 100 is determined 340.
Wird nun ein Hindernis als relevant, d.h. als auf dem Gleis 160 oder in dem Gleisbereich befindlich, erkannt und nähert sich der CargoMover 100 diesem auf weniger als einen vorgeb- baren Sicherheitsabstand, in diesem Fall von 70m, so erfolgen entsprechende Meldungen von der Fusionseinheit 50 an eine Steuereinheit des CargoMovers 100.If an obstacle is now relevant, i.e. If the CargoMover 100 is recognized as being on the track 160 or in the track area and is approaching it at less than a predeterminable safety distance, in this case of 70 m, corresponding messages are sent from the fusion unit 50 to a control unit of the CargoMover 100.
Die Steuereinheit veranlasst notwendige Sicherheitsmassnah- men, die eine Kollision mit dem erkannten Hindernis ausschließen. So wird in diesem Fall ein Bremsvorgang eingeleitet, wobei die Geschwindigkeit des CargoMovers 100 kontinuierlich reduziert wird. Darüber hinaus gibt der CargoMover 100 ein akustisches und visuelles Warnsignal ab. In diesem Dokument sind folgende Schriften zitiert:The control unit initiates necessary safety measures that prevent a collision with the detected obstacle. In this case, a braking process is initiated, the speed of the CargoMover 100 being continuously reduced. The CargoMover 100 also emits an acoustic and visual warning signal. The following writings are cited in this document:
[1] Kruse F., et al., "Multisensorsystem für schienengebundene Fahrzeuge", Symposium für Mobilität und Sicherheit.[1] Kruse F., et al., "Multi-sensor system for rail-bound vehicles", symposium for mobility and security.
[2] 3D-Szenenrekonstruktion aus Bilddaten (mittels CCD- Kameras), BMBF-Projekt, erhältlich am 23. September 2002 unter: http: //ais . gmd.de/projects/Makro/reports/makro-report-VI- l.pdf.[2] 3D scene reconstruction from image data (using CCD cameras), BMBF project, available on September 23, 2002 at: http: // ais. gmd.de/projects/Makro/reports/makro-report-VI- l.pdf.
[3] Mikrowellen-Radar, erhältlich am 23. September 2002 unter: http: //www. elva-1. spb.ru/products/industrial/FMCW.html.[3] Microwave radar, available on September 23, 2002 at: http: // www. elva -1. spb.ru/products/industrial/FMCW.html.
[4] H. Surmann, K. Lingemann, A. Nüchter, J. Hertzberg: „A 3D laser ränge finder for autonomous mobile robotsλ Proc. 32. ISR (International Symposium on Robotics) pp. 153 - 158, 20013D Laserscanner.[4] H. Surmann, K. Lingemann, A. Nüchter, J. Hertzberg: “A 3D laser ranks finder for autonomous mobile robots λ Proc. 32nd ISR (International Symposium on Robotics) pp. 153 - 158, 20013D laser scanner.
[5] CCD-Videokamera, erhältlich am 23. September 2002 unter: http: //www. sony.de/professional/medical/kameras/dxc_990p. html. [5] CCD video camera, available on September 23, 2002 at: http: // www. sony.de/professional/medical/kameras/dxc_990p. html.

Claims

Patentansprüche claims
1. Sensorsystem zur Fahrwegüberwachung für eine autonome mobile Einheit - mit einem Radarüberwachungssystem, welches derart an der autonomen mobilen Einheit angebracht ist, dass ein Fahrweg der autonomen mobilen Einheit überwachbar ist, wobei bei der Radarüberwachung eine Radarüberwachungsinformation erzeugt wird, - mit einem Laserüberwachungssystem, welcher derart an der autonomen mobilen Einheit angebracht ist, dass ebenfalls der Fahrweg der autonomen mobilen Einheit überwachbar ist, wobei bei der Laserüberwachung eine Laserüberwachungsinformation erzeugt wird, - mit einem Videoüberwachungssystem, welches derart an der autonomen mobilen Einheit angebracht ist, dass ebenfalls der Fahrweg der autonomen mobilen Einheit überwachbar ist, wobei bei der Videoüberwachung eine Videoüberwachungsinformation erzeugt wird, - sowie mit einer mit den Überwachungssystemen gekoppelten zentralen Kontrolleinheit, in welcher die Überwachungsinformationen der Überwachungssysteme zusammengeführt werden und - mit welcher aus den Überwachungsinformationen der Über- wachungssysteme eine Gesa tfahrwegsüberwachungsinforma- tion ermittelbar ist, mit welcher Gesamtfahrwegsüberwa- chungsinformation der Fahrweg überwachbar ist.1.Sensor system for route monitoring for an autonomous mobile unit - with a radar monitoring system which is attached to the autonomous mobile unit in such a way that a route of the autonomous mobile unit can be monitored, with radar monitoring information being generated during radar monitoring, - with a laser monitoring system, which is attached to the autonomous mobile unit in such a way that the travel path of the autonomous mobile unit can also be monitored, laser monitoring information being generated during laser monitoring, with a video surveillance system which is attached to the autonomous mobile unit in such a way that the travel path of the autonomous mobile unit mobile unit can be monitored, with video surveillance information being generated during video surveillance, and with a central control unit coupled to the surveillance systems, in which the surveillance information from the surveillance systems is combined are carried out and - with which from the monitoring information of the monitoring systems a total route monitoring information can be determined, with which total route monitoring information the route can be monitored.
2. Sensorsystem nach Anspruch 1, mit mehreren RadarüberwachungsSystemen und/oder mehreren Laserüberwachungssystemen und/oder mehreren Videoüberwachungssystemen, die alle mit der zentralen Kontrolleinheit gekoppelt sind.2. Sensor system according to claim 1, with a plurality of radar surveillance systems and / or a plurality of laser surveillance systems and / or a plurality of video surveillance systems, all of which are coupled to the central control unit.
3. Sensorsystem nach einem der vorangehenden Ansprüche, bei dem die Überwachungsinformationen jeweils eine 2D- oder 3D-Umgebungsinformation einer Umgebung des Fahrwegs beinhalten.3. Sensor system according to one of the preceding claims, in which the monitoring information in each case contain a 2D or 3D environment information of an environment of the route.
4. Sensorsystem nach Anspruch 3, bei dem die UmgebungsInformation ein Umgebungsmodell beinhaltet.4. The sensor system of claim 3, wherein the environmental information includes an environmental model.
5. Sensorsystem nach einem der vorangehenden Ansprüche, bei dem das Laserüberwachungssystem einen Laserscanner, insbesondere einen 3D-Laserscanner, aufweist.5. Sensor system according to one of the preceding claims, in which the laser monitoring system has a laser scanner, in particular a 3D laser scanner.
6. Sensorsystem nach einem der vorangehenden Ansprüche, bei dem das Radarüberwachungssystem ein Radar auf Basis einer FMCW-Technik aufweist.6. Sensor system according to one of the preceding claims, wherein the radar monitoring system comprises a radar based on FMCW technology.
7. Sensorsystem nach einem der vorangehenden Ansprüche, bei dem das Videoüberwachungssystem eine CCD-Videokamera aufweist .7. Sensor system according to one of the preceding claims, wherein the video surveillance system comprises a CCD video camera.
8. Sensorsystem nach einem der vorangehenden Ansprüche, bei dem bei der Ermittlung der Gesamtfahrwegüberwachungsin- formation aus den Überwachungsinformationen diese jeweils entsprechend einer Sicherheit des jeweiligen Überwachungssys- tems berücksichtigt werden.8. Sensor system according to one of the preceding claims, in which when determining the total route monitoring information from the monitoring information, this is taken into account in each case in accordance with a security of the respective monitoring system.
9. Sensorsystem nach Anspruch 8, bei dem die jeweiligen Sicherheiten von Umgebungsbedingungen der autonomen mobilen Einheit abhängig sind.9. Sensor system according to claim 8, in which the respective collaterals are dependent on ambient conditions of the autonomous mobile unit.
10. Sensorsystem nach einem der vorangehenden Ansprüche, bei dem die Gesamtfahrwegüberwachungsinformation eine 3D- Information einer Umgebung des Fahrwegs beinhaltet10. Sensor system according to one of the preceding claims, wherein the total route monitoring information includes 3D information of an environment of the route
11. Sensorsystem nach Anspruch 10, bei dem die 3D-Information ein 3D Umgebungsmodell ist 11. Sensor system according to claim 10, wherein the 3D information is a 3D environment model
12. Sensorsystem nach einem der vorangehenden Ansprüche, bei dem die mobile autonome Einheit ein spurgebundenes Fahrzeug, insbesondere ein fahrerloses Schienenfahrzeug, ist.12. Sensor system according to one of the preceding claims, wherein the mobile autonomous unit is a track-bound vehicle, in particular a driverless rail vehicle.
13. Sensorsystem nach einem der vorangehenden Ansprüche, eingesetzt zur Erkennung eines Objekts auf dem Fahrweg, wobei das Objekt unter Verwendung der Gesa tfahrwegüberwachungsin- formation als Hindernis identifiziert wird.13. Sensor system according to one of the preceding claims, used for recognizing an object on the route, the object being identified as an obstacle using the total route monitoring information.
14. Sensorsystem nach einem der vorangehenden Ansprüche, eingesetzt zu einer Überwachung einer Fahrt der autonomen mobilen Einheit auf dem Fahrweg, wobei während der Fahrt unter Verwendung des SensorSystems der Fahrweg überwacht wird.14. Sensor system according to one of the preceding claims, used for monitoring a journey of the autonomous mobile unit on the route, the route being monitored during the journey using the sensor system.
15. Sensorsystem nach Anspruch 13 und Anspruch 14, eingesetzt bei einer überwachten Fahrt der autonomen mobilen Einheit, wobei auf die Fahrt der mobilen Einheit eingewirkt wird, wenn ein Objekt als ein Hindernis erkannt wird.15. Sensor system according to claim 13 and claim 14, used in a monitored journey of the autonomous mobile unit, wherein the movement of the mobile unit is acted on when an object is recognized as an obstacle.
16. Verfahren zur Fahrwegüberwachung für eine autonome mobile Einheit, bei dem unter Verwendung eines Radarüberwachungssystems ein Fahrweg der autonomen mobilen Einheit überwacht wird, wobei bei der Radarüberwachung eine RadarüberwachungsInformation erzeugt wird, unter Verwendung eines Laserüberwachungssystems der Fahrweg der autonomen mobilen Einheit überwacht wird, wobei bei der Laserüberwachung eine Laserüberwachungsinformation erzeugt wird, - unter Verwendung eines Videoüberwachungssystems der Fahrweg der autonomen mobilen Einheit überwacht wird, wobei bei der Videoüberwachung eine Videoüberwachungsinformation erzeugt wird, die Überwachungsinformationen der Überwachungssysteme zu- sammengeführt werden und aus den Überwachungsinformationen der Überwachungssysteme eine Gesamtfahrwegüberwachungsinformation ermittelt wird, mit welcher der Fahrweg überwacht wird.16.Method for route monitoring for an autonomous mobile unit, in which a route of the autonomous mobile unit is monitored using a radar monitoring system, radar monitoring information being generated in the case of radar monitoring, the route of the autonomous mobile unit is monitored using a laser monitoring system, whereby at the laser monitoring generates laser monitoring information, - the path of the autonomous mobile unit is monitored using a video monitoring system, video monitoring information being generated during the video monitoring, the monitoring information from the monitoring systems being combined and From the monitoring information of the monitoring systems, total route monitoring information is determined, with which the route is monitored.
17. Computerprogramm-Erzeugnis, das ein computerlesbares17. Computer program product that is a computer readable
Speichermedium umfasst, auf dem ein Programm gespeichert ist, das es einem Computer ermöglicht, nachdem es in einen Speicher des Computers geladen worden ist, folgende Schritte durchzuführen zur Überwachung eines Fahrwegs für eine autono- me mobile Einheit:Storage medium on which a program is stored, which enables a computer, after it has been loaded into a memory of the computer, to carry out the following steps for monitoring a route for an autonomous mobile unit:
- unter Verwendung eines Radarüberwachungssystems wird ein Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Radarüberwachung eine Radarüberwachungsinformation erzeugt wird, - unter Verwendung eines Laserüberwachungssystems wird der- Using a radar monitoring system, a route of the autonomous mobile unit is monitored, radar monitoring information being generated during radar monitoring, - Using a laser monitoring system, the
Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Laserüberwachung eine Laserüberwachungsinformation erzeugt wird,Route of the autonomous mobile unit is monitored, laser monitoring information being generated during laser monitoring,
- unter Verwendung eines VideoüberwachungsSystems wird der Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Videoüberwachung eine Videoüberwachungsinformation erzeugt wird,the route of the autonomous mobile unit is monitored using a video surveillance system, with video surveillance information being generated during video surveillance,
- die Überwachungsinformationen der Überwachungssysteme werden zusammengeführt und - aus den Überwachungsinformationen der Überwachungssysteme wird eine Gesamtfahrwegüberwachungsinformation ermittelt, mit welcher der Fahrweg überwacht wird.- The monitoring information of the monitoring systems are merged and - From the monitoring information of the monitoring systems, total route monitoring information is determined, with which the route is monitored.
18. Computerlesbares Speichermedium, auf dem ein Programm ge- speichert ist, das es- einem Computer ermöglicht, nachdem es in einen Speicher des Computers geladen worden ist, folgende Schritte durchzuführen zur Überwachung eines Fahrwegs für eine autonome mobile Einheit: unter Verwendung eines Radarüberwachungssystems wird ein Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Radarüberwachung eine Radarüberwachungsinformation erzeugt wird, unter Verwendung eines Laserüberwachungssystems wird der Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Laserüberwachung eine Laserüberwachungsinformation erzeugt wird, - unter Verwendung eines Videoüberwachungssystems wird der18. Computer-readable storage medium, on which a program is stored, which enables a computer, after it has been loaded into a memory of the computer, to carry out the following steps for monitoring a route for an autonomous mobile unit: using a radar monitoring system a route of the autonomous mobile unit is monitored, radar monitoring information being generated during radar monitoring, using a laser monitoring system, the travel path of the autonomous mobile unit is monitored, laser monitoring information being generated during laser monitoring, - using a video monitoring system
Fahrweg der autonomen mobilen Einheit überwacht, wobei bei der Videoüberwachung eine Videoüberwachungsinformation erzeugt wird, die ÜberwachungsInformationen der Überwachungssysteme wer- den zusammengeführt und aus den Überwachungsinformationen der Überwachungssysteme wird eine Gesamtfahrwegüberwachungsinformation ermittelt, mit welcher der Fahrweg überwacht wird.The travel path of the autonomous mobile unit is monitored, video surveillance information being generated during video surveillance, the surveillance information from the surveillance systems is combined, and from the surveillance information from the surveillance systems, total travel path surveillance information is determined with which the travel path is monitored.
19. Computerprogramm mit Programmcode-Mitteln, um alle19. Computer program with program code means to all
Schritte gemäß Anspruch 16 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.Perform steps according to claim 16 when the program is executed on a computer.
20. Computerprogramm mit Programmcode-Mitteln gemäß Anspruch 19, die auf einem Computerlesbaren Datenträger gespeichert sind.20. Computer program with program code means according to claim 19, which are stored on a computer readable data carrier.
21. Computerprogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln, um alle Schritte gemäß Anspruch 16 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird. 21. A computer program product with program code means stored on a machine-readable carrier in order to carry out all the steps according to claim 16 when the program is executed on a computer.
EP03750482A 2002-09-23 2003-09-02 Sensor system and method for monitoring the travel path of a mobile unit Ceased EP1542893A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10244127 2002-09-23
DE10244127A DE10244127A1 (en) 2002-09-27 2002-09-27 Sensor system for route monitoring for an autonomous mobile unit, method and computer program with program code means and computer program product for monitoring a route for an autonomous mobile unit
PCT/EP2003/009753 WO2004028881A1 (en) 2002-09-23 2003-09-02 Sensor system and method for monitoring the travel path of a mobile unit

Publications (1)

Publication Number Publication Date
EP1542893A1 true EP1542893A1 (en) 2005-06-22

Family

ID=31983987

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03750482A Ceased EP1542893A1 (en) 2002-09-23 2003-09-02 Sensor system and method for monitoring the travel path of a mobile unit

Country Status (5)

Country Link
EP (1) EP1542893A1 (en)
AU (1) AU2003270142A1 (en)
DE (1) DE10244127A1 (en)
TW (1) TW200424823A (en)
WO (1) WO2004028881A1 (en)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200604047A (en) * 2004-07-22 2006-02-01 Siemens Ag Method to detect an obstruction on a railroad
DE102006007788A1 (en) * 2006-02-20 2007-08-30 Siemens Ag Computer-assisted driverless railway train monitoring system, to show its travel behavior, has train-mounted sensors and track position markers for position data to be compared with a stored model
DE102006015036A1 (en) * 2006-03-31 2007-10-11 Siemens Ag Rail monitoring method for rail vehicle, involves defining monitoring boundaries at sides of rail, diagonally scanning cross line between points on respective boundaries, and diagonally and longitudinally scanning left monitoring boundary
IT1395012B1 (en) * 2009-07-24 2012-09-05 Esim Srl Elettronica Societa Impianti Meridionali Srl TINS SYSTEM - TUNNEL INSPECTION SYSTEM
FR2976355B1 (en) 2011-06-09 2013-06-21 Jean Luc Desbordes DEVICE FOR MEASURING SPEED AND POSITION OF A VEHICLE MOVING ALONG A GUIDE PATH, METHOD AND CORRESPONDING COMPUTER PROGRAM PRODUCT.
CN103842235B (en) * 2011-09-30 2017-02-15 西门子有限公司 Method and system for determining the availability of a lane for a guided vehicle
ES2401509B1 (en) * 2011-10-05 2014-03-05 Universidad De Almería GUIDING SYSTEM FOR AUTONOMOUS MOVEMENT OF VEHICLES IN STRUCTURED ENVIRONMENTS.
DE102012215544A1 (en) * 2012-08-31 2014-03-06 Siemens Aktiengesellschaft Monitoring a railway line
TWI481892B (en) 2012-12-13 2015-04-21 Ind Tech Res Inst Pulse radar ranging apparatus and ranging algorithm thereof
US9387867B2 (en) * 2013-12-19 2016-07-12 Thales Canada Inc Fusion sensor arrangement for guideway mounted vehicle and method of using the same
US9327743B2 (en) 2013-12-19 2016-05-03 Thales Canada Inc Guideway mounted vehicle localization system
DE102014206473A1 (en) * 2014-04-03 2015-10-08 Bombardier Transportation Gmbh Automatic assistance to a driver of a lane-bound vehicle, in particular a rail vehicle
DE102014212233A1 (en) * 2014-06-25 2015-12-31 Bombardier Transportation Gmbh Device and method for detecting a vehicle environment of a rail vehicle and rail vehicle
PT2998184T (en) * 2014-09-18 2020-03-02 Siemens Rail Automation S A U System and method for automatically locating and recording a beacon
DE102014222900A1 (en) 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Operation of a rail vehicle with an imaging system
DE102015212019A1 (en) * 2015-06-29 2016-07-14 Siemens Aktiengesellschaft Method and device for detecting obstacles in front of a rail vehicle
DE102016205392A1 (en) 2016-03-31 2017-10-05 Siemens Aktiengesellschaft Method and system for validating an obstacle detection system
DE102016224212A1 (en) * 2016-12-06 2018-06-07 Siemens Aktiengesellschaft Automated free space detection using differential analysis for vehicles
DE102017205962B4 (en) * 2017-04-07 2021-12-30 Robert Bosch Gmbh Method for operating a rail vehicle
DE102017206446A1 (en) * 2017-04-13 2018-10-18 Knorr-Bremse Systeme für Schienenfahrzeuge GmbH Fusion of infrastructure-related data, in particular infrastructure-related data for rail vehicles
DE102017207138A1 (en) * 2017-04-27 2018-10-31 Siemens Aktiengesellschaft Method and device for the computer-aided generation of a virtual train environment
DE102017218433A1 (en) * 2017-10-16 2019-04-18 Montratec Gmbh Driverless rail vehicle and transport system
DE102017219643A1 (en) * 2017-11-06 2019-05-09 Siemens Mobility GmbH Rail Vehicle Tracking
CN108255189A (en) * 2018-01-31 2018-07-06 佛山市神风航空科技有限公司 A kind of power patrol unmanned machine system
DE102018205656A1 (en) * 2018-04-13 2019-10-17 Siemens Aktiengesellschaft Temperature monitoring for the detection of functional impairments of radar sensors of rail vehicles
CN110550072B (en) * 2019-08-29 2022-04-29 北京博途智控科技有限公司 Method, system, medium and equipment for identifying obstacle in railway shunting operation
DE102020210821A1 (en) 2020-08-27 2022-03-03 Siemens Mobility GmbH Procedure for checking a structure gauge for a rail vehicle
DE102021206083A1 (en) * 2021-06-15 2022-12-15 Siemens Mobility GmbH Self-adjusting environment detection device for rail vehicles
DE102022205020A1 (en) 2022-05-19 2023-11-23 Siemens Mobility GmbH Creation and output of exit information in a rail vehicle
DE102022210974A1 (en) 2022-10-18 2024-04-18 Robert Bosch Gesellschaft mit beschränkter Haftung Method for determining collision information regarding a collision risk between a rail vehicle and an object
DE102022213909A1 (en) 2022-12-19 2024-06-20 Robert Bosch Gesellschaft mit beschränkter Haftung Method for determining collision information regarding a collision risk between a rail vehicle and an object

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19841246A1 (en) * 1998-09-09 2000-06-15 Eberhard Tauscheck Monitoring and analysis facility to provide controlled braking when dangerous obstruction is detected
GB2371617A (en) * 2001-01-15 2002-07-31 Wayne Jeffrey Forsythe Railway safety system for detecting track obstruction
AT5086U3 (en) * 2001-12-07 2003-02-25 Plasser Bahnbaumasch Franz WORKING VEHICLE AND METHOD FOR LEADING OPERATION

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004028881A1 *

Also Published As

Publication number Publication date
TW200424823A (en) 2004-11-16
WO2004028881A1 (en) 2004-04-08
AU2003270142A1 (en) 2004-04-19
DE10244127A1 (en) 2004-04-08

Similar Documents

Publication Publication Date Title
EP1542893A1 (en) Sensor system and method for monitoring the travel path of a mobile unit
DE102017203838B4 (en) Process and system for detecting the surroundings
EP3497476B1 (en) Motor vehicle and method for a 360° detection of the surroundings
DE102014223363B4 (en) Method and device for localizing a motor vehicle in a fixed reference map
DE102009006113B4 (en) Device and method for sensor fusion with dynamic objects
DE69731009T2 (en) System for detecting obstacles
DE102004016025B4 (en) Method for classifying an object location of a 3D object on a side of a transport vehicle
EP3218244B1 (en) Operation of a rail vehicle comprising an image generation system
DE102018218220A1 (en) Control device for a vehicle
WO2005081200A2 (en) Detection device for a motor vehicle
DE10151982A1 (en) Optoelectronic detection device
EP2756265A1 (en) Device and method for determining a position of a vehicle
EP1286181A1 (en) Driving of vehicles
DE102019131667A1 (en) VEHICLE AND METHOD OF PREDICTING A COLLISION
DE102016220450A1 (en) Apparatus, means of transport and method for estimating a collision probability between a means of locomotion and an environment object
DE102020127206A1 (en) PROCESS AND SYSTEM FOR THE JOINT USE OF SENSORS FOR AUTONOMOUS LANE CHANGE
EP3109663B1 (en) Method for operating a driver assistance system of a motor vehicle and motor vehicle
EP3802257A1 (en) Control of a motor vehicle
DE102004050690A1 (en) Procedure, computer program with program code means, computer program product and device for modeling the environment of an autonomous mobile system
DE102017218932B4 (en) Method for evaluating a trajectory of a means of transportation
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
WO2021156269A1 (en) Sensor system for a vehicle for monitoring a horizontal monitoring area of at least 180°
EP2856205B1 (en) Method and device for detecting objects
DE102019131334A1 (en) Method for tracking extended objects with at least one detection device and detection device
DE102019110942A1 (en) Automatic control of a path of a motor vehicle with respect to a lane

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050204

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

17Q First examination report despatched

Effective date: 20050617

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20070322