DE102008004632A1 - Vorrichtung und Verfahren zur Vermessung einer Parklücke - Google Patents
Vorrichtung und Verfahren zur Vermessung einer Parklücke Download PDFInfo
- Publication number
- DE102008004632A1 DE102008004632A1 DE102008004632A DE102008004632A DE102008004632A1 DE 102008004632 A1 DE102008004632 A1 DE 102008004632A1 DE 102008004632 A DE102008004632 A DE 102008004632A DE 102008004632 A DE102008004632 A DE 102008004632A DE 102008004632 A1 DE102008004632 A1 DE 102008004632A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- parking space
- depth
- line scan
- measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9314—Parking operations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
- G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
- G01S2015/934—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the depth, i.e. width, not length, of the parking space
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
- G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
- G01S2015/935—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Die Erfindung betrifft eine Vorrichtung zur Vermessung einer Parklücke (4) bei einer Vorbeifahrt eines Fahrzeugs (1) an der Parklücke, mit einer mit dem Fahrzeug (1) mitbeweglichen Zeilenkamera zur Erfassung von Einzelbildern der Umgebung des Fahrzeugs (1) quer zu einer Längsrichtung (x) des Fahrzeugs, Mitteln zur Erfassung der Bewegung des Fahrzeugs (1) und einer Auswerteeinrichtung (30), wobei die Zeilenkamer eine tiefenmessende Zeilenkamera ist, so dass die Einzelbilder der Umgebung des Fahrzeugs (1) in einer vertikalen Richtung (z) auflösbare Tiefeninformationen enthalten. Hierdurch ist eine kostengünstige genaue und sichere Vermessung von Parklücken möglich. Die Erfindung betrifft auch ein Verfahren zur Vermessung einer Parklücke.
Description
- Stand der Technik
- Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach dem Oberbegriff der unabhängigen Ansprüche.
- Aus
EP 0 735 383 A1 ist bereits eine Vorrichtung zur Aufnahme der Umgebung eines Fahrzeugs mit Hilfe eines Abstandssensors bekannt. Hierbei ist der Empfindlichkeitsbereich des Sensors in vertikaler Richtung größer als in horizontaler Richtung. Eine räumlich aufgelöste Erfassung der detektierten Objekte findet nicht statt. - Aus
EP 1 467 225 A1 ist es bekannt, dreidimensionale Umgebungsbilder eines Fahrzeugs mit einem optischen dreidimensionalen System, beispielsweise einer 3D-Kamera, aufzunehmen. - Weiterhin ist es aus
DE 101 14 932 A1 bekannt, mit einem scannenden Abstandssensor den Bereich seitlich eines Fahrzeugs in jeweils senkrecht zur Fahrtrichtung und zur Straßenoberfläche stehenden Flächen abzutasten und aus den dadurch gewonnenen Tiefenprofilen ein dreidimensionales Abbild des Umfelds des Fahrzeugs zu generieren. - Offenbarung der Erfindung
- Vorteile der Erfindung
- Die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren mit den Merkmalen der unabhängigen Ansprüche haben demgegenüber den Vorteil, dass zur Erfassung der für die Erkennung und Vermessung einer Parklücke notwendigen 3D-Informationen ein kostengünstiger eindimensionaler Sensor, nämlich eine tiefenmessende Zeilenkamera, vorgesehen ist. Aus einer Mehrzahl von aufeinander folgenden Aufnahmen des tiefenauflösenden eindimensionalen Sensors, die bei der Bewegung des Fahrzeugs gewonnen werden, kann ein dreidimensionales Bild der Umgebung des Fahrzeugs zusammengesetzt werden.
- Zeilenkameras sind mit einer hohen Pixelzahl erhältlich, so dass eine besonders hohe Auflösung erzielt werden kann. Dadurch, dass die von der Zeilenkamera erfassten Daten bereits räumlich aufgelöste Tiefeninformationen enthalten, ist eine genaue räumliche Vermessung der Objekte in der Umgebung des Fahrzeugs möglich. So können insbesondere Größe, Form und Position einer Parklücke mit besondere hoher Genauigkeit bestimmt werden, sowie Formen und Abmessungen der Begrenzungen einer Parklücke oder eventueller Störobjekte in der Parklücke. Hierdurch ist auch eine sichere Klassifikation und Einschätzung der Relevanz der betreffenden Objekte möglich, beispielsweise eine genaue Bestimmung der Höhe des Randsteins oder eine sichere Unterscheidung zwischen überfahrbaren und nicht überfahrbaren Objekten, sowie zwischen Objekten, die zwar nicht überfahren, aber mit einem Karosserieteil überragt werden können, wie etwa ein niedriger Randstein, und Objekten, bei denen das nicht möglich ist. Darüber hinaus spielen bei tiefenmessenden Zeilensensoren optische Einschränkungen, wie Schattenwurf bei ungünstiger Sonneneinstrahlung oder Kontrastschwäche zwischen Vorder- und Hintergrund, keine Rolle. Die durch die Zeilenkamera gleichzeitig mit den Tiefeninformationen erfassten Helligkeitsinformationen können ebenfalls für eine nachfolgende Auswertung zur Verfügung stehen.
- Die Zeilenkamera ist dabei mit horizontaler Blickrichtung, d. h., zur Erfassung der für die Erkennung und Vermessung von Parklücken relevanten Umgebung, an einem Fahrzeug angeordnet. Insbesondere sollen parkende Fahrzeuge und nahe der Straßenoberfläche befindliche Objekte sicher detektiert werden. Die Blickrichtung der Zeilenkamera ist bevorzugt senkrecht zur Längsrichtung des Fahrzeugs, kann aber auch schräg nach vorne oder nach hinten ausgerichtet sein. Das von der Zeilenkamera aufgenommene eindimensionale Bild der Umgebung besteht aus Bildpunkten, die bevorzugt in senkrechter Richtung angeordnet sind; die Kamerazeile kann aber auch schräg zur Senkrechten ausgerichtet sein.
- Neben den Tiefeninformationen können auch die Intensitäts- bzw. Helligkeitsinformationen, die mit der Zeilenkamera erhalten werden, ausgewertet werden. Diese können durch Erhöhung der Redundanz beispielsweise Aussagen über die Nutzbarkeit der Tiefeninformationen zulassen, etwa bei schwachem Signal oder bei Fehlern der Zeilenkamera. Ebenso können beispielsweise Reflexe erkannt werden, die ebenfalls Aussagen über die Form der detektierten Objekte zulassen. Darüber hinaus kann durch Auswertung der Reflektanz- bzw. Grauwertdaten die Sicherheit und Genauigkeit der Objektklassifikation verbessert werden.
- Zur Auswertung der von der Zeilenkamera gelieferten Daten und der Bewegung des Fahrzeugs ist mindestens eine Auswerteeinrichtung vorgesehen, die von der Zeilenkamera separat oder auch in diese integriert sein kann. Ebenso kann die Auswerteeinrichtung auch als Teil eines übergeordneten Systems ausgebildet sein. Der Auswerteeinrichtung können Speichermittel zugeordnet sein, die Daten des Fahrzeugs enthalten können, wie beispielsweise die Abmessungen, die Positionen der Räder zu den Ecken des Fahrzeugs, oder auch die maximale Höhe von Objekten, die noch überfahren oder überragt werden können. Die Speichermittel können auch dazu dienen, Bilder der Zeilenkamera zu speichern. Die ausgewerteten Daten über die Parklücke können zur Information des Fahrers zur Verfügung stehen, beispielsweise, ob die Parklücke zum Einparken des Fahrzeugs überhaupt ausreichend ist, oder auch zur Berechnung von Aktionen eines Einparkhilfesystems dienen.
- Es können auch mehrere Zeilenkameras zur Erfassung unterschiedlicher Bereiche, zur Erhöhung der Genauigkeit, zur Vermeidung von Abschattungen oder zur Erfassung unterschiedlicher Arten von Parklücken vorgesehen sein. So kann beispielsweise eine Zeilenkamera auf der rechten Fahrzeugseite angeordnet sein zur Vermessung von Parklücken auf der rechten Straßenseite und eine weitere auf der linken Fahrzeugseite zur Vermessung von Parklücken auf der linken Straßenseite. Ebenso kann eine Zeilenkamera im vorderen Bereich des Fahrzeugs angeordnet sein und eine weitere im hinteren Bereich, um, unabhängig von der Richtung der Vorbeifahrt, in jedem Fall zum frühest möglichen Zeitpunkt die Daten der Parklücke ermitteln zu können; bei Vorwärtsfahrt ist in diesem Fall die eine der Zeilenkameras in Betrieb, bei Rückwärtsfahrt die andere. Es können auch beide Zeilenkameras gleichzeitig benutzt werden, um unter allen Bedingungen eine optimale Abdeckung der Parklücke oder auch eine redundante Messung zu erzielen. Ebenso können die mehreren Zeilenkameras unterschiedlich ausgestaltet oder angeordnet sein, beispielsweise mit Blickrichtungen in unterschiedlicher Schrägstellung zur Längsrichtung, um Abschattungen zu vermindern.
- In vorteilhafter Weise kann die tiefenauflösende Zeilenkamera ein PMD-(Photon Mixing Device)Sensor bzw. Range Imager sein. Ein solcher Sensor ist kostengünstig erhältlich. Die aktive Beleuchtung erlaubt eine Verwendung auch unter schlechten Beleuchtungsverhältnissen, z. B. nachts. Besonders bevorzugt ist es, wenn der Sensor im NIR-Bereich arbeitet, da dieser für das menschliche Auge unsichtbar ist, aber die Sensor- und Empfängertechnologie ausgereift und robust und leicht verfügbar ist.
- In einer weiteren vorteilhaften Weiterbildung der Erfindung können Ausleuchtung, Auflösung und Winkelbereich der tiefenmessenden Zeilenkamera durch eine geeignete Optik ausgestaltet werden, beispielsweise durch Toroidlinsen mit unterschiedlichen Brennweiten in verschiedenen Ebenen. Derartige Maßnahmen können sowohl zur Ausgestaltung des Strahlbereichs des Senders wie auch des Empfindlichkeitsbereichs des Empfängers vorgesehen sein. Damit lassen sich für jedes Pixel die gewünschten Strahl- bzw. Empfindlichkeitsprofile, beispielsweise auch ovale Profile, erreichen. So kann es insbesondere vorteilhaft sein, in horizontaler und in vertikaler Richtung unterschiedlich breite Strahlprofile zu haben, die an die jeweilige erforderliche Auflösung in horizontaler und in vertikaler Richtung optimal angepasst sind.
- Zur genauen Höhenvermessung von Hindernissen, insbesondere Bordsteinen, kann es dabei besonders vorteilhaft sein, wenn die Auflösung der tiefenmessenden Zeilenkamera horizontal und vertikal unterschiedlich oder blickrichtungsabhängig der jeweils erforderlichen Genauigkeit angepasst ist. So kann beispielsweise der Detektionsbereich jedes Pixels in vertikaler Richtung geringer sein als in horizontaler Richtung. Hiermit kann bei gegebener Empfindlichkeit der Pixel eine besonders hohe Auflösung und Messgenauigkeit in vertikaler Richtung erreicht werden, um beispielsweise die Höhe eines Bordsteins möglichst genau zu bestimmen, um diesen als überragbar oder nicht überragbar klassifizieren zu können. Ebenso kann die Auflösung der Zeilenkamera in einer Blickrichtung, in der sich in häufig vorkommenden Fahrsituationen Objekte befinden, deren Höhe genau vermessen werden muss, höher sein als in anderen Bereichen. Dies kann beispielsweise durch einen unterschiedlichen Pixelabstand oder durch Verwendung von mehreren Sensoren bzw. Zeilenkameras mit unterschiedlicher Auflösung erreicht werden. Bei geeigneter Ausgestaltung und Anordnung können dadurch beispielsweise Objekte in der Nähe der Fahrbahnoberfläche, insbesondere Bordsteine, sehr genau vermessen werden, während für den oberen Bereich von Fahrzeugen, der für einen Einparkvorgang weniger genau bekannt sein muss, ein geringerer Aufwand bezüglich Sensorik und Auswertung ausreichend ist.
- Zur Erfassung der Bewegung des Fahrzeugs können fahrzeuggebundene oder vom Fahrzeug unabhängige Systeme eingesetzt werden. In einer bevorzugten Ausführungsform werden hierfür Odometriesensoren verwendet. Dies hat den Vorteil einer einfachen, kostengünstigen Ausführung. Darüber hinaus sind solche Sensoren häufig in Fahrzeugen als Teil anderer Systeme, beispielsweise ABS oder ASR, bereits vorhanden; die Verwendung dieser Sensoren hat den besonderen Vorteil, dass keine zusätzlichen Kosten für die Sensorik entstehen.
- Die Erfassung der Bewegung des Fahrzeugs ermöglicht insbesondere die Ermittlung des Weginkrements, um das sich das Fahrzeug von einer Aufnahme der Zeilenkamera bis zur nächsten weiterbewegt hat, und damit, ggf. unter Zuhilfenahme weiterer Daten über die Ausrichtung der Zeilenkamera oder rotatorischer Bewegungen des Fahrzeugs, die Zusammensetzung aufeinander folgender Aufnahmen zu einem vollständigen Bild der Umgebung des Fahrzeugs.
- Gemäß einem erfindungsgemäßen Verfahren zur Vermessung einer Parklücke bei einer Vorbeifahrt eines Fahrzeugs an der Parklücke, d. h., an einem Umgebungsbereich, der potentiell als Parklücke dienen kann, wird eine Folge von Einzelbildern einer Umgebung des Fahrzeugs (
1 ) in einer horizontalen Richtung quer zu einer Längsrichtung (x) des Fahrzeugs aufgenommen, wobei die Einzelbilder in einer weiteren Richtung quer zur Längsrichtung (x) des Fahrzeugs aufgelöst sind, die Bewegung des Fahrzeugs bei der Vorbeifahrt an der Parklücke wird erfasst und daraus das Weginkrement von einer zu einer darauf folgenden Einzelbildaufnahme berechnet; hierbei können auch andere Bewegungen als die Bewegung des Fahrzeugs in Längsrichtung zur späteren Auswertung erfasst werden. Die Aufnahme der Einzelbilder erfolgt erfindungsgemäß mit einer tiefenmessenden Zeilenkamera, so dass die Einzelbilder in der weiteren Richtung eindimensional aufgelöste Helligkeits- und Tiefeninformationen enthalten. Aus der Folge von eindimensionalen Einzelbildern mit Tiefeninformationen können die Begrenzungen der Parklücke mit hoher Genauigkeit erkannt und die nutzbaren Abmessungen der Parklücke ermittelt werden. - Das Verfahren nach Anspruch 8 hat demgegenüber den weiteren Vorteil, dass mit einer geringen Rechen- und Speicherkapazität und daher kostengünstig und schnell eine sichere Auswertung der von der Zeilenkamera gelieferten Daten möglich ist. Hiermit kann beispielsweise bei einer nach vorne offenen Parklücke der Anfang und die Tiefe der Parklücke ermittelt werden.
- Das Verfahren nach Anspruch 9 ermöglicht demgegenüber auf ebenso einfache und kostengünstige Weise die Ermittlung der Position und der Länge einer nach vorne und hinten begrenzten Parklücke.
- Kurze Beschreibung der Zeichnungen
- Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
- Es zeigen:
-
1 eine Situation bei der Vorbeifahrt an einer Parklücke aus der Vogelperspektive; -
2 die Funktion einer erfindungsgemäßen Vorrichtung im Querschnitt der Szene aus1 ; -
3 eine Seitenansicht der Szene aus1 mit einem schematisch dargestellten Einzelbild einer Zeilenkamera; -
4 ein synthetisiertes Bild der Zeilenkamera bei der Vorbeifahrt an der Parklücke der1 ; -
5 in schematischer Form ein erfindungsgemäßes Verfahren zur Bestimmung der Parameter einer Parklücke; -
6 den für die Ausführung des erfindungsgemäßen Verfahrens wesentlichen Teil des Einzelbilds aus3 ; -
7 in schematischer Form die in dem Bild der4 enthaltene Tiefeninformation; - Ausführungsformen der Erfindung
- Eine Situation, in der die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren vorteilhaft einsetzbar sind, ist in
1 in Draufsicht (aus der Vogelperspektive) dargestellt. Ein Fahrzeug1 , das mit der erfindungsgemäßen Vorrichtung ausgestattet ist, fährt an Objekten, beispielsweise stehenden Fahrzeugen2 und3 , vorbei, die einen potentiell als Parklücke4 geeigneten Zwischenraum begrenzen. Die Parklücke4 wird weiterhin begrenzt durch den Randstein5 . Natürlich kann die Parklücke auch durch andere Objekte, etwa Bäume, Poller, abgestellte Fahrräder usw. begrenzt sein. Der Einsatz der erfindungsgemäßen Vorrichtung kann aber auch sinnvoll sein, wenn die Parklücke nach mehr als einer Seite offen ist, wenn beispielsweise kein Randstein oder auch nur ein einzelnes stehendes Fahrzeug3 vorhanden ist. Die erfindungsgemäße Vorrichtung erzeugt Daten, die einem übergeordneten Fahrerinformations- oder Steuerungssystem als Grundlage für Informationen an den Fahrer oder ggf. weitere Aktionen, wie die Planung und Durchführung eines teilweise oder ganz selbstständigen Einparkvorgangs, dienen. - Hierzu ist gemäß Ausführungsbeispiel eine tiefenmessende Zeilenkamera
10 vorgesehen, deren Blickrichtung senkrecht zur Längsrichtung x des Fahrzeugs gerichtet ist. Wie in2 dargestellt, spannt die Empfangsapertur der tiefenmessenden Zeilenkamera10 in vertikaler Richtung einen fächerförmigen Bereich11 auf, der die in der Umgebung des Fahrzeugs1 befindlichen Objekte erfasst. Jedem Pixel der Zeilenkamera ist dabei ein Sehstrahl12 ,13 in eine bestimmte Raumrichtung zugeordnet. Für diejenigen Pixel, deren Sehstrahlen12 auf kein Objekt treffen, gibt es keine Tiefeninformation und ggf. auch keine Helligkeitsinformation. Bei denjenigen Pixeln, deren Sehstrahlen13 auf ein Objekt treffen, ermittelt die tiefenmessende Zeilenkamera neben dem Helligkeitswert auch eine Tiefeninformation, d. h., den Abstand zur Objektoberfläche14 . Da der Winkel jeden Sehstrahls12 ,13 zur Horizontalen bekannt ist, kann damit aus jedem Einzelbild der tiefenmessenden Zeilenkamera ein Bild mit Abstandsinformationen gewonnen werden. In3 ist in einer Seitenansicht der Szene aus1 beispielhaft die inverse Helligkeitsverteilung in einem Einzelbild40 der Zeilenkamera dargestellt. - Bewegt sich nun das Fahrzeug
1 mit der daran befindlichen Zeilenkamera10 in Längsrichtung x an den ruhenden Fahrzeugen2 ,3 vorbei, so kann aus den aufeinander folgenden Einzelbildern der Zeilenkamera ein vollständiges Bild der Szene synthetisiert werden (4 ). Eine Spalte41 des synthetisierten Bildes entspricht dabei einem Einzelbild der Zeilenkamera. Die Breite jeder Spalte entspricht dem Weginkrement, das das Fahrzeug1 von einer zur nächsten Aufnahme der Zeilenkamera zurückgelegt hat. Zur Bestimmung dieses Weginkrements ist ein zweiter Sensor, beispielsweise ein Odometriesensor20 , vorgesehen, der aus der Radbewegung die Geschwindigkeit des Fahrzeugs ermittelt, aus der mit dem Zeitabstand der Einzelaufnahmen der Kamera das Weginkrement berechnet werden kann. Dabei kann der Zeitabstand der Einzelaufnahmen beispielsweise von der Geschwindigkeit des Fahrzeugs1 und von der gewünschten Auflösung in x-Richtung abhängen. - Ein erfindungsgemäßes Verfahren ist schematisch in
5 gezeigt. Bei der Vorbeifahrt des Fahrzeugs (1 ) an der Parklücke werden von der tiefenauflösenden Zeilenkamera eine Vielzahl von Einzelbildern aufgenommen, wodurch zu jedem Pixel neben den Helligkeits- auch Tiefeninformationen vorliegen, aus denen Abstandsinformationen ermittelt werden. Im Zuge einer Filterung können die Daten geglättet oder auch mehrere Pixel mit ähnlichen Tiefen- oder Abstandsinformationen zusammengefasst sowie fehlerhafte Werte, die beispielsweise aufgrund von Sensordefekten, Reflexen o. ä. unbrauchbar sind, eliminiert werden. Im nächsten Schritt wird jeweils mindestens ein Abstandsminimum |ymin| ermittelt und der gemäß Abstandsinformationen damit zusammenhängende Bereich bestimmt, die jeweils Umgebungsobjekte darstellen. Dies ist in6 schematisch für eine Spalte42 des synthetisierten Bildes der Umgebung des Fahrzeugs dargestellt. Für diese Bereiche werden dann der minimale und der maximale Vertikalwert zmin und zmax ermittelt, der die Abmessungen des betreffenden Objekts charakterisiert, wobei ggf. diejenigen Messwerte, die die Straßenoberfläche darstellen, eliminiert werden. Insbesondere zmax ist wichtig zur Ermittlung der Überfahrbarkeit von Objekten und zur Klassifikation von Objekten in solche, die überfahren werden können, wie beispielsweise ein abgesenkter Bordstein, solche, die beispielsweise mit dem Heck, aber nicht mit einem Rad überfahren werden können, wie beispielsweise ein Bordstein unterhalb einer vorbestimmten Maximalhöhe, und solchen, die nicht überfahren werden können, wie beispielsweise ein parkendes Fahrzeug, ein Poller oder eine Wand. Diese Schritte werden für eine Vielzahl von aufeinander folgenden, jeweils um ein Weginkrement (beispielsweise Δx) veränderten, Positionen x wiederholt. - Für jede Position x, d. h., für jedes Einzelbild oder für eine Mehrzahl von miteinander zusammenhängenden Einzelbildern, können auf diese Weise wesentliche Kenngrößen, wie etwa der Abstand zu einem Objekt oder die Höhe des Objekts bestimmt werden. Damit kann eine Entscheidung getroffen werden, ob am betreffenden Ort x der Längsbewegung des Fahrzeugs ein für eine mögliche Parklücke nutzbarer Raum vorliegt oder nicht. Ist im weiteren Verlauf der Vorbeifahrt des Fahrzeugs ein vorhandener Raum beendet, was beispielsweise, wie in
7 schematisch dargestellt, an einem Sprung von |ymin| erkannt wird, so kann aus den vorhandenen Daten eine Entscheidung getroffen werden, ob der Raum als Parklücke nutzbar ist oder nicht und die entsprechenden Daten beispielsweise einem Fahrerinformations- oder einem Einparkhilfesystem zugänglich gemacht werden. - Zur Durchführung des Verfahrens sind die Zeilenkamera
10 und der Odometriesensor20 mit einer Auswertevorrichtung30 verbunden, die aus den von den Sensoren gelieferten Daten die genannten Informationen ermittelt und diese ggf. einem übergeordneten System zur Verfügung stellt. - ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- - EP 0735383 A1 [0002]
- - EP 1467225 A1 [0003]
- - DE 10114932 A1 [0004]
Claims (9)
- Vorrichtung zur Vermessung einer Parklücke (
4 ) bei einer Vorbeifahrt eines Fahrzeugs (1 ) an der Parklücke, mit – mindestens einem mit dem Fahrzeug (1 ) mutbeweglichen Sensor zur Erfassung von Daten einer Umgebung des Fahrzeugs (1 ) in einer horizontalen Richtung quer zu einer Längsrichtung (x) des Fahrzeugs, – wobei die Daten der Umgebung des Fahrzeugs (1 ) eindimensional in einer weiteren Richtung quer zu einer Längsrichtung des Fahrzeugs (x) auflösbar sind, – Mitteln zur Erfassung der Bewegung des Fahrzeugs (1 ) bei der Vorbeifahrt an der Parklücke und – mindestens einer Auswerteeinrichtung (30 ) zur Auswertung der von dem Sensor und den Mitteln zur Erfassung der Bewegung des Fahrzeugs gelieferten Daten, dadurch gekennzeichnet, dass – der mindestens eine Sensor eine tiefenmessende Zeilenkamera ist und – die von dem mindestens einen Sensor erfassbaren Daten in der weiteren Richtung auflösbare Helligkeits- und Tiefeninformationen enthalten. - Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass mehrere tiefenmessende Zeilenkameras vorgesehen sind.
- Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die tiefenmessende Zeilenkamera bzw. die tiefenmessenden Zeilenkameras als PMD-Sensor bzw. Range Imager arbeiten.
- Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Auflösung der Zeilenkamera in vertikaler Richtung höher ist als in horizontaler.
- Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Auflösung der Zeilenkamera abhängig von der Blickrichtung ist.
- Vorrichtung nach einem der Ansprüche 1–5, dadurch gekennzeichnet, dass zur Erfassung der Bewegung des Fahrzeugs Odometriesensoren vorgesehen sind.
- Verfahren zur Vermessung einer Parklücke (
4 ) bei einer Vorbeifahrt eines Fahrzeugs (1 ) an der Parklücke, mit den Schritten: – Aufnehmen einer Folge von Einzelbildern einer Umgebung des Fahrzeugs (1 ) in einer horizontalen Richtung quer zu einer Längsrichtung (x) des Fahrzeugs bei einer Vorbeifahrt des Fahrzeugs an der Parklücke, wobei die Einzelbilder in einer weiteren Richtung quer zur Längsrichtung (x) des Fahrzeugs aufgelöst sind, – Erfassung der Bewegung des Fahrzeugs (1 ) bei der Vorbeifahrt an der Parklücke – Berechnen des Weginkrements von einer zu einer darauf folgenden Einzelbildaufnahme, dadurch gekennzeichnet, dass – die Aufnahme der Einzelbilder mit einer tiefenmessenden Zeilenkamera erfolgt, – die Einzelbilder in der weiteren Richtung eindimensional aufgelöste Helligkeits- und Tiefeninformationen enthalten, und – aus der Folge von eindimensionalen Einzelbildern mit Tiefeninformationen die Begrenzungen der Parklücke erkannt und die nutzbaren Abmessungen der Parklücke ermittelt werden. - Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass – aus der Tiefeninformation für mindestens ein eindimensionales Einzelbild mindestens ein lokales Minimum |ymin| des Abstands vom Fahrzeug (
1 ) ermittelt wird, – zu dem mindestens einen lokalen Minimum |ymin| ein hiermit zusammenhängender Bereich innerhalb eines Einzelbilds und/oder innerhalb einer Mehrzahl aufeinander folgender Einzelbilder ermittelt wird, – für den mit dem lokalen Minimum |ymin| zusammenhängenden Bereich der minimale und der maximale Vertikalwert zmin und zmax bestimmt werden, – daraus ein parklückenbegrenzendes Objekt erkannt und als überfahrbar, überragbar oder nicht überfahr- oder überragbar klassifizieren wird, und – und daraus der Anfang und die Tiefe einer Parklücke ermittelt werden. - Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass bei der Vorbeifahrt an der Parklücke (
4 ) das Ende und die Länge der Parklücke (4 ) ermittelt und entsprechende Daten an ein übergeordnetes System übermittelt werden.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008004632A DE102008004632A1 (de) | 2008-01-16 | 2008-01-16 | Vorrichtung und Verfahren zur Vermessung einer Parklücke |
PCT/EP2008/065275 WO2009089938A1 (de) | 2008-01-16 | 2008-11-11 | Vorrichtung und verfahren zur vermessung einer parklücke |
EP08870696A EP2235562A1 (de) | 2008-01-16 | 2008-11-11 | Vorrichtung und verfahren zur vermessung einer parklücke |
US12/735,341 US8422737B2 (en) | 2008-01-16 | 2008-11-11 | Device and method for measuring a parking space |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008004632A DE102008004632A1 (de) | 2008-01-16 | 2008-01-16 | Vorrichtung und Verfahren zur Vermessung einer Parklücke |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102008004632A1 true DE102008004632A1 (de) | 2009-07-23 |
Family
ID=40427254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102008004632A Withdrawn DE102008004632A1 (de) | 2008-01-16 | 2008-01-16 | Vorrichtung und Verfahren zur Vermessung einer Parklücke |
Country Status (4)
Country | Link |
---|---|
US (1) | US8422737B2 (de) |
EP (1) | EP2235562A1 (de) |
DE (1) | DE102008004632A1 (de) |
WO (1) | WO2009089938A1 (de) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009046674A1 (de) | 2009-11-13 | 2011-06-09 | Robert Bosch Gmbh | Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs und Vorrichtung hierzu |
WO2012123263A1 (de) * | 2011-03-11 | 2012-09-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum detektieren einer parklücke, parkhilfesystem und kraftfahrzeug mit einem parkhilfesystem |
DE102012201051A1 (de) * | 2012-01-25 | 2013-07-25 | Robert Bosch Gmbh | Verfahren zur Fahrassistenz und Fahrassistenzsystem |
DE102013010010A1 (de) * | 2013-06-14 | 2014-12-31 | Audi Ag | Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken |
EP2899076A4 (de) * | 2012-09-18 | 2015-12-09 | Aisin Seiki | Parkhilfevorrichtung |
DE102017105721A1 (de) * | 2017-03-16 | 2018-09-20 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur Identifikation wenigstens eines Parkplatzes für ein Fahrzeug und Parkplatzassistenzsystem eines Fahrzeugs |
DE102020131281A1 (de) | 2020-11-26 | 2022-06-02 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum betreiben eines fahrassistenzsystems, computerprogrammprodukt, fahrassistenzsystem und fahrzeug |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010132677A1 (en) * | 2009-05-13 | 2010-11-18 | Rutgers, The State University | Vehicular information systems and methods |
EP2428431A1 (de) * | 2010-09-08 | 2012-03-14 | Ford Global Technologies, LLC | System zur Einparkhilfe eines Fahrzeugs und Verfahren zum Parken eines Fahrzeugs mit dem System |
US10776635B2 (en) * | 2010-09-21 | 2020-09-15 | Mobileye Vision Technologies Ltd. | Monocular cued detection of three-dimensional structures from depth images |
JP2013200603A (ja) * | 2012-03-23 | 2013-10-03 | Hitachi Automotive Systems Ltd | 車載用画像処理装置及び方法 |
KR101877570B1 (ko) * | 2012-04-04 | 2018-07-11 | 현대자동차주식회사 | Av 영상 기반의 주차위치 설정 장치 및 그 방법 |
KR101417399B1 (ko) * | 2012-11-09 | 2014-07-08 | 현대자동차주식회사 | 차량의 주차 위치 표시 장치 및 방법 |
GB201312038D0 (en) * | 2013-07-04 | 2013-08-21 | Jaguar Land Rover Ltd | Trailer parameter identification system |
US9285230B1 (en) * | 2013-12-20 | 2016-03-15 | Google Inc. | Methods and systems for detecting road curbs |
US9384662B2 (en) | 2014-04-17 | 2016-07-05 | Ford Global Technologies, Llc | Parking assistance for a vehicle |
DE102015201317A1 (de) * | 2015-01-27 | 2016-07-28 | Bayerische Motoren Werke Aktiengesellschaft | Vermessen einer Abmessung auf einer Oberfläche |
US10288733B2 (en) * | 2015-04-28 | 2019-05-14 | Robert Bosch Gmbh | Method for forecasting parking area availability of a street section |
DE102016111079A1 (de) | 2016-06-17 | 2017-12-21 | Valeo Schalter Und Sensoren Gmbh | Verfahren zur Objekthöhenerkennung eines Objektes in der Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzsystem |
KR20230017365A (ko) * | 2016-06-27 | 2023-02-03 | 모빌아이 비젼 테크놀로지스 엘티디. | 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어 |
US10163347B2 (en) * | 2016-12-12 | 2018-12-25 | Arm Ip Limited | Method of detecting and providing parking space information and/or road obstacle information to vehicles |
US10614721B2 (en) * | 2017-06-08 | 2020-04-07 | International Business Machines Corporation | Providing parking assistance based on multiple external parking data sources |
JP2018203214A (ja) * | 2017-06-09 | 2018-12-27 | アイシン精機株式会社 | 駐車支援装置、駐車支援方法、運転支援装置、および運転支援方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0735383A1 (de) | 1995-03-29 | 1996-10-02 | Regie Nationale Des Usines Renault S.A. | Ortungs- und/oder Entdeckungsvorrichtung für Fahrzeuge |
DE10114932A1 (de) | 2001-03-26 | 2002-10-24 | Daimler Chrysler Ag | Dreidimensionale Umfelderfassung |
EP1467225A1 (de) | 2003-04-10 | 2004-10-13 | IEE International Electronics & Engineering S.A.R.L. | Einparkhilfe für ein Fahrzeug |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19821974B4 (de) | 1998-05-18 | 2008-04-10 | Schwarte, Rudolf, Prof. Dr.-Ing. | Vorrichtung und Verfahren zur Erfassung von Phase und Amplitude elektromagnetischer Wellen |
US6285297B1 (en) * | 1999-05-03 | 2001-09-04 | Jay H. Ball | Determining the availability of parking spaces |
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
JP3427823B2 (ja) * | 2000-02-29 | 2003-07-22 | 株式会社豊田自動織機 | 縦列駐車時の車両後退支援装置 |
DE10146712A1 (de) | 2001-09-21 | 2003-04-10 | Bayerische Motoren Werke Ag | Einparkhilfsvorrichtung für Kraftfahrzeuge |
DE10147808A1 (de) | 2001-09-27 | 2003-04-10 | Conti Temic Microelectronic | Bildaufnehmer, insbesondere zur dreidimensionalen Erfassung von Objekten oder Szenen |
JP4234374B2 (ja) * | 2002-08-21 | 2009-03-04 | 三菱自動車工業株式会社 | 駐車支援装置 |
JP4235026B2 (ja) * | 2003-04-28 | 2009-03-04 | トヨタ自動車株式会社 | 駐車支援装置 |
DE102004029038A1 (de) | 2004-06-09 | 2006-07-06 | Valeo Schalter Und Sensoren Gmbh | Parkassistenzsystem |
DE102004039740A1 (de) | 2004-08-17 | 2006-02-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zu Abstandsbestimmung und Objektbestimmung |
JP4604703B2 (ja) * | 2004-12-21 | 2011-01-05 | アイシン精機株式会社 | 駐車補助装置 |
JP4600760B2 (ja) * | 2005-06-27 | 2010-12-15 | アイシン精機株式会社 | 障害物検出装置 |
-
2008
- 2008-01-16 DE DE102008004632A patent/DE102008004632A1/de not_active Withdrawn
- 2008-11-11 WO PCT/EP2008/065275 patent/WO2009089938A1/de active Application Filing
- 2008-11-11 EP EP08870696A patent/EP2235562A1/de not_active Withdrawn
- 2008-11-11 US US12/735,341 patent/US8422737B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0735383A1 (de) | 1995-03-29 | 1996-10-02 | Regie Nationale Des Usines Renault S.A. | Ortungs- und/oder Entdeckungsvorrichtung für Fahrzeuge |
DE10114932A1 (de) | 2001-03-26 | 2002-10-24 | Daimler Chrysler Ag | Dreidimensionale Umfelderfassung |
EP1467225A1 (de) | 2003-04-10 | 2004-10-13 | IEE International Electronics & Engineering S.A.R.L. | Einparkhilfe für ein Fahrzeug |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009046674A1 (de) | 2009-11-13 | 2011-06-09 | Robert Bosch Gmbh | Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs und Vorrichtung hierzu |
WO2012123263A1 (de) * | 2011-03-11 | 2012-09-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum detektieren einer parklücke, parkhilfesystem und kraftfahrzeug mit einem parkhilfesystem |
US9318022B2 (en) | 2011-03-11 | 2016-04-19 | Valeo Schalter Und Sensoren Gmbh | Method for detecting a parking space, parking assist system and motor vehicle comprising a parking assist system |
DE102012201051A1 (de) * | 2012-01-25 | 2013-07-25 | Robert Bosch Gmbh | Verfahren zur Fahrassistenz und Fahrassistenzsystem |
EP2899076A4 (de) * | 2012-09-18 | 2015-12-09 | Aisin Seiki | Parkhilfevorrichtung |
US9389313B2 (en) | 2012-09-18 | 2016-07-12 | Aisin Seiki Kabushiki Kaisha | Parking assistance device |
DE102013010010A1 (de) * | 2013-06-14 | 2014-12-31 | Audi Ag | Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken |
DE102013010010B4 (de) | 2013-06-14 | 2022-02-10 | Audi Ag | Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken |
DE102017105721A1 (de) * | 2017-03-16 | 2018-09-20 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur Identifikation wenigstens eines Parkplatzes für ein Fahrzeug und Parkplatzassistenzsystem eines Fahrzeugs |
DE102020131281A1 (de) | 2020-11-26 | 2022-06-02 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum betreiben eines fahrassistenzsystems, computerprogrammprodukt, fahrassistenzsystem und fahrzeug |
Also Published As
Publication number | Publication date |
---|---|
EP2235562A1 (de) | 2010-10-06 |
US8422737B2 (en) | 2013-04-16 |
US20110013201A1 (en) | 2011-01-20 |
WO2009089938A1 (de) | 2009-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102008004632A1 (de) | Vorrichtung und Verfahren zur Vermessung einer Parklücke | |
EP1267178B1 (de) | Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes | |
EP2081167B1 (de) | Verfahren und Vorrichtung zur Erkennung und/oder Vermessung einer Parklücke | |
DE10114932B4 (de) | Dreidimensionale Umfelderfassung | |
DE4410406A1 (de) | Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs | |
EP1557692A1 (de) | Verfahren zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen | |
EP1825276A1 (de) | Verfahren und vorrichtung zur ermittlung einer fahrzeuggeschwindigkeit | |
EP1068992A2 (de) | Rückfahrhilfe | |
CH701106B1 (de) | Verfahren und Vorrichtung zum Vermessen der räumlichen Ausdehnung eines Objektes. | |
WO2013083379A1 (de) | Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition | |
DE102019133642A1 (de) | Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten | |
DE102009031319A1 (de) | Verfahren und System zur Bestimmung einer Fahrzeugklasse | |
DE102007025147B4 (de) | System zur Spurverlassenswarnung und/oder Spurhaltefunktion | |
WO2008135604A1 (de) | Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens | |
EP2960883B1 (de) | Bestimmung mindestens eines Merkmals eines Fahrzeugs | |
DE102015209147A1 (de) | Verfahren zur Parkflächenerkennung | |
EP1306690A2 (de) | Verfahren zur Erkennung und Verfolgung von Objekten | |
DE10239765A1 (de) | Profiltiefenmeßvorrichtung | |
DE10148062A1 (de) | Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes | |
DE102007032997A1 (de) | Fahrerassistenzvorrichtung | |
EP0290633A1 (de) | Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges | |
WO2018046504A1 (de) | System und verfahren zum erfassen von eigenschaften mindestens eines rades eines schienenfahrzeugs | |
EP3082119B1 (de) | Abstandsmessung von fahrzeugen | |
DE102011083745B4 (de) | Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung | |
DE102018121158A1 (de) | Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R084 | Declaration of willingness to licence |
Effective date: 20130617 |
|
R012 | Request for examination validly filed | ||
R012 | Request for examination validly filed |
Effective date: 20140926 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |