DE102004001555B4 - Verfahren und System für die Spurführung eines Fahrzeugs - Google Patents

Verfahren und System für die Spurführung eines Fahrzeugs Download PDF

Info

Publication number
DE102004001555B4
DE102004001555B4 DE102004001555.4A DE102004001555A DE102004001555B4 DE 102004001555 B4 DE102004001555 B4 DE 102004001555B4 DE 102004001555 A DE102004001555 A DE 102004001555A DE 102004001555 B4 DE102004001555 B4 DE 102004001555B4
Authority
DE
Germany
Prior art keywords
vehicle
image
parking
curb
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE102004001555.4A
Other languages
English (en)
Other versions
DE102004001555A1 (de
Inventor
Stefan Horender
Wolfgang Niem
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102004001555.4A priority Critical patent/DE102004001555B4/de
Publication of DE102004001555A1 publication Critical patent/DE102004001555A1/de
Application granted granted Critical
Publication of DE102004001555B4 publication Critical patent/DE102004001555B4/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • B60T2201/085Lane monitoring; Lane Keeping Systems using several actuators; Coordination of the lane keeping system with other control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren für die Spurführung eines Fahrzeugs, bei dem mittels Video- und oder Radarsystemen ein Abbild (Stereoaufnahme SB) der von dem Fahrzeug befahrenen Verkehrsfläche (1) erzeugt wird und dieses Abbild (Stereoaufnahme SB) auf für die Spurführung des Fahrzeugs geeignete Markierungen analysiert wird, eine wenigstens zwei Teilbilder (TB1, TB2) umfassende Stereoaufnahme (SB) der Verkehrsfläche (1) aufgenommen wird, dadurch gekennzeichnet, dass die Stereoaufnahme (SB) auf Höhensprünge (Höhen H1, H2) analysiert wird, und dass bei Detektion von auf Fahrbahnkanten (Bordsteinkante 5) hindeutenden Höhensprüngen (Höhen H1, H2), die Fahrbahnkanten für die Spurführung des Fahrzeugs herangezogen werden, wobei die Höhe (H) und die Lage von Kanten (Bordstein 59) bei einem automatisch ablaufenden Einparkvorgang für die Längsregelung eines Fahrzeugs (10) berücksichtigt werden.

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Verfahren und ein System für die Spurführung eines Fahrzeugs nach dem Oberbegriff der unabhängigen Patentansprüche 1 und 9. Moderne Konzepte für die Verkehrsregelung sehen auch eine weitgehend automatisierte Spurführung von Straßenfahrzeugen vor, um den Fahrer zu entlasten und den Verkehrsfluss zu verbessern.
  • Aus den Literaturstellen R. Behringer, Visuelle Erkennung und Interpretation des Fahrspurverlaufs durch Rechnersehen für ein autonomes Straßenfahrzeug, Fortschrittsbericht, VDI Reihe 12 Nr.310, Düsseldorf, VDI Verlag 1997 und Goldbeck, J. Hürtgen, B., 1999, Lane Detection and Tracking by Video Sensors, IEEE Proc. Int. Conf. On Intelligent Vehicles, pp. 74–79, sind bereits Verfahren für die Spurführung eines Fahrzeugs bekannt. Dabei werden fahrzeuggebundene Videosysteme verwendet, mit deren Hilfe versucht wird, auf der Straße angeordnete weiße Begrenzungslinien zu erkennen oder Intensitätsgradienten in digitalen Bildern der Fahrbahn zu analysieren, um den Fahrstreifen zu detektieren. Aus den Literaturstellen Zhang, J., Nagel, H.-H., Texture-Based Segmentation of Road Images, Intelligent Vehicles Symp., France 1994, pp. 260–265, und Sayd, P., Chapius, R. Aufrere, R. Chausse, F., 1998, A Dynamic Vision Algorithm to Recover the 3D Shape of a Non -Structured Road, IEEE Int. Conf. On Intelligent Vehicles, Stuttgart, Germany, ist es weiterhin bekannt, Texturmerkmale auszuwerten, um die Ränder von Fahrbahnen zu erkennen. Die bekannten Ansätze führen jedoch dann nicht zum Erfolg, wenn keine Fahrbahnmarkierungen vorhanden sind und auch keine hinreichend klaren Texturmerkmale vorliegen. Unter diesen Umständen ist eine zuverlässige Spurführung eines Fahrzeugs mit videobasierten Methoden in der Regel nicht möglich.
  • Aus DE 199 32 779 A1 ist weiter eine Rückfahrhilfe bekannt, mit der das Vorhandensein von in einem Parkbereich befindlichen Hindernissen feststellbar ist. Weiterhin ist deren Breiten- und Höhenerstreckung messbar. Die Messung erfolgt mit optischen Mitteln, insbesondere mit einem Laser und mit einer Mono- oder Stereokamera. Aus den Messwerten wird eine ergonomisch günstige Lagedarstellung abgeleitet, die dem Fahrer des Fahrzeugs auf einem Monochrom- oder Farbmonitor dargeboten wird. Dabei umfasst die Lagedarstellung sowohl die Entfernung vorhandener Hindernisse in Bezug auf das Heck des Fahrzeugs als auch Breiten- und Höhenausdehnung der Hindernisse. Der Fahrer muss jedoch Rücksetz- und/oder Einparkvorgänge noch selbst durchführen. Zwar kann eine derartige Lagedarstellung, insbesondere für geübte Fahrer oder für Fahrer von NKw mit unübersichtlichen Aufbauten eine gewisse Erleichterung bieten. Gerade diese Fahrer benötigen jedoch in der Regel aufgrund ihres durch lange Fahrpraxis erworbenen Geschicks eine derartige Unterstützung nicht. Für den Durchschnittsfahrer kann eine derartige abstrakte Lagedarstellung des Fahrzeugumfelds eher eine zusätzliche Belastung darstellen, da sie neben einem großen Abstraktionsvermögen auch noch eine erhöhte Aufmerksamkeit erfordert. Ein ungeübter Fahrer wird nämlich eher dazu neigen, der abstrakten Lagedarstellung auf dem Monitor nur einen Teil seiner Aufmerksamkeit zu schenken, da er immer versucht sein wird, sich in herkömmlicher Weise, durch Rückwärtsblicken, selbst ein Bild von der Situation zu verschaffen. Ein praktisch blindes Vertrauen zu der abstrakten Lagedarstellung wird nur durch ein entsprechendes Training anerzogen werden können.
  • Die Offenlegungsschrift DE 199 26 559 A1 zeigt ein Verfahren und eine Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernungen.
  • Die Offenlegungsschrift WO 2003/093 857 A2 zeigt ein Verfahren zur Reduktion einer benötigten Prozessorleistung durch Reduktion eines auszuwertenden Bildbereichs.
  • Die Offenlegungsschrift WO 01/74 643 A1 zeigt ein Verfahren und eine Vorrichtung zum Parken eines Fahrzeugs.
  • Die Offenlegungsschrift US 6 038 496 A offenbart ein Fahrzeug mit einer seitlich angebrachten optischen Abtasteinrichtung zur berührungslosen Abtastung eines seitlichen Fahrbahnbereichs und einer nachgeschalteten.
  • Vorteile der Erfindung
  • Die Erfindung mit den Merkmalen des Anspruchs 1 ermöglicht eine zuverlässige Spurführung eines Fahrzeugs auch dann, wenn keine farbigen Fahrbahnmarkierungen und keine klar erkennbaren Texturmerkmale eines Straßenrands für eine Fahrbahn- oder Fahrspurerkennung vorliegen. Die Erfindung geht dabei von der Erkenntnis aus, dass, insbesondere in bebauten Gebieten, wie beispielsweise in innerstädtischen Siedlungsbereichen, üblicherweise Bordsteine vorhanden sind. Diese Bordsteine grenzen den für Fahrzeuge vorgesehenen Bereich der Verkehrsfläche von jenen Bereichen ab, die für andere Verkehrsteilnehmer, insbesondere Fußgänger, vorgesehen sind. Zu diesen Bereichen gehören beispielsweise Gehwege und Verkehrsinseln. Die Erfindung macht sich dabei die Tatsache zunutze, dass Bordsteine in der Regel einen Höhensprung markieren, da die vorgenannten Bereiche der Verkehrsfläche auf unterschiedlichen Niveaus angelegt sind. Die Höhensprünge sind weitgehend standardisiert und liegen in der Praxis in einem Bereich von etwa 10 cm bis etwa 20 cm. Von einem bordgestützten Video- und oder Radarsystem werden zunächst Stereoaufnahmen der Verkehrsfläche, vorzugsweise in Fahrtrichtung des Fahrzeugs, erzeugt. Aus diesen Stereobildern wird dann ein Gradientenbild (Kantenbild) errechnet. Anschließend erfolgen eine Disparitätsschätzung und eine Berechnung der dreidimemsionalen Koordinaten von Bildpunkten mit großen Gradienten. Schließlich erfolgt eine Detektion großer Höhensprünge im Bereich des Randes des Fahrstreifens, die als Bordsteinkante interpretiert werden. Das erfindungsgemäße Verfahren ermöglicht eine zuverlässige Detektion von Bordsteinkanten. Zuverlässig detektierte Bordsteinkanten können sodann als Hilfsmittel für eine sichere Spurführung des Fahrzeugs herangezogen werden. Sofern eine Bordsteinkante sicher erkannt worden ist, kann dies auch bei ggf. erforderlichen Ausweichstrategien berücksichtigt werden. So kann beispielsweise bei einem geplanten Ausweichmanöver rechtzeitig ein Warnhinweis vor dem Befahren der Bordsteinkante erfolgen. Weiterhin kann das Fahrverhalten derart beeinflusst werden, dass ein möglichst reifenschonendes Überqueren der Bordsteinkante realisiert wird. Besonders überzeugende Vorteile ergeben sich weiterhin im Bereich von Straßenkreuzungen und Straßeneinmündungen. Insbesondere dann, wenn ggf. vorhandene Farbmarkierungen nur noch schlecht lesbar oder sogar missverständlich sind. Bordsteinkanten dagegen lassen sich über die damit verbundenen Höhensprünge eindeutig als Begrenzung der von dem Fahrzeug befahrbaren Fläche interpretieren. Das erfindungsgemäße Verfahren erleichtert auch die Detektion von Verkehrsinseln, die somit leichter als Verkehrshindernis erkennbar sind. Schließlich verbessert das erfindungsgemäße Verfahren auch die Oberflächenschätzung der Fahrbahn, da höherliegende Bereiche, die außerhalb der Fahrbahn liegen, wie beispielsweise auf dem Niveau eines Randstreifens, nicht mit berücksichtigt werden.
  • Zeichnung
  • Ausführungsbeispiele der Erfindung werden nachfolgend unter Bezug auf die Zeichnung näher erläutert.
  • Dabei zeigt
  • 1 in schematischer Darstellung ein stereoskopisches Bild einer innerstädtischen Verkehrsfläche,
  • 2 in einem Diagramm Höhenwerte von Messpunkten aus 1, 3 ein Ablaufdiagramm, 4 ein Blockdiagramm eines Systems für die Spurführung,
  • 5 eine Aufsicht auf eine Verkehrsfläche zur Erläuterung eines Einparkvorgangs, 6 eine weitere Aufsicht auf eine Verkehrsfläche zur Erläuterung eines Einparkvorgangs, 7 eine Skizze für die Erläuterung der Auffahrt auf einen Bordstein, 8 eine weitere Aufsicht auf eine Verkehrsfläche zur Erläuterung eines Einparkvorgangs.
  • Beschreibung der Ausführungsbeispiele
  • Ausführungsbeispiele der Erfindung werden unter Bezug auf die Zeichnung näher erläutert. Dabei zeigt 1 in schematischer Darstellung ein stereoskopisches Bild einer innerstädtischen Verkehrsfläche 1. Eine für Fahrzeuge bestimmte Fahrbahn ist mit Bezugsziffer 2 gekennzeichnet. Mit Bezugsziffer 3 ist eine die Fahrbahn 2 begrenzende Fahrbahnmarkierung bezeichnet. In 1 schließt sich rechts an die Fahrbahn 2 ein Gehweg 4 an, der zu der Fahrbahn 2 hin von Bordsteinen begrenzt ist. Die Bordsteinkante ist mit 5 bezeichnet. Die Kreuze in 1 markieren Messpunkte 6.
  • 2 zeigt in einem Diagramm Werte der Höhe H von Messpunkten 6 aus 1 entlang einer Zeile als Funktion des Abstands x von beispielsweise dem linken Rand der Fahrbahn 2. Das Diagramm zeigt, dass die Höhe H der Messpunkte 6 im Wesentlichen um zwei Werte h1 und h2 streut. Die Messpunkte 6 mit der Höhe h1 liegen auf der für die Fahrzeuge vorgesehenen Fahrbahn 2. Die Messpunkte 6 mit der Höhe h2 liegen dagegen im Wesentlichen auf dem Gehweg 4. Etwa bei dem Abstand x1 ist ein auffälliger Höhensprung erkennbar, der den Übergang von der Fahrbahn 2 auf den Gehweg 4 durch eine Bordsteinkante 5 markiert. Sobald ein derartiger Höhensprung erkannt worden ist, kann die entsprechende Bordsteinkante 5 als Orientierungsmittel für ein automatisches Spurführungssystem benutzt werden.
  • Im Folgenden wird das erfindungsgemäße Verfahren unter Bezugnahme auf das in 3 dargestellte Ablaufdiagramm erläutert. Mit Hilfe eines bordgestützten Video- und oder Radarsystems werden Stereoaufnahmen des Fahrzeugumfeldes, insbesondere Aufnahmen in Fahrtrichtung des Fahrzeugs gemacht (Schritt 30). Jede Stereoaufnahme SB umfasst mindestens zwei aus unterschiedlichem Blickwinkel aufgenommene Teilbilder TB1 TB2, wobei die Inhalte des einen Teilbildes TB1 gegenüber dem anderen Teilbild TB2 leicht verschoben sind. Diese Verschiebung wird als Disparität bezeichnet. Zusammen betrachtet vermitteln beide Teilbilder den Stereoeindruck. Aus einem der beiden Teilbilder TB1, TB2 der Stereoaufnahme SB, in diesem Fall aus dem Teilbild TB1, wird ein Kantenbild extrahiert (Schritt 31). An den Stellen der Aufnahme TB1, an denen Kanten aufgefunden werden, wird die Disparität zu dem anderen Teilbild TB2 der Stereoaufnahme SB bestimmt (Schritt 32). Damit ist für jeden Punkt auf einer aufgefundenen Kante dessen 3D-Koordinate bekannt. Die weitere Analyse betrifft die Auswahl von Höhensprüngen in einem vorgebbaren Höhenintervall der Höhen h1, h2, vorzugsweise in einem Bereich von etwa 10 cm bis etwa 20 cm, in dem die Höhen h1, h2 üblicher Bordsteinkanten liegen (Schritt 33). Werden Kanten mit einem in dem vorgenannten Höhenbereich der Höhen h1, h2 liegenden Höhensprung aufgefunden, deutet dies darauf hin, dass ein die Fahrbahn 2 begrenzender Bordstein mit einer Bordsteinkante 5 aufgefunden worden ist. In diesem Fall wird zu dem Schritt 33B verzweigt, der zu dem Schritt 34 führt. In dem Schritt 34 wird die Information über den detektierten Kantenverlauf (Borsteinkante 5) dem Spurführungssystem des Fahrzeugs zugeleitet. Die so aufgefundene Bordsteinkante 5 kann dann als Orientierungshilfsmittel für die Spurführung des Fahrzeugs dienen. Wird in dem Schritt 33 keine Kante mit einem in dem Höhenintervall der Höhen h1, h2 liegenden Höhensprung aufgefunden, wird zu dem Schritt 33A verzweigt, der entweder zu dem Schritt 30 zurückführt oder, alternativ, in den Schritt 33C mündet. In dem Schritt 33C wird erneut versucht ein Kantenbild aus dem Teilbild TB1 zu extrahieren. Falls dies wiederum nicht erfolgreich ist und die Auswertung in dem Schritt 32 kein brauchbares Ergebnis liefert, kann, durch einen erneuten Schritt 30, eine neue Stereoaufnahme SB mit zwei Teilbildern TB1, TB2 ausgewertet werden.
  • Besonders vorteilhaft wird eine Klassifizierung detektierter Höhensprünge auch dadurch vorgenommen, dass in einem Näherungsverfahren, vorzugsweise mittels der Methode der kleinsten Quadrate, eine Stufenfunktion an die Höhensprünge angenähert wird. Auf diese Weise kann ein Gütemaß für einen detektierten Höhensprung gewonnen werden.
  • Durch Auswertung des Kantenverlaufs können vorteilhaft auch Straßenkrümmungen, Kreuzungen, Einmündungen, Verkehrsinseln und dergleichen erkannt werden. Wenn beispielsweise eine einen Höhensprung h1, h2 aufweisende Kante zunächst im Wesentlichen geradlinig, dann aber plötzlich gekrümmt verläuft, kann dies auf eine Kurve, eine Straßeneinmündung oder eine Straßenkreuzung hindeuten. Findet sich in einiger Entfernung in dem oberen Bildteil der Stereoaufnahme SB eine Fortsetzung der zunächst erfassten geradlinig verlaufenden Kante, dann deutet dies auf eine Kreuzung hin. Auf der gegenüberliegenden Seite der einmündenden Straße befindet sich ebenfalls eine Bordsteinkante 5.
  • Sofern eine Bordsteinkante 5 sicher erkannt worden ist, kann dies auch bei ggf. erforderlichen Ausweichstrategien berücksichtigt werden. So kann nach Detektion eines Höhensprungs und dessen Klassifikation als Bordstein bzw. Bordsteinkante 5 diese Information einem Assistenzmodul zugeführt werden, das insbesondere einen Spurverlassenswarner umfasst. So kann beispielsweise bei einem geplanten oder auch bei einem durch eine Verkehrssituation erzwungenen Ausweichmanöver rechtzeitig ein Warnhinweis vor dem Befahren einer Bordsteinkante 5 erfolgen. Weiterhin kann das Fahrverhalten derart beeinflusst werden, dass ein möglichst reifenschonendes Überqueren der Bordsteinkante 5 realisiert wird. Besonders vorteilhaft ist das Verfahren auch bei automatisch ablaufenden Einparkvorgängen anwendbar, wie anhand der folgenden Ausführungsbeispiele erläutert wird, die unter Bezug auf 4 bis 8 beschrieben werden.
  • Die Erfindung ermöglicht eine zuverlässige autonome Spurführung eines Fahrzeugs, bei einem Einparkvorgang und/oder einem Rücksetzen des Fahrzeugs, ohne dass sich der Fahrer zuvor mit einer abstrakten Lagedarstellung auf einem Monitor vertraut machen muss, die insbesondere einen ungeübten Fahrer eher belasten oder überfordern wird.
  • Die Erfindung berücksichtigt dabei auch die Tatsache, dass, insbesondere in bebauten Gebieten, wie beispielsweise in innerstädtischen Siedlungsbereichen, üblicherweise Bordsteine vorhanden sind. Diese Bordsteine grenzen den für Fahrzeuge vorgesehenen Bereich der Verkehrsfläche von jenen Bereichen ab, die für andere Verkehrsteilnehmer, insbesondere Fußgänger, vorgesehen sind. Zu diesen Bereichen gehören beispielsweise Gehwege und Verkehrsinseln. Weiterhin grenzen mehr oder weniger abgesenkte Bordsteine auch die für den ruhenden Verkehr vorgesehenen Verkehrsflächen von jenen Verkehrsflächen ab, die für den fließenden Verkehr vorbehalten sind. Die Erfindung macht sich dabei auch die Tatsache zunutze, dass Bordsteine in der Regel einen Höhensprung markieren, da die vorgenannten Bereiche der Verkehrsfläche auf unterschiedlichen Niveaus angelegt sind. Die Höhensprünge sind weitgehend standardisiert und liegen in der Praxis in einem Bereich von etwa 5 cm bis etwa 20 cm.
  • Ein Ausführungsbeispiel der Erfindung wird nachfolgend unter Bezug auf die Zeichnung näher erläutert. Dabei wird zunächst auf 4 eingegangen, die ein Fahrzeug 10 mit einem System 40 für die Spurführung darstellt. Das System 40 umfasst ein Sensormodul 41, das Videosensoren, Radarsensoren und Ultraschallsensoren, sowie ggf. weitere lichtoptische Sensoren, wie vorzugsweise Lasersender und- Empfänger enthält. Insbesondere verfügt das Sensormodul 41 über Videokameras, die es ermöglichen, Mono- und/oder Stereoaufnahmen der Verkehrssituation rund um das Fahrzeug 10 zu machen. Das System 40 umfasst weiterhin ein Steuermodul 42, ein Lenkmodul 43, ein Motorsteuerungsmodul 44, sowie ein Bremsmodul 45. Das Steuermodul 42 empfängt Signale des Sensormoduls 41 und steuert nach Maßgabe der empfangenen Signale die Module 43, 44 und 45. Die Steuerung der Module 43, 44, 45 führt dann zu einem Lenkeingriff, einem Bremseingriff, einem Eingriff in die Motorsteuerung oder zu einer Kombination der genannten Eingriffe.
  • Die Funktionsweise des Systems wird nun unter Bezugnahme auf die weiteren Figuren und im Zusammenhang mit Einparkvorgängen näher erläutert. Dabei zeigt 5, in schematischer Darstellung, eine Verkehrsfläche 100 mit einer Fahrbahn 56 für den fließenden Verkehr und an der rechten Seite der Fahrbahn 56 einen Randstreifen 57 mit Parkflächen für den ruhenden Verkehr. Der Randstreifen 57 ist durch einen Bordstein 58 von der Fahrbahn 56 abgegrenzt. Auf dem Randstreifen 57 sind mehrere Fahrzeuge 51, 52, 53, 54, 55 geparkt. Ein Fahrzeug 10, dessen Fahrer einen Parkplatz benötigt, bewegt sich auf der Fahrbahn 56 in Nordrichtung. Während der Vorbeifahrt an den auf dem Randstreifen 57 geparkten Fahrzeugen 51, 52, 53, 54, 55 ist das System 40 in einen Suchmodus geschaltet. Bei diesem Suchmodus werden mit Hilfe des bordgestützten Sensormoduls 41 Videoaufnahmen, insbesondere Stereoaufnahmen des Fahrzeugumfeldes, insbesondere Aufnahmen in Fahrt- und Seitenrichtung gemacht. Wie oben schon erwähnt, umfasst jede Stereoaufnahme SB mindestens zwei aus unterschiedlichem Blickwinkel aufgenommene Teilbilder TB1 TB2, wobei die Inhalte des einen Teilbildes TB1 gegenüber dem anderen Teilbild TB2 leicht verschoben sind. Diese Verschiebung wird als Disparität bezeichnet. Zusammen betrachtet vermitteln beide Teilbilder den Stereoeindruck. Anhand der gewonnenen Aufnahmen und unter Berücksichtigung der dem System bekannten Fahrzeugkenndaten (wie insbesondere Länge, Gewicht, Federungseigenschaften, Kurvenradius) wird während der Vorbeifahrt an den geparkten Fahrzeugen 51, 52, 53, 54, 55 laufend geprüft, ob eine genügend große Parkfläche vorhanden ist. Dabei werden auch die in den Videoaufnahmen erkannten Verkehrszeichen berücksichtigt und ausgewertet, die Vorgaben für Halten und Parken machen. Zweckmäßig kann der Fahrer dazu zuvor in das System 40 eingeben, welche Parkwünsche er hat. Will er beispielsweise längere Zeit parken, kann das System 40 von vornherein Parkmöglichkeiten unberücksichtigt lassen, die nur ein Kurzzeitparken gestatten. Bei der Vorbeifahrt an den dicht geparkten Fahrzeugen 51, 52, 53, 54 wird für das in Position A befindliche Fahrzeug 10 keine hinreichend große Parklücke aufgefunden. Nach Passieren des Fahrzeugs 54 wird jedoch eine hinreichend große Parkfläche festgestellt. Daraufhin wird das System 40 in einen Einparkmodus umgeschaltet und dem Fahrer signalisiert, dass ein automatischer Einparkvorgang eingeleitet wird. Für das in Position B befindliche Fahrzeug 10 wird eine Bahnkurve 59 berechnet, auf der das Fahrzeug 10 durch einen automatisch ablaufenden Einparkvorgang auf einen freien Parkplatz zwischen den geparkten Fahrzeugen 54 und 55 gelangen soll. Der Ablauf dieses Einparkvorgangs wird im Folgenden weiter unter Bezug auf 6 beschrieben, die eine Aufsicht auf einen vergrößert dargestellten Ausschnitt der Verkehrsfläche 100 zeigt. Für diesen Einparkvorgang ist es wichtig zu wissen, ob sich der Randstreifen 57 mit den Parkflächen auf gleicher Höhe wie die Fahrbahn 56 befindet oder auf einem anderen Höhenniveau und ggf. durch einen Bordstein 58 von der Fahrbahn 56 getrennt. Die Feststellung des Vorhandenseins eines Bordsteins 58 und die Messung seiner Höhe erfolgt dann wie oben schon beschrieben, vorzugsweise durch Auswertung von Stereoaufnahmen. Wie bereits erwähnt hat das System 40 in einem Suchmodus bei der Vorbeifahrt des Fahrzeugs 10 an den auf dem Randstreifen 57 geparkten Fahrzeugen zwischen den geparkten Fahrzeugen 54 und 55 eine freie und hinreichend große Parkfläche entdeckt und daraufhin in den Einparkmodus umgeschaltet, der das Fahrzeug 10 automatisch in eine optimale Parkposition zwischen den geparkten Fahrzeugen 54 und 55 führt. Ausgehend von der aktuellen Position B des Fahrzeugs 10 wird dazu von dem System 40 eine geeignete Bahnkurve 59 berechnet, die das Fahrzeug 10 von der Fahrbahn 56 in seine Parkposition auf dem Randstreifen 57 führt. Für das vorliegende Ausführungsbeispiel werde angenommen, dass der Randstreifen 57 durch einen vergleichsweise hohen Bordstein 58 von der Fahrbahn 56 getrennt ist, und dass das Fahrzeug 10 auf diesen Bordstein 58 auffahren muss, um in die angestrebte Parkposition zu gelangen. Das Steuermodul 42 wertet die Signale des Sensormoduls 41 aus und beeinflusst die Längsregelung des Fahrzeugs 10 derart, dass sich dieses entlang der als optimal berechneten Bahnkurve 59 bewegt. Das Steuermodul greift zu diesem Zweck in das Lenkmodul 43, in das Motorsteuerungsmodul 44 und in das Bremsmodul 45 ein. Aus der bekannten Masse des Fahrzeugs 10 und dessen Federungsdynamik, sowie aus der messtechnisch erfassten Höhe H des Bordsteins 58 können die Leistung, die zur Auffahrt auf den Bordstein 58 erforderlich ist, sowie ihre Zeitabhängigkeit von dem Steuermodul 42 berechnet werden. Entsprechend diesem Leistungsprofil wird durch Eingriff in das Motorsteuerungsmodul 44 die Leistung erhöht, wenn die Räder 70 der dem Bordstein 58 nächstgelegenen Achse des Fahrzeugs 10 sich dem Bordstein 58 fast genähert beziehungsweise diesen bereits berührt haben (7). Sobald das Hindernis überwunden ist, also die Räder 70 sich bereits auf der Höhe des Bordsteins 58 befinden, wird die Leistung wieder reduziert, bis auch die weitere Achse des Fahrzeugs 10 in die Nähe des Bordsteins 58 gelangt ist. Dann wiederholt sich der schon beschriebene Vorgang, bis sich das Fahrzeug insgesamt auf der Höhe des Randstreifens 57 befindet. Für die Bestimmung einer optimalen Bahnkurve 59 ist, abgesehen von der Höhe H des Bordsteins 58 auch dessen Lage oder Richtung von Bedeutung. Auch diese Größen werden mit dem Sensormodul 41 erfasst. Bei der Berechnung der Bahnkurve 59 werden die äußeren Abmessungen des Fahrzeugs 10 und die von dem Sensormodul erfassten Abmessungen der freien Parkfläche berücksichtigt. Diese Größen gehen in den Lenkwinkel ein, den das Lenkmodul 43 aufgrund eines Lenkeingriffs des Steuermoduls 42 einstellt. Bei dem Einparkvorgang wird weiterhin der Winkel W1 zwischen der Reifenebene und dem Bordstein 58 überwacht und es wird erforderlichenfalls durch einen Lenkeingriff dafür gesorgt, dass eine möglichst Reifen schonende Auffahrt auf den Bordstein 58 ermöglicht wird. Zweckmäßig wird dazu ein Schwellwert für den Winkel W1 festgelegt, der nicht unterschritten werden sollte. Sofern bei einer Annäherung des Fahrzeugs 10 an den Bordstein 58 der für den Winkel W1 festgelegte Grenzwert unterschritten wird, kann der Einparkvorgang zweckmäßig abgebrochen und nach Korrektur des Lenkwinkels fortgesetzt oder notfalls auch wiederholt werden.
  • Wie anhand von 8 verdeutlicht wird, erleichtert die Erfindung auch das Zurückstoßen in eine Parklücke oder die Einfahrt in eine enge Garage. Das System 40 ermittelt eine geeignete Bahnkurve 59 und steuert das Fahrzeug 10 entlang dieser Bahnkurve 59, wobei auf einen gleichmäßigen Seitenabstand zu den geparkten Fahrzeugen 54, 55 und auf einen hinreichenden Sicherheitsabstand zu einem den Randstreifen 57 begrenzenden Hindernis 80 geachtet wird. Durch die automatische Steuerung des Fahrzeugs 10 während des Einparkens kann der Fahrer diesen Ablauf entspannt verfolgen und dabei das Fahrzeugumfeld in Augenschein nehmen. Dies vermittelt ihm ein größeres Sicherheitsgefühl als dies bei der Konzentration auf eine abstrakte Darstellung auf einem Monitor möglich wäre.
  • Selbstverständlich sind aus, Sicherheitsaspekten heraus, auch während eines automatisch durchgeführten Einparkvorgangs, Eingriffe des Fahrers möglich. Sinnvoll ist beispielsweise eine Lösung, die einen Abbruch des automatischen Einparkvorgangs und einen Stillstand des Fahrzeugs 10 vorsieht, sobald der Fahrer die Lenkung, die Bremse oder das Fahrpedal betätigt. Ein erneuter automatischer Einparkvorgang muss dann von dem Fahrer gesondert angefordert werden. Für den Fall, dass, etwa aufgrund neuer Messdaten des Sensormoduls 41, sich erst während des Einparkvorgangs herausstellt, dass dieser nicht erfolgreich durchführbar ist, wird dies dem Fahrer entsprechend signalisiert und der Einparkvorgang vorsorglich abgebrochen. Der Fahrer muss dann selbst versuchen, das Fahrzeug 10 in die Parklücke zu manövrieren oder sich einen geeigneteren Parkplatz suchen.

Claims (13)

  1. Verfahren für die Spurführung eines Fahrzeugs, bei dem mittels Video- und oder Radarsystemen ein Abbild (Stereoaufnahme SB) der von dem Fahrzeug befahrenen Verkehrsfläche (1) erzeugt wird und dieses Abbild (Stereoaufnahme SB) auf für die Spurführung des Fahrzeugs geeignete Markierungen analysiert wird, eine wenigstens zwei Teilbilder (TB1, TB2) umfassende Stereoaufnahme (SB) der Verkehrsfläche (1) aufgenommen wird, dadurch gekennzeichnet, dass die Stereoaufnahme (SB) auf Höhensprünge (Höhen H1, H2) analysiert wird, und dass bei Detektion von auf Fahrbahnkanten (Bordsteinkante 5) hindeutenden Höhensprüngen (Höhen H1, H2), die Fahrbahnkanten für die Spurführung des Fahrzeugs herangezogen werden, wobei die Höhe (H) und die Lage von Kanten (Bordstein 59) bei einem automatisch ablaufenden Einparkvorgang für die Längsregelung eines Fahrzeugs (10) berücksichtigt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus einem Teilbild (TB1) der Teilbilder (TB1, TB2) der Stereoaufnahme (SB) ein Kantenbild gewonnen wird, dass das Kantenbild mit entsprechenden Bildelementen des zweiten Teilbildes (TB2) verglichen wird, und dass aus dem Vergleich von Bildelementen der Teilbilder (TB1, TB2) Disparitätswerte von Bildelementen der Stereoaufnahme (SB) abgeleitet werden.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Stereoaufnahme (SB) auf Höhensprünge in einem Bereich zwischen einer ersten Höhe (h1) und einer zweiten Höhe (h2) analysiert wird, wobei h1 bei etwa 10 cm und h2 bei etwa 20 cm liegt.
  4. Verfahren nach einem der vorhergehen Ansprüche, dadurch gekennzeichnet, dass die Längen und/oder Krümmungen der erfassten Kanten ausgewertet werden und dass aus der Länge und/oder der Krümmung der Kanten auf das Vorliegen einer Kurve oder einer Kreuzung geschlossen wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Höhe und die Lage einer Kante (Bordstein 58) bei der Ermittlung einer für einen Einparkvorgang optimierten Bahnkurve (59) berücksichtigt werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Leistung des Fahrzeugs (10) bei Annäherung eines Rads (79) an eine Kante (Bordstein 58) erhöht und nach Überwinden der Kante (Bordstein 58) wieder abgesenkt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass während eines Einparkvorgangs der Winkel (W1) zwischen der Kante (Bordstein 58) und der Längsachse des Fahrzeugs (10) gemessen wird, und dass bei Unterschreiten eines vorgegebenen Grenzwertes für den Winkel (W1) der Lenkwinkel des Fahrzeugs (10) im Sinne einer Vergrößerung des Winkels (W1) geändert wird.
  8. System (40) für die Spurführung eines Fahrzeugs (10) umfassend ein Sensormodul (41), ein Steuermodul (42), ein Motorsteuerungsmodul (43), ein Lenkmodul (44), sowie ein Bremsmodul (45), wobei das System (40) zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 ausgebildet ist.
  9. System nach Anspruch 8, dadurch gekennzeichnet, dass das System (40) in einen Suchmodus schaltbar ist, in dem das Sensormodul (41) unter Berücksichtigung von Kenndaten des Fahrzeugs (10) nach als Parkmöglichkeit für das Fahrzeug (10) geeigneten Freiflächen sucht.
  10. System nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass in dem Suchmodus auch den ruhenden Verkehr regelnde Verkehrszeichen berücksichtigt werden.
  11. System nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass in dem Suchmodus auch Fahrerwünsche bezüglich der gewünschten Parkdauer berücksichtigt werden.
  12. System nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass das System (40) in einen Einparkmodus schaltbar ist, bei dem das Fahrzeug (10) basierend auf von dem Sensormodul (41) ermittelten Daten und unter Berücksichtigung von Betriebskenngrößen des Fahrzeugs (10) einen automatisch gesteuerten Einparkvorgang in eine in dem Suchmodus aufgefundene Parkfläche ausführt.
  13. System nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass Mittel vorgesehen sind für den Abbruch eines automatisch ablaufenden Einparkvorgangs bei Betätigung von Lenkung, Brems- oder Fahrpedal durch den Fahrer.
DE102004001555.4A 2004-01-10 2004-01-10 Verfahren und System für die Spurführung eines Fahrzeugs Expired - Lifetime DE102004001555B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004001555.4A DE102004001555B4 (de) 2004-01-10 2004-01-10 Verfahren und System für die Spurführung eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004001555.4A DE102004001555B4 (de) 2004-01-10 2004-01-10 Verfahren und System für die Spurführung eines Fahrzeugs

Publications (2)

Publication Number Publication Date
DE102004001555A1 DE102004001555A1 (de) 2005-08-04
DE102004001555B4 true DE102004001555B4 (de) 2018-02-15

Family

ID=34716436

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004001555.4A Expired - Lifetime DE102004001555B4 (de) 2004-01-10 2004-01-10 Verfahren und System für die Spurführung eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102004001555B4 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009003216A1 (de) * 2009-05-19 2010-11-25 Robert Bosch Gmbh Fahrerassistenzverfahren zum Auslösen einer vorbestimmten Aktion in Abhängigkeit eines prädikitiv erfassten Höhenprofils entlang einer Radtrajektorie und korrespondierendes Fahrerassistenzsystem
WO2017022413A1 (ja) 2015-07-31 2017-02-09 日立オートモティブシステムズ株式会社 車両用駐車支援装置
CN111976718B (zh) * 2020-07-13 2022-03-01 浙江华锐捷技术有限公司 自动泊车的控制方法和系统
DE102022205034A1 (de) 2022-05-20 2023-11-23 Continental Autonomous Mobility Germany GmbH Verfahren zum Ermitteln einer Fahrtrajektorie, Steuereinrichtung und Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038496A (en) * 1995-03-07 2000-03-14 Daimlerchrysler Ag Vehicle with optical scanning device for a lateral road area
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE19932779A1 (de) * 1999-07-14 2001-01-25 Daimler Chrysler Ag Rückfahrhilfe
WO2001074643A1 (fr) * 2000-03-31 2001-10-11 Intellitech (Intelligent Technologies) Procede et dispositif pour la prise en charge du parcage en creneau de vehicules motorises
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038496A (en) * 1995-03-07 2000-03-14 Daimlerchrysler Ag Vehicle with optical scanning device for a lateral road area
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE19932779A1 (de) * 1999-07-14 2001-01-25 Daimler Chrysler Ag Rückfahrhilfe
WO2001074643A1 (fr) * 2000-03-31 2001-10-11 Intellitech (Intelligent Technologies) Procede et dispositif pour la prise en charge du parcage en creneau de vehicules motorises
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle

Also Published As

Publication number Publication date
DE102004001555A1 (de) 2005-08-04

Similar Documents

Publication Publication Date Title
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP2507112B1 (de) Verfahren zur bestimmung einer trajektorie eines fahrzeugs
EP2788245B1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
WO2015197353A2 (de) Verfahren zur erstellung eines umfeldmodells eines fahrzeugs
EP2740072B1 (de) Verfahren zur fahrspurerkennung mittels einer kamera
DE102015206144A1 (de) Verfahren und Vorrichtung zum sicheren Abstellen eines Fahrzeuges
DE102008004633A1 (de) Verfahren und Vorrichtung zur Erkennung und/oder Vermessung einer Parklücke
EP2594461B1 (de) Verfahren zum Erkennen einer Parklücke für ein Kraftfahrzeug, Parkhilfesystem und Kraftfahrzeug mit einem Parkhilfesystem
DE102013101639A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
EP3084466A1 (de) Verfahren zum detektieren einer auf einem boden aufgebrachten markierung, fahrerassistenzeinrichtung und kraftfahrzeug
WO2009086967A1 (de) Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugs
WO2009149959A1 (de) Verfahren zur kombinierten ausgabe eines bildes und einer fahrinformation, sowie kraftfahrzeug hierfür
DE102014111012A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken, Fahrerassistenzsystem und Kraftfahrzeug
DE102016201190A1 (de) Wendeassistent
DE102004001555B4 (de) Verfahren und System für die Spurführung eines Fahrzeugs
DE102023000561A1 (de) Verfahren und Vorrichtung zur Steuerung des Abbiegevorgangs eines Fahrzeugs
EP3704631A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102011084586A1 (de) Verfahren und Fahrerassistenzsystem zur Unterstützung eines Parkvorgangs eines Fahrzeugs auf einer Parkfläche in einer Fahrzeuggarage
DE102017206117B4 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102009028832A1 (de) Verfahren zur Kennzeichnung historischer Daten in Fahrzeugumgebungskarten
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102023110310B3 (de) Verfahren und Assistenzsystem zum Unterstützen eines Einparkmanövers auf einem erhöhten Straßenbereich und entsprechend eingerichtetes Kraftfahrzeug
DE102012201051A1 (de) Verfahren zur Fahrassistenz und Fahrassistenzsystem
DE102017103154A1 (de) Verfahren zum Erzeugen einer digitalen Umgebungskarte einer Umgebung eines Kraftfahrzeugs unter Berücksichtigung eines Freiraums, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8125 Change of the main classification

Ipc: B60W 30/12 AFI20051017BHDE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G05D0001020000

Ipc: B60W0030120000

Effective date: 20110214

R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R071 Expiry of right