DE19846664A1 - Lenksteuersystem und Lenksteuerverfahren für autonome intelligente Fahrzeuge - Google Patents
Lenksteuersystem und Lenksteuerverfahren für autonome intelligente FahrzeugeInfo
- Publication number
- DE19846664A1 DE19846664A1 DE19846664A DE19846664A DE19846664A1 DE 19846664 A1 DE19846664 A1 DE 19846664A1 DE 19846664 A DE19846664 A DE 19846664A DE 19846664 A DE19846664 A DE 19846664A DE 19846664 A1 DE19846664 A1 DE 19846664A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- steering
- road
- steering control
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
- B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/087—Lane monitoring; Lane Keeping Systems using active steering actuation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Die Erfindung betrifft ein autonomes intelligentes Fahrzeug und
insbesondere ein Lenksteuersystem und Lenksteuerverfahren für
ein autonomes intelligentes Fahrzeug, bei dem Informationen
über die nahen und entfernten Straßenbedingungen über Kameras
empfangen und zum Steuern der Lenkung des Fahrzeugs verwendet
werden.
Die Automobiltechnologie hat seit Beginn der Automobilindustrie
eine schnelle und anhaltende Entwicklung erfahren. In letzter
Zeit konzentrierten sich die Fortschritte in der
Automobiltechnologie mehr auf das Gebiet der Elektronik als auf
das der Mechanik. Beispielsweise gab es viele elektronikische
Entwicklungen, die die Motorfunktion und Motorleistung
verbessert haben. Darüberhinaus wurden Fortschritte gemacht,
die intelligente Sicherheitssysteme (z. B. Airbags, die nur dann
aktiviert werden können, wenn der Fahrgast ein bestimmtes
Gewicht überschreitet) und Technologien betreffen, die es
ermöglichen, daß ein Fahrzeug ohne einen Fahrer fahren kann.
Verschiedene Institute und Organisationen haben ihre Forschung
auf diese autonome intelligente Fahrzeuge gerichtet, um diese
Technologie zu vervollständigen. Ein Beispiel ist das in den
Vereinigten Staaten entwickelte NAVLAB-Fahrzeug, das
selbständig auf einer hindernisfreien Straße fahren kann. Das
in Deutschland entwickelte GRAFE-Fahrzeug hat laut dessen
Erfinder die Fähigkeit, selbständig, d. h. ohne Fahrer, auf der
Autobahn fahren zu können. Bei diesen und anderen herkömmlichen
autonomen intelligenten Fahrzeugen wird eine Kamera zur
Übermittlung von Straßenbildern verwendet. Diese Bilder werden
dann verarbeitet und analysiert. Die automatische Steuerung
wird mit Hilfe der Analyse ausgeführt, um das Fahrzeug durch
Lenken in einer bestimmten Fahrspur oder Straßenseite sowie in
einer geeigneten Geschwindigkeit zu halten.
Da jedoch bei den herkömmlichen Fahrzeugen nur eine einzige
Kamera zum Ermitteln der Straßenbedingungen verwendet wird,
kann entweder ein sanftes Kurvenfahren oder ein präzises
Spurhalten erzielt werden. Wird die einzige Kamera an dem
Fahrzeug an einer optimalen Stelle positioniert, um das
Fahrzeug präzise in der Fahrbahn zu führen, so können Kurven im
herannahenden Straßenverlauf nicht ermittelt werden, so daß die
Lenksteuerung durch die Kurven nicht sanft ausgeführt werden
kann. Wird andererseits die Kamera derart positioniert, daß
Kurven im Straßenverlauf ermittelt werden, können feine
Einstellungen nicht vorgenommen werden, um das Fahrzeug präzise
in der Mitte der Fahrbahn zu halten.
Durch die Erfindung wird die Aufgabe gelöst, ein
Lenksteuersystem und Lenksteuerverfahren für autonome
intelligente Fahrzeuge bereit zustellen, bei dem zwei oder
mehrere Kameras verwendet werden und die von diesen ermittelten
Bildsignale parallel verarbeitet werden, so daß eine Steuerung
des Fahrzeugs sowohl hinsichtlich der Kurven im herannahenden
Straßenverlauf als auch hinsichtlich eines präzisen Führens des
Fahrzeugs zwischen den Fahrbahnmarkierungen ausgeführt werden
kann.
Um dies zu erreichen, stellt die Erfindung ein Lenksteuersystem
und Lenksteuerverfahren für autonome intelligente Fahrzeuge
bereit. Dieses System weist Bildeingabemittel, um Bilder über
den vor dem Fahrzeug liegenden Straßenabschnitt zu liefern,
wobei eine Mehrzahl von Elementen der Bildeingabemittel an
vorbestimmten Stellen am Fahrzeug angebracht sind; eine
Mehrzahl von Bildfangschaltungen, welche die Bilder von den
Bildeingabemitteln empfangen und daraus die der Straße
entsprechenden Bildsignale erfassen; eine erste Steuereinheit,
welche unter Verwendung der von der Bildfangschaltung
empfangenen Nahbildsignale feststellt, ob das Fahrzeug
innerhalb der Fahrbahn fährt; eine zweite Steuereinheit, welche
unter Verwendung der von der Bildfangschaltung empfangenen
Fernbildsignale die Fahrtrichtung des Fahrzeugs feststellt und
Kurven im Straßenverlauf ermittelt; eine Lenksteuereinheit,
welche die von der ersten und der zweiten Steuereinheit
empfangenen Informationen analysiert, um den Lenkwinkel und die
Lenkrichtung festzulegen, und Steuersignale entsprechend der
Analyse ausgibt; und Antriebsmittel auf, um das Lenksystem des
Fahrzeugs in eine Richtung und einen Winkel entsprechend der
von der Lenksteuereinheit empfangenen Steuersignale zu steuern.
Nach einem Merkmal der Erfindung weist das Bildeingabemittel
eine erste und eine zweite Kamera, welche an den beiden
gegenüberliegenden Seite der Fahrzeugfront angebracht sind, und
eine dritte Kamera auf, welche an einer zentralen Position an
der Windschutzscheibe des Fahrzeugs angebracht ist.
Nach einem anderen Merkmal der Erfindung weist die Mehrzahl der
Bildfangschaltungen eine erste, eine zweite und eine dritte
Bildfangschaltung entsprechend der ersten, der zweiten bzw. der
dritten Kamera auf, wobei die Bildfangschaltungen die von den
Kameras empfangenen Bildsignale verarbeiten.
Das erfindungsgemäße Verfahren weist die folgenden Schritte
auf: Übermitteln der Nah- und Fernbilder über den vor dem
Fahrzeug liegenden Straßenabschnitt, nachdem die Bilder in
einen vorbestimmten Zustand verarbeitet wurden; Erfassen von
der Straße entsprechenden Bildsignalen aus den Nah- und
Fernbildern, Feststellen der Fahrtrichtung des Fahrzeugs und
Ermitteln von Kurven im Straßenverlauf unter Verwenden der
Fernbilder, und Feststellen unter Verwendung der Nahbilder, ob
das Fahrzeug aus der Mitte der Fahrbahnmarkierungen abweicht;
Festlegen eines Lenkwinkels und einer Lenkrichtung, indem die
Informationen über die Fahrtrichtung, Kurven im Straßenverlauf
und die Frage, ob das Fahrzeug aus der Mitte der
Fahrbahnmarkierungen abweicht, analysiert werden; und Antreiben
des Lenksystems des Fahrzeugs entsprechend des festgelegten
Lenkwinkels und Lenkrichtung, um die Fahrzeuglenkung zu
steuern.
Erfindungsgemäß werden Kurven im Straßenverlauf aus den
Fernbildern unter Verwenden einer ersten Gleichung ermittelt:
Gleichung 1
Gleichung 1
αnθn + α(n + 1)θ(n + 1) + a(n + 2)θ(n + 2) + . . . = θtotal.
Der Lenkwinkel wird erfindungsgemäß unter Verwenden einer
zweiten Gleichung festgelegt:
Gleichung 2
Gleichung 2
Lenksteuerung = β × exzentrischer Wert + γ × Fahrtrichtung + δ
× Fahrtgeschwindigkeit
wobei β, γ und δ gemessene Verhältniskonstanten sind und β < γ
< δ ist.
Die Erfindung wird anhand bevorzugter Ausführungsformen mit
Hilfe der Zeichnung näher erläutert.
Fig. 1 zeigt eine perspektivische Ansicht eines autonomen
intelligenten Fahrzeugs, welche dazu verwendet wird, die
Positionierung der Kameras nach einer erfindungsgemäß
bevorzugten Ausführungsform zu beschreiben.
Fig. 2 zeigt ein Blockschaltbild eines Lenksteuersystems für
ein autonomes intelligentes Fahrzeug entsprechend der
erfindungsgemäß bevorzugten Ausführungsform.
Fig. 3 zeigt ein Flußdiagramm eines Lenksteuerungsverfahrens
für ein autonomes intelligentes Fahrzeug entsprechend der
erfindungsgemäß bevorzugten Ausführungsform.
Fig. 4a zeigt eine schematische Darstellung, bei der die
Straße aus der Sicht der zweiten Kamera entsprechend der
erfindungsgemäß bevorzugten Ausführungsform dargestellt ist.
Fig. 4b zeigt eine schematische Darstellung, bei der die
Straße aus der Sicht der ersten Kamera entsprechend der
erfindungsgemäß bevorzugten Ausführungsform dargestellt ist.
Fig. 5 zeigt eine schematische Darstellung, bei der die Straße
aus der Sicht der dritten Kamera entsprechend der
erfindungsgemäß bevorzugten Ausführungsform dargestellt ist.
Bezugnehmend auf Fig. 2, welche ein Blockschaltbild eines
Lenksteuersystems für ein autonomes intelligentes Fahrzeug
entsprechend der bevorzugten Ausführungsform der Erfindung
darstellt, weist das Lenksteuersystem eine erste, eine zweite
und eine dritte Kamera 100, 200 bzw. 300, welche, wie in Fig.
1 dargestellt, in einer festgelegten Position an dem Fahrzeug
angebracht sind und Bilder über den vor dem Fahrzeug liegenden
Straßenabschnitt liefern, wobei die erste und die zweite Kamera
100, 200 Bilder bereitstellen, die nahe des Fahrzeugs sind, und
die dritte Kamera Bilder bereitstellt, die weiter von dem
Fahrzeug entfernt sind; eine erste, eine zweite und eine dritte
Bildfangschaltung 110, 210 und 310, welche die von der ersten,
der zweiten und der dritten Kamera 100, 200 bzw. 300
ausgegebenen Bilder derart verarbeiten, daß nur Bildsignale,
die sich auf die Straße beziehen erfaßt werden; eine erste
Steuereinheit 120, welche die von der ersten und der zweiten
Bildfangschaltung 110 und 210 ausgegebenen Bildsignale erfaßt
und nachdem aus diesen die den Fahrbahnbedingungen
entsprechenden Bildsignale extrahiert wurden, ermittelt, ob das
Fahrzeug innerhalb der Fahrspur fährt; eine zweite
Steuereinheit 320, welche die von der dritten Bildfangschaltung
310 ausgegebenen Bildsignale erfaßt und, nachdem aus diesen die
dem Straßenverlauf entsprechenden Bildsignale extrahiert
wurden, den derzeitigen Fahrstatus des Fahrzeugs ermittelt
sowie Kurven im herannahenden Straßenverlauf ermittelt; eine
Lenksteuereinheit 30, welche Daten von der ersten und der
zweiten Steuereinheit 120 bzw. 320 bezüglich der
Straßenbedingungen empfängt, um den Lenkwinkel des Fahrzeugs
festzulegen und Steuersignale hinsichtlich des Lenkwinkels
auszugeben; und einen Antrieb 40 auf, welcher das Lenksystem
des Fahrzeugs in eine Richtung und einen Winkel entsprechend
der von der Lenksteuereinheit 30 empfangenen Steuersignale
steuert.
Der Betrieb des Lenksteuersystems mit der oben beschriebenen
Struktur wird in Bezug auf das Flußdiagramm nach Fig. 3 näher
erläutert.
Wenn das autonome intelligente Fahrzeug zu fahren beginnt,
werden in Schritt S20 von der dritten Kamera 300 Fernbilder
über den vor dem Fahrzeug liegenden Straßenabschnitt an die
dritte Bildfangschaltung 310 übermittelt. Zu diesem Zeitpunkt
wandelt die dritte Kamera 300 die Bilder zuerst in
Bilddateninformation um und gibt diese dann an die dritte
Bildfangschaltung 310 weiter.
In Schritt S30 werden dann die von der dritten Kamera 300
eingegebenen Bilddateninformationen von der dritten
Bildfangschaltung 310 in Bildeinheiten erfaßt und dann unter
Verwenden eines darin installierten Konverters in digitale
Signale konvertiert und gespeichert. Anschließend werden die
digitalen Signale sequentiell an die zweite Steuereinheit 320
weitergegeben.
Die zweite Steuereinheit 320 konvertiert die als digitale
Signale empfangenen Bilddaten in einen auf einem bestimmten
Wert basierenden Binärcode. Danach werden, wie in Fig. 5
dargestellt, die Straßencharakteristiken unter Verwenden eines
Gauss-Filterverfahrens, bei dem spezifische Helligkeitsstufen
ermittelt werden, herausgenommen.
Anschließend teilt in Schritt S40 die zweite Steuereinheit 320
die Straße in vorbestimmte horizontale Abschnitte (z. B. 5
Meter) auf und ermittelt einen Mittelwert der Straße, indem
alle Mittelwerte der ermittelten Fahrbahnmarkierungen verbunden
werden. Danach werden die Winkel zwischen einer durch den
Mittelwert festgelegten Mittellinie CL der Straße und den
jeweiligen horizontalen Linien 1-4, welche durch die
horizontalen Abschnitte definiert werden, ermittelt, um
festzustellen, ob eine Kurve im herannahenden Straßenverlauf
ist, und wenn dies der Fall ist, wie eng die Kurve ist. Von der
zweiten Steuereinheit wird ferner die derzeitige Fahrtrichtung
des Fahrzeugs ermittelt.
Um das Vorhandensein und die Scharfheit einer Kurve im
herannahenden Straßenverlauf zu ermitteln, wird die folgende
Gleichung 1 verwendet:
Gleichung 1
Gleichung 1
α1θ1 + α2θ2 + α3θ3 + α4θ4 = θtotal (Kurve im Straßenverlauf)
wobei α1, α2, α3, und α4 die in Fig. 5 dargestellten Winkel
zwischen der Mittellinie CL und den horizontalen Linien 1, 2, 3
bzw. 4 sind und θ1, θ2, θ3 und θ4 die Verhältniskonstanten für
die jeweiligen Abschnitte der Straße sind. Ist die horizontale
Linie 1 beispielsweise 30 m und die horizontale Linie 4 10 m, so
ist θ4 = 1 und θ1 = 0,33.
In Schritt S50 gibt die zweite Steuereinheit 320 Signale
entsprechend der mit Hilfe der Gleichung 1 berechneten
Ergebnissen an die Lenksteuereinheit 30 aus, welche ihrerseits
die Steuersignale an den Antrieb 40 weitergibt. Der Antrieb 40
steuert dann das Lenksystem des Fahrzeugs entsprechend den von
der Lenksteuereinheit 30 empfangenen Steuersignalen.
Parallel zu der Übertragung der Fernbilder von der dritten
Kamera 300 an die dritte Bildfangschaltung 310 gemäß Schritt
S20, übermitteln die erste und die zweite Kamera 100, 200
Bilder über die linke bzw. rechte Fahrbahnmarkierung und deren
Umgebung an die erste bzw. zweite Bildfangschaltung 110 und
210. Zu diesem Zeitpunkt wandeln die erste und zweite Kamera
100, 200 die Bilder zuerst in Bilddateninformationen um und
geben diese Informationen dann an die erste bzw. zweite
Bildfangschaltung 110, 210 weiter.
In Schritt S30 werden dann die von der ersten und der zweiten
Kamera 100, 200 eingegebenen Bilddateninformationen von der
ersten und zweiten Bildfangschaltung 110, 210 in Bildeinheiten
erfaßt, dann unter Verwenden eines darin installierten
Konverters in digitale Signale konvertiert und gespeichert.
Anschließend werden die digitalen Signale sequentiell an die
erste Steuereinheit 120 weitergegeben.
Die erste Steuereinheit 120 ermittelt dann die Charakteristik
der Straße einschließlich der Fahrbahnmarkierung, wie in den
Fig. 4a und 4b dargestellt, indem eine vorbestimmte
Berechnung an den von der ersten und der zweiten
Bildfangschaltung 110, 210 eingegebenen Bildsignalen unter
Verwenden eines Algorithmus ausgeführt wird. Um die
Fahrbahnmakierung anhand der eingegebenen Bildsignale zu
ermitteln, wird das Gauss'sche Eliminierungsverfahren
verwendet.
Im einzelnen wird, wie aus Fig. 4a ersichtlich, die rechte
Fahrbahnmarkierung aus dem von der zweiten Bildfangschaltung
210 eingegebenen Bildsignal ermittelt und dadurch wird ein
Abstand d1 zwischen der rechten Seite des Fahrzeugs und der
rechten Fahrbahnmarkierung bestimmt. Wie aus Fig. 4b
ersichtlich, wird eine linke Fahrbahnmarkierung aus dem von der
ersten Bildfangschaltung 110 eingegebenen Bildsignal ermittelt
und dadurch wird ein Abstand d2 zwischen der linken Seite des
Fahrzeugs und der linken Fahrbahnmarkierung bestimmt.
In Schritt S40 wird dann mit Hilfe der Abstände d1 und d2
ermittelt, ob sich das Fahrzeug in der Mitte zwischen der
rechten und der linken Fahrbahnmarkierung befindet. Wird in
Schritt S40 festgestellt, daß sich das Fahrzeug nicht in der
Mitte der Fahrbahn befindet, gibt die erste Steuereinheit 120
entsprechende Informationen an die Lenksteuereinheit 30 aus,
welche ihrerseits Lenksteuersignale an den Antrieb 40
weitergibt. In Schritt S50 steuert der Antrieb das Lenksystem
des Fahrzeugs unter Verwenden der eingegebenen Lenksteuer
signale, um das Fahrzeug in die Mitte der Fahrbahnmarkierungen
zu lenken.
Gemäß dem oben beschriebenen Schritt S50, bewirken die von der
zweiten Steuereinheit 320 empfangenen Signale eine Gesamt
lenksteuerung, während die von der ersten Steuereinheit 120
empfangenen Singale eine feine Lenksteuerung bewirken, wenn das
Fahrzeug von der Mitte zwischen den Fahrbahnmarkierungen
abweicht. Anders gesagt, wird die dritte Kamera 300 für die
grobe Gesamtlenksteuerung des Fahrzeugs entsprechend dem
Straßenverlauf verwendet, wobei die erste und die zweite Kamera
100, 200 für die feine Einstellung der Lenkung verwendet wird,
wenn das Fahrzeug von der Mitte der Fahrbahn abweicht.
Erfindungsgemäß wird eine abschließende Berechnung ausgeführt,
um die Lenkung zu steuern. Da die das oben beschriebenen
Verfahren verwendende Lenksteuerung keine sanfte Lenkung
bewirkt, wird eine abschließende Berechnung unter Verwendung
der folgenden Gleichung ausgeführt:
Gleichung 2
Gleichung 2
Lenksteuerung = β × exzentrischer Wert + γ × Fahrtrichtung + δ
× Fahrtgeschwindigkeit
wobei β, γ und δ gemessene Verhältniskonstanten sind und β < γ
< δ ist.
Der exzentrische Wert (d. h. der Wert, der die Abweichung von
der Mitte der Fahrbahn kennzeichnet) wird in dem oben
beschriebenen Schritt S40 von der ersten Steuereinheit 120
ermittelt und die Fahrtrichtung des Fahrzeugs wird, wie oben
beschrieben, von der zweiten Steuereinheit 320 in Schritt S40
ermittelt. Die Werte von β, γ und δ werden experimentell
ermittelt. Diese Werte werden zusätzlich zu der Fahrzeug
geschwindigkeit in Gleichung 2 verwendet, so daß die Lenkung
derart gesteuert wird, daß eine abrupte und ruckartige Bewegung
während der Lenksteuerung vermieden wird.
Bei dem oben beschriebenen Lenksteuersystem und
Lenksteuerverfahren für autonome intelligente Fahrzeuge wird
die automatische Fahrsteuerung ruhig, sicher und genau
ausgeführt, da eine Mehrzahl von Kameras verwendet wird, um die
entfernten und nahen Straßenbedingungen zu ermitteln und
dadurch Änderungen und Einstellungen der Lenkung basierend auf
diesen Bedingungen vorzunehmen.
Claims (6)
1. Lenksteuersystem für autonome intelligente Fahrzeuge, mit:
Bildeingabemitteln (100, 200, 300) zum Liefern von Bildern über den vor dem Fahrzeug liegenden Straßenabschnitt, wobei eine Mehrzahl von Elementen der Bildeingabemittel die an vorbestimmten Stellen an dem Fahrzeug angebracht ist;
einer Mehrzahl von Bildfangschaltungen (110, 210, 310), welche die Bilder von den Bildeingabemitteln (100, 200, 300) empfangen und daraus Bildsignale entsprechend der Straße erfassen;
einer ersten Steuereinheit (120), die unter Verwenden der von der Bildfangschaltung (110, 210) empfangenen Nahbildsignale ermittelt, ob das Fahrzeug innerhalb der Fahrspur fährt;
einer zweiten Steuereinheit (320), die unter Verwenden der von der Bildfangschaltung (310) empfangenen Fernbildsignale die Fahrtrichtung des Fahrzeugs feststellt und Kurven im Straßenverlauf ermittelt;
einer Lenksteuereinheit (30), welche die von der ersten und der zweiten Steuereinheit (120, 320) empfangenen Informationen analysiert, um den Lenkwinkel und die Lenk richtung festzulegen, und Steuersignale entsprechend der Analyse auszugeben; und
Antriebsmittel (40) zum Antreiben eines Lenksystems des Fahrzeugs in eine Richtung und einen Winkel entsprechend der von der Lenksteuereinheit (30) empfangenen Steuersignale.
Bildeingabemitteln (100, 200, 300) zum Liefern von Bildern über den vor dem Fahrzeug liegenden Straßenabschnitt, wobei eine Mehrzahl von Elementen der Bildeingabemittel die an vorbestimmten Stellen an dem Fahrzeug angebracht ist;
einer Mehrzahl von Bildfangschaltungen (110, 210, 310), welche die Bilder von den Bildeingabemitteln (100, 200, 300) empfangen und daraus Bildsignale entsprechend der Straße erfassen;
einer ersten Steuereinheit (120), die unter Verwenden der von der Bildfangschaltung (110, 210) empfangenen Nahbildsignale ermittelt, ob das Fahrzeug innerhalb der Fahrspur fährt;
einer zweiten Steuereinheit (320), die unter Verwenden der von der Bildfangschaltung (310) empfangenen Fernbildsignale die Fahrtrichtung des Fahrzeugs feststellt und Kurven im Straßenverlauf ermittelt;
einer Lenksteuereinheit (30), welche die von der ersten und der zweiten Steuereinheit (120, 320) empfangenen Informationen analysiert, um den Lenkwinkel und die Lenk richtung festzulegen, und Steuersignale entsprechend der Analyse auszugeben; und
Antriebsmittel (40) zum Antreiben eines Lenksystems des Fahrzeugs in eine Richtung und einen Winkel entsprechend der von der Lenksteuereinheit (30) empfangenen Steuersignale.
2. Lenksteuersystem nach Anspruch 1, bei dem die
Bildeingabemittel (100, 200, 300)
eine erste und eine zweite Kamera (100, 200), welche an gegenüberliegenden Seiten der Fahrzeugfront angebracht sind; und
eine dritte Kamera (300) aufweisen, welche an einem oberen zentralen Bereich auf der Windschutzscheibe des Fahrzeugs angebracht ist.
eine erste und eine zweite Kamera (100, 200), welche an gegenüberliegenden Seiten der Fahrzeugfront angebracht sind; und
eine dritte Kamera (300) aufweisen, welche an einem oberen zentralen Bereich auf der Windschutzscheibe des Fahrzeugs angebracht ist.
3. Lenksteuersystem nach Anspruch 2, bei dem die Mehrzahl von
Bildfangschaltungen eine erste, eine zweite und eine
dritte Bildfangschaltung (110, 210, 310) aufweisen, die
jeweils mit der ersten, der zweiten bzw. der dritten
Kamera (100, 200, 300) verbunden sind, wobei die
Bildfangschaltungen (110, 210, 310) die von den Kameras
(100, 200, 300) empfangenen Bilddaten verarbeiten.
4. Lenksteuerverfahren für autonome intelligente Fahrzeuge
mit den Schritten:
Übertragen von Nah- und Fernbilder über den vor dem Fahrzeug liegenden Straßenabschnitt, nachdem diese Bilder in einen vorbestimmten Zustand verarbeitet wurden;
Erfassen von der Straße entsprechenden Bildsignalen aus den Nah- und Fernbildern, Feststellen der Fahrtrichtung des Fahrzeugs und Ermitteln von Kurven im Straßenverlauf unter Verwenden der Fernbilder, und Feststellen unter Verwenden der Nahbilder, ob das Fahrzeug aus der Mitte der Fahrbahnmarkierungen abweicht;
Festlegen eines Lenkwinkels und einer Lenkrichtung, indem die Informationen über die Fahrtrichtung, Kurven im Straßenverlauf und die Frage, ob das Fahrzeug aus der Mitte der Fahrbahnmarkierungen abweicht, analysiert werden; und
Antreiben eines Lenksystems des Fahrzeugs entsprechend des festgelegten Lenkwinkels und Lenkrichtung, um die Fahrzeuglenkung zu steuern.
Übertragen von Nah- und Fernbilder über den vor dem Fahrzeug liegenden Straßenabschnitt, nachdem diese Bilder in einen vorbestimmten Zustand verarbeitet wurden;
Erfassen von der Straße entsprechenden Bildsignalen aus den Nah- und Fernbildern, Feststellen der Fahrtrichtung des Fahrzeugs und Ermitteln von Kurven im Straßenverlauf unter Verwenden der Fernbilder, und Feststellen unter Verwenden der Nahbilder, ob das Fahrzeug aus der Mitte der Fahrbahnmarkierungen abweicht;
Festlegen eines Lenkwinkels und einer Lenkrichtung, indem die Informationen über die Fahrtrichtung, Kurven im Straßenverlauf und die Frage, ob das Fahrzeug aus der Mitte der Fahrbahnmarkierungen abweicht, analysiert werden; und
Antreiben eines Lenksystems des Fahrzeugs entsprechend des festgelegten Lenkwinkels und Lenkrichtung, um die Fahrzeuglenkung zu steuern.
5. Lenksteuerverfahren nach Anspruch 4, bei dem Kurven im
Straßenverlauf aus den Fernbildern unter Verwenden der
folgenden Gleichung ermittelt werden:
αnθn + α(n + 1)θ(n + 1) + a(n + 2)θ(n + 2) + . . . = θtotal.
αnθn + α(n + 1)θ(n + 1) + a(n + 2)θ(n + 2) + . . . = θtotal.
6. Lenksteuerverfahren nach Anspruch 4, bei dem der
Lenkwinkel unter Verwenden der folgenden Gleichung
ermittelt wird:
Lenksteuerung = β × exzentrischer Wert + γ × Fahrtrichtung + δ × Fahrtgeschwindigkeit, wobei β, γ und δ gemessene Verhältniskonstanten sind und β < γ < δ ist.
Lenksteuerung = β × exzentrischer Wert + γ × Fahrtrichtung + δ × Fahrtgeschwindigkeit, wobei β, γ und δ gemessene Verhältniskonstanten sind und β < γ < δ ist.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019970051963A KR100250323B1 (ko) | 1997-10-10 | 1997-10-10 | 무인 자동차의 화상 처리 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE19846664A1 true DE19846664A1 (de) | 1999-04-15 |
Family
ID=19522488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19846664A Withdrawn DE19846664A1 (de) | 1997-10-10 | 1998-10-09 | Lenksteuersystem und Lenksteuerverfahren für autonome intelligente Fahrzeuge |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6173222B1 (de) |
| JP (1) | JPH11212641A (de) |
| KR (1) | KR100250323B1 (de) |
| DE (1) | DE19846664A1 (de) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996462B2 (en) | 2002-12-18 | 2006-02-07 | Daimlerchrysler Ag | Method of controlling at least one autonomously driving vehicle |
| WO2008132130A1 (de) * | 2007-04-25 | 2008-11-06 | Continental Automotive Gmbh | Fahrspurdetektion mit kameras unterschiedlicher brennweite |
| US8139109B2 (en) | 2006-06-19 | 2012-03-20 | Oshkosh Corporation | Vision system for an autonomous vehicle |
| US8459619B2 (en) | 2010-10-24 | 2013-06-11 | Oshkosh Corporation | Gas spring control system and method |
| US8947531B2 (en) | 2006-06-19 | 2015-02-03 | Oshkosh Corporation | Vehicle diagnostics based on information communicated between vehicles |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4007723B2 (ja) * | 1999-06-16 | 2007-11-14 | 本田技研工業株式会社 | 車両の走行安全装置 |
| KR100325144B1 (ko) * | 1999-12-03 | 2002-02-21 | 이계안 | 차량 전용 씨씨디 카메라 장치 |
| AU2003225228A1 (en) * | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
| KR100835803B1 (ko) | 2004-07-16 | 2008-06-05 | 주식회사 현대오토넷 | 이중 차선이탈 경보 장치 및 방법 |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| US20070088469A1 (en) * | 2005-10-04 | 2007-04-19 | Oshkosh Truck Corporation | Vehicle control system and method |
| JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| DE102009050368A1 (de) | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
| US8964032B2 (en) * | 2009-01-30 | 2015-02-24 | Magna Electronics Inc. | Rear illumination system |
| TW201033033A (en) * | 2009-03-03 | 2010-09-16 | Unice E O Services Inc | Intelligent car window device and control method |
| CN101811502B (zh) * | 2010-01-07 | 2013-03-06 | 中国科学院半导体研究所 | 基于并行处理的快速车道线检测装置 |
| EP2523831B2 (de) | 2010-01-13 | 2024-05-29 | Magna Electronics Inc. | Fahrzeugkamera und verfahren zur regelmässigen kalibrierung der fahrzeugkamera |
| US8762021B2 (en) * | 2011-04-08 | 2014-06-24 | Toyota Jidosha Kabushiki Kaisha | Driving support system |
| KR101265667B1 (ko) * | 2011-06-21 | 2013-05-22 | ㈜베이다스 | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 |
| KR101703177B1 (ko) * | 2011-12-14 | 2017-02-07 | 한국전자통신연구원 | 차량 위치 인식 장치 및 방법 |
| US9321461B1 (en) * | 2014-08-29 | 2016-04-26 | Google Inc. | Change detection using curve alignment |
| KR101666959B1 (ko) * | 2015-03-25 | 2016-10-18 | ㈜베이다스 | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 |
| US11228700B2 (en) | 2015-10-07 | 2022-01-18 | Magna Electronics Inc. | Vehicle vision system camera with adaptive field of view |
| KR101748269B1 (ko) * | 2015-11-11 | 2017-06-27 | 현대자동차주식회사 | 자율 주행 차량의 조향 제어 방법 및 장치 |
| US9494438B1 (en) | 2015-12-15 | 2016-11-15 | Honda Motor Co., Ltd. | System and method for verifying map data for a vehicle |
| US10300859B2 (en) | 2016-06-10 | 2019-05-28 | Magna Electronics Inc. | Multi-sensor interior mirror device with image adjustment |
| US9840253B1 (en) * | 2016-06-14 | 2017-12-12 | Delphi Technologies, Inc. | Lane keeping system for autonomous vehicle during camera drop-outs |
| CN108632934B (zh) | 2017-03-24 | 2021-01-01 | 华为技术有限公司 | 切换的方法和设备 |
| US20190241180A1 (en) * | 2018-02-07 | 2019-08-08 | Baidu Usa Llc | Lane self-localization system using multiple cameras for autonomous driving vehicles |
| US11370433B1 (en) * | 2019-05-15 | 2022-06-28 | Nissan Motor Co., Ltd. | Vehicle travel control method and vehicle travel control apparatus |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5559695A (en) * | 1994-12-27 | 1996-09-24 | Hughes Aircraft Company | Apparatus and method for self-calibrating visual time-to-contact sensor |
| JP3189610B2 (ja) * | 1995-02-20 | 2001-07-16 | トヨタ自動車株式会社 | 車両挙動制御装置 |
| JP3521249B2 (ja) * | 1995-11-24 | 2004-04-19 | 光洋精工株式会社 | 自動車の舵取り装置 |
| US5568406A (en) * | 1995-12-01 | 1996-10-22 | Gerber; Eliot S. | Stolen car detection system and method |
-
1997
- 1997-10-10 KR KR1019970051963A patent/KR100250323B1/ko not_active IP Right Cessation
-
1998
- 1998-10-09 JP JP10288497A patent/JPH11212641A/ja active Pending
- 1998-10-09 DE DE19846664A patent/DE19846664A1/de not_active Withdrawn
- 1998-10-09 US US09/169,253 patent/US6173222B1/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996462B2 (en) | 2002-12-18 | 2006-02-07 | Daimlerchrysler Ag | Method of controlling at least one autonomously driving vehicle |
| US8139109B2 (en) | 2006-06-19 | 2012-03-20 | Oshkosh Corporation | Vision system for an autonomous vehicle |
| US8947531B2 (en) | 2006-06-19 | 2015-02-03 | Oshkosh Corporation | Vehicle diagnostics based on information communicated between vehicles |
| US9420203B2 (en) | 2006-06-19 | 2016-08-16 | Oshkosh Defense, Llc | Vision system for a vehicle |
| WO2008132130A1 (de) * | 2007-04-25 | 2008-11-06 | Continental Automotive Gmbh | Fahrspurdetektion mit kameras unterschiedlicher brennweite |
| US8459619B2 (en) | 2010-10-24 | 2013-06-11 | Oshkosh Corporation | Gas spring control system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11212641A (ja) | 1999-08-06 |
| KR100250323B1 (ko) | 2000-04-01 |
| US6173222B1 (en) | 2001-01-09 |
| KR19990031307A (ko) | 1999-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE19846664A1 (de) | Lenksteuersystem und Lenksteuerverfahren für autonome intelligente Fahrzeuge | |
| DE602004000990T2 (de) | Fahrassistenzsystem für Fahrzeuge | |
| EP3024700B1 (de) | Verfahren und vorrichtung zur wiedergabe eines seitlichen und/oder rückwärtigen umgebungsbereichs eines fahrzeugs | |
| EP1928687B1 (de) | Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs | |
| DE602005004444T2 (de) | Fahrbahnbegrenzungserkennung | |
| EP2394234B1 (de) | Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung | |
| DE102019106375B4 (de) | Fahrzeugsteuervorrichtung | |
| EP2888604B1 (de) | Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug | |
| DE19710234A1 (de) | Automatische Fahrvorrichtung für Fahrzeuge | |
| DE102009004626B4 (de) | Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs | |
| EP3356203B1 (de) | Verfahren zum bestimmen einer parkfläche zum parken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug | |
| EP1327969B1 (de) | Kraftfahrzeug mit Mitteln zum Erkennen eines Verkehrzeichens | |
| DE102019217428A1 (de) | Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem und Fahrzeug | |
| DE102018203058A1 (de) | Kollisionsrisiko-Vorhersageeinheit | |
| DE102019217723A1 (de) | Fahrsicherheits-steuersystem unter verwendung von umgebungsgeräuschen und steuerverfahren dafür | |
| EP3655299B1 (de) | Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz | |
| DE19953890B4 (de) | Vorrichtung zum Ermitteln einer Relativgeschwindigkeit für Fahrzeuge | |
| WO2020020654A1 (de) | Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen | |
| DE102020117773A1 (de) | Verfahren zum ermitteln einer ersatztrajektorie, computerprogrammprodukt, parkassistenzsystem und fahrzeug | |
| DE19601831C5 (de) | Verfahren zur Erkennung von relevanten Objekten | |
| DE102017104869A1 (de) | Verfahren zum Erzeugen eines Fahrberechtigungssignals für ein Kraftfahrzeug zum Einfahren in einen Kreisverkehr, Vorrichtung für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug | |
| DE102018203064A1 (de) | Kollisionsrisiko-Vorhersageeinheit | |
| WO2022214451A1 (de) | Verfahren zum erstellen einer führungstrajektorie für ein erstes kraftfahrzeug, verfahren zum steuern eines kraftfahrzeugs sowie verfahren zum betreiben eines kraftfahrzeugs | |
| DE102018200884B4 (de) | Verfahren zur Erkennung einer Durchfahrtshöhe für ein Fahrzeug, Auswerteeinheit für ein Sensorsystem, Sensorsystem zur Erkennung einer Durchfahrtshöhe für ein Fahrzeug und Fahrzeug | |
| DE102019104973A1 (de) | Verfahren sowie Steuergerät für ein System zum Steuern eines Kraftfahrzeugs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8110 | Request for examination paragraph 44 | ||
| 8125 | Change of the main classification |
Ipc: B62D 600 |
|
| 8139 | Disposal/non-payment of the annual fee |