DE10133761A1

DE10133761A1 - Method for virtual attitude measurement of the structure of a vehicle traveling on a carriageway uses a camera to send external images to an image processor and an on-board computer to set coordinates for a vanishing point in the image

Info

Publication number: DE10133761A1
Application number: DE10133761A
Authority: DE
Inventors: Claus Dieter Hamann; Norbert Simm; Peter Schuster; Lothar Brenneis; Frank Scherer; Axel Varchmin
Original assignee: Vitronic Dr Ing Stein Bildverarbeitungssysteme GmbH; Adam Opel GmbH
Current assignee: Vitronic Dr Ing Stein Bildverarbeitungssysteme GmbH; Adam Opel GmbH
Priority date: 2001-07-11
Filing date: 2001-07-11
Publication date: 2003-01-30

Abstract

At specific intervals of time a camera on the vehicle side delivers an image of an external area in front of the vehicle to an image processor on the vehicle. An on-board computer determines the coordinates for a vanishing point in the image and transforms these coordinates into position coordinates for the vehicle. The computer uses object edges to determine the vertical coordinates of the vanishing point in the image. An Independent claim is also included for a device for virtual attitude measurement of vehicle structure for a vehicle traveling along a carriageway.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus eines über eine Fahrbahn fahrenden Fahrzeugs. The invention relates to a method and a device for virtual position determination of a Vehicle body of a traveling on a road Vehicle.

Das Wissen über die aktuelle Orientierung des Fahrzeugaufbaus relativ zur Bewegungsebene, also zur Fahrbahn, die sich in Abhängigkeit von internen und externen Einflussgrößen ändert, ist wesentlich für sicherheitsrelevante Anwendungen aus dem Bereich der Fahrerassistenz. Den Einflussgrößen Fahrzeugbeschleunigung, Lastverteilung im Fahrzeug und auf das Fahrzeug einwirkende Windverhältnisse usw. wird eine umso größere Bedeutung zugemessen je größer die Entfernungen sind, die von den Fahrerassistenzsystemen in einem Wirkungszusammenhang zum Fahrzeug und dessen Verhalten auf der Fahrbahn angenommen werden. Kenntnisse, also Daten bezüglich der aktuellen Lage des Fahrzeugaufbaus, des über eine Fahrbahn fahrenden Fahrzeugs sind beispielsweise zur Ansteuerung von Stellmotoren bei automatischen Einstellsystemen für Scheinwerfer, für die Fahrersitzposition, bei der Hinderniserkennung sowie bei Verfahren zur Ermittlung eines Spurverlaufs einer Fahrbahn relevant. Knowledge of the current orientation of the Vehicle body relative to the plane of movement, i.e. to Roadway that is dependent on internal and changes external factors is essential for security related applications in the area of Driver assistance. The influencing variables vehicle acceleration, Load distribution in and on the vehicle Wind conditions etc. become even more important measured the greater the distances are from the Driver assistance systems in an interdependency to Vehicle and its behavior on the road are assumed become. Knowledge, i.e. data regarding the current Location of the vehicle body over a road moving vehicle are for example to control Servomotors in automatic setting systems for Headlights, for the driver's seat position, at the Obstacle detection and in procedures for determining a Relevant to the course of a lane.

Die zeitliche Änderung der Fahrzeuglage ist abhängig von der Art der Anregung, so sind beispielsweise durch Unebenheiten im Fahrbahnbelag angeregte Eigenschwingungen des Fahrzeugs von einer höheren Frequenz als Neigungsänderungen des Fahrzeugaufbaus aufgrund einer Fahrzeugbeschleunigung oder -verzögerung durch eine entsprechende Verstellung des Gaspedals. Eine Änderung der Lastverteilung im Fahrzeug bewirkt eine Verdrehung desselben um sämtliche Hauptträgheitsachsen in eine charakteristische und geschwindigkeitsunabhängige Lage. Die Drehung des Fahrzeugs um seine Querachse wirkt sich auf die Fahrerassistenzsysteme negativ aus, da sie die Entfernungsskalierung in der Vorausschau beeinflusst. The temporal change in the vehicle position is depending on the type of suggestion, for example stimulated by bumps in the road surface Natural vibrations of the vehicle of a higher frequency than Changes in inclination of the vehicle body due to Vehicle acceleration or deceleration by corresponding adjustment of the accelerator pedal. A change in Load distribution in the vehicle causes twisting the same around all main axes of inertia in one characteristic and speed-independent position. The Rotation of the vehicle about its transverse axis affects the driver assistance systems from negative because they the Distance scaling in the preview is influenced.

Aus der DE 41 24 654 A1 ist ein Verfahren zur kontinuierlichen und automatischen Fahrzeugorientierung auf einer Fahrbahn bekannt, das zur Unterscheidung zwischen einem optischen Signal einer weißen Spurbegrenzungslinie und Störungen ein dynamisches Modell von Fahrzeugquerbewegungen und einer Spurverlaufsgeometrie verwendet. Dieses dynamische Modell ermöglicht eine Formulierung einer Erwartung über die Lage und die Orientierung der Spurbegrenzungslinie in einem Videobild. Die erwartete Lage und die Orientierung der Spurbegrenzungslinie werden durch physikalische und logische Größen, die den aktuellen Zustand, in dem sich Fahrzeug und Spurverlauf befinden, beschrieben. Diese im nächsten Zeitpunkt relevanten Größen werden durch die aktuelle Fahrzeuglage sowie dessen Querdynamik und Geschwindigkeit und bekannten Daten über Spurverläufe und Straßenattribute gewonnen. DE 41 24 654 A1 describes a method for continuous and automatic vehicle orientation known on a roadway to distinguish it between an optical signal of a white Track boundary line and disturbances a dynamic model of Vehicle transverse movements and a lane geometry used. This dynamic model enables one Formulating an expectation about the location and the Orientation of the track boundary line in a video image. The expected location and orientation of the Lane boundaries are defined by physical and logical quantities the current state of the vehicle and Track course are described. This in the next moment relevant sizes are determined by the current vehicle position as well as its lateral dynamics and speed and known data about lanes and road attributes won.

Zur Ermittlung von Daten bezüglich der Fahrzeuglage ist aus der Praxis ein Lagesensor bekannt, der die relativ kleinen, im Bereich von wenigen zehntel Grad liegenden Winkeländerungen des Fahrzeugs registriert. To determine data related to the Vehicle position is known from practice, a position sensor that the relatively small ones, in the range of a few tenths of a degree lying angle changes of the vehicle registered.

Dieser Lagesensor ist jedoch sehr temperaturempfindlich und teuer. However, this position sensor is very sensitive to temperature and expensive.

Es ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus der eingangs genannten Art zu schaffen, wobei mit einer hohen Genauigkeit und bei relativ geringen Kosten Daten bezüglich der Lage des Fahrzeugaufbaus geliefert werden sollen. It is an object of the invention, a method and a device for virtual location determination of a To create vehicle bodies of the type mentioned at the outset, being with high accuracy and at relative low cost data regarding the location of the vehicle body to be delivered.

Erfindungsgemäß wird die Aufgabe dadurch gelöst, dass

- mindestens eine fahrzeugseitige Kamera in bestimmten Zeitintervallen ein Bild eines vor dem Fahrzeug liegenden Außenraums an eine fahrzeugseitige Bildverarbeitungseinrichtung liefert und
- ein Bordrechner Koordinaten eines Fluchtpunkts im Bild . ermittelt und diese Koordinaten in Lagekoordinaten des Fahrzeugs transformiert.

According to the invention the object is achieved in that

- At least one vehicle-side camera delivers an image of an outside space in front of the vehicle to a vehicle-side image processing device at certain time intervals and
- An on-board computer coordinates a vanishing point in the picture. determined and these coordinates transformed into position coordinates of the vehicle.

Merkmale einer erfindungsgemäßen Vorrichtung ergeben sich aus dem Patentanspruch 6. Features of a device according to the invention result from patent claim 6.

Eine Kamera als bildgebender Sensor ist bezüglich ihrer Abbildungsgeometrie innerhalb eines spezifizierten Bereiches temperaturunabhängig und liefert gemeinsam mit der Bildverarbeitungseinrichtung, die Teil eines beliebigen Fahrerassistenzsystems sein kann, Daten für die Koordinaten eines Fluchtpunkts im Bild zur Berechnung der Lagekoordinaten des Fahrzeugs. Diese Komponenten können relativ kostengünstig in ein Fahrerassistenzsystem integriert werden. Der Fluchtpunkt in der Bildebene entspricht einem unendlich fernen. Punkt in der Bewegungsebene, auf den eine rein translatorische Bewegung gerichtet ist. Im Fluchtpunkt treffen sich bei perspektivischer Projektion alle Linien im Bild, die im Dreidimensionalen parallel zur Bewegungsrichtung der Kamera verlaufen. Aus den Fluchtlinien werden Schnittpunkte gebildet und der Fluchtpunkt als gewichteter Mittelwert aller Schnittpunkte abgeschätzt. Aus den Koordinaten des Fluchtpunkts im Bild lassen sich mit einer hohen Zuverlässigkeit Lagekoordinaten des Fahrzeugs berechnen, die sich beispielsweise in Abhängigkeit von der Lastverteilung im Fahrzeug, dessen Beschleunigung sowie Umwelteinflüssen ändern. Die Berechnungszyklen der Lagekoordinaten sind im Wesentlichen von der Taktfrequenz der Kamera abhängig. A camera as an imaging sensor is with regard to their mapping geometry within a specified range independent of temperature and delivers together with the image processing device, the part of any driver assistance system can be data for the coordinates of a vanishing point in the image Calculation of the vehicle's position coordinates. This Components can be relatively inexpensive in one Driver assistance system can be integrated. The vanishing point in the Image plane corresponds to an infinitely distant one. Point in the Movement level on which a purely translational Movement is directed. Meet at the vanishing point perspective projection of all lines in the image that are in the Three-dimensional parallel to the direction of movement Camera run. The alignment lines become intersection points and the vanishing point as a weighted average estimated all intersections. From the coordinates of the Vanishing points in the picture can be made with a high Reliability to calculate the vehicle's location coordinates for example depending on the Load distribution in the vehicle, its acceleration and Change environmental influences. The calculation cycles of the position coordinates are essentially from the clock frequency of the camera dependent.

Nach einer vorteilhaften Weiterbildung der Erfindung ermittelt der Bordrechner die vertikale Koordinate des Fluchtpunkts im Bild und berechnet die Lagekoordinate bezüglich einer Drehung des Fahrzeugs um seine Querachse. Die Drehung des Fahrzeugs um seine Querachse, die durch den Nickwinkel beschrieben wird, verschiebt den Fluchtpunkt im Bild in Abhängigkeit von der Drehrichtung nach oben oder unten. Somit besteht zwischen der vertikalen Koordinate des Fluchtpunkts und dem Nickwinkel ein funktionaler Zusammenhang, der sich aus der Abbildungsgeometrie ergibt. Im Weiteren vereinfacht die Beschränkung auf die vertikale Koordinate des Fluchtpunkts das Verfahren, da unabhängig von der Drehlage des Fahrzeugs um seine Hochachse die vertikale Koordinate des Fluchtpunkts mit der Vertikalkoordinate des Schnittpunktes aller parallel zur Fahrbahntangente fluchtenden Gegenstände übereinstimmt. Solche Gegenstände können unter anderem auch Fahrspurmarkierungen sein. Die zur Fahrbahntangente fluchtenden Gegenstände werden mittels geeigneter Bildverarbeitungsverfahren extrahiert und ausgewertet. Aufgrund der Kenntnis von der Drehung des Fahrzeugs um seine Querachse kann beispielsweise die Entfernungsskalierung in der Vorausschau bei einem Fahrerassistenzsystem korrigiert werden. After an advantageous development of Invention, the on-board computer determines the vertical Coordinate of the vanishing point in the image and calculates the Position coordinate with respect to a rotation of the vehicle around it Transverse axis. The rotation of the vehicle about its transverse axis which is described by the pitch angle shifts the Vanishing point in the picture depending on the direction of rotation up or down. Thus there is between the vertical coordinate of the vanishing point and the pitch angle functional connection resulting from the Mapping geometry results. Furthermore, the simplified Restriction to the vertical coordinate of the vanishing point Procedure because regardless of the rotational position of the vehicle the vertical coordinate of the Vanishing point with the vertical coordinate of the intersection all objects aligned parallel to the road tangent matches. Such items can include also be lane markings. The one to the road tangent aligned objects are identified by means of suitable Image processing method extracted and evaluated. Based on the knowledge of the rotation of the vehicle its transverse axis can be, for example Distance scaling in the preview for one Driver assistance system can be corrected.

Bevorzugt bildet der Bordrechner Differenzwerte zu Referenzkoordinaten des Fahrzeugs im unbelasteten Ruhezustand. Die relevanten mit dem Bordrechner gekoppelten Systeme werden auf die Referenzkoordinaten im unbelasteten Zustand des Fahrzeugs abgestimmt und um die Differentwerte verändert. Der lastabhängige Abgleich der gekoppelten Systeme erfolgt somit aus der zeitlichen Mittelung des Unterschieds zwischen dem aktuellen Fluchtpunkt und dem im unbelasteten Zustand gemessenen Fluchtpunkt. The on-board computer preferably forms difference values to reference coordinates of the vehicle in the unloaded Hibernation. The relevant ones linked to the on-board computer Systems are based on the reference coordinates in the unloaded condition of the vehicle and matched to the Different values changed. The load-dependent comparison of the coupled systems thus takes place from the temporal Averaging the difference between the current vanishing point and the vanishing point measured in the unloaded state.

Da ein Einschwingen des Systems mit einer gleitenden Mittelwertbildung relativ lange Zeit in Anspruch nimmt, filtert bevorzugt der Bordrechner hochfrequente Änderungen der Koordinaten des Fluchtpunkts zu den Referenzkoordinaten mit einem Tiefpass aus. Since the system has settled with a Moving averaging takes a relatively long time takes, the on-board computer prefers to filter high-frequency Changes in the coordinates of the vanishing point to the Reference coordinates with a low pass.

Eine relativ kurze Einschwingzeit des Systems wird dadurch erzielt, dass zweckmäßigerweise ein Tiefpass höherer Ordnung zur Glättung der Änderungen verwendet wird. A relatively short settling time of the system is achieved by expediently having a low pass higher order used to smooth the changes becomes.

Es versteht sich, dass die vorstehend genannten und nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. It is understood that the above and not only features to be explained below in the specified combination, but also in other combinations can be used without the frame to leave the present invention.

Claims

1. A method for the virtual determination of the position of a vehicle body of a vehicle traveling over a roadway, characterized in that
at least one vehicle-side camera delivers an image of an outside space in front of the vehicle to a vehicle-side image processing device at certain time intervals and
an on-board computer determines coordinates of a vanishing point in the image and transforms these coordinates into position coordinates of the vehicle.

2. The method according to claim 1, characterized in that that the on-board computer has the vertical coordinate of the Vanishing point in the image determined from object edges that run parallel to the road tangent, and thus the position coordinate with respect to a rotation of the Vehicle calculated about its transverse axis.

3. The method according to claim 1 or 2, characterized characterized that the on-board computer difference values too Reference coordinates of the vehicle in the unloaded Hibernation forms.

4. The method according to any one of claims 1 to 3, characterized characterized that the on-board computer high-frequency Changes in the coordinates of the vanishing point to the Filters out reference coordinates with a low pass.

5. The method according to claim 4, characterized in that a higher order low pass to smooth the Changes is used.

6. Device for the virtual determination of the position Vehicle body of a traveling on a road Vehicle, characterized by at least one on-board camera for the delivery of images of an outside space in front of the vehicle vehicle-side image processing device and through an on-board computer that coordinates one Vanishing point in the images determined and this Coordinates in position coordinates of the vehicle transformed.