DE102014201271A1

DE102014201271A1 - A method and controller for detecting a change in a relative yaw angle within a stereo video system for a vehicle

Info

Publication number: DE102014201271A1
Application number: DE102014201271.6A
Authority: DE
Inventors: Joerg Hilsebecher; Bastian Meyer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-01-24
Filing date: 2014-01-24
Publication date: 2015-07-30
Also published as: WO2015110207A1; CN106233330B; EP3097537A1; CN106233330A; JP6317456B2; US20160335755A1; JP2017506382A; US10013762B2; EP3097537B1

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen einer Veränderung eines relativen Gierwinkels (106) an einem Stereo-Video-System (102) für ein Fahrzeug (100). Das Stereo-Video-System (102) weist eine erste Kamera (110) und eine zweite Kamera (112) auf, die auf einen gemeinsamen Erfassungsbereich (114) ausgerichtet sind und um eine Stereobasis (116) zueinander versetzt angeordnet sind. Das Verfahren weist einen Schritt des Einlesens, einen Schritt des Ermittelns, einen Schritt des Bestimmens und einen Schritt des Vergleichens auf. Im Schritt des Einlesens wird ein Bildpaar von den Kameras (110, 112) und ein weiteres Bild von der ersten Kamera (110) eingelesen. Das Bildpaar umfasst ein, zu einem ersten Zeitpunkt erfasstes, erstes Bild der ersten Kamera (110) und ein, zu dem ersten Zeitpunkt erfasstes, zweites Bild der zweiten Kamera (112). Das weitere Bild ist zu einem, zu dem ersten Zeitpunkt zeitlich versetzten, weiteren Zeitpunkt erfasst. Im Schritt des Ermittelns wird eine stationäre Fläche (108, 122) in dem Erfassungsbereich (114) unter Verwendung des Bildpaars, der Stereobasis (116) und einer Stereoskopie-Verarbeitungsvorschrift ermittelt, um einen Neigungswinkel (124) des Stereo-Video-Systems (102) zu erhalten. Im Schritt des Bestimmens wird die stationäre Fläche (108) unter Verwendung des ersten Bilds des Bildpaars, des weiteren Bilds und einer Korrespondenz-Transformations-Verarbeitungsvorschrift bestimmt, um einen Vergleichswinkel zu erhalten. Dabei wird eine Korrespondenz-Transformation zwischen dem ersten Bild und dem weiteren Bild erfasst, wenn sich das Stereo-Video-System (102) zwischen dem ersten Zeitpunkt und dem weiteren Zeitpunkt um eine Wegstrecke (126) bewegt hat. Im Schritt des Vergleichens wird der Neigungswinkel (124) mit dem Vergleichswinkel unter Verwendung einer Vergleichsvorschrift verglichen, um die Veränderung des relativen Gierwinkels (106) zu erkennen.The invention relates to a method for detecting a change in a relative yaw angle (106) on a stereo video system (102) for a vehicle (100). The stereo video system (102) has a first camera (110) and a second camera (112), which are aligned on a common detection area (114) and are arranged offset from each other by a stereo base (116). The method includes a step of reading, a step of determining, a step of determining, and a step of comparing. In the reading-in step, a pair of images are read in by the cameras (110, 112) and another image by the first camera (110). The image pair comprises a first image of the first camera (110) acquired at a first time and a second image of the second camera (112) acquired at the first time. The further picture is recorded at a later time offset at the first time. In the step of determining, a stationary area (108, 122) is detected in the detection area (114) using the image pair, the stereo base (116), and a stereoscopic processing rule to obtain a tilt angle (124) of the stereo video system (102 ) to obtain. In the step of determining, the stationary area (108) is determined using the first image of the image pair, the further image, and a correspondence transformation processing rule to obtain a comparison angle. In this case, a correspondence transformation between the first image and the further image is detected when the stereo video system (102) has moved by a distance (126) between the first time and the further time. In the comparing step, the tilt angle (124) is compared with the comparison angle using a comparison rule to detect the change in relative yaw angle (106).

Description

Stand der Technik State of the art

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erkennen einer Veränderung eines relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug oder anderes bewegtes System auf ein entsprechendes Steuergerät sowie auf ein entsprechendes Computerprogrammprodukt. The present invention relates to a method of detecting a change in a relative yaw angle on a stereo video system for a vehicle or other moving system to a corresponding controller and to a corresponding computer program product.

Bei einer Stereo-Kamera wirken sich bereits geringe Veränderungen der Winkel zwischen den Kameras auf eine Genauigkeit des Gesamtsystems aus. With a stereo camera, even slight changes in the angles between the cameras affect the accuracy of the overall system.

Die DE 10 2004 062 275 A1 beschreibt ein Verfahren und eine Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera. The DE 10 2004 062 275 A1 describes a method and an apparatus for determining a calibration parameter of a stereo camera.

Offenbarung der Erfindung Disclosure of the invention

Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erkennen einer Veränderung des relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug, weiterhin ein Steuergerät, das dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung. Against this background, the present invention proposes a method for detecting a change in the relative yaw angle on a stereo video system for a vehicle, furthermore a control unit which uses this method and finally a corresponding computer program product according to the main claims. Advantageous embodiments emerge from the respective subclaims and the following description.

Eine auf Stereoskopie basierende räumliche Erkennung von Objekten weist eine hohe Erkennungswahrscheinlichkeit und eine hohe Erkennungsgeschwindigkeit auf. Dabei funktioniert die Stereoskopie auch bei ruhendem Stereo-Kamera-System. Die Stereoskopie ist lediglich anfällig für Änderungen einer relativen Ausrichtung der zwei Kameras. Beispielsweise durch Wärme- oder Kälteeinwirkung kann eine der Kameras gegenüber der anderen Kamera leicht verdreht werden. Dann weist ein erster Referenzpunkt der ersten Kamera eine inkorrekte Translokation gegenüber einem zweiten Referenzpunkt der zweiten Kamera auf, wobei der erste und der zweite Referenzpunkt den gleichen Punkt in einem Aufnahmebereich der Kameras repräsentieren. Durch diese Translokation werden Entfernungen zu erkannten Objekten falsch ermittelt. Flächige Objekte werden verkippt wahrgenommen. Um den Winkelfehler auszugleichen, kann zumindest einer der Referenzpunkte angepasst werden. A stereoscopic based spatial recognition of objects has a high recognition probability and a high recognition speed. The stereoscopy works even when the stereo camera system is stationary. Stereoscopy is only susceptible to changes in the relative orientation of the two cameras. For example, by heat or cold, one of the cameras can be easily twisted compared to the other camera. Then, a first reference point of the first camera has an incorrect translocation with respect to a second reference point of the second camera, wherein the first and the second reference point represent the same point in a recording area of the cameras. This translocation incorrectly determines distances to detected objects. Flat objects are perceived tilted. To compensate for the angle error, at least one of the reference points can be adjusted.

Basierend auf einer monokularen Auswertung zeitlich und räumlich versetzter Bilder einer der Kameras können Objekte ebenfalls räumlich aufgelöst werden. Der räumliche Abstand zwischen den Bildern wirkt dabei ähnlich, wie eine Stereobasis zwischen den Kameras bei der Stereoskopie. Zwischen den Bildern kann dann eine Korrespondenz-Transformation bestimmt werden, die eine Veränderung zwischen den Bildern repräsentiert. Im Gegensatz zur Stereoskopie kann die monokulare Auswertung keine Empfindlichkeit gegenüber einem relativen Winkelfehler zwischen zwei Kameras aufweisen. Based on a monocular evaluation of temporally and spatially offset images of one of the cameras, objects can also be spatially resolved. The spatial distance between the images is similar, as a stereo base between the cameras in stereoscopy. Between the pictures a correspondence transformation can be determined, which represents a change between the pictures. In contrast to stereoscopy, the monocular evaluation can have no sensitivity to a relative angle error between two cameras.

Die Stereoskopie mit zwei Kameras kann also durch die monokulare Auswertung einer der Kameras über die Korrespondenz-Transformation abgesichert werden. The stereoscopy with two cameras can thus be secured by the monocular evaluation of one of the cameras via the correspondence transformation.

Insbesondere flächige, stationäre Objekte können dazu dienen, den Winkelfehler zu kompensieren, indem der Winkel so kompensiert wird, dass die erfassten Objekte mit beiden Messverfahren (Stereoskopisch, Monoskopisch) identisch gemessen werden. In particular, flat, stationary objects can be used to compensate for the angle error by compensating the angle such that the detected objects are measured identically using both measuring methods (stereoscopic, monoscopic).

Es wird ein Verfahren zum Erkennen einer Veränderung eines relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug vorgestellt, wobei das Stereo-Video-System eine erste Kamera und eine zweite Kamera aufweist, die auf einen gemeinsamen Erfassungsbereich ausgerichtet sind und um eine Stereobasis zueinander versetzt angeordnet sind, wobei das Verfahren die folgenden Schritte aufweist: A method is provided for detecting a change in a relative yaw angle on a stereo video system for a vehicle, the stereo video system having a first camera and a second camera aligned with a common detection area and a stereo base arranged offset to one another, the method comprising the following steps:

Einlesen eines Bildpaars von den Kameras und eines weiteren Bilds von der ersten Kamera, wobei das Bildpaar ein, zu einem ersten Zeitpunkt erfasstes, erstes Bild der ersten Kamera und ein, zu dem ersten Zeitpunkt erfasstes, zweites Bild der zweiten Kamera umfasst und das weitere Bild zu einem, zu dem ersten Zeitpunkt zeitlich versetzten, weiteren Zeitpunkt erfasst ist; Reading a pair of images from the cameras and another image from the first camera, the image pair comprising a first image of the first camera detected at a first time and a second image of the second camera detected at the first time and the further image is recorded at a later date, delayed at the first time;

Ermitteln einer stationären Fläche in dem Erfassungsbereich (vorteilhaft ist insbesondere eine Bodenfläche) unter Verwendung des Bildpaars, der Stereobasis und einer Stereoskopie-Verarbeitungsvorschrift, um einen Neigungswinkel, vorteilhaft einen Nickwinkel zur stationären Fläche, des Stereo-Video-Systems zu erhalten; Determining a stationary area in the detection area (particularly advantageous is a floor area) using the image pair, the stereo base and a stereoscopic processing rule to obtain an inclination angle, advantageously a pitch angle to the stationary area, of the stereo video system;

Bestimmen der stationären Fläche unter Verwendung des ersten Bilds des Bildpaars, des weiteren Bilds und einer Korrespondenz-Transformations-Verarbeitungsvorschrift, um einen Vergleichswinkel zu erhalten, wobei eine Korrespondenz-Transformation zwischen dem ersten Bild und dem weiteren Bild erfasst wird, wenn sich das Stereo-Video-System zwischen dem ersten Zeitpunkt und dem weiteren Zeitpunkt um eine Wegstrecke bewegt hat; und Determining the stationary area using the first image of the image pair, the further image and a correspondence transformation processing rule to obtain a comparison angle, wherein a correspondence transformation between the first image and the further image is detected when the stereo Video system has moved a distance between the first time and the further time; and

Vergleichen des Neigungswinkels mit dem Vergleichswinkel, also der beiden Flächenneigungen, unter Verwendung einer Vergleichsvorschrift, um die Veränderung des relativen Gierwinkels zu erkennen. Compare the inclination angle with the comparison angle, ie the two surface slopes, using a comparison rule to detect the change in the relative yaw angle.

Unter einer Veränderung des relativen Gierwinkels, auch Gierwinkelversatz genannt, kann eine Differenz von Seitenrichtungswinkeln der zwei Kameras verstanden werden. Eine Stereobasis kann ein räumlicher Abstand der Kameras sein. Ein Bild kann durch eine Bildinformation von zeilenweise und reihenweise angeordneten Bildpunkten repräsentiert werden. Eine stationäre Fläche kann eine Fahrbahnoberfläche sein und kann sich relativ zu dem Fahrzeug bewegen. Eine Stereoskopie-Verarbeitungsvorschrift kann eine Triangulation repräsentieren. Eine Korrespondenz-Transformation-Verarbeitungsvorschrift kann zum Erzeugen eines Vektorfelds der Korrespondenz-Transformation, beispielsweise des optischen Flusses, zwischen zwei Bildern verwendet werden. Der Neigungswinkel ist dabei der Winkel, der zwischen einer von dem Stereo-Video-System ermittelten Ebene und einer Referenzebene aufgespannt wird. Der Neigungswinkel ist somit dann ungleich Null, wenn die ermittelte Ebene und die Referenzebene nicht übereinstimmen. Sowohl die ermittelte Ebene als auch die Referenzebene sind virtuelle Ebenen, die auf Basis der stationären Ebene und zwei unterschiedlichen Verarbeitungsvorschriften ermittelt werden. A change in the relative yaw angle, also called the yaw angle offset, can be understood to mean a difference of the lateral direction angles of the two cameras. A stereo base can be a spatial distance of the cameras. An image may be represented by image information of line-by-line and line-by-line arranged pixels. A stationary surface may be a road surface and may move relative to the vehicle. A stereoscopic processing rule may represent a triangulation. A correspondence transformation processing rule may be used to generate a vector field of correspondence transformation, such as optical flow, between two images. The angle of inclination is the angle that is spanned between a plane determined by the stereo video system and a reference plane. The angle of inclination is thus not equal to zero if the determined plane and the reference plane do not match. Both the determined level and the reference level are virtual levels that are determined based on the stationary level and two different processing rules.

Es kann zumindest ein weiteres Bildpaar eingelesen werden, wobei das weitere Bildpaar zeitlich versetzt zu dem Bildpaar erfasst ist. Es kann ein weiterer Neigungswinkel unter Verwendung des weiteren Bildpaars ermittelt werden. Das Verfahren kann einen Schritt der Bewegungs-Erkennung aufweisen, in dem der Neigungswinkel mit dem weiteren Neigungswinkel verglichen wird, um eine Nickbewegung des Stereo-Video-Systems zu erkennen. Wenn das an dem Fahrzeug befestigte Stereo-Video-System aufgrund einer Eigenbewegung des Fahrzeugs eine Nickbewegung ausführt, verändert sich ein Blickwinkel der Kameras auf die stationäre Fläche. Die resultierende Veränderung des erkannten Neigungswinkels stellt jedoch keine Dekalibrierung dar. Durch eine Bewegungs-Erkennung können falsche Aussagen über die Veränderung des relativen Gierwinkels vermieden werden. At least one further image pair can be read in, the further image pair being recorded offset in time from the image pair. Another tilt angle can be determined using the further pair of images. The method may include a motion detection step of comparing the tilt angle to the other tilt angle to detect a pitching motion of the stereo video system. When the stereo video system mounted on the vehicle makes a pitching motion due to a self-motion of the vehicle, a viewing angle of the cameras on the stationary surface changes. However, the resulting change in the detected tilt angle does not represent decalibration. Motion detection helps to avoid false statements about the relative yaw angle change.

Das weitere Bild kann als ein Bestandteil des weiteren Bildpaars eingelesen werden. Durch eine Mehrfachverwendung von Bildern bzw. Bildinformationen kann eine verwendete Rechen- und Speicherkapazität verringert werden. The further picture can be read in as part of the further picture pair. By multiple use of images or image information, a used computing and storage capacity can be reduced.

Der Schritt des Vergleichens kann ausgeführt werden, wenn die Nickbewegung, die sich hier und im Folgenden nicht nur auf eine Bodenfläche sondern auf eine Translation der beobachteten stationären Fläche (z.B. durch Nicken oder Lenkbewegungen) beziehen soll, kleiner als ein Schwellenwert ist. Wenn die Nickbewegung kleiner als der Schwellenwert ist, kann eine Fehlerkennung der Veränderung des relativen Gierwinkels vermieden werden. The step of comparing may be performed if the pitching motion, which here and hereafter is to refer not only to a floor surface but to a translation of the observed stationary surface (e.g., by pitching or steering motions), is less than a threshold. If the pitching motion is smaller than the threshold, misrecognition of the variation of the relative yawing angle can be avoided.

Der Vergleichswinkel kann unter Verwendung der Nickbewegung bestimmt werden. Die Nickbewegung kann beim Erkennen des Vergleichswinkels berücksichtigt werden. Dann kann das Stereo-Video-System auch bei bewegtem Fahrzeug kalibriert werden. The comparison angle can be determined using the pitching motion. The pitching motion can be taken into account when detecting the comparison angle. Then the stereo video system can be calibrated even when the vehicle is moving.

Das Verfahren kann einen Schritt des Rekalibrierens des Stereo-Video-Systems aufweisen, wobei der relative Gierwinkel der Kameras unter Verwendung der Veränderung des relativen Gierwinkels rekalibriert wird, wenn die Veränderung des relativen Gierwinkels größer als ein Toleranzwert ist. Es kann ein Referenzpunkt einer der Kameras angepasst werden. Ebenso können die Referenzpunkte beider Kameras angepasst werden. Ein Referenzpunkt kann ein Referenzkoordinatenursprung der jeweiligen Kamera sein. Der Referenzpunkt kann mit einer Bildpunktkoordinate der jeweiligen Kamera übereinstimmen. Durch das Rekalibrieren kann das Stereo-Video-System dauerhaft kalibriert gehalten werden, auch wenn die Kameras aufgrund äußerer Einflüsse physikalisch gegeneinander verdreht werden. Dabei kann bis zu einem gewissen Grad mit einer Veränderung des Gierwinkels auch ein entstandener Fehler im Abstand der Kameras kompensiert werden. The method may include a step of recalibrating the stereo video system wherein the relative yaw angle of the cameras is recalibrated using the change in relative yaw angle when the change in the relative yaw angle is greater than a tolerance value. A reference point of one of the cameras can be adjusted. Likewise, the reference points of both cameras can be adjusted. A reference point may be a reference coordinate origin of the respective camera. The reference point may correspond to a pixel coordinate of the respective camera. By recalibrating the stereo video system can be kept permanently calibrated, even if the cameras are physically twisted due to external influences. It can be compensated to a certain extent with a change in the yaw angle and a resulting error in the distance of the cameras.

Das Rekalibrieren kann schrittweise erfolgen, wobei die einzelnen Gierwinkel jeweils maximal um einen vorgegebenen Winkel korrigiert werden, um das Stereo-Video-System zu rekalibrieren. Durch eine Begrenzung des Winkelschritts beim Kalibrieren kann ein Überschwingen des Kalibrierens vermieden werden. Durch die Begrenzung kann das Stereo-Video-System schrittweise in den gewünschten Zustand versetzt werden. The recalibration can be done step by step, with the individual yaw angles corrected by a maximum of a predetermined angle to recalibrate the stereo video system. By limiting the angular step during calibration, overshooting of the calibration can be avoided. Due to the limitation, the stereo video system can gradually be set to the desired state.

Im Schritt des Bestimmens können Flussvektoren zwischen dem ersten Bild und dem weiteren Bild spaltenweise oder zeilenweise bestimmt werden, um die stationäre Fläche zu finden und den Vergleichswinkel zu bestimmen. Durch die zeilenweise oder spaltenweise Suche der stationären Fläche kann das Verfahren mit einer geringen Rechenleistung schnell durchgeführt werden. In the step of determining, flow vectors between the first image and the further image can be determined column by column or line by line in order to find the stationary surface and to determine the comparison angle. By the line-by-line or column-by-column search of the stationary surface, the process can be carried out quickly with a low computing power.

Weiterhin wird ein Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug vorgestellt, wobei das Stereo-Video-System eine erste Kamera und eine zweite Kamera aufweist, die auf einen gemeinsamen Erfassungsbereich ausgerichtet sind und um eine Stereobasis zueinander versetzt angeordnet sind, wobei das Steuergerät die folgenden Merkmale aufweist:
eine Einrichtung zum Einlesen eines Bildpaars von den Kameras und eines weiteren Bilds von der ersten Kamera, wobei das Bildpaar ein, zu einem ersten Zeitpunkt erfasstes erstes Bild der ersten Kamera und ein, zu dem ersten Zeitpunkt erfasstes zweites Bild der zweiten Kamera umfasst und das weitere Bild zu einem, zu dem ersten Zeitpunkt zeitlich versetzten, weiteren Zeitpunkt erfasst ist;
eine Einrichtung zum Ermitteln einer stationären Fläche in dem Erfassungsbereich unter Verwendung des Bildpaars, der Stereobasis und einer Stereoskopie-Verarbeitungsvorschrift, um einen Neigungswinkel des Stereo-Video-Systems zu erhalten;
eine Einrichtung zum Bestimmen der stationären Fläche unter Verwendung des ersten Bilds des Bildpaars, des weiteren Bilds und einer Korrespondenz-Transformations-Verarbeitungsvorschrift, um einen Vergleichswinkel zu erhalten, wobei eine Korrespondenz-Transformation zwischen dem ersten Bild und dem weiteren Bild erfasst wird, wenn sich das Stereo-Video-System zwischen dem ersten Zeitpunkt und dem weiteren Zeitpunkt um eine Wegstrecke bewegt hat; und
eine Einrichtung zum Vergleichen des Neigungswinkels mit dem Vergleichswinkel unter Verwendung einer Vergleichsvorschrift, um die Veränderung des relativen Gierwinkels zu erkennen. Furthermore, a control device for detecting a change in a relative yaw angle on a stereo video system for a vehicle is presented, wherein the stereo video system has a first camera and a second camera, which are aligned on a common detection area and a stereo base arranged offset to one another, wherein the control device has the following features:
a device for reading in a pair of images from the cameras and another image from the first camera, the image pair having a first image of the first camera captured at a first time and a first image acquired at the first time second image of the second camera and the further image is detected at a, at the first time staggered, another time;
means for detecting a stationary area in the detection area using the image pair, the stereo base, and a stereoscopic processing rule to obtain a tilt angle of the stereo video system;
means for determining the stationary area using the first image of the image pair, the further image, and a correspondence transformation processing rule to obtain a comparison angle, wherein a correspondence transformation between the first image and the further image is detected the stereo video system has moved one distance between the first time and the further time; and
a means for comparing the tilt angle with the comparison angle using a comparison rule to detect the change in the relative yaw angle.

Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Also by this embodiment of the invention in the form of a control device, the object underlying the invention can be achieved quickly and efficiently.

Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. In the present case, a control device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The control unit may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based design, the interfaces can be part of a so-called system ASIC, for example, which contains various functions of the control unit. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird. A computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program product is installed on a computer or a device is also of advantage is performed.

Die Term „Veränderung des relativen Gierwinkels“ sowie die teilweise verwendete Bezeichnung „Gierwinkelversatz“ beziehen sich auf einen relativen Winkel zwischen Hauptblickrichtungen zweier Kameras in einem Stereo-Video-System. Der genannte optische Fluss ist nur eine Variante zur Bestimmung der zweiten Flächenneigung. Andere Korrespondenzverfahren sind hier denkbar (z.B. eine Homografie-Bestimmung). Der Kern des Algorithmus besteht aus der Bestimmung von Flächenneigungen (Vorteilhaft: Bodenfläche) mit zwei unterschiedlichen Verfahren (räumlich, zeitlich). Generell ist das Verfahren auch für mehr als zwei Kameras anwendbar. Für den Mono-Kamera-Pfad kann noch das Verfahren über die Neigungsschätzung via Fluchtpunktbestimmung als vorteilhafte Ausbildung dienen. Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: The terms "relative yaw angle variation" and the partially used term "yaw rate offset" refer to a relative angle between major viewing directions of two cameras in a stereo video system. The said optical flow is only one variant for determining the second surface inclination. Other correspondence methods are conceivable here (for example a homography determination). The core of the algorithm consists of the determination of surface slopes (Advantageous: floor area) with two different methods (spatial, temporal). In general, the method is also applicable to more than two cameras. For the mono-camera path can still serve the method of tilt estimation via vanishing point determination as an advantageous training. The invention will now be described by way of example with reference to the accompanying drawings. Show it:

1 eine Darstellung eines Fahrzeugs mit einem Stereo-Video-System und einem Steuergerät zum Erkennen einer Veränderung des relativen Gierwinkels gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 1 a representation of a vehicle with a stereo video system and a controller for detecting a change in the relative yaw angle according to an embodiment of the present invention;

2 ein Blockschaltbild eines Steuergeräts zum Erkennen einer Veränderung des relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 2 a block diagram of a controller for detecting a change in the relative yaw angle on a stereo video system for a vehicle according to an embodiment of the present invention;

3 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Veränderung des relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und 3 a flowchart of a method for detecting a change in the relative yaw angle on a stereo video system for a vehicle according to an embodiment of the present invention; and

4 ein Flussdiagramm eines Ablaufs eines Verfahrens zum Erkennen einer Veränderung des relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 4 a flowchart of a flow of a method for detecting a change in the relative yaw angle on a stereo video system for a vehicle according to an embodiment of the present invention.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.

1 zeigt eine Darstellung eines Fahrzeugs 100 mit einem Stereo-Video-System 102 und einem Steuergerät 104 zum Erkennen einer Veränderung des relativen Gierwinkels 106, auch Gierwinkelversatz genannt, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Steuergerät 104 kann Teil des Stereo-Video-Systems 102 sein oder als eine separate Vorrichtung ausgeführt sein. 1 shows a representation of a vehicle 100 with a stereo video system 102 and a controller 104 for detecting a change in the relative yaw angle 106 also called yaw rate offset, according to an embodiment of the present invention. The control unit 104 can be part of the stereo video system 102 be executed or as a separate device.

Das Fahrzeug 100 bewegt sich auf einer ebenen Fläche 108 vorwärts. Das Stereo-Video-System 102 weist eine erste Kamera 110 und eine zweite Kamera 112 auf. Die Kameras 110, 112 sind auf einen gemeinsamen Erfassungsbereich 114 in Fahrtrichtung vor dem Fahrzeug 100 gerichtet. Die erste Kamera 110 ist im Fahrzeug 100 links angeordnet. Die zweite Kamera 112 ist im Fahrzeug 100 rechts angeordnet. Die Kameras 110, 112 weisen einen Abstand 116 zueinander auf. Der Abstand 116 kann als Stereobasis 116 bezeichnet werden. Das Stereo-Video-System 102 ist dazu ausgebildet, unter Verwendung der Stereobasis 116 und Stereoskopie Objekte 118 in dem Erfassungsbereich 114 räumlich zu erfassen und beispielsweise Positionen der Objekte 118 relativ zu dem Fahrzeug 100 für Sicherheits- und Komfortfunktionen des Fahrzeugs 100 bereitzustellen. The vehicle 100 moves on a flat surface 108 forward. The stereo video system 102 has a first camera 110 and a second camera 112 on. The cameras 110 . 112 are on a common coverage area 114 in Driving direction in front of the vehicle 100 directed. The first camera 110 is in the vehicle 100 arranged on the left. The second camera 112 is in the vehicle 100 arranged to the right. The cameras 110 . 112 have a distance 116 to each other. The distance 116 can as a stereo basis 116 be designated. The stereo video system 102 is designed using the stereo base 116 and stereoscopic objects 118 in the detection area 114 spatially capture and, for example, positions of the objects 118 relative to the vehicle 100 for safety and comfort functions of the vehicle 100 provide.

Wenn ein, der Einfachheit halber ortsfestes Objekt 118 in dem Erfassungsbereich 114 von beiden Kameras 114 erfasst wird, werden zu dem Objekt 118 zugeordnete Bildpunkte in beiden Kamerabildern als das Objekt 118 klassifiziert. Koordinaten der Bildpunkte ergeben jeweils einen Höhenwinkel und einen Seitenwinkel von der jeweiligen Kamera 110, 112 zu dem Objekt 118. Durch Triangulation mit der bekannten Stereobasis 116 wird eine Entfernung des Objekts 118 vom Fahrzeug 100 berechnet. If, for the sake of simplicity, stationary object 118 in the detection area 114 from both cameras 114 is detected, become the object 118 associated pixels in both camera images as the object 118 classified. Coordinates of the pixels result in each case an elevation angle and a side angle of the respective camera 110 . 112 to the object 118 , By triangulation with the well-known stereo base 116 becomes a distance of the object 118 from the vehicle 100 calculated.

Hier ist eine der Kameras 112 gegenüber einer Ausgangsposition um die hier beispielhaft dargestellte Veränderung des relativen Gierwinkels 106 verdreht. Daraus ergeben sich falsche Höhenwinkel und/oder Seitenwinkel in den Bildpunkten, da die verdrehte Kamera 112 einen verschobenen Erfassungsbereich 120 aufweist. In den Bildpunkten des verschobenen Erfassungsbereichs 120 ist das Objekt 118 gegenüber dem unverschobenen Erfassungsbereich 114 seitlich versetzt. Die Entfernung des Objekts 118 zum Fahrzeug 100 wird jetzt falsch berechnet. Here is one of the cameras 112 relative to a starting position around the change in the relative yaw angle exemplified here 106 twisted. This results in wrong elevation angles and / or side angles in the pixels, as the rotated camera 112 a shifted detection area 120 having. In the pixels of the shifted detection area 120 is the object 118 opposite the unshielded detection area 114 laterally offset. The distance of the object 118 to the vehicle 100 is now calculated incorrectly.

Wenn von den dekalibrierten Kameras 110, 112 die Fläche 108 erfasst wird, dann wird die Fläche 108 durch die Veränderung des relativen Gierwinkels 106 als schräge Fläche 122 erkannt, die so nicht existiert. Die schräge Fläche 122 ist rein virtuell. Die schräge Fläche 122 spannt gegenüber der ebenen Fläche 108 einen Neigungswinkel 124 auf. If from the decalibrated cameras 110 . 112 the area 108 is detected, then the area becomes 108 by changing the relative yaw angle 106 as a sloping surface 122 recognized that does not exist so. The sloping surface 122 is purely virtual. The sloping surface 122 clamps against the flat surface 108 a tilt angle 124 on.

Das Steuergerät 104 ist dazu ausgebildet, ein weiteres Kamerabild, in diesem Ausführungsbeispiel von der linken Kamera 110, einzulesen. Das weitere Kamerabild ist in diesem Ausführungsbeispiel aufgenommen worden, als das Fahrzeug 100 um eine Wegstrecke 126 zurück versetzt angeordnet war. Das weitere Kamerabild kann auch eingelesen werden, nachdem das Fahrzeug 100 eine weitere Wegstrecke zurückgelegt hat. Wenn das Objekt 118 in dem weiteren Kamerabild erfasst wird, dann sind seine Bildkoordinaten um einen zu der Wegstrecke 126 korrespondierenden Betrag zwischen dem weiteren Bild und dem aktuellen Kamerabild verschoben. Dieser Betrag kann als Vektor mit Betrag und Richtung ausgedrückt werden. Der Vektor kann als optischer Fluss bezeichnet werden. The control unit 104 is adapted to another camera image, in this embodiment of the left camera 110 , read in. The further camera image has been recorded in this embodiment, as the vehicle 100 for a distance 126 was arranged back staggered. The further camera image can also be read after the vehicle 100 has traveled another distance. If the object 118 is detected in the further camera image, then his image coordinates to one to the distance 126 corresponding amount between the further image and the current camera image shifted. This amount can be expressed as a vector with amount and direction. The vector can be referred to as optical flow.

Da eine einzelne Kamera keine Veränderung des relativen Gierwinkels aufweisen kann, wird die Fläche 108 ohne Neigungswinkel, also mit einem Neigungswinkel gleich Null, erkannt, wenn die ebene Fläche 108 in dem weiteren Bild erfasst wird. Since a single camera can not change the relative yaw angle, the area becomes 108 without inclination angle, ie with an inclination angle equal to zero, detected when the flat surface 108 is detected in the other image.

Durch den hier vorgestellten Ansatz werden die Resultate der Erkennung der ebenen Fläche 108 zusammengeführt. Die Erkennung der Fläche 108 im Stereo-Video-System 102 wird also durch den optischen Fluss abgesichert. Wenn die Veränderung des relativen Gierwinkels 106 erkannt wird, dann können die Kameras 110, 112 neu kalibriert werden, bis auch im Stereo-Video-System 102 die Fläche 108 ohne den Neigungswinkel 124 erkannt wird. Das Stereo-Video-System 102 kann kalibriert werden, indem in einem oder beiden Kamerabildern eine Gierwinkelreferenz angepasst wird. Durch die Verwendung von bereits vorhandenen Zwischen-Ergebnissen werden Ressourcen geschont. Beispielsweise werden der optische Fluss, die Disparität und die Fahrbahnoberfläche 108 bereits für die Objektdetektion benötigt und sind auf den aktuellen Stereo-Video-Steuergeräten 102 (teilweise in FPGA-Hardware) implementiert und abrufbar. The approach presented here results in the recognition of the flat surface 108 merged. The recognition of the area 108 in the stereo video system 102 is thus protected by the optical flow. When the change of the relative yaw angle 106 is detected, then the cameras can 110 . 112 be recalibrated until even in the stereo video system 102 the area 108 without the angle of inclination 124 is recognized. The stereo video system 102 can be calibrated by adjusting a yaw angle reference in one or both camera images. By using existing intermediate results, resources are spared. For example, the optical flow, the disparity and the road surface 108 already needed for object detection and are on the current stereo video controllers 102 (partially implemented in FPGA hardware) and retrievable.

Die ermittelte Fahrbahnoberfläche 122 auf Basis des Stereo-Video-Kamerasystems 102 kann mit entsprechenden Daten aus dem optischen Fluss plausibilisiert werden. The determined road surface 122 based on the stereo video camera system 102 can be made plausible with corresponding data from the optical flow.

Die Fahrbahnoberfläche 108 kann aus dem optischen Fluss ohne die Notwendigkeit einer vollständigen Implementierung von SfM (Structure from Motion), bei dem dreidimensionale Strukturen aus zweidimensionalen Bildsequenzen bestimmt werden können, bestimmt werden. Dazu kann die Fahrbahnoberfläche 108 spaltenweise inkrementell berechnet werden. Für jede Spalte werden beginnend in der untersten Zeile des Bildes alle Flussvektoren eingesammelt, die zu der Fahrbahnoberfläche 108 gehören. Anschließend wird mit einem statistischen Schätzverfahren der optimale Neigungswinkel der Fahrbahn 108 bestimmt. Dieser Ansatz ist linear und für ein Steuergerät 104 optimiert. The road surface 108 can be determined from the optical flow without the need for a complete implementation of SfM (Structure from Motion), in which three-dimensional structures can be determined from two-dimensional image sequences. This can be the road surface 108 be calculated incrementally in columns. For each column, starting from the bottom line of the image, all flow vectors are collected which are related to the road surface 108 belong. Subsequently, with a statistical estimation method, the optimum inclination angle of the roadway 108 certainly. This approach is linear and for a controller 104 optimized.

2 zeigt ein Blockschaltbild eines Steuergeräts 104 zum Erkennen einer Veränderung des relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Steuergerät 104 kann in dem Fahrzeug aus 1 verwendet werden. Das Steuergerät 104 weist eine Einrichtung 200 zum Einlesen, eine Einrichtung 202 zum Ermitteln, eine Einrichtung 204 zum Bestimmen und eine Einrichtung 206 zum Vergleichen auf. Das Stereo-Video-System weist wie in 1 eine erste Kamera und eine zweite Kamera auf, die auf einen gemeinsamen Erfassungsbereich ausgerichtet sind und um eine Stereobasis zueinander versetzt angeordnet sind. Die Einrichtung 200 zum Einlesen ist dazu ausgebildet, ein Bildpaar von den Kameras und ein weiteres Bild von der ersten Kamera einzulesen. Das Bildpaar umfasst ein, zu einem ersten Zeitpunkt erfasstes erstes Bild der ersten Kamera und ein, zu dem ersten Zeitpunkt erfasstes zweites Bild der zweiten Kamera. Das weitere Bild ist zu einem, zu dem ersten Zeitpunkt zeitlich versetzten, weiteren Zeitpunkt erfasst. Die Einrichtung 202 zum Ermitteln ist dazu ausgebildet, eine stationäre Fläche in dem Erfassungsbereich unter Verwendung des Bildpaars, der Stereobasis und einer Stereoskopie-Verarbeitungsvorschrift zu ermitteln, um einen Neigungswinkel zu der stationären Fläche im Stereo-Video-System zu erhalten. Die Einrichtung 204 zum Bestimmen ist dazu ausgebildet, die stationäre Fläche unter Verwendung des ersten Bilds des Bildpaars, des weiteren Bilds und einer Fluss-Verarbeitungsvorschrift zu bestimmen, um einen Vergleichswinkel zu erhalten. Dabei wird ein optischer Fluss zwischen dem ersten Bild und dem weiteren Bild erfasst, wenn sich das Stereo-Video-System zwischen dem ersten Zeitpunkt und dem weiteren Zeitpunkt um eine Wegstrecke bewegt hat. Die Einrichtung 206 zum Vergleichen ist dazu ausgebildet, den Neigungswinkel mit dem Vergleichswinkel unter Verwendung einer Vergleichsvorschrift zu vergleichen, um eine Veränderung des relativen Gierwinkels zu erkennen. 2 shows a block diagram of a controller 104 for detecting a change in relative yaw angle on a stereo video system for a vehicle according to an embodiment of the present invention. The control unit 104 can look in the vehicle 1 be used. The control unit 104 has a facility 200 for reading, a device 202 for determining a facility 204 for determining and a device 206 for comparison. The stereo video system points as in 1 a first camera and a second camera, which are aligned on a common detection area and arranged offset from one another by a stereo base. The device 200 for reading is designed to read in a pair of images from the cameras and another image from the first camera. The image pair comprises a first image of the first camera acquired at a first time and a second image of the second camera acquired at the first time. The further picture is recorded at a later time offset at the first time. The device 202 for determining is adapted to determine a stationary area in the detection area using the image pair, the stereo base and a stereoscopic processing rule to obtain a tilt angle to the stationary area in the stereo video system. The device 204 for determining is configured to determine the stationary area using the first image of the image pair, the further image and a flow processing rule to obtain a comparison angle. In this case, an optical flow between the first image and the further image is detected when the stereo video system has moved by a distance between the first time and the further time. The device 206 For comparison, it is designed to compare the inclination angle with the comparison angle using a comparison rule in order to detect a change in the relative yaw angle.

In einem Ausführungsbeispiel weist das Steuergerät 104 die Einrichtung 200 zum Einlesen und die Einrichtung 206 zum Vergleichen auf. Die Einrichtung 200 zum Einlesen ist dazu ausgebildet, den Neigungswinkel der stationären Fläche aus dem Stereo-Video-System und den Vergleichswinkel einzulesen. Die Einrichtung 206 zum Vergleichen ist dazu ausgebildet, den Neigungswinkel mit dem Vergleichswinkel unter Verwendung einer Vergleichsvorschrift zu vergleichen, um die Veränderung des relativen Gierwinkels zu erkennen. In one embodiment, the controller 104 the device 200 for reading and the device 206 for comparison. The device 200 For reading in is designed to read in the angle of inclination of the stationary surface of the stereo video system and the comparison angle. The device 206 for comparison is adapted to compare the inclination angle with the comparison angle using a comparison rule to detect the change in the relative yaw angle.

3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Erkennen einer Veränderung des relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann auf einem Steuergerät, wie in den 1 und 2 ausgeführt werden. Das Verfahren 300 weist einen Schritt 302 des Einlesens, einen Schritt 304 des Ermittelns, einen Schritt 306 des Bestimmens und einen Schritt 308 des Vergleichens auf. Das Stereo-Video-System weist eine erste Kamera und eine zweite Kamera auf, die auf einen gemeinsamen Erfassungsbereich ausgerichtet sind und um eine Stereobasis zueinander versetzt angeordnet sind. Im Schritt 302 des Einlesens werden ein Bildpaar von den Kameras und ein weiteres Bild von der ersten Kamera eingelesen. Das Bildpaar umfasst ein, zu einem ersten Zeitpunkt erfasstes erstes Bild der ersten Kamera und ein, zu dem ersten Zeitpunkt erfasstes zweites Bild der zweiten Kamera. Das weitere Bild ist zu einem, zu dem ersten Zeitpunkt zeitlich versetzten, weiteren Zeitpunkt erfasst. Im Schritt 304 des Ermittelns wird eine stationäre Fläche in dem Erfassungsbereich unter Verwendung des Bildpaars, der Stereobasis und einer Stereoskopie-Verarbeitungsvorschrift ermittelt, um einen Neigungswinkel des Stereo-Video-Systems zu dieser stationären Fläche zu erhalten. Im Schritt 306 des Bestimmens wird die stationäre Fläche unter Verwendung des ersten Bilds des Bildpaars, des weiteren Bilds und einer Fluss-Verarbeitungsvorschrift bestimmt, um einen Vergleichswinkel zu erhalten. Dabei wird ein optischer Fluss zwischen dem ersten Bild und dem weiteren Bild erfasst, wenn sich das Stereo-Video-System zwischen dem ersten Zeitpunkt und dem weiteren Zeitpunkt um eine Wegstrecke bewegt hat. Im Schritt 308 des Vergleichens wird der Neigungswinkel mit dem Vergleichswinkel unter Verwendung einer Vergleichsvorschrift verglichen, um die Veränderung des relativen Gierwinkels zu erkennen. 3 shows a flowchart of a method 300 for detecting a change in relative yaw angle on a stereo video system for a vehicle according to an embodiment of the present invention. The method can be used on a control unit, as in the 1 and 2 be executed. The procedure 300 has a step 302 of reading in, one step 304 determining, a step 306 determining and a step 308 of comparing. The stereo video system has a first camera and a second camera, which are aligned on a common detection area and are arranged offset from one another by a stereo base. In step 302 Reading in a pair of pictures from the cameras and another picture from the first camera are read. The image pair comprises a first image of the first camera acquired at a first time and a second image of the second camera acquired at the first time. The further picture is recorded at a later time offset at the first time. In step 304 in determining, a stationary area is detected in the detection area using the image pair, the stereo base, and a stereoscopic processing rule to obtain a tilt angle of the stereo video system to this stationary area. In step 306 determining, the stationary area is determined using the first image of the image pair, the further image, and a flow processing rule to obtain a comparison angle. In this case, an optical flow between the first image and the further image is detected when the stereo video system has moved by a distance between the first time and the further time. In step 308 comparing, the inclination angle is compared with the comparison angle using a comparison rule to detect the change of the relative yaw angle.

In einem Ausführungsbeispiel wird im Schritt 302 des Einlesens zumindest ein weiteres Bildpaar eingelesen. Das weitere Bildpaar ist zeitlich versetzt zu dem Bildpaar erfasst. Im Schritt 304 des Ermittelns wird ein weiterer Neigungswinkel unter Verwendung des weiteren Bildpaars ermittelt. Das Verfahren weist ferner einen Schritt der Bewegungs-Erkennung auf, in dem der Neigungswinkel mit dem weiteren Neigungswinkel verglichen wird, um eine Nickbewegung des Stereo-Video-Systems zu erkennen. Durch eine Bewegung des Stereo-Video-Systems verändert sich ein Blickwinkel der Kameras auf den Erfassungsbereich. In one embodiment, in step 302 read in at least one more image pair read. The further image pair is recorded offset in time to the image pair. In step 304 of the determination, a further tilt angle is determined using the further pair of images. The method further includes a motion detection step of comparing the tilt angle to the other tilt angle to detect a pitching motion of the stereo video system. A movement of the stereo video system changes the viewing angle of the cameras to the detection area.

In einem Ausführungsbeispiel wird im Schritt 302 des Einlesens das weitere Bild als ein Bestandteil des weiteren Bildpaars eingelesen. Das Ermitteln des Neigungswinkels erfolgt zyklisch. Dabei werden für die Stereoskopie die zusammengehörigen Bilder der Bildpaare verwendet. Für den optischen Fluss werden aufeinander abfolgende Bilder einer der Kameras verwendet. In one embodiment, in step 302 read in the further image as part of the further image pair. The determination of the angle of inclination is cyclic. In this case, the associated images of the image pairs are used for stereoscopy. For the optical flow successive images of one of the cameras are used.

In einem Ausführungsbeispiel wird der Schritt 308 des Vergleichens ausgeführt, wenn die Nickbewegung kleiner als ein Schwellenwert ist. Beispielsweise wird verglichen, wenn die Bewegung zwischen zwei aufeinanderfolgenden Bildpaaren kleiner als 5°, insbesondere kleiner als 2°, insbesondere kleiner als 0,5° ist. In one embodiment, the step 308 of comparing when the pitching motion is less than a threshold. For example, it is compared if the movement between two successive image pairs is less than 5 °, in particular less than 2 °, in particular less than 0.5 °.

In einem Ausführungsbeispiel wird im Schritt 306 des Bestimmens der Vergleichswinkel unter Verwendung der Nickbewegung bestimmt. Dazu wird der Winkel der Nickbewegung zwischen zwei Bildern bei der Berechnung des optischen Flusses zwischen den zwei Bildern berücksichtigt. Beim optischen Fluss wirkt sich die Nickbewegung auf alle Vektoren des optischen Flusses gleichmäßig aus. Ebenso wirken sich Gierbewegungen auf alle Vektoren gleich aus. In one embodiment, in step 306 determining the comparative angle using the pitching motion. For this purpose, the angle of the pitch movement between two images is added the calculation of the optical flow between the two images. In the case of optical flow, the pitching motion acts equally on all vectors of the optical flow. Likewise, yaw movements affect all vectors equally.

In einem Ausführungsbeispiel weist das Verfahren einen Schritt des Rekalibrierens des Stereo-Video-Systems auf. Dabei werden einzelne Gierwinkel der Kameras unter Verwendung der Veränderung des relativen Gierwinkels rekalibriert, wenn die Veränderung des relativen Gierwinkels größer als ein Toleranzwert ist. Das Rekalibrieren erfolgt mechanisch, elektronisch und algorithmisch, vorzugsweise algorithmisch. Dabei wird eine Referenz in zumindest einem der Bilder für die Stereoskopie verschoben. Zumindest eine der Kameras kann auch entgegen der Veränderung des relativen Gierwinkels gedreht werden. In one embodiment, the method includes a step of recalibrating the stereo video system. In doing so, individual yaw angles of the cameras are recalibrated using the change in the relative yaw angle when the change in relative yaw angle is greater than a tolerance value. The recalibration takes place mechanically, electronically and algorithmically, preferably algorithmically. In this case, a reference is moved in at least one of the images for stereoscopy. At least one of the cameras can also be rotated against the change in relative yaw angle.

In einem Ausführungsbeispiel erfolgt das Rekalibrieren schrittweise. Die einzelnen Gierwinkel werden jeweils maximal um einen vorgegebenen Winkel korrigiert, um das Stereo-Video-System zu rekalibrieren. Wenn die Veränderung des relativen Gierwinkels größer als der Toleranzwert ist, wird die Referenz in zumindest einem Bild um einen vordefinierten Schritt verschoben. Beispielsweise kann die Referenz um eine vorbestimmte Anzahl Bildpunkte verschoben werden. Durch kleine Schritte kann sich ein Korrekturwinkel asymptotisch an einen Optimalwert anpassen. In one embodiment, the recalibration is done stepwise. The individual yaw angles are each corrected a maximum of a predetermined angle to recalibrate the stereo video system. If the change in the relative yaw angle is greater than the tolerance value, the reference is shifted in at least one image by a predefined step. For example, the reference can be shifted by a predetermined number of pixels. Through small steps, a correction angle can adapt asymptotically to an optimum value.

In einem Ausführungsbeispiel werden im Schritt 306 des Bestimmens Flussvektoren zwischen dem ersten Bild und dem weiteren Bild spaltenweise oder zeilenweise bestimmt, um die stationäre Fläche zu finden und den Vergleichswinkel zu bestimmen. Durch die zeilenweise oder spaltenweise Auswertung der Flussvektoren kann einfach eine Begrenzung der stationären Fläche gefunden werden. Die gefundene Begrenzung kann als Orientierung für die nächste Zeile oder Spalte dienen. Dadurch kann die stationäre Fläche schnell gefunden werden. In one embodiment, in step 306 determining flux vectors between the first image and the further image, column by column or line by line, to find the stationary area and to determine the comparison angle. By line-by-line or column-by-column evaluation of the flow vectors, it is easy to find a boundary of the stationary surface. The found boundary can serve as orientation for the next row or column. As a result, the stationary area can be found quickly.

Mit anderen Worten zeigt 3 ein Ablaufdiagramm eines Verfahrens 300 zur Bestimmung des Gierwinkels für ein dekalibriertes Stereo-Video-Kamerasystem auf Basis einer Stereo-Oberflächenbestimmung und einer Mono-Oberflächenbestimmung. In other words shows 3 a flowchart of a method 300 for determining the yaw angle for a decalibrated stereo video camera system based on a stereo surface determination and a mono-surface determination.

Eine Fahrbahnebene kann mittels eines Stereo-Video-Kamerasystems bestimmt werden. Ebenso kann auf Basis einer sich bewegenden Kamera mithilfe des optischen Flusses eine 3D-Rekonstruktion einer Szene einschließlich Fahrbahnebene durchgeführt werden (Structure from Motion; SfM). Durch eine Kombination dieser Vorgehensweisen kann eine Dekalibrierung des Stereo-Video-Kamerasystems erkannt werden und kontinuierlich durch eine Selbstkalibrierung rekalibriert werden. Bisherige Ansätze zur kontinuierlichen Selbstkalibrierung sind entweder sehr rechenintensiv oder können Ungenauigkeiten bei der Bestimmung des Gierwinkels aufweisen. A roadway level can be determined by means of a stereo video camera system. Likewise, based on a moving camera, the optical flow can be used to perform a 3D reconstruction of a scene including the road surface (structure from motion; SfM). By combining these approaches, a decalibration of the stereo video camera system can be detected and continuously recalibrated through self-calibration. Previous approaches to continuous self-calibration are either very compute-intensive or may have inaccuracies in determining the yaw rate.

Der hier vorgestellte Ansatz beschreibt eine Kalibration eines Videosystems aus der kombinierten Auswertung von Mono- und Stereo-Merkmalen. The approach presented here describes a calibration of a video system from the combined evaluation of mono and stereo features.

SfM kann für die Bestimmung verwendet werden (z.B. wenn es für andere Funktionen sowieso berechnet wird), es ist jedoch deutlich effizienter einen (vorher bereits erwähnten) Spaltenansatz zu verwenden, ohne eine komplette Rekonstruktion auf Basis des optischen Flusses zu machen. Rein visuell basierte SfM-Ansätze können nicht die Skala der rekonstruierten Umgebung schätzen. Da im vorliegenden Fall aber nur der Winkel benötigt wird, ist dies kein Problem für den Algorithmus. SfM can be used for the determination (e.g., if it is calculated for other functions anyway), but it is much more efficient to use a (previously mentioned) column approach without making a complete reconstruction based on the optical flow. Purely visually based SfM approaches can not estimate the scale of the reconstructed environment. Since in the present case only the angle is needed, this is not a problem for the algorithm.

Es wird der Gierwinkel zwischen linker und rechter Kamera eines zu überprüfenden, eventuell dekalibrierten Kamerasystems ermittelt. Die Bestimmung des Gierwinkels erfolgt dabei über den Vergleich zwischen der ermittelten Fahrbahnoberfläche aus den Stereo-Bildpaaren und der ermittelten Fahrbahnoberfläche aus dem optischen Fluss. The yaw angle between left and right camera of a camera system to be checked, possibly decalibrated, is determined. The determination of the yaw angle takes place via the comparison between the determined road surface from the stereo image pairs and the determined road surface from the optical flow.

Dadurch ergibt sich eine genauere Bestimmung des Gierwinkels als bei bisherigen Ansätzen. Mit dem ermittelten Gierwinkel ist nach einer Rekalibrierung eine genauere Entfernungsmessung im Disparitätsbild möglich. This results in a more accurate determination of the yaw angle as in previous approaches. With the yaw angle determined, a more accurate distance measurement in the disparity image is possible after a recalibration.

Der hier vorgestellte Ansatz kann in Echtzeit auf aktueller Steuergeräte-Hardware implementiert werden. The approach presented here can be implemented in real time on current ECU hardware.

4 zeigt ein Flussdiagramm 400 eines Ablaufs eines Verfahrens zum Erkennen einer Veränderung des relativen Gierwinkels an einem Stereo-Video-System für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Ablauf 400 beginnt gemäß diesem Ausführungsbeispiel mit einer Rektifizierung 402 von Bildern des Stereo-Video-Systems. Die Rektifizierung ist keine Voraussetzung für den Mono-Pfad, nur eine Vereinfachung. Im Allgemeinen kann der Neigungswinkel der Oberfläche auch auf nicht-rektifizierten Bildern berechnet werden. Für den Stereo-Pfad muss zwar eine Rektifizierung erfolgen, diese kann aber auch nach der Disparitäts- und Abstandsschätzung durchgeführt werden. Die Rektifizierung 402 stellt rektifizierte Bilder bereit. Anschließend werden zwei parallele Zweige für den Ablauf 400 durchlaufen. Im ersten Zweig wird ein rektifiziertes Stereo-Bildpaar 404 des Stereo-Video-Systems für eine Disparitätsschätzung 406 eingelesen. In der Disparitätsschätzung 406 wird eine Disparitätskarte 408 des Stereo-Bildpaars 404 erstellt. Die Disparitätskarte 408 wird in einer ersten Fahrbahnoberflächenschätzung 410 zum Ermitteln einer ersten Lage 412 einer Ebene der Fahrbahn in dem Stereo-Bildpaar 404 verwendet. Im zweiten Zweig werden zumindest zwei zeitlich versetzt aufgenommene Mono-Bilder 414 zum Bestimmen eines optischen Flusses 416 eingelesen. Als optischer Fluss werden zweidimensionale Flussvektoren 418 zwischen den Mono-Bildern 414 bereitgestellt. Die Flussvektoren 418 werden von einer zweiten Fahrbahnoberflächenschätzung 420 zum Ermitteln einer zweiten Lage 422 der Ebene der Fahrbahn in den Mono-Bildern 414 verwendet. Die zwei Zweige des Ablaufs 400 werden wieder vereinigt, indem die erste Lage 412 und die zweite Lage 422 miteinander verglichen werden. Wenn eine Abweichung der beiden Lagen 412, 422 erkannt wird, erfolgt eine Selbstkalibrierung 424 des Stereo-Video-Systems. Da der Ablauf 400 fortlaufend durchlaufen wird, ist die Selbstkalibrierung 424 kontinuierlich. 4 shows a flowchart 400 a flow of a method for detecting a change in the relative yaw angle on a stereo video system for a vehicle according to an embodiment of the present invention. The sequence 400 starts with a rectification according to this embodiment 402 of pictures of the stereo video system. The rectification is not a requirement for the mono-path, just a simplification. In general, the inclination angle of the surface can also be calculated on non-rectified images. Although rectification is required for the stereo path, it can also be done after the disparity and distance estimation. The rectification 402 provides rectified images. Subsequently, two parallel branches for the expiration 400 run through. The first branch becomes a rectified stereo image pair 404 of the stereo video system for a disparity estimation 406 read. In the disparity estimate 406 becomes a disparity card 408 of the stereo image pair 404 created. The disparity card 408 will be in one first road surface estimate 410 to determine a first location 412 a level of the roadway in the stereo image pair 404 used. In the second branch are at least two temporally staggered recorded mono images 414 for determining an optical flow 416 read. The optical flow becomes two-dimensional flow vectors 418 between the mono images 414 provided. The river vectors 418 be from a second road surface estimate 420 to determine a second location 422 the level of the carriageway in the mono images 414 used. The two branches of the process 400 be reunited by the first location 412 and the second location 422 compared with each other. If a deviation of the two layers 412 . 422 is detected, there is a self-calibration 424 of the stereo video system. As the expiration 400 continuous is the self-calibration 424 continuously.

Die Ermittlung des Gierwinkels zwischen linker und rechter Kamera ist notwendiger Bestandteil der kontinuierlichen Selbstkalibrierung des Stereo-Video-Kamerasystems. The determination of the yaw angle between the left and right camera is a necessary part of the continuous self-calibration of the stereo video camera system.

Auf Basis eines naiven Ansatzes, wie beispielsweise einer Epipolar-Bedingung, wird die Kalibration überwacht. Erst bei erkannter Dekalibration des Systems wird eine Selbstkalibration von Roll- und Nickwinkel vorgenommen. Based on a naive approach, such as an epipolar condition, the calibration is monitored. Only when decalibration of the system is detected is a self-calibration of roll and pitch angle made.

Der verbleibende Gierwinkel-Fehler wird in mehreren Schritten ermittelt. Der Gierwinkel-Fehler sollte zwar nach der Kompensation von Nick- und Rollwinkel kompensiert werden, dies ist aber nicht notwendig, da der Gierwinkel separat kompensiert wird. Zuerst wird die Fahrbahnoberfläche 412 auf Basis des Stereo-Video-Kamerasystems berechnet. Aus der Fahrbahnoberflächenberechnung 410 lässt sich der Neigungswinkel der Ebene zum Kamerasystem bestimmen. Dieser Vorgang wird für das folgende Stereo-Bildpaar 404 wiederholt. Abweichungen im Neigungswinkel deuten beispielsweise auf ein Einnicken des Fahrzeugs hin. Entsprechende Korrekturen werden in folgenden Schritten berücksichtigt. The remaining yaw angle error is determined in several steps. Although the yaw angle error should be compensated after the pitch and roll angle compensation, this is not necessary as the yaw angle is compensated separately. First, the road surface 412 calculated on the basis of the stereo video camera system. From the road surface calculation 410 the angle of inclination of the plane to the camera system can be determined. This process is for the following stereo image pair 404 repeated. Deviations in the angle of inclination indicate, for example, a nodding of the vehicle. Corresponding corrections are taken into account in the following steps.

Für eines der beiden Bilder wird der optische Fluss 416 im Bild zwischen den beiden Zeitpunkten berechnet. Wenn sich das Kamerasystem durch Fahren des Fahrzeugs zwischen den beiden Zeitpunkten bewegt hat, kann aus den Daten die Fahrbahnoberfläche 422 ermittelt werden. Aus der berechneten Fahrbahnoberfläche 422 wird dann der Neigungswinkel der Fahrbahnoberfläche 422 zum Kamerasystem bestimmt. Die Berechnung 420 der Fahrbahnoberfläche auf Basis des optischen Flusses 416 kann entweder über eine 3D-Rekonstruktion erfolgen (SfM) oder die Fahrbahnoberfläche 422 wird in der Art einer statistischen Regression direkt aus der Divergenz des Flussfeldes 418 bestimmt. One of the two images becomes the optical flow 416 calculated in the picture between the two times. If the camera system has moved between the two times by driving the vehicle, the road surface may become out of the data 422 be determined. From the calculated road surface 422 then becomes the inclination angle of the road surface 422 intended for the camera system. The calculation 420 the road surface based on the optical flow 416 can be done either via a 3D reconstruction (SfM) or the road surface 422 is in the way of a statistical regression directly from the divergence of the flow field 418 certainly.

Wenn ein Einnicken des Fahrzeugs festgestellt wurde, kann der gemessene Unterschied zwischen den verschiedenen Neigungswinkeln aus Stereo in der weiteren Berechnung berücksichtigt werden. If a vehicle pitching has been detected, the measured difference between the different angles of inclination of stereo can be taken into account in the further calculation.

Ebenso kann die Bestimmung des Kamera-Gierwinkels in diesem Fall unterbleiben. Likewise, the determination of the camera yaw angle can be omitted in this case.

Für den Fall, dass kein Einnicken des Fahrzeugs vorliegt, kann eine notwendige Korrektur des Gierwinkels zwischen den Kameras einfach bestimmt werden. In the event that there is no vehicle buckling, a necessary correction of the yaw angle between the cameras can be easily determined.

Wenn sich die Neigungswinkel der Fahrbahnoberflächenbestimmungen 410, 420 aus Stereo und SfM unterscheiden, liegt eine Dekalibrierung des Stereo-Video-Kamerasystems vor. Der Gierwinkel des Stereo-Kamera-Systems hat einen direkten Einfluss auf die Bestimmung 410 der Fahrbahnoberfläche 412 des Stereo-Kamera-Systems und kann darüber ermittelt werden. If the angles of inclination of the road surface determinations 410 . 420 Distinguish from stereo and SfM, there is a decalibration of the stereo video camera system. The yaw angle of the stereo camera system has a direct influence on the determination 410 the road surface 412 of the stereo camera system and can be determined about it.

Die Stabilität des Systems kann über eine geeignete Update-Strategie erhöht werden. Beispielsweise kann ein maximaler Kompensationswinkel bestimmt werden. Damit nähert sich der Gierwinkel schrittweise nach mehreren Durchläufen des Verfahrens seinem Optimum. The stability of the system can be increased via a suitable update strategy. For example, a maximum compensation angle can be determined. Thus, the yaw angle gradually approaches its optimum after several passes of the process.

Eine mechanische Dekalibrierung des Stereo-Video-Kamerasystems kann durch Verdrehen oder einer Verschiebung einer Kamera erfolgen. Das System kalibriert neu, wenn das Fahrzeug in Bewegung ist, da die Kalibrierung vom optischen Fluss abhängig ist. A mechanical decalibration of the stereo video camera system can be done by twisting or moving a camera. The system recalibrates when the vehicle is in motion, as the calibration is dependent on the optical flow.

Die Bestimmung des Gierwinkelfehlers kann als Bestandteil der kontinuierlichen Selbstkalibrierung von Stereo-Video-Kamerasystemen verwendet werden. The yaw rate error determination can be used as part of the continuous self-calibration of stereo video camera systems.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment.

Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.

Umfasst ein Ausführungsbeispiel eine „und/oder“ -Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist. If an exemplary embodiment includes a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to an embodiment, both the first feature and the second feature and according to another Embodiment has either only the first feature or only the second feature.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102004062275 A1 [0003]

Claims

Procedure ( 300 ) for detecting a change in a relative yaw angle ( 106 ) on a stereo video system ( 102 ) for a vehicle ( 100 ), where the stereo video system ( 102 ) a first camera ( 110 ) and a second camera ( 112 ) based on a common coverage area ( 114 ) and a stereo base ( 116 ) are arranged offset to one another, wherein the method ( 300 ) has the following steps: reading in ( 302 ) of a pair of images ( 404 ) from the cameras ( 110 . 112 ) and another image from the first camera ( 110 ), whereby the image pair ( 404 ), captured at a first time, the first image of the first camera ( 110 ) and a, captured at the first time, second image of the second camera ( 112 ) and the further image is recorded at a further time offset in time from the first time; Determine ( 304 ) of a stationary surface ( 108 . 122 ) in the coverage area ( 114 ) using the image pair ( 404 ), the stereo base ( 116 ) and a stereoscopic processing rule to a tilt angle ( 124 ) of the stereo video system ( 102 ) to obtain; Determine ( 306 ) of the stationary surface ( 108 ) using the first image of the image pair ( 404 ), the further image, and a correspondence transformation processing rule to obtain a comparison angle, wherein a correspondence transformation between the first image and the further image is detected when the stereo video system (FIG. 102 ) between the first time and the further time by a distance ( 126 ) has moved; and comparing ( 308 ) of the angle of inclination ( 124 ) using the comparison angle using a comparison rule to determine the change in the relative yaw angle ( 106 ) to recognize.

Procedure ( 300 ) according to claim 1, wherein in step ( 302 ) of reading at least one further image pair ( 404 ), whereby the further image pair ( 404 ) offset in time to the image pair ( 404 ), wherein in step ( 304 ) of determining a further angle of inclination ( 124 ) using the further image pair ( 404 ) and the method ( 300 ) has a movement detection step in which the angle of inclination ( 124 ) with the further inclination angle ( 124 ) is compared to a pitching motion of the stereo video system ( 102 ) to recognize.

Procedure ( 300 ) according to claim 2, wherein in step ( 302 ) of reading in the further image as a component of the further image pair ( 404 ) is read.

Procedure ( 300 ) according to one of claims 2 or 3, in which the step ( 308 ) of comparing when the pitching motion is less than a threshold.

Procedure ( 300 ) according to one of claims 2 to 4, wherein in step ( 306 ) of determining the comparison angles using the pitching motion.

Procedure ( 300 ) according to one of the preceding claims, comprising a step of recalibrating the stereo video system ( 102 ), whereby a correction of the relative yaw angle of the cameras ( 110 . 112 ) using the change in the relative yaw angle ( 106 ) occurs when the change in relative yaw angle ( 106 ) is greater than a tolerance value.

Procedure ( 300 ) according to claim 6, wherein the recalibration is carried out stepwise, wherein the individual yaw angles are each corrected at most by a predetermined angle to the stereo video system ( 102 ) to recalibrate.

Procedure ( 300 ) according to one of the preceding claims, wherein in step ( 306 ) of determining flow vectors between the first image and the further image, column by column or line by line, to determine the stationary surface ( 108 ) and to determine the comparison angle.

Control unit ( 104 ) for detecting a change in a relative yaw angle ( 106 ) on a stereo video system ( 102 ) for a vehicle ( 100 ), where the stereo video system ( 102 ) a first camera ( 110 ) and a second camera ( 112 ) based on a common coverage area ( 114 ) and a stereo base ( 116 ) are arranged offset to one another, wherein the control unit ( 104 ) has the following features: a device ( 200 ) for reading a pair of images ( 400 ) from the cameras ( 110 . 112 ) and another image from the first camera ( 110 ), whereby the image pair ( 404 ), captured at a first time, the first image of the first camera ( 110 ) and a, captured at the first time, second image of the second camera ( 112 ) and the further image is recorded at a further time offset in time from the first time; An institution ( 202 ) for determining a stationary surface ( 108 . 122 ) in the coverage area ( 114 ) using the image pair ( 404 ), the stereo base ( 116 ) and a stereoscopic processing rule to a tilt angle ( 124 ) of the stereo video system ( 102 ) to obtain; An institution ( 204 ) for determining the stationary area ( 108 ) using the first image of the image pair ( 404 ), the other image and a correspondence transformation Processing rule to obtain a comparison angle, wherein a correspondence transformation between the first image and the further image is detected when the stereo video system ( 102 ) between the first time and the further time by a distance ( 126 ) has moved; and a facility ( 206 ) for comparing the inclination angle ( 124 ) using the comparison angle using a comparison rule to determine the change in the relative yaw angle ( 106 ) to recognize.

Computer program product with program code for carrying out the method according to one of claims 1 to 8, when the program product is executed on a device.