DE102010049216A1

DE102010049216A1 - Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation

Info

Publication number: DE102010049216A1
Application number: DE102010049216A
Authority: DE
Inventors: Aleksandar 72393 Bakic; Andreas Dr.-Ing. 76829 Schwarzhaupt; Urs Dr. Dipl.-Ing. 67061 Wiesel; Jan Dr.-Ing. 71686 Wirnitzer
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2010-10-21
Filing date: 2010-10-21
Publication date: 2011-07-28

Abstract

The method involves receiving an image of surrounding of a car (1) by a camera (2). An object (O) in the surrounding of the car is detected by image evaluation of the captured image and by a sensing unit (3) e.g. radar sensor, lidar sensor and ultrasonic sensor, that is arranged at the car. Specific distance (xr) of the object is detected through the image evaluation of the captured image. The camera is calibrated when distance determined by the sensing unit deviates from the distance determined by image evaluation. The distance determination is carried out by the sensing unit.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera nach den Merkmalen des Oberbegriffs des Anspruchs 1.The invention relates to a method for operating a vehicle arranged on a camera according to the features of the preamble of claim 1.

Aus dem Stand der Technik ist, wie in der US 7,756,298 B2 beschrieben, eine Bildverarbeitungsvorrichtung für ein Fahrzeug bekannt. Diese umfasst ein Radar zum Erfassen eines Objektes in einem ersten Gebiet außerhalb des Fahrzeugs, eine Kamera zum Aufnehmen eines Bildes in einem zweiten Gebiet, welches das erste Gebiet enthält, und eine Bildverarbeitungseinheit zum Verarbeiten des aufgenommenen Bildes, um das vom Radar erfasste Objekt in dem aufgenommenen Bild zu erfassen. Eine Sicht außerhalb des Fahrzeugs wird basierend auf der Erfassung des Objektes mittels der Radarvorrichtung und mittels der Kamera ermittelt.From the prior art, as in the US 7,756,298 B2 described, an image processing apparatus for a vehicle known. This includes a radar for detecting an object in a first area outside the vehicle, a camera for taking an image in a second area containing the first area, and an image processing unit for processing the captured image to detect the radar-detected object in the first area captured image. A view outside the vehicle is determined based on the detection of the object by means of the radar device and by means of the camera.

In der DE 10 2004 001 572 A1 wird ein Laufzeit-Kalibrierungsverfahren für ein bildgebendes System mit wenigstens zwei Kameras in einem Fahrzeug beschrieben. Dabei werden aktuelle Kameraparameter fortlaufend ermittelt. Zur fortlaufenden Ermittlung der aktuellen Kameraparameter werden ein optischer Fluss und eine Stereotiefenvermessung der jeweiligen von den wenigstens zwei Kameras detektierten Bilder gemeinsam ausgewertet. Zur Stereotiefenvermessung werden als zusätzliche Hilfsparameter eine Geschwindigkeit, ein aktueller Lenkwinkel, ein Gier-, ein Wankund/oder ein Nickwinkel des Fahrzeugs verwendet.In the DE 10 2004 001 572 A1 A runtime calibration method for an imaging system having at least two cameras in a vehicle is described. Current camera parameters are determined continuously. For the continuous determination of the current camera parameters, an optical flow and a stereo depth measurement of the respective images detected by the at least two cameras are jointly evaluated. For stereo depth measurement, a speed, a current steering angle, a yaw, a roll and / or a pitch angle of the vehicle are used as additional auxiliary parameters.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera anzugeben.The invention has for its object to provide an improved method for operating a camera arranged on a vehicle.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera mit den Merkmalen des Anspruchs 1 gelöst.The object is achieved by a method for operating a vehicle arranged on a camera with the features of claim 1.

Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.Preferred embodiments and further developments of the invention are specified in the dependent claims.

In einem Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera wird mittels der Kamera ein Bild einer Umgebung des Fahrzeugs aufgenommen und mittels einer Bildauswertung des aufgenommenen Bildes ein Objekt in der Umgebung des Fahrzeugs detektiert. Des Weiteren wird mittels zumindest einer am Fahrzeug angeordneten Sensoreinheit das Objekt in der Umgebung des Fahrzeugs detektiert und eine Entfernung zu dem Objekt ermittelt.In a method for operating a camera arranged on a vehicle, an image of an environment of the vehicle is recorded by means of the camera and an object in the surroundings of the vehicle is detected by means of an image evaluation of the recorded image. Furthermore, the object in the surroundings of the vehicle is detected by means of at least one sensor unit arranged on the vehicle, and a distance to the object is determined.

Erfindungsgemäß wird mittels der Bildauswertung des aufgenommenen Bildes eine Entfernung zu dem Objekt ermittelt und die Kamera kalibriert, wenn die mittels der Sensoreinheit ermittelte Entfernung von der mittels der Bildauswertung ermittelten Entfernung abweicht.According to the invention, a distance to the object is determined by means of the image evaluation of the recorded image and the camera is calibrated when the distance determined by means of the sensor unit deviates from the distance determined by means of the image evaluation.

Daraus ergibt sich in vorteilhafter Weise eine sehr genaue Kalibrierung der Kamera, so dass insbesondere ein verbesserter und zuverlässiger Betrieb von Fahrerassistenzvorrichtungen, welche von der Kamera erfasste Bilder verwenden, möglich ist. Die Kalibrierung kann jederzeit durchgeführt werden, es muss lediglich in der Umgebung des Fahrzeugs sowohl von der Kamera als auch von der Sensoreinheit ein Objekt erfassbar sein und eine Entfernungsermittlung zu diesem Objekt möglich sein.This results in an advantageous manner a very accurate calibration of the camera, so that in particular an improved and reliable operation of driver assistance devices, which use images captured by the camera, is possible. The calibration can be carried out at any time, it must only be detectable in the environment of the vehicle by both the camera and the sensor unit, an object and a distance determination to this object be possible.

Zusätzliche kostenintensive Vorrichtungen zur Kalibrierung, beispielsweise zusätzliche Achslastsensoren, sind nicht erforderlich. Die Kalibrierung ist allein mittels der Sensoreinheit möglich, welche bevorzugt zumindest einen Radarsensor, alternativ oder zusätzlich aber beispielsweise auch zumindest einen Lidarsensor, zumindest einen Ultraschallsensor, zumindest eine Stereokamera und/oder zumindest einen anderen zur Entfernungsermittlung geeigneten Sensor umfasst. Derartige Sensoreinheiten sind in einer Vielzahl von Fahrzeugen bereits installiert und werden von Fahrerassistenzvorrichtungen des Fahrzeugs genutzt.Additional costly calibration devices, such as additional axle load sensors, are not required. The calibration is possible solely by means of the sensor unit, which preferably comprises at least one radar sensor, alternatively or additionally but also for example also at least one lidar sensor, at least one ultrasound sensor, at least one stereo camera and / or at least one other sensor suitable for distance determination. Such sensor units are already installed in a plurality of vehicles and are used by driver assistance devices of the vehicle.

Insbesondere kann die Kamera mittels des Verfahrens bei einer Veränderung eines Nickwinkels der Kamera, welche beispielsweise aus einer Gewichtsänderung und/oder Gewichtsverteilungsänderung des Fahrzeugs und/oder aus Bewegungen des Fahrzeugs während einer Fahrt resultiert, kalibriert werden. Besonders vorteilhaft ist, dass aufgrund der Kenntnis von aus dem Nickwinkel resultierenden Abweichungen eines realen Lagewinkels zu einem Modelllagewinkel der Kamera Entfernungen von Objekten in der Umgebung sehr genau ermittelbar sind und aus Nickbewegungen des Fahrzeugs resultierende Fehler bei der Ermittlung der Entfernung berücksichtigt bzw. eliminiert werden können.In particular, the camera can be calibrated by means of the method when there is a change in a pitch angle of the camera, which results, for example, from a weight change and / or weight distribution change of the vehicle and / or from movements of the vehicle during a journey. It is particularly advantageous that due to the knowledge of resulting from the pitch angle deviations of a real position angle to a model attitude angle of the camera distances of objects in the environment are very accurately determined and resulting from pitching movements of the vehicle resulting errors in the determination of the distance can be considered or eliminated ,

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 eine schematische Darstellung eines mittels einer Kamera aufgenommenen Bildes einer Umgebung eines Fahrzeugs und 1 a schematic representation of a captured by a camera image of an environment of a vehicle and

2 eine schematische Darstellung eines Fahrzeugs und eines Objektes in einer Umgebung des Fahrzeugs. 2 a schematic representation of a vehicle and an object in an environment of the vehicle.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen. Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt ein Bild B einer Umgebung eines in 2 dargestellten Fahrzeugs 1, wobei das Bild B mittels einer am Fahrzeug 1 angeordneten Kamera 2 aufgenommen wurde. Bei der Kamera 2 handelt es sich um eine Mono-Kamera. Alternativ ist die Kamera 2 eine Stereo-Kamera oder eine omnidirektionale Kamera. 1 shows an image B of an environment of an in 2 shown vehicle 1 , wherein the image B by means of a vehicle 1 arranged camera 2 has been recorded. At the camera 2 it is a mono camera. Alternatively, the camera 2 a stereo camera or an omnidirectional camera.

Die Kamera 2 ist Bestandteil einer Fahrerassistenzvorrichtung des Fahrzeugs 1 oder mit dieser gekoppelt, wobei mittels einer nicht gezeigten Bildverarbeitungseinheit eine erste Entfernung xk eines in dem Bild B vorhandenen Objekts O zu dem Fahrzeug 1, d. h. zu der Kamera 2, ermittelt wird. Neben der Ermittlung oder Schätzung der ersten Entfernung xk der in der Umgebung befindlichen Objekte O zu dem Fahrzeug 1 sind aus dem Bild B weitere Informationen, beispielsweise auch eine Klassifikation des Objekts O mittels einer Mustererkennung, möglich. Bei dem Objekt O kann es sich um ein weiteres Fahrzeug, Personen, Radfahrer und andere Verkehrsteilnehmer, Bauwerke, Randbebauungen, Fahrbahnmarkierungen sowie weitere Objekte handeln.The camera 2 is part of a driver assistance device of the vehicle 1 or coupled thereto, wherein by means of an image processing unit, not shown, a first distance xk of an object O present in the image B to the vehicle 1 ie to the camera 2 , is determined. In addition to the determination or estimation of the first distance xk of the surrounding objects O to the vehicle 1 From the image B further information, for example, a classification of the object O by means of a pattern recognition, possible. The object O may be another vehicle, persons, cyclists and other road users, structures, edge structures, lane markings and other objects.

Die ermittelte erste Entfernung xk zwischen dem Fahrzeug 1 und dem Objekt O wird beim Betrieb der Fahrerassistenzvorrichtung berücksichtigt. Ist die Fahrerassistenzvorrichtung beispielsweise als automatischer Abstandsregeltempomat, als Einparkhilfe, als Spurhalte- und/oder Spurführungsassistent ausgebildet, wird der Fahrer des Fahrzeugs 1 bei Unterscheitung eines vorgegebenen Mindestabstands zu dem Objekt O aktiv bei der Längs- und/oder Quersteuerung unterstützt und/oder akustisch, optisch und/oder haptisch vor dem Objekt O gewarnt. Somit wird die erste Entfernung xk bzw. der Abstand des Objekts O zu dem Fahrzeug 1 zur Durchführung sicherheitsrelevanter Funktionen verwendet.The determined first distance xk between the vehicle 1 and the object O is taken into account in the operation of the driver assistance device. If the driver assistance device is designed, for example, as automatic proximity control, as a parking aid, as a lane keeping and / or guidance assistant, the driver of the vehicle becomes 1 supported by a predetermined minimum distance to the object O active in the longitudinal and / or transverse control and / or warned acoustically, visually and / or haptically before the object O. Thus, the first distance becomes xk, or the distance of the object O to the vehicle 1 used to perform safety-related functions.

Der Betrieb der Fahrerassistenzvorrichtungen erfolgt dabei allein anhand der von der Kamera 2 aufgenommenen Bilder B oder zusätzlich anhand von mittels Sensoreinheiten 3 des Fahrzeugs 1 erfassten Daten. Hierbei werden die Bilddaten der Kamera 2 zur Plausibilisierung der von den Sensoreinheiten 3 erfassten Sensordaten verwendet oder die Sensordaten zur Plausibilisierung der Kameradaten.The operation of the driver assistance devices takes place solely on the basis of the camera 2 taken pictures B or additionally by means of sensor units 3 of the vehicle 1 collected data. Here are the image data of the camera 2 for plausibility checking of the sensor units 3 used sensor data or the sensor data for plausibility of the camera data.

Das in 2 dargestellte Fahrzeug 1 weist eine derartige Sensoreinheit 3 auf. Die Sensoreinheit 3 umfasst in diesem Ausführungsbeispiel zumindest einen Radarsensor, kann alternativ oder zusätzlich aber beispielsweise auch zumindest einen Lidarsensor, zumindest einen Ultraschallsensor, zumindest eine Stereokamera und/oder zumindest einen anderen zur Entfernungsermittlung geeigneten Sensor umfassen.This in 2 illustrated vehicle 1 has such a sensor unit 3 on. The sensor unit 3 In this exemplary embodiment, at least one radar sensor may alternatively or additionally include, for example, at least one lidar sensor, at least one ultrasound sensor, at least one stereo camera and / or at least one other sensor suitable for distance determination.

Die erste Entfernung xk des Objekts O zu dem Fahrzeug 1 wird aus einer Größe und Lage des Objekts O unter Modellannahmen, welche eine Lage und Ausrichtung der Kamera 2 im oder am Fahrzeug 1 sowie einen Streckenverlauf und eine Steigung berücksichtigen, geschätzt. Die erste Entfernung xk wird insbesondere anhand einer Anzahl von Bildpunkten BP1 bis BPn, so genannten Pixeln, zwischen dem Fahrzeug 1 und dem Objekt O in dem Bild B oder einer daraus abgeleiteten Zeilenanzahl von Bildzeilen geschätzt.The first distance xk of the object O to the vehicle 1 is made up of a size and location of the object O under model assumptions, which is a location and orientation of the camera 2 in or on the vehicle 1 as well as taking into account a route and a slope, estimated. The first distance xk is determined in particular on the basis of a number of picture elements BP1 to BPn, so-called pixels, between the vehicle 1 and the object O in the image B or a line number of image lines derived therefrom.

Die Schätzung bzw. Ermittlung der ersten Entfernung xk erfolgt in Verbindung mit der Klassifikation des Objekts O mittels der Mustererkennung, wobei mittels der Mustererkennung eine Art des Objekts O und daraus folgend dessen Größe ermittelt wird, beispielsweise durch eine Rückleuchtenauswertung des Objektes O oder eine Rückfrontenklassifikation des Objektes O.The estimation or determination of the first distance xk ensues in connection with the classification of the object O by means of the pattern recognition, whereby a type of the object O and consequently its size is determined by the pattern recognition, for example by a taillight evaluation of the object O or a back fronts classification of the object O Object O.

Um die erste Entfernung xk möglichst exakt bestimmen zu können, ist es erforderlich, während des Betriebs des Fahrzeugs 1 auftretende Nickbewegungen, wie sie insbesondere bei Kameras 2, die in oder an gefederten Fahrerkabinen schwerer Nutzfahrzeuge befestigt sind, auftreten, zu erfassen und zu berücksichtigen. Somit sind aus den Nickbewegungen resultierende Fehler in Modellannahmen einer statischen Einbaulage der Kamera 2 vermeidbar. Unter einer Nickbewegung wird dabei eine Bewegung des Fahrzeugaufbaus um eine Fahrzeugquerachse verstanden.In order to determine the first distance xk as accurately as possible, it is necessary during the operation of the vehicle 1 occurring pitching movements, as in particular in cameras 2 occurring, to be detected and taken into account in or on sprung cabs of heavy commercial vehicles. Thus, errors resulting from the pitching movements are model assumptions of a static mounting position of the camera 2 preventable. A pitch movement is understood to mean a movement of the vehicle body about a vehicle transverse axis.

Die statische Einbaulage der Kamera 2 ist durch eine Höhe der Befestigung am Fahrzeug 1, eine relative Position zum Fahrzeug 1 und eine Ausrichtung am Fahrzeug 1 gekennzeichnet. Die Nickbewegungen des Fahrzeugs 1 werden durch stark schwankende Ladungsunterschiede hervorgerufen, wobei aus den Nickbewegungen des Fahrzeugs 1 und daraus resultierenden Kamerabewegungen und/oder starken dynamischen Kamerabewegungen, welche aus der Bewegung der gefederten Fahrerkabine resultieren, Fehler in der Entfernungsermittlung über die Bildauswertung mittels der Kamera 2 aufgenommener Bilder B resultieren können, so dass es zu Fehlfunktionen der Fahrerassistenzvorrichtungen kommen kann, da die über die Bildauswertung ermittelte erste Entfernung xk nicht mit einer realen Entfernung zu dem Objekt O übereinstimmt.The static mounting position of the camera 2 is by a height of the attachment to the vehicle 1 , a relative position to the vehicle 1 and an orientation on the vehicle 1 characterized. The pitching movements of the vehicle 1 are caused by strongly fluctuating charge differences, resulting from the pitching movements of the vehicle 1 and resulting camera movements and / or strong dynamic camera movements resulting from the movement of the sprung cab, errors in the distance determination via the image evaluation by means of the camera 2 recorded images B, so that it can lead to malfunction of the driver assistance devices, since the determined via the image evaluation first distance xk does not coincide with a real distance to the object O.

Aus diesem Grund werden zur Kalibrierung der zumindest einen Kamera 2 aktuelle Kameraparameter fortlaufend ermittelt und eine in 2 dargestellte Nickwinkeländerung Δα eines bei einem Einbau der Kamera 2 vorgegebenen Nickwinkels α der Kamera 2, welche aus den Nickbewegungen des Fahrzeugs 1 resultiert, wird bei der Kalibrierung berücksichtigt. Die Kameraparameter umfassen neben optischen Parametern besonders auch die Parameter der statischen Einbaulage der Kamera 2.For this reason, at least one camera will be used for calibration 2 current camera parameters continuously determined and an in 2 shown pitch angle change Δα one during installation of the camera 2 predetermined pitch angle α the camera 2 , which reflects the pitching movements of the vehicle 1 results, is taken into account in the calibration. In addition to optical parameters, the camera parameters also include the parameters of the static installation position of the camera 2 ,

Aus der Nickwinkeländerung Δα aufgrund der Nickbewegungen des Fahrzeugs 1 und der an diesem befestigten Kamera 2 resultiert eine Verschiebung von einem bei einem Einbau der Kamera 2 vorgegebenen Kamerahorizont H zu einem veränderten Kamerahorizont ΔH. D. h., durch die Nickwinkeländerung Δα ergibt sich ein veränderter Aufnahmewinkel der Kamera 2. Dies führt zu einer Positionsverschiebung Δxk des Objektes O im aufgenommenen Bild B um einige Bildzeilen, im hier dargestellten Beispiel um einige Bildzeilen nach oben.From the pitch angle change Δα due to the pitching movements of the vehicle 1 and the camera attached to it 2 This results in a shift of one when installing the camera 2 given camera horizon H to a modified camera horizon .DELTA.H. D. h., By the pitch angle change Δα results in a changed recording angle of the camera 2 , This leads to a position shift Δxk of the object O in the recorded image B by a few image lines, in the example shown here by a few image lines upwards.

Bei der Entfernungsermittlung anhand der Bildauswertung des mit der Kamera 2 aufgenommenen Bildes B wird daher eine erste Entfernung xk zum Objekt O ermittelt, welche nicht der realen Entfernung zum Objekt O entspricht. Im hier dargestellten Beispiel würde eine erste Entfernung xk ermittelt, welche größer als die reale Entfernung zum Objekt O ist. Derartige Abweichungen könnten für eine Funktion von Fahrerassistenzvorrichtungen eine erhebliche Auswirkung haben, beispielsweise könnte bei einer Notbremsassistenzvorrichtung eine Notbremsung, um einen Aufprall auf das Objekt O zu vermeiden, aufgrund der zu groß ermittelten ersten Entfernung xk zu spät eingeleitet werden, wodurch ein Aufprall auf das Objekt O nicht mehr zu vermeiden wäre.In the distance determination based on the image analysis of the camera 2 recorded image B, therefore, a first distance xk is determined to the object O, which does not correspond to the real distance to the object O. In the example shown here, a first distance xk which is greater than the real distance to the object O would be determined. Such deviations could have a significant effect on a function of driver assistance devices; for example, in an emergency braking assist device, emergency braking to avoid impacting the object O could be initiated too late due to the too large first distance xk, resulting in an impact on the object O would be unavoidable.

Daher ist eine Kalibrierung der Kamera 2 und eine Korrektur auftretender Nickwinkeländerungen Δα erforderlich, um derartige Fehler in der Ermittlung der durch Bildauswertung ermittelten ersten Entfernung xk zu vermeiden, zweckmäßigerweise eine Online-Kalibrierung, d. h. eine während eines Fahrbetriebs des Fahrzeugs 1 ständig stattfindende automatische Kalibrierung. Diese Kalibrierung der Kamera 2 und Korrektur auftretender Nickwinkeländerungen Δα erfolgt in Form einer Plausibilisierung der mittels der Bildauswertung ermittelten ersten Entfernung xk durch eine Entfernungsermittlung mittels der Sensoreinheit 3, in diesem Ausführungsbeispiel mittels des Radarsensors, da der Radarsensor eine präzise Entfernungsermittlung ermöglicht.Therefore, a calibration of the camera 2 and a correction of occurring pitch angle changes Δα required to avoid such errors in the determination of the determined by image evaluation first distance xk, expediently an online calibration, ie one during a driving operation of the vehicle 1 continuous automatic calibration. This calibration of the camera 2 and correction of occurring pitch angle changes Δα takes place in the form of a plausibility check of the first distance xk determined by means of the image evaluation by a distance determination by means of the sensor unit 3 , In this embodiment, by means of the radar sensor, since the radar sensor allows precise distance determination.

Dabei wird mittels der Sensoreinheit 3 das Objekt O in der Umgebung des Fahrzeugs 1 detektiert und eine zweite Entfernung xr zu dem Objekt O ermittelt. Die mittels der Sensoreinheit 3, d. h. mittels des Radarsensors ermittelte zweite Entfernung xr entspricht der realen Entfernung zum Objekt O und ist bei exakt kalibrierter Kamera 2 identisch mit der durch die Bildauswertung des von der Kamera 2 aufgenommenen Bildes B ermittelten ersten Entfernung xk.In this case, by means of the sensor unit 3 the object O in the vicinity of the vehicle 1 detected and a second distance xr determined to the object O. The means of the sensor unit 3 ie second distance xr determined by means of the radar sensor corresponds to the real distance to the object O and is at exactly calibrated camera 2 identical to that by the image analysis of the camera 2 recorded image B determined first distance xk.

Weichen die ermittelten Entfernungen xk, xr aufgrund von Nickbewegungen des Fahrzeugs 1 und einer daraus resultierenden Nickwinkeländerung Δα der Kamera 2 voneinander ab, so wird eine Kalibrierung der Kamera 2 durchgeführt, wodurch die Nickwinkeländerung Δα der Kamera 2 korrigiert wird. Diese Korrektur der Nickwinkeländerung Δα wird solange durchgeführt, bis die durch die Bildauswertung ermittelte erste Entfernung xk mit der durch die Sensoreinheit 3 ermittelten zweiten Entfernung xr übereinstimmt.The determined distances xk, xr deviate due to pitching movements of the vehicle 1 and a resulting pitch angle change Δα of the camera 2 from each other, so will a calibration of the camera 2 performed, whereby the pitch angle change Δα of the camera 2 is corrected. This correction of the pitch angle change Δα is carried out until the first distance xk determined by the image evaluation matches that determined by the sensor unit 3 determined second distance xr matches.

Die präzise Entfernungsermittlung mittels der Sensoreinheit 3, insbesondere mittels des hochauflösenden Radarsensors ermöglicht eine präzise Kalibrierung der Kamera 2 und dadurch eine präzise Entfernungsermittlung durch Bildauswertung von der Kamera 2 aufgenommener Bilder B für zahlreiche kamerabasierte Fahrerassistenzvorrichtungen des Fahrzeugs 1, zum Beispiel für eine Fernlichtsteuerung auf weit entfernte andere Fahrzeuge, für eine kamerabasierte Fußgängererkennung und insbesondere für eine Erkennung von Objekten, die von der Sensoreinheit 3, beispielsweise vom Radarsensor nicht erkannt werden. Dabei besteht eine hohe Verfügbarkeit für diese Art der Kalibrierung der Kamera 2, d. h. die Kalibrierung kann jederzeit durchgeführt werden, es muss lediglich in der Umgebung des Fahrzeugs 1 sowohl von der Kamera 2 als auch von der Sensoreinheit 3 ein Objekt O erfassbar sein und eine Entfernungsermittlung zu diesem Objekt O möglich sein.The precise distance determination by means of the sensor unit 3 , in particular by means of the high-resolution radar sensor allows a precise calibration of the camera 2 and thus a precise distance determination by image evaluation from the camera 2 taken pictures B for numerous camera-based driver assistance devices of the vehicle 1 For example, for a high-beam control to far-distant other vehicles, for a camera-based pedestrian detection and in particular for a detection of objects detected by the sensor unit 3 , are not detected by the radar sensor, for example. There is a high availability for this type of calibration of the camera 2 ie the calibration can be done at any time, it only has to be in the environment of the vehicle 1 both from the camera 2 as well as from the sensor unit 3 an object O be detected and a distance determination to this object O be possible.

Zusätzliche kostenintensive Vorrichtungen zur Kalibrierung, beispielsweise zusätzliche Sensoren, zum Beispiel Achslastsensoren, sind nicht erforderlich. Die Kalibrierung ist allein mittels der Sensoreinheit 3 möglich, bevorzugt mittels des Radarsensors. Derartige Sensoreinheiten 3 sind in einer Vielzahl von Fahrzeugen 1 bereits installiert und werden von Fahrerassistenzvorrichtungen des Fahrzeugs 1 genutzt.Additional costly calibration devices, such as additional sensors, such as axle load sensors, are not required. The calibration is solely by means of the sensor unit 3 possible, preferably by means of the radar sensor. Such sensor units 3 are in a variety of vehicles 1 already installed and used by driver assistance devices of the vehicle 1 used.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrzeugvehicle
22: Kameracamera
33: Sensoreinheitsensor unit
αα: Nickwinkelpitch angle
ΔαΔα: NickwinkeländerungPitch angle change
ΔxkΔxk: Positionsverschiebungposition shift
BB: Bildimage
BP1 bis BPnBP1 to BPn: Bildpunktpixel
HH: Kamerahorizontcamera horizon
ΔHAH: veränderter Kamerahorizontmodified camera horizon
OO: Objektobject
xkxk: erste Entfernungfirst distance
xrxr: zweite Entfernungsecond distance

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 7756298 B2 [0002]
DE 102004001572 A1 [0003]

Claims

Method for operating a vehicle ( 1 ) arranged camera ( 2 ), whereby by means of the camera ( 2 ) an image (B) of an environment of the vehicle ( 1 ) and by means of an image analysis of the recorded image (B) an object (O) in the vicinity of the vehicle ( 1 ) is detected and wherein by means of at least one of the vehicle ( 1 ) arranged sensor unit ( 3 ) the object (O) in the vicinity of the vehicle ( 1 ) is detected and a distance (xr) to the object (O) is determined, characterized in that a distance (xk) to the object (O) is determined by means of image analysis of the recorded image (B) and the camera ( 2 ) is calibrated when using the sensor unit ( 3 ) determined distance (xr) from the determined by the image evaluation distance (xk).

A method according to claim 1, characterized in that the distance determination by means of at least one radar sensor, at least one Lidarsensors, at least one ultrasonic sensor, at least one stereo camera and / or at least one other suitable for determining distance sensor of the sensor unit ( 3 ) is carried out.

A method according to claim 1 or 2, characterized in that based on the calibration, a pitch angle change (Δα) of the camera ( 2 ) is corrected.

Method according to one of claims 1 to 3, characterized in that the object (O) in the recorded image (B) is classified by means of a pattern recognition.

Method according to one of the preceding claims, characterized in that the distance (xk) to the object (O) determined by the image evaluation of the recorded image (B) is determined from a position of the object (O) in the recorded image (B).

A method according to claim 5, characterized in that the position of the object (O) in the recorded image (B) on the basis of pixels (BP1 to BPn) and / or image lines of the recorded image (B) is determined.