EP1846888A1 - Verfahren und vorrichtung zum überwachen des umfelds eines fahrzeugs - Google Patents

Verfahren und vorrichtung zum überwachen des umfelds eines fahrzeugs

Info

Publication number
EP1846888A1
EP1846888A1 EP06702654A EP06702654A EP1846888A1 EP 1846888 A1 EP1846888 A1 EP 1846888A1 EP 06702654 A EP06702654 A EP 06702654A EP 06702654 A EP06702654 A EP 06702654A EP 1846888 A1 EP1846888 A1 EP 1846888A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
sensor
image
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06702654A
Other languages
English (en)
French (fr)
Inventor
Wolfgang Hahn
Thomas Weidner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP1846888A1 publication Critical patent/EP1846888A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method and a device for monitoring the surroundings of a vehicle.
  • Many systems are known for monitoring the environment of a vehicle. Such systems serve, for example, for the realization of accident prevention (so-called "precrash"), an automatic driving control or also the observation of the blind spot with respect to the field of vision of the driver, whereby systems are used which use different sensors, for example radar sensors, lidar sensors , Ultrasonic sensors and video sensors.
  • sensors for example radar sensors, lidar sensors , Ultrasonic sensors and video sensors.
  • the so-called "BND graduation” is used.
  • the image graduation which corresponds to a temporal integration or averaging of a number of individual images, the signal-to-noise ratio in an image display unit
  • the camera takes several images and subjects them to image processing which deals with the number of images Pixel information, especially taking into account their brightness in the respective images and optionally contained color information can be achieved. This need not necessarily be done pixel by pixel, but can be done by averaging for local and simultaneous pixel areas of the number of images.
  • the number of images should come from approximately the same solid angle to avoid fuzziness in the image to be displayed in the image display unit. This requirement is met for a camera moving in a vehicle in the vehicle's longitudinal axis. Blurring of the image displayed in the image display unit due to the slightly changed by the longitudinal movement solid angle are barely perceived by the driver of the vehicle.
  • DE 100 59 315 A1 discloses an arrangement for monitoring the surroundings of a vehicle with at least one camera operating in the wide-angle range, an image processing unit with means for removing the images captured by the camera and an image display unit.
  • the means for equalizing operate adaptively based on a selected image detail and based on a selected line of sight.
  • the arrangement ensures that the distortions created by the wide-angle lenses are equalized in such a way that any two-dimensional image of the camera plane is transformed into the image plane of the display image of an image display unit.
  • the adaptation of a selected Image detail and / or a selected viewing direction can be done automatically based on the steering angle or the speed of the vehicle. An image optimization beyond equalizing the images taken by a wide-angle lens does not take place.
  • the object of the present invention is therefore to provide a device and a method for monitoring the surroundings of a vehicle, with which the image quality of the images taken by a camera can be displayed in an optimized manner.
  • the means for reducing the noise components are adapted to perform a reduction of noise components by image scaling, in which an averaging of a number of images takes place, wherein the number of images processed for the image graduation is variable.
  • image scaling in which an averaging of a number of images takes place, wherein the number of images processed for the image graduation is variable.
  • the means for reducing the noise components are adapted to adaptively adapt the number of images processed for the image graduation as a function of at least one vehicle dynamics parameter of the vehicle.
  • An adaptive adjustment of the image graduation ie the variation of the integration time or a change in the number of images (also referred to as staggering depth), which are subjected to averaging, depending on one or more driving dynamics parameters, such as the speed of the steering wheel or the yaw rate , allows the desired optimization.
  • the degree of optimization and thus the quality of the image displayed in the image display unit can be made dependent on the driving dynamics of the vehicle. For example, maximum noise optimization is at low speed and low steering wheel angle, as is typical for a straight ahead in the inner city area, makes sense.
  • a slightly lower optimization is sufficient for overland or highway driving, which usually take place at high speed and low steering angle.
  • the image processing unit is demanded a somewhat lower computational load.
  • the slightly lower picture quality can be accepted in this driving situation.
  • the smallest image graduation is made at low speed and large steering angle. This corresponds, for example, to a turn in the city with a high yaw rate. This greatly reduces the effect of "smearing" the image displayed in the image display unit over conventional devices, and although such a driving situation involves some noise, it does not significantly reduce the driver's detection performance because the human eye is very sensitive to relative movement.
  • At least one sensor for acquiring driving dynamics data is provided, which is coupled to the image processing unit, wherein the determination of the driving dynamics parameter is based on sensor values determined by the at least one sensor and transmitted to the image processing unit.
  • the at least one sensor may be a speed sensor, wherein the driving-dynamic parameter is dependent on the speed value determined by the sensor.
  • the sensor may be formed as a sensor for determining the steering wheel angle, wherein the driving dynamics parameter is dependent on the impact determined by the sensor.
  • the at least one sensor is a sensor for determining the yaw rate of the vehicle, and the driving-dynamic parameter is dependent on the yaw rate determined by the sensor.
  • a device can have any combination of the sensor types mentioned, wherein in each case the presence of a single one of said sensor types is sufficient.
  • a combination of a speed sensor and a sensor for determining the steering angle is provided.
  • the driving dynamics parameters for influencing the number of images processed for the batching are calculated by a computing unit of the image processing unit.
  • the sensor values transmitted by the at least one sensor to the image processing unit are received and subjected to a predetermined algorithm in order to determine a driving-dynamic parameter corresponding to the driving situation, in order to vary the staggering depth of the image graduation.
  • a plurality of driving dynamics parameters are stored in a storage means of the processing unit, which can be read by the image processing unit in response to the receipt of one or more sensor values for further processing.
  • a matrix of driving-dynamics parameters and, for example, the speed and / or the steering wheel angle and / or the yaw rate are thus stored in the memory means of the image processing unit.
  • the camera used in the device according to the invention can in principle be of any nature. It is preferred if the camera is formed by an infrared camera and / or a camera sensitive to visible light.
  • the device according to the invention can in particular also be equipped with more than one camera. It is also conceivable that the device according to the invention has sensitive camera types for different spectral ranges.
  • the same advantages are associated, as have been described above in connection with the device according to the invention.
  • an image processing unit which has means for reducing the noise components of the images captured by the camera and with an image display unit the means for reducing the noise components provide a reduction of the noise components by image graduation, the image graduation comprising averaging a number of images, and the number of images processed for the image graduation being variable.
  • an adaptive adaptation of the number of images processed for the image graduation takes place as a function of at least one vehicle-dynamics parameter of the vehicle.
  • the parameters taken into account are the speed of the vehicle and / or the steering wheel angle of the vehicle and / or the yaw rate of the vehicle.
  • other driving dynamics parameters which are detected by sensors of the vehicle, can be used to influence the image graduation.
  • a device for monitoring the environment of a vehicle is shown in a schematic manner.
  • a visible and / or infrared light sensitive camera 2 is coupled to an image processing unit 3.
  • the camera 2 may be mounted at any position of the vehicle and detect both for monitoring the environment in the direction of travel as well as lying opposite to the direction of travel of the vehicle area.
  • the image processing unit 3 receives the images of the surroundings of a vehicle received by the camera 2.
  • the images received by the image processing unit 3 are subjected to noise optimization, which is referred to as image grading.
  • image grading This is a temporal averaging or integration of a number of images.
  • the image graduation serves to improve the signal-to-noise ratio in order to display high-quality images on a vehicle image display unit 4 coupled to the image processing unit 3. Since the images taken by the camera 2 from a vehicle can have different solid angles, in a conventional image graduation, in which always the same number of images is used, blurred in the image, especially in the edges, may result.
  • the image processing unit 3 is connected by way of example to three sensors 5, 6, 7, which in turn detect by way of example a speed of the vehicle, a steering wheel angle of the vehicle and a yaw rate.
  • a high staggering depth i. selected a large number of images which are averaged.
  • the situation described corresponds to a straight ahead in the city.
  • a high integration time is possible because the captured by the camera 2 frames come from the approximately same solid angle, whereby the image has only slight blurring.
  • a greatly reduced integration time is preferred according to a second application example at low speed and large steering angle to "smear" in the passage of a curve in the
  • a third example of application is at high speed of the vehicle and a low steering wheel a mean integration time or Graduation depth selected to prevent "smearing" in the image border areas
  • This third application example corresponds to overland or highway driving.
  • the device according to the invention enables a compromise between the sensor noise of a camera and the achievable image quality.
  • a particular advantage is that the use of sensors with poorer noise behavior is made possible because its properties are compensated by the variable image graduation. This results in lower costs for the overall system.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Es wird eine Vorrichtung (1) zum Überwachen des Umfelds eines Fahrzeugs mit mindestens einer Kamera (2), einer Bildverarbeitungseinheit (3) und einer Bildanzeigeeinheit (4) beschrieben, bei der die Bildverarbeitungseinheit (3) Mittel zum Verringern der Rauschanteile der von der Kamera (2) aufgenommenen Bilder aufweist. Die Mittel zum Verringern der Rauschanteile sind dazu eingerichtet, eine Verringerung der Rauschanteile durch Bildstaffelung vorzunehmen, bei der eine Mittelwertbildung einer Anzahl an Bildern erfolgt, wobei die Anzahl der für die Bildstaffelung verarbeiteten Bilder variabel ist.

Description

Verfahren und Vorrichtung zum Überwachen des Umfelds eines Fahrzeugs
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Überwachen des Umfelds eines Fahrzeugs.
Zur Überwachung des Umfelds eines Fahrzeugs sind zahlreiche Systeme bekannt. Derartige Systeme dienen beispielsweise zur Realisierung einer Unfallverhütung (sog. „Precrash"), einer automatischen Fahrsteuerung oder auch der Beobachtung des toten Winkels bezüglich des Gesichtsfelds des Fahrers. Dabei kommen Systeme zum Einsatz, welche sich unterschiedlicher Sensoren bedienen. Bekannt sind beispielsweise Radarsensoren, Lidarsensoren, Ultraschallsensoren und Videosensoren.
Es ist bekannt, die von Videokameras aufgenommen Bilder direkt auf einer Bildanzeigeeinheit im Inneren des Fahrzeugs anzuzeigen oder geringfügige Anpassungen im Hinblick auf den Bildinhalt vorzunehmen. Derartige Anpassungen betreffen beispielsweise die Helligkeit und den Kontrast des Bildinhaltes.
Aufgrund der direkten Anzeige der Bildinhalte ist es aus Sicherheitserwägungen geboten, dass die Aufnahmeoptiken nur geringe optische Verzerrungen aufweisen. Nur dadurch ist sichergestellt, dass der Betrachter, im allgemeinen der Fahrer des Fahrzeugs, den Bildinhalt problemlos interpretieren kann.
Bei der Rauschoptimierung von von einer Kamera im sichtbaren oder infraroten Spektralbereich gelieferten Bildern wird die so genannte „BNdstaffelung" eingesetzt. Durch die Bildstaffelung, die einer zeitlichen Integration oder Mittelwertbildung einer Anzahl an Einzelbildern entspricht, kann das Signal-Rausch-Verhältnis der in einer Bildanzeigeeinheit dargestellten Bilder verbessert werden. Zur Verringerung der Rauschanteile in einem in der Bildanzeigeeinheit darzustellenden Bild werden deshalb durch die Kamera mehrere Bilder aufgenommen und einer Bildbearbeitung unterworfen, in der die Anzahl an Bildern behandelt wird. Rechentechnisch bzw. bei der digitalen Bildbearbeitung kann dies durch Mittelwertbildung der Pixelinformationen, insbesondere unter Berücksichtigung von deren Helligkeit in den jeweiligen Bildern und gegebenenfalls enthaltener Farbinformationen, erreicht werden. Dies muss nicht notwendigerweise Pixel für Pixel erfolgen, sondern kann durch Mittelwertbildung für orts- und zeitgleiche Pixelbereiche der Anzahl an Bildern geschehen.
Zur Erzielung guter Ergebnisse sollte die Anzahl an Bildern aus dem annähernd gleichen Raumwinkel stammen, um Unscharfen in dem in der Bildanzeigeeinheit darzustellenden Bild zu vermeiden. Dieses Erfordernis ist für eine in einem Fahrzeug in Fahrzeuglängsachse bewegte Kamera erfüllt. Unscharfen des in der Bildanzeigeeinheit dargestellten Bildes aufgrund der durch die Längsbewegung leicht veränderten Raumwinkel werden durch den Fahrer des Fahrzeugs kaum wahrgenommen.
Anders verhält es sich jedoch bei großen Raumwinkeländerungen, wie z.B. bei Kurvenfahrten. Durch die großen Winkelgeschwindigkeiten ist ein durch die Kamera erfasstes Objekt bei der Aufnahme von Bild zu Bild immer etwas versetzt. Dieser Versatz führt bei der Bildstaffelung zu Unscharfen, vor allem im Randbereich, und gegebenenfalls zur Verzerrung der Objekte, was sich durch ein Nachziehen in der Bildanzeigeeinheit bemerkbar macht. Eine derart verschlechterte Bildqualität kann für den Betrachter der Bilder, den Fahrer des Fahrzeugs, in der Bildanzeigeeinheit zu einer erschwerten Interpretation der Bildinhalte und somit zu einer reduzierten Entdeckungsleistung wichtiger Objekte führen, wie z.B. Fußgänger, Radfahrer oder Wild führen.
Aus der DE 100 59 315 A1 ist eine Anordnung zum Überwachen des Umfelds eines Fahrzeugs mit mindestens einer im Weitwinkelbereich arbeitenden Kamera, einer Bildverarbeitungseinheit mit Mitteln zum Entfernen der von der Kamera aufgenommenen Bilder und einer Bildanzeigeeinheit bekannt. Bei dieser Anordnung arbeiten die Mittel zum Entzerren adaptiv auf Grundlage eines ausgewählten Bildausschnittes und auf der Grundlage einer ausgewählten Blickrichtung. Die Anordnung stellt sicher, dass die durch die Weitwinkelobjektive entstehenden Verzerrungen dahingehend entzerrt werden, dass eine beliebige zweidimensionale Abbildung der Kamerabildebene in die Bildebene des Anzeigebildes einer Bildanzeigeeinheit transformiert wird. Die Anpassung eines ausgewählten Bildausschnittes und/oder einer ausgewählten Blickrichtung kann automatisch auf Grundlage des Lenkwinkels oder der Geschwindigkeit des Fahrzeugs erfolgen. Eine Bildoptimierung über das Entzerren der von einem Weitwinkelobjektiv aufgenommenen Bilder hinaus findet nicht statt.
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, eine Vorrichtung und ein Verfahren zum Überwachen des Umfelds eines Fahrzeugs anzugeben, mit welchen die Bildqualität der von einer Kamera aufgenommenen Bilder in optimierter Weise zur Darstellung gebracht werden kann.
Eine erfindungsgemäße Vorrichtung zum Überwachen des Umfelds eines Fahrzeugs mit mindestens einer Kamera, einer Bildverarbeitungseinheit und einer Bildanzeigeeinheit umfasst Mittel zum Verringern der Rauschanteile der von der Kamera aufgenommenen Bilder in der Bildverarbeitungseinheit. Die Mittel zum Verringern der Rauschanteile sind dazu eingerichtet, eine Verringerung der Rauschanteile durch Bildstaffelung vorzunehmen, bei der eine Mittelwertbildung einer Anzahl an Bildern erfolgt, wobei die Anzahl der für die Bildstaffelung verarbeiteten Bilder variabel ist. Die Variabilität der Bildstaffelung ermöglicht eine situationsabhängig optimale Bildstaffelung, so dass Unscharfen in den Rändern und Verzerrungen der Objekte durch den Effekt des Nachziehens zuverlässig vermieden werden können.
Gemäß einer bevorzugten Ausgestaltung sind die Mittel zum Verringern der Rauschanteile dazu eingerichtet, eine adaptive Anpassung der Anzahl der für die Bildstaffelung verarbeiteten Bilder in Abhängigkeit zumindest eines fahrdynamischen Parameters des Fahrzeugs vorzunehmen. Eine adaptive Anpassung der Bildstaffelung, d.h. die Variation der Integrationszeit bzw. eine Veränderung der Anzahl an Bildern (auch als Staffelungstiefe bezeichnet), welche einer Mittelwertbildung unterzogen werden, in Abhängigkeit eines oder mehrerer fahrdynamischer Parameter, wie z.B. der Geschwindigkeit, des Lenkradeinschlags oder der Gierrate, ermöglicht die gewünschte Optimierung. Der Grad der Optimierung und damit der Güte des in der Bildanzeigeeinheit dargestellten Bildes kann von dem fahrdynamischen Zustand des Fahrzeugs abhängig gemacht werden. Eine maximale Rauschoptimierung ist beispielsweise bei geringer Geschwindigkeit und geringem Lenkradeinschlag, wie dies typisch für eine Geradeausfahrt im innerstädtischen Bereich ist, sinnvoll. Eine etwas geringere Optimierung ist bei Überland- oder Autobahnfahrten ausreichend, welche üblicherweise mit hoher Geschwindigkeit und geringem Lenkeinschlag stattfinden. Durch die Reduktion der Rauschoptimierung, wird der Bildverarbeitungseinheit eine etwas geringere Rechenlast abverlangt. Die etwas geringere Bildqualität kann in dieser Fahrsituation akzeptiert werden. Die geringste Bildstaffelung wird bei geringer Geschwindigkeit und großem Lenkradeinschlag vorgenommen. Dies entspricht beispielsweise einem Abbiegen in der Stadt mit hoher Gierrate. Dadurch wird der Effekt des „Schmierens" des in der Bildanzeigeeinheit angezeigten Bildes gegenüber herkömmlichen Vorrichtungen stark verringert. Obwohl eine derartige Fahrsituation einen gewissen Rauschanteil umfasst, wird dadurch die Entdeckungsleistung durch den Fahrer nicht maßgeblich verringert, da das menschliche Auge auf Relativbewegungen sehr empfindlich reagiert.
Gemäß einer weiteren zweckmäßigen Ausgestaltung ist zumindest ein Sensor zum Erfassen von fahrdynamischen Daten vorgesehen, der mit der Bildverarbeitungseinheit gekoppelt ist, wobei die Ermittlung des fahrdynamischen Parameters auf Grundlage von, von dem zumindest einen Sensor ermittelten und an die Bildverarbeitungseinheit übertragenen, Sensorwerten erfolgt. Bei dem zumindest einen Sensor kann es sich gemäß einer Ausgestaltung um einen Geschwindigkeitssensor handeln, wobei der fahrdynamische Parameter von dem von dem Sensor ermittelten Geschwindigkeitswert abhängig ist. In einer anderen Ausgestaltung kann der Sensor als Sensor zur Ermittlung des Lenkradeinschlags ausgebildet sein, wobei der fahrdynamische Parameter von dem von dem Sensor ermittelten Einschlag abhängig ist. In einer weiteren Ausgestaltung ist der zumindest eine Sensor ein Sensor zur Ermittlung der Gierrate des Fahrzeugs, und der fahrdynamische Parameter ist von der von dem Sensor ermittelten Gierrate abhängig. Eine erfindungsgemäße Vorrichtung kann eine beliebige Kombination der genannten Sensortypen aufweisen, wobei auch jeweils das Vorhandensein eines einzigen der genannten Sensortypen ausreichend ist. Bevorzugt ist eine Kombination aus einem Geschwindigkeitssensor und einem Sensor zur Ermittlung des Lenkradeinschlags vorgesehen. In einer weiteren zweckmäßigen Ausgestaltung der Vorrichtung ist vorgesehen, dass die fahrdynamischen Parameter zur Beeinflussung der Anzahl der für die Bestaffelung verarbeiteten Bilder von einer Recheneinheit der Bildverarbeitungseinheit errechnet werden. In dieser Ausgestaltung werden die von dem zumindest einem Sensor an die Bildverarbeitungseinheit übertragenen Sensorwerte empfangen und einem vorgegebenen Algorithmus unterworfen, um einen der Fahrsituation entsprechenden fahrdynamischen Parameter zu ermitteln, um bei dessen Vorliegen die Staffelungstiefe der Bildstaffelung zu variieren.
In einer anderen Ausgestaltung ist vorgesehen, dass eine Vielzahl an fahrdynamischen Parametern in einem Speichermittel der Verarbeitungseinheit gespeichert sind, welche durch die Bildverarbeitungseinheit in Reaktion auf den Empfang eines oder mehrerer Sensorwerte zur weiteren Verarbeitung auslesbar ist. In dem Speichermittel der Bildverarbeitungseinheit ist somit eine Matrix aus fahrdynamischen Parametern und beispielsweise der Geschwindigkeit und/oder des Lenkradeinschlags und/oder der Gierrate abgespeichert.. Nach dem Empfang der durch den zumindest einen Sensor abgegebenen Sensorwerte durch die Bildverarbeitungseinheit wird ein den Sensorwerten entsprechender fahrdynamischer Parameter aus dem Speichermittel ausgelesen und zur Beeinflussung der Staffelungstiefe bei der Bildstaffelung herangezogen.
Die in der erfindungsgemäßen Vorrichtung eingesetzte Kamera kann prinzipiell beliebiger Natur sein. Es ist bevorzugt, wenn die Kamera durch eine Infrarot- Kamera und/oder eine für sichtbares Licht empfindliche Kamera ausgebildet ist. Die erfindungsgemäße Vorrichtung kann insbesondere auch mit mehr als einer Kamera ausgestattet sein. Dabei ist auch denkbar, dass die .erfindungsgemäße Vorrichtung für unterschiedliche Spektralbereiche empfindliche Kameratypen aufweist.
Mit dem erfindungsgemäßen Verfahren sind die gleichen Vorteile verbunden, wie sie vorstehend in Verbindung mit der erfindungsgemäßen Vorrichtung beschrieben wurden. Bei dem erfindungsgemäßen Verfahren zum Überwachen des Umfelds eines Fahrzeugs mit einer Vorrichtung mit mindestens einer Kamera, einer Bildverarbeitungseinheit, die Mittel zum Verringern der Rauschanteile der von der Kamera aufgenommenen Bilder aufweist, und mit einer Bildanzeigeeinheit nehmen die Mittel zum Verringern der Rauschanteile eine Verringerung der Rauschanteile durch Bildstaffelung vor, wobei die Bildstaffelung eine Mittelwertbildung einer Anzahl an Bildern umfasst, und wobei die Anzahl der für die Bildstaffelung verarbeiteten Bilder variabel erfolgt. •
Gemäß einer bevorzugten Ausgestaltung des Verfahrens erfolgt eine adaptive Anpassung der Anzahl der für die Bildstaffelung verarbeiteten Bilder in Abhängigkeit zumindest eines fahrdynamischen Parameters des Fahrzeugs.
Als Parameter wird die Geschwindigkeit des Fahrzeugs und/oder der Lenkradeinschlag des Fahrzeugs und/oder die Gierrate des Fahrzeugs berücksichtigt. Darüber hinaus können auch weitere fahrdynamische Parameter, die durch Sensoren des Fahrzeugs erfasst werden, zur Beeinflussung der Bildstaffelung herangezogen werden.
Die Erfindung wird nachfolgend anhand einer Figur näher erläutert.
In der Figur ist eine erfindungsgemäße Vorrichtung zum Überwachen des Umfelds eines Fahrzeuges in schematischer Weise dargestellt. Eine für sichtbares und/oder infrarotes Licht empfindliche Kamera 2 ist mit einer Bildverarbeitungseinheit 3 gekoppelt. Die Kamera 2 kann an einer beliebigen Position des Fahrzeugs angebracht sein und sowohl zur Überwachung des Umfelds in Fahrtrichtung als auch den entgegen der Fahrtrichtung liegenden Bereich des Fahrzeugs erfassen. Die Bildverarbeitungseinheit 3 empfängt die von der Kamera 2 empfangenen Bilder des Umfelds eines Fahrzeugs.
Die von der Bildverarbeitungseinheit 3 empfangenen Bilder werden einer Rauschoptimierung unterzogen, die als Bildstaffelung bezeichnet wird. Bei dieser handelt es sich um eine zeitliche Mittelwertbildung bzw. Integration einer Anzahl an Bildern. Die Bildstaffelung dient dazu, das Signal-Rausch-Verhältnis zu verbessern, um auf einer, mit der Bildverarbeitungseinheit 3 gekoppelten, Bildanzeigeeinheit 4 des Fahrzeugs qualitativ hochwertige Bilder zur Anzeige zu bringen. Da die von der Kamera 2 aufgenommenen Bilder aus einem Fahrzeug unterschiedliche Raumwinkel aufweisen können, können sich bei einer konventionell durchgeführten Bildstaffelung, bei der immer die gleiche Anzahl an Bildern verwendet wird, Unscharfen im Bild, vor allem in den Rändern, ergeben. Um dies zu vermeiden, ist die Bildverarbeitungseinheit 3 beispielhaft mit drei Sensoren 5, 6, 7 verbunden, welche wiederum beispielhaft eine Geschwindigkeit des Fahrzeugs, einen Lenkradeinschlag des Fahrzeugs sowie eine Gierrate erfassen. Eine Berücksichtigung der von diesen Sensoren 5, 6, 7 gelieferten Sensorwerte zur Ermittlung eines Parameters zur Beeinflussung der Anzahl der für die Bildstaffelung verarbeiteten Bilder, ermöglicht eine situationsangepasste Optimierung der in der Bildanzeigeeinheit 4 dargestellten Bilder. Bevorzugt erfolgt hierbei eine adaptive Anpassung der Staffelungstiefe in Abhängigkeit der aktuellen Geschwindigkeit und des Lenkradeinschlags bzw. der Gierrate des Fahrzeugs.
Um eine maximale Rauschoptimierung zu erreichen, wird bei einem ersten Anwendungsbeispiel bei geringer Fahrzeuggeschwindigkeit und gleichzeitig geringem Lenkradeinschlag eine hohe Staffelungstiefe, d.h. eine große Anzahl an Bildern gewählt, die einer Mittelwertbildung unterzogen werden. Die beschriebene Situation entspricht dabei einer Geradeausfahrt in der Stadt. Eine hohe Integrationszeit ist deshalb möglich, da die von der Kamera 2 aufgenommenen Einzelbilder aus dem annähernd gleichen Raumwinkel stammen, wodurch das Bild lediglich geringe Unscharfen aufweist.
Eine stark verringerte Integrationszeit wird gemäß einem zweiten Anwendungsbeispiel bei geringer Geschwindigkeit und großem Lenkradeinschlag bevorzugt, um ein „Schmieren" bei der Durchfahrt einer Kurve in der
Bildanzeigeeinheit zu vermeiden. Diese Situation entspricht dem Abbiegen des
Fahrzeugs in der Stadt mit hoher Gierrate bzw. starkem Lenkradeinschlag. Der dadurch bedingte, erhöhte Rauschanteil vermindert die Interpretation des Bildinhaltes durch den Fahrer nicht maßgeblich, da das menschliche Auge fähig ist, auf Relativbewegungen sehr empfindlich zu reagieren.
Gemäß einem dritten Anwendungsbeispiel wird bei hoher Geschwindigkeit des Fahrzeugs und einem geringen Lenkradeinschlag eine mittlere Integrationszeit bzw. Staffelungstiefe gewählt, um ein „Schmieren" in den Bildrandbereichen zu verhindern. Dieses dritte Anwendungsbeispiel entspricht einer Überland- oder Autobahnfahrt.
Die erfindungsgemäße Vorrichtung ermöglicht einen Kompromiss zwischen dem Sensorrauschen einer Kamera und der erreichbaren Bildqualität. Ein besonderer Vorteil besteht darin, dass der Einsatz von Sensoren mit schlechterem Rauschverhalten ermöglicht wird, da dessen Eigenschaften durch die variable Bildstaffelung kompensiert werden. Hierdurch ergeben sich für das Gesamtsystem geringere Kosten. Durch die Anpassung mit Hilfe verschiedener fahrdynamischer Parameter, welche üblicherweise in dem Fahrzeug ohnehin zur Verfügung stehen, ist es ferner möglich, eine Verschlechterung der Bildqualität bei schnell bewegtem Bildinhalt zu verhindern.
Bezugszeichenliste
1 Vorrichtung zur Umfeldüberwachung eines Fahrzeugs 2 Kamera
3 Bildverarbeitungseinheit
4 Bildanzeigeeinheit
5 Sensor
6 Sensor 7 Sensor

Claims

Patentansprüche
1. Vorrichtung (1) zum Überwachen des Umfelds eines Fahrzeugs mit mindestens einer Kamera (2), einer Bildverarbeitungseinheit (3) und einer
Bildanzeigeeinheit (4), dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (3) Mittel zum Verringern der Rauschanteile der von der Kamera (2) aufgenommenen Bilder aufweist, wobei die Mittel zum Verringern der Rauschanteile dazu eingerichtet sind, eine Verringerung der
Rauschanteile durch Bildstaffelung vorzunehmen, bei der eine Mittelwertbildung einer Anzahl an Bildern erfolgt, wobei die Anzahl der für die Bildstaffelung verarbeiteten Bilder variabel ist.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Mittel zum Verringern der Rauschanteile dazu eingerichtet sind, eine adaptive Anpassung der Anzahl der für die Bildstaffelung verarbeiteten Bilder in Abhängigkeit zumindest eines fahrdynamischen Parameters des Fahrzeugs vorzunehmen.
3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass zumindest ein Sensor (5,6,7) zum Erfassen von fahrdynamischen Daten vorgesehen ist, der mit der Bildverarbeitungseinheit (3) gekoppelt ist, wobei die Ermittlung des fahrdynamischen Parameters auf Grundlage von, von dem zumindest einen Sensor (5) ermittelten und an die Bildverarbeitungseinheit (3) übertragenen, Sensorwerten erfolgt.
4. Vorrichtung nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die fahrdynamischen Parameter zur Beeinflussung der Anzahl der für die Bildstaffelung verarbeiteten Bilder von einer Recheneinheit der Bildverarbeitungseinheit (3) errechnet werden.
5. Vorrichtung nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass eine Vielzahl an fahrdynamischen Parameter in einem Speichermittel der Bildverarbeitungseinheit gespeichert sind, welche durch die
Bildverarbeitungseinheit (3) in Reaktion auf den Empfang eines oder mehrer Sensorwerte zur weiteren Verarbeitung auslesbar ist.
6. Vorrichtung nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass der zumindest eine Sensor (5) ein Geschwindigkeitssensor ist und der fahrdynamische Parameter von dem von dem Sensor (5) ermittelten Geschwindigkeitswert abhängig ist.
7. Vorrichtung nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass der zumindest eine Sensor (6) ein Sensor zur Ermittlung des Lenkradeinschlags ist und der fahrdynamische Parameter von dem von dem Sensor (6) ermittelten Lenkradeinschlag abhängig ist.
8. Vorrichtung nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass der zumindest eine Sensor (7) ein Sensor zur Ermittlung der Gierrate des Fahrzeugs ist und der fahrdynamische Parameter von der von dem Sensor (7) ermittelten Gierrate abhängig ist.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (2) durch eine Infrarot-Kamera und/oder eine für sichtbares Licht empfindliche Kamera ausgebildet ist.
10. Verfahren zum Überwachen des Umfelds eines Fahrzeugs mit einer Vorrichtung (1 ) mit mindestens einer Kamera (2), einer Bildverarbeitungseinheit (3), die Mittel zum Verringern der Rauschanteile der von der Kamera (2) aufgenommenen Bilder aufweist, und einer Bildanzeigeeinheit (4), wobei die Mittel zum Verringern der Rauschanteile eine Verringerung der Rauschanteile durch Bildstaffelung vornehmen, bei der eine Mittelwertbildung einer Anzahl an Bildern erfolgt, wobei die Anzahl der für die Bildstaffelung verarbeiteten Bilder variabel erfolgt.
1 1. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass eine adaptive Anpassung der Anzahl der für die Bildstaffelung verarbeiteten
Bilder in Abhängigkeit zumindest eines fahrdynamischen Parameters des
Fahrzeugs erfolgt.
12. Verfahren nach Anspruch 10 oder 11 , dadurch gekennzeichnet, dass als Parameter die Geschwindigkeit des Fahrzeugs berücksichtigt wird.
, 13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass als Parameter der Lenkradeinschlag des Fahrzeugs berücksichtigt wird.
14. Verfahren nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass als Parameter die Gierrate des Fahrzeugs berücksichtigt wird.
EP06702654A 2005-02-11 2006-01-10 Verfahren und vorrichtung zum überwachen des umfelds eines fahrzeugs Withdrawn EP1846888A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005006287A DE102005006287A1 (de) 2005-02-11 2005-02-11 Verfahren und Vorrichtung zum Überwachen des Umfelds eines Fahrzeugs
PCT/EP2006/000134 WO2006084535A1 (de) 2005-02-11 2006-01-10 Verfahren und vorrichtung zum überwachen des umfelds eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP1846888A1 true EP1846888A1 (de) 2007-10-24

Family

ID=35985284

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06702654A Withdrawn EP1846888A1 (de) 2005-02-11 2006-01-10 Verfahren und vorrichtung zum überwachen des umfelds eines fahrzeugs

Country Status (4)

Country Link
US (1) US8031907B2 (de)
EP (1) EP1846888A1 (de)
DE (1) DE102005006287A1 (de)
WO (1) WO2006084535A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9302630B2 (en) * 2007-11-13 2016-04-05 Tk Holdings Inc. System and method for receiving audible input in a vehicle
DE102008060594B4 (de) * 2008-12-05 2020-08-27 Volkswagen Ag Rauschreduktion beim Tracking von Umfeldsensordaten eines Kraftfahrzeugs
DE102021132334A1 (de) * 2021-12-08 2023-06-15 Bayerische Motoren Werke Aktiengesellschaft Abtasten eines Umfelds eines Fahrzeugs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19950033B4 (de) * 1999-10-16 2005-03-03 Bayerische Motoren Werke Ag Kameravorrichtung für Fahrzeuge
SE520042C2 (sv) * 2000-10-26 2003-05-13 Autoliv Dev Anordning för förbättring av mörkersikten hos ett fordon såsom en bil
DE10059313A1 (de) 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
DE10059315A1 (de) 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE10158415C2 (de) * 2001-11-29 2003-10-02 Daimler Chrysler Ag Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
DE10203413C2 (de) * 2002-01-28 2003-11-27 Daimler Chrysler Ag Automobiles Infrarot-Nachtsichtgerät
DE10241464A1 (de) * 2002-09-06 2004-03-18 Robert Bosch Gmbh Vorrichtung zur Umfelderfassung eines Fahrzeugs
DE10243620A1 (de) * 2002-09-19 2004-04-01 Valeo Schalter Und Sensoren Gmbh Verfahren zur Bildverarbeitung der von einem System zur Umfelderfassung eines Fahrzeuges erfassten optischen Signale und System zur Umfelderfassung eines Fahrzeuges
DE10312249A1 (de) * 2003-03-19 2004-09-30 Ibeo Automobile Sensor Gmbh Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
JP4729491B2 (ja) * 2003-09-09 2011-07-20 ゼネラル・エレクトリック・カンパニイ 超音波ドップラー・カラーフロー・イメージングのための運動適応型フレーム平均化

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006084535A1 *

Also Published As

Publication number Publication date
DE102005006287A1 (de) 2006-08-17
US8031907B2 (en) 2011-10-04
WO2006084535A1 (de) 2006-08-17
US20070280506A1 (en) 2007-12-06

Similar Documents

Publication Publication Date Title
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP1211132B1 (de) Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
EP3029929B1 (de) Sichtsystem
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102020107789B4 (de) Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen
EP2765031B1 (de) Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
EP1846794A1 (de) Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds
DE112014005160T5 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
EP3555843A1 (de) Rundumsichtsystem für ein fahrzeug
DE102013103952B4 (de) Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem
DE102013214369B4 (de) Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102013103953B4 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
WO2018077520A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
DE102014116441A1 (de) Verfahren zum Darstellen einer Sicherheitsinformation, Fahrerassistenzsystem und Kraftfahrzeug
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
EP1846888A1 (de) Verfahren und vorrichtung zum überwachen des umfelds eines fahrzeugs
DE102020215696B4 (de) Verfahren zur Darstellung einer Umgebung eines Fahrzeugs, Computerprogrammprodukt, Speichermedium, Steuergerät und Fahrzeug
EP3833576A1 (de) Kameraüberwachungssystem
EP4118816A1 (de) Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter
DE102012024650A1 (de) Verfahren zur Reduktion einer HDR-Bewegungsunschärfe bei einem HDR-Bild, HDR-Kameraeinrichtung und Kraftfahrzeug
DE102012016865B4 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
EP2639109A1 (de) Heckbereichssichtsystem
DE102013020949A1 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
DE102019000486A1 (de) Verfahren zum Erkennen und Anzeigen von Verkehrsspiegeln

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070623

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR GB

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20081117

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110118