EP2229770A1 - Method and device for image detection for motor vehicles - Google Patents

Method and device for image detection for motor vehicles

Info

Publication number
EP2229770A1
EP2229770A1 EP08870334A EP08870334A EP2229770A1 EP 2229770 A1 EP2229770 A1 EP 2229770A1 EP 08870334 A EP08870334 A EP 08870334A EP 08870334 A EP08870334 A EP 08870334A EP 2229770 A1 EP2229770 A1 EP 2229770A1
Authority
EP
European Patent Office
Prior art keywords
image
exposure parameters
image acquisition
pixels
acquisition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP08870334A
Other languages
German (de)
French (fr)
Inventor
Karsten Haug
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2229770A1 publication Critical patent/EP2229770A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions

Definitions

  • the invention relates to a method and a device for image acquisition for motor vehicles, wherein in particular an integrated image sensor in a camera is used.
  • driver assistance systems such as night vision systems or lane assistance systems are increasingly being used more recently, in which cameras are used for environmental observation.
  • the automotive environment proves to be a particularly demanding environment for the use of such cameras, which may be formed, for example, using a CMOS or CCD image sensor.
  • CMOS or CCD image sensor For example, when driving into a tunnel during the day or even in an urban environment, the lighting conditions change extremely dynamically.
  • a high demand must be placed on the depth of field of the systems used in order to be able to offer the driver as comprehensive information as possible about the situation at different distances.
  • in the field of view of the camera are usually both very fast moving objects as well as almost static areas.
  • German Offenlegungsschrift DE 10 2004 047 476 A1 discloses a device and a method for setting a camera, in which or in which the exposure parameters for a camera are based on selected image areas are set, for example, depending on the position of the horizon. In this case, for example, the gain and / or the offset and / or the integration time or the aperture can be used as exposure parameters of the camera.
  • DE 103 18 499 A1 describes a method and a device for setting an image sensor in which the parameters of an image sensor are also set on the basis of selected regions of a recorded image.
  • German Offenlegungsschrift DE 103 01 898 A1 describes a method in which the optimum characteristic of the illumination sensitivity for the pixels of an image sensor is determined from the histogram of the gray values of at least one image; In this case, said characteristic curve is selected in such a way that it at least approximately coincides with the optimum characteristic curve.
  • the definition of the characteristic as well as examples can be found in the cited document.
  • a disadvantage of the described devices or methods of the prior art is that none of the mentioned devices or none of the mentioned methods does justice to the fact that the conditions across the picture can be extremely different in different areas of the picture.
  • the problem of so-called motion blur is not adequately solved in the prior art.
  • the above problem of motion blur is based essentially on the fact that dark image areas are exposed so long that the information contained in them can still be resolved.
  • moving objects are blurred, so that due to the self-movement of the vehicle both stationary objects such as traffic signs or other self-moving objects, such as crossing vehicles or pedestrians, only distorted in the camera image are recognizable. Since the above-mentioned prior art adjusts the exposure parameters for the entire image in each case, the areas in which the aforementioned, highly relevant objects are present are generally insufficiently displayed.
  • An advantage of the invention is that the exposure parameters of the image sensor can be adjusted for each image area so that each part of the resulting image is captured under optimal shooting conditions. This is achieved by adjusting the exposure parameters of at least one pixel of the image sensor during the acquisition of the image by means of an image sensor with pixels arranged in rows and columns in such a way that different exposure parameters can be set for at least two of the pixels at the same time. This allows, for example, an optimized combination of a lane departure warning function with traffic sign recognition. This is due to the fact that even in dark scenes, the track of the vehicle can be well resolved, since in the image areas corresponding to the track can be used with maximum exposure times.
  • a set of exposure parameters may contain, for example, the parameters of an exposure characteristic known from the documents cited above or the exposure time.
  • the exposure characteristic can show a monotonous linear, sectionally linear or logarithmic course.
  • the data provided by an assistance system in particular an ACC (Adaptive Cruise Control) or navigation system, can be used to set the exposure parameters.
  • An advantage of the described method is that different exposure parameters can be set in each case for the pixels of at least two contiguous regions of a row or column of the image; in extreme cases, even for each pixel of a row or column, a separate set of exposure parameters can be set.
  • the procedure described can be used to statically or dynamically overload a correction matrix for the previously known exposure control for the entire image, ie the use of a uniform exposure parameter set for the entire image, in order to reduce the aforementioned problem of motion blur.
  • the correction matrix allows an increase or a weakening of the exposure parameters in a certain range. This results in shorter maximum exposure times in a weakened area, whereas in a raised area it results in longer exposure times.
  • the pixels for an image output unit or a driver assistance system are output via a data interface, the recorded intensity values can be converted into gray values, taking into account the exposure parameters or the selected characteristic curve, so that even bright pixels are output equally bright despite the different exposure parameters.
  • the aforementioned correction matrix can, as already indicated, be static or dynamic.
  • the image is divided into two regions, of which the first comprises the upper half of the image and the middle region of the lower half of the image, and the second region is formed by the remaining parts of the image.
  • the exposure parameters are selected in such a way that shorter exposure times result in the second range than in the first range.
  • the said first region is typically the region of the horizon and the track in which dynamic, moving objects with high contrasts are to be expected less than in the second named region, which typically defines the roadway edge in the includes closer environment of the vehicle, in which usually traffic signs, pedestrians or even crossing vehicles are expected.
  • Optical flow is a vector field in image processing and in optical measurement technology, which indicates the 2 D direction of motion and velocity for each pixel of an image sequence. The optical flow can thus be understood as the velocity vectors of visible objects projected onto the image plane.
  • a picture with reduced resolution can be used in order to keep the amount of data to be evaluated low for the determination of the optical flow and to enable a fast signal processing;
  • the advantage here is that a scene-dependent adaptation of the exposure parameters is possible.
  • the image acquisition device for the application of the method described above shows an image sensor with a plurality of pixels and a control unit for setting the exposure parameters of at least one of the pixels.
  • the control unit is suitable for setting different exposure parameters for at least two of the pixels at the same time.
  • Figure 1 shows an exemplary, divided into two areas camera image
  • FIG. 2 shows a flowchart for clarifying the method according to the invention. Description of exemplary embodiments
  • FIG. 1 shows an exemplary camera image taken with the image recording device according to the invention, which is subdivided into the hatched first region 1 and the second region 2.
  • the first area 1 of the image comprises those areas in which less rapidly moving objects are to be expected, ie in particular the central area of the lane with the lane 4 and the upper half of the image with the horizon line 5.
  • the second area 2 comprises the surrounding areas of the lane with the traffic sign 3.
  • a separate set of exposure parameters is set.
  • a set of exposure parameters is used for area 2, which leads to shorter exposure times being used in area 2 than in area 1.
  • the typically well-illuminated and fast-moving objects in area 2 are imaged in the area 2 with a relation to the area 1 considerably reduced motion blur, so that in total for the observer, d. H. the driver, an optimized picture results.
  • the optimization consists in particular in the fact that in area 1 due to the possible longer exposure times even darker objects can still be detected with sufficient precision and presented to the user.
  • the information content of the image acquired by the image acquisition device and displayed to the driver or evaluated for an assistance function is considerably increased, which leads to an improvement in traffic safety as a result.
  • FIG. 2 shows by way of example a flowchart of the method according to the invention.
  • those image areas are determined which are suitable for determining the optical flow.
  • those image areas are then defined for which a uniform exposure parameter set is used on the basis of the conditions which are similar there can.
  • the corresponding exposure parameters are calculated and set in a further step for the selected image areas.
  • the image is taken and a recalculation of the pixels to be output is made to absolute brightnesses on the basis of the set exposure parameters, whereupon the image data thus generated are transferred to a driver assistance system for display to the driver or for further processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

The invention relates to a method for image detection for motor vehicles, wherein by means of an image sensor an image of the environment of the vehicle is detected by pixels of an image sensor, and wherein illumination parameters of at least one pixel of the image sensor are set. To this end, for at least two of the pixels different exposure parameters are set at the same time. The invention further relates to a device for carrying out the method.

Description

Beschreibung description
Titeltitle
Verfahren und Vorrichtung zur Bilderfassung für KraftfahrzeugeMethod and device for image acquisition for motor vehicles
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bilderfassung für Kraftfahrzeuge, wobei insbesondere ein in einer Kamera integrierter Bildsensor verwendet wird.The invention relates to a method and a device for image acquisition for motor vehicles, wherein in particular an integrated image sensor in a camera is used.
Stand der TechnikState of the art
Zur Unterstützung der Fahrer von Kraftfahrzeugen kommen in jüngerer Zeit vermehrt Fahrerassistenzsysteme wie beispielsweise Nachtsichtsysteme oder Spurassistenzsysteme zum Einsatz, in denen Kameras zur Umgebungsbeobachtung verwendet werden. Dabei erweist sich das automobile Umfeld als besonders anspruchsvolle Umgebung für den Einsatz derartiger Kameras, die beispielsweise unter Verwendung eines CMOS oder CCD-Bildsensors gebildet sein können. So ändern sich beispielsweise bei einer Einfahrt in einen Tunnel bei Tag oder auch im städtischen Umfeld die Belichtungsverhältnisse ausgesprochen dynamisch. Ferner ist an die Schärfentiefe der verwendeten Systeme eine hohe Anforderung zu stellen, um dem Fahrer eine möglichst umfassende Information über die Situation in unterschiedlichen Entfernungen bieten zu können. Darüber hinaus befinden sich im Sichtfeld der Kamera in der Regel sowohl ausgesprochen schnell bewegte Objekte als auch nahezu statische Bereiche.To assist drivers of motor vehicles, driver assistance systems such as night vision systems or lane assistance systems are increasingly being used more recently, in which cameras are used for environmental observation. In this case, the automotive environment proves to be a particularly demanding environment for the use of such cameras, which may be formed, for example, using a CMOS or CCD image sensor. For example, when driving into a tunnel during the day or even in an urban environment, the lighting conditions change extremely dynamically. Furthermore, a high demand must be placed on the depth of field of the systems used in order to be able to offer the driver as comprehensive information as possible about the situation at different distances. In addition, in the field of view of the camera are usually both very fast moving objects as well as almost static areas.
Um diesen Anforderungen gerecht werden zu können, wurden in der Vergangenheit verschiedene Lösungen vorgeschlagen. So ist beispielsweise in der deutschen Offenlegungs- schrift DE 10 2004 047 476 Al eine Vorrichtung und ein Verfahren zur Einstellung einer Kamera offenbart, bei der bzw. bei dem die Belichtungsparameter für eine Kamera anhand ausgewählter Bildbereiche beispielsweise in Abhängigkeit der Lage des Horizonts eingestellt werden. Dabei können als Belichtungsparameter der Kamera beispielsweise der Gain und/oder der Offset und/oder die Integrationszeit bzw. die Blende verwendet werden. Daneben ist in der deutschen Offenlegungsschrift DE 103 18 499 Al ein Verfahren bzw. eine Vorrichtung zur Einstellung eines Bildsensors beschrieben, bei dem ebenfalls die genannten Parameter eines Bildsensors anhand ausgewählter Bereiche eines aufgenommenen Bildes eingestellt werden.In order to meet these requirements, various solutions have been proposed in the past. For example, German Offenlegungsschrift DE 10 2004 047 476 A1 discloses a device and a method for setting a camera, in which or in which the exposure parameters for a camera are based on selected image areas are set, for example, depending on the position of the horizon. In this case, for example, the gain and / or the offset and / or the integration time or the aperture can be used as exposure parameters of the camera. In addition, DE 103 18 499 A1 describes a method and a device for setting an image sensor in which the parameters of an image sensor are also set on the basis of selected regions of a recorded image.
Die deutsche Offenlegungsschrift DE 103 01 898 Al beschreibt ein Verfahren, bei dem die optimale Kennlinie der Beleuchtungsempfindlichkeit für die Pixel eines Bildsensors aus dem Histogramm der Grauwerte wenigstens eines Bildes ermittelt wird; dabei wird die genannte Kennlinie in der Weise gewählt, dass sie zumindest annähernd mit der optimalen Kennlinie übereinstimmt. Die Definition der Kennlinie sowie Beispiele hierzu finden sich in der genannten Schrift.German Offenlegungsschrift DE 103 01 898 A1 describes a method in which the optimum characteristic of the illumination sensitivity for the pixels of an image sensor is determined from the histogram of the gray values of at least one image; In this case, said characteristic curve is selected in such a way that it at least approximately coincides with the optimum characteristic curve. The definition of the characteristic as well as examples can be found in the cited document.
Nachteilig an den beschriebenen Vorrichtungen bzw. Verfahren aus dem Stand der Technik ist jedoch, dass keine der genannten Vorrichtungen bzw. keines der genannten Verfahren der Tatsache gerecht wird, dass die Bedingungen über das Bild hinweg in verschiedenen Bereichen des Bildes extrem unterschiedlich ausfallen können. Insbesondere das Problem der sogenannten Bewegungsunschärfe ist im Stand der Technik nur unzureichend gelöst. Die genannte Problematik der Bewegungsunschärfe beruht im wesentlichen darauf, dass dunkle Bildbereiche so lange belichtet werden, dass die in ihnen enthaltene Information noch aufgelöst werden kann. Dies führt jedoch dazu, dass durch die erforderliche lange Belichtungszeit bewegte Objekte unscharf abgebildet werden, so dass aufgrund der Eigenbewe- gung des Fahrzeugs sowohl stehende Objekte wie beispielsweise Verkehrsschilder oder auch andere selbst bewegte Objekte, wie beispielsweise querende Fahrzeuge oder Fußgänger, nur verzerrt im Kamerabild erkennbar sind. Da der oben genannte Stand der Technik die Belichtungsparameter jeweils für das gesamte Bild einstellt, werden die Bereiche, in denen die genannten, hochrelevanten Objekte vorhanden sind, in der Regel nur unzureichend dar- gestellt. Vorteile der ErfindungA disadvantage of the described devices or methods of the prior art, however, is that none of the mentioned devices or none of the mentioned methods does justice to the fact that the conditions across the picture can be extremely different in different areas of the picture. In particular, the problem of so-called motion blur is not adequately solved in the prior art. The above problem of motion blur is based essentially on the fact that dark image areas are exposed so long that the information contained in them can still be resolved. However, as a result of the required long exposure time moving objects are blurred, so that due to the self-movement of the vehicle both stationary objects such as traffic signs or other self-moving objects, such as crossing vehicles or pedestrians, only distorted in the camera image are recognizable. Since the above-mentioned prior art adjusts the exposure parameters for the entire image in each case, the areas in which the aforementioned, highly relevant objects are present are generally insufficiently displayed. Advantages of the invention
Ein Vorteil der Erfindung besteht darin, dass die Belichtungsparameter des Bildsensors für jeden Bildbereich angepasst gewählt werden können, so dass jeder Teil des entstehenden Bildes unter optimalen Aufnahmebedingungen erfasst wird. Dies wird dadurch erreicht, dass während der Aufnahme des Bildes mittels eines Bildsensors mit beispielsweise in Zeilen und Spalten angeordneten Pixeln die Belichtungsparameter mindestens eines Pixels des Bildsensors in der Weise eingestellt werden, dass zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt werden können. Dies ermöglicht beispielsweise eine optimierte Kombination einer Lane-Departure-Warning- Funktion mit einer Verkehrszeichenerkennung. Dies beruht darauf, dass auch in dunklen Szenen die Spur des Fahrzeugs gut aufgelöst werden kann, da in den der Spur entsprechenden Bildbereichen mit maximalen Belichtungszeiten gearbeitet werden kann. Umgekehrt ermöglicht es die Erfindung, Verkehrszeichen, die insbesondere in einer geringen Entfernung aufgrund der Beleuchtung durch die Fahrzeugscheinwerfer über eine erhebliche Helligkeit verfügen, scharf abgebildet werden können, da die Belichtungszeit in denjenigen Bildbereichen, in denen die Verkehrszeichen zu erwarten sind (typischerweise in den Randbereichen der Spur), die Belichtungszeit reduziert werden kann. Dabei kann ein Satz von Belichtungsparametern beispielsweise die aus den oben zitierten Schriften bekannten Parameter einer Belichtungskennlinie bzw. die Belichtungszeit enthalten. Die Belichtungskennlinie kann dabei einen mo- notonen linearen, abschnittsweise linearen oder logarithmischen Verlauf zeigen. Darüber hinaus können zur Einstellung der Belichtungsparameter die von einem Assistenzsystem, insbesondere einem ACC- (Adaptive Cruise Control)oder Navigationssystem bereitgestellte Daten verwendet werden.An advantage of the invention is that the exposure parameters of the image sensor can be adjusted for each image area so that each part of the resulting image is captured under optimal shooting conditions. This is achieved by adjusting the exposure parameters of at least one pixel of the image sensor during the acquisition of the image by means of an image sensor with pixels arranged in rows and columns in such a way that different exposure parameters can be set for at least two of the pixels at the same time. This allows, for example, an optimized combination of a lane departure warning function with traffic sign recognition. This is due to the fact that even in dark scenes, the track of the vehicle can be well resolved, since in the image areas corresponding to the track can be used with maximum exposure times. Conversely, the invention makes it possible to sharply map traffic signs, which have a considerable brightness, in particular at a small distance due to the illumination by the vehicle headlights, since the exposure time in those image areas in which the traffic signs are expected (typically in the peripheral areas the track), the exposure time can be reduced. In this case, a set of exposure parameters may contain, for example, the parameters of an exposure characteristic known from the documents cited above or the exposure time. The exposure characteristic can show a monotonous linear, sectionally linear or logarithmic course. In addition, the data provided by an assistance system, in particular an ACC (Adaptive Cruise Control) or navigation system, can be used to set the exposure parameters.
Vorteilhaft an dem geschilderten Verfahren ist, dass für die Pixel mindestens zweier zusammenhängender Bereiche einer Zeile bzw. Spalte des Bildes jeweils unterschiedliche Belichtungsparameter eingestellt werden können; im Extremfall kann sogar für jeden Pixel einer Zeile bzw. Spalte ein eigener Satz von Belichtungsparametern eingestellt werden. Die beschriebene Vorgehensweise kann genutzt werden, um der bisher bekannten Belichtungsregelung für das gesamte Bild, d. h. die Verwendung eines einheitlichen Belichtungsparametersatzes für das gesamte Bild, statisch oder dynamisch eine Korrekturmatrix zu überladen, um die genannte Problematik der Bewegungsunschärfe zu reduzieren. Die Korrek- turmatrix erlaubt dabei eine Anhebung oder auch eine Abschwächung der Belichtungsparameter in einem bestimmten Bereich. Dies führt zu kürzeren maximalen Belichtungszeiten in einem abgeschwächten Bereich, wohingegen sie in einem angehobenen Bereich zu längeren Belichtungszeiten führt. Bei der Ausgabe der Pixel für eine Bildausgabeeinheit oder ein Fahrerassistenzsystem über eine Datenschnittstelle können die aufgenommenen Intensi- tätswerte unter Berücksichtigung der Belichtungsparameter bzw. der gewählten Kennlinie in Grauwerte umgewandelt werden, so dass trotz der unterschiedlichen Belichtungsparameter gleich helle Pixel auch gleich hell ausgegeben werden.An advantage of the described method is that different exposure parameters can be set in each case for the pixels of at least two contiguous regions of a row or column of the image; in extreme cases, even for each pixel of a row or column, a separate set of exposure parameters can be set. The procedure described can be used to statically or dynamically overload a correction matrix for the previously known exposure control for the entire image, ie the use of a uniform exposure parameter set for the entire image, in order to reduce the aforementioned problem of motion blur. The correction matrix allows an increase or a weakening of the exposure parameters in a certain range. This results in shorter maximum exposure times in a weakened area, whereas in a raised area it results in longer exposure times. When the pixels for an image output unit or a driver assistance system are output via a data interface, the recorded intensity values can be converted into gray values, taking into account the exposure parameters or the selected characteristic curve, so that even bright pixels are output equally bright despite the different exposure parameters.
Die genannte Korrekturmatrix kann dabei, wie bereits angedeutet, statisch oder dynamisch sein. Im statischen Fall wird beispielsweise das Bild in zwei Bereich eingeteilt, von denen der erste die obere Bildhälfte und den mittleren Bereich der unteren Bildhälfte umfasst, und der zweite Bereich durch die verbleibenden Teile des Bildes gebildet wird. Dabei werden die Belichtungsparameter in der Weise gewählt, dass sich im zweiten Bereich kürzere Belichtungszeiten ergeben als im ersten Bereich. Dies ist insbesondere deswegen vorteilhaft, da es sich bei dem genannten ersten Bereich typischerweise um den Bereich des Horizonts und der Spur handelt, in dem dynamische, bewegte Objekte mit starken Kontrasten weniger zu erwarten sind als im zweiten genannten Bereich, der typischerweise den Fahrbahnrand in der näheren Umgebung des Fahrzeuges umfasst, in dem üblicherweise Verkehrszeichen, Fußgänger oder auch querende Fahrzeuge zu erwarten sind. Aufgrund der verkürzten Belich- tungszeit in dem genannten zweiten Bereich ist es möglich, die schnell bewegten Objekte in der näheren Fahrzeugumgebung dennoch scharf abzubilden; dies vor allem auch deswegen, weil diese Objekte üblicherweise vom Lichtkegel des Fahrzeugscheinwerfers erfasst oder zumindest gestreift werden und damit eine kürzere Belichtungszeit möglich wird.The aforementioned correction matrix can, as already indicated, be static or dynamic. In the static case, for example, the image is divided into two regions, of which the first comprises the upper half of the image and the middle region of the lower half of the image, and the second region is formed by the remaining parts of the image. The exposure parameters are selected in such a way that shorter exposure times result in the second range than in the first range. This is advantageous in particular because the said first region is typically the region of the horizon and the track in which dynamic, moving objects with high contrasts are to be expected less than in the second named region, which typically defines the roadway edge in the includes closer environment of the vehicle, in which usually traffic signs, pedestrians or even crossing vehicles are expected. Due to the shortened exposure time in said second area, it is possible to still sharply image the fast-moving objects in the closer vehicle environment; This is mainly because these objects are usually detected by the beam of the vehicle headlamp or at least striped and thus a shorter exposure time is possible.
In einer Alternative der Erfindung ist es ebenso möglich, eine sogenannte dynamische Korrekturmatrix zu verwenden. Hierzu werden die Belichtungsparameter für die einzelnen Bild- bereiche unter Verwendung der Bildinformationen selbst festgelegt und zyklisch angepasst. Dabei kann insbesondere der sogenannte optische Fluss zur Bestimmung der Belichtungsparameter für einen bestimmten Bildbereich herangezogen werden. Als Optischer Fluss wird in der Bildverarbeitung und in der optischen Messtechnik ein Vektorfeld bezeichnet, das die 2 D- Bewegungsrichtung und -Geschwindigkeit für jeden Bildpunkt einer Bildsequenz angibt. Der Optische Fluss kann somit als die auf die Bildebene projizierten Geschwindigkeitsvektoren von sichtbaren Objekten verstanden werden. Hierzu kann insbesondere ein Bild mit reduzierter Auflösung verwendet werden, um die auszuwertende Datenmenge für die Bestimmung des optischen Flusses gering zu halten und eine schnelle Signalverarbeitung zu er- möglichen; dabei kann auf Basis des gemessenen optischen Flusses in mindestens zwei zusammenhängenden Bereichen jeweils mit demselben Satz von Belichtungsparametern gearbeitet werden. Vorteilhaft hierbei ist es, dass eine szenenabhängige Anpassung der Belichtungsparameter möglich wird.In an alternative of the invention it is also possible to use a so-called dynamic correction matrix. For this, the exposure parameters for the individual image areas are determined using the image information itself and adjusted cyclically. In particular, the so-called optical flow can be used to determine the exposure parameters for a specific image area. Optical flow is a vector field in image processing and in optical measurement technology, which indicates the 2 D direction of motion and velocity for each pixel of an image sequence. The optical flow can thus be understood as the velocity vectors of visible objects projected onto the image plane. For this purpose, in particular a picture with reduced resolution can be used in order to keep the amount of data to be evaluated low for the determination of the optical flow and to enable a fast signal processing; In this case, it is possible to work on the basis of the measured optical flow in at least two contiguous regions, each with the same set of exposure parameters. The advantage here is that a scene-dependent adaptation of the exposure parameters is possible.
Die erfindungsgemäße Bilderfassungsvorrichtung zur Anwendung des vorstehend beschriebenen Verfahrens zeigt einen Bildsensor mit einer Mehrzahl von Pixeln sowie eine Steuereinheit zur Einstellung der Belichtungsparameter mindestens eines der Pixel. Dabei ist die Steuereinheit geeignet, zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter einzustellen.The image acquisition device according to the invention for the application of the method described above shows an image sensor with a plurality of pixels and a control unit for setting the exposure parameters of at least one of the pixels. In this case, the control unit is suitable for setting different exposure parameters for at least two of the pixels at the same time.
Kurzbeschreibung der ZeichnungBrief description of the drawing
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.The invention will be explained in more detail below with reference to the embodiments shown in the drawing.
Es zeigen:Show it:
Figur 1 ein exemplarisches, in zwei Bereiche unterteiltes Kamerabild;Figure 1 shows an exemplary, divided into two areas camera image;
Figur 2 ein Ablaufdiagramm zur Verdeutlichung des erfindungsgemäßen Verfahrens. Beschreibung von AusführungsbeispielenFIG. 2 shows a flowchart for clarifying the method according to the invention. Description of exemplary embodiments
Figur 1 zeigt ein exemplarisches, mit der erfindungsgemäßen Bildaufnahmevorrichtung aufgenommenes Kamerabild, das in den schraffiert dargestellten ersten Bereich 1 und den zweiten Bereich 2 unterteilt ist. Dabei umfasst der erste Bereich 1 des Bildes diejenigen Be- reiche, in denen mit weniger schnell bewegten Objekten zu rechnen ist, also insbesondere den zentralen Bereich der Spur mit der Fahrbahn 4 sowie die obere Bildhälfte mit der Horizontlinie 5. Der zweite Bereich 2 umfasst die dem Fahrzeug näherliegenden Umgebungsbereiche der Spur mit dem Verkehrszeichen 3. Für jeden der beiden Bereiche 1 und 2 wird ein eigener Satz von Belichtungsparametern eingestellt. Dabei wird für den Bereich 2 ein Satz von Belichtungsparametern verwendet, der dazu führt, dass im Bereich 2 kürzere Belichtungszeiten zur Anwendung kommen als im Bereich 1. Dies führt dazu, dass die typischerweise gut ausgeleuchteten und schnell bewegten Objekte im Bereich 2 trotz der geschilderten hohen Dynamik in dem Bereich 2 mit einer gegenüber dem Bereich 1 erheblich reduzierten Bewegungsunschärfe abgebildet werden, so dass sich insgesamt für den Beobachter, d. h. dem Fahrzeugführer, ein optimiertes Bild ergibt. Die Optimierung besteht dabei insbesondere darin, dass im Bereich 1 aufgrund der dort möglichen längeren Belichtungszeiten auch dunklere Objekte noch mit einer ausreichenden Präzision erfasst und dem Benutzer dargestellt werden können. Dadurch wird der Informationsgehalt des von der Bilderfassungsvorrichtung erfassten und dem Fahrer dargestellten oder für eine Assistenzfunktion ausgewerte- ten Bildes erheblich erhöht, was im Ergebnis zu einer Verbesserung der Verkehrssicherheit führt.FIG. 1 shows an exemplary camera image taken with the image recording device according to the invention, which is subdivided into the hatched first region 1 and the second region 2. In this case, the first area 1 of the image comprises those areas in which less rapidly moving objects are to be expected, ie in particular the central area of the lane with the lane 4 and the upper half of the image with the horizon line 5. The second area 2 comprises the surrounding areas of the lane with the traffic sign 3. For each of the two areas 1 and 2, a separate set of exposure parameters is set. In this case, a set of exposure parameters is used for area 2, which leads to shorter exposure times being used in area 2 than in area 1. As a result, the typically well-illuminated and fast-moving objects in area 2, despite the described high Dynamics are imaged in the area 2 with a relation to the area 1 considerably reduced motion blur, so that in total for the observer, d. H. the driver, an optimized picture results. The optimization consists in particular in the fact that in area 1 due to the possible longer exposure times even darker objects can still be detected with sufficient precision and presented to the user. As a result, the information content of the image acquired by the image acquisition device and displayed to the driver or evaluated for an assistance function is considerably increased, which leads to an improvement in traffic safety as a result.
Figur 2 zeigt in der Art eines Ablaufdiagramms exemplarisch das erfindungsgemäße Verfahren. Dabei werden in einem ersten Verfahrensschritt diejenigen Bildbereiche ermittelt, die zur Bestimmung des optischen Flusses geeignet sind. Hierfür kommen insbesondere solche Bildbereiche in Frage, in denen charakteristische Texturen vorhanden sind.FIG. 2 shows by way of example a flowchart of the method according to the invention. In this case, in a first method step, those image areas are determined which are suitable for determining the optical flow. For this purpose, in particular those image areas in question in which characteristic textures are present.
In einem zweiten Schritt werden dann diejenigen Bildbereiche festgelegt, für die aufgrund der dort ähnlichen Gegebenheiten ein einheitlicher Belichtungsparametersatz verwendet werden kann.In a second step, those image areas are then defined for which a uniform exposure parameter set is used on the basis of the conditions which are similar there can.
In einem nachfolgenden Schritt werden die entsprechenden Belichtungsparameter berechnet und in einem weiteren Schritt für die ausgewählten Bildbereiche eingestellt.In a subsequent step, the corresponding exposure parameters are calculated and set in a further step for the selected image areas.
Nachfolgend wird das Bild aufgenommen und es wird eine Rückrechnung der auszugebenden Pixel auf absolute Helligkeiten auf Basis der eingestellten Belichtungsparameter vorgenommen, worauf die so erzeugten Bilddaten an ein Fahrerassistenzsystem zur Darstellung für den Fahrer oder zur weiteren Verarbeitung übergeben werden.Subsequently, the image is taken and a recalculation of the pixels to be output is made to absolute brightnesses on the basis of the set exposure parameters, whereupon the image data thus generated are transferred to a driver assistance system for display to the driver or for further processing.
Danach kehrt das Verfahren zu Schritt 1 zurück. Thereafter, the process returns to step 1.

Claims

Patentansprüche claims
1. Bilderfassungsverfahren für Kraftfahrzeuge, wobei mittels eines Bildsensors ein Bild der Umgebung des Fahrzeuges durch Pixel eines Bildsensors erfasst wird und wobei Belichtungsparameter mindestens eines Pixels des Bildsensors eingestellt werden, da- durch gekennzeichnet, dass zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter eingestellt werden.1. An image acquisition method for motor vehicles, wherein an image of the surroundings of the vehicle by pixels of an image sensor is detected by means of an image sensor and wherein exposure parameters of at least one pixel of the image sensor are set, characterized in that set for the same time for at least two of the pixels different exposure parameters become.
2. Bilderfassungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Pixel in Zeilen oder Spalten angeordnet sind und für die Pixel mindestens zweier zusammen- hängender Bereiche einer Zeile bzw. Spalte jeweils unterschiedliche Belichtungsparameter eingestellt werden.2. Image acquisition method according to claim 1, characterized in that the pixels are arranged in rows or columns and for the pixels of at least two contiguous regions of a row or column respectively different exposure parameters are set.
3. Bilderfassungsverfahren nach Anspruch 2 , dadurch gekennzeichnet, dass für jeden Pixel ein eigener Satz von Belichtungsparametern eingestellt wird.3. Image acquisition method according to claim 2, characterized in that a separate set of exposure parameters is set for each pixel.
4. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Belichtungsparameter die Belichtungszeit verwendet wird.4. Image acquisition method according to one of the preceding claims, characterized in that the exposure time is used as the exposure parameter.
5. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekenn- zeichnet, dass als Belichtungsparameter die Belichtungskennlinie verwendet wird.5. Image acquisition method according to one of the preceding claims, characterized in that the exposure characteristic is used as the exposure parameter.
6. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bild in zwei Bereiche (1, 2) eingeteilt wird, von denen der erste Bereich (1) die obere Bildhälfte und den mittleren Bereich der unteren Bildhälfte umfasst und der zweite Bereich (2) durch die verbleibenden Teile des Bildes gebildet wird und die Belichtungsparameter in der Weise gewählt werden, dass sich im zweiten Bereich (2) kürzere Belichtungszeiten ergeben als im ersten Bereich (1).6. Image acquisition method according to one of the preceding claims, characterized in that the image is divided into two regions (1, 2), of which the first region (1) comprises the upper image half and the central region of the lower image half and the second region ( 2) is formed by the remaining parts of the image and the exposure parameters are chosen in such a way that in the second area (2) give shorter exposure times than in the first range (1).
7. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche 1-5, dadurch gekennzeichnet, dass die Belichtungsparameter aus Bildinformationen gewonnen und zyklisch angepasst werden.7. Image acquisition method according to one of the preceding claims 1-5, characterized in that the exposure parameters are obtained from image information and adjusted cyclically.
8. Bilderfassungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Belichtungsparameter für mindestens einen Bildbereich unter Verwendung des gemessenen optischen Flusses in diesem Bildbereich ermittelt werden.8. image acquisition method according to claim 7, characterized in that the exposure parameters are determined for at least one image area using the measured optical flow in this image area.
9. Bilderfassungsverfahren nach Anspruch 8, dadurch gekennzeichnet, dass zur Ermittlung der Belichtungsparameter unter Verwendung des optischen Flusses ein Bild mit reduzierter Auflösung verwendet wird.9. Image acquisition method according to claim 8, characterized in that a reduced-resolution image is used to determine the exposure parameters using the optical flow.
10. Bilderfassungsverfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass mindestens eine Bildzeile auf Basis des gemessenen optischen Flusses in mindestens zwei zusammenhängende Bereiche mit jeweils dem selben Satz von Belichtungsparametern unterteilt wird.10. image acquisition method according to any one of claims 8 or 9, characterized in that at least one image line is divided on the basis of the measured optical flow into at least two contiguous areas, each with the same set of exposure parameters.
11. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Einstellung der Belichtungsparameter von einem Assistenzsystem, insbesondere einem ACC- oder Navigationssystem bereitgestellte Daten verwendet werden.11. image acquisition method according to one of the preceding claims, characterized in that for setting the exposure parameters of an assistance system, in particular an ACC or navigation system provided data are used.
12. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ausgabe der aufgenommenen Pixel für eine Bildausgabeeinheit oder ein Fahrerassistenzsystem über eine Datenschnittstelle die aufgenommenen Intensitätswerte unter Berücksichtigung der Belichtungsparameter in der Weise in Grauwerte umgewandelt werden, dass trotz der unterschiedlichen Belichtungsparameter gleich helle Pixel gleich hell ausgegeben werden. 12. Image acquisition method according to one of the preceding claims, characterized in that when outputting the captured pixels for an image output unit or a driver assistance system via a data interface, the recorded intensity values are converted into gray values taking into account the exposure parameters in such a way that despite the different exposure parameters the same bright Pixels are output equal bright.
13. Bilderfassungsvorrichtung zur Erfassung eines Bildes aus der Umgebung eines Fahrzeuges, mit einem Bildsensor mit einer Mehrzahl von Pixeln und einer Steuereinheit zur Einstellung von Belichtungsparametern mindestens eines der Pixel, dadurch gekennzeichnet, dass die Steuereinheit geeignet ist, zum selben Zeitpunkt für mindestens zwei der Pixel unterschiedliche Belichtungsparameter einzustellen.13. An image acquisition device for acquiring an image from the surroundings of a vehicle, comprising an image sensor with a plurality of pixels and a control unit for setting exposure parameters of at least one of the pixels, characterized in that the control unit is suitable at the same time for at least two of the pixels set different exposure parameters.
14. Bilderfassungsvorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Steuereinheit geeignet ist, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen. 14. Image acquisition device according to claim 13, characterized in that the control unit is adapted to carry out the method according to one of claims 1 to 12.
EP08870334A 2008-01-10 2008-11-11 Method and device for image detection for motor vehicles Withdrawn EP2229770A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008003800A DE102008003800A1 (en) 2008-01-10 2008-01-10 Method and device for image acquisition for motor vehicles
PCT/EP2008/065264 WO2009086970A1 (en) 2008-01-10 2008-11-11 Method and device for image detection for motor vehicles

Publications (1)

Publication Number Publication Date
EP2229770A1 true EP2229770A1 (en) 2010-09-22

Family

ID=40386338

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08870334A Withdrawn EP2229770A1 (en) 2008-01-10 2008-11-11 Method and device for image detection for motor vehicles

Country Status (4)

Country Link
US (1) US20110007162A1 (en)
EP (1) EP2229770A1 (en)
DE (1) DE102008003800A1 (en)
WO (1) WO2009086970A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5622648B2 (en) * 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 Image processing device
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
US10258462B2 (en) * 2012-12-26 2019-04-16 Rainbow Medical Ltd. Accommodative intraocular lens
US9713696B2 (en) * 2013-05-21 2017-07-25 V-Wave Ltd. Apparatus and methods for delivering devices for reducing left atrial pressure
JP6291144B2 (en) * 2015-09-11 2018-03-14 富士フイルム株式会社 Driving support device and driving support method using driving support device
DE102017010567A1 (en) * 2017-10-16 2019-04-18 Thomas Jurkschat FILTER SYSTEM FOR ONE CAMERA

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4332612C2 (en) * 1992-09-25 1996-02-22 Yazaki Corp Exterior view monitoring method for motor vehicles
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
EP1044116A2 (en) * 1997-12-31 2000-10-18 Gentex Corporation Vehicle vision system
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
DE10301898A1 (en) 2003-01-17 2004-08-05 Robert Bosch Gmbh Image sensor adjustment method
DE10318499B4 (en) 2003-04-24 2007-12-20 Robert Bosch Gmbh Method and device for adjusting an image sensor
DE102004047476B4 (en) 2004-09-30 2014-05-08 Robert Bosch Gmbh Device and method for adjusting a camera
DE102004061334A1 (en) * 2004-12-20 2006-07-06 Robert Bosch Gmbh Device and method for influencing the incident on an image sensor light
JP4792976B2 (en) * 2006-01-10 2011-10-12 セイコーエプソン株式会社 Imaging device
DE102006028624A1 (en) * 2006-03-31 2007-10-04 Daimlerchrysler Ag Image sensor e.g. complementary metal oxide semiconductor sensor, for motor vehicle, has control device selecting barrier voltage to cancel previous discharge of memory condenser, such that reduced integration time is provided
WO2007134473A1 (en) * 2006-05-22 2007-11-29 Waeny Martin Image recording means with local adaptive exposure control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009086970A1 *

Also Published As

Publication number Publication date
DE102008003800A1 (en) 2009-07-16
US20110007162A1 (en) 2011-01-13
WO2009086970A1 (en) 2009-07-16

Similar Documents

Publication Publication Date Title
EP2384295B1 (en) Camera system and method for capturing the surroundings of a vehicle
EP1303768B1 (en) Method for determining visibility
DE102009055776A1 (en) Method for estimating the roll angle in a moving vehicle
DE102004060402A1 (en) Method and device for determining a vehicle speed
EP3488607B1 (en) Camera device for recording an environmental area of a vehicle, and method for providing a driver assistance function
DE102005055350A1 (en) Method for controlling the visual field size of a video system and video system for a motor vehicle
EP2229770A1 (en) Method and device for image detection for motor vehicles
EP3434523A1 (en) Indirect vision system for a vehicle
DE102014213485A1 (en) DRIVING SUPPORT DEVICE
EP3046076A1 (en) Method for calibrating an image capturing device
DE102007025147A1 (en) Lane departure warning and/or lane keeping function providing system for motor vehicle i.e. car, has camera aligned perpendicularly downward to road surface and serving for recognition of lane marking provided on road surface
DE10146786B4 (en) Device for the automatic switching of lighting devices of a vehicle
DE102013022076A1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
DE102008026876A1 (en) Stereo camera system and method for determining at least one calibration error of a stereo camera system
EP3655299B1 (en) Method and device for determining an optical flow on the basis of an image sequence captured by a camera of a vehicle
DE102008054041B3 (en) Method for outputting of image of image recording device with information to display device i.e. LCD-device, in motor vehicle i.e. passenger car, involves considering intensity of image recorded by recording device as image information
DE102020125232A1 (en) Color correction method for a camera system and a camera system
DE102006037600A1 (en) Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
DE10227171A1 (en) Method and device for visualizing the surroundings of a vehicle with distance-dependent fusion of an infrared and a visual image
DE102008050456B4 (en) Method and apparatus for lane detection
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
DE10318499B4 (en) Method and device for adjusting an image sensor
DE102008062154B4 (en) Control of a camera system of a motor vehicle and driver assistance system
DE102022129805B3 (en) Method for displaying symbolic road markings on a display unit of a vehicle and display system for a vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100810

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20121217

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20130430