DE102018207387A1 - Image generation system for a motor vehicle - Google Patents
Image generation system for a motor vehicle Download PDFInfo
- Publication number
- DE102018207387A1 DE102018207387A1 DE102018207387.2A DE102018207387A DE102018207387A1 DE 102018207387 A1 DE102018207387 A1 DE 102018207387A1 DE 102018207387 A DE102018207387 A DE 102018207387A DE 102018207387 A1 DE102018207387 A1 DE 102018207387A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- color
- color saturation
- brightness
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 description 12
- 238000005286 illumination Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Die Erfindung bezieht sich auf ein elektronisches Bilderzeugungssystem für ein Kraftfahrzeug mit einem elektronischen Bildsensorsystem (7, 8) zur Aufnahme eines farbigen Bildes, einer Verarbeitungseinheit (11) und einer elektronischen Anzeigeeinheit (12) zur Anzeige eines farbigen Bildes, wobei die Verarbeitungseinheit (11) dazu eingerichtet ist, unmittelbar die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten des Bildes zu steuern. Die Steuerung der Farbsättigung kann beispielsweise unter Berücksichtigung von Helligkeiten einzelner Bildabschnitte unter Berücksichtigung der jeweiligen dominanten Farbe erfolgen. The invention relates to an electronic imaging system for a motor vehicle having an electronic image sensor system (7, 8) for capturing a color image, a processing unit (11) and an electronic display unit (12) for displaying a color image, wherein the processing unit (11) is arranged to directly control the color saturation of the image or the color saturation of portions of the image. The control of the color saturation can take place, for example, taking into account the brightnesses of individual image sections taking into account the respective dominant color.
Description
Die Erfindung liegt auf dem Gebiet der Elektronik und der digitalen Datenverarbeitung und ist mit besonderem Vorteil im Bereich der Automobiltechnik anwendbar. Konkreter bezieht sich die Erfindung auf ein kamerabasiertes System, mit dem Bild- und Videodateien im Bereich der Umgebung eines Kraftfahrzeugs aufgenommen und für den Fahrer sichtbar wiedergegeben werden. Insbesondere kann die Erfindung dort Anwendung finden, wo ein kamerabasiertes System zum Ersatz eines Spiegels oder zu dessen Ergänzung dient.The invention is in the field of electronics and digital data processing and is of particular advantage in the automotive field. More particularly, the invention relates to a camera-based system that captures and visually reproduces image and video files in the vicinity of a motor vehicle. In particular, the invention may find application where a camera-based system is used to replace a mirror or to supplement it.
In der Automobiltechnik ist es üblich, an einem Fahrzeug einen oder mehrere Spiegel anzubringen, um dem Fahrer so weit wie möglich eine gute Rundumsicht und einen Überblick über die Verkehrssituation zu geben. Es sind dabei verschiedene Ausführungsformen von Spiegeln und verschiedene Orte im und am Fahrzeug bekannt, an denen Spiegel angeordnet werden können. Beispielsweise können gekrümmte Spiegel vorgesehen werden, um einen großen Blickwinkel zu ermöglichen, oder ebene Spiegel können schräggestellte oder gekrümmte Teilflächen aufweisen, um tote Winkel einsehbar zu machen oder zu verkleinern.In the automotive industry, it is customary to attach one or more mirrors to a vehicle in order to give the driver as far as possible a good all-round view and an overview of the traffic situation. There are various embodiments of mirrors and various locations in and on the vehicle known, where mirrors can be arranged. For example, curved mirrors may be provided to allow a large viewing angle, or planar mirrors may have inclined or curved faces to make blind spots more visible or smaller.
Grundsätzlich sind auch Ideen bekannt, die Spiegel durch Kameras oder kamerabasierte Systeme zu ersetzen. Diese haben den Vorteil, dass die entsprechende Ansicht auf einem Monitor dargestellt werden kann, wobei das Monitorbild unabhängig von der Kopfposition und Haltung des Fahrers ist. Zudem können die entsprechenden Bild- und Videodateien an Umgebungsbedingungen, insbesondere die Umgebungshelligkeit, angepasst werden, und es können Kameras eingesetzt werden, die beispielsweise eine gute Nachtsicht ermöglichen. Damit wird die Übersicht über die Verkehrssituation gegenüber einer Spiegelanordnung deutlich verbessert.In principle, ideas are also known to replace the mirrors with cameras or camera-based systems. These have the advantage that the corresponding view can be displayed on a monitor, wherein the monitor image is independent of the head position and attitude of the driver. In addition, the corresponding image and video files can be adapted to ambient conditions, in particular the ambient brightness, and it is possible to use cameras which, for example, enable good night vision. This significantly improves the overview of the traffic situation compared with a mirror arrangement.
Die üblicherweise verwendeten Bildsensoren haben die Eigenschaft, insbesondere bei reduzierter Außenhelligkeit, beispielsweise nachts, das aufgenommene Bild nicht farbtreu darzustellen. Dies geschieht beispielsweise dadurch, dass das zur Verfügung stehende Licht verstärkt wird, so dass das gesamte Bild in der Farbe der Beleuchtungsquelle, beispielsweise der Straßenbeleuchtung (gelb) oder der Rücklichter von Fahrzeugen (rot), eingefärbt wird. Derart eingefärbte Bilder werden durch das menschliche Sehvermögen bei der Verwendung von Spiegeln zumindest teilweise ausgeglichen. Dies gilt auch bei einem real gefüllten Bild, bei dem das menschliche Sehvermögen die Färbung über einen „White Balance“-Effekt kompensiert, auch bei der Wahrnehmung über einen Spiegel. Bei einem entsprechend eingefärbten Monitorbild wirkt sich eine solche Einfärbung jedoch störend aus.The commonly used image sensors have the property, especially at reduced outdoor brightness, for example, at night, the recorded image does not represent true to color. This happens, for example, by the fact that the available light is amplified, so that the entire picture in the color of the illumination source, for example, the street lighting (yellow) or the taillights of vehicles (red), colored. Such colored images are at least partially counterbalanced by human vision when using mirrors. This also applies to a real filled image in which human vision compensates for the coloration via a "white balance" effect, even when perceived by a mirror. In a correspondingly colored monitor image, however, such a coloring has a disturbing effect.
Der vorliegenden Erfindung liegt daher vor dem Hintergrund des Standes der Technik die Aufgabe zugrunde, ein Bilderzeugungssystem für ein Kraftfahrzeug derart zu gestalten, dass die Anzeige auf einem Monitor möglichst realitätsnah und ausgewogen erscheint. Insbesondere bei der Verwendung von HDR (High Dynamic Range)-Kamerasensoren sollen farblich übersättigte Bilder oder Bildbereiche vermieden werden.The present invention is therefore based on the background of the prior art, the task of designing an imaging system for a motor vehicle such that the display appears as realistic as possible and balanced on a monitor. In particular, when using HDR (High Dynamic Range) camera sensors, color supersaturated images or image areas should be avoided.
Die Aufgabe wird gemäß der Erfindung mit den Merkmalen des Patentanspruchs 1 gelöst. Die von diesem abhängigen Unteransprüche zeigen mögliche Implementierungen eines erfindungsgemäßen elektronischen Bilderzeugungssystems auf. Weiter bezieht sich die Erfindung auf ein Verfahren zur Erzeugung und Anzeige eines Bildes.The object is achieved according to the invention with the features of
Demgemäß bezieht sich die Erfindung auf ein elektronisches Bilderzeugungssystem für ein Kraftfahrzeug mit einem elektronischen Bildsensorsystem zur Aufnahme eines farbigen Bildes, einer Verarbeitungseinheit und einer elektronischen Anzeigeeinheit zur Anzeige eines farbigen Bildes. Bei einem solchen System ist gemäß der Erfindung vorgesehen, dass die Verarbeitungseinheit dazu eingerichtet ist, unmittelbar die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten des Bildes zu steuern.Accordingly, the invention relates to an electronic imaging system for a motor vehicle having an electronic image sensor system for capturing a color image, a processing unit and an electronic display unit for displaying a color image. In such a system it is provided according to the invention that the processing unit is adapted to directly control the color saturation of the image or the color saturation of portions of the image.
Die Farbsättigung ist in vielen Darstellungssystemen für Bilddateien nicht unmittelbar zugänglich oder liegt nicht unmittelbar als Parameter vor. Beispielweise sind die Farbmodelle RGB und YUV so organisiert, dass im RGB-Modell für einen Bildpunkt die Farbintensitäten für die drei Farben Rot, Grün und Blau als Parameter vorliegen. Dieses Farbmodell eignet sich besonders für selbstleuchtende Systeme und additive Farbmischung.Color saturation is not directly accessible in many image file presentation systems or is not immediately available as a parameter. For example, the color models RGB and YUV are organized so that the color intensities for the three colors red, green and blue are present as parameters in the RGB model for one pixel. This color model is particularly suitable for self-luminous systems and additive color mixing.
Das sogenannte YUV-Farbmodell hängt mathematisch mit dem RGB-Signal insofern zusammen, als die Komponenten Y, U, V jeweils gewichtete Summen oder Differenzen der RGB-Werte darstellen. Im YUV-Farbmodell liegen somit Werte von Gesamthelligkeit und Farbdifferenzen (Chrominanz) vor.The so-called YUV color model is mathematically related to the RGB signal insofar as the components Y, U, V each represent weighted sums or differences of the RGB values. Thus, in the YUV color model, values of total brightness and color differences (chrominance) are present.
Dagegen gibt es Farbräume wie HSV oder HSL, wobei im HSV-Farbraum eine Farbe durch den Farbwert (englisch: hue), die Farbsättigung (englisch: saturation) und den Helligkeitswert (englisch: value) definiert ist. Der HSL-Farbraum unterscheidet sich hiervon dadurch, dass ein relativer Helligkeitswert (Luminanz) angegeben wird. In den genannten Farbmodellen liegt somit immer der Parameter der Farbsättigung unmittelbar für jeden Bildpunkt vor und ist entsprechend beeinflussbar und steuerbar.On the other hand, there are color spaces such as HSV or HSL, where in the HSV color space a color is defined by the color value (hue), the saturation (saturation) and the brightness value (English: value). The HSL color space differs from this in that a relative brightness value (luminance) is specified. In the color models mentioned, the color saturation parameter is therefore always present directly for each pixel and can be influenced and controlled accordingly.
Gemäß der Erfindung kann auch vorgesehen sein, die Abhängigkeit nur einzelner Farben zu steuern, beispielsweise in Abhängigkeit von einer erfassten Helligkeit. Diese Abhängigkeit kann linear oder nichtlinear sein.According to the invention, it can also be provided to control the dependency of only individual colors, for example as a function of one recorded brightness. This dependency can be linear or nonlinear.
Das erfindungsgemäße Bilderzeugungssystem weist demnach ein elektronisches Bildsensorsystem auf, beispielsweise in Form einer Matrix von lichtempfindlichen Sensoren, wobei für verschiedene Farben unterschiedliche Sensorpixel vorgesehen sein können. Die einzelnen Sensorpixel messen ortsabhängig Lichtintensitäten für die verschiedenen Farben. Dabei kann die Matrix als HDR(High Dynamic Range)-Matrix ausgebildet sein. Die Gainparameter der einzelnen Sensoren oder Pixel können pixelweise einstellbar sein, um die Empfindlichkeit der einzelnen Sensorpixel einzustellen und damit einen hohen Dynamikumfang des Bildsensorsystems zu erreichen. Die Gainparameter können für die einzelnen Farben und auch für einzelne Sensorpixel separat eingestellt werden. Damit können auch einzelne Bildabschnitte, in denen relativ starke farbige Lichtquellen eine zu hohe Farbsättigung hervorrufen, bezüglich der Farbparameter angepasst werden, um einen verfälschten Farbeindruck zu beseitigen. Diese Absteuerung kann von einem erfassten lokalen Wert der Farbsättigung oder von einem durchschnittlichen Farbsättigungswert des Bildes abhängig gemacht werden, sie kann jedoch auch zusätzlich abhängig von anderen Bildparametern gesteuert werden.The imaging system according to the invention accordingly has an electronic image sensor system, for example in the form of a matrix of light-sensitive sensors, wherein different sensor pixels can be provided for different colors. The individual sensor pixels measure location-dependent light intensities for the different colors. In this case, the matrix can be designed as an HDR (High Dynamic Range) matrix. The gain parameters of the individual sensors or pixels can be set pixel by pixel in order to adjust the sensitivity of the individual sensor pixels and thus to achieve a high dynamic range of the image sensor system. The gain parameters can be set separately for the individual colors and also for individual sensor pixels. Thus, individual image sections in which relatively strong colored light sources cause too high color saturation can be adjusted with respect to the color parameters in order to eliminate a falsified color impression. This duty cycle may be dependent on a detected local value of color saturation or on an average color saturation value of the image, but may be additionally controlled in dependence on other image parameters.
Eine vorteilhafte Ausgestaltung der Erfindung kann dabei vorsehen, dass die Verarbeitungseinheit dazu eingerichtet ist, die Farbsättigung in Abhängigkeit von ortsabhängigen Werten von Farbkoordinaten, Helligkeitswerten und Farbsättigungswerten zu steuern.An advantageous embodiment of the invention can provide that the processing unit is set up to control the color saturation as a function of location-dependent values of color coordinates, brightness values and color saturation values.
Unter den Farbkoordinaten kann dabei ein n-tupel, üblicherweise ein Tripel von Intensitäten oder Intensitätsverhältnissen der einzeln erfassten Farben verstanden werden. Ebenso kann unter den Farbkoordinaten jede andere Repräsentation eines Farbtons, einer Farbmischung oder einer Wellenlänge von Licht in einem Darstellungssystem verstanden werden.In this case, an n-tuple, usually a triple of intensities or intensity ratios of the individually detected colors, can be understood as the color coordinates. Likewise, the color coordinates can be understood to mean any other representation of a hue, a color mixture or a wavelength of light in a display system.
Eine weitere vorteilhafte Ausgestaltung der Erfindung kann vorsehen, dass jeweils einem Bildpixel oder einer Gruppe von Bildpixeln in dem Bildsensorsystem und/oder der Verarbeitungseinheit und/oder der Anzeigeeinheit wenigstens ein Farbsättigungswert zugeordnet ist.A further advantageous embodiment of the invention can provide that at least one color saturation value is assigned to one image pixel or a group of image pixels in the image sensor system and / or the processing unit and / or the display unit.
Es kann zudem vorgesehen sein, dass jeweils einem Bildpixel oder einer Gruppe von Bildpixeln in dem Bildsensorsystem und/oder der Verarbeitungseinheit und/oder der Anzeigeeinheit wenigstens eine Farbkoordinate und/oder ein Helligkeitswert zugeordnet ist.In addition, provision can be made for at least one color coordinate and / or one brightness value to be assigned to one image pixel or a group of image pixels in the image sensor system and / or the processing unit and / or the display unit.
Somit kann die Farbsättigung des Bildes insgesamt, beispielsweise die durchschnittliche Farbsättigung des Bildes oder eine maximale, auf der Bildfläche vorkommende Farbsättigung des Bildes, gezielt auch in Abhängigkeit von Helligkeitswerten oder Farbwerten angesteuert werden. Beispielsweise kann somit erreicht werden, dass die Bereiche des Bildes, in denen die höchsten Helligkeitswerte erreicht werden, bezüglich der Farbsättigung abgesteuert werden.Thus, the color saturation of the image as a whole, for example the average color saturation of the image or a maximum color saturation of the image occurring on the image surface, can also be specifically controlled as a function of brightness values or color values. For example, it can thus be achieved that the areas of the image in which the highest brightness values are achieved are deactivated with respect to the color saturation.
Die Farbsättigung kann auch derart gesteuert werden, dass die Farbsättigung insgesamt in Bildabschnitten, in denen bestimmte Farben dominieren, reduziert wird. Damit kann beispielsweise erreicht werden, dass für den Fall, dass eine Nachtaufnahme durch rote Beleuchtung (beispielsweise durch Rückfahrleuchten von Fahrzeugen) dominiert wird, die Farbsättigung der am hellsten rot erscheinenden Flächen reduziert wird. Damit kann ein Rotstich einer Nachtaufnahme deutlich reduziert werden. Das Gleiche kann für gelb ausgeleuchtete Nachtansichten gelten, wenn durch eine Straßenbeleuchtung eine gelbstichige Ausleuchtung erzielt wird. In diesem Fall kann die Farbsättigung in den am hellsten gelb erscheinenden Flächen oder die Farbsättigung in den überhaupt gelb erscheinenden Flächen reduziert werden. Wahlweise kann auch der Weißabgleich gezielt abgeändert werden, um einen Farbstich zu kompensieren / zu verändern.The color saturation can also be controlled so that the overall color saturation is reduced in image sections in which certain colors dominate. This can be achieved, for example, that in the event that a night shot is dominated by red lighting (for example, by reversing lights of vehicles), the color saturation of the brightest red appearing surfaces is reduced. Thus, a reddish night shot can be significantly reduced. The same can apply to yellow illuminated night views, when a street lighting gives a yellowish illumination. In this case, the color saturation in the brightest yellow appearing areas or the color saturation in the ever appearing yellow areas can be reduced. Optionally, the white balance can be modified to compensate for a color cast / change.
Eine weitere Ausgestaltung der Erfindung kann vorsehen, dass die Verarbeitungseinheit dazu eingerichtet ist, für das Bild oder für einen oder mehrere Abschnitte des Bildes jeweils einen mittleren Farbsättigungswert zu erzielen oder den mittleren Farbsättigungswert nach oben zu begrenzen oder gemäß einer Kennlinie oder mittels eines Reduktionsfaktors zu reduzieren. A further embodiment of the invention can provide that the processing unit is set up to achieve an average color saturation value for the image or for one or more sections of the image or to limit the average color saturation value upward or to reduce it according to a characteristic curve or by means of a reduction factor ,
Beispielsweise kann auch vorausgesetzt werden, dass in keinem Bildabschnitt ein bestimmter Farbsättigungswert überschritten wird. Hierzu können die Größen der Bildabschnitte vordefiniert sein, oder die Größen der Bildabschnitte können auch anhand von vorliegenden Bildparametern ermittelt werden. Hierzu kann beispielsweise die Struktur des Bildes bezüglich der Kontraste analysiert werden, und es kann festgestellt werden, in welchem Rhythmus sich im Bild helle und dunkle Flächen abwechseln, so dass eine sinnvolle Größe von Bildabschnitten gewählt werden kann.For example, it can also be assumed that no particular color saturation value is exceeded in any image section. For this purpose, the sizes of the image sections can be predefined, or the sizes of the image sections can also be determined on the basis of existing image parameters. For this purpose, for example, the structure of the image with respect to the contrasts can be analyzed, and it can be determined in which rhythm light and dark areas alternate in the image, so that a meaningful size of image sections can be selected.
Es kann auch vorgesehen sein, dass die Farbsättigungswerte gemäß einer linearen oder nichtlinearen Kennlinie für das gesamte Bild reduziert werden.It may also be provided that the color saturation values are reduced according to a linear or non-linear characteristic for the entire image.
Eine weitere vorteilhafte Ausgestaltung der Erfindung kann vorsehen, dass die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten des Bildes unter Berücksichtigung der Helligkeit des Bildes, insbesondere einer mittleren Helligkeit des Bildes oder der Helligkeit der Abschnitte des Bildes, gesteuert wird.A further advantageous embodiment of the invention can provide that the color saturation of the Image or the color saturation of portions of the image in consideration of the brightness of the image, in particular a mean brightness of the image or the brightness of the portions of the image, is controlled.
Beispielsweise kann, sobald die mittlere Helligkeit des Bildes einen bestimmten Wert überschreitet, hieraus eine Obergrenze für eine durchschnittliche Farbsättigung des Bildes ermittelt oder eine vorbestimmte Obergrenze ausgewählt werden. Anspruchsvoller, aber in den meisten Fällen auch von höherem Wert, wird eine ortsabhängige Steuerung der Farbsättigung in Abhängigkeit von der Helligkeitsverteilung sein, so dass einzelne Bildabschnitte einzeln bezüglich der Helligkeit und der Farbsättigung untersucht werden und bei Überschreiten bestimmter Helligkeitsgrenzen die Farbsättigung gezielt begrenzt oder gemäß einer Kennlinie herabgesetzt wird.For example, as soon as the average brightness of the image exceeds a certain value, an upper limit for an average color saturation of the image can be determined, or a predetermined upper limit can be selected. Challenging, but in most cases also of higher value, will be a location-dependent control of the color saturation as a function of the brightness distribution, so that individual image sections are individually examined for brightness and color saturation and if certain brightness limits are exceeded, the color saturation is deliberately limited or according to one Characteristic is reduced.
Die Erfindung kann vorteilhaft auch dadurch ausgestaltet werden, dass die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten des Bildes unter Berücksichtigung der Farbkoordinaten des Bildes, insbesondere gemittelter oder dominanter Farbkoordinaten des Bildes oder der Farbkoordinaten der Abschnitte des Bildes, gesteuert wird. Hierbei werden die bei Nachtaufnahmen besonders dominierenden Farben besonders berücksichtigt, wie oben bereits erläutert. Dies gilt insbesondere für die Farben Rot und Gelb, die in Nachtsituationen oft dominant erscheinen. Es können jedoch auch weitere Farben definiert werden, deren Dominanz oder lokale Dominanz im Bild die Absteuerung der Farbsättigung bewirken kann, gegebenenfalls unter der Voraussetzung einer bestimmten Mindesthelligkeit in dem gegebenen Bildabschnitt.The invention can also advantageously be configured by controlling the color saturation of the image or the color saturation of portions of the image taking into account the color coordinates of the image, in particular averaged or dominant color coordinates of the image or the color coordinates of the portions of the image. Here, the dominating at night shots colors are given special consideration, as already explained above. This applies in particular to the colors red and yellow, which often appear dominant in night situations. However, it is also possible to define further colors whose dominance or local dominance in the image can cause the color saturation to be canceled, possibly with the assumption of a certain minimum brightness in the given image section.
Hierzu kann vorteilhaft weiter vorgesehen sein, dass die Verarbeitungseinheit dazu eingerichtet ist, eine tatsächliche mittlere oder ortsabhängige Helligkeit eines Bildes anhand von Belichtungszeiten und internen Verstärkungsfaktoren des Bildsensorsystems zu ermitteln. Dies ist insbesondere bei Verwendung von HDR-Sensoren wichtig, bei denen zur Ermittlung einer höheren Dynamik ein Gainparameter pixelweise einstellbar ist. Ein Helligkeitswert ergibt sich dann erst aus einem gemessenen Helligkeitsintensitätswert unter Berücksichtigung des eingestellten Gainparameters.For this purpose, it can advantageously be further provided that the processing unit is set up to determine an actual average or location-dependent brightness of an image on the basis of exposure times and internal amplification factors of the image sensor system. This is particularly important when using HDR sensors in which a gain parameter can be set pixel by pixel to determine a higher dynamic range. A brightness value then only results from a measured brightness intensity value taking into account the set gain parameter.
Eine Besonderheit bei der Verwendung von HDR-Sensoren kann darin liegen, dass die Gainparameter nicht in unmittelbarer Nähe des Bildsensors ermittelt und eingestellt werden, sondern dass diese Werte in einer Verarbeitungseinheit ermittelt und vorgewählt und von dort aus im Bildsensor eingestellt werden. Die Verarbeitungseinheit liegt beispielsweise bei einem Fahrzeug in einem solchen Fall nicht notwendigerweise nahe am Bildsensor, sondern sie kann in eine intelligente Verarbeitungseinheit des Fahrzeugs, beispielsweise eine ECU, integriert sein. Liegt der Bildsensor in einem solchen Fall beispielsweise in solchen Bereichen, in denen üblicherweise Spiegel angeordnet sind, so kann die Entfernung zwischen der Verarbeitungseinheit und dem Bildsensor mehr als 1 m betragen. Der Vorteil einer zentralen Bearbeitung der Bilddaten oder einer zentralen Steuerung von Bildsensoren liegt darin, dass in einer einzigen Verarbeitungseinheit auch mehrere Bildsensoren gesteuert werden können. Dies kann beispielsweise in einem Kraftfahrzeug mehrere Bildsensoren betreffen, die als Ersatz für diverse Spiegel an dem Fahrzeug eingesetzt werden. Es kann auch eine Harmonisierung von Bilddaten oder Voreinstellungen der Bildsensoren mittels der zentralen Verarbeitungseinheit erreicht werden.A special feature in the use of HDR sensors may be that the gain parameters are not determined and adjusted in the immediate vicinity of the image sensor, but that these values are determined in a processing unit and preselected and set from there in the image sensor. For example, in such a case, the processing unit is not necessarily close to the image sensor in a vehicle, but may be integrated into an intelligent processing unit of the vehicle, such as an ECU. If the image sensor is in such a case, for example, in those areas in which usually mirrors are arranged, the distance between the processing unit and the image sensor may be more than 1 m. The advantage of a central processing of the image data or of a central control of image sensors lies in the fact that a plurality of image sensors can also be controlled in a single processing unit. In a motor vehicle, for example, this can relate to a plurality of image sensors which are used as a replacement for various mirrors on the vehicle. It is also possible to achieve a harmonization of image data or presets of the image sensors by means of the central processing unit.
Die Erfindung bezieht sich außer auf ein elektronisches Bilderzeugungssystem auch auf ein Verfahren zur Erzeugung und Anzeige eines Bildes mittels eines elektronischen Bilderzeugungssystems für ein Kraftfahrzeug mit einem elektronischen Bildsensorsystem zur Aufnahme eines farbigen Bildes, einer Verarbeitungseinheit und einer elektronischen Anzeigeeinheit zur Anzeige eines farbigen Bildes. Die Aufgabe wird mit den Merkmalen der Erfindung dadurch gelöst, dass durch die Verarbeitungseinheit unmittelbar die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes gesteuert wird.The invention relates, in addition to an electronic imaging system, to a method of generating and displaying an image by means of an electronic imaging system for a motor vehicle having an electronic image sensor system for capturing a color image, a processing unit and an electronic display unit for displaying a color image. The object is achieved with the features of the invention in that the color saturation of the image or the color saturation of at least a portion of the image is controlled by the processing unit directly.
Dabei kann beispielsweise vorgesehen sein, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes in Abhängigkeit von Helligkeitswerten des Bildes oder Helligkeitswerten von wenigstens einem Abschnitt des Bildes gesteuert wird. Damit kann sichergestellt werden, dass insbesondere bei Nachtaufnahmen die stark beleuchteten Stellen des Bildes bezüglich ihrer Farbsättigung reduziert werden können. Es kann auch insgesamt bei einer starken künstlichen Aufhellung eines Nachtbildes die Farbsättigung über das gesamte Bild begrenzt, um einen bestimmten Faktor reduziert oder in der Dynamik komprimiert werden.In this case, it may be provided, for example, that the color saturation of the image or the color saturation of at least one section of the image is controlled as a function of brightness values of the image or brightness values of at least one section of the image. This ensures that, especially at night, the heavily illuminated areas of the image can be reduced in terms of their color saturation. It can also be limited in total with a strong artificial brightening of a night image, the color saturation over the entire image, reduced by a certain factor or compressed in the dynamics.
Eine weitere Ausgestaltung des erfindungsgemäßen Verfahrens kann vorsehen, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes in Abhängigkeit von Farbkoordinaten oder dominierenden Farbkoordinaten des Bildes oder Farbkoordinaten oder dominierenden Farbkoordinaten von wenigstens einem Abschnitt des Bildes gesteuert wird. Damit können vornehmlich farbig dominierende Beleuchtungsquellen im Bild bezüglich der Farbsättigung reduziert werden, oder ein Farbstich des Bildes, der durch eine farbige Beleuchtung entsteht, kann bei Nachtaufnahmen durch Verringerung der Farbsättigung reduziert werden.A further embodiment of the method according to the invention can provide that the color saturation of the image or the color saturation of at least one section of the image is controlled as a function of color coordinates or dominant color coordinates of the image or color coordinates or dominant color coordinates of at least a portion of the image. It is thus possible to reduce predominantly color-dominating illumination sources in the image with respect to the color saturation, or a color cast of the image which results from a colored illumination can be used Night shots are reduced by reducing the color saturation.
Eine weitere Ausgestaltung der Erfindung kann vorsehen, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes gesenkt wird, wenn die Helligkeit oder ein Durchschnittswert der Helligkeit in wenigstens einem Bildabschnitt einen bestimmten vorgegebenen Wert überschreitet und die dominierenden Farbkoordinaten des betreffenden Abschnittes in einem vorgegebenen Bereich liegen. Mit dieser Vorgehensweise lassen sich besondere Standardbeleuchtungssituationen, insbesondere bei Nachtaufnahmen oder in unterbeleuchteten Situationen, verbessern. Solche Standardsituationen können beispielsweise durch eine rote Ausleuchtung des Sichtfelds des Bildsensors durch Rückleuchten von anderen Fahrzeugen oder dem eigenen Fahrzeug gegeben sein, oder durch eine gelbliche Ausleuchtung infolge einer gelblich getönten Straßenbeleuchtung. Es sind jedoch auch andere Fälle einer farbig dominierten Ausleuchtung des Sichtfelds eines Bildsensors vorstellbar.A further embodiment of the invention can provide that the color saturation of the image or the color saturation of at least a portion of the image is lowered if the brightness or an average value of the brightness in at least one image section exceeds a certain predetermined value and the dominant color coordinates of the relevant section in FIG lie within a predetermined range. This procedure can be used to improve special standard lighting situations, especially in the case of night scenes or in under-lit situations. Such standard situations can be given for example by a red illumination of the field of view of the image sensor by taillights from other vehicles or the own vehicle, or by a yellowish illumination due to a yellowish tinted street lighting. However, other cases of a color dominated illumination of the field of view of an image sensor are conceivable.
Es kann zudem vorgesehen sein, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes gesenkt wird, wenn die mittlere Helligkeit des Bildes oder eines Abschnittes des Bildes einen bestimmten vorgegebenen Wert überschreitet und die dominierenden Farbkoordinaten des Bildes in einem vorgegebenen Bereich liegen. Diese Vorgehensweise ermöglicht es, intensive Beleuchtungsquellen im Sichtfeld des Bildsensors, die intensiv eingefärbt sind, bezüglich der Farbsättigung zu reduzieren.It can also be provided that the color saturation of the image or the color saturation of at least a portion of the image is lowered when the average brightness of the image or a portion of the image exceeds a certain predetermined value and the dominant color coordinates of the image are in a predetermined range , This approach makes it possible to reduce intense illumination sources in the field of view of the image sensor, which are intensely colored, with respect to the color saturation.
Zusätzlich zur Farbsättigung kann in den verschiedenen oben beschriebenen Situationen auch die Helligkeit insgesamt über die Bildfläche oder in einzelnen Bildabschnitten gesenkt werden, beispielsweise durch eine Senkung um einen Reduktionsfaktor oder eine Beschränkung auf eine bestimmte Obergrenze.In addition to the color saturation, in the various situations described above, the brightness as a whole may also be reduced over the image area or in individual image sections, for example by a reduction by a reduction factor or a limitation to a certain upper limit.
Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen in Figuren einer Zeichnung gezeigt und nachfolgend beschrieben. Dabei zeigt:
-
1 eine schematische Übersichtsdarstellung eines Fahrzeugs in einer Ansicht von oben mit einem Bilderzeugungssystem, -
2 schematisch ein Bildsensorsystem, -
3 schematisch eine Sensormatrix eines Bildsensorsystems in einer perspektivischen Darstellung, -
4 den Aufbau eines dreizelligen Sensorpixels, -
5 schematisch ein aufgenommenes Bild mit zwei besonders hellen Bildpunkten sowie -
6 ein Bild, das eine Verkehrsampel und ihre Umgebung bei Rotlicht zeigt.
-
1 FIG. 2 a schematic overview representation of a vehicle in a top view with an image generation system, FIG. -
2 schematically an image sensor system, -
3 schematically a sensor matrix of an image sensor system in a perspective view, -
4 the construction of a three-cell sensor pixel, -
5 schematically a recorded image with two particularly bright pixels as well -
6 a picture showing a traffic light and its surroundings under red light.
In
Die Bildsensormatrix weist eine Vielzahl von Sensorpixeln auf, die in
Die einzelnen Sensorpixel
Durch die Verarbeitungseinheit
Zudem kann die Farbsättigung an bestimmten Stellen oder in bestimmten Abschnitten des Bildes auf bestimmte vorwählbare Werte begrenzt oder um vorwählbare Reduktionsfaktoren reduziert werden. Das Maß der Begrenzung oder Reduktion von Farbsättigungswerten über das gesamte Bild oder in einzelnen Bildabschnitten kann beispielsweise ausschließlich von den erfassten Farbsättigungswerten abhängen. Das Begrenzungsmaß oder der Reduktionsfaktor der Farbsättigung kann aber auch zusätzlich abhängig von der gemessenen Helligkeit, der durchschnittlichen Helligkeit des Bildes oder Helligkeitsmaxima in bestimmten Bildabschnitten gesteuert werden.In addition, color saturation at certain points or in certain sections of the image can be limited to certain preselectable values or reduced by preselectable reduction factors. The amount of limitation or reduction of color saturation values over the entire image or in individual image sections may, for example, depend exclusively on the detected color saturation values. The limiting dimension or the reduction factor of the color saturation can, however, also be controlled in dependence on the measured brightness, the average brightness of the image or brightness maxima in specific image sections.
Zusätzlich kann zur Bestimmung der Begrenzung oder Reduktion des Sättigungswerts für das gesamte Bild oder Bildabschnitte jeweils eine Farbe berücksichtigt werden, die im Bild oder in bestimmten Bildabschnitten mit besonderer Intensität oder Helligkeit vertreten ist. Beispielsweise kann durch die Detektion der Dominanz roter Farbe auf eine Beleuchtung durch Rückfahrlichter geschlossen werden, und daraufhin kann die Farbsättigung entweder in den Bildabschnitten mit besonderer Helligkeit oder auch in allen Bildabschnitten reduziert werden.In addition, to determine the limitation or reduction of the saturation value for the entire image or image sections, in each case a color that is represented in the image or in specific image sections with particular intensity or brightness can be taken into account. For example, it can be concluded by the detection of the dominance of red color on illumination by reversing lights, and then the color saturation can be reduced either in the image sections with particular brightness or in all image sections.
Die Reduktion oder Begrenzung der Farbsättigungswerte kann auch nach einer Kennlinie erfolgen, die beispielsweise hohen Helligkeitswerten eine besonders starke Reduktion des Farbsättigungswerts und geringen Helligkeitswerten eine geringe Reduktion des Farbsättigungswerts oder gar keine Reduktion zuordnet. Die Kennlinie kann auch jeweils noch von der dominierenden Farbe abhängig sein.The reduction or limitation of the color saturation values can also take place according to a characteristic curve which, for example, associates a particularly high reduction of the color saturation value and low brightness values a slight reduction of the color saturation value or no reduction at all. The characteristic curve can also always be dependent on the dominant color.
In
In
In
Mit der beschriebenen Erfindung lassen sich somit gute Bildqualitäten auch bei widrigen Bedingungen, insbesondere Nachtsicht oder Nebel, mit entsprechend empfindlichen Bildsensoren erzeugen, ohne dass die hohe Sensitivität der Sensoren durch einen Farbstich zu einer Fehldarstellung führen würde.With the described invention, therefore, good image qualities can be produced even with adverse conditions, in particular night vision or fog, with correspondingly sensitive image sensors, without the high sensitivity of the sensors resulting in a misrepresentation due to a color cast.
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018207387.2A DE102018207387B4 (en) | 2018-05-14 | 2018-05-14 | Imaging system for a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018207387.2A DE102018207387B4 (en) | 2018-05-14 | 2018-05-14 | Imaging system for a motor vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102018207387A1 true DE102018207387A1 (en) | 2019-11-14 |
DE102018207387B4 DE102018207387B4 (en) | 2020-07-16 |
Family
ID=68336861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018207387.2A Active DE102018207387B4 (en) | 2018-05-14 | 2018-05-14 | Imaging system for a motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018207387B4 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080291287A1 (en) * | 2007-05-23 | 2008-11-27 | Itsik Dvir | Dynamic Range Compensation by Filter Cascade |
DE102014210323A1 (en) * | 2014-06-02 | 2015-12-03 | Conti Temic Microelectronic Gmbh | Apparatus and method for adaptive image correction of at least one image parameter |
-
2018
- 2018-05-14 DE DE102018207387.2A patent/DE102018207387B4/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080291287A1 (en) * | 2007-05-23 | 2008-11-27 | Itsik Dvir | Dynamic Range Compensation by Filter Cascade |
DE102014210323A1 (en) * | 2014-06-02 | 2015-12-03 | Conti Temic Microelectronic Gmbh | Apparatus and method for adaptive image correction of at least one image parameter |
Also Published As
Publication number | Publication date |
---|---|
DE102018207387B4 (en) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102008021148B4 (en) | Method and device for faithful reproduction of colors on screens | |
DE4002298C2 (en) | Method and device for the automatic correction of color casts in electronic image processing | |
DE102011106052B4 (en) | Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core | |
DE19908211A1 (en) | Determining color of illuminant during photographic imaging e.g. in digital camera by removing luminous region with RGB value greater than threshold | |
DE10203421C1 (en) | Automobile display unit for IR night visibility device has image processor for reducing brightness level of identified bright points in night visibility image | |
DE102009034260B4 (en) | Display device for a vehicle | |
DE202007007054U1 (en) | Operation lighting system, has control device for adjusting color temperature of operation lamp, and camera for recording operation, where adjusted temperature is transmitted to camera that is connected with control device by data cable | |
DE112016004454T5 (en) | Endoscope system and evaluation value calculation device | |
EP2367360A2 (en) | Method for correcting color errors in images from digital color cameras | |
DE112018007715B4 (en) | VEHICLE ON-BOARD DISPLAY CONTROL DEVICE | |
DE102009036844A1 (en) | Exposure determining device and image processing device | |
DE102008017787A1 (en) | Vehicle display device | |
DE102013203429B4 (en) | Method for illuminating an environment, lighting device and camera with lighting device | |
EP1503580A1 (en) | Sensor arrangement including a plurality of sensor types | |
DE10059141B4 (en) | Open-loop method for calibrating the light intensity | |
DE10220825A1 (en) | Image pickup device for motor vehicle driver assistance system, has image pickup element corresponding to pixel of image detection device | |
EP1252757B1 (en) | Method and device for modifying the color intensity of electronically acquired images | |
DE112016000067T5 (en) | Image processing means | |
DE102018207387B4 (en) | Imaging system for a motor vehicle | |
DE102018207388B4 (en) | Method and device for generating a display image in a motor vehicle | |
DE102014114328A1 (en) | Motor vehicle camera device with histogram spread | |
DE112010005650B4 (en) | Imaging system, imaging device and display device | |
DE102018207386B3 (en) | Method and imaging system for generating a display image in a motor vehicle | |
DE102021132645A1 (en) | Image sensor arrangement, vehicle camera and method for controlling an image sensor arrangement | |
DE102017103660B4 (en) | METHOD OF OPERATING A LIGHT SOURCE FOR A CAMERA, LIGHT SOURCE, CAMERA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0005235000 Ipc: H04N0023700000 |
|
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE |