DE102018207387B4 - Imaging system for a motor vehicle - Google Patents
Imaging system for a motor vehicle Download PDFInfo
- Publication number
- DE102018207387B4 DE102018207387B4 DE102018207387.2A DE102018207387A DE102018207387B4 DE 102018207387 B4 DE102018207387 B4 DE 102018207387B4 DE 102018207387 A DE102018207387 A DE 102018207387A DE 102018207387 B4 DE102018207387 B4 DE 102018207387B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- color saturation
- color
- brightness
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 12
- 230000002829 reductive effect Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Abstract
Elektronisches Bilderzeugungssystem für ein Kraftfahrzeug (1) mit einem elektronischen Bildsensorsystem (7, 8) zur Aufnahme eines farbigen Bildes, einer Verarbeitungseinheit (11) und einer elektronischen Anzeigeeinheit (12) zur Anzeige eines farbigen Bildes, dadurch gekennzeichnet, dass die Verarbeitungseinheit (11) dazu eingerichtet ist, unmittelbar die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten (13', 13'', 14', 14'', 15', 16') des Bildes zu steuern, und dass die Verarbeitungseinheit dazu eingerichtet ist, für das Bild oder für einen oder mehrere Abschnitte (13', 13'', 14', 14'', 15', 16') des Bildes jeweils einen mittleren Farbsättigungswert zu erzielen oder den mittleren Farbsättigungswert nach oben zu begrenzen oder gemäß einer Kennlinie oder mittels eines Reduktionsfaktors zu reduzieren.Electronic imaging system for a motor vehicle (1) with an electronic image sensor system (7, 8) for recording a colored image, a processing unit (11) and an electronic display unit (12) for displaying a colored image, characterized in that the processing unit (11) is set up to directly control the color saturation of the image or the color saturation of sections (13 ', 13' ', 14', 14 '', 15 ', 16') of the image, and that the processing unit is set up for the Image or for one or more sections (13 ', 13' ', 14', 14 '', 15 ', 16') of the image to achieve an average color saturation value or to limit the average color saturation value or according to a characteristic curve or by means of to reduce a reduction factor.
Description
Die Erfindung liegt auf dem Gebiet der Elektronik und der digitalen Datenverarbeitung und ist mit besonderem Vorteil im Bereich der Automobiltechnik anwendbar. Konkreter bezieht sich die Erfindung auf ein kamerabasiertes System, mit dem Bild- und Videodateien im Bereich der Umgebung eines Kraftfahrzeugs aufgenommen und für den Fahrer sichtbar wiedergegeben werden. Insbesondere kann die Erfindung dort Anwendung finden, wo ein kamerabasiertes System zum Ersatz eines Spiegels oder zu dessen Ergänzung dient.The invention is in the field of electronics and digital data processing and can be used with particular advantage in the field of automotive technology. More specifically, the invention relates to a camera-based system with which image and video files are recorded in the area of a motor vehicle and are displayed to the driver in a visible manner. In particular, the invention can be used where a camera-based system is used to replace a mirror or to supplement it.
In der Automobiltechnik ist es üblich, an einem Fahrzeug einen oder mehrere Spiegel anzubringen, um dem Fahrer so weit wie möglich eine gute Rundumsicht und einen Überblick über die Verkehrssituation zu geben. Es sind dabei verschiedene Ausführungsformen von Spiegeln und verschiedene Orte im und am Fahrzeug bekannt, an denen Spiegel angeordnet werden können. Beispielsweise können gekrümmte Spiegel vorgesehen werden, um einen großen Blickwinkel zu ermöglichen, oder ebene Spiegel können schräggestellte oder gekrümmte Teilflächen aufweisen, um tote Winkel einsehbar zu machen oder zu verkleinern.In automotive engineering, it is common to attach one or more mirrors to a vehicle in order to give the driver a good all-round view as far as possible and an overview of the traffic situation. Different embodiments of mirrors and different locations in and on the vehicle are known in which mirrors can be arranged. For example, curved mirrors can be provided to enable a large viewing angle, or flat mirrors can have inclined or curved partial surfaces in order to make blind spots visible or to reduce them.
Grundsätzlich sind auch Ideen bekannt, die Spiegel durch Kameras oder kamerabasierte Systeme zu ersetzen. Diese haben den Vorteil, dass die entsprechende Ansicht auf einem Monitor dargestellt werden kann, wobei das Monitorbild unabhängig von der Kopfposition und Haltung des Fahrers ist. Zudem können die entsprechenden Bild- und Videodateien an Umgebungsbedingungen, insbesondere die Umgebungshelligkeit, angepasst werden, und es können Kameras eingesetzt werden, die beispielsweise eine gute Nachtsicht ermöglichen. Damit wird die Übersicht über die Verkehrssituation gegenüber einer Spiegelanordnung deutlich verbessert.In principle, ideas are known to replace the mirrors with cameras or camera-based systems. These have the advantage that the corresponding view can be displayed on a monitor, the monitor image being independent of the driver's head position and posture. In addition, the corresponding image and video files can be adapted to ambient conditions, in particular the ambient brightness, and cameras can be used which, for example, enable good night vision. This significantly improves the overview of the traffic situation compared to a mirror arrangement.
Dokument
Dokument
Die üblicherweise verwendeten Bildsensoren haben die Eigenschaft, insbesondere bei reduzierter Außenhelligkeit, beispielsweise nachts, das aufgenommene Bild nicht farbtreu darzustellen. Dies geschieht beispielsweise dadurch, dass das zur Verfügung stehende Licht verstärkt wird, so dass das gesamte Bild in der Farbe der Beleuchtungsquelle, beispielsweise der Straßenbeleuchtung (gelb) oder der Rücklichter von Fahrzeugen (rot), eingefärbt wird. Derart eingefärbte Bilder werden durch das menschliche Sehvermögen bei der Verwendung von Spiegeln zumindest teilweise ausgeglichen. Dies gilt auch bei einem real gefüllten Bild, bei dem das menschliche Sehvermögen die Färbung über einen „White Balance“-Effekt kompensiert, auch bei der Wahrnehmung über einen Spiegel. Bei einem entsprechend eingefärbten Monitorbild wirkt sich eine solche Einfärbung jedoch störend aus.The image sensors usually used have the property, particularly in the case of reduced outside brightness, for example at night, of not displaying the recorded image true to color. This is done, for example, by amplifying the available light so that the entire image is colored in the color of the lighting source, for example street lighting (yellow) or the rear lights of vehicles (red). Images colored in this way are at least partially compensated for by human eyesight when using mirrors. This also applies to a real filled image, in which human eyesight compensates the coloring via a “white balance” effect, also when perceived via a mirror. In the case of a correspondingly colored monitor image, however, such coloring has a disruptive effect.
Der vorliegenden Erfindung liegt daher vor dem Hintergrund des Standes der Technik die Aufgabe zugrunde, ein Bilderzeugungssystem für ein Kraftfahrzeug derart zu gestalten, dass die Anzeige auf einem Monitor möglichst realitätsnah und ausgewogen erscheint. Insbesondere bei der Verwendung von HDR(High Dynamic Range)-Kamerasensoren sollen farblich übersättigte Bilder oder Bildbereiche vermieden werden.Against the background of the prior art, the present invention is therefore based on the object of designing an image generation system for a motor vehicle in such a way that the display on a monitor appears as realistic and balanced as possible. In particular, when using HDR (High Dynamic Range) camera sensors, color-saturated images or image areas should be avoided.
Die Aufgabe wird gemäß der Erfindung mit den Merkmalen des Patentanspruchs 1 gelöst. Die von diesem abhängigen Unteransprüche zeigen mögliche Implementierungen eines erfindungsgemäßen elektronischen Bilderzeugungssystems auf. Weiter bezieht sich die Erfindung auf ein Verfahren zur Erzeugung und Anzeige eines Bildes gemäß Anspruch 8.The object is achieved according to the invention with the features of
Demgemäß bezieht sich die Erfindung auf ein elektronisches Bilderzeugungssystem für ein Kraftfahrzeug mit einem elektronischen Bildsensorsystem zur Aufnahme eines farbigen Bildes, einer Verarbeitungseinheit und einer elektronischen Anzeigeeinheit zur Anzeige eines farbigen Bildes. Bei einem solchen System ist gemäß der Erfindung vorgesehen, dass die Verarbeitungseinheit dazu eingerichtet ist, unmittelbar die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten des Bildes zu steuern.Accordingly, the invention relates to an electronic image generation system for a motor vehicle with an electronic image sensor system for recording a color image, a processing unit and an electronic display unit for displaying a color image. In such a system it is provided according to the invention that the processing unit is set up to directly control the color saturation of the image or the color saturation of sections of the image.
Die Farbsättigung ist in vielen Darstellungssystemen für Bilddateien nicht unmittelbar zugänglich oder liegt nicht unmittelbar als Parameter vor. Beispielweise sind die Farbmodelle RGB und YUV so organisiert, dass im RGB-Modell für einen Bildpunkt die Farbintensitäten für die drei Farben Rot, Grün und Blau als Parameter vorliegen. Dieses Farbmodell eignet sich besonders für selbstleuchtende Systeme und additive Farbmischung.In many display systems, color saturation is not directly accessible for image files or is not immediately available as a parameter. For example, the color models RGB and YUV are organized in such a way that the color intensities for the three colors red, green and blue are available as parameters in the RGB model for one pixel. This color model is particularly suitable for self-illuminating systems and additive color mixing.
Das sogenannte YUV-Farbmodell hängt mathematisch mit dem RGB-Signal insofern zusammen, als die Komponenten Y, U, V jeweils gewichtete Summen oder Differenzen der RGB-Werte darstellen. Im YUV-Farbmodell liegen somit Werte von Gesamthelligkeit und Farbdifferenzen (Chrominanz) vor.The so-called YUV color model is mathematically related to the RGB signal in that the components Y, U, V each represent weighted sums or differences of the RGB values. In the YUV color model there are values of overall brightness and color differences (chrominance).
Dagegen gibt es Farbräume wie HSV oder HSL, wobei im HSV-Farbraum eine Farbe durch den Farbwert (englisch: hue), die Farbsättigung (englisch: saturation) und den Helligkeitswert (englisch: value) definiert ist. Der HSL-Farbraum unterscheidet sich hiervon dadurch, dass ein relativer Helligkeitswert (Luminanz) angegeben wird. In den genannten Farbmodellen liegt somit immer der Parameter der Farbsättigung unmittelbar für jeden Bildpunkt vor und ist entsprechend beeinflussbar und steuerbar.In contrast, there are color spaces such as HSV or HSL, whereby in the HSV color space a color is defined by the color value (English: hue), the color saturation (English: saturation) and the brightness value (English: value). The HSL color space differs from this in that a relative brightness value (luminance) is specified. In the color models mentioned, the parameter of the color saturation is therefore immediately available for each pixel and can be influenced and controlled accordingly.
Gemäß der Erfindung kann auch vorgesehen sein, die Abhängigkeit nur einzelner Farben zu steuern, beispielsweise in Abhängigkeit von einer erfassten Helligkeit. Diese Abhängigkeit kann linear oder nichtlinear sein.According to the invention, provision can also be made to control the dependency of only individual colors, for example in dependence on a detected brightness. This dependency can be linear or non-linear.
Das erfindungsgemäße Bilderzeugungssystem weist demnach ein elektronisches Bildsensorsystem auf, beispielsweise in Form einer Matrix von lichtempfindlichen Sensoren, wobei für verschiedene Farben unterschiedliche Sensorpixel vorgesehen sein können. Die einzelnen Sensorpixel messen ortsabhängig Lichtintensitäten für die verschiedenen Farben. Dabei kann die Matrix als HDR(High Dynamic Range)-Matrix ausgebildet sein. Die Gainparameter der einzelnen Sensoren oder Pixel können pixelweise einstellbar sein, um die Empfindlichkeit der einzelnen Sensorpixel einzustellen und damit einen hohen Dynamikumfang des Bildsensorsystems zu erreichen. Die Gainparameter können für die einzelnen Farben und auch für einzelne Sensorpixel separat eingestellt werden. Damit können auch einzelne Bildabschnitte, in denen relativ starke farbige Lichtquellen eine zu hohe Farbsättigung hervorrufen, bezüglich der Farbparameter angepasst werden, um einen verfälschten Farbeindruck zu beseitigen. Diese Absteuerung kann von einem erfassten lokalen Wert der Farbsättigung oder von einem durchschnittlichen Farbsättigungswert des Bildes abhängig gemacht werden, sie kann jedoch auch zusätzlich abhängig von anderen Bildparametern gesteuert werden.The image generation system according to the invention accordingly has an electronic image sensor system, for example in the form of a matrix of light-sensitive sensors, wherein different sensor pixels can be provided for different colors. The individual sensor pixels measure light intensities for the different colors depending on their location. The matrix can be designed as an HDR (High Dynamic Range) matrix. The gain parameters of the individual sensors or pixels can be adjustable pixel by pixel in order to adjust the sensitivity of the individual sensor pixels and thus to achieve a high dynamic range of the image sensor system. The gain parameters can be set separately for the individual colors and also for individual sensor pixels. Individual image sections in which relatively strong colored light sources cause excessive color saturation can thus also be adapted with regard to the color parameters in order to eliminate a falsified color impression. This control can be made dependent on a detected local value of the color saturation or on an average color saturation value of the image, but it can also be controlled depending on other image parameters.
Eine vorteilhafte Ausgestaltung der Erfindung kann dabei vorsehen, dass die Verarbeitungseinheit dazu eingerichtet ist, die Farbsättigung in Abhängigkeit von ortsabhängigen Werten von Farbkoordinaten, Helligkeitswerten und Farbsättigungswerten zu steuern.An advantageous embodiment of the invention can provide that the processing unit is set up to control the color saturation as a function of location-dependent values of color coordinates, brightness values and color saturation values.
Unter den Farbkoordinaten kann dabei ein n-tupel, üblicherweise ein Tripel von Intensitäten oder Intensitätsverhältnissen der einzeln erfassten Farben verstanden werden. Ebenso kann unter den Farbkoordinaten jede andere Repräsentation eines Farbtons, einer Farbmischung oder einer Wellenlänge von Licht in einem Darstellungssystem verstanden werden.The color coordinates can be understood to mean an n-tuple, usually a triple of intensities or intensity ratios of the individually recorded colors. Likewise, the color coordinates can be understood to mean any other representation of a color tone, a color mixture or a wavelength of light in a display system.
Eine weitere vorteilhafte Ausgestaltung der Erfindung kann vorsehen, dass jeweils einem Bildpixel oder einer Gruppe von Bildpixeln in dem Bildsensorsystem und/oder der Verarbeitungseinheit und/oder der Anzeigeeinheit wenigstens ein Farbsättigungswert zugeordnet ist.A further advantageous embodiment of the invention can provide that at least one color saturation value is assigned to an image pixel or a group of image pixels in the image sensor system and / or the processing unit and / or the display unit.
Es kann zudem vorgesehen sein, dass jeweils einem Bildpixel oder einer Gruppe von Bildpixeln in dem Bildsensorsystem und/oder der Verarbeitungseinheit und/oder der Anzeigeeinheit wenigstens eine Farbkoordinate und/oder ein Helligkeitswert zugeordnet ist.It can also be provided that at least one color coordinate and / or one brightness value is assigned to an image pixel or a group of image pixels in the image sensor system and / or the processing unit and / or the display unit.
Somit kann die Farbsättigung des Bildes insgesamt, beispielsweise die durchschnittliche Farbsättigung des Bildes oder eine maximale, auf der Bildfläche vorkommende Farbsättigung des Bildes, gezielt auch in Abhängigkeit von Helligkeitswerten oder Farbwerten angesteuert werden. Beispielsweise kann somit erreicht werden, dass die Bereiche des Bildes, in denen die höchsten Helligkeitswerte erreicht werden, bezüglich der Farbsättigung abgesteuert werden.The color saturation of the image as a whole, for example the average color saturation of the image or a maximum color saturation of the image occurring on the image surface, can thus also be controlled in a targeted manner as a function of brightness values or color values. For example, it can thus be achieved that the areas of the image in which the highest brightness values are reached are controlled with respect to the color saturation.
Die Farbsättigung kann auch derart gesteuert werden, dass die Farbsättigung insgesamt in Bildabschnitten, in denen bestimmte Farben dominieren, reduziert wird. Damit kann beispielsweise erreicht werden, dass für den Fall, dass eine Nachtaufnahme durch rote Beleuchtung (beispielsweise durch Rückfahrleuchten von Fahrzeugen) dominiert wird, die Farbsättigung der am hellsten rot erscheinenden Flächen reduziert wird. Damit kann ein Rotstich einer Nachtaufnahme deutlich reduziert werden. Das Gleiche kann für gelb ausgeleuchtete Nachtansichten gelten, wenn durch eine Straßenbeleuchtung eine gelbstichige Ausleuchtung erzielt wird. In diesem Fall kann die Farbsättigung in den am hellsten gelb erscheinenden Flächen oder die Farbsättigung in den überhaupt gelb erscheinenden Flächen reduziert werden. Wahlweise kann auch der Weißabgleich gezielt abgeändert werden, um einen Farbstich zu kompensieren / zu verändern.The color saturation can also be controlled such that the overall color saturation is reduced in image sections in which certain colors dominate. In this way it can be achieved, for example, that in the event that a night shot is dominated by red lighting (for example by reversing lights of vehicles), the color saturation of the areas which appear brightest red is reduced. This can significantly reduce a red cast in a night shot. The same can apply to yellow illuminated night views, if a yellowish illumination is achieved by street lighting. In this case, the color saturation in the brightest yellow areas or the color saturation in the yellow areas can be reduced. Optionally, the white balance can also be specifically modified to compensate / change a color cast.
Die Verarbeitungseinheit ist dazu eingerichtet, für das Bild oder für einen oder mehrere Abschnitte des Bildes jeweils einen mittleren Farbsättigungswert zu erzielen oder den mittleren Farbsättigungswert nach oben zu begrenzen oder gemäß einer Kennlinie oder mittels eines Reduktionsfaktors zu reduzieren. The processing unit is set up to achieve an average color saturation value for the image or for one or more sections of the image or to limit the average color saturation value or in accordance with to reduce a characteristic curve or by means of a reduction factor.
Beispielsweise kann auch vorausgesetzt werden, dass in keinem Bildabschnitt ein bestimmter Farbsättigungswert überschritten wird. Hierzu können die Größen der Bildabschnitte vordefiniert sein, oder die Größen der Bildabschnitte können auch anhand von vorliegenden Bildparametern ermittelt werden. Hierzu kann beispielsweise die Struktur des Bildes bezüglich der Kontraste analysiert werden, und es kann festgestellt werden, in welchem Rhythmus sich im Bild helle und dunkle Flächen abwechseln, so dass eine sinnvolle Größe von Bildabschnitten gewählt werden kann.For example, it can also be assumed that a certain color saturation value is not exceeded in any image section. For this purpose, the sizes of the image sections can be predefined, or the sizes of the image sections can also be determined on the basis of existing image parameters. For this purpose, for example, the structure of the image can be analyzed with regard to the contrasts, and it can be determined in which rhythm light and dark areas alternate in the image, so that a reasonable size of image sections can be selected.
Es kann auch vorgesehen sein, dass die Farbsättigungswerte gemäß einer linearen oder nichtlinearen Kennlinie für das gesamte Bild reduziert werden.It can also be provided that the color saturation values are reduced according to a linear or non-linear characteristic for the entire image.
Eine weitere vorteilhafte Ausgestaltung der Erfindung kann vorsehen, dass die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten des Bildes unter Berücksichtigung der Helligkeit des Bildes, insbesondere einer mittleren Helligkeit des Bildes oder der Helligkeit der Abschnitte des Bildes, gesteuert wird.A further advantageous embodiment of the invention can provide that the color saturation of the image or the color saturation of sections of the picture is controlled taking into account the brightness of the picture, in particular an average brightness of the picture or the brightness of the sections of the picture.
Beispielsweise kann, sobald die mittlere Helligkeit des Bildes einen bestimmten Wert überschreitet, hieraus eine Obergrenze für eine durchschnittliche Farbsättigung des Bildes ermittelt oder eine vorbestimmte Obergrenze ausgewählt werden. Anspruchsvoller, aber in den meisten Fällen auch von höherem Wert, wird eine ortsabhängige Steuerung der Farbsättigung in Abhängigkeit von der Helligkeitsverteilung sein, so dass einzelne Bildabschnitte einzeln bezüglich der Helligkeit und der Farbsättigung untersucht werden und bei Überschreiten bestimmter Helligkeitsgrenzen die Farbsättigung gezielt begrenzt oder gemäß einer Kennlinie herabgesetzt wird.For example, as soon as the average brightness of the image exceeds a certain value, an upper limit for an average color saturation of the image can be determined or a predetermined upper limit can be selected. More demanding, but in most cases also of higher value, will be a location-dependent control of the color saturation depending on the brightness distribution, so that individual image sections are examined individually with regard to the brightness and the color saturation and if certain brightness limits are exceeded, the color saturation is deliberately limited or according to one Characteristic is reduced.
Die Erfindung kann vorteilhaft auch dadurch ausgestaltet werden, dass die Farbsättigung des Bildes oder die Farbsättigung von Abschnitten des Bildes unter Berücksichtigung der Farbkoordinaten des Bildes, insbesondere gemittelter oder dominanter Farbkoordinaten des Bildes oder der Farbkoordinaten der Abschnitte des Bildes, gesteuert wird. Hierbei werden die bei Nachtaufnahmen besonders dominierenden Farben besonders berücksichtigt, wie oben bereits erläutert. Dies gilt insbesondere für die Farben Rot und Gelb, die in Nachtsituationen oft dominant erscheinen. Es können jedoch auch weitere Farben definiert werden, deren Dominanz oder lokale Dominanz im Bild die Absteuerung der Farbsättigung bewirken kann, gegebenenfalls unter der Voraussetzung einer bestimmten Mindesthelligkeit in dem gegebenen Bildabschnitt.The invention can also advantageously be configured in that the color saturation of the image or the color saturation of sections of the picture is controlled taking into account the color coordinates of the picture, in particular averaged or dominant color coordinates of the picture or the color coordinates of the sections of the picture. Here, the colors that are particularly dominant in night photography are given special consideration, as already explained above. This applies in particular to the colors red and yellow, which often appear dominant in night situations. However, other colors can also be defined whose dominance or local dominance in the image can result in the control of the color saturation, possibly under the condition of a certain minimum brightness in the given image section.
Hierzu kann vorteilhaft weiter vorgesehen sein, dass die Verarbeitungseinheit dazu eingerichtet ist, eine tatsächliche mittlere oder ortsabhängige Helligkeit eines Bildes anhand von Belichtungszeiten und internen Verstärkungsfaktoren des Bildsensorsystems zu ermitteln. Dies ist insbesondere bei Verwendung von HDR-Sensoren wichtig, bei denen zur Ermittlung einer höheren Dynamik ein Gainparameter pixelweise einstellbar ist. Ein Helligkeitswert ergibt sich dann erst aus einem gemessenen Helligkeitsintensitätswert unter Berücksichtigung des eingestellten Gainparameters.For this purpose, it can advantageously be further provided that the processing unit is set up to determine an actual average or location-dependent brightness of an image on the basis of exposure times and internal amplification factors of the image sensor system. This is particularly important when using HDR sensors, in which a gain parameter can be set pixel by pixel to determine a higher dynamic range. A brightness value then only results from a measured brightness intensity value taking into account the set gain parameter.
Eine Besonderheit bei der Verwendung von HDR-Sensoren kann darin liegen, dass die Gainparameter nicht in unmittelbarer Nähe des Bildsensors ermittelt und eingestellt werden, sondern dass diese Werte in einer Verarbeitungseinheit ermittelt und vorgewählt und von dort aus im Bildsensor eingestellt werden. Die Verarbeitungseinheit liegt beispielsweise bei einem Fahrzeug in einem solchen Fall nicht notwendigerweise nahe am Bildsensor, sondern sie kann in eine intelligente Verarbeitungseinheit des Fahrzeugs, beispielsweise eine ECU, integriert sein. Liegt der Bildsensor in einem solchen Fall beispielsweise in solchen Bereichen, in denen üblicherweise Spiegel angeordnet sind, so kann die Entfernung zwischen der Verarbeitungseinheit und dem Bildsensor mehr als 1 m betragen. Der Vorteil einer zentralen Bearbeitung der Bilddaten oder einer zentralen Steuerung von Bildsensoren liegt darin, dass in einer einzigen Verarbeitungseinheit auch mehrere Bildsensoren gesteuert werden können. Dies kann beispielsweise in einem Kraftfahrzeug mehrere Bildsensoren betreffen, die als Ersatz für diverse Spiegel an dem Fahrzeug eingesetzt werden. Es kann auch eine Harmonisierung von Bilddaten oder Voreinstellungen der Bildsensoren mittels der zentralen Verarbeitungseinheit erreicht werden.A special feature when using HDR sensors can be that the gain parameters are not determined and set in the immediate vicinity of the image sensor, but that these values are determined and preselected in a processing unit and from there are set in the image sensor. In such a case, for example, the processing unit in a vehicle is not necessarily close to the image sensor, but rather can be integrated into an intelligent processing unit of the vehicle, for example an ECU. If the image sensor is in such a case, for example, in those areas in which mirrors are usually arranged, the distance between the processing unit and the image sensor can be more than 1 m. The advantage of central processing of the image data or central control of image sensors is that several image sensors can also be controlled in a single processing unit. This can affect, for example, several image sensors in a motor vehicle, which are used to replace various mirrors on the vehicle. Harmonization of image data or presettings of the image sensors can also be achieved by means of the central processing unit.
Die Erfindung bezieht sich außer auf ein elektronisches Bilderzeugungssystem auch auf ein Verfahren zur Erzeugung und Anzeige eines Bildes mittels eines elektronischen Bilderzeugungssystems für ein Kraftfahrzeug mit einem elektronischen Bildsensorsystem zur Aufnahme eines farbigen Bildes, einer Verarbeitungseinheit und einer elektronischen Anzeigeeinheit zur Anzeige eines farbigen Bildes. Die Aufgabe wird mit den Merkmalen der Erfindung dadurch gelöst, dass durch die Verarbeitungseinheit unmittelbar die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes gesteuert wird, sodass für das Bild oder für einen oder mehrere Abschnitte des Bildes jeweils einen mittleren Farbsättigungswert erzielt wird oder den mittleren Farbsättigungswert nach oben begrenz wird oder gemäß einer Kennlinie oder mittels eines Reduktionsfaktors reduziert wird.In addition to an electronic imaging system, the invention also relates to a method for generating and displaying an image by means of an electronic imaging system for a motor vehicle with an electronic image sensor system for recording a colored image, a processing unit and an electronic display unit for displaying a colored image. The object is achieved with the features of the invention in that the processing unit directly controls the color saturation of the image or the color saturation of at least a portion of the image, so that an average color saturation value is achieved for the image or for one or more portions of the image or the upper limit of the average color saturation value or reduced according to a characteristic curve or by means of a reduction factor.
Dabei kann beispielsweise vorgesehen sein, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes in Abhängigkeit von Helligkeitswerten des Bildes oder Helligkeitswerten von wenigstens einem Abschnitt des Bildes gesteuert wird. Damit kann sichergestellt werden, dass insbesondere bei Nachtaufnahmen die stark beleuchteten Stellen des Bildes bezüglich ihrer Farbsättigung reduziert werden können. Es kann auch insgesamt bei einer starken künstlichen Aufhellung eines Nachtbildes die Farbsättigung über das gesamte Bild begrenzt, um einen bestimmten Faktor reduziert oder in der Dynamik komprimiert werden. For example, it can be provided that the color saturation of the image or the color saturation of at least one section of the picture is controlled as a function of brightness values of the picture or brightness values of at least a section of the picture. This ensures that the highly illuminated areas of the image can be reduced in terms of their color saturation, especially when taking night shots. In the case of a strong artificial brightening of a night picture, the overall color saturation over the entire picture can also be limited, reduced by a certain factor or the dynamics compressed.
Eine weitere Ausgestaltung des erfindungsgemäßen Verfahrens kann vorsehen, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes in Abhängigkeit von Farbkoordinaten oder dominierenden Farbkoordinaten des Bildes oder Farbkoordinaten oder dominierenden Farbkoordinaten von wenigstens einem Abschnitt des Bildes gesteuert wird. Damit können vornehmlich farbig dominierende Beleuchtungsquellen im Bild bezüglich der Farbsättigung reduziert werden, oder ein Farbstich des Bildes, der durch eine farbige Beleuchtung entsteht, kann bei Nachtaufnahmen durch Verringerung der Farbsättigung reduziert werden.A further embodiment of the method according to the invention can provide that the color saturation of the image or the color saturation of at least a portion of the image is controlled as a function of color coordinates or dominant color coordinates of the image or color coordinates or dominant color coordinates of at least a portion of the image. This means that predominantly color-dominating lighting sources in the image can be reduced in terms of color saturation, or a color cast of the image caused by colored lighting can be reduced in night shots by reducing the color saturation.
Eine weitere Ausgestaltung der Erfindung kann vorsehen, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes gesenkt wird, wenn die Helligkeit oder ein Durchschnittswert der Helligkeit in wenigstens einem Bildabschnitt einen bestimmten vorgegebenen Wert überschreitet und die dominierenden Farbkoordinaten des betreffenden Abschnittes in einem vorgegebenen Bereich liegen. Mit dieser Vorgehensweise lassen sich besondere Standardbeleuchtungssituationen, insbesondere bei Nachtaufnahmen oder in unterbeleuchteten Situationen, verbessern. Solche Standardsituationen können beispielsweise durch eine rote Ausleuchtung des Sichtfelds des Bildsensors durch Rückleuchten von anderen Fahrzeugen oder dem eigenen Fahrzeug gegeben sein, oder durch eine gelbliche Ausleuchtung infolge einer gelblich getönten Straßenbeleuchtung. Es sind jedoch auch andere Fälle einer farbig dominierten Ausleuchtung des Sichtfelds eines Bildsensors vorstellbar.A further embodiment of the invention can provide that the color saturation of the image or the color saturation of at least a section of the picture is reduced if the brightness or an average value of the brightness in at least one section of the picture exceeds a certain predetermined value and the dominant color coordinates of the section in question are within a specified range. This procedure can be used to improve special standard lighting situations, especially when taking pictures at night or in under-lit situations. Such standard situations can be given, for example, by red illumination of the field of vision of the image sensor by rear lights from other vehicles or by one's own vehicle, or by yellowish illumination as a result of yellowish-colored street lighting. However, other cases of color-dominated illumination of the field of view of an image sensor are also conceivable.
Es kann zudem vorgesehen sein, dass die Farbsättigung des Bildes oder die Farbsättigung von wenigstens einem Abschnitt des Bildes gesenkt wird, wenn die mittlere Helligkeit des Bildes oder eines Abschnittes des Bildes einen bestimmten vorgegebenen Wert überschreitet und die dominierenden Farbkoordinaten des Bildes in einem vorgegebenen Bereich liegen. Diese Vorgehensweise ermöglicht es, intensive Beleuchtungsquellen im Sichtfeld des Bildsensors, die intensiv eingefärbt sind, bezüglich der Farbsättigung zu reduzieren.It can also be provided that the color saturation of the image or the color saturation of at least a portion of the image is reduced when the average brightness of the image or a portion of the image exceeds a certain predetermined value and the dominant color coordinates of the image are in a predetermined range . This procedure makes it possible to reduce intensive lighting sources in the field of view of the image sensor, which are intensely colored, with regard to the color saturation.
Zusätzlich zur Farbsättigung kann in den verschiedenen oben beschriebenen Situationen auch die Helligkeit insgesamt über die Bildfläche oder in einzelnen Bildabschnitten gesenkt werden, beispielsweise durch eine Senkung um einen Reduktionsfaktor oder eine Beschränkung auf eine bestimmte Obergrenze.In addition to the color saturation, in the various situations described above, the overall brightness can also be reduced over the image area or in individual image sections, for example by a reduction by a reduction factor or a restriction to a certain upper limit.
Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen in Figuren einer Zeichnung gezeigt und nachfolgend beschrieben. Dabei zeigt:
-
1 eine schematische Übersichtsdarstellung eines Fahrzeugs in einer Ansicht von oben mit einem Bilderzeugungssystem, -
2 schematisch ein Bildsensorsystem, -
3 schematisch eine Sensormatrix eines Bildsensorsystems in einer perspektivischen Darstellung, -
4 den Aufbau eines dreizelligen Sensorpixels, -
5 schematisch ein aufgenommenes Bild mit zwei besonders hellen Bildpunkten sowie -
6 ein Bild, das eine Verkehrsampel und ihre Umgebung bei Rotlicht zeigt.
-
1 1 shows a schematic overview of a vehicle in a view from above with an image generation system, -
2nd schematically an image sensor system, -
3rd schematically a sensor matrix of an image sensor system in a perspective view, -
4th the construction of a three-cell sensor pixel, -
5 schematically a captured image with two particularly bright pixels as well -
6 an image showing a traffic light and its surroundings under red light.
In
Die Bildsensormatrix weist eine Vielzahl von Sensorpixeln auf, die in
Die einzelnen Sensorpixel
Durch die Verarbeitungseinheit
Zudem kann die Farbsättigung an bestimmten Stellen oder in bestimmten Abschnitten des Bildes auf bestimmte vorwählbare Werte begrenzt oder um vorwählbare Reduktionsfaktoren reduziert werden. Das Maß der Begrenzung oder Reduktion von Farbsättigungswerten über das gesamte Bild oder in einzelnen Bildabschnitten kann beispielsweise ausschließlich von den erfassten Farbsättigungswerten abhängen. Das Begrenzungsmaß oder der Reduktionsfaktor der Farbsättigung kann aber auch zusätzlich abhängig von der gemessenen Helligkeit, der durchschnittlichen Helligkeit des Bildes oder Helligkeitsmaxima in bestimmten Bildabschnitten gesteuert werden.In addition, the color saturation at certain points or in certain sections of the image can be limited to certain preselectable values or reduced by preselectable reduction factors. The degree of limitation or reduction of color saturation values over the entire image or in individual image sections can, for example, depend exclusively on the color saturation values detected. The limiting measure or the reduction factor of the color saturation can also be controlled additionally depending on the measured brightness, the average brightness of the image or brightness maxima in certain image sections.
Zusätzlich kann zur Bestimmung der Begrenzung oder Reduktion des Sättigungswerts für das gesamte Bild oder Bildabschnitte jeweils eine Farbe berücksichtigt werden, die im Bild oder in bestimmten Bildabschnitten mit besonderer Intensität oder Helligkeit vertreten ist. Beispielsweise kann durch die Detektion der Dominanz roter Farbe auf eine Beleuchtung durch Rückfahrlichter geschlossen werden, und daraufhin kann die Farbsättigung entweder in den Bildabschnitten mit besonderer Helligkeit oder auch in allen Bildabschnitten reduziert werden.In addition, in order to determine the limitation or reduction of the saturation value for the entire image or image sections, a color can be taken into account which is represented in the image or in certain image sections with particular intensity or brightness. For example, by detecting the predominance of red color, it can be concluded that there is illumination by reversing lights, and the color saturation can then be reduced either in the image sections with particular brightness or in all image sections.
Die Reduktion oder Begrenzung der Farbsättigungswerte kann auch nach einer Kennlinie erfolgen, die beispielsweise hohen Helligkeitswerten eine besonders starke Reduktion des Farbsättigungswerts und geringen Helligkeitswerten eine geringe Reduktion des Farbsättigungswerts oder gar keine Reduktion zuordnet. Die Kennlinie kann auch jeweils noch von der dominierenden Farbe abhängig sein.The reduction or limitation of the color saturation values can also take place according to a characteristic curve which, for example, assigns a particularly strong reduction in the color saturation value to low brightness values and a slight reduction in the color saturation value or no reduction at all. The characteristic curve can also depend on the dominant color.
In
In
In
Mit der beschriebenen Erfindung lassen sich somit gute Bildqualitäten auch bei widrigen Bedingungen, insbesondere Nachtsicht oder Nebel, mit entsprechend empfindlichen Bildsensoren erzeugen, ohne dass die hohe Sensitivität der Sensoren durch einen Farbstich zu einer Fehldarstellung führen würde.With the described invention, good image qualities can thus be produced even under adverse conditions, in particular night vision or fog, with correspondingly sensitive image sensors, without the high sensitivity of the sensors resulting in a color cast leading to an incorrect display.
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018207387.2A DE102018207387B4 (en) | 2018-05-14 | 2018-05-14 | Imaging system for a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018207387.2A DE102018207387B4 (en) | 2018-05-14 | 2018-05-14 | Imaging system for a motor vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102018207387A1 DE102018207387A1 (en) | 2019-11-14 |
DE102018207387B4 true DE102018207387B4 (en) | 2020-07-16 |
Family
ID=68336861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018207387.2A Active DE102018207387B4 (en) | 2018-05-14 | 2018-05-14 | Imaging system for a motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018207387B4 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080291287A1 (en) | 2007-05-23 | 2008-11-27 | Itsik Dvir | Dynamic Range Compensation by Filter Cascade |
DE102014210323A1 (en) | 2014-06-02 | 2015-12-03 | Conti Temic Microelectronic Gmbh | Apparatus and method for adaptive image correction of at least one image parameter |
-
2018
- 2018-05-14 DE DE102018207387.2A patent/DE102018207387B4/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080291287A1 (en) | 2007-05-23 | 2008-11-27 | Itsik Dvir | Dynamic Range Compensation by Filter Cascade |
DE102014210323A1 (en) | 2014-06-02 | 2015-12-03 | Conti Temic Microelectronic Gmbh | Apparatus and method for adaptive image correction of at least one image parameter |
Also Published As
Publication number | Publication date |
---|---|
DE102018207387A1 (en) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006052777B4 (en) | Device for ambient lighting of a vehicle interior | |
DE102008021148B4 (en) | Method and device for faithful reproduction of colors on screens | |
DE4002298C2 (en) | Method and device for the automatic correction of color casts in electronic image processing | |
DE102007034657B4 (en) | Image processing device | |
DE10203421C1 (en) | Automobile display unit for IR night visibility device has image processor for reducing brightness level of identified bright points in night visibility image | |
DE19908211A1 (en) | Determining color of illuminant during photographic imaging e.g. in digital camera by removing luminous region with RGB value greater than threshold | |
DE112014000731T5 (en) | Image processing device | |
DE112016004454T5 (en) | Endoscope system and evaluation value calculation device | |
DE102009036844A1 (en) | Exposure determining device and image processing device | |
DE102010040191A1 (en) | Apparatus and method for image processing | |
EP4078941A2 (en) | Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data | |
DE102013203429B4 (en) | Method for illuminating an environment, lighting device and camera with lighting device | |
DE102004032921B4 (en) | Electronic endoscope device | |
DE112018007715B4 (en) | VEHICLE ON-BOARD DISPLAY CONTROL DEVICE | |
DE10220825A1 (en) | Image pickup device for motor vehicle driver assistance system, has image pickup element corresponding to pixel of image detection device | |
DE10339975A1 (en) | Imaging device and visual recognition support system using the imaging device | |
DE102018207387B4 (en) | Imaging system for a motor vehicle | |
WO2001052522A2 (en) | Method and device for modifying the color intensity of electronically acquired images | |
DE102018207388B4 (en) | Method and device for generating a display image in a motor vehicle | |
DE102023106944A1 (en) | ADAPTIVE COLOR SELECTION FOR VEHICLE PUDDLE LIGHTS | |
DE10301898A1 (en) | Image sensor adjustment method | |
DE102014114328A1 (en) | Motor vehicle camera device with histogram spread | |
DE112010005650B4 (en) | Imaging system, imaging device and display device | |
DE102018207386B3 (en) | Method and imaging system for generating a display image in a motor vehicle | |
DE102017103660B4 (en) | METHOD OF OPERATING A LIGHT SOURCE FOR A CAMERA, LIGHT SOURCE, CAMERA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0005235000 Ipc: H04N0023700000 |
|
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE |