DE102017011562A1 - Process for converting a raw image into a color image - Google Patents

Process for converting a raw image into a color image Download PDF

Info

Publication number
DE102017011562A1
DE102017011562A1 DE102017011562.1A DE102017011562A DE102017011562A1 DE 102017011562 A1 DE102017011562 A1 DE 102017011562A1 DE 102017011562 A DE102017011562 A DE 102017011562A DE 102017011562 A1 DE102017011562 A1 DE 102017011562A1
Authority
DE
Germany
Prior art keywords
color
image
color filter
colorization
raw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017011562.1A
Other languages
German (de)
Inventor
Sven Fleck
Jürgen Dörflinger
Thomas Hörnlein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102017011562.1A priority Critical patent/DE102017011562A1/en
Publication of DE102017011562A1 publication Critical patent/DE102017011562A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control

Abstract

Die Erfindung betrifft ein Verfahren zur Umgebungserfassung mit zumindest einer Fahrzeugkamera (2), wobei aus mittels der Fahrzeugkamera (2) erfassten Rohbildern (GB) unter Verwendung eines modellbasierten Deep-Learning-Kolorisierungsverfahrens (V) Farbbilder (FB) rekonstruiert werden. Erfindungsgemäß wird bei der Rekonstruktion das modellbasierte Deep-Learning-Kolorisierungsverfahren (V) mit einem dünnbesetzten Farbfilter (F) kombiniert.The invention relates to a method for detecting the environment with at least one vehicle camera (2), color images (FB) being reconstructed from raw images (GB) acquired by means of the vehicle camera (2) using a model-based deep learning colorization method (V). According to the invention, the model-based deep learning colorization method (V) is combined with a sparsely populated color filter (F) during the reconstruction.

Description

Die Erfindung betrifft ein Verfahren zur Umwandlung eines Rohbilds in ein Farbbild gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for converting a raw image into a color image according to the preamble of claim 1.

Aus dem Stand der Technik sind Verfahren zur Umwandlung eines Graustufenbilds in ein Farbbild bekannt. Dabei wird jedem Bildpunkt des erfassten Graustufenbilds eine Farbe zugeordnet. Hierfür wird ein Programm in Form eines künstlichen neuronalen Netzwerks mit einer großen Datenmenge von Referenzbildern eingestellt. Mittels dieser Einstellung ist das Programm in der Lage, Merkmalsdeskriptoren eines jeden Bildpunkts eines Bilds zu extrahieren, um Chrominanzwerte jedes korrespondierenden Bildpunkts zu ermitteln und anschließend den entsprechenden Chrominanzwert einer Leuchtdichte, d. h. einer Helligkeit eines Graustufen-Bildpunktwerts, zuzuordnen. Dadurch werden Farbwerte jedes korrespondierenden Bildpunkts ermittelt.Methods are known in the art for converting a gray scale image into a color image. In this case, each pixel of the detected grayscale image is assigned a color. For this purpose, a program in the form of an artificial neural network is set up with a large amount of reference image data. By means of this setting, the program is able to extract feature descriptors of each pixel of an image to determine chrominance values of each corresponding pixel, and then to determine the corresponding chrominance value of a luminance, i. H. brightness of a grayscale pixel value. As a result, color values of each corresponding pixel are determined.

Ein Verfahren zur Umwandlung eines Graustufenbilds in ein Farbbild beschreibt „Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision“. Hierbei erfolgt die Umwandlung vollautomatisch unter Verwendung eines so genannten Perfect-Patch-Matching-Ansatzes und einer großen Referenzdatenbank, welche eine ausreichende Anzahl an Farbbildern enthält. Um ein Rauschen aus den erzeugten Farbbildern zu entfernen, wird ein so genanntes Deep-Learning-Verfahren verwendet. Um eine Artefaktfreiheit zu realisieren, wird ein gemeinsamer bilateraler und filterbasierter Nachbearbeitungsschritt angewendet.A method of converting a grayscale image into a color image describes "Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision ". Here, the conversion is fully automatic using a so-called perfect patch matching approach and a large reference database, which contains a sufficient number of color images. In order to remove noise from the generated color images, a so-called deep learning method is used. To realize artifact freedom, a common bilateral and filter-based post-processing step is used.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Umwandlung eines Rohbilds in ein Farbbild anzugeben.The invention is based on the object to provide a comparison with the prior art improved method for converting a raw image into a color image.

Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved by a method having the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In dem Verfahren zur Umgebungserfassung mit zumindest einer Fahrzeugkamera werden aus mittels der Fahrzeugkamera erfassten Rohbildern unter Verwendung eines modellbasierten Deep-Learning-Kolorisierungsverfahrens Farbbilder rekonstruiert.In the method for detecting the environment with at least one vehicle camera, color images are reconstructed from raw images captured by the vehicle camera using a model-based deep learning colorization method.

Erfindungsgemäß wird bei der Rekonstruktion das modellbasierte Deep-Learning-Kolorisierungsverfahren mit einem dünnbesetzten Farbfilter, beispielsweise einem Farbfilter-Array (auch als Color Filter Array, kurz CFA, bezeichnet) kombiniert.According to the invention, the model-based deep learning colorization method is combined with a sparsely populated color filter, for example a color filter array (also known as a color filter array, CFA for short) during the reconstruction.

Hierdurch wird erreicht, dass auch in Situationen mit geringem Umgebungslicht Rot-Grün-Blau-Farbbilder vollständig aus Rohbildern rekonstruiert werden können.This ensures that even in situations with low ambient light red-green-blue color images can be completely reconstructed from raw images.

Unter einem Rohbild wird dabei vorliegend ein mittels der Fahrzeugkamera erfasstes Bild in einem Zustand vor der Filterung, beispielsweise einem so genannten Debayering, d. h. einer Bearbeitung mit einem als Bayer-Filter ausgebildeten Farbfilter, verstanden. Das Rohbild spiegelt Helligkeiten wieder, welche unter dem Farbfilter-Array übertragen werden und somit pro Bildpunkt bzw. Pixel nur einen Helligkeitswert aufweist. Das Farbfilter-Array ist beispielsweise eine so genannte Bayer-Matrix mit einer Farbfolge „Rot - Grün - Grün - Blau“, kann jedoch auch andere Muster, beispielsweise mit einer Farbfolge „Rot - Klar-Klar - Blau“ oder „Rot - Klar - Klar - Klar“, aufweisen, was für vorwärts gerichtete, nicht anzeigenden Fahrzeugkameras verwendet wird.In this case, a raw image is an image captured by means of the vehicle camera in a state before the filtering, for example a so-called debayering, d. H. a processing with a designed as a Bayer filter color filter, understood. The raw image reflects brightnesses which are transmitted under the color filter array and thus has only one brightness value per pixel or pixel. The color filter array is for example a so-called Bayer matrix with a color sequence "red - green - green - blue", but can also be other patterns, for example with a color sequence "red - clear-clear - blue" or "red - clear - Clear - Clear, showing what forward-looking, non-displaying vehicle cameras are used for.

Das Ergebnis der Filterung, beispielsweise dem Debayering, ist eine Abbildung, welche ein aus dem Rohbild unter Verwendung des Farbfilters und Bildsensor- und Filtereigenschaften durch örtliche Interpolation und/oder Filterung erzeugte Farbabbildung oder Grauwertabbildung darstellt.The result of the filtering, for example, debayering, is an image representing a color image or gray scale image produced from the raw image using the color filter and image sensor and filter properties by local interpolation and / or filtering.

Im Gegensatz zu aus dem Stand der Technik bekannten Verfahren, welche insbesondere bei Fahrerassistenzkameras angewendet werden und bei welchen das Debayering rein durch örtliche Filterung durchgeführt wird, wird mittels des erfindungsgemäßen Verfahrens aufgrund der Kombination des dünnbesetzten Farbfilters mit dem modellbasierten Deep-Learning-Kolorisierungsverfahren eine Farbbilderzeugung realisiert, bei welcher modellbasiert plausible Farbwerte vorgeschlagen werden.In contrast to methods known from the prior art, which are used in particular for driver assistance cameras and in which the debayering is performed purely by local filtering, color imaging is achieved by means of the method according to the invention due to the combination of the sparse color filter with the model-based deep learning colorization method realized, in which model-based plausible color values are proposed.

Als Deep-Learning-Kolorisierungsverfahren wird beispielsweise ein aus „ Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision “ oder aus „ Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization /“ bekanntes Verfahren verwendet.For example, a deep-learning colorization method is a " Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision "Or out" Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization / "Known method used.

Das mittels des modellbasierten Deep-Learning-Kolorisierungsverfahrens durchgeführte modellbasierte Vorschlagen der plausiblen Farbwerte wird mit der mittels des dünnbesetzten Farbfilters durchgeführten Filterung, d. h. insbesondere dem Debayering, derart fusioniert bzw. plausibilisiert, dass in der mittels des dünnbesetzten Farbfilters aus dem Rohbild erzeugten Farbabbildung oder Grauwertabbildung an dort vorhandenen, insbesondere möglichst wenigen, Stellen plausible Farbwerte modellbasiert vorgeschlagen werden. Hierdurch wird sichergestellt, dass die erzeugten Farbbilder nicht nur plausibel sind, sondern in möglichst hohem Maße der Realität entsprechen.The model-based proposition of the plausible color values carried out by means of the model-based deep learning colorization method is fused or plausibilized with the filtering carried out by means of the sparse color filter, ie in particular the debayering, such that the color image or gray value image generated from the raw image by the sparse color filter existing there, in particular as few as possible, plausible color values are proposed model-based. This ensures that the generated color images are not only plausible, but correspond to reality as much as possible.

Zukünftige Anforderungen an Fahrzeuge, beispielsweise Anforderungen des so genannten Euro NCAP, können für kamerabasierte Anwendungen nur mit einer besonders hohen Lichtsensitivität, einer so genannten Low-Light-Sensitivität, erfüllt werden. Beispiele hierfür sind eine automatische Bremsung aufgrund von Personen bei Nacht unter Verwendung von Bildern einer so genannten Multi-Purpose-Kamera und eine automatische Notbremsung unter Verwendung von Bildern einer Rückfahrkamera (= Rear View Camera) bei Nacht.Future requirements for vehicles, for example requirements of the so-called Euro NCAP, can only be met for camera-based applications with a particularly high light sensitivity, a so-called low-light sensitivity. Examples include automatic nighttime stunt braking using images of a so-called multi-purpose camera and automatic emergency braking using images of a rear view camera at night.

Mittels des Verfahrens ist eine Low-Light-Performance von Fahrzeugkameras signifikant erhöht und gleichzeitig wird ein vollwertiges und plausibles Farbbild zur Darstellung und weiteren Verarbeitung, d. h. eine hohe Farbtreue, erzeugt.By means of the method, a low-light performance of vehicle cameras is significantly increased and at the same time a full-fledged and plausible color image for display and further processing, d. H. a high color fidelity, generated.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt:

  • 1 schematisch ein Blockschaltbild einer Vorrichtung zur Umgebungserfassung mit einer Fahrzeugkamera.
Showing:
  • 1 schematically a block diagram of a device for detecting the environment with a vehicle camera.

In der einzigen 1 ist ein Blockschaltbild eines möglichen Ausführungsbeispiels einer Vorrichtung 1 zur Umgebungserfassung mit zumindest einer Fahrzeugkamera 2 dargestellt.In the only one 1 is a block diagram of a possible embodiment of a device 1 for environmental detection with at least one vehicle camera 2 shown.

Bei der Fahrzeugkamera 2 handelt es sich beispielsweise um eine so genannte Multi-Purpose-Kamera oder eine Kamera zur Erfassung eines rückwärtigen Bereichs, beispielsweise eine Rückfahrkamera.In the vehicle camera 2 For example, it is a so-called multi-purpose camera or a camera for detecting a rear area, for example a reversing camera.

Insbesondere bei geringem Umgebungslicht, beispielsweise bei Nacht, ist eine Erfassung von Rot-Grün-Blau-Farbbildern, im Folgenden als Farbbilder FB bezeichnet, mittels der Fahrzeugkamera 2 nicht möglich. Hierbei kann im Allgemeinen unter zwei Extremen unterschieden werden: Einerseits eine Erfassung eines Farbbilds FB bei geringer Low-Light-Performance und andererseits eine verbesserte Low-Light-Performance, jedoch kein Farbbild FB.In particular, in low ambient light, for example at night, is a detection of red-green-blue color images, hereinafter as color images FB referred to by means of the vehicle camera 2 not possible. In this case, a distinction can generally be made between two extremes: on the one hand, detection of a color image FB with low low-light performance and on the other hand an improved low-light performance, but no color image FB ,

Um dennoch bei geringem Umgebungslicht eine Fahrzeugkamera 2 mit hoher Low-Light-Performance bei gleichzeitiger Möglichkeit der Erzeugung eines Farbbilds FB mit hoher Farbtreue zu realisieren, ist vorgesehen, dass aus mittels der Fahrzeugkamera 2 bei geringer Umgebungshelligkeit erfassten Rohbildern GB zunächst mittels eines dünnbesetzten Farbfilters F unter Verwendung von Bildsensor- und Filtereigenschaften durch örtliche Interpolation und/oder Filterung eine farbige Abbildung erzeugt wird. Zur Verbesserung einer Qualität des zu erzeugenden Farbbilds FB wird diese Filterung mit modellbasierten Deep-Learning-Kolorisierungsverfahren V kombiniert, insbesondere fusioniert und/oder plausibilisiert.Nevertheless, in low ambient light, a vehicle camera 2 with high low-light performance with simultaneous possibility of generating a color image FB To realize with high color fidelity is provided by means of the vehicle camera 2 raw images captured at low ambient brightness GB first by means of a sparse color filter F is generated using image sensor and filter properties by local interpolation and / or filtering a colored image. To improve a quality of the color image to be formed FB This filtering is done using model-based deep learning colorization techniques V combined, in particular merged and / or plausibility.

Als dünnbesetzter Farbfilter F wird dabei insbesondere ein dünnbesetztes Farbfilter-Array, auch als sparse Color Filter Array (kurz: sparse CFA), wie beispielsweise ein so genannter Bayer-Filter oder Bayer-Sensor, verwendet. Dabei ist ein Fotosensor mit einem schachbrettförmigen Farbfilter überzogen.As a sparse color filter F In this case, in particular, a sparse color filter array, also known as a sparse color filter array (in short: sparse CFA), such as a so-called Bayer filter or Bayer sensor used. A photo sensor is covered with a checkerboard color filter.

Lichtempfindliche Zellen einer einzelnen Fotozelle auf einem Halbleiter des Fotosensors können nur Helligkeitswerte erfassen. Um Farbinformationen zu erhalten, ist vor jeder einzelnen Fotozelle ein Farbfilter in einer der Farben Rot, Grün oder Blau angeordnet. Die Farbfilter sind beispielsweise in ungeraden Zeilen des Arrays in einer Farbfolge Grün-Rot und in geraden Zeilen in einer Farbfolge Blau-Grün aufgebracht. Jeder Farbpunkt, d. h. jeder Pixel oder Bildpunkt, liefert entsprechend nur Informationen für eine einzige Farbkomponente an dieser Stelle, so dass für ein vollständiges Farbbild FB mit denselben Abmessungen die jeweils benachbarten Bildpunkte derselben Farbe zur Farbinterpolation herangezogen werden.Photosensitive cells of a single photocell on a semiconductor of the photosensor can only detect brightness values. To obtain color information, a color filter in red, green or blue is arranged in front of each individual photocell. The color filters are applied, for example, in odd rows of the array in a color sequence green-red and in even lines in a color sequence blue-green. Each color point, ie each pixel or pixel, accordingly provides only information for a single color component at that location, so for a complete color image FB with the same dimensions the respective adjacent pixels of the same color are used for color interpolation.

Unter einem Rohbild GB wird dabei vorliegend ein mittels der Fahrzeugkamera 2 erfasstes Bild in einem Zustand vor der Filterung, beispielsweise einem so genannten Debayering, d. h. einer Bearbeitung mit einem als Bayer-Filter ausgebildeten Farbfilter F, verstanden. Das Rohbild GB spiegelt Helligkeiten wieder, welche unter dem Farbfilter-Array übertragen werden und somit pro Bildpunkt bzw. Pixel nur einen Helligkeitswert aufweist. Das Farbfilter-Array ist beispielsweise eine so genannte Bayer-Matrix mit einer Farbfolge „Rot - Grün - Grün - Blau“, kann jedoch auch andere Muster, beispielsweise mit einer Farbfolge „Rot - Klar - Klar - Blau“ oder „Rot - Klar - Klar - Klar“, aufweisen.Under a raw picture GB in the present case, a means of the vehicle camera 2 captured image in a state prior to filtering, for example, a so-called debayering, ie a processing with a designed as a Bayer filter color filter F , Understood. The raw picture GB reflects brightnesses which are transmitted under the color filter array and therefore have only one brightness value per pixel or pixel. The color filter array is for example a so-called Bayer matrix with a color sequence "red - green - green - blue", but can also be other patterns, for example with a color sequence "red - clear - clear - blue" or "red - clear - Clear - clear ".

Eine Dichte und Anordnung der einzelnen Farb-Elemente des dünnbesetzten Farbfilters F (= sparse Color Filter Array) ist dabei flexibel änderbar und kann so kontinuierlich zwischen besonders hoher Lowlight-Performance (sehr dünnbesetzter Farbfilter F) und hoher Validierungssicherheit variieren und an die Entwicklungsziele adaptiert werden. In einer möglichen Ausführung kann auch das bestehende volle Color Filter Array, wie beispielsweise ein Farbfilter F mit einer Bayer-Matrix mit einer Farbfolge „Rot - Grün - Grün - Blau“, „Rot - Klar - Klar - Blau“ oder „Rot - Klar - Klar - Klar“, verwendet werden.A density and arrangement of the individual color elements of the sparse color filter F (= sparse color filter array) is flexibly changeable and can thus continuously between particularly high Lowlight performance (very sparse color filter F ) and high validation certainty and adapted to the development goals. In one possible embodiment, the existing full color filter array, such as a color filter F with a Bayer matrix with a color sequence "red - green - green - blue", "red - clear - clear - blue" or "red - clear - clear - clear".

Das Ergebnis der Filterung, beispielsweise dem Debayering, ist eine Abbildung A, welche ein aus dem Rohbild GB unter Verwendung des Farbfilters F und Bildsensor- und Filtereigenschaften durch örtliche Interpolation und/oder Filterung erzeugte Farbabbildung oder Grauwertabbildung darstellt. The result of filtering, such as debayering, is an illustration A which one from the raw picture GB using the color filter F and image sensor and filter characteristics is color mapping or gray scale mapping produced by local interpolation and / or filtering.

Das heißt, es wird bei geringem Umgebungslicht aus dem mittels der Fahrzeugkamera 2 erfassten Rohbild GB mittels des dünnbesetzten Farbfilters F, ein Rohbild GB erzeugt. Dabei weist die Fahrzeugkamera 2 eine hohe Low-Light-Performance auf.That is, it is in low ambient light from the means of the vehicle camera 2 captured raw image GB by means of the sparse color filter F , a raw picture GB generated. In this case, the vehicle camera 2 a high low-light performance.

Um aus diesem Rohbild GB ein vollständiges Farbbild FB zu rekonstruieren, wird das Rohbild GB an eine Datenverarbeitungseinheit 3 übermittelt, welche aus diesem unter Verwendung des dünnbesetzten Farbfilters F das Debayering durchführt und so die Abbildung A erzeugt.To get out of this raw picture GB a complete color picture FB to reconstruct, becomes the raw picture GB to a data processing unit 3 which made this out using the sparse color filter F the debayering is done and so the picture A generated.

Anschließend wird die mittels des dünnbesetzten Farbfilters F erzeugte Abbildung A dem modellbasierten Deep-Learning-Kolorisierungsverfahrens V zugeführt, wobei mittels des Deep-Learning-Kolorisierungsverfahrens V in der Abbildung A an dort vorhandenen, insbesondere möglichst wenigen, Stellen plausible Farbwerte modellbasiert vorgeschlagen werden. Das Ergebnis dieser Fusion und/oder Plausibilisierung ist das Farbbild FB, wobei durch die Fusion und/oder Plausibilisierung sichergestellt wird, dass die erzeugten Farbbilder FB nicht nur plausibel sind, sondern in möglichst hohem Maße der Realität entsprechen. Als Deep-Learning-Kolorisierungsverfahren V wird beispielsweise ein aus „Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision“ oder aus „Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization/“ bekanntes Verfahren verwendet.Subsequently, the means of the sparse color filter F generated illustration A the model-based deep learning colorization method V fed by means of the deep-learning colorization method V in the picture A plausible color values are proposed model-based on existing, in particular as few as possible, places. The result of this fusion and / or plausibility check is the color image FB , whereby the fusion and / or plausibility check ensures that the color images produced FB not only plausible, but to the highest possible extent correspond to reality. As a deep-learning colorization process V For example, "Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision "or Out" Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization/ "known method used.

Eine Verwendung des modellbasierten Deep-Learning-Kolorisierungsverfahrens V kann dabei beispielsweise direkt auf der als Farbabbildung ausgebildeten Abbildung A oder durch vorheriges Grauwert-Debayering des Rohbildes GB erfolgen.A use of the model-based deep learning colorization method V can, for example, directly on the image formed as a color image A or by previous gray scale debayering of the raw image GB respectively.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Vorrichtungcontraption
22
Fahrzeugkameravehicle camera
33
Datenverarbeitungseinheit Data processing unit
AA
AbbildungIllustration
FF
Farbfiltercolor filter
FBFB
Farbbildcolor
GBGB
Rohbildraw image
VV
Deep-Learning-KolorisierungsverfahrenDeep-learning Kolorisierungsverfahren

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision [0013]Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision [0013]
  • Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization [0013]Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization [0013]

Claims (2)

Verfahren zur Umgebungserfassung mit zumindest einer Fahrzeugkamera (2), wobei aus mittels der Fahrzeugkamera (2) erfassten Rohbildern (GB) unter Verwendung eines modellbasierten Deep-Learning-Kolorisierungsverfahrens (V) Farbbilder (FB) rekonstruiert werden, dadurch gekennzeichnet, dass bei der Rekonstruktion das modellbasierte Deep-Learning-Kolorisierungsverfahren (V) mit einem dünnbesetzten Farbfilter (F) kombiniert wird.Method for detecting surroundings with at least one vehicle camera (2), color images (FB) being reconstructed from raw images (GB) captured by means of the vehicle camera (2) using a model-based deep learning colorization method (V), characterized in that during the reconstruction the model-based deep learning colorization method (V) is combined with a sparse color filter (F). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Farbfilter (F) ein dünnbesetztes Farbfilter-Array verwendet wird.Method according to Claim 1 , characterized in that a sparse color filter array is used as the color filter (F).
DE102017011562.1A 2017-12-14 2017-12-14 Process for converting a raw image into a color image Withdrawn DE102017011562A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017011562.1A DE102017011562A1 (en) 2017-12-14 2017-12-14 Process for converting a raw image into a color image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017011562.1A DE102017011562A1 (en) 2017-12-14 2017-12-14 Process for converting a raw image into a color image

Publications (1)

Publication Number Publication Date
DE102017011562A1 true DE102017011562A1 (en) 2018-05-30

Family

ID=62118070

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017011562.1A Withdrawn DE102017011562A1 (en) 2017-12-14 2017-12-14 Process for converting a raw image into a color image

Country Status (1)

Country Link
DE (1) DE102017011562A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220111402A1 (en) * 2018-11-06 2022-04-14 Ferrum Process Systems Ag Method for operating a centrifuge device
US11328474B2 (en) 2018-03-20 2022-05-10 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
US11373319B2 (en) 2018-03-20 2022-06-28 Interdigital Madison Patent Holdings, Sas System and method for optimizing dynamic point clouds based on prioritized transformations
US11961264B2 (en) 2018-12-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for procedurally colorizing spatial data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Richard Zhang, Phillip Isola, Alexei A Efros: Colorful Image Colorization; On: http://richzhang.github.io/colorization
Zezhou Cheng, Qingxiong Yang, Bin Sheng: Deep Colorization; In: 2015 IEEE International Conference on Computer Vision

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328474B2 (en) 2018-03-20 2022-05-10 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
US11373319B2 (en) 2018-03-20 2022-06-28 Interdigital Madison Patent Holdings, Sas System and method for optimizing dynamic point clouds based on prioritized transformations
US11816786B2 (en) 2018-03-20 2023-11-14 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
US20220111402A1 (en) * 2018-11-06 2022-04-14 Ferrum Process Systems Ag Method for operating a centrifuge device
US11961264B2 (en) 2018-12-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for procedurally colorizing spatial data

Similar Documents

Publication Publication Date Title
DE102017011562A1 (en) Process for converting a raw image into a color image
DE102018216413A1 (en) Device and method for automatic image enhancement in vehicles
DE102010062496B4 (en) Method and device for processing image information from two sensors of a stereo sensor system suitable for image acquisition
DE102008034979A1 (en) Method and device for generating error-reduced high-resolution and contrast-enhanced images
DE102010003039A1 (en) Saturation Setting
DE102009001122B4 (en) 1 - 15Camera arrangement and method for determining image signals with color values
DE102016112968A1 (en) Determination of color values for pixels at intermediate positions
DE102012216065A1 (en) Method and device for detecting at least one pulsed light source for a vehicle
WO2018011121A1 (en) Cmos pixel, image sensor and camera, and method for reading a cmos pixel
DE102013106037A1 (en) An imaging device which suppresses a fixed pattern noise generated by an imaging sensor of the device
DE102017110896B4 (en) REVERSE VIDEO SYSTEM FOR A VEHICLE WITH REDUNDANT VIDEO PATH
DE102014102011A1 (en) System and method for generating an image with a wide dynamic range
EP1922871B1 (en) Transmission of useful data in the picture signal of a camera system
DE102017218773A1 (en) Method and device for driving an actuator
DE102017208994A1 (en) Method for determining result image data
DE102016104043A1 (en) Method for generating a noise-reduced image based on a noise model of a plurality of images, and camera system and motor vehicle
DE102015208084A1 (en) Method for generating a contrast image of an object condition and related devices
DE102014113957A1 (en) Method for converting an image, driver assistance system and motor vehicle
DE102018216806A1 (en) Concept for processing infrared images
DE102009047437A1 (en) Method and device for adapting image information of an optical system
DE112014000874T5 (en) Electronic device, method for generating an image and filter arrangement
DE102016221336A1 (en) IMAGE SENSOR WITH A COLOR FILTER SUITABLE FOR PIXEL BINNING
DE102018130710B3 (en) Device and method for generating test image data and system with such a device
DE102019128725B4 (en) USING DC DEVIATION CORRECTION METADATA FOR AN AC COUPLED VIDEO LINE
DE102016217282A1 (en) IMAGE SENSOR, IMAGING DEVICE, DRIVER ASSISTANCE SYSTEM, VEHICLE AND METHOD FOR EVALUATING ELECTROMAGNETIC RADIATION

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee