DE102022123561A1 - Front camera system for a vehicle - Google Patents
Front camera system for a vehicle Download PDFInfo
- Publication number
- DE102022123561A1 DE102022123561A1 DE102022123561.0A DE102022123561A DE102022123561A1 DE 102022123561 A1 DE102022123561 A1 DE 102022123561A1 DE 102022123561 A DE102022123561 A DE 102022123561A DE 102022123561 A1 DE102022123561 A1 DE 102022123561A1
- Authority
- DE
- Germany
- Prior art keywords
- image data
- data stream
- display
- camera system
- front camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 11
- 206010034960 Photophobia Diseases 0.000 claims description 7
- 208000013469 light sensitivity Diseases 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 230000016776 visual perception Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Abstract
Ein Frontkamerasystem (2) für ein Fahrzeug (1) weist eine Kamera (3) auf, die eine Kameraelektronik (5) enthält, die dazu eingerichtet ist, einen originären Bilddatenstrom zu erzeugen, sowie ein Verteilermodul (7), das dazu eingerichtet ist, basierend auf dem originären Bilddatenstrom einen ersten Bilddatenstrom und einen zweiten Bilddatenstrom zu erzeugen, sowie wenigstens eine Recheneinheit (8, 9) und eine erste Datenverbindung (12), die angeordnet und dazu eingerichtet ist, den ersten Bilddatenstrom an die wenigstens eine Recheneinheit (8, 9) zu übermitteln, wobei die wenigstens eine Recheneinheit (8, 9) dazu eingerichtet ist, abhängig von dem ersten Bilddatenstrom einen Algorithmus zum Computersehen durchzuführen. Das Frontkamerasystem (2) weist eine zweite Datenverbindung (13) auf, die angeordnet und dazu eingerichtet ist, den zweiten Bilddatenstrom an die wenigstens eine Recheneinheit (8, 9) zu übermitteln, wobei die wenigstens eine Recheneinheit (8, 9) dazu eingerichtet ist, abhängig von dem zweiten Bilddatenstrom Anzeigedaten zur Anzeige auf einem Display (10) zu erzeugen.
Description
Die vorliegende Erfindung betrifft ein Frontkamerasystem für ein Fahrzeug, das Frontkamerasystem aufweisend eine Kamera, die eine Kameraelektronik mit einem Bildsensor enthält, wobei der Bildsensor ein Detektorarray enthält und wobei die Kameraelektronik dazu eingerichtet ist, einen originären Bilddatenstrom zu erzeugen. Die Erfindung betrifft ferner ein Fahrzeug mit einem solchen Frontkamerasystem und ein Verfahren zum Betreiben eines Frontkamerasystems eines Fahrzeugs.The present invention relates to a front camera system for a vehicle, the front camera system comprising a camera which contains camera electronics with an image sensor, the image sensor containing a detector array and the camera electronics being set up to generate an original image data stream. The invention further relates to a vehicle with such a front camera system and a method for operating a front camera system of a vehicle.
Viele Fahrzeuge sind mit Frontkamerasystemen ausgestattet, die zum Computersehen verwendet werden, um dadurch Fahrerassistenzfunktionen oder sonstige Funktionen zum teilweise automatischen oder vollautomatischen Führen des Fahrzeugs zu realisieren, beispielsweise eine automatische Notbremsfunktion, wenn die Gefahr eines drohenden Zusammenstoßes mit einem vorausfahrenden Fahrzeug besteht. Diese Frontkamerasysteme umfassen in der Regel ein Kameramodul mit einer Objektiveinheit und einem Bildsensor auf, das an der Innenseite der Windschutzscheibe angebracht ist und hauptsächlich nach vorne gerichtet ist, so dass der vom Bildsensor ausgegebene Bilddatenstrom die Szene vor dem Fahrzeug abbildet. Eine Videoverarbeitungseinheit analysiert den Bilddatenstrom durchführt, um einen Algorithmus zum Computersehen durchzuführen, beispielsweise Objekte zu erkennen und zu klassifizieren, wie etwa Fahrzeuge, Fußgänger, Fahrbahnmarkierungen, Verkehrszeichen und so weiter.Many vehicles are equipped with front camera systems that are used for computer vision in order to implement driver assistance functions or other functions for partially automatic or fully automatic driving of the vehicle, for example an automatic emergency braking function if there is a risk of an impending collision with a vehicle in front. These front camera systems typically include a camera module with a lens unit and an image sensor, which is attached to the inside of the windshield and is primarily directed forward so that the image data stream output by the image sensor depicts the scene in front of the vehicle. A video processing unit analyzes the image data stream to perform a computer vision algorithm, for example, recognizing and classifying objects such as vehicles, pedestrians, road markings, traffic signs, and so on.
Darüber hinaus kann es wünschenswert sein, Bilddaten, welche die vor dem Fahrzeug liegende Szene darstellen auf einem Display anzuzeigen, beispielsweise für den Fahrer des Fahrzeugs oder zur späteren Anzeige zu speichern, beispielsweise in einem Ereignisdatenspeicher zur nachträglichen Unfallanalyse. Dazu kann eine weitere Kamera in der Nähe der Kamera zum Computersehen angebracht werden.In addition, it may be desirable to display image data that represents the scene in front of the vehicle on a display, for example for the driver of the vehicle or for later display, for example in an event data memory for subsequent accident analysis. To do this, another camera can be installed near the computer vision camera.
Eine solche zweite Kamera stellt jedoch einen erheblichen Kostenfaktor dar und verbraucht sowohl zusätzlich Platz als auch Energie.However, such a second camera represents a significant cost factor and consumes both additional space and energy.
Es ist eine Aufgabe der folgenden Erfindung mit einem Frontkamerasystem für ein Fahrzeug mit derselben Kamera sowohl Daten zum Computersehen als auch Daten zur Anzeige auf einem Display bereitzustellen.It is an object of the following invention to provide both data for computer vision and data for display on a display with a front camera system for a vehicle with the same camera.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This task is solved by the respective subject matter of the independent claims. Advantageous developments and preferred embodiments are the subject of the dependent claims.
Die Erfindung beruht auf der Idee, einen originären Bilddatenstrom mittels eines Verteilermoduls in einen ersten und einen zweiten Bilddatenstrom aufzuteilen, wobei der erste Bilddatenstrom für einen Algorithmus zum Computersehen verwendet wird und der zweite Bilddatenstrom zum Erzeugen von Anzeigedaten zur Anzeige auf einem Display.The invention is based on the idea of dividing an original image data stream into a first and a second image data stream using a distribution module, the first image data stream being used for an algorithm for computer vision and the second image data stream being used to generate display data for display on a display.
Gemäß einem Aspekt der Erfindung wird ein Frontkamerasystem für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Frontkamerasystem weist eine Kamera auf, die eine Kameraelektronik mit einem Bildsensor enthält. Der Bildsensor enthält ein Detektorarray und die Kameraelektronik ist dazu eingerichtet, einen originären Bilddatenstrom zu erzeugen. Das Frontkamerasystem weist ein Verteilermodul auf, das dazu eingerichtet ist, basierend auf dem originären Bilddatenstrom einen ersten Bilddatenstrom und eine zweiten Bilddatenstrom zu erzeugen. Das Frontkamerasystem weist wenigstens eine Recheneinheit und eine erste Datenverbindung auf, wobei die erste Datenverbindung derart angeordnet und dazu eingerichtet ist, den ersten Bilddatenstrom an die wenigstens eine Recheneinheit zu übermitteln. Die wenigstens eine Recheneinheit ist dazu eingerichtet, abhängig von dem ersten Bilddatenstrom einen Algorithmus zum Computersehen durchzuführen. Das Frontkamerasystem weist eine zweite Datenverbindung auf, die derart angeordnet und dazu eingerichtet ist, den zweiten Bilddatenstrom an die wenigstens eine Recheneinheit zu übermitteln. Die wenigstens eine Recheneinheit ist dazu eingerichtet, abhängig von dem zweiten Bilddatenstrom Anzeigedaten zur Anzeige auf einem Display zu erzeugen.According to one aspect of the invention, a front camera system for a vehicle, in particular a motor vehicle, is specified. The front camera system has a camera that contains camera electronics with an image sensor. The image sensor contains a detector array and the camera electronics are set up to generate an original image data stream. The front camera system has a distribution module that is set up to generate a first image data stream and a second image data stream based on the original image data stream. The front camera system has at least one computing unit and a first data connection, the first data connection being arranged and set up to transmit the first image data stream to the at least one computing unit. The at least one computing unit is set up to carry out an algorithm for computer vision depending on the first image data stream. The front camera system has a second data connection which is arranged and set up to transmit the second image data stream to the at least one computing unit. The at least one computing unit is set up to generate display data for display on a display depending on the second image data stream.
Die Kamera enthält insbesondere ein Objektiv und kann derart an dem Fahrzeug angebracht werden, dass ein Sichtfeld der Kamera einen Teil einer in Fahrtrichtung vor dem Fahrzeug liegenden äußeren Umgebung des Fahrzeugs abdeckt, so dass der originäre Bilddatenstrom diese abbildet, wenn die Kamera entsprechend an dem Fahrzeug angebracht ist. Insbesondere kann die Kamera an einer Windschutzscheibe, insbesondere an einer vorderen Windschutzscheibe, beispielsweise an einer Innenseite der Windschutzscheibe, oder in der Nähe der Windschutzscheibe angeordnet sein.The camera in particular contains a lens and can be attached to the vehicle in such a way that a field of view of the camera covers part of the external environment of the vehicle lying in front of the vehicle in the direction of travel, so that the original image data stream images this when the camera is attached to the vehicle accordingly is appropriate. In particular, the camera can be arranged on a windshield, in particular on a front windshield, for example on an inside of the windshield, or near the windshield.
Der originäre Bilddatenstrom kann als Sequenz aufeinanderfolgender Einzelbilder oder Einzelbilddatensätze, auch als Frames bezeichnet, verstanden werden. Dabei entspricht jedes Einzelbild beispielsweise einem einzigen Aufnahmezeitraum oder Belichtungszeitraum. Ein Einzelbild oder Einzelbilddatensatz beinhaltet insbesondere für eine Vielzahl von Bildpunkten oder Pixel jeweils einen entsprechenden Pixelwert für einen oder mehrere Kanäle. Die Kanäle können beispielsweise verschiedenen Farbkanälen entsprechen.The original image data stream can be understood as a sequence of successive individual images or individual image data sets, also referred to as frames. Each individual image corresponds, for example, to a single recording period or exposure period. A single image or single image data set contains, in particular, a corresponding pixel value for one or more channels for a large number of image points or pixels. The channels can, for example, correspond to different color channels.
Das Verteilermodul, das beispielsweise auch als Splitter bezeichnet werden kann, kann als Hardware und/oder Software implementiert sein. Der erste Bilddatenstrom und der zweite Bilddatenstrom sind insbesondere im Wesentlichen identisch zueinander, beispielsweise identisch. Mit anderen Worten dupliziert das Verteilermodul den originären Bilddatenstrom, so dass aus dem originären Bilddatenstrom der erste und der zweite Bilddatenstrom entstehen, die sich voneinander nicht oder nicht wesentlich unterscheiden. Insbesondere gehen sowohl der erste Bilddatenstrom als auch der zweite Bilddatenstrom auf den originären Bilddatenstrom zurück, und dementsprechend auf dieselben Aufnahmeparameter oder Einstellungen der Kameraelektronik, wie etwa Belichtungszeit, Blendenöffnung, Detektorempfindlichkeit und so weiter.The distribution module, which can also be referred to as a splitter, for example, can be implemented as hardware and/or software. The first image data stream and the second image data stream are in particular essentially identical to one another, for example identical. In other words, the distribution module duplicates the original image data stream, so that the original image data stream creates the first and second image data streams, which do not differ from each other or do not differ significantly. In particular, both the first image data stream and the second image data stream are based on the original image data stream, and accordingly on the same recording parameters or settings of the camera electronics, such as exposure time, aperture, detector sensitivity and so on.
Die erste Datenverbindung ist insbesondere mit einem ersten Ausgang des Verteilermoduls sowie mit der wenigstens einen Recheneinheit, beispielsweise einer ersten Recheneinheit zum Computersehen, verbunden. Die zweite Datenverbindung ist insbesondere mit einem zweiten Ausgang des Verteilermoduls und mit der wenigstens einen Recheneinheit, beispielsweise einer zweiten Recheneinheit zum menschlichen Sehen oder zur Anzeige der Anzeigedaten auf dem Display, verbunden.The first data connection is in particular connected to a first output of the distribution module and to the at least one computing unit, for example a first computing unit for computer vision. The second data connection is in particular connected to a second output of the distribution module and to the at least one computing unit, for example a second computing unit for human vision or for displaying the display data on the display.
Das Detektorarray beinhaltet insbesondere eine Anordnung, beispielsweise eine Anordnung in Zeilen und Spalten, von Detektorzellen, die jeweils mindestens einen optischen Detektor beinhalten. Das Detektorarray kann gemäß einem CMOS-Sensor oder einem CCD-Sensor oder dergleichen ausgestaltet sein. Die einzelnen Detektorzellen können auch als Sensorpixel bezeichnet werden. Die Anzahl der Sensorpixel entspricht jedoch nicht notwendigerweise exakt der Anzahl von Bildpunkten der Einzelbilder des originären Bilddatenstroms, beispielsweise wenn verschiedene Detektorzellen zur Erfassung verschiedener Farbkanäle vorgesehen sind.The detector array includes in particular an arrangement, for example an arrangement in rows and columns, of detector cells, each of which contains at least one optical detector. The detector array may be designed according to a CMOS sensor or a CCD sensor or the like. The individual detector cells can also be referred to as sensor pixels. However, the number of sensor pixels does not necessarily correspond exactly to the number of pixels of the individual images of the original image data stream, for example if different detector cells are provided for detecting different color channels.
Der Algorithmus zum Computersehen kann auch als Computer-Vision-Algorithmus oder Algorithmus zum maschinellen Sehen oder Machine-Vision-Algorithmus oder Algorithmus zur automatischen visuellen Wahrnehmung bezeichnet werden. Solche Algorithmen können als Computeralgorithmen zur automatischen Durchführung einer oder mehrerer visueller Wahrnehmungsaufgaben betrachtet werden. Eine visuelle Wahrnehmungsaufgabe kann beispielsweise als Aufgabe zur Extraktion von visuellen Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe in einigen Fällen prinzipiell von einem Menschen ausgeführt werden, der in der Lage ist, ein den Bilddaten entsprechendes Bild visuell wahrzunehmen. Im vorliegenden Zusammenhang werden visuelle Wahrnehmungsaufgaben jedoch automatisch durchgeführt, ohne dass die Unterstützung eines Menschen erforderlich ist, insbesondere durch den Algorithmus zum Computersehen.The computer vision algorithm can also be called computer vision algorithm or machine vision algorithm or machine vision algorithm or automatic visual perception algorithm. Such algorithms can be viewed as computer algorithms for automatically performing one or more visual perception tasks. A visual perception task can, for example, be understood as a task for extracting visual information from image data. In particular, in some cases the visual perception task can in principle be carried out by a person who is able to visually perceive an image corresponding to the image data. However, in the present context, visual perception tasks are performed automatically without the need for human assistance, particularly by the computer vision algorithm.
Der Algorithmus zum Computersehen kann beispielsweise einen Bildverarbeitungsalgorithmus oder einen Algorithmus zur Bildanalyse enthalten, der durch maschinelles Lernen trainiert wird oder wurde und beispielsweise auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netzwerk, basieren kann. Der Algorithmus zum Computersehen kann beispielsweise einen Objekterkennungsalgorithmus, einen Objektverfolgungsalgorithmus, einen Klassifikationsalgorithmus, einen semantischen Segmentierungsalgorithmus und so weiter beinhalten.The algorithm for computer vision can contain, for example, an image processing algorithm or an algorithm for image analysis, which is or has been trained by machine learning and can be based, for example, on an artificial neural network, in particular a convolutional neural network. The computer vision algorithm may include, for example, an object detection algorithm, an object tracking algorithm, a classification algorithm, a semantic segmentation algorithm, and so on.
Die Anzeigedaten zur Anzeige auf dem Display können direkt auf dem Display, beispielsweise einem Display des Fahrzeugs, angezeigt werden oder zunächst auf einem Datenspeicher, insbesondere des Fahrzeugs, gespeichert werden, um zu einem späteren Zeitpunkt auf dem Display oder einem sonstigen Display angezeigt zu werden. Die Anzeigedaten können daher auch als Anzeigedaten zum menschlichen Sehen bezeichnet werden.The display data for display on the display can be displayed directly on the display, for example a display of the vehicle, or can first be stored on a data memory, in particular of the vehicle, in order to be displayed on the display or another display at a later point in time. The display data can therefore also be referred to as display data for human vision.
Durch das erfindungsgemäße Frontkamerasystem wird also mit nur einer Kamera sowohl der erste Bilddatenstrom zum Computersehen als auch der zweite Bilddatenstrom zum menschlichen Sehen bereitgestellt. Es kann somit auf eine zweite Kamera verzichtet werden, wodurch Bauraum und Energie sowie letztendlich Kosten eingespart werden können.The front camera system according to the invention therefore provides both the first image data stream for computer vision and the second image data stream for human vision with just one camera. This means there is no need for a second camera, which saves installation space and energy and ultimately costs.
In dem erfindungsgemäßen Frontkamerasystem ist es auch nicht erforderlich, zwei verschiedene originäre Bilddatenströme zu erzeugen, wobei einer zum Computersehen und einer zum menschlichen Sehen vorgesehen ist, wobei sich die beiden originären Bilddatenströme durch Bildaufnahmeparameter oder sonstige Parameter wie eine Einzelbildrate und so weiter voneinander unterscheiden. Erfindungsgemäß wird vielmehr der einzige originäre Bilddatenstrom als Grundlage sowohl zum Computersehen als auch zum menschlichen Sehen verwendet.In the front camera system according to the invention, it is also not necessary to generate two different original image data streams, one being intended for computer vision and one for human vision, the two original image data streams differing from one another in terms of image recording parameters or other parameters such as a frame rate and so on. According to the invention, the only original image data stream is used as a basis for both computer vision and human vision.
Gemäß zumindest einer Ausführungsform des Frontkamerasystems ist die wenigstens eine Recheneinheit dazu eingerichtet, die Anzeigedaten zur Anzeige auf dem Display an das Display zu übermitteln.According to at least one embodiment of the front camera system, the at least one computing unit is set up to transmit the display data to the display for display on the display.
Beispielsweise kann das Frontkamerasystem das Display beinhalten und die wenigstens eine Recheneinheit ist dazu eingerichtet, die Anzeigedaten auf dem Display anzuzeigen.For example, the front camera system can include the display and the at least one Computing unit is set up to show the display data on the display.
Der Inhalt der Anzeigedaten ist nicht notwendigerweise identisch zum Inhalt des zweiten Bilddatenstroms. Insbesondere können die Anzeigedaten zusätzlich zu den Inhalten des zweiten Bilddatenstroms weitere Inhalte aufweisen.The content of the display data is not necessarily identical to the content of the second image data stream. In particular, the display data can have further content in addition to the content of the second image data stream.
Beispielsweise kann die wenigstens eine Recheneinheit in manchen Ausführungsformen dazu eingerichtet sein, den zweiten Bilddatenstrom eines oder mehrere grafische Elemente zu überlagern, um die Anzeigedaten zu erzeugen. Die Anzeigedaten können dann also als Anzeigedaten zur erweiterten Realität (Englisch: „augmented reality“) erzeugt werden. Hierdurch lassen sich vielfältige Funktionen beispielsweise zur Fahrerassistenz oder Funktionen eines Navigationssystems des Fahrzeugs realisieren. Beispielsweise können die grafischen Elemente eine Geschwindigkeitsbeschränkung oder eine sonstige Verkehrsregel visualisieren oder Navigationsanweisungen in Form von Pfeilen oder dergleichen enthalten, die den entsprechenden Fahrspuren, wie sie vom zweiten Bilddatenstrom möglicherweise abgebildet werden, überlagert dargestellt werden können.For example, in some embodiments the at least one computing unit can be set up to superimpose one or more graphical elements on the second image data stream in order to generate the display data. The display data can then be generated as display data for augmented reality. This makes it possible to implement a variety of functions, for example for driver assistance or functions of a navigation system in the vehicle. For example, the graphic elements can visualize a speed limit or other traffic rule or contain navigation instructions in the form of arrows or the like, which can be displayed superimposed on the corresponding lanes, as they may be depicted by the second image data stream.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Recheneinheit dazu eingerichtet, die Anzeigedaten auf einem Datenspeicher, insbesondere des Fahrzeugs oder der wenigstens einen Recheneinheit, zu speichern.According to at least one embodiment, the at least one computing unit is set up to store the display data on a data memory, in particular of the vehicle or the at least one computing unit.
Die Anzeigedaten können dann beispielsweise zu einem späteren Zeitpunkt auf dem Display oder einem anderen Display angezeigt werden. Der Datenspeicher kann also beispielsweise als Ereignisdatenspeicher oder EDR (Englisch: „event data recorder“) ausgestaltet sein.The display data can then be displayed on the display or another display at a later time, for example. The data memory can therefore be designed, for example, as an event data memory or EDR (English: “event data recorder”).
Gemäß zumindest einer Ausführungsform weist der Bildsensor ein Farbfilter-Array auf, das auf dem Detektor-Array angeordnet ist. Das Farbfilter-Array enthält Filterzellen entsprechend wenigstens drei verschiedener Farben.According to at least one embodiment, the image sensor has a color filter array that is arranged on the detector array. The color filter array contains filter cells corresponding to at least three different colors.
Mit anderen Worten enthalten die Filterzellen des Farbfilter-Arrays eine erste Vielzahl erster Filterzellen entsprechend einer ersten Farbe, eine zweite Vielzahl zweiter Filterzellen entsprechend einer zweiten Farbe und eine dritte Anzahl dritter Filterzellen entsprechend einer dritten Farbe. Optional können die Filterzellen eine vierte Vielzahl farbloser Zellen beinhalten. Jede der Detektorzellen ist insbesondere von einer, beispielsweise genau einer, der Filterzellen bedeckt.In other words, the filter cells of the color filter array include a first plurality of first filter cells corresponding to a first color, a second plurality of second filter cells corresponding to a second color, and a third plurality of third filter cells corresponding to a third color. Optionally, the filter cells may include a fourth plurality of colorless cells. Each of the detector cells is in particular covered by one, for example exactly one, of the filter cells.
Das Farbfilter-Array kann beispielsweise als Bayer-Filter-Matrix ausgestaltet sein. Die erste, die zweite und die dritte Farbe können beispielsweise rot, grün beziehungsweise blau sein oder in anderen Ausführungsformen rot, gelb beziehungsweise cyan oder in anderen Ausführungsformen magenta, gelb beziehungsweise cyan und so weiter. Dabei kann die Ausführung einer Filterzelle entsprechend einer bestimmten Farbe derart verstanden werden, dass die Filterzelle Licht dieser Farbe passieren lässt.The color filter array can be designed, for example, as a Bayer filter matrix. The first, second, and third colors may be, for example, red, green, and blue, respectively, or in other embodiments, red, yellow, or cyan, or in other embodiments, magenta, yellow, or cyan, respectively, and so on. The design of a filter cell corresponding to a specific color can be understood in such a way that the filter cell allows light of this color to pass through.
Dementsprechend sind die Einzelbilder des originären Bilddatenstroms Einzelbilder mit wenigstens drei verschiedenen Farbkanälen. Auf diese Weise kann der originäre Bilddatenstrom zum einen uneingeschränkt zum Computersehen verwendet werden, zum anderen lässt sich auch eine für menschliches Sehen qualitativ hochwertige Bilddarstellung erreichen.Accordingly, the individual images of the original image data stream are individual images with at least three different color channels. In this way, the original image data stream can, on the one hand, be used without restrictions for computer vision, and on the other hand, an image display that is high quality for human vision can also be achieved.
Insbesondere beinhaltet der zweite Bilddatenstrom Einzelbilder mit wenigstens drei verschiedenen Farbkanälen. Dies kann ebenso für den ersten Bilddatenstrom gelten. Alternativ können einer oder mehrere Farbkanäle des originären Bilddatenstroms nicht im ersten Bilddatenstrom enthalten sein, um die Komplexität des Algorithmus zum Computersehen verringern zu können.In particular, the second image data stream contains individual images with at least three different color channels. This can also apply to the first image data stream. Alternatively, one or more color channels of the original image data stream may not be included in the first image data stream in order to be able to reduce the complexity of the computer vision algorithm.
Gemäß zumindest einer Ausführungsform weist der Bildsensor einen Dynamikumfang von 110 db oder mehr auf, beispielsweise 115 db oder mehr, vorzugsweise 120 db oder mehr. Der Dynamikumfang ist dabei gegeben durch 20*log(K), wobei K das maximal pro einzelnem Belichtungszeitraum darstellbare Kontrastverhältnis bezeichnet.According to at least one embodiment, the image sensor has a dynamic range of 110 db or more, for example 115 db or more, preferably 120 db or more. The dynamic range is given by 20*log(K), where K denotes the maximum contrast ratio that can be displayed per individual exposure period.
Das Kontrastverhältnis kann insbesondere als Quotient einer maximal darstellbaren Leuchtdichte zu einer minimal darstellbaren Leuchtdichte sein. Die maximal darstellbare Leuchtdichte entspricht dabei insbesondere einer Sättigungsleuchtdichte der Detektorzellen und die minimal darstellbare Leuchtdichte entspricht einer unteren Rauschgrenze der Detektorzellen. Die Rauschgrenze kann beispielsweise gegeben sein durch ein Hintergrundrauschen im Dunkelfall, beispielsweise also wenn kein Licht auf das Detektor-Array fällt.The contrast ratio can in particular be a quotient of a maximum luminance that can be represented to a minimum luminance that can be represented. The maximum luminance that can be represented corresponds in particular to a saturation luminance of the detector cells and the minimum luminance that can be represented corresponds to a lower noise limit of the detector cells. The noise limit can, for example, be given by background noise in the dark, for example when no light falls on the detector array.
Dass das Kontrastverhältnis ein maximal pro einzelnem Belichtungszeitraum darstellbares Kontrastverhältnis ist, kann derart verstanden werden, dass sich der Dynamikumfang beziehungsweise das Kontrastverhältnis nicht erst aus der Kombination von zwei oder mehr Belichtungszeiträumen mit unterschiedlichen Aufnahmeparametern, insbesondere unterschiedlicher Detektorempfindlichkeiten oder Belichtungszeiten, ergibt. Bildsensoren mit entsprechend großem Dynamikumfang lassen sich beispielsweise durch Verwendung einer so genannten Dual-Conversion-Gain-Technologie erreichen.The fact that the contrast ratio is a maximum contrast ratio that can be represented per individual exposure period can be understood in such a way that the dynamic range or the contrast ratio does not only result from the combination of two or more exposure periods with different recording parameters, in particular different detector sensitivities or exposure times. Image sensors with a correspondingly large dynamic range can be achieved, for example, by using so-called dual conversion gain technology.
Durch einen derart großen Dynamikumfang lässt sich insbesondere sicherstellen, dass ein ausreichend hoher Detailgrad des originären Bilddatenstroms erreicht wird, um den Algorithmus zum Computersehen mit ausreichender Zuverlässigkeit und Genauigkeit durchführen zu können. Dies ist insbesondere vorteilhaft, wenn die Empfindlichkeit des Bildsensors beispielsweise durch das Farbfilter-Array tendenziell reduziert ist. Insbesondere lassen sich durch die Kombination des Farbfilter-Arrays mit einem entsprechend hohen Dynamikumfang die Anforderungen für das menschliche Sehen und das Computersehen besonders gut gleichzeitig erreichen.Such a large dynamic range makes it possible, in particular, to ensure that a sufficiently high level of detail in the original image data stream is achieved in order to be able to carry out the computer vision algorithm with sufficient reliability and accuracy. This is particularly advantageous if the sensitivity of the image sensor tends to be reduced, for example by the color filter array. In particular, by combining the color filter array with a correspondingly high dynamic range, the requirements for human vision and computer vision can be achieved particularly well at the same time.
Gemäß zumindest einer Ausführungsform beinhaltet das Detektor-Array die Vielzahl von Detektorzellen, wobei jede Detektorzelle einem Bildpunkt der Einzelbilder des originären Bilddatenstroms entspricht.According to at least one embodiment, the detector array includes the plurality of detector cells, each detector cell corresponding to a pixel of the individual images of the original image data stream.
Wie oben erwähnt, bedeutet die Zuordnung der Detektorzellen zu den Bildpunkten der einzelnen Bilder nicht notwendigerweise, dass jede Detektorzelle einen Beitrag zu jedem Kanal der Einzelbilder liefert. Vielmehr kann es derart verstanden werden, dass jede Detektorzelle einen Beitrag zu mindestens einem Kanal der Einzelbilder liefert.As mentioned above, the assignment of the detector cells to the pixels of the individual images does not necessarily mean that each detector cell makes a contribution to every channel of the individual images. Rather, it can be understood in such a way that each detector cell makes a contribution to at least one channel of the individual images.
Gemäß zumindest einer Ausführungsform enthält jede der Detektorzellen zwei optische Detektoren mit unterschiedlicher Lichtempfindlichkeit.According to at least one embodiment, each of the detector cells contains two optical detectors with different light sensitivity.
Die Lichtempfindlichkeit kann beispielsweise durch ein mittels des entsprechenden optischen Detektors erzeugtes Ausgabesignal, beispielsweise Spannungs- oder Stromsignal, bei einer vordefinierten eingestrahlten Lichtintensität gegeben sein. Je stärker die Antwort des optischen Detektors bei gegebenem Lichteinfall ist, je größer also insbesondere das Detektorsignal ist, desto höher ist beispielsweise die Lichtempfindlichkeit.The light sensitivity can be given, for example, by an output signal generated by the corresponding optical detector, for example a voltage or current signal, at a predefined irradiated light intensity. The stronger the response of the optical detector is for a given incidence of light, i.e. the larger the detector signal in particular, the higher the light sensitivity, for example.
Die Kameraelektronik kann dann beispielsweise feststellen, wenn der optische Detektor mit der höheren Lichtempfindlichkeit einer bestimmten Detektorzelle gesättigt ist und dem entsprechend zur Erzeugung des originären Bilddatenstroms die Ausgabe des optischen Detektors mit der geringeren Lichtempfindlichkeit verwenden. Falls keine solche Sättigung vorliegt, kann zur Erzeugung des originären Bilddatenstroms die Ausgabe des optischen Detektors mit der höheren Bildempfindlichkeit verwendet werden. Es sind jedoch auch komplexere Vorgehensweisen möglich. Es ist auch möglich, dass der originäre Bilddatenstrom für alle Detektorzellen die jeweilige Ausgabe beider optischer Detektoren enthält und die wenigstens eine Recheneinheit eine entsprechende Verarbeitung vornimmt.The camera electronics can then, for example, determine when the optical detector with the higher light sensitivity of a specific detector cell is saturated and accordingly use the output of the optical detector with the lower light sensitivity to generate the original image data stream. If there is no such saturation, the output of the optical detector with the higher image sensitivity can be used to generate the original image data stream. However, more complex procedures are also possible. It is also possible for the original image data stream for all detector cells to contain the respective output of both optical detectors and for the at least one computing unit to carry out corresponding processing.
Auf diese Weise kann insbesondere vermieden werden, dass Vorgänge in der Umgebung, die mit einer sehr hohen Frequenz stattfinden oder nur für einen sehr kurzen Zeitraum stattfinden, von dem originären Bilddatenstrom nicht erfasst werden können. Solche Effekte können beispielsweise auftreten, wenn Lichtquellen, etwa LEDs, in der Umgebung mit einer Pulsweitenmodulation betrieben werden, also mit hoher Frequenz ein- und ausgeschaltet werden. Dieses Flackern ist aufgrund der hohen Frequenz für das menschliche Auge nicht auflösbar. Bei hochempfindlichen optischen Detektoren und dementsprechend sehr geringen Belichtungszeiten kann ein solches Flackern jedoch in dem resultierenden Bilddatenstrom auftreten. Dies wird durch die optischen Detektoren mit zwei verschiedenen Lichtempfindlichkeiten vermieden.In this way, it can be avoided in particular that processes in the environment that take place at a very high frequency or only take place for a very short period of time cannot be captured by the original image data stream. Such effects can occur, for example, when light sources, such as LEDs, are operated in the environment with pulse width modulation, i.e. are switched on and off at high frequency. Due to the high frequency, this flickering cannot be resolved by the human eye. However, with highly sensitive optical detectors and correspondingly very short exposure times, such flickering can occur in the resulting image data stream. This is avoided by the optical detectors with two different light sensitivities.
Gemäß zumindest einer Ausführungsform ist die Kameraelektronik dazu eingerichtet, den originären Bilddatenstrom mit einer Einzelbildrate zu erzeugen, die einem ganzzahligen Bruchteil einer Bildwiederholfrequenz des Displays entspricht.According to at least one embodiment, the camera electronics is set up to generate the original image data stream with a frame rate that corresponds to an integer fraction of a refresh rate of the display.
Dementsprechend sind insbesondere auch die entsprechenden Einzelbildraten des ersten und des zweiten Bilddatenstroms durch den ganzzahligen Bruchteil der Bildwiederholfrequenz des Bilddisplays gegeben. Dadurch lässt sich die Anzeige auf dem Display mit geringem Aufwand und hoher Qualität erreichen und gleichzeitig eine ausreichende Einzelbildrate für das Computersehen erreichen.Accordingly, in particular, the corresponding individual frame rates of the first and second image data streams are given by the integer fraction of the refresh rate of the image display. This means that the display on the display can be achieved with little effort and high quality, while at the same time achieving a sufficient frame rate for computer vision.
Beispielsweise kann die Bildwiederholfrequenz des Displays 50 Hz sein. Dementsprechend kann die Einzelbildrate des originären Bilddatenstroms beispielsweise 25 oder 50 Einzelbildern pro Sekunde entsprechen. Alternativ kann die Bildwiederholfrequenz des Displays 60 Hz sein. Dementsprechend kann die Einzelbildrate des originären Bilddatenstroms beispielsweise 15, 30 oder 60 Einzelbildern pro Sekunde bei einer Bildwiederholfrequenz von 60 Hz entsprechen. Dies lässt sich entsprechend auch auf andere Bildwiederholfrequenzen des Displays übertragen.For example, the refresh rate of the display can be 50 Hz. Accordingly, the frame rate of the original image data stream can correspond to, for example, 25 or 50 frames per second. Alternatively, the refresh rate of the display can be 60 Hz. Accordingly, the frame rate of the original image data stream can correspond, for example, to 15, 30 or 60 frames per second at a refresh rate of 60 Hz. This can also be transferred to other display refresh rates.
Gemäß zumindest einer Ausführungsform weist der Bildsensor eine Auflösung von vier Millionen Bildpunkten oder mehr auf.According to at least one embodiment, the image sensor has a resolution of four million pixels or more.
Dies kann insbesondere derart verstanden werden, dass pro Farbkanal wenigstens vier Millionen Detektorzellen vorgesehen sind. Auf diese Weise lässt sich eine ausreichend hohe Bildqualität zum menschlichen Sehen beziehungsweise zur Anzeige auf dem Display erreichen.This can be understood in particular to mean that at least four million detector cells are provided per color channel. In this way, a sufficiently high image quality can be achieved for human vision or for display on the display.
Gemäß zumindest einer Ausführungsform weist die Kamera, insbesondere das Objektiv in Kombination mit dem Bildsensor, ein horizontales Sichtfeld von 115 Grad oder mehr, vorzugsweise 120 Grad oder mehr, auf.According to at least one embodiment, the camera, in particular the lens in combination with the image sensor, has a horizontal Field of view of 115 degrees or more, preferably 120 degrees or more.
Das horizontale Sichtfeld entspricht beispielsweise einem Winkelbereich in einer Ebene senkrecht zu einer Fahrzeughochachse des Fahrzeugs, wenn die Kamera entsprechend montiert ist. Mit anderen Worten kann die Kamera ein gesamtes Sichtfeld aufweisen, das durch zwei Winkelbereiche in zueinander senkrechten Ebenen spezifiziert ist. In entsprechenden Ausführungsformen ist wenigstens einer dieser Winkelbereiche 115 Grad oder größer.The horizontal field of view corresponds, for example, to an angular range in a plane perpendicular to a vertical axis of the vehicle if the camera is mounted accordingly. In other words, the camera may have an entire field of view specified by two angular ranges in mutually perpendicular planes. In corresponding embodiments, at least one of these angular ranges is 115 degrees or larger.
Auf diese Weise lässt sich ein besonders großes Sichtfeld für die Anwendungen zum menschlichen Sehen realisieren.In this way, a particularly large field of view can be achieved for human vision applications.
Gemäß zumindest einer Ausführungsform enthält das Frontkamerasystem eine Montagevorrichtung zum Befestigen der Kamera an einer Innenseite der Windschutzscheibe des Fahrzeugs.According to at least one embodiment, the front camera system includes a mounting device for attaching the camera to an inside of the windshield of the vehicle.
In verschiedenen Ausführungsformen kann das Frontkamerasystem auch die Windschutzscheibe enthalten und die Kamera ist mittels der Montagevorrichtung an der Innenseite der Windschutzscheibe befestigt.In various embodiments, the front camera system may also include the windshield and the camera is attached to the inside of the windshield using the mounting device.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen Frontkamerasystems, insbesondere die wenigstens eine Recheneinheit des Frontkamerasystems, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.In the context of the present disclosure, is it said that a component of the front camera system according to the invention, in particular the at least one computing unit of the front camera system, is set up, trained, designed, or the like to carry out or realize a specific function, to achieve a specific effect or to serve a specific purpose, this can be understood in such a way that the component, beyond the fundamental or theoretical usability or suitability of the component for this function, effect or purpose, through appropriate adaptation, programming, physical design and so on and is actually capable of performing or realizing the function, achieving the effect or serving the purpose.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.A computing unit can be understood in particular to mean a data processing device that contains a processing circuit. The arithmetic unit can therefore in particular process data to carry out arithmetic operations. This may also include operations to perform indexed access to a data structure, for example a translation table (LUT).
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.The computing unit can in particular contain one or more computers, one or more microcontrollers and/or one or more integrated circuits, for example one or more application-specific integrated circuits, ASIC (English: “application-specific integrated circuit”), one or more field-programmable gate circuits. Arrays, FPGA, and/or one or more single-chip systems, SoC (English: “system on a chip”). The computing unit can also have one or more processors, for example one or more microprocessors, one or more central processing units, CPU (central processing unit), one or more graphics processing units, GPU (graphics processing unit) and/or one or more signal processors, in particular one or more digital signal processors, DSP. The computing unit can also contain a physical or a virtual network of computers or other of the units mentioned.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.In various embodiments, the computing unit includes one or more hardware and/or software interfaces and/or one or more storage units.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.A storage unit can be used as a volatile data memory, for example as a dynamic random access memory, DRAM or static random access memory, SRAM, or as a non-volatile Data memory, for example as a read-only memory, ROM (English: “read-only memory”), as a programmable read-only memory, PROM (English: “programmable read-only memory”), as an erasable programmable read-only memory, EPROM (English: “erasable programmable read-only memory"), as electrically erasable programmable read-only memory, EEPROM (English: "electrically erasable programmable read-only memory"), as flash memory or flash EEPROM, as ferroelectric memory with random access, FRAM (English: "ferroelectric random access memory "), as a magnetoresistive random access memory, MRAM (English: "magnetoresistive random access memory") or as a phase change memory with random access, PCRAM (English: "phase-change random access memory").
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug mit einem erfindungsgemäßen Frontkamerasystem angegeben.According to a further aspect of the invention, a vehicle with a front camera system according to the invention is specified.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Betreiben eines Frontkamerasystems eines Fahrzeugs, insbesondere eines erfindungsgemäßen Frontkamerasystems, angeben. Dabei wird mittels einer Kamera des Frontkamerasystems, wobei die Kamera an einer Innenseite, also zum Fahrzeuginnenraum zugewandten Seite, einer Windschutzscheibe des Fahrzeugs befestigt ist, ein originärer Bilddatenstrom erzeugt, der insbesondere eine äußere Umgebung des Fahrzeugs darstellt. Basierend auf dem originären Bilddatenstrom werden mittels eines Verteilermoduls des Frontkamerasystems ein erster und ein zweiter Bilddatenstrom erzeugt. Mittels wenigstens einer Recheneinheit des Fahrzeugs, insbesondere des Frontkamerasystems, wird abhängig von dem ersten Bilddatenstrom ein Algorithmus zum Computersehen durchgeführt. Mittels der wenigstens einen Recheneinheit werden abhängig von dem zweiten Bilddatenstrom Anzeigedaten zur Anzeige auf einem Display, insbesondere des Fahrzeugs oder des Frontkamerasystems, erzeugt.According to a further aspect of the invention, a method for operating a front camera system of a vehicle, in particular a front camera system according to the invention, is specified. This is done using a camera of the front camera system, with the camera on the inside, i.e. the side facing the vehicle interior. a windshield of the vehicle is attached, an original image data stream is generated, which in particular represents an external environment of the vehicle. Based on the original image data stream, a first and a second image data stream are generated using a distribution module of the front camera system. Using at least one computing unit of the vehicle, in particular the front camera system, an algorithm for computer vision is carried out depending on the first image data stream. By means of the at least one computing unit, display data is generated for display on a display, in particular of the vehicle or the front camera system, depending on the second image data stream.
Gemäß zumindest einer Ausführungsform des Verfahrens zum Betreiben des Frontkamerasystems wird dem zweiten Bilddatenstrom ein grafisches Element überlagert, um die Anzeigedaten zu erzeugen. Die Anzeigedaten werden, insbesondere mittels der wenigstens einen Recheneinheit, auf dem Display angezeigt.According to at least one embodiment of the method for operating the front camera system, a graphic element is superimposed on the second image data stream in order to generate the display data. The display data is displayed on the display, in particular by means of the at least one computing unit.
Gemäß zumindest einer Ausführungsform werden die Anzeigedaten, insbesondere mittels der wenigstens einen Recheneinheit, auf dem Display angezeigt oder die Anzeigedaten werden, insbesondere mittels der einen Recheneinheit, auf einem Datenspeicher gespeichert.According to at least one embodiment, the display data is displayed on the display, in particular by means of the at least one computing unit, or the display data is stored on a data memory, in particular by means of the one computing unit.
Weitere Ausführungsformen des erfindungsgemäßen Verfahrens folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Frontkamerasystems und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu dem erfindungsgemäßen Frontkamerasystem analog auf entsprechende Ausführungsformen des erfindungsgemäßen Verfahrens übertragen. Insbesondere ist das erfindungsgemäße Frontkamerasystem zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet. Insbesondere führt das erfindungsgemäße Frontkamerasystem das erfindungsgemäße Verfahren durch.Further embodiments of the method according to the invention follow directly from the various configurations of the front camera system according to the invention and vice versa. In particular, individual features and corresponding explanations as well as advantages regarding the various embodiments of the front camera system according to the invention can be transferred analogously to corresponding embodiments of the method according to the invention. In particular, the front camera system according to the invention is designed to carry out a method according to the invention. In particular, the front camera system according to the invention carries out the method according to the invention.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and/or shown in the figures can be included in the invention not only in the combination specified in each case, but also in other combinations. In particular, the invention may also include designs and combinations of features that do not have all the features of an originally formulated claim. The invention may also include embodiments and combinations of features that go beyond or deviate from the combinations of features set out in the references to the claims.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren zeigen:
-
1 schematisch eine beispielhafte Ausführungsform eines erfindungsgemäßen Fahrzeugs mit einer beispielhaften Ausführungsform eines erfindungsgemäßen Frontkamerasystems; und -
2 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Betreiben eines Frontkamerasystems eines Fahrzeugs.
-
1 schematically an exemplary embodiment of a vehicle according to the invention with an exemplary embodiment of a front camera system according to the invention; and -
2 a schematic flowchart of a method according to the invention for operating a front camera system of a vehicle.
In
Das Frontkamerasystem 2 weist eine Kamera 3 auf, die beispielsweise an einer Windschutzscheibe 6 des Fahrzeugs 1 befestigt ist und deren Sichtfeld daher einen vor dem Fahrzeug 1 liegenden Teil der äußeren Umgebung des Fahrzeugs 1 abdeckt. Die Kamera 3 enthält ein Objektiv 4 und eine Kameraelektronik 5 mit einem Bildsensor, der wiederum ein Detektorarray enthält.The front camera system 2 has a
Das Frontkamerasystem 2 weist ein Verteilermodul 7 auf, das eingangsseitig mit der Kameraelektronik 5, insbesondere dem Bildsensor, verbunden ist und ausgangsseitig über eine erste Datenverbindung 12 mit einer ersten Recheneinheit 8 des Frontkamerasystems 2, sowie über eine zweite Datenverbindung 13 mit einer zweiten Recheneinheit 9 des Frontkamerasystems 2. Die Recheneinheiten 8, 9 können beispielsweise als elektronische Steuergeräte, ECUs (englisch: „electronic control units“) ausgestaltet sein. Die Recheneinheiten 8, 9 können in manchen Ausführungsformen auch kombiniert sein. Je nach Ausführungsform kann das Verteilermodul 7 Teil der Kameraelektronik 5 sein oder Teil einer der Recheneinheiten 8, 9 oder separat dazu implementiert sein.The front camera system 2 has a
Die zweite Recheneinheit 9 ist beispielsweise mit einem Display 10 des Fahrzeugs 1 oder des Frontkamerasystems 2 verbunden und/oder mit einem Datenspeicher 11 des Fahrzeugs 1 oder des Frontkamerasystems 2. Der Datenspeicher 11 kann auch Teil der zweiten Recheneinheit 9 sein.The
In Schritt S1 erzeugt die Kameraelektronik 5 einen originären Bilddatenstrom. In Schritt S2 erzeugt das Verteilermodul 7 basierend auf dem originären Bilddatenstrom einen ersten Bilddatenstrom und einen zweiten Bilddatenstrom, die beispielsweise im Wesentlichen identisch sein können. Der erste Bilddatenstrom wird über die erste Datenverbindung 12 der ersten Recheneinheit 8 zugeführt und der zweite Bilddatenstrom wird über die zweite Datenverbindung 13 der zweiten Recheneinheit 9 zugeführt.In step S1, the camera electronics 5 generates an original image data stream. In step S2, the
In Schritt S3 führt die erste Recheneinheit 8 abhängig von dem ersten Bilddatenstrom einen Algorithmus zum Computersehen durch. Als Ausgabe können dadurch beispielsweise Informationen erzeugt werden, die Objekte in der Umgebung des Fahrzeugs 1 beschreiben, etwa Informationen über erkannte weitere Fahrzeuge oder Verkehrszeichen. Abhängig von der Ausgabe des Algorithmus zum Computersehen kann die erste Recheneinheit 8 oder eine weitere Rechen- und/oder Steuereinheit des Fahrzeugs 1 Steuersignale zum wenigstens teilweise automatischen Führen des Fahrzeugs 1 erzeugen. Diese Steuersignale können beispielsweise an entsprechende Aktuatoren des Fahrzeugs 1 übermittelt werden, welche abhängig von den Steuersignalen eine Quer- und/oder Längssteuerung des Fahrzeugs 1 beeinflussen oder durchführen können. So können etwa Funktionen wie eine automatisierte Notbremsung oder Spurhalteassistenz realisiert werden. Alternativ oder zusätzlich können abhängig von der Ausgabe des Algorithmus zum Computersehen auch sonstige Fahrerassistenzsysteme, etwa eine Scheinwerferautomatik, gespeist werden.In step S3, the
Beispielsweise parallel zu Schritt S3 erzeugt die zweite Recheneinheit 9 in Schritt S4 abhängig von dem zweiten Bilddatenstrom Anzeigedaten zur Anzeige auf dem Display 10 zu erzeugen und zeigt sie auf dem Display 10 an oder speichert sie auf dem Datenspeicher 11.For example, in parallel to step S3, the
Wie beschrieben, insbesondere unter Bezug auf die Figuren, wird durch die Erfindung ein Frontkamerasystem bereitgestellt, das mit einer Kamera sowohl Funktionen zum Computersehen, als auch zum menschlichen Sehen, etwa zur Augmented-Reality-Navigation oder zur Ereignisdatenaufzeichnung, mit hoher Qualität realisieren kann.As described, in particular with reference to the figures, the invention provides a front camera system that can implement both computer vision and human vision functions, such as augmented reality navigation or event data recording, with high quality using a camera.
Dazu wird ein Verteilermodul eingesetzt, das den vom Bildsensor kommenden originären Bilddatenstrom in zwei Bilddatenströme aufteilen kann, von denen einer zum Computersehen und der andere zum menschlichen Sehen weiterverwendet wird, also insbesondere verarbeitet und in Anzeigedaten umgewandelt, die an ein Display gesendet und von einem menschlichen Betrachter als qualitativ hochwertige Ansicht der vorausliegenden Szene wahrgenommen werden können.For this purpose, a distribution module is used which can divide the original image data stream coming from the image sensor into two image data streams, one of which is used for computer vision and the other for human vision, i.e. in particular processed and converted into display data that is sent to a display and used by a human Viewers can be perceived as a high-quality view of the scene ahead.
In verschiedenen Ausführungsformen kann ein Objektivsystem mit einem horizontalen Sichtfeld von etwa 120° oder mehr verwendet werden, um ein ausreichendes Sichtfeld für die Anwendungen zum menschlichen Sehen zu erreichen.In various embodiments, a lens system with a horizontal field of view of approximately 120° or greater may be used to achieve a sufficient field of view for human vision applications.
In verschiedenen Ausführungsformen kann ein Bildsensor mit einer Auflösung von etwa 4 Millionen Pixeln oder mehr verwendet werden, um eine ausreichende Auflösung für eine qualitativ hochwertige Anzeige zum menschlichen Sehen zu erreichen.In various embodiments, an image sensor with a resolution of approximately 4 million pixels or more may be used to achieve sufficient resolution for a high quality display for human vision.
In verschiedenen Ausführungsformen kann ein Farbfilterarray auf Pixelebene auf dem Detektorarray des Bildsensors verwendet werden, das mindestens drei verschiedenen Arten von Filtern enthält, die jeweils verschiedene Teile des für den Menschen sichtbaren Spektrums zu dem Detektorarray passieren lassen, etwa eine Kombination aus roten, gelben und cyanfarbenen Filtern, um die Erzeugung qualitativ hochwertige Farbdarstellungen zum menschlichen Sehen zu ermöglichen.In various embodiments, a pixel-level color filter array may be used on the detector array of the image sensor, containing at least three different types of filters, each passing different parts of the human-visible spectrum to the detector array, such as a combination of red, yellow, and cyan Filtering to enable the production of high quality color representations for human vision.
In verschiedenen Ausführungsformen kann ein Bildsensor verwendet werden, der basierend auf einer Einzelbelichtung eines Pixels einen sehr hohen dynamischen Bereich, insbesondere 110 db oder mehr, des Pixelauslesewertes erzielt, beispielsweise durch Verwendung der Dual-Conversion-Gain-Technologie, so dass ein hoher dynamischer Bereich erreicht wird, ohne dass mehrere aufeinanderfolgende Belichtungen durchgeführt werden müssen oder sodass weniger aufeinanderfolgende Belichtungen durchgeführt werden müssen, sodass Bewegungsartefakte oder Doppelkonturen, wie sie aus solchen aufeinanderfolgenden Mehrfachbelichtungen resultieren können, vermieden werden können.In various embodiments, an image sensor can be used that achieves a very high dynamic range, in particular 110 dB or more, of the pixel readout value based on a single exposure of a pixel, for example by using dual conversion gain technology, so that a high dynamic range is achieved without having to perform multiple consecutive exposures or without having to perform fewer consecutive exposures, so that motion artifacts or double contours, as can result from such consecutive multiple exposures, can be avoided.
In verschiedenen Ausführungsformen kann ein Bildsensor mit einer Split-Pixel-Architektur verwendet werden, also einer Kombination aus mindestens einem empfindlicheren und einem weniger empfindlichen Lichtsensor in jedem Pixel, was eine Langzeitbelichtung des weniger empfindlichen Lichtsensors von etwa 8 ms oder mehr ohne Sättigung selbst bei hellen Tageslichtszenen ermöglicht, so dass durch den Vergleich oder die Kombination der Messwerte beider Lichtsensoren die Auswirkungen von LED-Flackern auf die menschliche Wahrnehmung reduziert werden können.In various embodiments, an image sensor can be used with a split-pixel architecture, that is, a combination of at least one more sensitive and one less sensitive light sensor in each pixel, which allows a long exposure of the less sensitive light sensor of about 8 ms or more without saturation even in bright conditions Daylight scenes are possible, so that by comparing or combining the measured values of both light sensors, the effects of LED flickering on human perception can be reduced.
In verschiedenen Ausführungsformen kann eine einzige statische oder dynamische Konfiguration beispielsweise für Belichtungszeiten, Verstärkung, Empfindlichkeit, und/oder die Kombination von verschiedenen Read-Outs des Bildsensors, verwendet werden, die sowohl für den Algorithmus zum Computersehen, als auch für die Anwendungen zum menschlichen Sehen geeignet ist, so dass es nicht notwendig ist, zwischen weitgehend verschiedenen Einstellungen umzuschalten, um den notwendigen Dynamikbereich für zu erreichen, was zu einem schwer zu kompensierenden Flimmereffekten führen könnte.In various embodiments, a single static or dynamic configuration for, for example, exposure times, gain tion, sensitivity, and/or the combination of different read-outs of the image sensor, which is suitable for both the computer vision algorithm and the human vision applications, so that it is not necessary to choose between largely different settings to achieve the necessary dynamic range, which could result in flickering effects that are difficult to compensate for.
In verschiedenen Ausführungsformen kann der Bildsensor mit einer Einzelbildrate betrieben werden, die gut zu Bildverarbeitungsanwendungen passt, zum Beispiel 15 Einzelbilder pro Sekunde, 30 Einzelbilder pro Sekunde oder 60 Einzelbilder pro Sekunde.In various embodiments, the image sensor may operate at a frame rate that is well suited to image processing applications, for example, 15 frames per second, 30 frames per second, or 60 frames per second.
In verschiedenen Ausführungsformen kann ein Linsendesign des Objektivs verwendet werden, das die erforderliche Bildqualität für das menschliche Sehen in hoher Qualität ermöglicht, beispielsweise mit einer Kompensation der chromatischen Aberration über das gesamte sichtbare Spektrum hinweg, auch wenn dies für den Algorithmus zum Computersehen möglicherweise nicht erforderlich wäre.In various embodiments, a lens design of the lens may be used that enables the required high quality image quality for human vision, for example with compensation for chromatic aberration across the entire visible spectrum, even though this may not be necessary for the computer vision algorithm .
In verschiedenen Ausführungsformen kann eine Verzeichnungskorrektur durchgeführt und/oder ein Teilbereich der Einzelbilder ausgewählt werden, insbesondere für die Anwendungen zum menschlichen Sehen.In various embodiments, distortion correction can be carried out and/or a sub-area of the individual images can be selected, in particular for human vision applications.
Beispielsweise kann der zweite Bilddatenstrom bei Bedarf in ein digitales Datenformat umgewandelt werden, das über ein Kabel übertragen werden kann, sodass diese Daten dann, möglicherweise in Kombination mit anderen digitalen Daten, über einen Stecker weiter übertragen werden können, insbesondere an die wenigstens einen Recheneinheit.For example, if necessary, the second image data stream can be converted into a digital data format that can be transmitted via a cable, so that this data can then be further transmitted via a plug, possibly in combination with other digital data, in particular to the at least one computing unit.
Die Erfindung ermöglicht es, mit einer einzigen Kamera hochleistungsfähiges Computersehen in Fahrzeugen und hochqualitative Funktionen zum menschlichen Sehen zu realisieren, ohne dass dazu zwei Kameras erforderlich wären oder signifikante Qualitätseinschränkungen für die Funktionen zum menschlichen Sehen und/oder die Funktionen zum Computersehen resultieren würden.The invention makes it possible to realize high-performance computer vision in vehicles and high-quality human vision functions with a single camera, without requiring two cameras or resulting in significant quality restrictions for the human vision functions and/or the computer vision functions.
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022123561.0A DE102022123561A1 (en) | 2022-09-15 | 2022-09-15 | Front camera system for a vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022123561.0A DE102022123561A1 (en) | 2022-09-15 | 2022-09-15 | Front camera system for a vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102022123561A1 true DE102022123561A1 (en) | 2024-03-21 |
Family
ID=90062180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102022123561.0A Pending DE102022123561A1 (en) | 2022-09-15 | 2022-09-15 | Front camera system for a vehicle |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102022123561A1 (en) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030137586A1 (en) | 2002-01-22 | 2003-07-24 | Infinite Innovations, Inc. | Vehicle video switching system and method |
| DE102005000650A1 (en) | 2005-01-04 | 2006-07-13 | Robert Bosch Gmbh | Visual data detection device for motor vehicle has camera in stem of interior mirror, diverting mirrors and prism |
| DE102006019726A1 (en) | 2006-04-27 | 2007-10-31 | Siemens Ag | Image sensor for use in e.g. rear view camera, has processing device producing one image data set, which is assigned to image from another image data set by combining signals of image points with appropriate correction signals |
| US7561181B2 (en) | 1996-05-22 | 2009-07-14 | Donnelly Corporation | Vehicular vision system |
| US8502860B2 (en) | 2009-09-29 | 2013-08-06 | Toyota Motor Engineering & Manufacturing North America (Tema) | Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent |
| DE102017105635A1 (en) | 2016-03-24 | 2017-09-28 | Ford Global Technologies, Llc | SYSTEM AND METHOD FOR PRODUCING A HYBRID CAMERA VIEW IN A VEHICLE |
| DE102006018370B4 (en) | 2005-04-21 | 2017-12-14 | Aisin Aw Co., Ltd. | Parking assistance method and parking assistance device |
| DE102017112357A1 (en) | 2016-06-28 | 2017-12-28 | Aisin Seiki Kabushiki Kaisha | DISPLAY CONTROL DEVICE |
| DE102016218123A1 (en) | 2016-09-21 | 2018-03-22 | Bayerische Motoren Werke Aktiengesellschaft | Method for image processing in a means of transportation |
| EP3049285B1 (en) | 2013-09-23 | 2018-05-30 | Volkswagen Aktiengesellschaft | Driver assistance system for displaying surroundings of a vehicle |
| DE102019209132A1 (en) | 2018-06-29 | 2020-01-02 | Suzuki Motor Corporation | VEHICLE CAMERA ARRANGEMENT |
| DE102019122305A1 (en) | 2019-08-20 | 2021-02-25 | Bayerische Motoren Werke Aktiengesellschaft | Camera device and method for capturing the surroundings of a motor vehicle and motor vehicle |
| DE102019218790A1 (en) | 2019-12-03 | 2021-06-10 | Ford Global Technologies, Llc | Method for providing image data from a camera system as well as camera system and motor vehicle |
| DE102011077398B4 (en) | 2011-06-10 | 2021-11-04 | Robert Bosch Gmbh | Vehicle camera system for providing a complete image of the vehicle environment and the corresponding method |
| DE112021000146T5 (en) | 2020-06-22 | 2022-07-21 | Mobileye Vision Technologies Ltd. | SYSTEMS AND METHODS FOR DETECTING WHEEL SLIP IN VEHICLES |
-
2022
- 2022-09-15 DE DE102022123561.0A patent/DE102022123561A1/en active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7561181B2 (en) | 1996-05-22 | 2009-07-14 | Donnelly Corporation | Vehicular vision system |
| US20030137586A1 (en) | 2002-01-22 | 2003-07-24 | Infinite Innovations, Inc. | Vehicle video switching system and method |
| DE102005000650A1 (en) | 2005-01-04 | 2006-07-13 | Robert Bosch Gmbh | Visual data detection device for motor vehicle has camera in stem of interior mirror, diverting mirrors and prism |
| DE102006018370B4 (en) | 2005-04-21 | 2017-12-14 | Aisin Aw Co., Ltd. | Parking assistance method and parking assistance device |
| DE102006019726A1 (en) | 2006-04-27 | 2007-10-31 | Siemens Ag | Image sensor for use in e.g. rear view camera, has processing device producing one image data set, which is assigned to image from another image data set by combining signals of image points with appropriate correction signals |
| US8502860B2 (en) | 2009-09-29 | 2013-08-06 | Toyota Motor Engineering & Manufacturing North America (Tema) | Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent |
| DE102011077398B4 (en) | 2011-06-10 | 2021-11-04 | Robert Bosch Gmbh | Vehicle camera system for providing a complete image of the vehicle environment and the corresponding method |
| EP3049285B1 (en) | 2013-09-23 | 2018-05-30 | Volkswagen Aktiengesellschaft | Driver assistance system for displaying surroundings of a vehicle |
| DE102017105635A1 (en) | 2016-03-24 | 2017-09-28 | Ford Global Technologies, Llc | SYSTEM AND METHOD FOR PRODUCING A HYBRID CAMERA VIEW IN A VEHICLE |
| DE102017112357A1 (en) | 2016-06-28 | 2017-12-28 | Aisin Seiki Kabushiki Kaisha | DISPLAY CONTROL DEVICE |
| DE102016218123A1 (en) | 2016-09-21 | 2018-03-22 | Bayerische Motoren Werke Aktiengesellschaft | Method for image processing in a means of transportation |
| DE102019209132A1 (en) | 2018-06-29 | 2020-01-02 | Suzuki Motor Corporation | VEHICLE CAMERA ARRANGEMENT |
| DE102019122305A1 (en) | 2019-08-20 | 2021-02-25 | Bayerische Motoren Werke Aktiengesellschaft | Camera device and method for capturing the surroundings of a motor vehicle and motor vehicle |
| DE102019218790A1 (en) | 2019-12-03 | 2021-06-10 | Ford Global Technologies, Llc | Method for providing image data from a camera system as well as camera system and motor vehicle |
| DE112021000146T5 (en) | 2020-06-22 | 2022-07-21 | Mobileye Vision Technologies Ltd. | SYSTEMS AND METHODS FOR DETECTING WHEEL SLIP IN VEHICLES |
Non-Patent Citations (3)
| Title |
|---|
| ARCOLEO, Mathew: Expanded Imaging Processing Options. Technical Demo Presentation and Product Info, OmniVision Technologies, Inc. Santa Clara, CA, USA: OmniVision, May 2021. URL: https://auto-sens.com/wp-content/uploads/2021/05/Technical-Demo-Presentation-and-Product-Info.pdf [abgerufen am 21.04.2023] |
| DICKMANNS, Ernst D.; BEHRINGER, Reinhold; DICKMANNS, D. et al.: The Seeing Passenger Car 'VaMoRs-P'. IEEE Intelligent Vehicles '94 Symposium, Paris, France, 24 - 26 October 1994. Proceedings, ISBN 0-7803-2135-9, pp. 68 - 73. |
| GRAEFE, Volker: Echtzeit-Bildverarbeitung für ein Fahrer-Unterstützungssystem zum Einsatz auf Autobahnen. it + ti - Informationstechnik und Technische Informatik 36 (1994) 1, Heft 1/94, Sonderheft Robotik, R. Oldenbourg Verlag, S. 16 - 24. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE10304703B4 (en) | Method and device for visualizing the environment of a vehicle with environment-dependent fusion of an infrared and a visual image | |
| EP2431226B1 (en) | Rear view device for a motor vehicle | |
| DE112014005160T5 (en) | A method for detecting a hidden state of a camera, camera system and motor vehicle | |
| DE10203421C1 (en) | Automobile display unit for IR night visibility device has image processor for reducing brightness level of identified bright points in night visibility image | |
| DE102009001122B4 (en) | 1 - 15Camera arrangement and method for determining image signals with color values | |
| DE102006055905B4 (en) | Method for vehicle environment detection and device for environment detection in a motor vehicle | |
| EP3434523A1 (en) | Indirect vision system for a vehicle | |
| DE102019220171A1 (en) | Conversion of input image data from a plurality of vehicle cameras of an all-round vision system into optimized output image data | |
| DE10218175B4 (en) | Method and device for visualizing the environment of a vehicle with a driving-dependent fusion of an infrared and a visual image | |
| DE102017110896B4 (en) | REVERSE VIDEO SYSTEM FOR A VEHICLE WITH REDUNDANT VIDEO PATH | |
| DE102012021736B4 (en) | Image sensor for visible and infrared light and camera system | |
| DE10227171B4 (en) | Method and device for visualizing the environment of a vehicle with distance-dependent fusion of an infrared and a visual image | |
| DE102020125232A1 (en) | Color correction method for a camera system and a camera system | |
| DE102018207388B4 (en) | Method and device for generating a display image in a motor vehicle | |
| DE102022123561A1 (en) | Front camera system for a vehicle | |
| DE102014114328A1 (en) | Motor vehicle camera device with histogram spread | |
| DE102014224903A1 (en) | Optical environment sensor for vehicles | |
| DE102013011844A1 (en) | Method for adjusting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle | |
| DE102021132645A1 (en) | Image sensor arrangement, vehicle camera and method for controlling an image sensor arrangement | |
| DE112020003339T5 (en) | Image processing device and image processing program | |
| DE102018207386B3 (en) | Method and imaging system for generating a display image in a motor vehicle | |
| DE102017219092B4 (en) | Method for recording and processing images of the surroundings of a vehicle, control device and vehicle equipped to carry out such a method and computer program product | |
| WO2015090997A1 (en) | Optical sensor system | |
| DE102019122305A1 (en) | Camera device and method for capturing the surroundings of a motor vehicle and motor vehicle | |
| DE102018121559A1 (en) | SVM system with function for providing a BVM image and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified |