DE102017200487A1 - Method and apparatus for providing camera image data - Google Patents

Method and apparatus for providing camera image data Download PDF

Info

Publication number
DE102017200487A1
DE102017200487A1 DE102017200487.8A DE102017200487A DE102017200487A1 DE 102017200487 A1 DE102017200487 A1 DE 102017200487A1 DE 102017200487 A DE102017200487 A DE 102017200487A DE 102017200487 A1 DE102017200487 A1 DE 102017200487A1
Authority
DE
Germany
Prior art keywords
camera
image
camera image
driver assistance
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017200487.8A
Other languages
German (de)
Inventor
Jörg Schrepfer
Markus Friebe
Georg Arbeiter
Stefan Milz
Vinay Naik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102017200487.8A priority Critical patent/DE102017200487A1/en
Publication of DE102017200487A1 publication Critical patent/DE102017200487A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Abstract

Fahrerassistenzsystem (FAS) für ein Fahrzeug (F) mit mindestens einer an dem Fahrzeug angebrachten Fahrzeugkamera (2) die eine Vielzahl von Kamerapixeln, KP, umfasst und Kamerapixeldaten, KPD, von Kamerabildern, KB, mit einer hohen Kamerabildauflösung erzeugt, wobei spezifische Kamerabildbereiche innerhalb eines Kamerabildes, KB, deren Bilddatenverarbeitung durch eine Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) eine hohe Kamerabildauflösung erfordert, dynamisch erkannt und selektiert werden oder vorselektiert werden und wobei Kamerapixeldaten, KPD, der selektierten oder vorselektierten Kamerabildbereiche innerhalb des Kamerabildes, KB, mit der hohen Kamerabildauflösung und einer entsprechend hohen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden, und wobei Kamerapixeldaten, KPD, der übrigen nicht selektierten Kamerabildbereiche innerhalb des Kamerabildes, KB, mit einer niedrigen Kamerabildauflösung und einer entsprechend niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden.

Figure DE102017200487A1_0000
A driver assistance system (FAS) for a vehicle (F) comprising at least one vehicle camera (2) mounted on the vehicle, comprising a plurality of camera pixels, KP, and generating camera pixel data, KPD, from camera images, KB, with a high camera image resolution, with specific camera image areas within a camera image, KB whose image data processing by a image data processing unit BDVE (4) of the driver assistance system (FAS) requires a high camera image resolution, dynamically detected and selected or preselected and wherein camera pixel data, KPD, the selected or preselected camera image areas within the camera image, KB, with the high camera image resolution and a correspondingly high data transmission rate are transmitted to the image data processing unit BDVE (4) of the driver assistance system (FAS), and wherein camera pixel data, KPD, of the remaining non-selected camera image areas within the camera image, KB, with a low Kam erabildauflösung and a correspondingly low data transmission rate to the image data processing unit BDVE (4) of the driver assistance system (FAS) are transmitted.
Figure DE102017200487A1_0000

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems eines Fahrzeuges.The invention relates to an apparatus and a method for providing camera image data for an image data processing unit of a driver assistance system of a vehicle.

Ein Fahrerassistenzsystem unterstützt den Fahrer eines Fahrzeuges bei der Durchführung von Fahrmanövern. Beispielsweise wird der Fahrzeugführer beim Rückwärtsfahren des Fahrzeuges und/oder beim Einparken des Fahrzeuges durch das Fahrerassistenzsystem unterstützt. Hierzu kann beispielsweise dem Fahrer über eine Anzeige die Fahrzeugumgebung angezeigt werden. Daher verfügen herkömmliche Fahrerassistenzsysteme über mehrere Fahrzeugkameras, die an einer Fahrzeugkarosserie des Fahrzeuges angebracht sind und Bilddaten an eine Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übermitteln. Die Bilddatenverarbeitungseinheit führt eine Bilddatenverarbeitung der erhaltenen Kamerabilddaten durch. Die erhaltenen Kamerabilddaten der verschiedenen Fahrzeugkameras können zusammengesetzt werden, um dem Fahrer die gesamte Fahrzeugumgebung oder bestimmte Teilbereiche der Fahrzeugumgebung anzuzeigen. Weiterhin können die erhaltenen Kamerabilddaten für weitere Funktionen ausgewertet werden, beispielsweise zur Detektion von Objekten in der Fahrzeugumgebung des Fahrzeuges. Die Fahrzeugkameras umfassen beispielsweise Fischaugenkameras, deren Kamerabilddaten zu einer Fahrzeugumgebungsansicht (Surround View) verarbeitet werden. Weiterhin können die Fahrzeugkameras beispielsweise Spiegelersatzkameras (Mirror Replacement) umfassen, die herkömmliche optische Spiegel, insbesondere Seiten- und Rückspiegel ersetzen. Die Fahrzeugkameras enthalten Bildsensoren, die eine Vielzahl von Pixeln enthalten, welche Kamerapixeldaten erzeugen bzw. generieren. A driver assistance system assists the driver of a vehicle in carrying out driving maneuvers. For example, the driver is assisted when reversing the vehicle and / or when parking the vehicle by the driver assistance system. For this purpose, for example, the driver can be displayed via an indicator, the vehicle environment. Therefore, conventional driver assistance systems have a plurality of vehicle cameras mounted on a vehicle body of the vehicle and transmit image data to an image data processing unit of the driver assistance system. The image data processing unit performs image data processing of the obtained camera image data. The obtained camera image data of the various vehicle cameras may be assembled to indicate to the driver the entire vehicle environment or certain portions of the vehicle environment. Furthermore, the resulting camera image data for further functions can be evaluated, for example, for the detection of objects in the vehicle environment of the vehicle. The vehicle cameras include, for example, fisheye cameras whose camera image data is processed into a vehicle surround view. Furthermore, the vehicle cameras may include, for example, mirror replacement cameras that replace conventional optical mirrors, in particular side and rear view mirrors. The vehicle cameras include image sensors that include a plurality of pixels that generate and generate camera pixel data.

Die verschiedenen Fahrzeugkameras erzeugen fortlaufend Kamerabilder, die eine Vielzahl von Kamerapixeldaten umfassen. Herkömmliche Bildsensoren an Fahrzeugkameras sind in der Lage, Kamerabilder mit einer hohen Kamerabildauflösung zu generieren, sodass eine hohe Anzahl an erzeugten Kamerapixeldaten pro Zeit entsteht, die von der jeweiligen Fahrzeugkamera an die Bilddatenverarbeitungseinheit übertragen werden müssen. Die Kamerapixeldaten werden dabei in einem kontinuierlichen Datenstrom oder paketweise von der Fahrzeugkamera zu der Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen. Allerdings ist die Datenübertragungskapazität herkömmlicher Übertragungsmedien begrenzt. Für Fahrzeugkameras, die Kamerabilder mit einer hohen Kamerabildauflösung erzeugen und eine entsprechend hohe Menge an Kamerapixeldaten pro Zeiteinheit generieren, stellt daher das Übertragungsmedium zur Datenübertragung zwischen der Fahrzeugkamera und der Bilddatenverarbeitungseinheit einen Engpass dar.The various vehicle cameras continuously generate camera images comprising a plurality of camera pixel data. Conventional image sensors on vehicle cameras are able to generate camera images with a high camera image resolution, so that a high number of generated camera pixel data per time, which must be transmitted from the respective vehicle camera to the image data processing unit. The camera pixel data are transmitted in a continuous data stream or packet by packet from the vehicle camera to the image data processing unit of the driver assistance system. However, the data transmission capacity of conventional transmission media is limited. For vehicle cameras that generate camera images with a high camera image resolution and generate a correspondingly high amount of camera pixel data per unit of time, therefore, the transmission medium for data transmission between the vehicle camera and the image data processing unit is a bottleneck.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems eines Fahrzeuges zu schaffen, welches erlaubt, relevante Kamerabildbereiche innerhalb eines Kamerabildes trotz begrenzter Übertragungskapazität eines Datenübertragungsmediums mit hoher Kamerabildauflösung bereitzustellen.It is therefore an object of the present invention to provide a method and an apparatus for providing camera image data for an image data processing unit of a driver assistance system of a vehicle, which allows to provide relevant camera image areas within a camera image despite limited transmission capacity of a data transmission medium with high camera image resolution.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems eines Fahrzeuges mit den in Patentanspruch 1 angegebenen Merkmalen gelöst.This object is achieved by a method for providing camera image data for an image data processing unit of a driver assistance system of a vehicle with the features specified in claim 1.

Die Erfindung schafft demnach ein Verfahren zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems eines Fahrzeuges mit den Schritten:

  • Erzeugen von Kamerapixeldaten von Kamerabildern mit einer hohen Kamerabildauflösung durch Kamerapixel mindestens einer an dem Fahrzeug angebrachten Fahrzeugkamera;
  • Selektieren von spezifischen Kamerabildbereichen innerhalb eines Kamerabildes, deren Bilddatenverarbeitung durch die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems eine hohe Kamerabildauflösung erfordert und
  • Übertragen von Kamerapixeldaten der selektierten Kamerabildbereiche innerhalb des Kamerabildes mit der hohen Kamerabildauflösung und einer entsprechend hohen Datenübertragungsrate und von Kamerapixeldaten der übrigen nicht selektierten Kamerabildbereiche innerhalb des Kamerabildes mit einer niedrigeren Kamerabildauflösung und einer entsprechend niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit des Fahrerassistenzsystems.
The invention accordingly provides a method for providing camera image data for an image data processing unit of a driver assistance system of a vehicle, having the following steps:
  • Generating camera pixel data from camera images having a high camera image resolution by camera pixels of at least one vehicle camera mounted on the vehicle;
  • Selecting specific camera image areas within a camera image whose image data processing by the image data processing unit of the driver assistance system requires a high camera image resolution, and
  • Transferring camera pixel data of the selected camera image areas within the camera image with the high camera image resolution and a correspondingly high data transfer rate and camera pixel data of the remaining non-selected camera image areas within the camera image with a lower camera image resolution and a correspondingly low data transfer rate to the image data processing unit of the driver assistance system.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten der übrigen nicht selektierten Kamerabildbereiche innerhalb des Kamerabildes unterabgetastet und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen.In one possible embodiment of the method according to the invention, the generated camera pixel data of the remaining non-selected camera image areas within the camera image are sub-sampled and transmitted at a low data transmission rate to the image data processing unit of the driver assistance system.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten der übrigen nicht selektierten Kamerabildbereiche innerhalb des Kamerabildes komprimiert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen. In a further possible embodiment of the method according to the invention, the generated camera pixel data of the remaining non-selected camera image areas within the camera image are compressed and transmitted at a low data transmission rate to the image data processing unit of the driver assistance system.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten der übrigen nicht selektierten Kamerabildbereiche innerhalb des Kamerabildes, die von benachbarten Kamerapixeln der Fahrzeugkameras stammen, blockweise kombiniert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen.In a further possible embodiment of the method according to the invention, the generated camera pixel data of the remaining non-selected camera image areas within the camera image, which originate from adjacent camera pixels of the vehicle cameras, are combined in blocks and transmitted at a low data transmission rate to the image data processing unit of the driver assistance system.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens weisen die erzeugten Kamerapixeldaten eines Kamerabildes die von einem Kamerapixel der Fahrzeugkamera stammen, jeweils einen mehrere Datenbit umfassenden Bilddatenwert auf.In a further possible embodiment of the method according to the invention, the generated camera pixel data of a camera image originating from a camera pixel of the vehicle camera each have an image data value comprising a plurality of data bits.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten von nicht selektierten Kamerabildbereichen eines Kamerabildes, die von benachbarten Kamerapixeln der Fahrzeugkamera stammen, blockweise kombiniert, indem ein Mittelwert der Bilddatenwerte der Kamerapixeldaten berechnet wird, der als Bilddatenwert für einen aus den benachbarten Kamerapixeln bestehenden Kamerapixelblock an die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen wird.In another possible embodiment of the method according to the invention, the generated camera pixel data from non-selected camera image areas of a camera image originating from adjacent camera pixels of the vehicle camera are combined in blocks by calculating an average of the image data values of the camera pixel data which is an image data value for one of the neighboring camera pixels Camera pixel block is transmitted to the image data processing unit of the driver assistance system.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden erzeugte elektrische Ladungen, die von benachbarten Kamerapixeln der Fahrzeugkamera in einem nicht selektierten Kamerabildbereich eines Kamerabildes stammen, gemittelt und in einen entsprechenden Bilddatenwert für einen aus den benachbarten Kamerapixeln bestehenden Kamerapixelblock umgewandelt und an die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen.In a further possible embodiment of the method according to the invention, generated electrical charges originating from adjacent camera pixels of the vehicle camera in a non-selected camera image area of a camera image are averaged and converted into a corresponding image data value for a camera pixel block consisting of the neighboring camera pixels and transmitted to the image data processing unit of the driver assistance system ,

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die spezifischen Kamerabildbereiche innerhalb eines Kamerabildes, das von einer Fahrzeugkamera erzeugt wird, durch eine Steuereinheit des Fahrerassistenzsystems oder durch die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems selektiert.In a further possible embodiment of the method according to the invention, the specific camera image areas within a camera image, which is generated by a vehicle camera, are selected by a control unit of the driver assistance system or by the image data processing unit of the driver assistance system.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die spezifischen Kamerabildbereiche innerhalb eines Kamerabildes, das von einer Fahrzeugkamera erzeugt wird, vorselektiert.In a further possible embodiment of the method according to the invention, the specific camera image areas within a camera image, which is generated by a vehicle camera, preselected.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten von Kamerabildern einer Fahrzeugkamera in einem kontinuierlichen Datenstrom an die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen.In a further possible embodiment of the method according to the invention, the camera pixel data generated by camera images of a vehicle camera are transmitted in a continuous data stream to the image data processing unit of the driver assistance system.

Bei einer weiteren möglichen alternativen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten von Kamerabildern einer Fahrzeugkamera in Datenpaketen an die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen.In a further possible alternative embodiment of the method according to the invention, the camera pixel data generated by camera images of a vehicle camera are transmitted in data packets to the image data processing unit of the driver assistance system.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird eine momentane Kamerabildauflösung der übertragenen Kamerapixeldaten der Bilddatenverarbeitungseinheit bei der Übertragung der Kamerapixeldaten von der Fahrzeugkamera zu der Bilddatenverarbeitungseinheit angezeigt.In a further possible embodiment of the method according to the invention, a current camera image resolution of the transmitted camera pixel data of the image data processing unit is displayed during the transmission of the camera pixel data from the vehicle camera to the image data processing unit.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die spezifischen Kamerabildbereiche innerhalb eines Kamerabildes, deren Bilddatenverarbeitung durch die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems eine hohe Kamerabildauflösung erfordert, dynamisch erkannt und selektiert.In a further possible embodiment of the method according to the invention, the specific camera image areas within a camera image whose image data processing requires a high camera image resolution by the image data processing unit of the driver assistance system are dynamically recognized and selected.

Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Fahrerassistenzsystem für ein Fahrzeug mit den in Patentanspruch 13 angegebenen Merkmalen.The invention further provides, in another aspect, a driver assistance system for a vehicle having the features specified in claim 13.

Die Erfindung schafft demnach ein Fahrerassistenzsystem für ein Fahrzeug mit mindestens einer an dem Fahrzeug angebrachten Fahrzeugkamera, die eine Vielzahl von Kamerapixeln umfasst und Kamerapixeldaten von Kamerabildern mit einer hohen Kamerabildauflösung erzeugt,
wobei spezifische Kamerabildbereiche innerhalb eines Kamerabildes, deren Bilddatenverarbeitung durch die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems eine hohe Kamerabildauflösung erfordert, dynamisch erkannt und selektiert werden oder vorselektiert werden und wobei Kamerapixeldaten der selektierten oder vorselektierten Kamerabildbereiche innerhalb des Kamerabildes mit der hohen Kamerabildauflösung und einer entsprechend hohen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen werden und wobei Kamerapixeldaten der übrigen nicht selektierten Kamerabildbereiche innerhalb des Kamerabildes mit einer niedrigen Kamerabildauflösung und einer entsprechend niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit des Fahrerassistenzsystems übertragen werden.The invention thus provides a driver assistance system for a vehicle having at least one vehicle camera mounted on the vehicle, which comprises a plurality of camera pixels and generates camera pixel data from camera images with a high camera image resolution,
wherein specific camera image areas within a camera image whose image data processing by the image data processing unit of the driver assistance system requires a high camera image resolution are dynamically detected and selected, and wherein camera pixel data of the selected or preselected camera image areas within the camera image having the high camera image resolution and a correspondingly high data transmission rate to the image data processing unit the driver assistance system are transmitted and wherein camera pixel data of the remaining non-selected camera image areas within the camera image are transmitted to the image data processing unit of the driver assistance system with a low camera image resolution and a correspondingly low data transmission rate.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Fahrerassistenzsystems weisen die Fahrzeugkameras Surround View-Kameras, insbesondere Fischaugenkameras, und/oder Spiegelersatzkameras auf.In one possible embodiment of the driver assistance system according to the invention, the vehicle cameras have surround view cameras, in particular fisheye cameras, and / or mirror replacement cameras.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Fahrerassistenzsystems werden die spezifischen Kamerabildbereiche innerhalb eines Kamerabildes einer Fahrzeugkamera durch eine Steuereinheit des Fahrerassistenzsystems oder durch die Bilddatenverarbeitungseinheit des Fahrerassistenzsystems selektiert.In a further possible embodiment of the invention Driver assistance system, the specific camera image areas within a camera image of a vehicle camera by a control unit of the driver assistance system or by the image data processing unit of the driver assistance system are selected.

Im Weiteren werden mögliche Ausführungsformen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems unter Bezugnahme auf die beigefügten Figuren detailliert beschrieben.In the following, possible embodiments of the method according to the invention and of the device according to the invention for providing camera image data for an image data processing unit of a driver assistance system will be described in detail with reference to the attached figures.

Es zeigen:

  • 1 eine schematische Darstellung einer möglichen Ausführungsform eines erfindungsgemäßen Fahrerassistenzsystems für ein Fahrzeug;
  • 2 ein weiteres Blockschaltbild zur Darstellung einer möglichen exemplarischen Ausführungsform einer erfindungsgemäßen Vorrichtung zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems;
  • 3 ein weiteres Blockschaltbild zur Darstellung einer weiteren möglichen exemplarischen Ausführungsform einer erfindungsgemäßen Vorrichtung zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems;
  • 4 ein Ablaufdiagramm zur Darstellung einer möglichen Ausführungsform eines erfindungsgemäßen Verfahrens zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems eines Fahrzeuges;
  • 5 eine schematische Darstellung zur Erläuterung eines erfindungsgemäßen Verfahrens und einer erfindungsgemäßen Vorrichtung zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems;
  • 6 ein Beispiel einer Anzeige eines Fahrzeugumgebungsbildes zur Erläuterung der Funktionsweise eines erfindungsgemäßen Verfahrens und einer erfindungsgemäßen Vorrichtung zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit eines Fahrerassistenzsystems eines Fahrzeuges.
Show it:
  • 1 a schematic representation of a possible embodiment of a driver assistance system according to the invention for a vehicle;
  • 2 a further block diagram illustrating a possible exemplary embodiment of a device according to the invention for providing camera image data for an image data processing unit of a driver assistance system;
  • 3 a further block diagram illustrating another possible exemplary embodiment of a device according to the invention for providing camera image data for an image data processing unit of a driver assistance system;
  • 4 a flowchart for illustrating a possible embodiment of a method according to the invention for providing camera image data for an image data processing unit of a driver assistance system of a vehicle;
  • 5 a schematic representation for explaining a method according to the invention and a device according to the invention for providing camera image data for an image data processing unit of a driver assistance system;
  • 6 an example of a display of a vehicle environment image to explain the operation of a method according to the invention and a device according to the invention for providing camera image data for an image data processing unit of a driver assistance system of a vehicle.

Bei dem in 1 dargestellten Ausführungsbeispiel weist ein Fahrzeug F, beispielsweise ein Personenkraftwagen Pkw oder ein Lastkraftwagen Lkw, mehrere an einer Fahrzeugkarosserie des Fahrzeuges F angebrachte Fahrzeugkameras auf, die Teil eines Fahrerassistenzsystems FAS bilden. Bei dem in 1 dargestellten Ausführungsbeispiel erhält eine Datenverarbeitungseinheit 1 eines Fahrerassistenzsystems FAS des Fahrzeuges von verschiedenen Fahrzeugkameras 2-1, 2-2-, 2-3, 2-4 Kamerabilder KB, die von den verschiedenen Fahrzeugkameras erzeugt werden. Bei den Fahrzeugkameras kann es sich beispielsweise um Fischaugenkameras handeln, die Kamerabilder der Fahrzeugumgebung an die Datenverarbeitungseinheit 1 des Fahrerassistenzsystems FAS liefern. Dabei werden Kamerabilder KB in einem Öffnungs- bzw. Blickwinkel der Fahrzeugkameras 2-i generiert und an eine Bilddatenverarbeitungseinheit BDVE der Datenverarbeitungseinheit 1 übertragen. Das Fahrerassistenzsystem FAS kann bei weiteren Ausführungsformen weitere Bildsensoren und weitere Fahrzeugkameras umfassen. Beispielsweise kann an die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS auch eine oder mehrere Spiegelersatzkameras angeschlossen sein, die Kamerabilder KB liefern. Diese Spiegelersatzkameras ersetzen dabei optische Spiegel, beispielsweise einen Rückspiegel oder Seitenspiegel.At the in 1 illustrated embodiment, a vehicle F, for example, a passenger car or a truck trucks, several mounted on a vehicle body of the vehicle F vehicle cameras that form part of a driver assistance system FAS. At the in 1 illustrated embodiment receives a data processing unit 1 a driver assistance system FAS of the vehicle of different vehicle cameras 2 - 1 . 2 - 2 -, 2-3, 2-4 camera images KB, which are generated by the various vehicle cameras. The vehicle cameras may, for example, be fisheye cameras, the camera images of the vehicle environment may be to the data processing unit 1 of the driver assistance system FAS deliver. In this case, camera images KB are in an opening or viewing angle of the vehicle cameras 2 -i and to an image data processing unit BDVE of the data processing unit 1 transfer. The driver assistance system FAS may include further image sensors and further vehicle cameras in further embodiments. For example, one or more mirror replacement cameras that supply camera images KB can also be connected to the image data processing unit BDVE of the driver assistance system FAS. These mirror replacement cameras replace optical mirrors, such as a rearview mirror or side mirrors.

Wie in 1 dargestellt, übertragen die verschiedenen Fahrzeugkameras 2-i Kamerabilddaten an die Datenverarbeitungseinheit 1 über ein zugehöriges Datenübertragungsmedium 3-i. Die Datenübertragung der Kamerabilddaten erfolgt in einer bevorzugten Ausführungsform drahtgebunden über eine Datenleitung oder einen Datenbus. Alternativ können Kamerabilddaten, die von bestimmten Fahrzeugkameras 2-i stammen, auch drahtlos an die Datenverarbeitungseinheit 1 übertragen werden. Die verschiedenen Fahrzeugkameras 2-i enthalten jeweils eine Vielzahl von Kamerapixeln bzw. Bildpunkten oder Bildzellen, welche Kamerapixeldaten KPD mit einer bestimmten Kameraauflösung der Fahrzeugkamera 2-i erzeugen. Die Kamerapixel KP umfassen Flächenelemente eines Rasters, die jeweils einen Bilddatenwert BDW liefern. Die physikalische Größe eines Kamerapixels KP kann von Fahrzeugkamera zu Fahrzeugkamera variieren. Eine Fahrzeugkamera 2-i liefert Kamerapixeldaten KPD mit der Kamerabildauflösung der Fahrzeugkamera 2. Beispielsweise besitzt eine Fahrzeugkamera 2-i einen Bildsensor mit 2000 x 1200 Bildpunkten bei einem Durchmesser von mehreren Millimetern.As in 1 represented, transmitted the various vehicle cameras 2 -i camera image data to the data processing unit 1 via an associated data transmission medium 3-i. The data transmission of the camera image data is done in a preferred embodiment wired via a data line or a data bus. Alternatively, camera image data obtained from certain vehicle cameras 2 -i, also wirelessly to the data processing unit 1 be transmitted. The different vehicle cameras 2 -i each contain a multiplicity of camera pixels or image cells or image cells, which camera pixel data KPD with a specific camera resolution of the vehicle camera 2 generate -i. The camera pixels KP comprise area elements of a raster, which each provide an image data BDW. The physical size of a camera pixel KP may vary from vehicle camera to vehicle camera. A vehicle camera 2 -i provides camera pixel data KPD with the camera image resolution of the vehicle camera 2 , For example, has a vehicle camera 2 -i an image sensor with 2000 x 1200 pixels with a diameter of several millimeters.

Die erzeugten Kamerapixeldaten KPD können bei einer möglichen Ausführungsform in einem kontinuierlichen Datenstrom von der Fahrzeugkamera 2-i zu der Bilddatenverarbeitungseinheit BDVE über das jeweilige Übertragungsmedium 3-i übertragen werden. Bei einer alternativen Ausführungsform erfolgt die Übertragung der Kamerapixeldaten KPD in Datenpaketen. Bei einer möglichen Ausführungsform werden beispielswiese die Kamerabilddaten bzw. die Kamerapixeldaten in Ethernet-Datenpaketen von der Fahrzeugkamera 2-i zu der Bilddatenverarbeitungseinheit BDVE übertragen.The generated camera pixel data KPD may, in one possible embodiment, be in a continuous data stream from the vehicle camera 2 -i to the image data processing unit BDVE via the respective transmission medium 3 -i are transferred. In an alternative embodiment, the transmission of the camera pixel data KPD takes place in data packets. In one possible embodiment, for example, the camera image data or the camera pixel data in Ethernet data packets from the vehicle camera 2 -i to the image data processing unit BDVE.

Bei dem in 1 dargestellten Fahrerassistenzsystem FAS werden spezifische Kamerabildbereiche innerhalb eines Kamerabildes, deren Bilddatenverarbeitung durch eine Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS eine hohe Kamerabildauflösung erfordert, selektiert. Die Kamerapixeldaten KPD der selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB werden anschließend mit der hohen Kamerabildauflösung der Fahrzeugkamera 2-i und mit einer entsprechend hohen Datenübertragungsrate über das Übertragungsmedium 3-i, beispielsweise eine Signalleitung, zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Die Kamerapixeldaten KPD der übrigen nicht selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB werden hingegen mit einer niedrigen Kamerabildauflösung und mit einer entsprechend niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS über das Übertragungsmedium bzw. die Signalleitung 3-i übertragen. At the in 1 represented driver assistance system FAS specific camera image areas within a camera image whose image data processing by an image data processing unit BDVE the driver assistance system FAS requires a high camera image resolution selected. The camera pixel data KPD of the selected camera image areas KBB within the camera image KB are then combined with the high camera image resolution of the vehicle camera 2 -i and with a correspondingly high data transmission rate over the transmission medium 3 -i, for example a signal line, to the image data processing unit BDVE of the driver assistance system FAS. By contrast, the camera pixel data KPD of the remaining non-selected camera image areas KBB within the camera image KB are transmitted to the image data processing unit BDVE of the driver assistance system FAS via the transmission medium or the signal line with a low camera image resolution and a correspondingly low data transmission rate 3 -i transfer.

Die Selektion der relevanten spezifischen Kamerabildbereiche KBB innerhalb des Kamerabildes KB erfolgt bei einer möglichen Ausführungsform dynamisch, wobei relevante Kamerabildbereiche KBB innerhalb eines Kamerabildes KB dynamisch erkannt und selektiert werden. Beispielsweise werden bewegliche Objekte innerhalb eines Kamerabildes KB detektiert und die entsprechenden Kamerabildbereiche KBB, die das sich bewegende Objekt darstellen, als relevant erkannt und selektiert. Diese beweglichen Objekte umfassen beispielsweise andere Fahrzeuge oder Personen in der Nähe des Fahrzeuges F. Weiterhin können auch Kamerabildbereiche KBB, die feststehende Objekte beinhalten, beispielsweise Fahrbahnränder oder dergleichen, als relevant erkannt und selektiert werden. Bei einer alternativen Ausführungsform können spezifische Kamerabildbereiche KBB innerhalb eines Kamerabildes KB, das durch eine Fahrzeugkamera 2-i generiert wird, vorselektiert werden. Beispielsweise können für ein Einparkmanöver ein oder mehrere spezifische Kamerabildbereiche definiert und vorselektiert werden, die für das Einparkmanöver besonders relevant sind und somit mit einer möglichst hohen Kamerabildauflösung dem Fahrer angezeigt werden müssen. Bei einer weiteren möglichen Ausführungsform hat der Fahrer oder ein sonstiger Fahrzeuginsasse die Möglichkeit, spezifische Kamerabildbereiche KBB innerhalb eines Kamerabildes KB zu selektieren bzw. das Fahrerassistenzsystem FAS entsprechend zu konfigurieren. Die Selektion der spezifischen Kamerabildbereiche KBB innerhalb eines Kamerabildes einer Fahrzeugkamera kann bei einer möglichen Ausführungsform durch eine Steuereinheit des Fahrerassistenzsystems FAS selektiert werden. Alternativ werden die spezifischen Kamerabildbereiche innerhalb eines Kamerabildes KB einer Fahrzeugkamera durch die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS selektiert.The selection of the relevant specific camera image areas KBB within the camera image KB takes place dynamically in one possible embodiment, with relevant camera image areas KBB being dynamically recognized and selected within a camera image KB. For example, moving objects within a camera image KB are detected and the corresponding camera image areas KBB, which represent the moving object, are identified as relevant and selected. These moving objects include, for example, other vehicles or persons in the vicinity of the vehicle F. Furthermore, camera image areas KBB, which include stationary objects, for example, road edges or the like, can also be identified as relevant and selected. In an alternative embodiment, specific camera image areas KBB within a camera image KB may be captured by a vehicle camera 2 -i is generated, to be preselected. For example, one or more specific camera image areas can be defined and preselected for a parking maneuver, which are particularly relevant for the parking maneuver and thus have to be displayed to the driver with as high a camera image resolution as possible. In another possible embodiment, the driver or another vehicle occupant has the option of selecting specific camera image areas KBB within a camera image KB or correspondingly configuring the driver assistance system FAS. The selection of the specific camera image areas KBB within a camera image of a vehicle camera can in one possible embodiment be selected by a control unit of the driver assistance system FAS. Alternatively, the specific camera image areas within a camera image KB of a vehicle camera are selected by the image data processing unit BDVE of the driver assistance system FAS.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Fahrerassistenzsystems werden die erzeugten Kamerapixeldaten KPD der übrigen nicht selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB unterabgetastet und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Bei einer möglichen Ausführungsform werden hierbei die erzeugten Kamerapixeldaten der übrigen nicht selektierten Kamerabildbereiche KKB innerhalb des Kamerabildes, die von benachbarten Kamerapixeln KP der Fahrzeugkamera 2-i stammen, blockweise kombiniert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Beispielsweise werden die erzeugten Kamerapixeldaten innerhalb eines nicht selektierten Kamerabildbereichs KBB, die von vier benachbarten Kamerapixeln der Fahrzeugkamera 2-i stammen, blockweise kombiniert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit übertragen. Die Größe der Kamerapixelblöcke kann variieren. Bei einer möglichen Ausführungsform sind die Kamerapixelblöcke KPB quadratisch oder rechteckig ausgebildet. Die quadratisch ausgebildeten Kamerapixelblöcke KPB umfassen dabei n2 Kamerapixel, wobei n die Anzahl der Kamerapixel einer Seitenlänge des quadratischen Kamerapixelblockes darstellt. Dementsprechend umfassen die Kamerapixelblöcke KPB bei dieser Ausführungsform 4, 9, 16 ... 2n Kamerapixel KP. Jeder dieser Kamerapixel KP ist in der Lage, Kamerapixeldaten KPD zu generieren bzw. zu erzeugen. Bei einer möglichen Ausführungsform erzeugen die verschiedenen Kamerapixel KP der Fahrzeugkamera 2-i eine elektrische Ladung Q, die in einen entsprechenden Bilddatenwert BDW bzw. Graustufenwert umgewandelt wird.In one possible embodiment of the driver assistance system according to the invention, the generated camera pixel data KPD of the remaining non-selected camera image areas KBB are subsampled within the camera image KB and transmitted at a low data transmission rate to the image data processing unit BDVE of the driver assistance system FAS. In one possible embodiment, in this case the generated camera pixel data of the remaining non-selected camera image areas KKB are within the camera image, that of adjacent camera pixels KP of the vehicle camera 2 -i, block-wise combined and transmitted at a low data transmission rate to the image data processing unit BDVE of the driver assistance system FAS. For example, the generated camera pixel data within a non-selected camera image area KBB, that of four adjacent camera pixels of the vehicle camera 2 -i are combined in blocks and transmitted to the image data processing unit at a low data transfer rate. The size of the camera pixel blocks may vary. In one possible embodiment, the camera pixel blocks KPB are square or rectangular. The quadratic camera pixel blocks KPB include n 2 camera pixels, where n represents the number of camera pixels of a side length of the square camera pixel block. Accordingly, the camera pixel blocks include KPB in this embodiment 4 . 9 , 16 ... 2 n camera pixels KP. Each of these camera pixels KP is capable of generating or generating camera pixel data KPD. In one possible embodiment, the various camera pixels KP generate the vehicle camera 2 -i an electric charge Q, which is converted into a corresponding image data BDW or grayscale value.

Bei einer möglichen Ausführungsform weisen die erzeugten Kamerapixeldaten KPD eines Kamerabildes KB, die von einem Kamerapixel der Fahrzeugkamera 2-i stammen, jeweils einen mehrere Datenbit umfassenden Bilddatenwert BDW auf. Bei einer möglichen Ausführungsform werden die erzeugten Kamerapixeldaten KPD von nicht selektierten Kamerabildbereichen KBB eines Kamerabildes KB, die von benachbarten Kamerapixeln der Fahrzeugkamera 2-i stammen, blockweise kombiniert, indem ein Mittelwert der Bilddatenwerte BDW der Kamerapixeldaten KPD berechnet wird, der als Bilddatenwert BDW für einen aus den benachbarten Kamerapixeln KP bestehenden Kamerapixelblock an die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen wird. Bei dieser Ausführungsform erfolgt somit die Kombination der Kamerapixeldaten KPD durch Berechnung eines Mittelwerts der Bilddatenwerte BDW. Bei einer alternativen Ausführungsform werden die durch die Kamerapixel erzeugten elektrischen Ladungen Q, die von Kamerapixeln der Fahrzeugkamera 2-i in einem nicht selektierten Kamerabildbereich KBB des Kamerabildes KB stammen, gemittelt und in einen entsprechenden Bilddatenwert BDW für einen aus dem benachbarten Kamerapixeln KP bestehenden Kamerapixelblock KPB umgewandelt und anschließend an die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Die Selektion der spezifischen Kamerabildbereiche innerhalb des Kamerabildes KB, welches von einer Fahrzeugkamera 2-i des Fahrerassistenzsystems FAS stammt, erfolgt bei einer möglichen Ausführungsform durch eine Steuereinheit des Fahrerassistenzsystems. Alternativ kann die Selektion der spezifischen Kamerabildbereiche KBB innerhalb des Kamerabildes KB durch die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS selbst erfolgen.In one possible embodiment, the generated camera pixel data KPD of a camera image KB, that of a camera pixel of the vehicle camera 2 -i each have a data bit value BDW comprising several bits of data. In one possible embodiment, the generated camera pixel data KPD are obtained from non-selected camera image areas KBB of a camera image KB, that of adjacent camera pixels of the vehicle camera 2 -i are obtained, block by block, by calculating an average value of the image data BDW of the camera pixel data KPD which is transmitted as image data BDW for a camera pixel block consisting of the neighboring camera pixels KP to the image data processing unit BDVE of the driver assistance system FAS. Thus, in this embodiment, the combination of the camera pixel data KPD is performed by calculating an average value of the image data BDW. In an alternative embodiment become the electric charges Q generated by the camera pixels, that of camera pixels of the vehicle camera 2 -i in a non-selected camera image area KBB of the camera image KB, averaged and converted into a corresponding image data BDW for a camera pixel block KPB existing from the neighboring camera pixel KP and subsequently transmitted to the image data processing unit BDVE of the driver assistance system FAS. The selection of the specific camera image areas within the camera image KB, which of a vehicle camera 2 -i of the driver assistance system FAS, takes place in a possible embodiment by a control unit of the driver assistance system. Alternatively, the selection of the specific camera image areas KBB within the camera image KB can be carried out by the image data processing unit BDVE of the driver assistance system FAS itself.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Fahrerassistenzsystems FAS werden die erzeugten Kamerapixeldaten der übrigen nicht selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB komprimiert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Hierbei können unterschiedliche Kompressionsalgorithmen eingesetzt werden, beispielsweise H264 oder dergleichen. Bei einer möglichen Ausführungsform des erfindungsgemäßen Fahrerassistenzsystems FAS werden die von den Fahrzeugkameras 2-i erzeugten Kamerapixeldaten KPD von Kamerabildern in einem kontinuierlichen Datenstrom an die Bilddatenverarbeitungseinheit BDVE übertragen. Alternativ können die erzeugten Kamerapixeldaten der Fahrzeugkameras auch in Datenpaketen an die Bilddatenverarbeitungseinheit BDVE übermittelt werden. Bei einer möglichen Ausführungsform des erfindungsgemäßen Fahrerassistenzsystems FAS wird eine momentane Kamerabildauflösung der an die Bilddatenverarbeitungseinheit BDVE übertragenen Kamerapixeldaten KPD während der Übertragung der Kamerapixeldaten von der Fahrzeugkamera zu der Bilddatenverarbeitungseinheit BDVE angezeigt, beispielsweise durch entsprechende Angaben in dem Datenstrom oder durch entsprechende Headerdaten der übertragenen Datenpakete. Hierdurch wird erreicht, dass die empfangende Bilddatenverarbeitungseinheit BDVE, insbesondere bei einer dynamischen Selektion der Kamerabildbereiche KBB, über die momentane Auflösung der empfangenen Kamerapixeldaten KPD informiert wird und diese entsprechend verarbeiten kann.In a further possible embodiment of the driver assistance system FAS according to the invention, the generated camera pixel data of the remaining non-selected camera image areas KBB are compressed within the camera image KB and transmitted at a low data transmission rate to the image data processing unit BDVE of the driver assistance system FAS. In this case, different compression algorithms can be used, for example H264 or the like. In one possible embodiment of the driver assistance system FAS according to the invention, those of the vehicle cameras 2 -i generated camera pixel data KPD of camera images in a continuous data stream to the image data processing unit BDVE transferred. Alternatively, the generated camera pixel data of the vehicle cameras can also be transmitted in data packets to the image data processing unit BDVE. In one possible embodiment of the driver assistance system FAS, an instantaneous camera image resolution of the camera pixel data KPD transmitted to the image data processing unit BDVE is displayed by the vehicle camera to the image data processing unit BDVE during transmission of the camera pixel data, for example by corresponding information in the data stream or by corresponding header data of the transmitted data packets. This ensures that the receiving image data processing unit BDVE, in particular in a dynamic selection of the camera image areas KBB, is informed about the current resolution of the received camera pixel data KPD and can process them accordingly.

2 zeigt ein Blockschaltdiagramm zur Darstellung einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit BDVE eines Fahrerassistenzsystems FAS. Bei dem in 2 dargestellten Ausführungsbeispiel liefert eine Fahrzeugkamera 2-i die von ihren Kamerapixeln erzeugten Kamerapixeldaten KPD an eine Bilddatenverarbeitungseinheit 4 der Datenverarbeitungseinheit 1 des Fahrerassistenzsystems FAS. Die Bilddatenverarbeitungseinheit BDVE 4 umfasst bei einer möglichen Ausführungsform einen oder mehrere Prozessoren zur Bilddatenverarbeitung. Bei dem in 2 dargestellten Ausführungsbeispiel steuert die Bilddatenverarbeitungseinheit 4 die verschiedenen Fahrzeugkameras 2-i an. Die Bilddatenverarbeitungseinheit 4 überträgt Steuersignale CRTL an die Fahrzeugkameras 2-i. Die Steuersignale selektieren in dem dargestellten Ausführungsbeispiel spezifische Kamerabildbereiche innerhalb eines Kamerabildes KB der entsprechenden Fahrzeugkamera 2-i. Dabei können entweder stets die gleichen spezifischen Kamerabildbereiche KBB selektiert werden oder in Abhängigkeit von den Umständen bestimmte Kamerabildbereiche KBB dynamisch selektiert bzw. ausgewählt werden. Die Ansteuerung der Fahrzeugkamera 2-i kann wie in 2 dargestellt über separate Steuerleitungen 5 erfolgen. Alternativ können die Steuersignale CRTL von der Bilddatenverarbeitungseinheit 4 auch über das Übertragungsmedium 3-i an die Fahrzeugkamera 2-i übertragen werden. Bei einer möglichen Ausführungsform ist das Übertragungsmedium 3-i eine elektrische Signalübertragungsleitung oder eine Busleitung eines Fahrzeugbusses. Bei einer weiteren möglichen alternativen Ausführungsform kann die Signalübertragung von der Fahrzeugkamera 2-i zu der Bilddatenverarbeitungseinheit 4 über ein optisches Übertragungsmedium, insbesondere ein Glasfaserkabel, erfolgen. Dabei kann die Datenübertragung mittels verschiedener optischer Kanäle bzw. Wellenlängen oder Trägerfrequenzen durchgeführt werden. Bei einer möglichen Ausführungsform wird das Steuersignal zur Ansteuerung der Kamerabildbereiche KBB über einen bestimmten Kanal bzw. mit einer bestimmten Trägerfrequenz optisch übertragen, beispielsweise über einen sogenannten Optical Supervisory Channel OSC. Bei einer weiteren möglichen Ausführungsform kann die Selektion der spezifischen Kamerabildbereiche innerhalb des Kamerabildes KB auch adaptiv erfolgen, wobei die empfangenen Kamerapixeldaten KPD durch die Bilddatenverarbeitungseinheit 4 verarbeitet bzw. ausgewertet werden und anhand des Verarbeitungsergebnisses der spezifische Kamerabildbereich KBB adaptiv angepasst wird, beispielsweise verkleinert oder vergrößert. Bei einer weiteren möglichen Ausführungsform können die Steuersignale CRTL zur Ansteuerung der Fahrzeugkamera 2-i auch von einer separaten Steuereinheit des Fahrerassistenzsystems FAS generiert werden, insbesondere von einer höheren Schicht bzw. einem höheren Anwendungslayer einer Fahrerassistenzanwendung des Fahrerassistenzsystems FAS. 2 shows a block diagram illustrating a possible embodiment of the device according to the invention and the method according to the invention for providing camera image data for an image data processing unit BDVE a driver assistance system FAS. At the in 2 illustrated embodiment provides a vehicle camera 2 -i the camera pixel data KPD generated by their camera pixels to an image data processing unit 4 the data processing unit 1 of the driver assistance system FAS. The image data processing unit BDVE 4 In one possible embodiment, it comprises one or more processors for image data processing. At the in 2 The illustrated embodiment controls the image data processing unit 4 the different vehicle cameras 2 -i. The image data processing unit 4 transmits control signals CRTL to the vehicle cameras 2 -i. The control signals select in the illustrated embodiment, specific camera image areas within a camera image KB of the corresponding vehicle camera 2 -i. Either the same specific camera image areas KBB can always be selected or, depending on the circumstances, certain camera image areas KBB can be selected or selected dynamically. The control of the vehicle camera 2 -i can be like in 2 represented by separate control lines 5 respectively. Alternatively, the control signals CRTL from the image data processing unit 4 also over the transmission medium 3 -i to the vehicle camera 2 -i are transferred. In one possible embodiment, the transmission medium 3 -i an electrical signal transmission line or a bus line of a vehicle bus. In another possible alternative embodiment, the signal transmission from the vehicle camera 2 -i to the image data processing unit 4 via an optical transmission medium, in particular a fiber optic cable, take place. In this case, the data transmission can be carried out by means of various optical channels or wavelengths or carrier frequencies. In one possible embodiment, the control signal for controlling the camera image areas KBB is transmitted optically via a specific channel or with a specific carrier frequency, for example via a so-called Optical Supervisory Channel OSC. In a further possible embodiment, the selection of the specific camera image areas within the camera image KB can also be adaptive, the received camera pixel data KPD being processed by the image data processing unit 4 processed or evaluated and based on the processing result of the specific camera image area KBB adaptively adjusted, for example, reduced or enlarged. In a further possible embodiment, the control signals CRTL for controlling the vehicle camera 2 -i are also generated by a separate control unit of the driver assistance system FAS, in particular by a higher layer or a higher application layer of a driver assistance application of the driver assistance system FAS.

3 zeigt ein Blockschaltbild zur Darstellung einer weiteren Ausführungsform eines erfindungsgemäßen Fahrerassistenzsystems FAS. Bei der in 3 dargestellten Ausführungsform umfasst die Datenverarbeitungseinheit 1 des Fahrerassistenzsystems FAS neben der Bilddatenverarbeitungseinheit 4 einen weiteren Prozessor 6, welcher die von der Bilddatenverarbeitungseinheit 4 stammenden Daten weiterverarbeitet. Die Bilddatenverarbeitungseinheit 4 liefert über eine Leitung 7 Daten an den Prozessor 6 zur weiteren Datenverarbeitung. Der Prozessor 6 kann über eine separate Steuerleitung 8-i die Fahrzeugkamera 2-i zur Selektion von bestimmten relevanten Kamerabildbereichen ansteuern. Bei der in 3 dargestellten Ausführungsform enthält die Bilddatenverarbeitungseinheit 4 zudem eine Erkennungseinheit 9 zur Erkennung von relevanten Kamerabildbereichen KBB innerhalb der erhaltenen Kamerabilder KB. Beispielsweise kann ein bewegliches Objekt in der Nähe der Fahrzeugkamera 2-i, insbesondere ein anderes Fahrzeug, oder ein anderes nicht bewegliches Objekt, beispielsweise ein Hindernis, in der Nähe der Fahrzeugkamera 2 durch die Erkennungseinheit 9 der Bilddatenverarbeitungseinheit 4 erkannt werden und der entsprechende Kamerabildbereich dynamisch selektiert werden, um in diesem Bereich Kamerapixeldaten KPD mit einer hohen Kamerabildauflösung zu erhalten. Die Selektion der Kamerabildbereiche kann parallel auch durch den Prozessor 6 der Datenverarbeitungseinheit 1 erfolgen. Bei einer weiteren möglichen Implementierung werden die Steuersignale der Erkennungseinheit 9 und des Prozessors 6 durch eine Selektionslogik verarbeitet, um eine entsprechende Ansteuerung der Fahrzeugkamera 2-i durchzuführen. Beispielsweise wird durch die Erkennungseinheit 9 der Bilddatenverarbeitungseinheit 4 ein sich bewegendes Objekt innerhalb des Kamerabildes erkannt und der entsprechende Kamerabildbereich selektiert. Zusätzlich kann der Prozessor 6 in einem möglichen Anwendungsbeispiel verlangen, dass der entsprechende Kamerabildbereich KBB größer werden soll, sodass die Fahrzeugkamera 2-i auf den entsprechenden Kamerabildbereich KBB zoomt. Es ist auch möglich, dass die Fahrzeugkameras 2 bewegt oder geschwenkt werden, um sie auf Objekte zu richten. Insgesamt erfolgt die Selektion der Kamerabildbereiche in der Art, dass interessante bzw. relevante Kamerabildbereiche mit einer möglichst hohen Kamerabildauflösung und mit einer entsprechend hohen Datenübertragungsrate an die Datenverarbeitungseinheit 1 übertragen werden, während weniger interessante Kamerabildbereiche KBB, beispielsweise statische Bildbereiche ohne mobile oder immobile Objekte, in der Fahrzeugumgebung nur mit einer reduzierten Kamerabildauflösung und einer entsprechend niedrigen Datenübertragungsrate der Datenverarbeitungseinheit 1 zur Verfügung gestellt werden. 3 shows a block diagram illustrating a further embodiment of a driver assistance system FAS invention. At the in 3 The illustrated embodiment comprises the data processing unit 1 the driver assistance system FAS next to the image data processing unit 4, a further processor 6 which is the one from the image data processing unit 4 further processed data. The image data processing unit 4 provides via a line 7 data to the processor 6 for further data processing. The processor 6 can via a separate control line 8th -i the vehicle camera 2 Use -i to select specific relevant camera image areas. At the in 3 In the embodiment shown, the image data processing unit 4 additionally contains a recognition unit 9 for detecting relevant camera image areas KBB within the received camera images KB. For example, a moving object may be near the vehicle camera 2 -i, in particular another vehicle, or another non-moving object, for example an obstacle, in the vicinity of the vehicle camera 2 through the detection unit 9 the image data processing unit 4 are detected and the corresponding camera image area are dynamically selected in order to obtain camera pixel data KPD in this area with a high camera image resolution. The selection of the camera image areas can also be done in parallel by the processor 6 the data processing unit 1 respectively. In another possible implementation, the control signals of the recognition unit 9 and the processor 6 processed by a selection logic to a corresponding control of the vehicle camera 2 -i. For example, by the recognition unit 9 the image data processing unit 4 detects a moving object within the camera image and selects the corresponding camera image area. In addition, the processor can 6 in one possible application example, require that the corresponding camera image area KBB be larger, so that the vehicle camera 2 -i zooms to the corresponding camera image area KBB. It is also possible that the vehicle cameras 2 be moved or panned to focus on objects. Overall, the selection of the camera image areas takes place in such a way that interesting or relevant camera image areas are transmitted to the data processing unit 1 with the highest possible camera image resolution and a correspondingly high data transmission rate, while less interesting camera image areas KBB, for example static image areas without mobile or immobile objects the vehicle environment only with a reduced camera image resolution and a correspondingly low data transmission rate of the data processing unit 1 are provided.

4 zeigt ein Ablaufdiagramm zur Darstellung einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit BDVE eines Fahrerassistenzsystems FAS eines Fahrzeuges. 4 shows a flowchart for illustrating a possible embodiment of the method according to the invention for providing camera image data for an image data processing unit BDVE a driver assistance system FAS of a vehicle.

Bei der in 4 dargestellten Ausführungsform umfasst das Verfahren im Wesentlichen drei Schritte.At the in 4 In the illustrated embodiment, the method essentially comprises three steps.

In einem ersten Schritt S1 werden Kamerapixeldaten KPD von Kamerabildern KB mit einer hohen Kamerabildauflösung durch Kamerapixel mindestens einer an dem Fahrzeug F angebrachten Fahrzeugkamera 2-i erzeugt.In a first step S1, camera pixel data KPD of camera images KB having a high camera image resolution by camera pixels of at least one vehicle camera mounted on the vehicle F are generated 2 -i generated.

In einem weiteren Schritt S2 werden spezifische Kamerabildbereiche innerhalb eines Kamerabildes KB, deren Bilddatenverarbeitung durch die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS eine hohe Kamerabildauflösung erfordert, selektiert. Dabei kann es sich um eine Vorselektion der Kamerabildbereiche KBB handeln oder um eine dynamische adaptive Selektion der Kamerabildbereiche KBB.In a further step S2, specific camera image areas within a camera image KB whose image data processing requires a high camera image resolution by the image data processing unit BDVE of the driver assistance system FAS are selected. This can be a preselection of the camera image areas KBB or a dynamic adaptive selection of the camera image areas KBB.

In einem weiteren Schritt S3 werden die Kamerapixeldaten KPD der selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB mit der hohen Kamerabildauflösung und mit einer entsprechend hohen Datenübertragungsrate übertragen, wohingegen Kamerapixeldaten KPD der übrigen nicht selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB mit einer niedrigeren Kamerabildauflösung und einer entsprechend niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen werden.In a further step S3, the camera pixel data KPD of the selected camera image areas KBB are transmitted within the camera image KB with the high camera image resolution and with a correspondingly high data transmission rate, whereas camera pixel data KPD of the remaining unselected camera image areas KBB within the camera image KB with a lower camera image resolution and a correspondingly low Data transmission rate to the image data processing unit BDVE the driver assistance system FAS be transmitted.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten KPD, die im Schritt S2 nicht selektiert werden, innerhalb des Kamerabildes KB unterabgetastet und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Hierzu werden die erzeugten Kamerapixeldaten KPD der nicht selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB, die von benachbarten Kamerapixeln KP der Fahrzeugkamera stammen, blockweise kombiniert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten KPD der übrigen nicht selektierten Kamerabildbereiche KBB innerhalb des Kamerabildes KB komprimiert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen. Hierzu weist die Fahrzeugkamera 2 bei einer möglichen Ausführungsform ausgangsseitig eine Datenkompressionseinheit auf, welche die erzeugten Kamerapixeldaten KPD mit einem Kompressionsverfahren komprimiert.In one possible embodiment of the method according to the invention, the generated camera pixel data KPD, which are not selected in step S2, are subsampled within the camera image KB and fed to the camera at a low data transmission rate Transfer image data processing unit BDVE of the driver assistance system FAS. For this purpose, the generated camera pixel data KPD of the non-selected camera image areas KBB within the camera image KB originating from adjacent camera pixels KP of the vehicle camera are combined in blocks and transmitted at a low data transmission rate to the image data processing unit BDVE of the driver assistance system FAS. In a further possible embodiment of the inventive method, the generated camera pixel data KPD of the remaining non-selected camera image areas KBB are compressed within the camera image KB and transmitted at a low data transmission rate to the image data processing unit BDVE of the driver assistance system FAS. For this purpose, the vehicle camera 2 in a possible embodiment on the output side, a data compression unit, which compresses the generated camera pixel data KPD with a compression method.

Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens weisen die erzeugten Kamerapixeldaten KPD eines Kamerabildes KB, die von einem Kamerapixel KP der Fahrzeugkamera 2 stammen, jeweils einen mehrere Datenbit umfassenden Bilddatenwert BDW, beispielsweise einen Graustufenwert, auf. Bei einer möglichen Ausführungsvariante des erfindungsgemäßen Verfahrens werden die erzeugten Kamerapixeldaten KPD von nicht selektierten Kamerabildbereichen eines Kamerabildes KB, die von benachbarten Kamerapixeln KP der Fahrzeugkamera stammen, blockweise kombiniert, indem ein Mittelwert der Bilddatenwerte BDW der Kamerapixeldaten KPD berechnet wird, der als Bilddatenwert BDW für einen aus den benachbarten Kamerapixeln KP bestehenden Kamerapixelblock KPB an die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen wird.In one possible embodiment of the method according to the invention, the generated camera pixel data KPD of a camera image KB, that of a camera pixel KP of the vehicle camera 2 are each a multi-bit image data BDW, for example, a gray scale value on. In one possible embodiment variant of the method according to the invention, the generated camera pixel data KPD of non-selected camera image areas of a camera image KB originating from adjacent camera pixels KP of the vehicle camera are combined in blocks by calculating an average of the image data BDW of the camera pixel data KPD which is used as image data BDW for a camera image from the adjacent camera pixels KP existing camera pixel block KPB is transmitted to the image data processing unit BDVE the driver assistance system FAS.

Alternativ werden erzeugte elektrische Ladungen Q, die von benachbarten Kamerapixeln KP der Fahrzeugkamera 2 in einem nicht selektierten Kamerabildbereich KBB eines Kamerabildes KB stammen, gemittelt und in einen entsprechenden Bilddatenwert BDW für einen aus den benachbarten Kamerapixeln KP bestehenden Kamerapixelblock KPB umgewandelt und anschließend an die Bilddatenverarbeitungseinheit BDVE des Fahrerassistenzsystems FAS übertragen.Alternatively, generated electric charges Q are generated from adjacent camera pixels KP of the vehicle camera 2 originate in a non-selected camera image area KBB of a camera image KB, averaged and converted into a corresponding image data BDW for a camera pixel block KPB consisting of the neighboring camera pixels KP and subsequently transferred to the image data processing unit BDVE of the driver assistance system FAS.

Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird bei der Übertragung der Kamerapixeldaten KPD im Schritt S3 eine momentane Kamerabildauflösung der übertragenen Kamerapixeldaten KPD der Bilddatenverarbeitungseinheit BDVE angezeigt. Dies geschieht insbesondere bei einer dynamischen Selektion der spezifischen Kamerabildbereiche KBB. Das erfindungsgemäße Verfahren kann für verschiedene Typen von Fahrzeugkameras 2 eingesetzt werden, beispielsweise Fischaugenkameras oder Spiegelersatzkameras. Weiterhin kann das erfindungsgemäße Verfahren zum Bereitstellen von Kamerabilddaten für beliebige Bildsensoren eines Fahrerassistenzsystems FAS verwendet werden, welche Kamerapixeldaten liefern.In a further possible embodiment of the method according to the invention, in the transmission of the camera pixel data KPD in step S3, a current camera image resolution of the transmitted camera pixel data KPD of the image data processing unit BDVE is displayed. This happens in particular with a dynamic selection of the specific camera image areas KBB. The method according to the invention can be used for different types of vehicle cameras 2 be used, for example, fish eye cameras or mirror replacement cameras. Furthermore, the inventive method for providing camera image data for any image sensors of a driver assistance system FAS can be used, which provide camera pixel data.

5 zeigt schematisch einen Bildsensor zur Erläuterung der Funktionsweise eines erfindungsgemäßen Verfahrens zum Bereitstellen von Kamerabilddaten. 5 schematically shows an image sensor for explaining the operation of a method according to the invention for providing camera image data.

Wie in 5 dargestellt, enthält der Bildsensor bzw. die Fahrzeugkamera 2-i eine Vielzahl von Kamerapixeln KP, die jeweils Bilddatenwerte BDW liefern. Bei dem in 5 dargestellten Beispiel ist links oben ein erster Kamerabildbereich KBB1 dargestellt, dessen Kamerapixeldaten KPD mit einer relativ geringen Kamerabildauflösung übertragen werden. Bei dem dargestellten Beispiel werden in diesem spezifischen Kamerabildbereich KBB1 beispielsweise die Kamerapixeldaten KPD von vier benachbarten Kamerapixeln KP kombiniert und ein entsprechender Bilddatenwert BDW für den jeweiligen Kamerapixelblock KPB an die Bilddatenverarbeitungseinheit BDVE übertragen. Die Kombination kann dabei durch Verrechnung digitaler Werte, beispielsweise durch Mittelwertbildung der Bilddatenwerte BDW der verschiedenen Kamerapixeldaten KPD der benachbarten Kamerapixel KP, durchgeführt werden oder auf physischer Ebene, bei dem die erzeugten elektrischen Ladungen Q, die von benachbarten Kamerapixeln KP der Fahrzeugkamera 2-i in einem nicht selektierten Kamerabildbereich KBB eines Kamerabildes KB stammen, gemittelt und in einen entsprechenden Bilddatenwert BDW für einen aus den benachbarten Kamerapixeln KP bestehenden Kamerapixelblock KPB umgewandelt werden, welcher anschließend an die Bilddatenverarbeitungseinheit BDVE übertragen wird.As in 5 shown contains the image sensor or the vehicle camera 2 -i a plurality of camera pixels KP, which respectively provide image data BDW. At the in 5 1, a first camera image area KBB1 is shown at the top left, whose camera pixel data KPD are transmitted with a relatively low camera image resolution. In the illustrated example, in this specific camera image area KBB1, for example, the camera pixel data KPD of four neighboring camera pixels KP are combined, and a corresponding image data BDW for the respective camera pixel block KPB is transmitted to the image data processing unit BDVE. The combination can be carried out by calculating digital values, for example by averaging the image data BDW of the different camera pixel data KPD of the adjacent camera pixels KP, or on a physical level, where the generated electrical charges Q, that of adjacent camera pixels KP of the vehicle camera 2 -i in a non-selected camera image area KBB of a camera image KB, averaged and converted into a corresponding image data BDW for an existing from the adjacent camera pixels KP camera pixel block KPB, which is then transmitted to the image data processing unit BDVE.

Bei dem in 5 dargestellten Beispiel befindet sich in der rechten unteren Ecke des Bildsensors 2 ein zweiter spezifischer Kamerabildbereich KBB2, der mit einer hohen Kamerabildauflösung der Kamerapixel KP übertragen werden kann. Innerhalb des zweiten spezifischen Kamerabildbereiches KBB2 befindet sich beispielhaft ein kleinerer dritterKamerabildbereich KBB3, der eine geringere Kamerabildauflösung erfordert und dessen Kamerapixeldaten KPD mit einer entsprechend geringeren Kamerabildauflösung und Datenübertragungsrate übertragen werden. Der dritte Kamerabildbereich KBB3 in 5 enthält vier Kamerapixelbereiche KPB, die jeweils aus vier benachbarten Kamerapixeln KP bestehen. Spezifische und nicht spezifische Kamerabildbereiche KBB können verschachtelt werden. Der linke obere erste Kamerabildbereich KBB1 und der rechte untere spezifische Kamerabildbereich KBB2 werden bei einer möglichen Ausführungsform vorselektiert bzw. an die entsprechende Fahrerassistenzfunktion des Fahrerassistenzsystems FAS angepasst. Alternativ können die verschiedenen Kamerabildbereiche KBB während des laufenden Betriebes des Fahrerassistenzsystems FAS in Abhängigkeit von einer momentanen Fahrerassistenzfunktion und/oder einem bestimmten Betriebsmodus des Fahrerassistenzsystems FAS dynamisch selektiert werden.At the in 5 example shown is in the lower right corner of the image sensor 2 a second specific camera image area KBB2 that can be transmitted with a high camera image resolution of the camera pixels KP. Within the second specific camera image area KBB2, by way of example, there is a smaller third camera image area KBB3, which requires a lower camera image resolution and whose camera pixel data KPD are transmitted with a correspondingly lower camera image resolution and data transmission rate. The third camera image area KBB3 in 5 includes four camera pixel areas KPB, each consisting of four adjacent camera pixels KP. Specific and non-specific camera image areas KBB can be nested. The left upper first camera image area KBB1 and the right lower specific camera image area KBB2 are preselected in one possible embodiment or adapted to the corresponding driver assistance function of the driver assistance system FAS. Alternatively, the various camera image areas KBB can be dynamically selected during ongoing operation of the driver assistance system FAS as a function of a current driver assistance function and / or a specific operating mode of the driver assistance system FAS.

6 zeigt beispielhaft ein von einer Fischaugenkamera 2 erzeugtes Kamerabild, das drei selektierte spezifische Kamerabildbereiche KBB umfasst, die eine höhere Kamerabildauflösung erfordern. In dem dargestellten Beispiel sind zwei Seitenbereiche KBB1, KBB2 und ein mittlerer Bereich KBB3 des Kamerabildes KB selektiert, die Bilddaten mit einer hohen Kamerabildauflösung liefern. Die übrigen Bildbereiche des Kamerabildes KB werden mit einer geringeren Bildauflösung übertragen und verarbeitet. 6 shows an example of a fisheye camera 2 generated camera image comprising three selected specific camera image areas KBB, which require a higher camera image resolution. In the illustrated example, two side areas KBB1, KBB2 and a middle area KBB3 of the camera image KB are selected which provide image data with a high camera image resolution. The remaining image areas of the camera image KB are transmitted and processed with a lower image resolution.

Weitere Ausführungsformen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit BDVE eines Fahrerassistenzsystems FAS eines Fahrzeuges F sind möglich. Bei einer möglichen Ausführungsform werden verschiedene Kamerabildbereiche KBB mit unterschiedlichen Kamerabildauflösungen je nach Relevanz des Kamerabildbereichs KBB übertragen. Dabei können eine oder mehrere Abstufungen vorgenommen werden. Beispielsweise werden hochrelevante Kamerabildbereiche KBB mit einer sehr hohen maximalen Kamerabildauflösung der jeweiligen Fahrzeugkamera 2-i übertragen, während weniger relevante mit einer verminderten Kamerabildauflösung übertragen werden und nicht relevante statische Bildbereiche mit einer sehr niedrigen Kamerabildauflösung übertragen werden. Das erfindungsgemäße Verfahren eignet sich sowohl für die Übertragung von Schwarzweißkamerabildern als auch für Farbkamerabilder. Die selektierten Kamerabildbereich KBB können, wie in den Beispielen von 5, 6 dargestellt, quadratisch oder rechteckig sein. Bei alternativen Ausführungsformen können die selektierten Kamerabildbereiche KBB auch andere Formen annehmen, beispielsweise dreieckig oder rund. Weiterhin können die selektierten Kamerabildbereiche KBB auch an die Form eines detektierten Objektes innerhalb des Kamerabildes KB angepasst sein. Beispielsweise wird ein detektiertes bewegliches Objekt mit einer hohen Kamerabildauflösung dargestellt, während die das Objekt umgebende Bereiche mit einer geringeren Kamerabildauflösung übertragen werden. Kreuzt beispielsweise ein bewegliches Objekt die Fahrbahn vor einem Fahrzeug F, beispielsweise ein Wildtier, kann die Umgebung des detektierten Objektes als hochrelevanter spezifischer Kamerabildbereich KBB automatisch detektiert werden und dieser Bereich mit einer möglichst hohen Kamerabildauflösung und Datenübertragungsrate übertragen werden. Das erfindungsgemäße Fahrerassistenzsystem FAS eignet sich für verschiedenartige Fahrzeuge, insbesondere Straßenfahrzeuge, aber auch für Landwirtschaftsfahrzeuge, Wasserfahrzeuge oder Luftfahrzeuge.Further embodiments of the method according to the invention and of the device according to the invention for providing camera image data for an image data processing unit BDVE of a driver assistance system FAS of a vehicle F are possible. In one possible embodiment, different camera image areas KBB are transmitted with different camera image resolutions depending on the relevance of the camera image area KBB. One or more gradations can be made. For example, highly relevant camera image areas KBB with a very high maximum camera image resolution of the respective vehicle camera 2 -i, while less relevant ones are transmitted at a reduced camera image resolution and non-relevant static image areas are transmitted at a very low camera image resolution. The method according to the invention is suitable both for the transmission of black-and-white camera images and for color camera images. The selected camera image area KBB can, as in the examples of 5 . 6 represented, square or rectangular. In alternative embodiments, the selected camera image areas KBB may also take other forms, for example triangular or round. Furthermore, the selected camera image areas KBB can also be adapted to the shape of a detected object within the camera image KB. For example, a detected moving object is displayed with a high camera image resolution, while the areas surrounding the object are transmitted with a lower camera image resolution. If, for example, a moving object crosses the road ahead of a vehicle F, for example a wild animal, the surroundings of the detected object can be automatically detected as a highly relevant specific camera image area KBB and this area can be transmitted with the highest possible camera image resolution and data transmission rate. The driver assistance system FAS according to the invention is suitable for various types of vehicles, in particular road vehicles, but also for agricultural vehicles, watercraft or aircraft.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
DatenverarbeitungseinheitData processing unit
22
Fahrzeugkameravehicle camera
33
Übertragungsmediumtransmission medium
44
BilddatenverarbeitungseinheitImage data processing unit
55
Steuerleitungcontrol line
66
Prozessorprocessor
77
Datenleitungdata line
88th
Steuerleitungcontrol line
99
Erkennungseinheitrecognizer

Claims (15)

Verfahren zum Bereitstellen von Kamerabilddaten für eine Bilddatenverarbeitungseinheit BDVE (4) eines Fahrerassistenzsystems (FAS) eines Fahrzeuges (F) mit den Schritten: - Erzeugen (S1) von Kamerapixeldaten, KPD, von Kamerabildern, KB, mit einer hohen Kamerabildauflösung durch Kamerapixel, KP, mindestens einer an dem Fahrzeug (F) angebrachten Fahrzeugkamera (2) ; - Selektieren (S2) von spezifischen Kamerabildbereichen, KBB, innerhalb eines Kamerabildes, KB, deren Bilddatenverarbeitung durch die Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) eine hohe Kamerabildauflösung erfordert; und - Übertragen (S3) von Kamerapixeldaten, KPD, der selektierten Kamerabildbereiche, KBB, innerhalb des Kamerabildes, KB, mit der hohen Kamerabildauflösung und einer entsprechend hohen Datenübertragungsrate und von Kamerapixeldaten, KPD, der übrigen nicht selektierten Kamerabildbereiche, KBB, innerhalb des Kamerabildes, KB, mit einer niedrigeren Kamerabildauflösung und einer entsprechend niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS).Method for providing camera image data for an image data processing unit BDVE (4) of a driver assistance system (FAS) of a vehicle (F), comprising the steps: Generating (S1) camera pixel data, KPD, camera images, KB, with a high camera image resolution by camera pixels, KP, at least one vehicle camera (2) mounted on the vehicle (F); - selecting (S2) specific camera image areas, KBB, within a camera image, KB, whose image data processing by the image data processing unit BDVE (4) of the driver assistance system (FAS) requires a high camera image resolution; and - transmitting (S3) camera pixel data, KPD, the selected camera image areas, KBB, within the camera image, KB, with the high camera image resolution and a correspondingly high data transfer rate and camera pixel data, KPD, the remaining unselected camera image areas, KBB, within the camera image, KB , with a lower camera image resolution and a correspondingly low data transmission rate to the image data processing unit BDVE (4) of the driver assistance system (FAS). Verfahren nach Anspruch 1, wobei die erzeugten Kamerapixeldaten, KPD, der übrigen nicht selektierten Kamerabildbereiche, KBB, innerhalb des Kamerabildes, KB, unterabgetastet und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden.Method according to Claim 1 wherein the generated camera pixel data, KPD, of the remaining unselected camera image areas, KBB, are sub-sampled within the camera image, KB, and transmitted to the image data processing unit BDVE (4) of the driver assistance system (FAS) at a low data transfer rate. Verfahren nach Anspruch 1, wobei die erzeugten Kamerapixeldaten, KPD, der übrigen nicht selektierten Kamerabildbereiche, KBB, innerhalb des Kamerabildes, KB, komprimiert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden.Method according to Claim 1 wherein the generated camera pixel data, KPD, of the remaining unselected camera image areas, KBB, are compressed within the camera image, KB, and compressed at a low data transfer rate Image data processing unit BDVE (4) of the driver assistance system (FAS) are transmitted. Verfahren nach Anspruch 2, wobei die erzeugten Kamerapixeldaten, KPD, der übrigen nicht selektierten Kamerabildbereiche, KBB, innerhalb des Kamerabildes, KB, die von benachbarten Kamerapixeln, KP, der Fahrzeugkamera (2) stammen, blockweise kombiniert und mit einer niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden.Method according to Claim 2 in which the generated camera pixel data, KPD, of the remaining unselected camera image areas, KBB, within the camera image, KB, originating from adjacent camera pixels, KP, of the vehicle camera (2) are combined in blocks and at a low data transmission rate to the image data processing unit BDVE (4) of the driver assistance system (FAS). Verfahren nach einem der vorangehenden Ansprüche 1 bis 4, wobei die erzeugten Kamerapixeldaten, KPD, eines Kamerabildes, KB, die von einem Kamerapixel, KP, der Fahrzeugkamera (2) stammen, jeweils einen mehrere Datenbit umfassenden Bilddatenwert, BDW, aufweisen.Method according to one of the preceding Claims 1 to 4 wherein the generated camera pixel data, KPD, of a camera image, KB, originating from a camera pixel, KP, of the vehicle camera (2), each comprise an image data value, BDW, comprising several bits of data. Verfahren nach Anspruch 4 und 5, wobei die erzeugten Kamerapixeldaten, KPD, von nicht selektierten Kamerabildbereichen, KBB, eines Kamerabildes, KB, die von benachbarten Kamerapixeln, KP, der Fahrzeugkamera (2) stammen, blockweise kombiniert werden, indem ein Mittelwert der Bilddatenwerte, BDW, der Kamerapixeldaten, KPD, berechnet wird, der als Bilddatenwert, BDW, für einen aus den benachbarten Kamerapixeln, KP, bestehenden Kamerapixelblock, KPB, an die Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen wird.Method according to Claim 4 and 5 wherein the generated camera pixel data, KPD, of non-selected camera image areas, KBB, camera image, KB, originating from adjacent camera pixels, KP, of the vehicle camera (2) are combined in blocks by averaging the image data values, BDW, camera pixel data, KPD , which is transmitted as an image data value, BDW, for a camera pixel block, KPB, existing from the neighboring camera pixels, KP, to the image data processing unit BDVE (4) of the driver assistance system (FAS). Verfahren nach Anspruch 4, wobei erzeugte elektrische Ladungen, Q, die von benachbarten Kamerapixeln, KP, der Fahrzeugkamera (2) in einem nicht selektierten Kamerabildbereich, KBB, eines Kamerabildes, KB, stammen, gemittelt und in einen entsprechenden Bilddatenwert, BDW, für einen aus den benachbarten Kamerapixeln, KP, bestehenden Kamerapixelblock, KPB, umgewandelt und an die Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden.Method according to Claim 4 wherein generated electric charges, Q, originating from adjacent camera pixels, KP, of the vehicle camera (2) in a non-selected camera image area, KBB, camera image, KB, are averaged and converted into a corresponding image data, BDW, for one of the neighboring camera pixels , KP, existing camera pixel block, KPB, and transmitted to the image data processing unit BDVE (4) of the driver assistance system (FAS). Verfahren nach einem der vorangehenden Ansprüche 1 bis 7, wobei die spezifischen Kamerabildbereiche innerhalb eines Kamerabildes, KB, das von einer Fahrzeugkamera (2) erzeugt wird, durch eine Steuereinheit des Fahrerassistenzsystems (FAS) oder durch die Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) selektiert werden.Method according to one of the preceding Claims 1 to 7 wherein the specific camera image areas within a camera image, KB generated by a vehicle camera (2) are selected by a control unit of the driver assistance system (FAS) or by the image data processing unit BDVE (4) of the driver assistance system (FAS). Verfahren nach einem der vorangehenden Ansprüche 1 bis 7, wobei die spezifischen Kamerabildbereiche, KBB, innerhalb eines Kamerabildes, KB, das von einer Fahrzeugkamera (2) erzeugt wird, vorselektiert werden.Method according to one of the preceding Claims 1 to 7 wherein the specific camera image areas, KBB, are preselected within a camera image, KB, generated by a vehicle camera (2). Verfahren nach einem der vorangehenden Ansprüche 1 bis 9, wobei die erzeugten Kamerapixeldaten, KPD, von Kamerabildern, KB, einer Fahrzeugkamera (2) in einem kontinuierlichen Datenstrom oder in Datenpaketen an die Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden.Method according to one of the preceding Claims 1 to 9 wherein the generated camera pixel data, KPD, camera images, KB, a vehicle camera (2) in a continuous data stream or in data packets to the image data processing unit BDVE (4) of the driver assistance system (FAS) are transmitted. Verfahren nach einem der vorangehenden Ansprüche 1 bis 10, wobei eine momentane Kamerabildauflösung der übertragenen Kamerapixeldaten, KPD, der Bilddatenverarbeitungseinheit BDVE (4) bei der Übertragung der Kamerapixeldaten, KPD, von der Fahrzeugkamera (2) zu der Bilddatenverarbeitungseinheit BDVE (4) angezeigt wird.Method according to one of the preceding Claims 1 to 10 wherein a current camera image resolution of the transmitted camera pixel data, KPD, of the image data processing unit BDVE (4) is displayed upon transmission of the camera pixel data, KPD, from the vehicle camera (2) to the image data processing unit BDVE (4). Verfahren nach einem der vorangehenden Ansprüche 1 bis 11, wobei die spezifischen Kamerabildbereiche, KBB, innerhalb eines Kamerabildes, KB, deren Bilddatenverarbeitung durch die Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) eine hohe Kamerabildauflösung erfordert, dynamisch erkannt und selektiert werden.Method according to one of the preceding Claims 1 to 11 in which the specific camera image areas, KBB, within a camera image, KB whose image data processing requires a high camera image resolution by the image data processing unit BDVE (4) of the driver assistance system (FAS), are dynamically detected and selected. Fahrerassistenzsystem (FAS) für ein Fahrzeug (F) mit: mindestens einer an dem Fahrzeug, F, angebrachten Fahrzeugkamera (2) die eine Vielzahl von Kamerapixeln, KP, umfasst und Kamerapixeldaten, KPD, von Kamerabildern, KB, mit einer hohen Kamerabildauflösung erzeugt, wobei spezifische Kamerabildbereiche, KBB, innerhalb eines Kamerabildes, KB, deren Bilddatenverarbeitung durch eine Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) eine hohe Kamerabildauflösung erfordert, dynamisch erkannt und selektiert werden oder vorselektiert werden und wobei Kamerapixeldaten, KPD, der selektierten oder vorselektierten Kamerabildbereiche, KBB, innerhalb des Kamerabildes, KB, mit der hohen Kamerabildauflösung und einer entsprechend hohen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden, und wobei Kamerapixeldaten, KPD, der übrigen nicht selektierten Kamerabildbereiche, KBB, innerhalb des Kamerabildes, KB, mit einer niedrigen Kamerabildauflösung und einer entsprechend niedrigen Datenübertragungsrate zu der Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) übertragen werden.Driver Assistance System (FAS) for a vehicle (F) with: at least one vehicle camera (2) mounted on the vehicle, F, comprising a plurality of camera pixels, KP, and producing camera pixel data, KPD, from camera images, KB, with a high camera image resolution, wherein specific camera image areas, KBB, within a camera image, KB whose image data processing by an image data processing unit BDVE (4) of the driver assistance system (FAS) requires a high camera image resolution, are dynamically detected and selected or preselected and wherein camera pixel data, KPD, of the selected or preselected camera image areas , KBB, within the camera image, KB, with the high camera image resolution and a correspondingly high data transmission rate are transmitted to the image data processing unit BDVE (4) of the driver assistance system (FAS), and camera pixel data, KPD, of the remaining unselected camera image areas, KBB, within the camera image , KB, with a low camera image resolution and a correspondingly low data transmission rate to the image data processing unit BDVE (4) of the driver assistance system (FAS). Fahrerassistenzsystem (FAS) nach Anspruch 13, wobei die Fahrzeugkameras (2) Surround View-Kameras, insbesondere Fischaugenkameras, und/oder Spiegelersatzkameras aufweisen.Driver Assistance System (FAS) Claim 13 in which the vehicle cameras (2) have surround view cameras, in particular fisheye cameras, and / or mirror replacement cameras. Fahrerassistenzsystem (FAS) nach Anspruch 13 oder 14, wobei die spezifischen Kamerabildbereiche innerhalb eines Kamerabildes, KB, einer Fahrzeugkamera (2) durch eine Steuereinheit des Fahrerassistenzsystems (FAS) oder durch die Bilddatenverarbeitungseinheit BDVE (4) des Fahrerassistenzsystems (FAS) selektiert werden.Driver Assistance System (FAS) Claim 13 or 14 wherein the specific camera image areas within a camera image, KB, a vehicle camera (2) by a control unit of the driver assistance system (FAS) or by the image data processing unit BDVE (4) of the driver assistance system (FAS) are selected.
DE102017200487.8A 2017-01-13 2017-01-13 Method and apparatus for providing camera image data Pending DE102017200487A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017200487.8A DE102017200487A1 (en) 2017-01-13 2017-01-13 Method and apparatus for providing camera image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017200487.8A DE102017200487A1 (en) 2017-01-13 2017-01-13 Method and apparatus for providing camera image data

Publications (1)

Publication Number Publication Date
DE102017200487A1 true DE102017200487A1 (en) 2018-07-19

Family

ID=62716892

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017200487.8A Pending DE102017200487A1 (en) 2017-01-13 2017-01-13 Method and apparatus for providing camera image data

Country Status (1)

Country Link
DE (1) DE102017200487A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022001204A1 (en) 2022-04-08 2022-06-09 Mercedes-Benz Group AG Method for object recognition in a vehicle environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230658A1 (en) 2004-10-29 2007-10-04 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
US20110051808A1 (en) 2009-08-31 2011-03-03 iAd Gesellschaft fur informatik, Automatisierung und Datenverarbeitung Method and system for transcoding regions of interests in video surveillance
DE102009043705A1 (en) 2009-10-01 2011-04-07 Silicon Micro Sensors Gmbh Method and camera system for generating images for transmission to an external control unit
DE102011100350A1 (en) 2011-05-03 2012-11-08 Conti Temic Microelectronic Gmbh Image sensor with adjustable resolution
DE102012216522A1 (en) 2011-10-05 2013-04-11 Xerox Corp. MULTIPLE RESOLVING VIDEO ANALYSIS AND IMPORTANT FEATURES KEEPING VIDEO REDUCTION STRATEGY FOR (REAL TIME) VEHICLE TRACKING AND SPEED CONTROL SYSTEMS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230658A1 (en) 2004-10-29 2007-10-04 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
US20110051808A1 (en) 2009-08-31 2011-03-03 iAd Gesellschaft fur informatik, Automatisierung und Datenverarbeitung Method and system for transcoding regions of interests in video surveillance
DE102009043705A1 (en) 2009-10-01 2011-04-07 Silicon Micro Sensors Gmbh Method and camera system for generating images for transmission to an external control unit
DE102011100350A1 (en) 2011-05-03 2012-11-08 Conti Temic Microelectronic Gmbh Image sensor with adjustable resolution
DE102012216522A1 (en) 2011-10-05 2013-04-11 Xerox Corp. MULTIPLE RESOLVING VIDEO ANALYSIS AND IMPORTANT FEATURES KEEPING VIDEO REDUCTION STRATEGY FOR (REAL TIME) VEHICLE TRACKING AND SPEED CONTROL SYSTEMS

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022001204A1 (en) 2022-04-08 2022-06-09 Mercedes-Benz Group AG Method for object recognition in a vehicle environment

Similar Documents

Publication Publication Date Title
DE102009005860B4 (en) Environment Recognition System
DE102007014012B4 (en) Vehicle environment monitor, vehicle environment monitoring method, and vehicle environment monitoring program
EP3501897A1 (en) Vision system for detecting the surroundings of a vehicle
DE102013223039B4 (en) Apparatus and method for providing an AVM image
DE202017007675U1 (en) Computer program product with a computer program for processing visual data of a road surface
DE102008062121A1 (en) A vehicle unit having a vehicle corridor display function, a method for displaying a predicted vehicle trajectory, and a system for generating vehicle corridor marks
DE112013007129T5 (en) Motion trajectory prediction device and motion trajectory prediction method
DE102005018361B4 (en) Device for visually checking the environment of a vehicle
EP2934947A1 (en) Motor vehicle having a camera monitoring system
WO2012168170A1 (en) Vehicle camera system and method for providing a continuous image of the vehicle surroundings
DE102015107675A9 (en) System and method for estimating vehicle dynamics using feature points in images from multiple cameras
DE102008063122A1 (en) Exposure control device and exposure control program for electronic vehicle camera
DE102019201171A1 (en) REMOTE CONTROL SYSTEM AND COMMUNICATION PROCESS OF THIS
DE102014114565A1 (en) BIRD'S EYE VIEW VIEW IMAGE GENERATION DEVICE
WO2018184608A1 (en) Camera device and method for detecting a surrounding region of a vehicle
WO2012168038A1 (en) Vehicle camera system for providing a uninterrupted image of the vehicle surroundings and corresponding method
EP3815044B1 (en) Method for sensor and memory-based depiction of an environment, display apparatus and vehicle having the display apparatus
EP3655299B1 (en) Method and device for determining an optical flow on the basis of an image sequence captured by a camera of a vehicle
DE102017200487A1 (en) Method and apparatus for providing camera image data
DE102020126804A1 (en) IN-VEHICLE IMAGING SYSTEM
DE112018004819T5 (en) Image processing device
DE102006020930B4 (en) Environmental monitoring method for a motor vehicle
DE102017210845A1 (en) Camera apparatus and method for environmental detection of an environmental area of a vehicle
EP3073446B1 (en) Method for representing the surroundings of a vehicle
DE102017100669A1 (en) Method for detecting an environmental region of a motor vehicle with adaptation of a region of interest as a function of a trailer, computing device, camera system and motor vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000

R012 Request for examination validly filed