EP4034438A1 - Verarbeitung verlustbehaftet komprimierten adas-sensordaten für fahrerassistenzsysteme - Google Patents

Verarbeitung verlustbehaftet komprimierten adas-sensordaten für fahrerassistenzsysteme

Info

Publication number
EP4034438A1
EP4034438A1 EP20751470.4A EP20751470A EP4034438A1 EP 4034438 A1 EP4034438 A1 EP 4034438A1 EP 20751470 A EP20751470 A EP 20751470A EP 4034438 A1 EP4034438 A1 EP 4034438A1
Authority
EP
European Patent Office
Prior art keywords
adas
sensor
data
processing unit
adas sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP20751470.4A
Other languages
English (en)
French (fr)
Inventor
Elias Strigel
Stefan Heinrich
Dieter KRÖKEL
Thomas Fechner
Martin PFITZER
Robert Thiel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4034438A1 publication Critical patent/EP4034438A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the invention relates to an ADAS sensor data processing unit, an ADAS sensor system and a method for ADAS sensor data evaluation for use in driver assistance systems or systems for automated driving of a vehicle.
  • ADAS Advanced Driver Assistance Systems
  • AD Automated Driving
  • One goal is to reduce the amount of data of the ADAS sensor data to be transmitted on the vehicle bus.
  • a first aspect of the invention relates to the use of lossy compression algorithms, with which significantly higher compression rates can be achieved, when transmitting ADAS sensor data.
  • Another aspect relates to the architecture of ADAS sensor data processing units and sensor systems for evaluating lossy compressed ADAS sensor data.
  • Another aspect concerns a reduction in the data to be saved for subsequent evaluation for the development, testing and possible validation of the algorithms.
  • a basic consideration is the following:
  • ADAS sensor e.g. a satellite camera
  • computing unit or processing unit for processing the ADAS sensor data
  • ADCU central Control unit for assisted or automated driving
  • An ADAS sensor data processing unit comprises an input interface, a decompression module, a processing unit and an output unit.
  • the input interface is set up to receive data from an ADAS sensor that has been lossy compressed by a compression module.
  • the decompression module is set up to decompress the compressed data of the ADAS sensor.
  • the processing unit is set up to process or evaluate the decompressed data from the ADAS sensor, information relevant to an ADAS / AD function being determined from the decompressed sensor data.
  • the output unit is set up to output the information determined that is relevant for the ADAS / AD function.
  • the ADAS sensor is set up to generate data relating to the detected surroundings of the vehicle and to transmit it to the compression module.
  • the compression module is set up for lossy compression of the sensor-generated data.
  • the data output interface is set up to output the compressed sensor data to the input interface of the ADAS sensor data processing unit. Advantages of using lossy compression are a lower amount of memory required during development for the persistent storage of recorded sensor data, a lower bandwidth required for transmitting the sensor data to the processing unit and a lower bandwidth for transmitting the data within the "intelligent" ADAS sensor.
  • the ADAS sensor system comprises (only) one housing and the ADAS sensor data processing unit is integrated into the housing, e.g. as a SoC (System on Chip).
  • This ADAS sensor system can also be referred to as an intelligent, smart or one-box sensor system.
  • Such a smart sensor system provides in particular a “simultaneous” operation of a compression module and a decompression module “one behind the other”.
  • the special feature here is that within the ADAS sensor system, the sensor-generated data is first compressed with loss by means of an integrated compression module, and then unpacked again by the integrated decompression module. From a conventional point of view, this appears cumbersome or even educa within a sensor, because it is accepted that the processing unit processes the lossy, decompressed ADAS sensor data and not the "complete" raw data that would be available elsewhere within the ADAS sensor system.
  • ADAS sensor data processing unit is an external unit that can be wired or wirelessly connected to an ADAS sensor system arranged separately in the vehicle (usually without its own integrated data processing unit).
  • an external ADAS sensor processing unit can in particular be a central control unit for ADAS / AD functions of the vehicle (ADCU).
  • the invention relates to the arrangement of a data compression unit followed by a decompression unit within an ADAS sensor or an ADAS camera.
  • this can be a one box smart sensor / camera or a two box sensor / camera with a separate sensor head and transmission path to a processing box.
  • the algorithms for sensor data evaluation must be adapted or at least validated to this lossy data.
  • the ADAS sensor of the ADAS sensor system or, for the ADAS sensor data processing unit can preferably be a camera sensor and the ADAS sensor data are accordingly image data.
  • the ADAS camera sensor generates image data that are present in lossy compressed form at the input interface of the ADAS sensor data processing unit.
  • the sensor data processing corresponds to image processing.
  • the processing unit can preferably be an image processing unit or image processing algorithms can be implemented on the processing unit so that the processing unit is set up to detect objects, lane markings, traffic signs, traffic lights, light sources and / or spatial reconstruction of the vehicle environment.
  • the ADAS sensor data processing unit for image data comprises a
  • Optical flow calculation module that is set up to determine the optical flow between uncompressed image data of two individual images captured by the camera sensor at different times and to provide the determined optical flow to a processing unit.
  • Another object of the invention relates to an image preprocessing module for an ADAS camera sensor system according to the invention, comprising an input unit, an optical flow calculation module, a compression module and an output unit.
  • the input unit is set up to receive uncompressed image data from an ADAS camera sensor.
  • the optical flow calculation module is set up to determine the optical flow between uncompressed image data of two individual images captured by the ADAS camera sensor at different times.
  • the compression module is set up for lossy compression of the uncompressed image data received from the ADAS camera sensor.
  • the output unit is set up to output the determined optical flow and the compressed one Image data to the input interface of an ADAS sensor data processing unit according to the invention for camera image data.
  • a corresponding ADAS sensor data processing unit is preferably provided for camera image data, the processing unit of the ADAS sensor data processing unit being set up to take into account the provided optical flow when processing the (lossy) decompressed image data of the camera sensor.
  • the invention further relates to a vehicle with an ADAS sensor data processing unit according to the invention or an ADAS sensor system according to the invention, optionally with an ADAS camera system and an image preprocessing module according to the invention.
  • a (computer-implemented) method according to the invention for ADAS sensor data evaluation comprises the steps of a) receiving lossy compressed data from an ADAS sensor system of a vehicle, b) decompression of the lossy compressed data, c) processing of the decompressed data to determine information required for an ADAS Function are relevant, and d) output of the determined information that is relevant for the ADAS function.
  • the invention also relates to a program element which, when a processing unit of an ADAS sensor data processing unit is programmed with it, instructs the processing unit to carry out a method according to the invention for ADAS sensor data evaluation, as well as a computer-readable medium on which such a program element is stored.
  • the present invention can be implemented in digital electronic circuitry, computer hardware, firmware, or software.
  • 1 shows a first possibility for storing sensor data of an ADAS sensor system
  • 2 shows a second possibility for storing sensor data of an ADAS sensor system by compressing the sensor data without loss
  • ADAS sensor data processing unit which enables the transmission and storage of lossy compressed sensor data
  • FIG. 4 shows an intelligent ADAS sensor system with a processing unit integrated into the sensor module for processing lossy compressed sensor data
  • FIG. 5 shows an intelligent ADAS camera sensor module with an optical flow calculation module based on the captured image data
  • FIG. 6 shows an ADAS -Camera sensor system with an optical flow calculation module based on the captured image data and a separate image processing unit.
  • the ADAS sensor system 100 comprises an ADAS sensor head 1, for example a camera, radar, lidar or laser scanner sensor.
  • the ADAS sensor head 1 has a first data output interface 10, via which sensor data (SD) can be output uncompressed to a data input interface 21 of a processing unit 2 and to a memory unit 3 (outside the ADAS sensor system).
  • the processing unit 2 processes the uncompressed ADAS sensor data (SD) in order to extract information (RI) relevant for ADAS or AD functions.
  • the extracted relevant information (RI) is output to an ADAS or AD system via an information output interface 20 of the ADAS sensor system 100.
  • ADAS sensor data (SD) are diverted and stored without additional compression.
  • FIG. 2 shows how in an ADAS sensor system 100 (cf. FIG. 1) the sensor data (SD) can additionally be compressed without loss.
  • an external compression unit 4 which receives the uncompressed ADAS sensor data (SD) from the first data output interface 10 of the ADAS sensor head 1, the sensor data is compressed without loss and the compressed data (cSD) is transmitted to a memory unit 5.
  • the amount of data to be saved can be reduced by a factor of 2. Nevertheless, high costs are still incurred for the amounts of data to be stored, since the storage unit 5 must be dimensioned accordingly.
  • One solution to the problem of the high costs of storing the sensor data is lossy compression, which enables significantly higher compression rates ( ⁇ > factor 10 less).
  • an ADAS sensor system 30 with a separate ADAS sensor data processing unit 40 is shown schematically, which enables the transmission and storage of significantly more highly compressed sensor data.
  • the ADAS sensor head 1 records data that are transmitted to an internal compression module 6.
  • the internal compression module 6 is set up to compress the ADAS sensor data in a lossy manner and to transmit the lossy compressed ADAS sensor data (IcSD) to a data output interface 300.
  • the (lossy) compressed ADAS sensor data (IcSD) are output from the data output interface 300 of the ADAS sensor system 30 to an input interface 401 of an external (e.g. central) ADAS sensor data processing unit 40.
  • the input interface 401 transmits the compressed ADAS sensor data (IcSD) to a decompression module 7 of the ADAS sensor data processing unit 40.
  • the decompression module 7 is set up to unpack the compressed ADAS sensor data (IcSD). Since these have been compressed with losses, the decompressed ADAS sensor data (IdSD) show differences compared to the originally recorded sensor data (SD), i.e. the raw data, and are subject to losses of detailed information.
  • the decompressed ADAS sensor data (IdSD) are transmitted to a processing unit 44 of the ADAS sensor data processing unit 40.
  • the processing unit 44 is configured to process the lossy decompressed ADAS sensor data (IdSD), i.e. to determine information relevant to an ADAS / AD function from the sensor data.
  • the algorithms that are used on the processing unit 44 are either developed specifically for lossy data or the suitability of existing algorithms for lossless (raw) data must be demonstrated for the lossy data via an output interface 400 of the processing unit 44 or the external one ADAS sensor data processing unit 40, the relevant information (RI) determined are output to an ADAS or AD control system.
  • the lossy compressed ADAS sensor data can be downloaded from the Data output interface 300 of the ADAS sensor system 30 can be output to an external storage unit 9, where they are stored for test or validation purposes.
  • the external ADAS sensor data processing unit 40 can in particular be designed in the form of or as a component of a central control unit for assisted or automated driving (ADCU).
  • the ADCU can receive lossy compressed sensor data (IcSD) from several ADAS sensors 30 of the same or different types (not shown in FIG. 3).
  • IcSD lossy compressed sensor data
  • camera, lidar, laser scanner, radar and / or ultrasonic sensors can serve as ADAS sensors 30.
  • Not all ADAS sensors have to compress their data. With a low data rate (e.g. ultrasonic sensors), this data can also be transmitted uncompressed to the ADCU.
  • high data rates e.g. from camera, high-resolution radar, lidar or laser scanner sensors
  • high (and therefore lossy) compression on the sensor side is necessary or advantageous before transmission to the ADCU.
  • FIG. 4 shows the schematic representation of an intelligent ADAS sensor system 200, that is to say an ADAS sensor with an integrated processing unit 22, which likewise enables the storage of sensor data that is significantly more highly compressed.
  • the main difference to the overall system from FIG. 3 is that here the sensor head 1 and processing unit 22 are arranged in a common housing ("one-box solution").
  • the ADAS sensor system 200 can be thought of as a combination of two subgroups 24, 28 ( Introduce dashed frame lines in FIG. 4), the first subgroup 24 corresponding to the ADAS sensor 30 from FIG. 3 and the second subgroup 28 corresponding to the sensor data processing unit 40 from FIG. 3.
  • the ADAS sensor system 200 enables the lossy compressed sensor data (IcSD) to be exported to an external storage unit 9 via an output interface 240 of the sensor subgroup 24.
  • the integrated processing unit 22 uses the same algorithms for determining the relevant information (RI) can be used, which are used in the processing unit 44 of an external ADAS sensor data processing unit 40 (cf. FIG. 3).
  • the relevant information (RI) determined are output to an ADAS or AD control system via an output interface 280 of the processing unit 22 or of the intelligent ADAS sensor system 200.
  • the ADAS sensor head 1 is an imaging sensor, that is to say a camera sensor 14.
  • the camera sensor 14 can in particular be a monocular camera sensor.
  • the ADAS sensor data (SD) are (two-dimensional) image data in this case.
  • the camera sensor could deliver three-dimensional image data, e.g. as a stereo camera sensor.
  • an at least partial 3D reconstruction of the surroundings of the vehicle is important for many ADAS / AD functions.
  • the determination of the optical flow (OF) from at least two temporally offset (or successive) images of a camera sensor is of great importance.
  • the optical flow (OF) indicates the displacement of a feature in a first image compared to the same feature in a later captured second image.
  • the determination of the optical flow (OF) is an important algorithm for machine vision.
  • a lossy compression of image data leads to an impairment of the flow vectors. It is therefore provided here to calculate the optical flow before the compression and, for example, after a preselection, to treat the flow vectors separately or to transmit them to a sensor data evaluation unit 70 or subgroup 58 without loss.
  • FIG. 5 schematically shows an intelligent ADAS camera sensor system 500, the basic architecture of which is comparable to the ADAS sensor system 200 shown in FIG.
  • “raw” image data (SD) are recorded by the camera sensor 14.
  • the raw image data (SD) are also provided to an optical flow calculation module 16.
  • the optical flow calculation module 16 is set up to determine the optical flow (OF) between uncompressed image data (SD) of two individual images captured by the camera sensor 14 at different times.
  • the determined optical flow (OF) is transmitted to an output interface 540 of the camera sensor subgroup.
  • the Lossy compressed image data (IcSD) are transmitted from the compression module 6 to the output interface 540 of the camera sensor subgroup 54.
  • An input interface 581 of an image data processing subgroup 58 receives the determined optical flow (OF) and the lossy compressed image data (IcSD) from the output interface 540 of the camera sensor subgroup 54.
  • the latter are unpacked by a decompression module 7 and transferred as (lossy) decompressed image data (IdSD) to an input point 53 of the processing unit 55.
  • the processing unit 55 also has the determined optical flow (OF) on the input side. Taking into account the optical flow, the processing unit 55 processes the decompressed image data to determine the information (RI) that is relevant for the ADAS / AD function (s). The relevant information is output via the output 57 of the processing unit 55.
  • the determined optical flow (OF) and the lossy compressed image data (IcSD) can be output from the output interface 540 of the camera sensor subgroup 54 for storage (cf. FIGS. 3 and 4); this is not shown in FIG. 5.
  • FIG. 6 shows schematically an ADAS camera system 60 with an external image data processing unit 70.
  • This system can be imagined similar to that shown in FIG Image preprocessing (OF calculation module 16) and an output interface 600 of the camera sensor module 60 corresponds.
  • the output interface 600 of the camera sensor module 60 transmits the compressed image data (IcSD) and the calculated optical flow (OF) wirelessly or wired to an input interface 701 of an external (or central) image data processing unit 70 (or also to a storage unit, not shown).
  • IcSD compressed image data
  • OF optical flow
  • sensor data from other ADAS sensors can also be processed - whether in the form of raw sensor data (SD) or in the form of lossy, decompressed sensor data (IdSD).
  • SD raw sensor data
  • IdSD lossy, decompressed sensor data
  • the image processing unit 70 would be an element of an external ADAS sensor data processing unit 40 or the elements of the image processing unit 70 would be in an external one
  • FIGS. 5 and 6 are primarily intended to illustrate, by way of example, the consideration of the optical flow (OF) calculated before compression.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft eine ADAS-Sensordatenverarbeitungseinheit (40, 28, 58, 70), ein ADAS Sensorsystem (30; 200, 24; 500, 54; 60) und ein Verfahren zur ADAS-Sensordatenauswertung zum Einsatz in Fahrerassistenzsystemen oder Systemen zum automatisierten Fahren eines Fahrzeugs. Eine erfindungsgemäße ADAS-Sensordatenverarbeitungseinheit (40, 28, 58, 70) umfasst eine Eingangsschnittstelle (401, 281, 581, 701), ein Dekompressionsmodul (7), eine prozessierende Einheit (44, 22, 55) und eine Ausgabeeinheit (400, 280, 57). Die Eingangsschnittstelle (401, 281, 581, 701) ist eingerichtet zum Empfangen von Daten eines ADAS-Sensors (1, 14), die von einem Kompressionsmodul (6) verlustbehaftet komprimiert worden sind. Das Dekompressionsmodul (7) ist eingerichtet zur Dekompression der komprimierten Daten (lcSD) des ADAS-Sensors (1, 14). Die prozessierende Einheit (44, 22, 55) ist eingerichtet zur Verarbeitung der dekomprimierten Daten (ldSD) des ADAS-Sensors (1, 14), wobei Informationen (RI), die für eine ADAS/AD-Funktion relevant sind, aus den dekomprimierten-Sensordaten (ldSD) ermittelt werden. Die Ausgabeeinheit (400, 280, 57) ist dazu eingerichtet, die ermittelten Informationen (RI) auszugeben, die für die ADAS-Funktion relevant sind. Vorteile der Verwendung einer verlustbehafteten Kompression sind eine geringere erforderliche Speichermenge während der Entwicklung zur persistenten Speicherung von aufgenommenen Sensordaten, eine geringere benötigte Bandbreite zur Übertragung der Sensordaten zur Recheneinheit und eine geringere Bandbreite zur Übertragung der Daten innerhalb eines „intelligenten" ADAS-Sensors.

Description

Verarbeitung verlustbehaftet komprimierten ADAS-Sensordaten für
Fahrerassistenzsvsteme
Die Erfindung betrifft eine ADAS-Sensordatenverarbeitungseinheit, ein ADAS Sensorsystem und ein Verfahren zur ADAS-Sensordatenauswertung zum Einsatz in Fahrerassistenzsystemen oder Systemen zum automatisierten Fahren eines Fahrzeugs.
Die Anzahl an ADAS (Advanced Driver Assistance Systems) bzw. Umfelderfassungs-Sensoren in Fahrzeugen zum umfassend assistierten oder automatisiertem Fahren (AD, Automated Driving) nimmt stark zu. Die Datenmenge der einzelnen ADAS-Sensoren steigt ebenfalls an. Beispielsweise weisen zukünftige Bildsensoren von ADAS-Kameras mehr und mehr Pixel auf, um Objekte in einer besseren Auflösung bei größerem Erfassungsbereich (Field of View) zu erfassen.
Mit zunehmender Datenmenge der ADAS-Sensornetzwerke im Fahrzeug wird nach Lösungen zur Kompression der Daten gesucht.
Ein Ziel ist die Reduzierung der Datenmenge der zu übertragenden ADAS-Sensordaten auf dem Fahrzeugbus.
Aktuelle Systeme im ADAS-Bereich verwenden verlustlose Kompressionsalgorithmen zur Reduzierung der Datenmenge. Die hierbei erzielten Kompressionsraten sind jedoch begrenzt.
Ein erster Aspekt der Erfindung betrifft die Verwendung von verlustbehafteten Kompressionsalgorithmen, mit denen sich deutlich höhere Kompressionsraten erzielen lassen, bei der Übertragung von ADAS-Sensordaten.
Ein weiterer Aspekt betrifft die Architektur von ADAS-Sensordatenverarbeitungseinheiten und -Sensorsystemen zur Auswertung von verlustbehaftet komprimierten ADAS-Sensordaten.
Ein weiterer Aspekt betrifft eine Reduzierung der für eine nachträgliche Auswertung zu speichernden Daten für die Entwicklung, das Testen und eine mögliche Validierung der Algorithmen. Eine Grundüberlegung ist dabei die folgende:
Wird eine Entscheidung dahingehend getroffen, eine verlustbehaftete Kompression zur Speicherung der Entwicklungs- und Testsensordaten und auch für die Übertragung zwischen einem ADAS-Sensor (z.B. einer Satellitenkamera) und einer Recheneinheit (bzw. prozessierenden Einheit) zur Verarbeitung der ADAS-Sensordaten (z.B. eines zentralen Steuergeräts für assistiertes oder automatisiertes Fahren, ADCU) einzusetzen hat dies folgende Konsequenzen:
Die Algorithmen, die auf der Recheneinheit eingesetzt werden, müssen speziell für verlustbehaftete Daten entwickelt werden oder ihre Tauglichkeit muss zumindest für die verlustbehafteten Daten nachgewiesen werden.
Sollen die gleichen Algorithmen auch in einem „intelligenten“ ADAS-Sensor (Sensordatenerfassung und Recheneinheit als „One-Box“) eingesetzt werden, so müssen auch hier verlustbehaftete Daten verwendet werden. Nur so kann garantiert werden, dass sich die Algorithmen gleich verhalten und eine Validierung der Algorithmen auf Basis der aufgenommen Daten möglich ist.
Eine erfindungsgemäße ADAS-Sensordatenverarbeitungseinheit umfasst eine Eingangsschnittstelle, ein Dekompressionsmodul, eine prozessierende Einheit und eine Ausgabeeinheit. Die Eingangsschnittstelle ist eingerichtet zum Empfangen von Daten eines ADAS-Sensors, die von einem Kompressionsmodul verlustbehaftet komprimiert worden sind. Das Dekompressionsmodul ist eingerichtet zur Dekompression der komprimierten Daten des ADAS-Sensors. Die prozessierende Einheit ist eingerichtet zur Verarbeitung bzw. Auswertung der dekomprimierten Daten des ADAS-Sensors, wobei Informationen, die für eine ADAS/AD-Funktion relevant sind, aus den dekomprimierten-Sensordaten ermittelt werden. Die Ausgabeeinheit ist dazu eingerichtet, die ermittelten Informationen auszugeben, die für die ADAS/AD-Funktion relevant sind.
Ein erfindungsgemäßes ADAS-Sensorsystem für ein Fahrzeug umfasst mindestens einen ADAS-Sensor, ein Kompressionsmodul mit einer Datenausgabeschnittstelle und eine erfindungsgemäße ADAS-Sensordatenverarbeitungseinheit.
Der ADAS-Sensor ist dazu eingerichtet, Daten bezüglich des erfassten Umfeldes des Fahrzeugs zu generieren und an das Kompressionsmodul zu übermitteln. Das Kompressionsmodul ist eingerichtet zur verlustbehafteten Kompression der sensorgenerierten Daten. Die Datenausgabeschnittstelle ist eingerichtet zur Ausgabe der komprimierten Sensordaten an die Eingangsschnittstellte der ADAS-Sensordatenverarbeitungseinheit. Vorteile der Verwendung einer verlustbehafteten Kompression sind eine geringere erforderliche Speichermenge während der Entwicklung zur persistenten Speicherung von aufgenommenen Sensordaten, eine geringere benötigte Bandbreite zur Übertragung der Sensordaten zur Recheneinheit und eine geringere Bandbreite zur Übertragung der Daten innerhalb des „intelligenten“ ADAS-Sensors.
Gemäß einer bevorzugten Weiterbildung umfasst das ADAS-Sensorsystem (nur) ein Gehäuse und die ADAS-Sensordatenverarbeitungseinheit ist in das Gehäuse integriert, z.B. als SoC (System on Chip). Dieses ADAS-Sensorsystem kann auch als intelligentes, smartes oder One- Box-Sensorsystem bezeichnet werden. Ein solches Smart-Sensorsystem sieht insbesondere ein „gleichzeitiges“ Betreiben eines Kompressionsmoduls und eines Dekompressionsmoduls „hintereinander“ vor. Die Besonderheit ist hierbei, dass innerhalb des ADAS-Sensorsystems die sensorgenerierten Daten zunächst mittels eines integrierten Kompressionsmoduls verlustbehaftet komprimiert werden, um dann vom integrierten Dekompressionsmodul wieder entpackt zu werden. Dies erscheint aus herkömmlicher Sicht umständlich oder gar widersinnig innerhalb eines Sensors, denn es wird in Kauf genommen, dass die prozessierende Einheit die verlustbehafteten dekomprimierten ADAS-Sensordaten verarbeitet und nicht die „vollständigen“ Rohdaten, die innerhalb des ADAS-Sensorsystems an anderer Stelle bereitstünden.
Eine alternative vorteilhafte Ausgestaltung der ADAS-Sensordatenverarbeitungseinheit sieht vor, dass die ADAS-Sensordatenverarbeitungseinheit eine externe Einheit ist, die mit einem separat im Fahrzeug angeordneten ADAS-Sensorsystem (in der Regel ohne eigene integrierte Datenverarbeitungseinheit) drahtgebunden oder drahtlos verbindbar ist. Eine solche externe ADAS-Sensorverarbeitungseinheit kann insbesondere ein zentrales Steuergerät für ADAS-/AD-Funktionen des Fahrzeugs (ADCU) sein.
Mit anderen Worten betrifft die Erfindung ist die Anordnung einer Datenkompressions- Einheit gefolgt von einer Dekompressions-Einheit innerhalb eines ADAS-Sensors bzw. einer ADAS-Kamera. Das kann in einem Fall ein One Box Smart Sensor/Kamera sein oder ein Two Box Sensor/Kamera mit getrenntem Sensorkopf und Übertragungsstrecke zu einer Verarbeitungsbox. Wird verlustbehaftet komprimiert, müssen die Algorithmen zur Sensordatenauswertung auf diese verlustbehafteten Daten angepasst oder zumindest validiert werden. Sollen die gleichen Algorithmen in einem Smart-Sensor (One Box) und separatem Sensor mit zusätzlicher Recheneinheit (Two Box) verwendet werden, so müssen die Sensordaten im Smart-Sensor nach der Erfassung komprimiert und anschließend dekomprimiert werden (oderauch einfach nur„Transkodiert“). Dies garantiert gleiche Ausgangsbedingungen für die Algorithmen zur Sensordatenauswertung.
Bevorzugt kann der ADAS-Sensor des ADAS-Sensorsystems bzw. für die ADAS-Sensordatenverarbeitungseinheit ein Kamerasensor sein und die ADAS-Sensordaten sind demzufolge Bilddaten. Beispielsweise generiert der ADAS-Kamerasensor Bilddaten, die in verlustbehaftet komprimierter Form an der Eingangsschnittstellte der ADAS-Sensordatenverarbeitungseinheit vorliegen. Die Sensordatenverarbeitung entspricht in diesem Fall einer Bildverarbeitung.
Vorzugsweise kann die prozessierende Einheit eine Bildverarbeitungseinheit sein bzw. können Bildverarbeitungsalgorithmen auf der prozessierenden Einheit implementiert sein, so dass die prozessierende Einheit eingerichtet ist zur Objekt-, Fahrspurmarkierungs-, Verkehrszeichen-, Ampelsignal-, Lichtquellen-Detektion und/oder räumlichen Rekonstruktion des Fahrzeugumfelds.
Gemäß einer vorteilhaften Weiterbildung umfasst die ADAS-Sensordatenverarbeitungseinheit für Bilddaten ein
Optischer-Fluss-Berechnungsmodul, das zur Ermittlung des optischen Flusses zwischen unkomprimierten Bilddaten zweier zu unterschiedlichen Zeitpunkten vom Kamerasensor erfasster Einzelbilder und zur Bereitstellung des ermittelten optischen Flusses an eine prozessierende Einheit eingerichtet ist.
Ein weiterer Gegenstand der Erfindung betrifft ein Bildvorverarbeitungsmodul für ein erfindungsgemäßes ADAS-Kamerasensorsystem umfassend eine Eingabeeinheit, ein Optischer-Fluss-Berechnungsmodul, ein Kompressionsmodul und eine Ausgabeeinheit. Die Eingabeeinheit ist dazu eingerichtet, unkomprimierte Bilddaten von einem ADAS-Kamerasensor zu empfangen. Das Optischer-Fluss-Berechnungsmodul ist eingerichtet zur Bestimmung des optischen Flusses zwischen unkomprimierten Bilddaten zweier zu unterschiedlichen Zeitpunkten vom ADAS-Kamerasensor erfasster Einzelbilder. Das Kompressionsmodul ist eingerichtet zur verlustbehafteten Kompression der vom ADAS-Kamerasensor empfangenen unkomprimierten Bilddaten. Die Ausgabeeinheit ist eingerichtet zur Ausgabe des ermittelten optischen Flusses und der komprimierten Bilddaten an die Eingangsschnittstelle einer erfindungsgemäßen ADAS-Sensordatenverarbeitungseinheit für Kamera-Bilddaten.
Vorzugsweise ist eine entsprechende ADAS-Sensordatenverarbeitungseinheit für Kamera-Bilddaten vorgesehen, wobei die prozessierende Einheit der ADAS-Sensordatenverarbeitungseinheit dazu eingerichtet ist, den bereitgestellten ermittelten optischen Flusses bei der Verarbeitung der (verlustbehafteten) dekomprimierten Bilddaten des Kamerasensors zu berücksichtigen.
Die Erfindung betrifft ferner ein Fahrzeug mit einer erfindungsgemäßen ADAS-Sensordatenverarbeitungseinheit bzw. einem erfindungsgemäßen ADAS-Sensorsystem, optional mit einem ADAS- Kamerasystem und einem erfindungsgemäßen Bildvorverarbeitungsmodul.
Ein erfindungsgemäßes (rechnerimplementiertes) Verfahren zur ADAS-Sensordatenauswertung umfasst die Schritte a) Empfangen von verlustbehaftet komprimierten Daten eines ADAS-Sensorsystems eines Fahrzeugs, b) Dekompression der verlustbehaftet komprimierten Daten, c) Verarbeitung der dekomprimierten Daten zur Ermittlung von Informationen, die für eine ADAS-Funktion relevant sind, und d) Ausgabe der ermittelten Informationen, die für die ADAS-Funktion relevant sind.
Weiterhin betrifft die Erfindung ein Programmelement, welches, wenn damit eine prozessierende Einheit einer ADAS-Sensordatenverarbeitungseinheit programmiert wird, die prozessierende Einheit anweist, ein erfindungsgemäßes Verfahren zur ADAS-Sensordatenauswertung durchzuführen, sowie ein computerlesbares Medium, auf dem ein solches Programmelement gespeichert ist.
Die vorliegende Erfindung kann insbesondere in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software implementiert sein.
Im Folgenden werden Ausführungsbeispiele der Erfindung, nähere Einzelheiten und Figuren erläutert. Hierbei zeigen:
Fig. 1 eine erste Möglichkeit zum Speichern von Sensordaten eines ADAS-Sensorsystems, Fig. 2 eine zweite Möglichkeit zum Speichern von Sensordaten eines ADAS-Sensorsystems, durch verlustfreies Komprimieren der Sensordaten,
Fig. 3 ein ADAS-Sensorsystem mit einer separaten
ADAS-Sensordatenverarbeitungseinheit, welches die Übertragung und Speicherung von verlustbehaftet komprimierten Sensordaten ermöglicht,
Fig. 4 ein intelligentes ADAS-Sensorsystem mit einer in das Sensormodul integrierten prozessierender Einheit zur Verarbeitung von verlustbehaftet komprimierten Sensordaten, Fig. 5 ein intelligentes ADAS-Kamerasensormodul mit einem Optischen-Fluss-Berechnungsmodul auf Basis der erfassten Bilddaten, und Fig. 6 ein ADAS-Kamerasensorsystem mit einem Optischen-Fluss-Berechnungsmodul auf Basis der erfassten Bilddaten und einer separaten Bildverarbeitungseinheit.
Fig. 1 zeigt schematisch, wie in einem aktuellen ADAS-Sensorsystem 100 Sensordaten zu Entwicklungs- und Testzwecken abgespeichert werden können. Das ADAS-Sensorsystem 100 umfasst einen ADAS-Sensorkopf 1, z.B. einen Kamera-, Radar-, Lidar- bzw. Laserscanner-Sensor. Der ADAS-Sensorkopf 1 weist eine erste Datenausgabeschnittstelle 10 auf, über die Sensordaten (SD) an eine Dateneingangsschnittstelle 21 einer prozessierenden Einheit 2 und an eine Speichereinheit 3 (außerhalb des ADAS-Sensorsystems) unkomprimiert ausgegeben werden können. Die prozessierende Einheit 2 verarbeitet die unkomprimierten ADAS-Sensordaten (SD), um für ADAS bzw. AD-Funktionen relevante Informationen (RI) zu extrahieren. Über eine Informationsausgabeschnittstelle 20 des ADAS-Sensorsystems 100 werden die extrahierten relevanten Informationen (RI) an ein ADAS- bzw. AD-System ausgegeben. Bei diesem Aufbau werden also ADAS-Sensordaten (SD) ausgeleitet und ohne zusätzliche Kompression abgespeichert.
Fig. 2 zeigt wie bei einem ADAS-Sensorsystem 100 (vgl. Fig. 1) die Sensordaten (SD) zusätzlich verlustlos komprimiert werden können. In einer externen Kompressionseinheit 4, welche die unkomprimierten ADAS-Sensordaten (SD) von der ersten Datenausgabeschnittstelle 10 des ADAS-Sensorkopfs 1 empfängt, werden die Sensordaten verlustlos komprimiert und die komprimierten Daten (cSD) an eine Speichereinheit 5 übermittelt. Die zu speichernde Datenmenge kann hier etwa um einen Faktor 2 verringert werden. Dennoch fallen immer noch hohe Kosten für die zu speichernde Datenmengen an, da die Speichereinheit 5 entsprechend dimensioniert sein muss. Eine Lösung für das Problem der hohen Kosten zur Speicherung der Sensordaten ist die verlustbehaftete Kompression, die deutlich höhere Kompressionsraten ermöglicht (~ > Faktor 10 weniger).
In Fig. 3 ist ein ADAS-Sensorsystem 30 mit einer separaten ADAS-Sensordatenverarbeitungseinheit 40 schematisch dargestellt, welches die Übertragung und Speicherung von deutlich höher komprimierten Sensordaten ermöglicht. Der ADAS-Sensorkopf 1 erfasst Daten, die an ein internes Kompressionsmodul 6 übermittelt werden. Das interne Kompressionsmodul 6 ist dazu eingerichtet, die ADAS-Sensordaten verlustbehaftet zu komprimieren und die verlustbehaftet komprimierten ADAS-Sensordaten (IcSD) an eine Datenausgabeschnittstelle 300 zu übermitteln. Von der Datenausgabeschnittstelle 300 des ADAS-Sensorsystems 30 werden die (verlustbehaftet) komprimierten ADAS-Sensordaten (IcSD) ausgegeben an eine Eingangsschnittstelle 401 einer externen (z.B. zentralen) ADAS-Sensordatenverarbeitungseinheit 40.
Die Eingangsschnittstelle 401 übermittelt die komprimierten ADAS-Sensordaten (IcSD) an ein Dekompressionsmodul 7 der ADAS-Sensordatenverarbeitungseinheit 40. Das Dekompressionsmodul 7 ist dazu eingerichtet, die komprimierten ADAS-Sensordaten (IcSD) zu entpacken. Da diese verlustbehaftet komprimiert worden sind, weisen die dekomprimierten ADAS-Sensordaten (IdSD) gegenüber den ursprünglich erfassten Sensordaten (SD), d.h. den Rohdaten, Unterschiede auf, sie sind mit Verlusten an Detailinformationen behaftet. Die dekomprimierten ADAS-Sensordaten (IdSD) werden an eine prozessierende Einheit 44 der ADAS-Sensordatenverarbeitungseinheit 40 übermittelt. Die prozessierende Einheit 44 ist dazu konfiguriert, die verlustbehafteten dekomprimierten ADAS-Sensordaten (IdSD) zu verarbeiten, d.h. für eine ADAS-/AD-Funktion relevante Informationen aus den Sensordaten zu ermitteln.
Die Algorithmen die auf der prozessierenden Einheit 44 eingesetzt werden, werden entweder speziell für verlustbehaftete Daten entwickelt oder die Tauglichkeit von existierenden Algorithmen für verlustfreie (Roh-) Daten muss für die verlustbehafteten Daten nachgewiesen werden Über eine Ausgabeschnittstelle 400 der prozessierenden Einheit 44 bzw. der externen ADAS-Sensordatenverarbeitungseinheit 40 werden die ermittelten relevanten Informationen (RI) an ein ADAS- bzw. AD-Steuerungssystem ausgegeben.
Zusätzlich können die verlustbehaftet komprimierten ADAS-Sensordaten (IcSD) von der Datenausgabeschnittstelle 300 des ADAS-Sensorsystems 30 an eine externe Speichereinheit 9 ausgegeben werden, wo sie für Test- oder Validierungszwecke gespeichert werden.
Die externe ADAS-Sensordatenverarbeitungseinheit 40 kann insbesondere in Form oder als Bestandteil eines zentralen Steuergeräts für assistiertes oder automatisiertes Fahren (ADCU) ausgebildet sein. Die ADCU kann verlustbehaftet komprimierte Sensordaten (IcSD) von mehreren ADAS-Sensoren 30 gleichen oder unterschiedlichen Typs empfangen (in Fig. 3 nicht dargestellt). Als ADAS-Sensoren 30 können insbesondere Kamera-, Lidar-, Laserscanner-, Radar- und/oder Ultraschallsensoren dienen. Hierbei müssen nicht zwingend alle ADAS-Sensoren ihre Daten komprimieren. Bei einer niedrigen Datenrate (z.B. Ultraschallsensoren), können diese Daten auch unkomprimiert an die ADCU übermittelt werden. Bei hohen Datenraten (z.B. von Kamera-, hochauflösenden Radar-, Lidar- oder Laserscanner-Sensoren) ist jedoch eine hohe (und damit verlustbehaftete) Kompression sensorseitig vor Übertragung an die ADCU erforderlich bzw. vorteilhaft.
Fig. 4 zeigt die schematische Darstellung eines intelligenten ADAS-Sensorsystems 200, d.h. eines ADAS-Sensors mit integrierter prozessierender Einheit 22, welches ebenfalls die Speicherung von deutlich höher komprimierten Sensordaten ermöglicht. Der Hauptunterschied zum Gesamtsystem aus Fig. 3 besteht darin, dass hier Sensorkopf 1 und prozessierende Einheit 22 in einem gemeinsamen Gehäuse angeordnet sind („One-Box Solution“)· Man kann sich das ADAS-Sensorsystem 200 als Kombination zweier Untergruppen 24, 28 (gestrichelte Rahmenlinien in Fig. 4) vorstellen, wobei die erste Untergruppe 24 dem ADAS-Sensor 30 aus Fig. 3 und die zweite Untergruppe 28 der Sensordatenverarbeitungseinheit 40 aus Fig. 3 entsprechen. Die Besonderheit ist hierbei, dass innerhalb des ADAS-Sensorsystems 200 die vom Sensorkopf 1 erfassten Daten (SD) zunächst mittels eines integrierten Kompressionsmoduls 6 verlustbehaftet komprimiert werden, um dann vom integrierten Dekompressionsmodul 7 wieder entpackt zu werden. Dies erscheint aus herkömmlicher Sicht geradezu unsinnig innerhalb eines Sensors, denn es wird in Kauf genommen, dass die prozessierende Einheit 22 die verlustbehafteten dekomprimierten ADAS-Sensordaten (IdSD) verarbeitet und nicht die „vollständigen“ Rohdaten (SD), die innerhalb des ADAS-Sensorsystems 200 ja bereitstünden. Jedoch ermöglicht das ADAS-Sensorsystem 200 über eine Ausgabeschnittstelle 240 der Sensoruntergruppe 24 das Ausleiten der verlustbehaftet komprimierten Sensordaten (IcSD) an eine externe Speichereinheit 9. Ein weiterer großer Vorteil besteht darin, dass für die integrierte prozessierende Einheit 22 dieselben Algorithmen zur Ermittlung der relevanten Informationen (RI) verwendet werden können, die in der prozessierenden Einheit 44 einer externen ADAS-Sensordatenverarbeitungseinheit 40 (vgl. Fig. 3) verwendet werden. Über eine Ausgabeschnittstelle 280 der prozessierenden Einheit 22 bzw. des intelligenten ADAS-Sensorsystems 200 werden die ermittelten relevanten Informationen (RI) an ein ADAS- bzw. AD-Steuerungssystem ausgegeben.
Zwei weitere Ausführungsbeispiele werden anhand der Fig. 5 und 6 näher erläutert. In beiden Fällen ist der ADAS-Sensorkopf 1 ein bildgebender Sensor, also ein Kamerasensor 14. Der Kamerasensor 14 kann insbesondere ein monokularer Kamerasensor sein. Die ADAS-Sensordaten (SD) sind in diesem Fall (zweidimensionale) Bilddaten. Alternativ könnte der Kamerasensor dreidimensionale Bilddaten liefern, z.B. als Stereokamerasensor.
Bei einem monokularen Kamerasensor ist eine zumindest teilweise 3D-Rekonstruktion der Umgebung des Fahrzeugs für viele ADAS-/AD-Funktionen wichtig. Beispielsweise ist es für Kollisionsvermeidungs- oder Notbremsassistenten essentiell, den Abstand zu möglichen (dynamischen oder stationären) Kollisionsobjekten möglichst präzise schätzen zu können. Dazu ist die Bestimmung des optischen Flusses (OF) aus mindestens zwei zeitlich versetzt (bzw. nacheinander) erfassten Bildern eines Kamerasensors von großer Bedeutung. Der optische Fluss (OF) gibt die Verschiebung eines Merkmals in einem ersten Bild verglichen mit demselben Merkmal in einem später erfassten zweiten Bild an. Die Bestimmung des optischen Flusses (OF) ist ein wichtiger Algorithmus für das maschinelle Sehen. Eine verlustbehaftete Kompression von Bilddaten führt allerdings zu einer Beeinträchtigung der Flussvektoren. Daher ist hier vorgesehen, den optischen Fluss vor der Komprimierung zu berechnen und beispielsweise nach einer Vorselektion die Flussvektoren gesondert zu behandeln bzw. verlustfrei an eine Sensordatenauswertungseinheit 70 oder -Untergruppe 58 zu übertragen.
Fig. 5 zeigt schematisch ein intelligentes ADAS- Kamerasensorsystem 500, welches von der Grundarchitektur dem in Fig. 4 gezeigten ADAS-Sensorsystem 200 vergleichbar ist. In der Kamerasensoruntergruppe 54 (linker gestrichelter Bereich) werden „rohe“ Bilddaten (SD) vom Kamerasensor 14 erfasst. Die rohen Bilddaten (SD) werden zusätzlich zum Kompressionsmodul 6 auch einem Optischen-Fluss-Berechnungsmodul 16 bereitgestellt. Das Optischer-Fluss-Berechnungsmodul 16 ist eingerichtet zur Ermittlung des optischen Flusses (OF) zwischen unkomprimierten Bilddaten (SD) zweier zu unterschiedlichen Zeitpunkten vom Kamerasensor 14 erfasster Einzelbilder. Der ermittelte optische Fluss (OF) wird an eine Ausgabeschnittstelle 540 der Kamerasensoruntergruppe übermittelt. Die verlustbehaftet komprimierten Bilddaten (IcSD) werden vom Kompressionsmodul 6 an die Ausgabeschnittstelle 540 der Kamerasensoruntergruppe 54 übermittelt.
Eine Eingangsschnittstelle 581 einer Bilddatenverarbeitungsuntergruppe 58 (rechter gestrichelter Bereich) empfängt von der Ausgabeschnittstelle 540 der Kamerasensoruntergruppe 54 den ermittelten optische Fluss (OF) und die verlustbehaftet komprimierten Bilddaten (IcSD). Letztere werden von einem Dekompressionsmodul 7 entpackt und als (verlustbehaftete) dekomprimierte Bilddaten (IdSD) einer Eingangsstelle 53 der prozessierenden Einheit 55 übergeben. Der prozessierenden Einheit 55 liegt eingangsseitig auch der ermittelte optische Fluss (OF) vor. Unter Berücksichtigung des optischen Flusses verarbeitet die prozessierende Einheit 55 die dekomprimierten Bilddaten zur Ermittlung der Informationen (RI), die für die ADAS-/AD-Funktion(en) relevant sind. Die relevanten Informationen werden über den Ausgang 57 der prozessierenden Einheit 55 ausgegeben.
Von der Ausgabeschnittstelle 540 der Kamerasensoruntergruppe 54 können der ermittelte optische Fluss (OF) und die verlustbehaftet komprimierten Bilddaten (IcSD) zur Speicherung ausgegeben werden (vgl. Fig. 3 und 4), dies ist in Fig. 5 nicht dargestellt.
Fig. 6 zeigt schematisch ein ADAS- Kamerasystem 60 mit einer externen Bilddatenverarbeitungseinheit 70. Gedanklich kann man sich dieses System ähnlich dem in Fig. 5 gezeigten vorstellen, nur dass die dortige Kamerasensoruntergruppe 54 hier einem eigenständigen Kamerasensormodul 60 („Satellitenkamerasensor“) mit einer teilweisen Bildvorverarbeitung (OF-Berechnungsmodul 16) und einer Ausgabeschnittstelle 600 des Kamerasensormoduls 60 entspricht. Die Ausgabeschnittstelle 600 des Kamerasensormoduls 60 überträgt die komprimierten Bilddaten (IcSD) und den berechneten optischen Fluss (OF) drahtlos oder drahtgebunden an eine Eingangsschnittstelle 701 einer externen (oder zentralen) Bilddatenverarbeitungseinheit 70 (oder auch an eine nicht dargestellte Speichereinheit). Der Einfachheit halber ist in Fig. 6 die prozessierende Einheit 55, deren Eingangsstelle 53 und deren Ausgang 57 der externen Bilddatenverarbeitungseinheit 70 mit denselben Bezugszeichen versehen wie in Fig. 5.
Es ist natürlich möglich, in einer externen Bildverarbeitungseinheit 70 eine andere prozessierende Einheit vorzusehen oder andere oder zusätzliche
Bildverarbeitungsalgorithmen auf der prozessierenden Einheit 55 zu implementieren. Auch ist es möglich, dass zusätzlich zur Bildverarbeitung in einer externen oder zentralen Sensordatenverarbeitungseinheit auch Sensordaten anderer ADAS-Sensoren verarbeitet werden - ob in Form roher Sensordaten (SD) oder in Form von verlustbehafteten dekomprimierten Sensordaten (IdSD). In diesem Fall wäre die Bildverarbeitungseinheit 70 ein Element einer externen ADAS-Sensordatenverarbeitungseinheit 40 oder die Elemente der Bildverarbeitungseinheit 70 wären in eine externe
ADAS-Sensordatenverarbeitungseinheit 40 integriert. Die Fig. 5 und 6 sollen vor allem exemplarisch die Berücksichtigung des vor einer Kompression berechneten optischen Flusses (OF) veranschaulichen.

Claims

Patentansprüche
1. ADAS-Sensordatenverarbeitungseinheit (40, 28, 58, 70) umfassend eine Eingangsschnittstelle (401, 281, 581, 701), ein Dekompressionsmodul (7), eine prozessierende Einheit (44, 22, 55) und eine Ausgabeeinheit (400, 280, 57), wobei
- die Eingangsschnittstelle (401 , 281, 581, 701) eingerichtet ist zum Empfangen von Daten eines ADAS-Sensors (1 , 14), die von einem Kompressionsmodul (6) verlustbehaftet komprimiert worden sind,
- das Dekompressionsmodul (7) eingerichtet ist zur Dekompression der komprimierten Daten (IcSD) des ADAS-Sensors (1, 14),
- die prozessierende Einheit (44, 22, 55) eingerichtet ist zur Verarbeitung der dekomprimierten Daten (IdSD) des ADAS-Sensors (1, 14), wobei Informationen (RI), die für eine ADAS/AD-Funktion relevant sind, aus den dekomprimierten-Sensordaten (IdSD) ermittelt werden, und
- die Ausgabeeinheit (400, 280, 57) dazu eingerichtet ist, die ermittelten Informationen (RI) auszugeben, die für die ADAS/AD-Funktion relevant sind.
2. ADAS-Sensorsystem (30; 200, 24; 500, 54; 60) für ein Fahrzeug umfassend mindestens einen ADAS-Sensor (1, 14), ein Kompressionsmodul (6) mit einer Datenausgabeschnittstelle (300, 240, 540, 600) und eine ADAS-Sensordatenverarbeitungseinheit (40, 28, 58, 70) nach Anspruch 1, wobei
- der ADAS-Sensor (1, 14) Daten zum Umfeld des Fahrzeugs generiert und an das Kompressionsmodul (6) übermittelt,
- das Kompressionsmodul (6) eingerichtet ist zur verlustbehafteten Kompression der sensorgenerierten Daten (SD), und
- die Datenausgabeschnittstelle (300, 240, 540, 600) eingerichtet ist zur Ausgabe der komprimierten Sensordaten (IcSD) an die Eingangsschnittstellte der ADAS-Sensordatenverarbeitungseinheit (401, 281 , 581, 701).
3. ADAS-Sensorsystem (200, 24; 500, 54) nach Anspruch 2, wobei das ADAS-Sensorsystem (200, 24; 500, 54) ein Gehäuse umfasst und die ADAS-Sensordatenverarbeitungseinheit (28; 58) in das Gehäuse integriert ist.
4. ADAS-Sensordatenverarbeitungseinheit (40, 70) nach Anspruch 1, wobei die ADAS-Sensorverarbeitungseinheit (40, 70) eine externe Einheit ist, die mit einem separat im Fahrzeug angeordneten ADAS-Sensorsystem (30, 60) nach Anspruch 2 verbindbar ist.
5. ADAS-Sensordatenverarbeitungseinheit (40, 28, 58, 70) oder ADAS-Sensorsystem (30; 200, 24; 500, 54; 60) nach einem der vorhergehenden Ansprüche, wobei der ADAS-Sensor (1, 14) ein Kamerasensor (14) ist und die ADAS-Sensordaten (SD) Bilddaten sind.
6. ADAS-Sensordatenverarbeitungseinheit (40, 28, 58, 70) oder ADAS-Sensorsystem (30; 200, 24; 500, 54; 60) nach Anspruch 5, wobei die prozessierende Einheit (44, 22, 55) eine Bildverarbeitungseinheit ist oder umfasst, die eingerichtet ist zur Objekt-, Fahrspurmarkierungs-, Verkehrszeichen-, Ampelsignal-, Lichtquellen-Detektion und/oder räumlichen Rekonstruktion des Fahrzeugumfelds.
7. ADAS-Sensorsystem (500, 54; 60) nach Anspruch 5 oder 6 umfassend ein Optischer-Fluss-Berechnungsmodul (16) eingerichtet
- zur Ermittlung des optischen Flusses (OF) zwischen unkomprimierten Bilddaten zweier zu unterschiedlichen Zeitpunkten vom Kamerasensor (14) erfasster Einzelbilder und
- zur Bereitstellung des ermittelten optischen Flusses (OF) an die prozessierende Einheit (55).
8. Bildvorverarbeitungsmodul (6, 16, 540, 600) für ein ADAS-Sensorsystem (500, 54; 60) nach Anspruch 5 oder 6 umfassend eine Eingabeeinheit, ein Optischer-Fluss-Berechnungsmodul (16), ein Kompressionsmodul (6) und eine Ausgabeeinheit (540, 600), wobei
- die Eingabeeinheit dazu eingerichtet ist, unkomprimierte Bilddaten (SD) von einem ADAS-Kamerasensor (14) zu empfangen,
- das Optischer-Fluss-Berechnungsmodul (16) eingerichtet ist zur Bestimmung des optischen Flusses (OF) zwischen unkomprimierten Bilddaten (SD) zweier zu unterschiedlichen Zeitpunkten vom ADAS-Kamerasensor (14) erfasster Einzelbilder,
- das Kompressionsmodul (16) eingerichtet ist zur verlustbehafteten Kompression der vom ADAS-Kamerasensor (14) empfangenen unkomprimierten Bilddaten, und
- die Ausgabeeinheit (540, 600) eingerichtet ist zur Ausgabe des ermittelten optischen Flusses (OF) und der komprimierten Bilddaten (IcSD) an die Eingangsschnittstelle einer ADAS-Sensordatenverarbeitungseinheit (58, 70) für Kamera-Bilddaten nach Anspruch 1.
9. ADAS-Sensordatenverarbeitungseinheit (58, 70) für Kamera-Bilddaten nach Anspruch 1 eingerichtet zur Verarbeitung von Sensordaten eines ADAS-Sensorsystems (500, 54; 60) nach Anspruch 7 und/oder eines Bildvorverarbeitungsmoduls nach Anspruch 8, wobei die prozessierende Einheit (55) eingerichtet ist zur Berücksichtigung eines bereitgestellten ermittelten optischen Flusses (OF) bei der Verarbeitung der dekomprimierten Bilddaten (IdSD) des Kamerasensors (14).
10. Fahrzeug mit einer ADAS-Sensordatenverarbeitungseinheit (40, 28, 58, 70) nach einem der Ansprüche 1, 4 bis 6 und/oder einem ADAS-Sensorsystem (30; 200, 24; 500, 54; 60) nach einem der Ansprüche 2, 3, 5, 6, 7 oder 9, das ADAS-Sensorsystem optional umfassend ein Bildvorverarbeitungsmodul nach Anspruch 8.
11. Verfahren zur ADAS-Sensordatenauswertung umfassend die Schritte a) Empfangen von verlustbehaftet komprimierten Daten (IcSD) eines ADAS-Sensorsystems (1, 14) eines Fahrzeugs, b) Dekompression der verlustbehaftet komprimierten Daten (IcSD), c) Verarbeitung der dekomprimierten Daten (IdSD) zur Ermittlung von Informationen (RI), die für eine ADAS-Funktion relevant sind, und d) Ausgabe der ermittelten Informationen (RI), die für die ADAS-Funktion relevant sind.
12. Programmelement, welches, wenn damit eine prozessierende Einheit einer ADAS-Sensordatenverarbeitungseinheit programmiert wird, die prozessierende Einheit anweist, das Verfahren nach Anspruch 11 durchzuführen.
13. Computerlesbares Medium, auf dem ein Programmelement nach Anspruch 12 gespeichert ist.
EP20751470.4A 2019-09-24 2020-07-16 Verarbeitung verlustbehaftet komprimierten adas-sensordaten für fahrerassistenzsysteme Withdrawn EP4034438A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019214587.6A DE102019214587A1 (de) 2019-09-24 2019-09-24 Verarbeitung verlustbehaftet komprimierten ADAS-Sensordaten für Fahrerassistenzsysteme
PCT/DE2020/200059 WO2021058066A1 (de) 2019-09-24 2020-07-16 Verarbeitung verlustbehaftet komprimierten adas-sensordaten für fahrerassistenzsysteme

Publications (1)

Publication Number Publication Date
EP4034438A1 true EP4034438A1 (de) 2022-08-03

Family

ID=71950372

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20751470.4A Withdrawn EP4034438A1 (de) 2019-09-24 2020-07-16 Verarbeitung verlustbehaftet komprimierten adas-sensordaten für fahrerassistenzsysteme

Country Status (5)

Country Link
US (1) US11876540B2 (de)
EP (1) EP4034438A1 (de)
CN (1) CN114467260A (de)
DE (2) DE102019214587A1 (de)
WO (1) WO2021058066A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12191888B2 (en) * 2020-10-12 2025-01-07 Aurora Operations, Inc. Systems and methods for compressing and storing sensor data collected by an autonomous vehicle
DE102021210494A1 (de) 2021-09-21 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression
CN115567121B (zh) * 2022-10-18 2024-08-13 纵目科技（上海）股份有限公司 数据传输方法、系统、介质及超声波传感器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011113265B3 (de) * 2011-09-13 2012-11-08 Audi Ag Verfahren zur Bildverarbeitung von mit einem optischen Sensor in einem Kraftfahrzeug aufgenommenen Bilddaten und Kraftfahrzeug
US9944307B2 (en) * 2015-06-26 2018-04-17 Steering Solutions Ip Holding Corporation Steering assembly and method of monitoring a space within vehicle
DE102015120130A1 (de) 2015-11-20 2017-05-24 Valeo Schalter Und Sensoren Gmbh Verfahren zur Übertragung von Daten wenigstens eines Messgrößenaufnehmers eines Steuernetzwerks, Sender, Empfänger, Messgrößenaufnahmevorrichtung und Steuernetzwerk
US20170232975A1 (en) * 2016-02-11 2017-08-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Situation awareness in a vehicle
US10069511B2 (en) * 2016-12-12 2018-09-04 Texas Instruments Incorporated Lossless data compression
US10708524B2 (en) * 2017-09-01 2020-07-07 Semiconductor Components Industries, Llc Methods and apparatus for high dynamic range imaging
EP3480061B1 (de) * 2017-11-07 2022-09-21 STMicroelectronics S.r.l. Verfahren zur integration einen fahrerassistenzsystems in ein fahrzeug, entsprechendes system, schaltkreis, kit und fahrzeug
CN207601874U (zh) * 2017-11-22 2018-07-10 深圳市合正视觉科技有限公司 高级驾驶辅助系统
WO2019191313A1 (en) * 2018-03-27 2019-10-03 Nvidia Corporation Remote operation of vehicles using immersive virtual reality environments
US11594036B2 (en) * 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
US12020149B2 (en) * 2019-10-28 2024-06-25 Micron Technology, Inc. Distributed neural network processing on an intelligent image sensor stack

Also Published As

Publication number Publication date
WO2021058066A1 (de) 2021-04-01
US20220294467A1 (en) 2022-09-15
US11876540B2 (en) 2024-01-16
DE112020004532A5 (de) 2022-08-18
DE102019214587A1 (de) 2021-03-25
CN114467260A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
DE102018130821A1 (de) Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt
DE10033599B4 (de) Positionserfassungsvorrichtung
DE10066379B4 (de) Verfahren und Einrichtung zur Realisierung eines Informations- und Datenflusses für geodätische Geräte
EP4034438A1 (de) Verarbeitung verlustbehaftet komprimierten adas-sensordaten für fahrerassistenzsysteme
DE102017216267B4 (de) Verfahren und Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems
DE102016208056A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
DE112018005163T5 (de) Bildverarbeitungsvorrichtung
DE102021201525A1 (de) Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102014008893A1 (de) Vorrichtung, Verfahren und System zum Verarbeiten eines Bilddatenstroms
DE102011077398A1 (de) Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
DE102018215859A1 (de) Verfahren zur adaptiven Datenübertragung für einen Teleoperationsbetrieb für ein Fortbewegungsmittel
DE102017205630A1 (de) Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
EP3278318A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
EP2138242A2 (de) Verfahren und Vorrichtung zum Erkennen von Transportbehältnissen
DE102009043705A1 (de) Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit
DE102018202571A1 (de) Verfahren und Vorrichtung zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug
DE102016103037A1 (de) Verfahren zum Überprüfen einer Funktionstüchtigkeit eines Kamera-Monitor-Systems, Kamera-Monitor-System sowie Kraftfahrzeug
DE102017108016A1 (de) Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
DE102020105676A1 (de) Verfahren zum betreiben eines parkassistenzsystems
DE112016001238B4 (de) Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und fahrzeugumgebungsbildanzeigesteuerungsprogramm
DE102020214622A1 (de) Auswertung von Bilddaten einer Stereokamera zur Objektbewertung
DE102014213205A1 (de) Umfelderfassungssystem und Verfahren zum Betrieb eines Umfelderfassungssystems
DE102010006522A1 (de) Verfahren zur Analyse von korrespondierenden Bildpunkten in Bilddatensätzen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220425

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240408

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20251120