DE102022207617B3 - Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs - Google Patents

Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs Download PDF

Info

Publication number
DE102022207617B3
DE102022207617B3 DE102022207617.6A DE102022207617A DE102022207617B3 DE 102022207617 B3 DE102022207617 B3 DE 102022207617B3 DE 102022207617 A DE102022207617 A DE 102022207617A DE 102022207617 B3 DE102022207617 B3 DE 102022207617B3
Authority
DE
Germany
Prior art keywords
vehicle
environment
variable
computing
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102022207617.6A
Other languages
English (en)
Inventor
Volkmar Schöning
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102022207617.6A priority Critical patent/DE102022207617B3/de
Application granted granted Critical
Publication of DE102022207617B3 publication Critical patent/DE102022207617B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • G06F11/0739—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function in a data processing system embedded in automotive or aircraft systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces

Abstract

Verfahren zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs auf Grundlage von, von wenigstens einer Sensoreinrichtung zur Erfassung des Fahrzeugumfelds des Fahrzeugs erfassten Umfelddaten, umfassend:- Empfangen von durch die Sensoreinrichtung in Bezug auf das erfasste Fahrzeugumfeld ermittelten Umfelddaten;- Ausführen wenigstens einer Umfelderkennungsaufgabe durch Verarbeiten von für die Umfelddaten charakteristischen Daten mittels einer Prozessor-basierten Umfeldauswerteeinrichtung aufweisend eine Vielzahl von verschiedenen Rechenbereichen unter Verwendung eines Umfelderkennungsmodells maschinellen Lernens, wobei das Umfelderkennungsmodell einen Satz Parameter umfasst, welche auf Werte eingestellt sind, die als Ergebnis eines Trainingsprozesses gelernt wurden, und hierdurch Ermitteln wenigstens einer Umfeldgröße als Ergebnis der Umfelderkennungsaufgabe, welche für das Fahrzeugumfeld und charakteristisch ist;- Empfangen und/oder Abrufen einer Vielzahl von ermittelten und/oder gemessenen Lastgrößen, welche für die Rechenlast der Vielzahl von Rechenbereichen charakteristisch ist;- Ermittlung einer Erkennungsgröße des Umfelderkennungsmodells auf Grundlage der Vielzahl von Lastgrößen zur Überwachung und/oder zur Prognose des Ergebnisses der Umfelderkennungsaufgabe;- Ermittlung einer Steuerungsgröße zur Steuerung der Fahrzeugfunktion in Abhängigkeit der Erkennungsgröße.

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zur, insbesondere wenigstens teilautomatischen und bevorzugt zur automatischen, Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs auf Grundlage von wenigstens einer Sensoreinrichtung zur Erfassung des Fahrzeugumfelds des Fahrzeugs erfassten, insbesondere örtlich aufgelöster, Umfelddaten.
  • Aus dem Stand der Technik sind eine Vielzahl von Fahrerassistenzsystemen bekannt, welche beispielsweise auf der Verwendung einer Frontkamera basieren, welche eine Serie von Bildern aufnimmt und hierdurch das Fahrzeugumfeld des Fahrzeugs erfasst wird. Die Bilder werden sodann fahrzeugintern auf die Präsenz vorgegebener Objekte, wie beispielsweise Fahrspurmarkierungen und/oder weiterer Verkehrsteilnehmer, hin ausgewertet. Durch die Nutzung derartiger Informationen kann in hohem Maße die Verkehrssicherheit erhöht werden.
  • Zur Objekterkennung werden typischerweise, etwa KI-basierte, Modelle maschinellen Lernens verwendet, welche etwa ein (künstliches) neuronales Netz umfassen und vor deren Einsatz mit einem Satz Trainingsdaten (etwa Trainingsbilder) trainiert werden. Die Erkennungsleistung hängt daher unter anderem auch davon ab, ob die zum Training verwendeten Trainingsbilder ein späteres Fahrzeugumfeld sowie zu diesem Zeitpunkt herrschende Witterungs- und/oder Beleuchtungsbedingungen in ausreichender Ähnlichkeit umfassen.
  • In der US 2021 / 0 049 381 A1 wird eine elektronische Vorrichtung und ein Verfahren zur Fahrunterstützung beschrieben, wobei die Vorrichtung eine Vielzahl von Kameras aufweist, die ein Umgebungsbild um ein Fahrzeug herum erfassen können. Weiterhin weist die Vorrichtung einen Sensor auf, der so konfiguriert ist, dass er ein Objekt um das Fahrzeug herum erfasst, sowie einen Prozessor, der während der Fahrt des Fahrzeugs ein Einzelbild aus einer erhaltenen Vielzahl von Einzelbildern extrahiert, welches einem Zeitpunkt und einem Ort entspricht, an welchem ein Objekt von mindestens einem Sensor erfasst wird. Weiterhin wird eine Objektverfolgung zum Verfolgen einer Änderung des Objekts aus einer Vielzahl von Einzelbildern durchgeführt. Die Objekterkennung kann dabei mittels einer GPU (Abkürzung für engl. graphics processing unit) durchgeführt werden. Weiterhin wird vorgeschlagen, eine Objekterkennung mittels einer GPU durchzuführen und eine Objektverfolgung mittels einer CPU.
  • In der US 2015 / 0 046 685 A1 wird eine Vorrichtung und ein Verfahren zur intelligenten Multicore-Steuerung einer Vielzahl von Prozessorkernen einer integrierten Multicore-Schaltung beschrieben. Dabei wird ein optimaler Satz von Prozessorkernen identifiziert und aktiviert, um den niedrigsten Stromverbrauch für eine gegebene Arbeitslast oder die höchste Leistung für ein gegebenes Arbeitsbudget zu erreichen.
  • Objekterkennungsalgorithmen, wie beispielsweise KI-basierte Objekterkennungsalgorithmen, sind zumeist sehr rechenintensiv. Darüber hinaus ähnelt die Funktionsweise eines trainierten, Ki-basierten Algorithmus insofern einer Black Box, als Korrelationen verschiedener Datenmerkmale auf Grundlage der dem Training zugrundeliegender Trainingsdaten im Rahmen des Trainingsprozesses gebildet werden und daher nicht von einem Entwickler vorgegeben sind. Denkbar ist daher, dass dabei auch für die spätere Anwendung ungünstige und/oder unerwünschte Korrelationen gebildet werden. Um derartige unerwünschte Ergebnisse des Objekterkennungsalgorithmus auszuschließen, können etwa zusätzliche Absicherungsmechanismen vorgesehen sein oder eine Überprüfung durch den Nutzer des Fahrzeugs erfolgen.
  • Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die aus dem Stand der Technik bekannten Nachteile zu überwinden und ein Verfahren zur, insbesondere wenigstens teilautomatischen und bevorzugt zur automatischen, Steuerung einer Fahrzeugfunktion eines Fahrzeugs auf Grundlage von, von wenigstens einer Sensoreinrichtung erfassten Umfelddaten sowie eine Überwachungsvorrichtung für ein Fahrzeug bereitzustellen, welche eine besonders hohe Validität eines durch Auswertung der Umfelddaten erhaltenen Umfelderkennungsergebnisses bieten und damit auch in besonders vorteilhafter Weise zu einer Erhöhung der Fahrzeugsicherheit führen.
  • Die Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
  • Ein erfindungsgemäßes Verfahren zur, insbesondere wenigstens teilautomatischen und bevorzugt zur automatischen, Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs auf Grundlage von, von wenigstens einer Sensoreinrichtung zur Erfassung des Fahrzeugumfelds des Fahrzeugs (bevorzugt auf Grundlage von einer Vielzahl von Sensoreinrichtungen zur Erfassung des Fahrzeugumfelds des Fahrzeugs) erfassten, insbesondere örtlich aufgelöster, Umfelddaten, umfasst ein Empfangen von durch die Sensoreinrichtung in Bezug auf das erfasste Fahrzeugumfeld ermittelten, insbesondere örtlich aufgelösten, Umfelddaten.
  • Bevorzugt ist die wenigstens eine Sensoreinrichtung zur Erfassung des Fahrzeugumfelds, und besonders bevorzugt ist die Vielzahl von Sensoreinrichtungen zur Erfassung des Fahrzeugumfelds des Fahrzeugs, ausgewählt aus einer Gruppe von Sensoren, welche eine (Farb-)Kamera, eine Frontkamera, eine Rückkamera, einen Infrarot-Kamera, LIDAR, Radar, Ultraschallsensoren und dergleichen sowie Kombinationen hiervon umfasst.
  • Bevorzugt erzeugt die Sensoreinrichtung zur Erfassung des Fahrzeugumfelds örtlich aufgelöste (insbesondere 2D- und/oder 3D-) Umfelddaten (von einem Fahrzeugumfeld des jeweiligen Fahrzeugs).
  • Bevorzugt handelt es sich bei den von der Sensoreinrichtung aufgenommenen und/oder erfassten Umfelddaten um live-Umfelddaten, insbesondere also um Umfelddaten, welche während der Fahrt des Fahrzeugs bevorzugt in Echtzeit aufgenommen und/oder verarbeitet werden.
  • Die Sensoreinrichtung(-en) sind dabei bevorzugt (fester, also insbesondere nicht zerstörungsfrei lösbarer) Bestandteil des Fahrzeugs bzw. fahrzeuggebunden. Denkbar ist aber auch, dass die Umfelddaten von einer in Bezug auf das Fahrzeug externen Sensoreinrichtung erfasst und/oder erzeugt und/oder aufgenommen werden, wie beispielsweise eines vorausfahrenden Fahrzeugs und/oder einer Infrastruktureinrichtung oder dergleichen. So können die Umfelddaten (von dem Fahrzeug) über eine digitale Kommunikationsverbindung und/oder über ein drahtloses (insbesondere privates und/oder öffentliches) Netzwerk, bevorzugt über eine Car2Car-Kommunikation, C2C-Kommunikation und/oder Car2x-Kommunikation und/oder Car2I-Kommunikation, empfangen werden. Bei dem Netzwerk kann es sich um ein lokales Netzwerk, wie etwa ein WLAN-Netz handeln.
  • Dabei kann das Fahrzeug wenigstens mittelbar und bevorzugt unmittelbar mit wenigstens einem weiteren Fahrzeug in einer Kommunikationsverbindung stehen (z.B. über Car2Car-Kommunikation, C2C-Kommunikation und/oder Car2x-Kommunikation und/oder Car2I-Kommunikation). Dabei kann das Fahrzeug die (ermittelten) Umfelddaten und/oder basierend hierauf erfasste Objekte wenigstens mittelbar (über andere Verkehrsteilnehmer oder Infrastruktur) und bevorzugt unmittelbar (etwa über ein weiteres Fahrzeug) empfangen und/oder übertragen.
  • Das Verfahren umfasst weiterhin ein (Computer-implementiertes) Ausführen wenigstens einer Umfelderkennungsaufgabe durch (Computer-implementiertes) Verarbeiten von für die Umfelddaten charakteristischen Daten mittels einer, insbesondere fahrzeuginternen, Prozessor-basierten Umfeldauswerteeinrichtung aufweisend eine Vielzahl von verschiedenen (vorgegebenen) Rechenbereichen unter Verwendung eines, insbesondere trainierbaren, (trainierten) Umfelderkennungsmodells maschinellen Lernens, wobei das Umfelderkennungsmodell einen Satz, insbesondere trainierbarer, Parameter umfasst, welche auf Werte eingestellt sind, die als Ergebnis eines Trainingsprozesses gelernt wurden, und hierdurch Ermitteln wenigstens einer Umfeldgröße als Ergebnis der Umfelderkennungsaufgabe (in einem Computer-implementierten Verfahrensschritt), welche für das Fahrzeugumfeld und insbesondere für eine Verkehrssituation in dem Fahrzeugumfeld charakteristisch ist.
  • Die Umfeldauswerteeinrichtung ist bevorzugt fester (insbesondere nicht zerstörungsfrei lösbarer) Bestandteil des Fahrzeugs.
  • Das Verfahren umfasst weiterhin ein Empfangen und/oder Bereitstellen und/oder Abrufen (etwa von einer temporären und/oder einer nicht-flüchtigen Speichereinrichtung) einer Vielzahl von ermittelten und/oder gemessenen Lastgrößen (bevorzugt durch eine, insbesondere Prozessor-basierte Überwachungseinrichtung, welche insbesondere nachfolgend näher beschrieben ist), welche für die Rechenlast der Vielzahl von (vorgegebenen) Rechenbereichen charakteristisch ist. Dabei ist bevorzugt eine (jede) Lastgröße für die Rechenlast eines (einzelnen) Rechenbereichs charakteristisch.
  • Das Verfahren umfasst weiterhin eine (insbesondere durch die Überwachungseinrichtung ausgeführte) Ermittlung einer Erkennungsgröße des Umfelderkennungsmodells auf Grundlage der Vielzahl von Lastgrößen zur Überwachung, insbesondere zur Plausibilisierung und/oder Verifizierung, und/oder zur Prognose des Ergebnisses der Umfelderkennungsaufgabe (bevorzugt in einem Computer-implementierten Verfahrensschritt).
  • Das Verfahren umfasst weiterhin eine (insbesondere durch die Überwachungseinrichtung ausgeführte) Ermittlung einer Steuerungsgröße zur Steuerung der Fahrzeugfunktion in Abhängigkeit der Erkennungsgröße und/oder der wenigstens einen Umfeldgröße (bevorzugt in einem Computer-implementierten Verfahrensschritt).
  • Bevorzugt handelt es sich bei dem Verfahren um ein (rein) Computer-implementiertes Verfahren. Denkbar ist aber auch, dass das Verfahren zusätzlich hardware-basierte Verfahrensschritte umfasst, wie ein Aufnehmen und/oder Erzeugen und/oder Erfassen von Umfelddaten durch die wenigstens eine Sensoreinrichtung und/oder ein Erzeugen eines Steuersignals in Abhängigkeit der Steuergröße und/oder eine Ausgabe einer in Abhängigkeit der Steuergröße erzeugten Ausgabegröße durch eine Ausgabeeinrichtung, wie etwa eine optische Ausgabeeinrichtung (Display).
  • Bevorzugt wird das Verfahren in Echtzeit und/oder kontinuierlich (in festen insbesondere vorgegebenen Zeitabständen wie etwa im Takt mit Taktdauern von kürzer als 5 min, bevorzugt kürzer als 2 min, bevorzugt kürzer als 1 min, bevorzugt kürzer als 30 s, bevorzugt kürzer als 15 s, bevorzugt kürzer als 10 s, bevorzugt kürzer als 5 s, bevorzugt kürzer als 2 s, bevorzugt kürzer als 1 s, bevorzugt kürzer als 1/10 s, und/oder besonders bevorzugt während der Fahrt des Fahrzeugs durchgeführt.
  • Bei der Umfelderkennungsaufgabe kann es sich um eine Wahrnehmungs- und/oder Erfassungsaufgabe handeln, beispielsweise eine 2D - und/oder 3D- Objekterkennungsaufgabe und/oder eine semantische Segmentierungsaufgabe und/oder eine Objektklassifizierungsaufgabe („Image classification“) und/oder eine Objektlokalisierungsaufgabe und/oder eine Kantenerkennungsaufgabe und/oder eine Mustererkennungsaufgabe.
  • Mit anderen Worten wird durch die Ermittlung einer Erkennungsgröße des Umfelderkennungsmodells auf Grundlage der Vielzahl von Lastgrößen vorgeschlagen, ein Feedback bzw. eine Evaluation zur Funktionsweise des Umfelderkennungsmodells bei der (konkreten) Ausführung der Umfelderkennungsaufgabe auf Grundlage der (aktuellen bzw. konkret vorgegebenen) Umfelddaten bereitzustellen. Mit diesem Feedback kann die Validität des Ergebnisses der durch das Umfelderkennungsmodell ausgeführten Umfelderkennungsaufgabe bewertet werden.
  • Das vorgeschlagene Verfahren bietet etwa den Vorteil, dass der Grund ermittelt werden kann, warum die Kl auf was reagiert. Das vorgeschlagene Verfahren stellt gleichsam ein Kl-Gedankenlesen dar.
  • Damit wird ein Verfahren vorgeschlagen, welches - gleichsam einer Beobachtung und Zuordnung von menschlichen Gehirnaktivitäten bei Durchführung bestimmter (manueller oder gedanklicher) Tätigkeiten beispielsweise mittels eines fMRT (funktionelles MRT, funktionelle Magnetresonanztomografie) - erlaubt ausgehend von der Vielzahl von Lastgrößen auf eine bestimmte, insbesondere für eine bestimmte Art der Datenverarbeitung charakteristische Funktionsweise bzw. funktional ablaufende Verfahrensschritte zu schließen.
  • Beispielsweise könnte einer gemessenen Vielzahl von Lastgrößen ein bestimmter ablaufender Prozess, wie er etwa typischerweise bei einer im Wesentlichen bei Frontkamera-Umfelddaten bei schwieriger Beleuchtungssituation auftritt, zugeordnet werden.
  • Bevorzugt umfasst das Verfahren ein Erfassen und/oder Messen der Vielzahl von (zu ermittelnden und/oder zu messenden) Lastgrößen (insbesondere in Echtzeit) mittels einer Erfassungs- und/oder Messeinrichtung, welche für die (aktuelle) Rechenlast der Vielzahl von (vorgegebenen) Rechenbereichen charakteristisch ist. Dabei ist bevorzugt eine (jede) Lastgröße für die (aktuelle) Rechenlast eines (einzelnen) Rechenbereichs charakteristisch. Bevorzugt wird für jeden (vorgegebenen) Rechenbereich eine (aktuelle) Lastgröße erfasst und/oder gemessen, welche für die (aktuelle) Rechenlast des Rechenbereichs charakteristisch ist.
  • Eine Messung der (aktuellen) Rechenlast kann dabei über eine Strom- und/oder Spannungsmessung und/oder eine Messung des Energieverbrauchs und/oder der Messung der Temperatur (des vorgegebenen Rechenbereichs) erfolgen.
  • Denkbar ist, dass eine Rechenlast über eine Ermittlung der Auslastung ermittelt wird. So ist beispielsweise denkbar, dass (etwa von einem Aktionsmanager) geplante und/oder einem einzelnen Rechenbereich zugeordnete bzw. zugewiesene vorzunehmende Rechenoperationen erfasst und bevorzugt hieraus eine Auslastung ermittelt wird.
  • Denkbar ist, dass (etwa von der Erfassungs- und/oder Messeinrichtung) die ermittelten und/oder gemessenen Lastgrößen in einer temporären und/oder nicht-flüchtigen (insbesondere fahrzeuggebundenen) Speichereinrichtung ablegen. Bevorzugt werden diese, insbesondere von der Überwachungseinrichtung abgerufen und/oder an die Überwachungseinrichtung übermittelt.
  • Bei einem bevorzugten Verfahren handelt es sich bei der Vielzahl von verschiedenen Rechenbereichen wenigstens teilweise um verschiedene Recheneinheiten und/oder Rechenkerne. Die Recheneinheiten können dabei insbesondere unabhängig voneinander Rechenoperationen bzw. Datenverarbeitungsoperationen durchführen.
  • Die Vielzahl von verschiedenen Rechenbereichen kann dabei (fest) vorgegeben sein. Denkbar ist aber auch, dass die Rechenbereiche variabel ist und insbesondere in Abhängigkeit einer (gegenwärtigen) Auslastung bzw. Rechenlast (insbesondere durch die Überwachungseinrichtung) vorgegeben ist und/oder verändert wird. So wäre es denkbar, dass Rechenbereiche, etwa mit in kurzen Zeiten variierender Auslastung und/oder inhomogen über mehrere Recheneinheiten des jeweiligen Rechenbereichs verteilter Rechenlast, eine feinere Unterteilung durch Zerlegung bzw. Parzellierung in eine Mehrzahl von Rechenbereichen vorgenommen wird.
  • Bei einem weiter bevorzugten Verfahren weist die Prozessor-basierte Umfeldauswerteeinrichtung wenigstens eine GPU (Abkürzung für „Graphics Processing Unit“; Grafikprozessor) zur Verarbeitung der Umfelddaten unter Verwendung des, insbesondere trainierbaren, Umfelderkennungsmodells und/oder zur Ermittlung der wenigstens einen Umfeldgröße und/oder zur Ausführung der wenigstens einen Umfelderkennungsaufgabe auf.
  • Zusätzlich oder alternativ weist die Prozessor-basierte Umfeldauswerteeinrichtung wenigstens eine CPU und bevorzugt eine Vielzahl von CPUs (Abkürzung für „Central processing unit“, Zentrale Verarbeitungseinheit) zur Verarbeitung der Umfelddaten unter Verwendung des, insbesondere trainierbaren, Umfelderkennungsmodells und/oder zur Ermittlung der wenigstens einen Umfeldgröße und/oder zur Ausführung der wenigstens einen Umfelderkennungsaufgabe auf.
  • Bevorzugt handelt es sich bei der Prozessor-basierte Umfeldauswerteeinrichtung um eine multicore-basierte Umfeldauswerteeinrichtung, welche insbesondere mehrere Prozessoren mit bevorzugt jeweils mehreren Rechenkernen aufweist.
  • Bevorzugt ist die Ausführung der Umfelderkennungsaufgabe mittels GPGPU-Programmierung (General-Purpose Computing on Graphics Processing Units) umgesetzt. Insbesondere wird die Umfelderkennungsaufgabe durch parallelisierte Datenverarbeitung ausgeführt.
  • Bevorzugt basiert das Umfelderkennungsmodells maschinellen Lernens auf einem (künstlichen) neuronalen Netzwerk. Bevorzugt basiert (insbesondere damit) die Ermittlung der wenigstens einen Umfeldgröße und/oder die Ausführung der wenigstens einen Umfelderkennungsaufgabe auf einem bzw. dem (künstlichen) neuronalen Netzwerk. Insbesondere werden die ortsaufgelösten Umfelddaten (der abgerufenen Vielzahl von ortsaufgelösten Umfelddaten) mittels des insbesondere trainierten (künstlichen) neuronalen Netzwerks verarbeitet.
  • Bevorzugt ist das neuronale Netzwerk als tiefes neuronales Netzwerk (Deep Neural Network, DNN), bei dem die parametrierbare Verarbeitungskette eine Mehrzahl von Verarbeitungsschichten aufweist, und/oder ein sogenanntes Convolutional Neural Network (CNN) (dt. Faltungsnetzwerk) und/oder ein rekurrentes Neuronales Netzwerk (RNN, engl. Recurrent Neural Network) ausgebildet.
  • Bevorzugt werden dem Umfelderkennungsmodells bzw. dem (künstlichen) neuronalen Netzwerk die (zu verarbeitenden) Daten, insbesondere die, insbesondere ortsaufgelösten, Umfelddaten (oder hiervon abgeleitete Daten), als Eingangsgrößen zugeführt. Bevorzugt bildet das Umfelderkennungsmodell bzw. das künstliche neuronale Netzwerk die Eingangsgrößen in Abhängigkeit einer parametrierbaren Verarbeitungskette auf Ausgangsgrößen ab, wobei als Ausgangsgröße bevorzugt die wenigstens eine Erkennungsgröße gewählt ist.
  • Bevorzugt wird durch die bzw. bei der Verwendung des Umfelderkennungsmodells wenigstens on (computer-implementiertes) Computer-Vision-Verfahren verwendet, in welchem (computer-implementierte) Wahrnehmungs- und/oder Erfassungsaufgaben ausgeführt werden, beispielsweise (computer-implementierte) 2D - und/oder 3D- Objekterkennungsverfahren und/oder (computer-implementierte) Verfahren zur semantischen Segmentierung und/oder (computer-implementierte) Objektklassifizierung („Image classification“) und/oder (computer-implementierte) Objektlokalisierung und/oder (computer-implementierte) Kantenerkennung.
  • Dabei wird bei der Objektklassifizierung ein in den insbesondere ortsaufgelösten Umfelddaten oder hiervon abgeleiteten Daten erfasstes und/oder dargestelltes Objekt einer (bzw. der vorher eingelernten und/oder vorgegebenen) Klasse eines Objekts und/oder Umfeldbestandteils zugeordnet. Bei einer Objektlokalisierung wird insbesondere zusätzlich zu einer Objektklassifizierung ein Ort eines in den ortsaufgelösten Umfelddaten erfassten und/oder dargestellten Objekts (insbesondere in Bezug auf die ortsaufgelösten Umfelddaten) bestimmt bzw. ermittelt, welcher insbesondere durch eine sogenannte Bounding Box markiert und/oder hervorgehoben wird. Bei der semantischen Segmentierung wird insbesondere jedem Pixel der ortsaufgelösten Umfelddaten oder hiervon abgeleiteter Daten eine Klasse eines erkannten Objekts (zur Klassifizierung des Objekts) (insbesondere aus einer insbesondere vorgegebenen Vielzahl von Klassen von Objekten) zugeordnet (Klassen-Annotation). Dabei kann es sich bei der Vielzahl von Klassen von Objekten um eine Gruppe von Klassen handeln, welche Verkehrsteilnehmer, Fußgänger, Fahrzeuge, Verkehrsleitelemente, Verkehrszeichen, Markierungen zur Verkehrsführung und dergleichen sowie Kombinationen hiervon umfasst.
  • Bevorzugt werden dem Umfelderkennungsmodell als Eingabegrößen die ortsaufgelösten Umfelddaten oder hiervon abgeleitete Daten zugeführt. Bevorzugt gibt das Umfelderkennungsmodell als Ausgabegröße wenigstens eine Umfeldgröße und bevorzugt eine Vielzahl von Umfeldgrößen aus, welche charakteristisch sind für das Fahrzeugumfeld und/oder die Verkehrssituation in dem Fahrzeugumfeld und/oder ein in dem Fahrzeugumfeld erkanntes Objekt und/oder eine Objektklassifizierung eines in dem Fahrzeugumfeld befindlichen Objekts und/oder einer Objektlokalisierung eines in dem Fahrzeugumfeld befindlichen Objekts und/oder einer erkannten Kante insbesondere als Abgrenzung zwischen einem (Bild- bzw. Umfelddaten-)Vordergrund und/oder Hintergrund und/oder eine Kante etwa zur Markierung einer Verkehrsführung.
  • Denkbar ist, dass das Umfelderkennungsmodell mittels bestärkenden Lernens (englisch: reinforcement learning) trainiert wird, um das trainierte Umfelderkennungsmodell zu erhalten. Mit anderen Worten kann hier also ein vorgegebener sogenannter in Reinforcement-Learning-Agent verwendet werden, um das Umfelderkennungsmodell zu trainieren.
  • Bevorzugt basiert das trainierte und/oder trainierte Umfelderkennungsmodell und insbesondere der Reinforcement Learning Agent auf einer deterministischen gelernten Strategie (engl. „Policy“). Alternativ können ebenfalls stochastische Policies genutzt werden, da diese durch das Modellieren einer Wahrscheinlichkeitsverteilung abhängig von dem Zustandsraum die Uncertainty („Unsicherheit“) intrinsisch aufnehmen.
  • Bei einem weiter bevorzugten Verfahren wird auf Grundlage der Vielzahl von ermittelter und/oder gemessener Lastgrößen wenigstens eine Lastverteilungsgröße ermittelt, welche für eine, insbesondere anteilige, Verteilung der Rechenlast auf die Vielzahl von Rechenbereichen charakteristisch ist, wobei die Ermittlung der Erkennungsgröße in Abhängigkeit der wenigstens einen Lastverteilungsgröße erfolgt. Dabei können alle Rechenbereiche oder nur einige der Rechenbereiche berücksichtigt sein. Dies bietet den Vorteil, dass eine derartige Lastverteilungsgröße mit vergangenen im Rahmen von der Ausführung von Umfelderkennungsaufgaben vorgenommenen Datenverarbeitungen und hierbei ermittelter Lastverteilungsgrößen verglichen werden kann.
  • Bevorzugt wird eine Erkennungsgröße des Umfelderkennungsmodells auf Grundlage der wenigstens einen Lastverteilungsgröße durch Abgleich der wenigstens einen Lastverteilungsgröße mit auf einer nicht-flüchtigen Speichereinrichtung (insbesondere auf einer Datenbank) abgelegter Lastverteilungsgrößen sowie diesen zugeordneter Umfelderkennungsaufgaben und/oder diesen zugeordneter Art der Korrelation von Merkmalen, die bei Ausführung der Umfelderkennungsaufgabe zu einer erhaltenen Umfeldgröße geführt haben.
  • Insbesondere kann (auf der nicht-flüchtigen Speichereinrichtung und/oder der Datenbank) eine Vielzahl von verschiedenen Arten von Korrelationen von Merkmalen vorgegeben und/oder abgelegt sein. Bevorzugt kann eine Vielzahl von verschiedenen Arten von Korrelationen von Merkmalen vorgegeben und/oder abgelegt sein, welche ausgewählt ist aus einer Gruppe von Arten von Korrelationen von Merkmalen, welche eine durch Hintergrunddaten bewirkte Korrelation von Merkmalen, eine durch Umfelddaten, welche einem Hintergrund zuzuordnen sind, bewirkte Korrelation von Merkmalen, eine durch Vordergrunddaten bewirkte Korrelation von Merkmalen, eine durch Umfelddaten, welche einem Vordergrund zuzuordnen sind, bewirkte Korrelation von Merkmalen, eine durch einen Kontrast und/oder einen Helligkeitsverlauf und/oder eine Beleuchtungssituation bewirkte Korrelation von Merkmalen und/oder Reflektionen (elektromagnetische Wellen, z.B. Radar, optische Wellen, z.B. Lidar und/oder akustische Wellen wie beispielsweise Ultraschall), welche zur Objektbildung genutzt werden können, und dergleichen sowie Kombinationen hiervon umfasst.
  • Beispielsweise lässt sich hierdurch ermitteln, ob ein von einer Frontkamera erfasste Aufnahme bzw. Bild lediglich einer bestimmten (durch die Ausführung der Umfelderkennungsaufgabe erhaltene) Kategorie (etwa ein bestimmtes Objekt) zugeordnet wurde, weil die erfasste Aufnahme in ihrem Hintergrundbereich, etwa einer speziellen, insbesondere extremen, Beleuchtungssituation, sehr stark einigen Trainingsdaten(-bilder) ähnelt. Dies könnte dazu führen, dass fälschlicherweise dieser erfassten Aufnahme ein auf all diesen stark ähnelnden Trainingsdatenbildern abgebildetes Objekt als Kategorie zugeordnet wird.
  • Wird allerdings durch eine - insbesondere während der im Wesentlichen gesamten Berechnungsdauer der Ausführung der Umfelderkennungsaufgabe - Beobachtung der Auslastung der verschiedenen Rechenbereiche festgestellt, dass eine für eine Korrelation der Hintergrundbereiche charakteristische Auslastung bzw. Rechenlast einiger und/oder aller Rechenbereiche vorliegt, kann durch Ermittlung einer hierfür charakteristischen Erkennungsgröße einem Nutzer und/oder einer Steuervorrichtung des Fahrzeugs zur Steuerung der wenigstens einen Fahrzeugfunktion und/oder der Umfeldauswerteeinrichtung die Information übermittelt werden, dass die durch Umfelderkennungsmodell erhaltene Umfeldgröße mit einer vorgegebenen Wahrscheinlichkeit kein valides Ergebnis ist. In einem solchen Fall könnte beispielsweise eine erneute Ausführung der Umfelderkennungsaufgabe basierend auf neu erfassten Umfelddaten ausgelöst werden.
  • Bevorzugt kann ein Schwerpunkt der Rechenlast in Bezug auf die Rechenbereiche und/oder können Cluster von Rechenbereichen mit einer vorgegebenen Mindest-Rechenlast ermittelt werden. Die Lastverteilungsgröße kann etwa basierend auf dem Schwerpunkt und/oder der Cluster ermittelt werden.
  • Bei einem weiter bevorzugten Verfahren wird auf Grundlage der Vielzahl von ermittelten und/oder gemessenen Lastgrößen oder einer hiervon abgeleiteten Größe wenigstens ein Lastverteilungsmuster (insbesondere in Bezug auf die vorgegebenen Rechenbereiche) ermittelt und/oder aus einer Vielzahl vorgegebener Lastverteilungsmuster ausgewählt und die Ermittlung der Erkennungsgröße erfolgt in Abhängigkeit des Lastverteilungsmusters erfolgt.
  • Bevorzugt ist das Lastverteilungsmuster charakteristisch für wenigstens eine obig erwähnte Art einer Korrelation von Merkmalen.
  • Bevorzugt ist das Lastverteilungsmuster charakteristisch für eine Art der durchgeführten Umfelderkennungsaufgabe.
  • Bevorzugt ist das Lastverteilungsmuster charakteristisch für die wenigstens eine Art der Sensoreinrichtung, welche die der (aktuellen) Datenauswertung zugrundeliegenden Umfelddaten erzeugte. Dies kann insbesondere von Interesse sein, wenn die Ausführung der Umfelderkennungsaufgabe eine Umfelddatenfusion einer Vielzahl von verschiedenen (insbesondere verschiedenartigen) Sensoreinrichtungen zur Erfassung des Fahrzeugumfelds (bevorzugt wenigstens 3 verschiedene und/oder bevorzugt wenigstens 2 verschiedenartige, bevorzugt wenigstens 3 verschiedenartige und besonders bevorzugt wenigstens 5 verschiedenartige Sensoreinrichtungen zur Erfassung des Fahrzeugumfelds, wobei bevorzugt ortsaufgelöste Umfelddaten erzeugt und/oder erfasst werden) erfordert bzw. zugrunde liegt. Durch eine derartige Datenfusion kann eine noch präzisere Erkennung und/oder Beobachtung des Fahrzeugumfelds erreicht werden. Gleichzeitig ist allerdings eine Datenverarbeitung derart fusionierter Umfelddaten vergleichsweise rechenintensiv.
  • Bei einem weiter bevorzugten Verfahren umfasst das Lastverteilungsmuster einen (wenigstens abschnittsweisen) zeitlichen Verlauf und/oder (in Bezug auf die Rechenbereiche) bereichsweisen Verlauf der Rechenlast der Vielzahl von Rechenbereichen. Bevorzugt ist das Lastverteilungsmuster charakteristisch für einen (wenigstens abschnittsweisen) zeitlichen und/oder ein bereichsweisen Verlauf der Rechenlast der Vielzahl von Rechenbereichen. Bevorzugt wird der zeitliche Verlauf im Wesentlichen während der gesamten Dauer der Ausführung der Umfelderkennungsaufgabe aufgezeichnet und/oder bei der Ermittlung des Lastverteilungsmusters berücksichtigt.
  • Dies bietet den Vorteil, dass ein zeitlich und/oder bereichsweise/räumlich für eine Art einer Datenauswertung typischer Verlauf festgestellt werden kann und zur Ermittlung der Erkennungsgröße verwendet werden kann.
  • Bevorzugt wird auf Grundlage der Erkennungsgröße und/oder des Lastverteilungsmusters und/oder der Lastverteilungsgröße wenigstens eine für eine Art der Datenverarbeitung der Umfelddaten und/oder für eine Art der Korrelation von Merkmalen (wie obig beschrieben) und/oder für eine zugrundeliegende Umfelddatenquelle (etwa eine wie obig beschriebene Art einer Sensoreinrichtung) und/oder eine Art einer Umfelderkennungsaufgabe ermittelt und/oder aus jeweils vorgegebenen Arten hierfür ausgewählt.
  • Bei einem weiter bevorzugten Verfahren wird auf Grundlage der Erkennungsgröße wenigstens eine prognostizierte Umfeldgröße zur Prognose der unter Verwendung des Umfelderkennungsmodells ermittelt. Dies bietet den Vorteil, dass bereits in einem sehr frühen Stadium der (meist zeitaufwändigen) Datenverarbeitung eine erste Prognose etwa an eine Steuerungseinrichtung des Fahrzeugs bzw. zur Steuerung der Fahrzeugfunktion übermittelt werden kann. Hierdurch ist des dem Fahrzeug möglich, in besonders schneller Weise auf unerwartete Ereignisse zu reagieren. Hierdurch wird vorteilhaft die Fahrzeugsicherheit erhöht.
  • Denkbar ist auch, dass es sich bei der Umfeldauswerteeinrichtung um eine (in Bezug auf das Fahrzeug) externe Auswerteeinrichtung handelt, insbesondere einen Cloud-basierten und/oder einen externen Server. Unter einem externen Server ist insbesondere ein in Bezug auf das Fahrzeug externer Server, insbesondere ein Backend-Server, zu verstehen. Der externe Server ist beispielsweise ein Backend eines Fahrzeugherstellers oder eines Dienstanbieters, welcher dazu eingerichtet ist, Umfelddaten und/oder hiervon abgeleitete Daten (insbesondere jeweils in Bezug Verkehrssituationen in Bezug auf eine Vielzahl von Fahrzeugen) auszuwerten und/oder (ermittelte) Benachrichtigungsgröße(n) zu verwalten und/oder zu speichern. Die Funktionen des Backend bzw. des externen Servers können dabei auf (externen) Serverfarmen durchgeführt werden. Beim (externen) Server kann es sich um ein verteiltes System handeln. Der externe Server und/oder das Backend kann Cloud-basiert sein.
  • Bevorzugt handelt es sich bei der Fahrzeugfunktion um eine Funktion einer Fahrzeugkomponente des (Ego-)Fahrzeugs. Bevorzugt ist die Fahrzeugkomponente ausgewählt aus einer Gruppe, welche ein Fahrzeugsicherheitssystem (beispielsweise ein Bremssystem), ein System zum Führen des (Ego-)Fahrzeugs, eine insbesondere automatische Fahrzeuglateralsteuerung, ein Spur-Einhaltesystem, ein Spurwechsel-Assistenzsystem, ein Navigationssystem, ein Verriegelungssystem einer Fahrzeugtür und/oder eines Fahrzeugfensters, einen Scheibenwischermechanismus, ein Fahrzeugschließsystem, ein Dachöffnungsmechanismus, ein Schiebedachmechanismus, ein Infotainmentsystem, ein Unterhaltungssystem und/oder ein Komfortsystem zur Steigerung des Fahrkomforts eines Insassen und Kombinationen hiervon umfasst.
  • Dabei kann es sich bei der Fahrzeugfunktion um eine Assistenzfunktion handeln, bei welcher ein Nutzer des Fahrzeugs (wie etwa ein Fahrer) lediglich unterstützt wird (etwa durch Ausgeben eines Informationssignals und/oder eines Warnsignals und/oder einer Bedienempfehlung). Denkbar ist aber auch, dass die Fahrzeugfunktion auf Grundlage des Steuersignals vollständig von einem Fahrerassistenzsystem übernommen wird, ohne dass der Nutzer eine (manuelle) Bedienung vornimmt.
  • Die vorliegende Erfindung ist weiterhin gerichtet auf eine Überwachungseinrichtung für ein Fahrzeug zur Überwachung einer, insbesondere wenigstens teilautomatischen und bevorzugt zur automatischen, Steuerung wenigstens einer Fahrzeugfunktion des Fahrzeugs auf Grundlage von, von wenigstens einer Sensoreinrichtung (insbesondere des Fahrzeugs) zur Erfassung des Fahrzeugumfelds des Fahrzeugs erfassten, insbesondere örtlich aufgelöster, Umfelddaten.
  • Dabei erfolgt die Steuerung der wenigstens einen Fahrzeugfunktion mittels einer, insbesondere Prozessor-basierten, Umfeldauswerteeinrichtung für das Fahrzeug, welche eine Vielzahl von verschiedenen Rechenbereichen aufweist. Bevorzugt weist das Fahrzeug die Umfeldauswerteeinrichtung auf.
  • Dabei ist die Umfeldauswerteeinrichtung dazu geeignet und bestimmt und/oder dafür konfiguriert, (insbesondere die mittels der Sensoreinrichtung in Bezug auf das erfasste Fahrzeugumfeld ermittelten, insbesondere örtlich aufgelösten,) Umfelddaten zu empfangen und wenigstens eine Umfelderkennungsaufgabe durch Verarbeiten von für die Umfelddaten charakteristischen Daten unter Verwendung eines, insbesondere trainierbaren, (trainierten und/oder vorgegebenen) Umfelderkennungsmodells maschinellen Lernens auszuführen.
  • Dabei umfasst das Umfelderkennungsmodell einen Satz, insbesondere trainierbarer, Parameter, welche auf Werte eingestellt sind, die als Ergebnis eines Trainingsprozesses gelernt wurden, wodurch wenigstens eine Umfeldgröße als Ergebnis der Umfelderkennungsaufgabe (mittels der Umfeldauswerteeinrichtung) ermittelt wird, welche (Umfeldgröße) für das Fahrzeugumfeld und insbesondere für eine Verkehrssituation in dem Fahrzeugumfeld charakteristisch ist.
  • Erfindungsgemäß ist die Überwachungseinrichtung dazu geeignet und bestimmt und/oder dazu konfiguriert, eine Vielzahl von ermittelten und/oder gemessenen Lastgrößen, welche für die Rechenlast der Vielzahl von Rechenbereichen charakteristisch ist, zu empfangen und/oder abzurufen.
  • Weiterhin ist die Überwachungseinrichtung dazu geeignet und bestimmt und/oder dazu konfiguriert, eine Erkennungsgröße des Umfelderkennungsmodells auf Grundlage der Vielzahl von Lastgrößen zur Überwachung, insbesondere zur Plausibilisierung und/oder Verifizierung, und/oder zur Prognose des Ergebnisses der Umfelderkennungsaufgabe zu ermitteln.
  • Bevorzugt ist die Überwachungseinrichtung dazu geeignet und bestimmt und/oder dazu konfiguriert, eine Steuerungsgröße zur Steuerung der Fahrzeugfunktion in Abhängigkeit der Erkennungsgröße zu ermitteln.
  • Es wird also auch im Rahmen der erfindungsgemäßen vorgeschlagen, dass eine unter Verwendung eines, insbesondere KI-basierten, Umfelderkennungsmodells ausgeführte Umfelderkennungsaufgabe überwacht wird, indem die Auslastung verschiedener Rechenbereiche, welche zumindest teilweise (und bevorzugt im Wesentlichen mit ihrer gesamten Rechenkapazität) an der Ausführung dieser Umfelderkennungsaufgabe beteiligt sind, beobachtet wird und hiervon eine Erkennungsgröße abgeleitet wird. Die Erkennungsgröße fungiert dabei insbesondere als Indiz für eine bestimmte Arbeitsweise und/oder Funktionsweise und/oder Betriebsweise des Umfelderkennungsmodells.
  • Bevorzugt ist die Überwachungseinrichtung dazu eingerichtet, geeignet und/oder bestimmt, das obig beschriebene Verfahren sowie alle bereits obig im Zusammenhang mit dem Verfahren beschriebene Verfahrensschritte einzeln oder in Kombination miteinander auszuführen. Umgekehrt kann das Verfahren mit allen im Rahmen der Überwachungseinrichtung beschriebenen Merkmalen einzeln oder in Kombination miteinander ausgestattet sein.
  • Die vorliegende Erfindung ist weiterhin gerichtet auf ein Fahrzeug, bevorzugt umfassend eine Umfeldauswertungseinrichtung gemäß einer obig beschriebenen Ausführungsform, insbesondere Kraftfahrzeug, umfassend eine obig beschriebene Überwachungseinrichtung für ein Fahrzeug entsprechend einer Ausführungsform. Bei dem Fahrzeug kann es sich insbesondere um ein (motorisiertes) Straßenfahrzeug handeln.
  • Bevorzugt ist die Überwachungseinrichtung (und/oder die Umfeldauswertungseinrichtung) fahrzeuggebunden und/oder fester (insbesondere nicht-zerstörungsfrei lösbarer) Bestandteil des Fahrzeugs.
  • Bei einem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, welches insbesondere ein von dem Fahrer selbst gesteuertes Kraftfahrzeug („Driver only“), ein halbautonomes, autonomes (beispielsweise der Autonomiestufe Level 3 oder 4 oder 5 (der Norm SAE J3016)) oder selbstfahrendes Kraftfahrzeug ist. Die Autonomiestufe Level 5 bezeichnet dabei vollautomatisch fahrende Fahrzeuge. Ebenso kann es sich bei dem Fahrzeug um ein fahrerloses Transportsystem handeln. Das Fahrzeug kann dabei von einem Fahrer gesteuert werden oder autonom fahren. Darüber hinaus kann es sich bei dem Fahrzeug neben einem Straßenfahrzeug auch um ein Flugtaxi, ein Flugzeug und ein anderes Fortbewegungsmittel oder eine andere Fahrzeugart handeln, beispielsweise ein Luft-, Wasser- oder Schienenfahrzeug.
  • Die vorliegende Erfindung ist weiterhin gerichtet auf ein Computerprogramm oder Computerprogrammprodukt, umfassend Programmmittel, insbesondere einen Programmcode, welcher zumindest einige der und bevorzugt alle Verfahrensschritte des erfindungsgemäßen Verfahrens und bevorzugt eine der beschriebenen bevorzugten Ausführungsformen repräsentiert oder kodiert und zum Ausführen durch eine Prozessoreinrichtung ausgebildet ist.
  • Die vorliegende Erfindung ist weiterhin gerichtet auf einen Datenspeicher, auf welchem zumindest eine Ausführungsform des erfindungsgemäßen Computerprogramms oder einer bevorzugten Ausführungsform des Computerprogramms gespeichert ist.
  • Die vorliegende Erfindung wurde in Bezug auf ein Fahrzeug beschrieben. Dabei ist die vorliegende Erfindung auch übertragbar auf allgemein, auf einem Modell maschinellen Lernens basierenden Auswertungssystem zur Auswertung von großen (Sensor-)Datenmengen bzw. allgemein auf Verfahren bzw. Überwachungseinrichtungen zur Überwachung von Auswertungsvorrichtungen in der maschinellen Bildverarbeitung (etwa auch in einer Infrastruktur). Die Anmelderin behält sich vor, hierauf gerichtete Gegenstände ebenfalls zu beanspruchen.
  • Weitere Vorteile und Ausführungsformen ergeben sich aus den beigefügten Zeichnungen:
    • Darin zeigen:
      • 1 eine schematische Darstellung eines menschlichen Gehirns;
      • 2 eine schematische Schnittdarstellung eines menschlichen Gehirns;
      • 3a eine schematische Darstellung einer hier als Prozessor ausgeführten Umfeldauswerteeinrichtung gemäß einer bevorzugten Ausführungsform;
      • 3b eine schematische Darstellung eines Fahrzeugs mit einer erfindungsgemäßen Überwachungseinrichtung gemäß einer bevorzugten Ausführungsform;
      • 4 eine schematische Darstellung einer Bilderkennung im neuronalen Netz;
      • 5 eine schematische Darstellung eines Convlutional Neural Networks;
      • 6 eine schematische Darstellung zur Illustration eines Verfahrens;
      • 7 eine schematische Darstellung eines vorgeschlagenen Verfahrens beim automatischen Fahren; und
      • 8 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens gemäß einer bevorzugten Ausführungsform.
  • Die 1 und 2 zeigen eine Veranschaulichung des in der vorgeschlagenen Erfindung gemäß einer Ausführung vorgeschlagenen Grundprinzips und Zielsetzung anhand eines menschlichen Gehirns.
  • 1 illustriert dabei, dass sich beim menschlichen Gehirn verschiedene Bereiche A1 -A13 unterscheiden lassen, in denen verschiedene Reize verarbeitet oder denen verschiedene funktionale Aufgaben zugeordnet sind. So lassen sich beispielsweise der prämotorische Cortex A2, Sulcus centralis (lat. für Zentralfurche) A3, der visuelle Cortex A8, der primäre somatosensorische Cortex , der bei der Vorbereitung und Durchführung von Willkürbewegungen mitwirkt, der primäre somatosensorische Cortex A4, das Geschmacksareal A5, das visuelle Assoziationsgebiet A7 etc. voneinander unterscheiden. Diese Bereiche sind im Wesentlichen räumlich getrennt voneinander angeordnet. Mit anderen Worten werden beispielsweise ein visueller Reiz und ein akustischer Reiz in verschiedenen Arealen des menschlichen Gehirns verarbeitet.
  • 2 zeigt eine schematische Schnittdarstellung eines menschlichen Gehirns 20. Mittels funktioneller MRT, mittels welcher durch zelluläre Aktivitäten entstandene Stoffwechselvorgänge sichtbar gemacht werden können, ist es möglich, Bereiche des menschlichen Gehirns mit hoher Aktivität zu identifizieren.
  • Die Bezugszeichen 21 und 22 illustrieren beispielsweise eine Visualisierung von Lob bzw. des Belohnungssystems im menschlichen Gehirn 20.
  • Seit jüngerer Zeit ist es sogar möglich, Gedanken zu lesen, indem spezielle Gehirnmuster identifiziert werden und hiervon abgeleitet werden kann, woran die Person denkt. Beispielsweise konnte mit hoher Genauigkeit eine Entscheidung von Versuchspersonen entschlüsselt werden, ob diese im Kopf etwas addieren oder subtrahieren. Weiterhin wurde entdeckt, dass bereits einige Sekunden vor einer Entscheidung der Versuchsperson ein entsprechendes Gedankenmuster identifiziert werden konnte (siehe https://www.aerztezeitung.de/Medizin/Hirnforscher-lesen-mit-funktioneller-MRT-Gedanken-352777.html, abgerufen am 23.03.2022).
  • Auch hier werden, ähnlich wie in den obig beschriebenen bevorzugten Ausführungsformen eines Verfahrens im Rahmen von KI-basierten Verarbeitung von Umfelddaten zur Ausführung einer Umfelderkennungsaufgabe beschrieben, Bereiche hoher Aktivität (ähnlich zu einer hohen Rechenlast bzw. Auslastung) ermittelt und mit bekannten Aktivitätsmustern abgeglichen, welchen vorgegebene Funktionen bzw. Verarbeitungsarten zugeordnet werden können. Hierdurch ist es - wie auch bei der Kl möglich, noch vor Abschluss und/oder Ausgabe eines durch den Verarbeitungsprozess erhaltenen Verarbeitungsergebnisses zu prognostizieren, mit welcher Funktion bzw. mit welcher Verarbeitungsart (Lob, Motorik, Akustik) das Gehirn beschäftigt ist. Eine derartige Prognose kann sodann zu einer ersten Weiterverarbeitung des prognostizierten Verarbeitungsergebnisses zu einer schnellen Reaktion genutzt werden.
  • Insbesondere wird vorliegend vorteilhaft vorgeschlagen, hierdurch fundamentale Probleme, die bei KI-basierten Verarbeitungen auftreten können, zu lösen. Beispielsweise werden im Zusammenhang mit Künstlicher Intelligenz insbesondere drei fundamentale Problemarten beschrieben (siehe beispielsweise https://www.ki-risiken.de/2020/01/12/drei-fundamentale-kiprobleme/, abgerufen am 23.03.2022). Hierunter wird unter anderem das sogenannte Kompetenzproblem identifiziert, welches dadurch entsteht, dass über die verwendeten Trainingsdaten möglicherweise keine ausreichende Lösungskompetenz vermittelt wurde.
  • Zur Verbesserung der Kompetenz der KI und/oder zur (redundanten) Überwachung der KI kann beispielsweise wie vorgeschlagen ermittelt werden, auf welcher Grundlage und wie genau die KI die Entscheidungen trifft.
  • 3a zeigt eine schematische Darstellung einer hier als Prozessor ausgeführten Umfeldauswerteeinrichtung 11 gemäß einer bevorzugten Ausführungsform.
  • 3b zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einer mit einer erfindungsgemäßen Überwachungseinrichtung 12 gemäß einer bevorzugten Ausführungsform.
  • Das Fahrzeug 1 umfasst hier eine, Prozessor-basierte Umfeldauswerteeinrichtung 11, welche insbesondere KI-basiert ist. Bevorzugt ist die Künstliche Intelligenz zur Erkennung von Objekten und/oder Objektklassen in den aufgenommenen ortsaufgelösten Bildern und insbesondere für die Auswertung der Umfelddaten, geeignet und bestimmt bzw. konfiguriert.
  • Weiterhin weist das Fahrzeug 1 bevorzugt eine Kl bzw. eine Künstliche Intelligenz-basierte Umfeldauswerteeinrichtung 11 zur Erfassung des Fahrzeugumfelds, insbesondere zur Umfelderkennung, beispielsweise zur Objekterkennung im Fahrzeugumfeld auf. Die KI-basierte Umfeldauswerteeinrichtung 11 kann dabei auf der Fahrzeug ECU 16 (ECU engl. Electronic Control Unit) bzw. einer Fahrzeugsteuereinrichtung oder in einem Cloud-Backend sein.
  • Im Bereich der Frontscheibe des Fahrzeugs 1, sind hier ein Regen-/Lichtsensor und/oder eine Frontkamera 18 angeordnet (jeweils nur schematisch dargestellt). Das Fahrzeug 1 kann über zusätzliche Sensoreinrichtungen verfügen, beispielsweise über einen Radar-, Ultraschall- und/oder LIDAR-Sensor, welche hier durch das Bezugszeichen 22 als Front-Sensorik gekennzeichnet schematisch gekennzeichnet sind.
  • Weiterhin weist das Fahrzeug bevorzugt einen insbesondere rückwärtigen Lichtsensor 26 bzw. Lichtsensor im Heckbereich, sowie weitere Heck-Sensorik 27 (wie beispielsweise Radar-, Ultraschall- und/oder Lidar-Sensor). Weiter bevorzugt umfasst das Fahrzeug eine (hochgesetzte und/oder weitere) Bremsleuchte und/oder Signalleuchte 28.
  • Bevorzugt wird die optische Sensorik (Kameras) und/oder der Regen-/Lichtsensor und/oder der Radar-Sensor und/oder Ultraschall-Sensor und/oder LIDAR-Sensor (als Datenquelle) zur Erhebung und/oder zur Aufnahme und/oder zur Ermittlung von Daten für Licht- und/oder Sichtverhältnisse verwendet.
  • Das Fahrzeug 1 umfasst bevorzugt Einrichtungen zur Ermittlung standortbezogener Umfelddaten wie beispielsweise Wetterdaten, etwa über einen Online-Wetterdienst (wie GPS oder dergleichen und/oder ein Mobilfunknetz) und/oder DAB+ und weist hierfür bevorzugt Antennen 19 für DAB+/Radio und mobile Onlinedienste auf.
  • Das Fahrzeug 1 umfasst weiterhin bevorzugt eine Kommunikationsschnittstelle 14 einer Kommunikationseinrichtung (z.B. Car2X) für das Empfangen und Senden von Daten, bevorzugt zum Austausch von Informationen zur gegenseitigen Sichtbarkeit mit anderen Verkehrsteilnehmern. So können beispielsweise über Car2X Informationen zum Lichtstatus und zur Güte der Sichtbarkeit einholt und/oder ausgetauscht werden.
  • Das Fahrzeug 1 umfasst bevorzugt ein GPS-Modul - insbesondere als Fahrzeugpositionssensor - , und hier beispielsweise eine Steuereinrichtung 8 zur Ausführung und/oder Durchführung der automatischen Steuerung (der Lichtfunktionen der) Beleuchtungseinrichtung des Fahrzeugs (wie beispielsweise eines Tagfahrlichtes und/oder eines Schlusslichtes und/oder eines Abblendlichtes).
  • Dabei umfasst die Beleuchtungseinrichtung des Fahrzeug 1 auf der Vorderseite ein Scheinwerferpaar 20 und auf der Rückseite ein SBBR-Paar 29 (kombinierte Leuchte verstanden, welche in der Lage ist, die Funktionen eines Standlichtes, eines Bremslichtes, eines Blinklichtes und einer Rückfahrlichtes). Bei dem Scheinwerferpaar 20 handelt es sich typischerweise um ein Abblendlicht und zusätzlich zu diesem kann die Beleuchtungseinrichtung an der Vorderseite des Fahrzeugs 10 weitere Schweinwerfer aufweisen.
  • Die künstliche Intelligenz 11 repräsentiert hier insbesondere alle für das Ausführen der erfindungsgemäßen Verfahren nötigen Computerprogramme, Algorithmen, Programmcodes und die dazugehörigen Bestandteile der dafür notwendigen Hardware (Prozessoreinrichtung, Datenspeicher und dergleichen), insbesondere zur Klassifizierung von Objekten wie beispielsweise anderer Verkehrsteilnehmer.
  • 4 zeigt eine schematische Darstellung einer Bilderkennung im neuronalen Netz. Das Bezugszeichen 62 kennzeichnet eine Eingabeschicht. Diese erste Neuronenschicht dient dazu, Roh- bzw. vorverarbeitete Daten wie etwa von einer Frontkamera eines Fahrzeugs aufgezeichnete ortsaufgelöste Umfelddaten, wie Kamerabilder.
  • Die sogenannten verdeckten Schichten 64, 66 eines neuronalen Netzes erkennen charakteristische Bildteile. Basierend hierauf erfolgt eine Zuordnung zu einer oder mehreren Kategorien, wie beispielsweise Kategorien von Objekten (Fahrzeug; Person; und dergleichen). In der Ausgabeschicht werden diese Kategorien ausgegeben.
  • 5 zeigt eine schematische Darstellung eines Convolutional Neural Networks (CNN), welche typischerweise zur Bilderkennung eingesetzt werden. Das Bezugszeichen 62 kennzeichnet wieder die Eingabeschicht, mittels welcher hier das Bild einer „3“ in das neuronale Netz eingegeben wird. Derartige Netze können so ausgestaltet sein, dass Pixel in jedem 5x5 Pixel großen Bereich des Bildes mit einem einzigen Neuron (Convolution, dt. Faltung) verbunden wird, hier durch das Bezugszeichen 63 gekennzeichnet, und die dadurch extrahierten Features anschließend reduziert werden (Subsampling).
  • Grundsätzlich weist ein CNN ein oder mehrere Conovlutional Layer, gefolgt von einem Pooling Layer (Subsampling) auf. Das Bezugszeichen 65 kennzeichnet wiederum eine Convolutional Layer. Zwischen den beiden Convolutional Layer 63, 65 ist eine Pooling Layer (hier Subsampling 2x2 Pixel) angeordnet. Diese Einheit aus Convolutional Layer und Pooling Layer kann sich grundsätzlich beliebig oft hintereinander reihen. Dadurch können Stufe für Stufe immer komplexere Merkmale gelernt werden. Zur Klassifizierung 66 schließen sich zwei voll verknüpfte Schichten an.
  • 6 zeigt. eine schematische Darstellung zur Illustration eines vorgeschlagenen Verfahrens.
  • Menschliche Gehirne haben, wie in den 1 -2 beschrieben, einzelne Bereiche, in denen unterschiedliche Dinge „berechnet“ werden. Durch Beobachtung der Bereiche im MRT lassen sich die Gedanken lesen.
  • Analog hierzu kann eine GPU auch parzelliert werden mit unterschiedlich performanten Bereichen, so dass sich spezielle Rechenenbereiche herauskristallisieren z.B. zur Videoanalyse. Durch Überprüfung der Auslastung der einzelnen Rechenbereiche kann man die Rechenschwerpunkte bewerten und folglich lässt sich die Entscheidung vorhersagen. Durch die Rechenschwerpunkte lässt sich sagen, worauf das System wie reagiert.
  • Das Bezugszeichen 2 kennzeichnet optische, akustische oder digitale Reize als Eingabe. Bei deren Verarbeitung 10 erfolgt eine Überprüfung der Auslastung der einzelnen Rechnenbereiche. Das Bezugszeichen 4 kennzeichnet eine Ausgabe, in welcher die, insbesondere basierend auf der Überprüfung der Auslastung ermittelten, erwarteten Gedanken der künstlichen Intelligenz ausgegeben werden.
  • 7 zeigt eine schematische Darstellung eines vorgeschlagenen Verfahrens beim automatischen Fahren. Beim automatischen Fahren will man wissen, warum die Kl auf was reagiert.
  • Bevorzugt wird daher eine GPU 11 in einzelne Bereiche parzelliert, wie z.B.:
    • - Umfeldbeobachtung 32
    • - Umfeldbewertung 34
    • - Egofahrzeug 36
    • - Aktionsmanager 38
  • Bevorzugt erfolgt eine weitere Parzellierung des Bereichs Umfeldbeobachtung in:
    • - Vision 40
    • - Radar 44
    • - Lidar 42
    • - Ultraschall 46
  • Bevorzugt wird eine Prozessorauslastung (auch CPU-Last oder CPU- Auslastung) jeder einer einzelnen CPU in der GPU ermittelt, so dass man weiß an welcher Stelle gerechnet wird. Insbesondere über die Rechenaktivität in dem jeweiligen Areal lässt sich die Entscheidung vorhersagen.
  • In dem Beispiel sehen Vision 40, Radar 44, Lidar 42 und Ultraschall 46 alle etwas im selben Bereich, so dass man von einem relevanten Objekt von allen 4 Sensoren verifiziert ausgehen kann, eine Reaktion ist zu erwarten. Dies ist durch den Pfeil P gekennzeichnet.
  • Die endgültige Reaktion des Aktionsmanager lassen sich auf des Objekt wieder zurückführen.
  • Folglich ist die Reaktion von Umfeldbeobachtungen in die Aktion des Fahrzeugs in einem Zustandsschaubild (z.B. UML - Unified Modeling Language - Diagramm) abbildbar.
  • Dieses UML gilt jedoch nur so lange die Kl nichts neues gelernt hat.
  • 8 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens gemäß einer bevorzugten Ausführungsform.
  • Das Bezugszeichen 50 kennzeichnet einen ersten Verfahrensschritt, in welchem eine Kl (mit ihrem Datenverarbeitungsvorgang, etwa von Umfelddaten) startet. Das Bezugszeichen 52 kennzeichnet, dass jeder einzelne Rechenkern (insbesondere alle, welche an dem Datenverarbeitungsvorgang beteiligt sind, beobachtet wird.
  • Das Bezugszeichen 54 kennzeichnet die Überprüfung, ob in einer CPU eine hohe Prozessorauslastung auffällig ist. Ist dies der Fall, wird in Verfahrensschritt 65 überprüft, ob Beziehungen von der Prozessorlast zur Aktion gezogen werden können? Falls dies der Fall ist, könnte, wie in Verfahrensschritt 58 illustriert, beispielsweise ein wie in 7 beschriebenes UML-Diagramm erstellt werden.
  • Für den Fall, dass keine CPU eine auffällig hohe Prozessorleistung aufweist oder keine Beziehung von der Prozessorlast zur Aktion gezogen werden kann, kann mit der Beobachtung jedes einzelnen Rechenkerns weiter verfahren werden (Fortsetzung des Verfahrens bei Verfahrensschritt 52).
  • Bezugszeichenliste
    • 1
    Fahrzeug
    2
    Reize
    4
    Ausgabe
    8
    Steuereinrichtung
    10
    Verarbeitung
    20
    Menschliches Gehirn
    21, 22
    Lob
    11
    Umfeldauswerteeinrichtung
    12
    Überwachungseinrichtung
    14
    Kommunikationsschnittstelle
    16
    ECU
    18
    Frontkamera
    19
    DAB+/Radio-Antenne
    20
    Scheinwerferpaar
    22
    Front-Sensorik
    26
    Lichtsensor
    27
    Hecksensorik
    29
    Leuchte
    32
    Umfeldbeobachtung
    34
    Umfeldbewertung
    36
    Egofahrzeug
    38
    Aktionsmanager
    40
    Vision
    42
    Lidar
    44
    Radar
    46
    Ultraschall
    50 - 58
    Verfahrensschritte
    62
    Eingabeschicht (Pixel)
    63, 65
    Convolutional Layer
    64, 66
    Verdeckte Schichten
    66
    Ausgabeschicht
    A1 -A13
    Gehirnareale
    P
    Pfeil

Claims (10)

  1. Verfahren zur, insbesondere wenigstens teilautomatischen und bevorzugt zur automatischen, Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs (1) auf Grundlage von, von wenigstens einer Sensoreinrichtung zur Erfassung des Fahrzeugumfelds des Fahrzeugs (1) erfassten, insbesondere örtlich aufgelöster, Umfelddaten, umfassend: - Empfangen von durch die Sensoreinrichtung in Bezug auf das erfasste Fahrzeugumfeld (B1, B2) ermittelten, insbesondere örtlich aufgelösten, Umfelddaten; - Ausführen wenigstens einer Umfelderkennungsaufgabe durch Verarbeiten von für die Umfelddaten charakteristischen Daten mittels einer, insbesondere fahrzeuginternen, Prozessor-basierten Umfeldauswerteeinrichtung (11) aufweisend eine Vielzahl von verschiedenen Rechenbereichen (40, 42, 44, 46) unter Verwendung eines, insbesondere trainierbaren, Umfelderkennungsmodells maschinellen Lernens (62 - 66), wobei das Umfelderkennungsmodell einen Satz, insbesondere trainierbarer, Parameter umfasst, welche auf Werte eingestellt sind, die als Ergebnis eines Trainingsprozesses gelernt wurden, und hierdurch Ermitteln wenigstens einer Umfeldgröße als Ergebnis der Umfelderkennungsaufgabe, welche für das Fahrzeugumfeld und insbesondere für eine Verkehrssituation in dem Fahrzeugumfeld charakteristisch ist; - Empfangen und/oder Abrufen einer Vielzahl von ermittelten und/oder gemessenen Lastgrößen, welche für die Rechenlast der Vielzahl von Rechenbereichen (40, 42, 44, 46) charakteristisch ist; - Ermittlung einer Erkennungsgröße des Umfelderkennungsmodells auf Grundlage der Vielzahl von Lastgrößen zur Überwachung, insbesondere zur Plausibilisierung und/oder Verifizierung, und/oder zur Prognose des Ergebnisses der Umfelderkennungsaufgabe; - Ermittlung einer Steuerungsgröße zur Steuerung der Fahrzeugfunktion in Abhängigkeit der Erkennungsgröße.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei der Vielzahl von verschiedenen Rechenbereichen wenigstens teilweise um verschiedene Recheneinheiten und/oder Rechenkerne handelt.
  3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Prozessor-basierte Umfeldauswerteeinrichtung (11) wenigstens eine GPU zur Verarbeitung der Umfelddaten unter Verwendung des, insbesondere trainierbaren, Umfelderkennungsmodells aufweist.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass auf Grundlage der Vielzahl von ermittelten und/oder gemessenen Lastgrößen wenigstens eine Lastverteilungsgröße ermittelt wird, welche für eine, insbesondere anteilige, Verteilung der Rechenlast auf die Vielzahl von Rechenbereichen charakteristisch ist, wobei die Ermittlung der Erkennungsgröße in Abhängigkeit der wenigstens einen Lastverteilungsgröße erfolgt.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage der Vielzahl von ermittelter und/oder gemessener Lastgrößen oder einer hiervon abgeleiteten Größe wenigstens ein Lastverteilungsmuster ermittelt und/oder aus einer Vielzahl vorgegebener Lastverteilungsmuster ausgewählt wird und die Ermittlung der Erkennungsgröße in Abhängigkeit des Lastverteilungsmusters erfolgt.
  6. Verfahren nach dem vorangegangenen Anspruch, dadurch gekennzeichnet, dass das Lastverteilungsmuster einen zeitlichen und/oder bereichsweisen Verlauf der Rechenlast der Vielzahl von Rechenbereichen umfasst.
  7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass auf Grundlage der Erkennungsgröße wenigstens eine prognostizierte Umfeldgröße zur Prognose der unter Verwendung des Umfelderkennungsmodells ermittelt wird.
  8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung zur Erfassung des Fahrzeugumfelds ausgewählt ist aus einer Gruppe von Sensoren, welche eine Farbkamera, eine Frontkamera, eine Rückkamera, einen Infrarot-Kamera, LIDAR, Radar, Ultraschallsensoren sowie Kombinationen hiervon umfasst.
  9. Überwachungseinrichtung (12) für ein Fahrzeug (1) zur Überwachung einer, insbesondere wenigstens teilautomatischen und bevorzugt zur automatischen, Steuerung wenigstens einer Fahrzeugfunktion des Fahrzeugs auf Grundlage von, von wenigstens einer Sensoreinrichtung zur Erfassung des Fahrzeugumfelds des Fahrzeugs (1) erfassten, insbesondere örtlich aufgelöster, Umfelddaten, wobei die Steuerung der wenigstens einen Fahrzeugfunktion mittels einer Umfeldauswerteeinrichtung (11) aufweisend eine Vielzahl von verschiedenen Rechenbereichen (40, 42, 44, 46) für das Fahrzeug (1) erfolgt, welche dazu geeignet und bestimmt ist, die mittels der Sensoreinrichtung in Bezug auf das erfasste Fahrzeugumfeld (B1, B2) ermittelten, insbesondere örtlich aufgelösten, Umfelddaten zu empfangen und wenigstens eine Umfelderkennungsaufgabe durch Verarbeiten von für die Umfelddaten charakteristischen Daten unter Verwendung eines, insbesondere trainierbaren, Umfelderkennungsmodells maschinellen Lernens (62 - 66) auszuführen, wobei das Umfelderkennungsmodell einen Satz, insbesondere trainierbarer, Parameter umfasst, welche auf Werte eingestellt sind, die als Ergebnis eines Trainingsprozesses gelernt wurden, wodurch wenigstens eine Umfeldgröße als Ergebnis der Umfelderkennungsaufgabe ermittelt wird, welche für das Fahrzeugumfeld und insbesondere für eine Verkehrssituation in dem Fahrzeugumfeld charakteristisch ist, dadurch gekennzeichnet, dass die Überwachungseinrichtung (12) dazu geeignet und bestimmt ist, eine Vielzahl von ermittelten und/oder gemessenen Lastgrößen, welche für die Rechenlast der Vielzahl von Rechenbereichen (40, 42, 44, 46) charakteristisch ist, zu empfangen und/oder abzurufen, eine Erkennungsgröße des Umfelderkennungsmodells auf Grundlage der Vielzahl von Lastgrößen zur Überwachung, insbesondere zur Plausibilisierung und/oder Verifizierung, und/oder zur Prognose des Ergebnisses der Umfelderkennungsaufgabe zu ermitteln und bevorzugt eine Steuerungsgröße zur Steuerung der Fahrzeugfunktion in Abhängigkeit der Erkennungsgröße zu ermitteln.
  10. Fahrzeug (1), insbesondere Kraftfahrzeug, umfassend eine Überwachungseinrichtung (12) für das Fahrzeug (1) gemäß dem vorhergehenden Anspruch.
DE102022207617.6A 2022-07-26 2022-07-26 Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs Active DE102022207617B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022207617.6A DE102022207617B3 (de) 2022-07-26 2022-07-26 Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022207617.6A DE102022207617B3 (de) 2022-07-26 2022-07-26 Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102022207617B3 true DE102022207617B3 (de) 2024-01-25

Family

ID=89429962

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022207617.6A Active DE102022207617B3 (de) 2022-07-26 2022-07-26 Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102022207617B3 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150046685A1 (en) 2013-08-08 2015-02-12 Qualcomm Incorporated Intelligent Multicore Control For Optimal Performance Per Watt
US20210049381A1 (en) 2018-03-08 2021-02-18 Samsung Electronics Co., Ltd. Electronic device and method for vehicle driving assistance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150046685A1 (en) 2013-08-08 2015-02-12 Qualcomm Incorporated Intelligent Multicore Control For Optimal Performance Per Watt
US20210049381A1 (en) 2018-03-08 2021-02-18 Samsung Electronics Co., Ltd. Electronic device and method for vehicle driving assistance

Similar Documents

Publication Publication Date Title
DE112018004000T5 (de) Überwachen eines fahrzeug-bedienungsrisikos unter verwendung von sensoreinheiten
DE102020103130A1 (de) System und verfahren zur radar-kreuzverkehrsverfolgung und manöver-risikoabschätzung
DE112019000049T5 (de) Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
DE102019102173A1 (de) Verwaltung der automatisierten fahrkomplexität des vorausliegenden fahrweges unter verwendung des wahrnehmungssystems
DE102012201472A1 (de) Verfahren zur Bereitstellung von Parkinformationen zu freien Parkplätzen
DE102017204404B3 (de) Verfahren und Vorhersagevorrichtung zum Vorhersagen eines Verhaltens eines Objekts in einer Umgebung eines Kraftfahrzeugs und Kraftfahrzeug
DE102019209736A1 (de) Verfahren zur Bewertung möglicher Trajektorien
DE102017210955A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zum auflösen einer redundanz von zwei oder mehr redundanten modulen
DE102018220892A1 (de) Vorrichtung und Verfahren zur Generierung von Labelobjekten für die Umgebung eines Fahrzeugs
WO2020094279A1 (de) Prädiktion eines voraussichtlichen fahrverhaltens
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
DE102018128563A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und einen vergleich
DE102022108656A1 (de) Neuronales quantilnetz
DE102021201178A1 (de) Computerimplementiertes verfahren zum erzeugen von zuverlässigkeitsangaben für computervision
DE102022207617B3 (de) Verfahren und Überwachungseinrichtung zur Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs
DE102023103232A1 (de) Netz für biometrische aufgaben
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
DE102022100545A1 (de) Verbesserte objekterkennung
DE102020215885A1 (de) Verfahren und system zur erkennung und mitigation von störungen
DE102019217257A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Freigabe eines Sensorsystems zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges
DE102018218137B4 (de) System, Verfahren und Computerprogrammprodukt zur Erzeugung eines Kontext abhängigen Hinweises auf ein Einsatzfahrzeug für einen Fahrzeugführer eines Egofahrzeuges
DE102022114589A1 (de) Verfahren und Assistenzsystem zum Vorhersagen eines Fahrschlauches und Kraftfahrzeug
DE102022207101A1 (de) Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division