DE102019105346A1 - Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens - Google Patents

Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens Download PDF

Info

Publication number
DE102019105346A1
DE102019105346A1 DE102019105346.3A DE102019105346A DE102019105346A1 DE 102019105346 A1 DE102019105346 A1 DE 102019105346A1 DE 102019105346 A DE102019105346 A DE 102019105346A DE 102019105346 A1 DE102019105346 A1 DE 102019105346A1
Authority
DE
Germany
Prior art keywords
neural network
network model
objects
object recognition
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019105346.3A
Other languages
English (en)
Inventor
Jennifer Dutiné
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elmos Semiconductor SE
Original Assignee
Elmos Semiconductor SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elmos Semiconductor SE filed Critical Elmos Semiconductor SE
Publication of DE102019105346A1 publication Critical patent/DE102019105346A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten abhängen, und/oder zum Ermitteln eines zweiten Objekterkennungsergebnisses auf Basis von zweiten Sensormesswerten. Es umfasst den Schritt des Installierens (51) eines zweiten neuronalen Netzwerkmodells (136) auf einem computerbasierten System; den Schritt des Trainierens (52) des zweiten neuronalen Netzwerkmodells (136), um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten abhängen, zu identifizieren und ein zweites Objekterkennungsergebnis zu erzeugen; und schließlich den Schritt des Verwendens (54) des trainierten zweiten neuronalen Netzwerkmodells (136) zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten abhängen, wobei ein zweites Objekterkennungsergebnis erzeugt wird.

Description

  • Die Erfindung betrifft ein Ultraschallmesssystem zum Einsatz in Kraftfahrzeugen, das mit Hilfe eines neuronalen Netzwerkmodells und eines darauf basierenden Deep-Learning-Verfahrens Objekte in der Umgebung des Fahrzeuges detektiert, ihre Position bestimmt und eine Klassifizierung vornimmt.
  • Diese Erfindung betrifft somit sicherheitsrelevante Ultraschallsysteme für automobile Zwecke und insbesondere Ultraschallsysteme mit tiefen Lernnetzwerken (Deep Learning Networkmodells), die bevorzugt eine Echtzeit-Bildidentifikation und einen Systemaufbau bereitstellen.
  • Allgemeine Einleitung
  • Assistenzsysteme zur Unterstützung des Fahrers bei Parkvorgängen, sowie Systeme zum autonomen Einparken, basieren oft auf Ultraschallmesssystemen, welche preiswert und zuverlässig Hindernisse vor oder hinter dem Fahrzeug detektieren. Der Einsatz eines künstlichen neuronalen Netzwerkmodells und eines Deep-Learning-Verfahrens erlaubt die Auswertung der Empfangssignale des Ultraschallmesssystems über die bisherige Bestimmung von Abständen zu Hindernissen hinaus und ermöglicht Objektklassifizierung.
  • Gegenwärtig verfügbare automobile Ultraschallsysteme ermöglichen es Fahrzeugführern, ihre Fahrzeuge mit Hilfe von Ultraschallsignalen insbesondere beim Einparken zu steuern. Darüber hinaus soll hier nun die Erfassung von Bildern, die Durchführung von Messungen und die Anwendung von in dem Gesamtsystem integrierten Algorithmen sowie von Berichterstellungssoftware mitbehandelt werden. Diese Funktionalitäten sollen helfen, die Verkehrslage und die Gefahren des Umfelds eines Fahrzeugs besser zu erfassen. Das hier vorgesellte System soll dabei einen Teil der Umfeldanalysetätigkeit des Fahrers übernehmen und die Ergebnisse dieser Analysen an den Fahrer oder andere Subsysteme des Fahrzeugs zu melden. Vor Fahrtbeginn muss der Fahrzeugführer das Fahrzeug und damit das System einrichten, indem er die Einstellungen und Funktionen auswählt, die während der Fahrt verwendet und ausgeführt werden sollen. Während der Fahrt kann der Fahrzeugführer bevorzugt Modifikationen ausführen. Dies beginnt in der Regel mit der Auswahl der zu verwendenden Sensoren. So kann es wetterabhängig sinnvoll sein, bestimmte Sensoren auszuschalten und andere hierfür in ihrer Bedeutung zu stärken. Ggf. kann z.B. durch den Fahrzeughersteller je nach Fahrertyp ein anderes Messprotokoll in einem Speicher des Fahrzeugs abgelegt werden. Ebenso können auch andere Betriebseinstellungen der Ultraschallmesseinrichtung eingestellt werden. In der Vergangenheit hat die Basiskonfiguration prototypischer Ultraschallsensorsysteme in der Entwicklung viel Zeit in Anspruch genommen, da eine automobile Ultraschallvorrichtung typischerweise über verschiedene Steuerparameter verfügt. Eine Belastung des Fahrzeugführers mit einer Rekonfiguration der Ultraschallmesssysteme in seinem Kfz ist nicht akzeptabel. Daher ist es sinnvoll, wenn Ultraschallmessvorrichtungen im Kfz die im Fahrbetrieb vollautomatisch oder halbautomatisch optimierten Parameter in einem Betriebsparameterspeicher abspeichern. Durch geeignete Voreinstellungen der Ultraschallvorrichtungen kann dann sichergestellt werden, dass diese an einem sinnvollen Startpunkt mit ihrem Lernprozess beginnen.
  • Es ist wünschenswert, eine solche Automatisierung des Einrichtens eines Ultraschallsystems für eine bestimmte Verkehrssituation noch weiter voranzutreiben. Ein Bereich der sich entwickelnden künstlichen Intelligenz, der vielversprechend ist, ist das „tiefe Lernen“ (Englisch Deep-Learning). Beim tiefen Lernen handelt es sich um einen sich rasch entwickelnden Zweig der maschinellen Lernalgorithmen, der die Funktionsweise des menschlichen Gehirns bei der Analyse von Problemen nachahmt. Das menschliche Gehirn erinnert sich daran, was aus der Lösung eines ähnlichen Problems in der Vergangenheit gelernt wurde, und wendete dieses Wissen an, um ein neues Problem zu lösen. Derzeit wird erforscht, um mögliche Anwendungen dieser Technologie in einer Reihe von Bereichen wie Mustererkennung, Verarbeitung natürlicher Sprache und Computer Vision zu ermitteln. Deep-Learning-Algorithmen weisen gegenüber herkömmlichen Formen von Computerprogrammieralgorithmen einen deutlichen Vorteil auf, da sie generalisiert und trainiert werden können, um Bildmerkmale zu erkennen, indem sie Bildbeispiele analysieren und nicht benutzerdefinierten Computercode schreiben. Eine andere Anwendung ist das Erkennen von Strukturen oder Gruppen oder Tendenzen in multidimensionalen Datensätzen. Die in einem Ultraschallsystem visualisierte Umgebungssituation eines Fahrzeugs scheint jedoch nicht ohne weiteres für eine automatisierte Bilderkennung geeignet zu sein. Jede Situation ist anders und Formen, Größen, Positionen und Funktionen der Objekte variieren stark. Dies gilt insbesondere für Fußgänger und/oder Radfahrer. Darüber hinaus variieren die Qualität und die Klarheit der Ultraschallbilder, selbst wenn dasselbe Ultraschallsystem verwendet wird. Das liegt daran, dass der Körperhabitus von Fußgängern, der Wind, die Luftzirkulation, die Luftfeuchtigkeit und die Lufttemperatur die Ultraschallsignale beeinflussen, die aus dem Umfeld des Fahrzeugs zurückgegeben werden und die zur Erzeugung der Bilder verwendet werden. Das Scannen eines Objekts im Fahrzeugumfeld in größerer Distanz führt zu stark gedämpften Ultraschallsignalen und einer schlecht definierten Geometrie in den Bildern. Dementsprechend ist es wünschenswert, ein tiefes Lernen in einem Ultraschallsystem auf eine Weise anzuwenden, die für eine breite Menge von Umfeldsituationen wirksam ist, um die Erstellung aussagekräftiger und Ultraschallumfeldkarten mit richtig klassifizierten abstrahierten Objekten durch Ultraschallbilderkennung zu beschleunigen.
  • Stand der Technik
  • Aktuell werden Ultraschallmesssysteme in Fahrzeugen im Rahmen von Parkassistenzsystemen eingesetzt. Insbesondere für vollständig autonom einparkende, bzw. fahrende Fahrzeuge ist die genaue Lokalisation der Hindernisse erforderlich, wie z.B. in der Druckschrift DE 10 2008 036 009 B4 beschrieben. Hierbei findet aber nur eine Verortung der Hindernisse und keine Klassifizierung und Zuordnung zu Objektlisten, wie z.B. andere Fahrzeuge, Hecken, Bordsteinkanten, etc. statt. Diese ist notwendig, um weitere mögliche Fahrmanöver ableiten zu können. Eine Möglichkeit Objekte zu klassifizieren ist über die Vermessung der äußeren Abmessungen und einen Vergleich dieser mit den Abmessungen von Referenzobjekten einer Datenbank bei gleichzeitiger Berücksichtigung der Objektgeschwindigkeit, wie in DE 103 36 638 A1 beschrieben. Diese Methode hat den Nachteil, dass es im Allgemeinen nicht möglich ist, ein beliebig großes Raumvolumen beliebig genau abzuscannen. Auch die zuverlässige Erkennung von Objekten, die in ihrer Position relativ zum Fahrzeug um Winkel gedreht sind, welche der Datenbank unbekannt sind, ist schwierig.
  • Dieser Nachteil kann von neuronalen Netzwerkmodellen überwunden werden wie in [Dror 1995] gezeigt. Hier wurden mit einem dreilagigen vorwärts gerichteten neuronalen Netzwerkmodell Objekte in verschiedenen Winkeln relativ zu den Ultraschallsensoren unter Laborbedingungen zuverlässig erkannt.
  • Da die in der Umgebung von Fahrzeugen vorkommenden Objekte im Vergleich zu den in [Dror 1995] verwendeten Objekten komplexere Geometrien haben und auch die Signalausbreitungsbedingungen schlechter als unter Laborbedingungen sind, wird hier der Einsatz eines vielschichtigen neuronalen Netzwerkmodells, auf dem ein Deep-Learning-Verfahren basiert, vorgeschlagen. Der Begriff „Deep Learning“ hat bisher keine einheitliche Definition [Zhang 2018]. In dieser Druckschrift folgt die Verwendung des Begriffs „Deep Learning“ der in [LeCun 2015] gegebenen Definition. Hiernach sind Deep-Learning-Verfahren Repräsentationslernmethoden, bei denen einem System, z.B. ein neuronales Netzwerkmodell, Rohdaten als Eingangsinformation gegeben werden und das System selbstständig lernt, welche aus den Rohdaten gewonnene Repräsentation für eine Klassifizierung notwendig ist. Deep Learning Verfahren verwenden hierfür mehrere Repräsentationsschichten, welche Zwischenschichten in einem neuronalen Netzwerkmodell entsprechen.
  • Aufgabe
  • Dem Vorschlag liegt daher die Aufgabe zu Grunde, ein System zu entwickeln, dass nicht nur detektierte Objekte in der Umgebung des Fahrzeugs verortet, sondern auch eine Klassifizierung vornimmt und dabei in der Lage ist, diese Klassifizierung für verschiedenen Orientierungen der Objekte relativ zum Fahrzeug zuverlässig durchzuführen.
  • Es ist eine weitere Aufgabe der vorliegenden Erfindung, eine Deep-Learning-Technologie zu verwenden, um die Geometrie im Umfeld eines Fahrzeugs in Ultraschallbildern und Umfeldkarten und/oder Ultraschallmessdaten sicherer zu erkennen.
  • Es ist eine weitere Aufgabe, nicht nur die Geometrie der Anordnung von Objekten im Umfeld des Fahrzeugs, sondern auch die Ansicht dieser Geometrie in Ultraschallbildern und Umfeldkarten und/oder Ultraschallmessdaten zu erkennen.
  • Es ist eine weitere Aufgabe, eine tief lernende Erkennung dieser Geometrie Anatomie zu verwenden, um das Optimieren des Ultraschallsystems für eine Ultraschallvermessung des Umfelds eines Fahrzeugs zu automatisieren.
  • Lösung der Aufgabe
  • In Übereinstimmung mit den Prinzipien der vorliegenden Erfindung werden ein Ultraschallsystem und ein Verfahren beschrieben, die es einem Ultraschallsystem ermöglichen, die Geometrie in einer mittels Ultraschall erstellten Umfeldkarte durch Verarbeitung mittels eines neuronalen Netzwerkmodells zu identifizieren. Das neuronale Netzwerkmodell wird zuerst trainiert, indem ihm mehrere Umfeldkarten oder Ultraschallmesssignal, die sich auf eine bekannte geometrische Anordnung von Objekten zurückführen lassen, präsentiert werden. Einmal trainiert, werden von einem Benutzer aufgenommene Live-Bilder in Echtzeit von dem neuronalen Netzwerkmodell analysiert, wodurch die Geometrie der Anordnung in den Umfeldkarten und/oder Ultraschallmesssignalen identifiziert wird. Die Identifizierung der Geometrie und /oder der Objekte und/oder der Objektanordnungen wird verwendet, um das typischerweise bereits vorhandene Umfeldkartenbild zu kommentieren oder zu verbessern und/oder die Benutzersteuerelemente auf dem Ultraschallsystem für die Durchführung einer vertieften Analyse der identifizierten Geometrie der Objekte im Umfeld des Fahrzeugs einzurichten.
  • Bei einem System der eingangs beschriebenen Art wird die Aufgabe vorschlagsgemäß dadurch gelöst, dass ein Deep-Learning-Verfahren, das auf einem neuronalen Netzwerkmodell basiert, die Empfangssignale eines Ultraschallmesssystems im Fahrzeug als Input verwendet um Objekte zu klassifizieren und die Positionen der Objekte zu bestimmen.
  • Der Vorschlag wird zunächst am Beispiel eines Ultraschallmesssystems erläutert, dann auf ein Messsystem übertragen. Im Folgenden wird dann die Kombination eines solchen Messsystems mit einem Ultraschallmesssystem und ein Selbstlernverfahren beschrieben, das einen selbstlernenden Voter auf Basis eines neuronalen Netzes umfasst. Dieses Prinzip wird dann auf die Kombination zweier Messsysteme übertragen. Sodann wird ein verallgemeinertes selbstlernendes Netz aus neuronalen Netzen als Knoten dargestellt.
  • Wir nehmen zunächst Bezug auf 1. In 1 ist ein Ultraschall-Fahrzeugumfeldanalysesystem schematisch vereinfacht in Form eines Blockdiagramms dargestellt, das gemäß den Prinzipien der vorliegenden Erfindung aufgebaut ist. Eine Ultraschallwandleranordnung (1012) ist in einem Fahrzeugteil (1010), beispielsweise einer Stoßstange, zum Senden von Ultraschallwellen und zum Empfangen von Echoinformationen vorgesehen. Die Ultraschallwandleranordnung (1012) kann eine ein- oder zweidimensionale Anordnung von Ultraschallwandlerelementen sein, die in der Lage sind, beispielsweise in zwei oder bevorzugt drei Dimensionen sowohl in der Höhe (in 3D) als auch im Azimut abzutasten. Die Ultraschallwandleranordnung (1012) ist bevorzugt mit einem Mikrobeamformer (1014) bevorzugt bereits innerhalb des Fahrzeugteils (1010) gekoppelt. Der Mikrobeamformer (1014) steuert die Aussendung und den Empfang von Ultraschallsignalen durch die Ultraschallwandlerelemente der Ultraschallwandleranordnung (1012). Mikrobeamformer (1014) sind im Sinne dieser Offenlegung zumindest teilweise in der Lage, die Empfindlichkeitskeule der von Gruppen oder „Flecken“ von Ultraschallwandlerelementen empfangenen Signale zumindest teilweise auszurichten. Der Mikrobeamformer (1014) ist mit einem Sende- / Empfangs-Umschalter (1016) gekoppelt, der zwischen Senden und Empfangen umschaltet und den Hauptstrahlformer (1020) vor Hochenergiesendesignalen in der Sendephase schützt. Die Aussendung von auf diese Weise unter Kontrolle des Mikrobeamformers (1014) geformten Ultraschallstrahlen durch das Ultraschallwandlerarray der Ultraschallwandleranordnung (1012) wird durch eine Sendesteuerung (1018) gesteuert, die mit dem Sende- / Empfangs-Umschalter (1016) und dem Hauptstrahlformer (1020) gekoppelt ist. Der Hauptstrahlformer (1020) empfängt ggf. Eingaben von der Benutzerbedienung oder dem Bedienfeld (1038) des Benutzers. Zu den von der Sendesteuerung (1018) gesteuerten Sendeeigenschaften gehören beispielsweise Amplitude, Phase und Polarität von Sendewellenformen. In Richtung der Impulsübertragung gebildete Strahlen können durch eine unterschiedliche Phasenansteuerung der einzelnen Ultraschallwandler von der Ultraschallwandleranordnung (1012) direkt nach vorne oder orthogonal zu dieser gelenkt werden oder für ein breiteres Sichtfeld unter verschiedenen Winkeln abgestrahlt werden.
  • Die Echos, die von einer benachbarten Gruppe von Ultraschallwandlerelementen empfangen werden, werden strahlgeformt, indem sie in geeigneter Weise je Ultraschallwandlerelement spezifisch verzögert und dann kombiniert werden. Auf diese Weise kann eine Empfangskeule erzeugt werden. Die teilweise strahlgeformten Signale, die durch den Mikrobeamformer (1014) mittels jeder Ultraschallwandlergruppe erzeugt werden, werden mit dem Hauptstrahlformer (1020) gekoppelt. Der Hauptstrahlformer (1020) kombiniert die teilweise strahlgeformten Signale von einzelnen Ultraschallwandlergruppen zu einem vollständig strahlgeformten kohärenten Echosignal. Zum Beispiel kann der Hauptstrahlformer (1020) 128 Kanäle haben, von denen jeder ein teilweise strahlgeformtes Signal einer jeweiligen Gruppe von 12 Ultraschallwandlerelementen empfängt. Auf diese Weise können die von mehr als 1500 Ultraschallwandlerelementen einer zweidimensionalen Ultraschallwandlereanordnung (1012) empfangenen Signale effizient zu einem einzelnen Strahlformsignal beitragen.
  • Die kohärenten Echosignale werden einer Signalverarbeitung durch einen Signalprozessor (1026) unterzogen, der das Filtern durch ein digitales Filter und bevorzugt eine Rauschverringerung beinhaltet. Der Signalprozessor (1026) kann das Frequenzband auch in einen niedrigeren Frequenzbereich oder Basisbandbereich verschieben. Die verarbeiteten Echosignale werden dann bevorzugt in Quadraturkomponenten (I und Q) demoduliert, die Signalphaseninformationen liefern.
  • Die strahlgeformten und verarbeiteten kohärenten Echosignale werden an einen Video-Prozessor (1052) gekoppelt, der eine Umfeldkarte des Fahrzeugs erzeugt. Der Video-Prozessor (1052) führt bevorzugt eine Amplituden- (Hüllkurven-) Detektion der demodulierten Quadratur-I- und Q-Signalkomponenten durch, indem er die Echosignalamplitude in der Form von (l2+Q2)1/2 berechnet. Die Quadraturecho-Signalkomponenten sind auch mit einem Doppler-Prozessor (1054) gekoppelt, der Ensembles von Echosignalen von diskreten Punkten in einem Bildfeld speichert, die dann verwendet werden, um die Doppler-Verschiebung an Punkten im Bild mit einem schnellen Fourier-Transformations- (FFT) -Prozessor abzuschätzen. Für ein Farb-Doppler-Bild werden die geschätzten Doppler-Flusswerte an jedem Punkt der Umfeldkarte gefiltert und bevorzugt unter Verwendung einer Nachschlagetabelle oder einer heuristischen Formel in Farbwerte umgewandelt. Die Bildsignale der Umfeldkarte und die Doppler-Flusswerte werden an einen Abtastwandler (1032) gekoppelt, der die Umfeldkarten- und Doppler-Abtastwerte von ihren typischerweise erfassten R-θ-Koordinaten in kartesische (x, y) -Koordinaten zur Anzeige in einem gewünschten Anzeigeformat umwandelt, z. B. in ein geradliniges Anzeigeformat oder ein Sektoranzeigeformat. Bevorzugt kann in der Benutzeranzeige entweder das Umfeldkarten-Bild oder das Doppler-Bild alleine angezeigt werden. Des Weiteren ist es vorteilhaft beide Bilder zusammen in einem Farb-Doppler-Bild darzustellen.
  • Die von dem Abtastwandler (1032) erzeugten Ultraschallbilder sind mit einem Bildprozessor (1030) und einem Multiplanar-Reformatierer (1044) gekoppelt. Der Multiplanar-Reformatierer (1044) wandelt Echos, die von Punkten in einer gemeinsamen Ebene in einem volumetrischen Bereich des Raumes im Umfeld des Fahrzeugs empfangen werden, in ein Ultraschallbild dieser Ebene um. Ein Volumenrenderer (1042) konvertiert die Echosignale eines 3D-Datensatzes in ein projiziertes 3D-Bild, wie es von einem gegebenen Bezugspunkt aus gesehen wird. Die 2D- oder 3D-Bilder sind mit einem Bildprozessor (1030) zur weiteren Verbesserung, Pufferung und temporären Speicherung zur Anzeige auf einer Bildanzeige (1040) gekoppelt. Ein Grafik-Display-Overlay, das Text- und andere Grafikinformationen enthält, wie z. B. die Daten von erkannten Objekten z.B. aus geografischen Kartendatenbanken, wird bevorzugt von einem Grafikprozessor (1036) zur Anzeige mit den Ultraschallbildern erzeugt.
  • Gemäß den Grundsätzen der vorliegenden Erfindung umfasst das Ultraschallsystem ein neuronales Netzwerkmodell (1080), dessen Software in einem digitalen Speicher gespeichert ist. Neuronale Netzwerkmodelle mit tiefem Lernen umfassen Software, die von einem Software-Designer geschrieben werden kann und auch aus einer Reihe von Quellen öffentlich verfügbar ist. Eine Anwendung, die zum Erstellen eines neuronalen Netzmodells mit dem Namen „NVidia Digits“ verwendet werden kann, ist unter https://developer.nvidia.com/digits verfügbar. Bei NVidia Digits handelt es sich um eine Benutzeroberfläche auf hohem Niveau, die ein tiefes Lern-Framework namens „Caffe“ umfasst, das vom Berkley Vision and Learning Center (http://caffe.berkeleyvision.org/) entwickelt wurde. Eine Liste gängiger Deep-Learning-Frameworks, die zur Verwendung in einer Implementierung der vorliegenden Erfindung geeignet sind, finden Sie unter https://developer.nvidia.com/deep-learning-frameworks. Mit dem neuronalen Netzwerkmodell (1080) ist ein Trainingsbildspeicher (1034) gekoppelt, in dem Ultraschallbilder bekannter Anatomie eines Patienten gespeichert und verwendet werden, um das neuronale Netzwerkmodell (1080) zu trainieren, um Ultraschallbilder der Geometrie des Fahrzeugumfelds zu identifizieren. Live-Bilder, die von dem Ultraschallsystem von 1 mit bekannten Fahrzeugumfeldgeometrien erzeugt werden, werden dem neuronalen Netzwerkmodell (1080) nach dem Training zur Identifizierung der Geometrie in den Bildern durch das neuronale Netzwerkmodell (1080) präsentiert. In einer konstruierten Implementierung der vorliegenden Erfindung wurde das neuronale Netzwerkmodell (1080) trainiert, um nicht nur die jeweilige Fahrzeugumfeldgeometrie in einem Ultraschallbild zu identifizieren, sondern auch die Ansicht der Fahrzeugumfeldgeometrie, die in dem Ultraschallbild gesehen wird, z. B. ein anderes Auto oder ein Bordstein oder ein Hydrant. Das trainierte neuronale Netzmodell erzeugt ein Objekterkennungsergebnis für die identifizierten Objekte im Fahrzeugumfeld und bevorzugt auch einen Vertrauensfaktor dessen, was das neuronale Netzwerkmodell (1080) als die Genauigkeit seiner Identifikation abschätzt (z. B. 80%ig, 100%ig oder einen anderen Vertrauensfaktor). Wenn das neuronale Netzwerkmodell (1080) zu 100% von seiner Identifikation überzeugt ist, wird die Bild-ID mit einer Benutzersteuerungseinstellungssteuerung (1048) des Ultraschallsystems gekoppelt, wo Einstellungen des Systems für eine Analyse des identifizierten Geometrietyps festgelegt werden können. Diese Einstellungen werden bevorzugt auf eine Touchscreen-Anzeigesteuerung (1046) angewendet, bei der die Grafik einer Touchscreen-Benutzersteuerungsanzeige entsprechend modifiziert und mit dem Grafikprozessor (1036) gekoppelt werden kann. Der Grafikprozessor (1036) erzeugt die entsprechende Steuerungsgrafik, die auf eine Touchscreen-Anzeige (1060) auf dem Benutzersteuerfeld (1038) des Ultraschallsystems aufgebracht wird.
    Ein Verfahren zum Trainieren und Verwenden eines neuronalen Netzwerkmodells zum Identifizieren der Anatomie in Ultraschallbildern ist in 2 gezeigt. In Schritt A (1090) wird ein neuronales Netzwerkmodell auf einem computerbasierten System installiert. Das neuronale Netzwerkmodell kann eines sein, das von einem Software-Architekten entworfen wurde, oder es kann eines sein, das unter Verwendung eines der oben beschriebenen tiefen Lernrahmens erstellt wird. In Schritt B (1092) werden Bilder der gleichen Fahrzeugumfeldsituationsgeometrie, die bevorzugt von einer Vielzahl von Testfahrten für ähnliche Situationen erhalten wurden, dem neuronalen Netzwerkmodell präsentiert. Um es zur Ausbildung der Geometrie zu trainieren erfolgt diese Präsentation zusammen mit dem bekannten Typ der Situationsgeometrie und seiner Ansicht in den Bildern in Schritt C (1094). Die Anzahl der verwendeten Trainingsbilder bzw. Trainingsdatensätze beträgt vorzugsweise Hunderte oder Tausende, um das neuronale Netzwerkmodell in den Variationen einer solchen Fahrzeugumfeldsituationsgeometrie zu trainieren. Wenn das trainierte neuronale Netzwerkmodell in einem Ultraschallsystem in einem Fahrzeug dann installiert ist, werden in Schritt D (1096) von dem Ultraschallsystem aufgenommene Umfeldkarten dem neuronalen Netzwerkmodell zur Identifizierung präsentiert. In Schritt E (1098) wird die durch das neuronale Netzwerkmodell erzeugte Identifikation zum Annotieren der Bilder verwendet, z. B. als Hindernis oder Bordstein. Die Information wird auch verwendet, um das Ultraschallsystem einzurichten und selbstlernend zu trainieren.
  • Variationen des oben beschriebenen Systems und Verfahrens werden dem Fachmann leicht einfallen. Ein Ultraschallsystem kann mithilfe von Deep-Learning-Modellen die Bildqualität beurteilen und dem Fahrzeugführer eine Rückmeldung geben, sodass der Fahrzeugführer nach Möglichkeit besser aufgelöste Bilder erhalten kann. Eine Unterstützung für Entscheidungen des Fahrzeugführers kann implementiert werden, indem Informationen zur Vorgeschichte mit der Identifizierung der Fahrzeugumfeldsituationsgeometrie kombiniert werden. Diese Daten können durch tiefe Lernalgorithmen verarbeitet werden, um Entscheidungsunterstützungsergebnisse bereitzustellen.
  • Es sei hier angemerkt, dass ein Ultraschallsystem, das zur Verwendung in einer Implementierung der vorliegenden Erfindung geeignet ist, und insbesondere die Komponentenstruktur des Ultraschallsystems von 1, z. B. in Hardware, Software oder einer Kombination davon implementiert sein kann. Die verschiedenen Ausführungsformen und / oder Komponenten eines Ultraschallsystems, zum Beispiel die tief lernenden Softwaremodule oder Komponenten und Steuerungen darin, können auch als Teil eines oder mehrerer Computer oder Mikroprozessoren implementiert sein. Der Computer oder Prozessor kann zum Beispiel ein Computergerät, ein Eingabegerät, eine Anzeigeeinheit und eine Schnittstelle zum Zugriff auf das Internet umfassen, wie in 1 gezeigt. Der Computer oder Prozessor kann einen Mikroprozessor enthalten. Der Mikroprozessor kann beispielsweise mit einem Kommunikationsbus verbunden sein, um auf ein Datennetzwerk des Fahrzeugs und/oder ein Fahrzeug externes Datennetzwerk zuzugreifen, um Trainingsbilder und/oder Trainingsdatensätze zu importieren. Der Computer oder Prozessor kann auch einen Speicher enthalten. Die Speichervorrichtungen wie der Bildspeicher (1028) können einen Direktzugriffsspeicher (RAM) und einen Nur-Lese-Speicher (ROM) enthalten. Der Computer oder Prozessor kann ferner ein Speichergerät enthalten, bei dem es sich um ein Festplattenlaufwerk oder ein Wechseldatenträger wie ein Diskettenlaufwerk, ein optisches Laufwerk, ein Solid-State- Laufwerk und dergleichen handeln kann. Die Speichervorrichtung kann auch eine andere ähnliche Einrichtung sein, um Computerprogramme oder andere Anweisungen in den Computer oder Prozessor zu laden.
  • Wie hier verwendet, kann der Begriff „Computer“ oder „Modul“ oder „Prozessor“ oder „Workstation“ jedes prozessorbasierte oder Mikroprozessor-basierte System einschließen, einschließlich Systeme, die Mikrocontroller verwenden, Computer mit reduzierten Befehlssätzen (RISC), ASICs. Logikschaltungen und jede andere Schaltung oder Prozessor, die die hier beschriebenen Funktionen ausführen können. Die obigen Beispiele sind nur beispielhaft und sollen die Definition und / oder Bedeutung dieser Ausdrücke in keiner Weise einschränken.
  • Der Computer oder Prozessor führt einen Satz von Anweisungen aus, die in einem oder mehreren Speicherelementen gespeichert sind, um Eingangsdaten zu verarbeiten. Die Speicherelemente können auch Daten oder andere Informationen je nach Wunsch oder Bedarf speichern. Das Speicherelement kann in Form einer Informationsquelle oder eines physischen Speicherelements in einer Verarbeitungsmaschine vorliegen.
  • Der Befehlssatz eines Ultraschallsystems, einschließlich jener, der die Erfassung, Verarbeitung und Übertragung von Ultraschallbildern wie oben beschrieben steuert, kann verschiedene Befehle enthalten, die einen Computer oder einen Prozessor als Verarbeitungsmaschine anweisen, bestimmte Operationen wie die Verfahren und auszuführenden Verfahren der verschiedenen Ausführungsformen der Erfindung. Der Satz von Anweisungen kann in Form eines Softwareprogramms vorliegen. Die Software kann in verschiedenen Formen vorliegen, beispielsweise als Systemsoftware oder Anwendungssoftware, und sie kann als greifbares und nicht flüchtiges computerlesbares Medium ausgeführt werden. Auch eine ganz oder teilweise Realisierung als endlicher Automat ist möglich. Ferner kann die Software in Form einer Sammlung von separaten Programmen oder Modulen vorliegen, wie z. B. eines neuronalen Netzwerkmodellmoduls, eines Programmmoduls innerhalb eines größeren Programms oder eines Teils eines Programmmoduls. Die Software kann auch eine modulare Programmierung in Form einer objektorientierten Programmierung umfassen. Die Verarbeitung von Eingabedaten durch die Verarbeitungsmaschine kann als Reaktion auf Bedienerbefehle oder als Reaktion auf Ergebnisse der vorherigen Verarbeitung oder als Antwort auf eine Anforderung, die von einer anderen Verarbeitungsmaschine gestellt wird, erfolgen.
  • Ultraschallmesssystem mit Deep-Learning
  • Ein vorschlagegemäßes Ultraschallmesssystem (164) zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren umfasst bevorzugt eine Ultraschallwandleranordnung (11). Diese ist dazu eingerichtet, erste Ultraschallmesswerte zu erfassen. Diese Erfassung erfolgt durch Aussenden von Ultraschallsignalen, die als Burst, Puls oder kodiert ausgesendet werden. Die Ultraschallwandleranordnung besteht dabei bevorzugt aus mehreren Ultraschallsendern und Ultraschallempfängern. Als Bestandteile der Ultraschallwandleranordnung kommen auch Ultraschalltransducer in Betracht, die als Ultraschallsender und Ultraschallempfänger arbeiten können. Die Ultraschallwandleranordnung (11) erzeugt erste Ultraschallmesswerte in Abhängigkeit von den empfangenen Ultraschallsignalen. Hierbei handelt es sich bevorzugt um Ultraschallechosignale der von der Ultraschallanordnung ausgesendeten Ultraschallsignale. Für die Erzeugung einer nutzergerechten Darstellung wird bevorzugt ein Bildprozessor (18) verwendet, der mit der Ultraschallwandleranordnung (11) gekoppelt ist und der zwei- oder dreidimensionale Darstellungen in Abhängigkeit von den ersten Ultraschallmesswerten der Ultraschallwandleranordnung (11) erzeugen kann. Das vorschlagsgemäße Ultraschallmesssystem (164) umfasst des Weiteren bevorzugt einen ersten Speicher (16) mit einem ersten neuronalen Netzwerkmodell (16), das in dem ersten Speicher (16) gespeichert ist. Das erste neuronale Netzwerkmodell (16) kann in Hardware oder als Software auf einem Prozessor realisiert sein. Bevorzugt wird das erste neuronale Netzwerkmodell (16) so angepasst und dazu vorgesehen, dass es die Ultraschallmesswerte von der Ultraschallwandleranordnung (11) ggf. nach Durchgang durch eine geeignete Aufbereitung durch Verstärker, Filter etc. empfangen kann und die Objekte im Umfeld des Fahrzeugs und/oder deren geometrische Anordnung im Umfeld des Fahrzeugs in den ersten Ultraschallmesswerten durch eine Deep-Learning-Technik durch Vergabe einer Identifikation identifizieren kann und somit ein erstes Objekterkennungsergebnis erzeugen kann. Des Weiteren umfasst die vorgeschlagene Vorrichtung eine zwei- oder dreidimensionale Anzeige (19), die zur Anzeige der zwei- oder dreidimensionalen Darstellungen, die durch den Bildprozessor (18) erzeugt wurden, ausgebildet oder geeignet oder vorgesehen ist. Die zwei- oder dreidimensionale Anzeige (19) ist bevorzugt dazu geeignet oder ausgebildet oder vorgesehen, zumindest zeitweise eine der Identifikationen und/oder ersten Objekterkennungsergebnisse und/oder daraus abgeleitete Informationen darzustellen. Es handelt sich somit um ein Ultraschallmesssystem (164) zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren mit einer Ultraschallwandleranordnung (11), die dazu eingerichtet ist, erste Ultraschallmesswerte zu erfassen und einen Bildprozessor (18) umfasst, der mit der Ultraschallwandleranordnung (11) gekoppelt ist und der zwei- oder dreidimensionale Darstellungen in Abhängigkeit von den ersten Ultraschallmesswerten der Ultraschallwandleranordnung (11) erzeugen kann, sowie einen ersten Speicher (16) umfasst mit einem ersten neuronalen Netzwerkmodell (16), das in dem ersten Speicher (16) gespeichert ist und angepasst ist, um die Ultraschallmesswerte zu empfangen und die Objekte und deren geometrische Anordnung im Umfeld des Fahrzeugs in den ersten Ultraschallmesswerten durch eine Deep-Learning-Technik durch Vergabe einer Identifikation zu identifizieren und somit ein erstes Objekterkennungsergebnis zu erzeugen, und mit einer zwei- oder dreidimensionalen Anzeige (19), die zur Anzeige der zwei- oder dreidimensionalen Darstellungen, die durch den Bildprozessor (18) erzeugt wurden, ausgebildet oder geeignet oder vorgesehen ist, wobei die besagte zwei- oder dreidimensionale Anzeige (19) dazu geeignet oder ausgebildet oder vorgesehen ist, zumindest zeitweise eine der Identifikationen und/oder ersten Objekterkennungsergebnisse und/oder daraus abgeleitete Informationen darzustellen.
  • In einer ersten Verfeinerung dieses Ultraschallmesssystems (164) ist das erste neuronale Netzwerkmodell ferner dazu ausgebildet, die Ansicht der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen zu identifizieren. Das erste neuronale Netzwerkmodell hat also die Funktion eines Bilderkennungssystems. In der Grundversion, die zuvor beschrieben wurde, findet die Erkennung alternativ auch aufgrund der Sensorrohdaten statt. Es ist denkbar, in einer derartigen Vorrichtung zum einen eine Erkennung von Anordnungen von Objekten und/oder Objekten im Umfeld des Fahrzeugs auf Basis der Sensorrohdaten, also hier der Ultraschallmesswerte, mit Hilfe eines ersten neuronalen Netzwerkmodells oder auf Basis einer ggf. darauf extrahierten Umfeldkarte mit Hilfe eines zweiten Neuronalen Netzwerkmodells durchzuführen und dann mit Hilfe eines dritten neuronalen Netzwerkmodells zwischen den Ausgangsdatenströmen des ersten neuronalen Netzwerksmodells und des zweiten neuronalen Netzwerkmodells zu unterscheiden. Bevorzugt haben dabei erste Teile der Ausgangsdatenströme des ersten und zweiten neuronalen Netzwerkmodells eine erste Gewichtung und zweite Teile der Ausgangsdatenströme des ersten und zweiten neuronalen Netzwerkmodells eine zweite Gewichtung. Bevorzugt ist die erste Gewichtung höher als die zweite Gewichtung. Dies hat den Zweck, dass sicherheitsrelevante potentiell kritische Konstellationen, die durch ein neuronales Netzwerkmodell des ersten und zweiten neuronalen Netzwerkmodells detektiert wurden, sich auf jeden Fall durchsetzen. Gleiches gilt für Signale in den Sensorrohdaten, die ebenfalls eine hohe Wahrscheinlichkeit für ein kritisches Ereignis signalisieren.
  • Das zuvor beschriebene Ultraschallmesssystem (164) umfasst bevorzugt ferner eine Vielzahl von ersten Benutzersteuerungen (10), wobei das Einstellen einer oder mehrerer der ersten Benutzersteuerungen (10) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten oder von Objekten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen erfolgt.
  • Bei dem zuvor beschriebenen Ultraschallmesssystem (164) erfolgt bevorzugt das Einstellen oder die Anpassung von Regelparametern einer oder mehrerer der Steuerungen als Reaktion auf die Identifizierung der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen. Dabei erfolgt bevorzugt das Einstellen einer oder mehrerer der Steuerungen (13) des Ultraschallmesssystems oder des Fahrzeugs als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen.
  • Ferner umfasst das in diesem Abschnitt beschriebene Ultraschallmesssystem (164) bevorzugt eine Benutzersteuerungsanzeige (9), die Einstellungen anzeigt, die als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit vom ersten Objekterkennungsergebnis gemacht werden.
  • Bei dem hier beschriebenen Ultraschallmesssystem (164) aktiviert bevorzugt die Benutzersteuerungsanzeige (9) eine als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in den ersten Objekterkennungsergebnissen Steuerungsmöglichkeiten und zeigt diese an.
  • Das in diesem Abschnitt beschriebene Ultraschallmesssystem (164) umfasst zum Zwecke des Trainings des ersten neuronalen Netzwerkmodells (16) bevorzugt auch einen ersten Trainingsbildspeicher (17), der Trainingsbilder für das erste neuronale Netzwerkmodell (16) speichert.
  • Bei dem in diesem Abschnitt beschriebenen Ultraschallmesssystem (164) ist die Anzeige (19) bevorzugt ferner dazu ausgebildet, die zwei- oder dreidimensionalen Darstellungen anzuzeigen, die zumindest zeitweise zusätzlich mit der durch das erste neuronale Netzwerkmodell (16) bestimmten Identifikation und/oder einem Teil des ersten Objekterkennungsergebnisses versehen sind.
  • Verfahren zum Betreiben eines Ultraschallmesssystems mit Deep-Learni ng
  • Im Rahmen der Ausarbeitung des Vorschlags wurde ein Verfahren zum Erkennen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von ersten Ultraschallmesswerten abhängen, und/oder zum Ermitteln eines ersten Objekterkennungsergebnisses auf Basis von ersten Ultraschallmesswerten erarbeitet. Es umfasst
    1. a) das Installieren (21) eines ersten neuronalen Netzwerkmodells (16) auf einem computerbasierten System. Hierbei kann es sich beispielsweise um ein räumlich separiertes Rechnersystem oder ein Mikrorechnersystem handeln, das beispielsweise mit Teilen der Ultraschallsensoranordung (11) eine Einheit bildet und
    2. b) das Trainieren (22) des ersten neuronalen Netzwerkmodells (16), um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von ersten Ultraschallmesswerten abhängen, zu identifizieren und ein erstes Objekterkennungsergebnis zu erzeugen. Hierbei werden dem ersten neuronalen Netzwerkmodell vorbekannte Ultraschallmesswerte und/oder in den zwei- oder dreidimensionalen Darstellungen, die von ersten Ultraschallmesswerten abhängen, als Eingangssignale des ersten neuronalen Netzwerkmodells (16) präsentiert. Die vom ersten neuronalen Netzwerkmodell (16) erzeugten ersten Ausgangssignale werden beispielsweise durch eine erste Parametermodifikationsvorrichtung (140) für das erste neuronale Netzwerkmodell (16) bewertet. Die erste Parametermodifikationsvorrichtung (140) führt somit eine Bewertung der ersten Ausgangssignale des ersten Netzwerkmodells (16) durch. Je nachdem, ob die Bewertung der ersten Ausgangssignale des ersten Netzwerkmodells (16) durch die erste Parametermodifikationsvorrichtung (140) als positiv oder negativ bewertet wird, führt die erste Parametermodifikationsvorrichtung (140) eine Modifikation der Parameter des ersten neuronalen Netzwerksmodells (16) so durch, dass die eine vorausgegangene Veränderung der Parameter des ersten neuronalen Netzwerkmodells (16) mit vorzugsweise gleichem Vorzeichen erneut durchgeführt wird, wenn der aktuelle Vergleich mit einem Zielwert, insbesondere einem Zielwert für das Bewertungsergebnis der Bewertung durch die erste Parametermodifikationsvorrichtung (140), ein positives Ergebnis liefert, was einer Verbesserung des Erkennungsergebnisses entspricht, und dass die eine vorausgegangene Veränderung der Parameter des ersten neuronalen Netzwerkmodells (16) mit vorzugsweise entgegengesetztem Vorzeichen erneut durchgeführt wird, wenn der aktuelle Vergleich mit einem Zielwert, insbesondere einem Zielwert für das Bewertungsergebnis der Bewertung durch die erste Parametermodifikationsvorrichtung (140), ein negatives Ergebnis liefert, was einer Verschlechterung des Erkennungsergebnisses entspricht. Der jeweilige Vergleich wird bevorzugt auch durch die Parametermodifikationsvorrichtung (140) vorgenommen. Solche Lernalgorithmen können auch abgewandelt werden in der Form, dass nicht nur die unmittelbar vorausgehende Parameteränderung zur Bestimmung der nächsten Änderung im Trainingsprozess herangezogen wird, sondern auch weitere noch früher vorausgehende Änderungen. Auch können die vorausgehenden Änderungen selbst als weitere Eingabeparameter der Parametermodifikationsvorrichtung (140) verwendet werden. Des Weiteren kann der Lernprozess je nach Vorgeschichte und auf die einzelnen Parameter des ersten neuronalen Netzwerkmodells (16) sowie auf einzelne Ausgangssignale des ersten neuronalen Netzwerksmodells (16) bezogen unterschiedlich stark ausgeführt werden. Auch ist eine lineare und/oder nichtlineare Verknüpfung zwischen den Ausgangssignalen des ersten neuronalen Netzwerkmodells (16) und ggf. weiteren Eingangssignalen der Parametermodifikationsvorrichtung (140) auf der einen Seite inkl. der ggf. vorausgehenden Werte dieser Signale, die ggf. zwischengespeichert werden, und dem Bewertungsergebnis und der daraus resultierenden Veränderung der Parameter des ersten neuronalen Netzwerkmodells (16) denkbar und in Abhängigkeit von der jeweiligen Anwendung sinnvoll. Auch kann das Bewertungsergebnis ein Vektor-Signal mehrerer Einzelbewertungsergebnisse sein, was eine Verbesserung des Lernprozesses erlaubt. Beispielsweise kann so sichergestellt werden, dass sicherheitsrelevante Abweichungen von Ausgangssignalen des ersten neuronalen Netzwerkmodells (16) eine wesentlich stärkere Anpassung der Parameter des ersten neuronalen Netzwerkmodells (16) zur Folge haben, als nicht sicherheitsrelevante Abweichungen von Ausgangssignalen des ersten neuronalen Netzwerkmodells (16). Das erste neuronale Netzwerkmodell (16) ist dann fertig trainiert, wenn alle vorgegebenen Eingangstrainingsdatensätze eine positive Bewertung, insbesondere durch die Parametermodifikationsvorrichtung (140), zur Folge haben. D.h. deren Antwort liegt dann innerhalb eines vorgegebenen spezifizierten Bereiches;
    3. c) das Verwenden (25) des trainierten, ersten neuronalen Netzwerkmodells (16) zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den ersten Live-Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Live-Darstellungen, die von den ersten Live-Ultraschallmesswerten abhängen, wobei ein erstes Objekterkennungsergebnis erzeugt wird. Hierbei wird die Ultraschallmessvorrichtung, deren Teil das erste neuronale Netzwerkmodell (116) ist, bestimmungsgemäß zum Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten im Umfeld des beispielhaften Fahrzeugs eingesetzt. Die Ultraschallsensoranordnung (11) sendet dabei Ultraschallsignale aus und empfängt die Echos dieser Ultraschallsignale als Ultraschallmesssignale. Da diese im eigentlichen Betrieb empfangen werden, werden sie hier als Live- Ultraschallmesssignale bezeichnet. Die zugehörigen Messwerte werden hier als Live-Ultraschallmesswerte bezeichnet. Auf Basis dieser Live-Ultraschallmesssignale oder von daraus abgeleiteten Signalen und/oder Informationen führt das erste neuronale Netzwerkmodell (16) die besagte Identifikation von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten im Umfeld des Fahrzeugs dann durch.
  • Zweckmäßigerweise umfasst das Training (22) des ersten neuronalen Netzwerkmodells (16) auch ein Training (22) mit zuvor aufgezeichneten Ultraschall-Live-Trainingswerten (Daten von Live-Ultraschallmesswerten) von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten im Umfeld des Fahrzeugs und/oder im Umfeld eines prototypischen Fahrzeugs und/oder aus einer Laborszenerie solcher Objekte und/oder Objektkomponenten und/oder solcher Anordnungen von Objekten und/oder Objektkomponenten. Natürlich ist auch die Berechnung solcher aufgezeichneter Ultraschall-Live-Trainingswerte denkbar, beispielsweise um einen guten Startpunkt für das Training des ersten neuronalen Netzwerkmodells (16) zu erzielen.
  • Das Training (22) des ersten neuronalen Netzwerkmodells (16) kann darüber hinaus auch ein Training (22) mit zwei- oder dreidimensionalen Trainingsdarstellungen umfassen. In dem Fall werden also nicht unmittelbar die Ultraschallmesssignale der Ultraschallwandleranordnung (11) ausgewertet, sondern daraus typischerweise abgeleitete, bevorzugt bildliche zwei- oder dreidimensionale Darstellungen.
  • Das Training (22) des ersten neuronalen Netzwerkmodells (16) kann des Weiteren auch ein Training (22) mit Trainingsbildern einer gemeinsamen Anordnung einer Vielzahl von Subjekten umfassen.
  • Diese beispielhaften drei Auswertungsmethoden (Training (22) mit Ultraschallmesssignalen und ggf. weitere Messsignalen, Training (22) mit zwei- oder dreidimensionalen Trainingsdarstellungen, Training (22) mit Trainingsbildern) können, wie oben bereits beschrieben, untereinander und mit anderen Trainingsdaten (z.B. simulierten Benutzereingaben) als Trainingsdaten gemischt werden.
  • Das Training (22) umfasst dabei bevorzugt das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zwei- oder dreidimensionalen Trainingsdarstellungen. Dies ermöglicht im späteren Betrieb dann in der Regel eine Identifikation von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten im Umfeld des Fahrzeugs.
  • Gleiches gilt für ein alternatives oder ergänzendes Training (22), das das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis der ersten Ultraschallmesswerte der Ultraschallwandleranordnung (11) umfasst. Auch dieses ermöglicht im späteren Betrieb dann in der Regel eine Identifikation von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten im Umfeld des Fahrzeugs. Das Training (22) umfasst somit das Ermitteln eines ersten Objekterkennungsergebnisses durch das erste neuronale Netzwerkmodell (16). Dies kann auf Basis der zwei- oder dreidimensionalen Trainingsdarstellungen und/oder auf Basis der ersten Ultraschallmesswerte der Ultraschallwandleranordnung (11) und ggf. auf Basis zusätzlicher, weiterer Messwerte. Dies kann stattdessen oder parallel dazu auch auf Basis abgeleiteter Messwerte und/oder Signale und/oder Informationen geschehen, die aus den zwei- oder dreidimensionalen Trainingsdarstellungen und/oder aus den ersten Ultraschallmesswerten der Ultraschallwandleranordnung (11) und ggf. aus den zusätzlichen, weiteren Messwerten abgeleitet wurden. Die zwei- oder dreidimensionalen Trainingsdarstellungen im Sinne dieser Offenlegung können real auf einer Anzeige (19) angezeigt werden oder nur als virtueller Datensatz, beispielsweise in Pixelform und/oder vektoriell vorliegen und/oder in komprimierter, beispielsweise objektorientierter Form vorliegen. Eine objektorientierte Form umfasst dabei typischerweise einen Datensatz je Objekt umfassend beispielsweise ein Datum, dass eine Objektklasse angibt, und beispielsweise einen Satz von Koordinaten beispielsweise für Lage und ggf. Orientierung im Raum und ggf. Geschwindigkeit und ggf. Geschwindigkeitsrichtung etc. Des Weiteren kann ein solcher Datensatz beispielsweise die Größe des Objekts und/oder Deformationen des Objekts gegenüber einem Referenzobjektmodell angeben.
  • Das erste Objekterkennungsergebnis ist in diesem Sinne also ein ganz allgemeines Ergebnis des ersten neuronalen Netzwerkmodells (16), das insbesondere typischerweise das wesentliche Eingangssignal der bevorzugt vorhandenen ersten Parametermodifikationsvorrichtung (140) ist, die bevorzugt vor allem während des Trainings (22) die Parameter des ersten neuronalen Netzwerkmodells (16) je nach Ergebnis der Bewertung anpasst und so das Training (22) durchführt. Hierfür werden der ersten Parametermodifikationsvorrichtung (140) zur den dem ersten neuronalen Netzwerkmodell präsentierten Eingangsdaten passende Referenzwerte übermittelt. Die Parametermodifikationsvorrichtung (140) vergleicht den jeweiligen Referenzwert zu einem Satz von Eingangsdaten für das erste neuronale Netzwerkmodell (16) mit dem ersten Objekterkennungsergebnis des ersten neuronalen Netzwerkmodells (16) und erzeugt aufgrund des Vergleichsergebnisses eine Modifikation der Parameter des ersten neuronalen Netzwerkmodells (16). Das Training (22) kann im Zielsystem durchgeführt werden. Es ist in der Praxis aber auch sinnvoll, das Training (22) mittels einer anderen Vorrichtung, die baugleich oder in wesentlichen Teilen ausreichend ähnlich ist, auszuführen. Eine solche andere Vorrichtung kann beispielsweise ein nicht serientauglicher Laboraufbau der Ultraschallmessvorrichtung oder von Teilen davon sein, der den beabsichtigten Zweck der Durchführung des Trainings (22) und der Ermittlung der Parameterdaten für das erste neuronale Netzwerkmodell (16) erfüllt und/oder dazu bestimmt ist. Die mittels des Trainings (22) ermittelten Parameter des ersten neuronalen Netzwerkmodells (16) werden nach Abschluss des Trainings (22) dann in einem Speicher oder auf einem anderen Speichermedium abgespeichert und zu gegebener Zeit, beispielsweise kurz vor Ende der Produktion einer anderen Ziel-Ultraschallmessvorrichtung gleicher oder ähnlicher Bauart dann in deren erstes neuronales Netzwerkmodell (16) dieser Ziel-Ultraschallmessvorrichtung geladen. Auch ist es denkbar, die ermittelten Parameter des ersten neuronalen Netzwerkmodells (16) beim Entwurf einer solchen Ziel-Ultraschallmessvorrichtung zu berücksichtigen und die Konstruktion der Ziel-Ultraschallmessvorrichtung so zu gestalten, dass die ermittelten Parameter beispielsweise durch feste Verdrahtung von Schaltungsteilen einer beispielhaften Ziel-Ultraschallmessvorrichtung fest vorgegeben sind. Nicht alle Parameter müssen dabei einerseits entweder programmierbar oder einstellbar oder andererseits fest vorgegeben sein. Vielmehr können beispielsweise einige Parameter fest verdrahtet sein und andere Parameter programmierbar gestaltet sein. Dies hat den Vorteil, dass eine schaltungstechnisch aufwendigere Programmierbarkeit und/oder Einstellbarkeit auf die unbedingt nötigen Teile ggf. beschränkt werden kann.
  • Das besagte Training (22) kann in dem hier vorgestellten Vorschlag im Falle programmierbarer oder einstellbarer Parameter ggf. auch während des Betriebs (der Verwendung (25)) unter bestimmten Bedingungen fortgesetzt werden, die später diskutiert werden, weshalb die hier beschriebene Vorrichtung dann selbstlernfähig ist. Insofern kann sich das Training (22) im Selbstlernbetrieb auch mit der oben bereits beschriebenen Verwendung (25) abwechseln. Bevorzugt, aber nicht zwangsweise, weist also ein erfindungsgemäßes Verfahren beispielsweise Phasen des Trainings (22) und Phasen der Verwendung (25) auf, die sich beispielsweise ggf. auch abwechseln können. Vor der ersten Verwendung (25) erfolgt bevorzugt jedoch typischerweise ein Training (22) oder bevorzugt zumindest eine Programmierung mit oder eine Einstellung entsprechend zuvor ermittelter Parametersätze des ersten neuronalen Netzwerkmodells (16), die mittels einer gleichen oder ausreichend ähnlichen Ultraschallmessvorrichtung oder einer ausreichend übereinstimmenden Simulationsvorrichtung ermittelt wurden. Besonders bevorzugt ist die Aufzeichnung solcher Ultraschallmesswerte und der notwendigen Trainingsdaten mit Testfahrzeugen im realen Straßenverkehr der Zielmärkte. Aus den aufgezeichneten Daten werden dann im Labor die notwendigen Parametersätze des ersten neuronalen Netzwerkmodells (16) berechnet oder sonst wie ermittelt, mit denen die Erstprogrammierung bzw. Ersteinstellung der Ziel-Ultraschallsysteme erfolgt oder aus denen die Konstruktionsdaten für die fest verdrahteten Teile des ersten neuronalen Netzwerks (16) ermittelt werden.
  • Bevorzugt wird die so durch das erste neuronale Netzwerkmodell (16) erfolgte Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten und/oder der ersten Objekterkennungsergebnisse des ersten neuronalen Netzwerkmodells (16) verwendet, um die zwei- oder dreidimensionalen Darstellungen, die von Ultraschallmesswerten der Ultraschallsensoranordnung (11) und ggf. weiteren Messwerten weiterer Sensoren oder daraus abgeleiteten Signalen oder Information abhängen, bei der Darstellung auf einem Bildschirm, beispielsweise in einer dargestellten Umfeldkarte eines Fahrzeugs für die Nutzung durch den Fahrer zu kommentieren. Insbesondere ist es wünschenswert besonders gefährliche und/oder sonst wie relevante Objekte bei der Darstellung auf einer Anzeige (19) für den Fahrzeugführer hervorzuheben.
  • Somit umfasst das vorgeschlagene Verfahren in einer Variante auch das Verwenden der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten und/oder der ersten Objekterkennungsergebnisse in einer solchen Umfeldkarte der Umgebung des Fahrzeugs und/oder zur Information des Fahrers durch eine zwei- oder dreidimensionale Darstellung und/oder zur Information des Fahrers durch ein Steuerungssystem und/oder Steuergerät zur Steuerung und/oder Regelung von autonomen Fahren und/oder autonomen Parken.
  • Zweites Messsystem mit Deep-Learning
  • Das zuvor in Abschnitt A) beschriebene Ultraschallmesssystem (164) kann zu einem zweiten Messsystem (161) zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten und/oder Objektkomponenten und/oder zur Erkennung von Anordnungen von Hindernissen und/oder Objekten und/oder Objektkomponenten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren abgewandelt werden. Die charakteristische Struktur des im Folgenden beschriebenen zweiten Messsystems (161) stimmt mit dem in Abschnitt A) des beschriebenen Ultraschallmesssystems (164) überein. Statt einer Ultraschallsensoranordnung (11), beispielsweise von Transducern, wird nun eine Sensoranordnung weiterer Sensoren (131) verwendet. Hierbei kann es sich um einen einzelnen Sensor oder eine Mehrzahl von Sensoren handeln. Beispielsweise kann es sich um ein LIDAR-System oder ein RADAR handeln. Statt des ersten neuronalen Netzwerkmodells (16) umfasst das zweite Messsystem (161) ein zweites neuronales Netzwerkmodell (136). Der Aufbau des zweiten Messsystems (161) ist aber analog zu dem in Abschnitt A) beschriebenen Ultraschallmesssystem (164). Der Vollständigkeit halber wird der Aufbau dieses zweiten Messsystems (161) im Folgenden nochmals beschrieben. Sofern der Unterschied zwischen dem Messprinzip „Ultraschall“ des in Abschnitt A) beschriebenen Ultraschallmesssystems (164) und dem Messprinzip des im Folgenden beschriebenen zweiten Messsystems (161) keine Abweichung in der jeweils beschriebenen Strukturkomponente zwingend erfordert, gilt das in Abschnitt A) über das Ultraschallmesssystem (164) Geschriebene jeweils auch zumindest im übertragenen Sinne für dieses zweite Messsystem (161) .
  • Das derartig abgewandelte, vorgeschlagene zweite Messsystem (161) umfasst dann die besagte zweite Sensoranordnung (131), die dazu eingerichtet ist, zweite Sensormesswerte zu erfassen, sowie einen Bildprozessor (18) umfasst, der mit der zweiten Sensoranordnung (131) gekoppelt ist und der zwei- oder dreidimensionale Darstellungen in Abhängigkeit von den zweiten Sensormesswerten der zweiten Sensoranordnung (131) erzeugen kann, einen zweiten Speicher (136) mit einem zweiten neuronalen Netzwerkmodell (136) umfasst, das in dem zweiten Speicher (136) gespeichert ist und angepasst ist, um die zweiten Sensormesswerte zu empfangen und die Objekte und deren geometrische Anordnung im Umfeld des Fahrzeugs in den zweiten Sensormesswerten durch eine Deep-Learning-Technik durch Vergabe einer zweiten Identifikation zu identifizieren und somit ein zweites Objekterkennungsergebnis zu erzeugen, und eine zwei- oder dreidimensionale Anzeige (19), die zur Anzeige der zwei- oder dreidimensionalen Darstellungen, die durch den Bildprozessor (18) erzeugt wurden, ausgebildet oder geeignet oder vorgesehen ist. Dabei ist die zwei- oder dreidimensionale Anzeige (19) bevorzugt dazu geeignet und/oder ausgebildet und/oder vorgesehen, zumindest zeitweise eine der zweiten Identifikationen und/oder zweiten Objekterkennungsergebnisse und/oder daraus abgeleitete Informationen und/oder Signale darzustellen.
  • Das zweite neuronale Netzwerkmodell (136) ist ferner bevorzugt dazu ausgebildet, die Ansicht der Anordnung von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen zu identifizieren. Da in vielen Fällen nicht die Natur der Objekte ein Problem darstellt, sondern deren Anordnung zueinander bzw. die Veränderung dieser Anordnung über die Zeit, ist dies von Vorteil. In der Regel soll daher auch dies durch die hier vorgestellten Verfahren erfasst werden.
  • Das vorgeschlagene zweite Messsystem (161) umfasst bevorzugt ferner eine Vielzahl von zweiten Benutzersteuerungen (130), wobei das Einstellen einer oder mehrerer der zweiten Benutzersteuerungen (130) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen erfolgt. Beispielsweise kann der Fahrzeugführer von ihm als besonders gefährlich erachtete Objekte (z.B. spielende Kinder oder leicht zu übersehende Objekte wie Pfosten etc.) in seiner Darstellung markieren. Das Messsystem (bzw. das Ultraschallmesssystem (164) im Falle der Vorrichtung A) kann dann zum Ersten die Bewegung dieser als kritisch identifizierten Objekte relativ zum Fahrzeug, beispielsweise während eines Einparkvorgangs, verfolgen. Zum Zweiten kann diese Benutzereingabe als Trainingssignal für das erste neuronale Netzwerkmodell (16) im Falle eines Ultraschallmesssystems (164) bzw. für das zweite neuronale Netzwerkmodelle (136) im Falle eines zweiten Messsystems (161) verwendet werden.
  • Bei dem vorgeschlagenen zweiten Messsystem (161) erfolgt bevorzugt das Einstellen oder die Anpassung von Regelparametern einer Steuerung der Steuerungen oder mehrerer Steuerungen der Steuerungen des Fahrzeugs oder von Fahrzeugkomponenten, beispielsweise einer Beleuchtung und/oder eines Warnsignalgebers, als Reaktion auf die Identifizierung der Anordnung von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen des zweiten neuronalen Netzwerkmodells (136).
  • Bei dem vorgeschlagenen zweiten Messsystem (161) erfolgt ferner bevorzugt das Einstellen einer oder mehrerer der Steuerungen des zweiten Messsystems (161) oder des Fahrzeugs oder von Fahrzeugkomponenten als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen des zweiten neuronalen Netzwerkmodells (136).
  • Das vorgeschlagene zweite Messsystem (161) umfasst ferner bevorzugt eine Benutzersteuerungsanzeige (9), die Einstellungen anzeigt, die als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit vom zweiten Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) gemacht werden.
  • Die Benutzersteuerungsanzeige (9) aktiviert ferner als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen des zweiten neuronalen Netzwerkmodells (136) Steuerungsmöglichkeiten der Messvorrichtung und/oder der Ultraschallmessvorrichtung und/oder des Fahrzeugs und/oder von Fahrzeugkomponenten und -teilen. Die Benutzersteuerungsanzeige (9) zeigt diese Steuerungsmöglichkeiten bevorzugt ebenfalls oder alternativ an.
  • Das vorgeschlagene zweite Messsystem (161) umfasst ferner bevorzugt einen zweiten Trainingsbildspeicher (137), der Trainingsbilder für das zweite neuronale Netzwerkmodell (136) speichert. Diese Trainingsbilder können beispielsweise, wie zuvor bereits beschrieben in Form von Pixeldaten oder als vektorielle Daten oder als komprimierte objektorientierte Daten vorliegen.
  • Bevorzugt ist die Anzeige (19) im Falle des zweiten Messsystems (161) ferner dazu ausgebildet, die zwei- oder dreidimensionalen Darstellungen anzuzeigen, die zumindest zeitweise zusätzlich mit der durch das zweite neuronale (136) Netzwerkmodell bestimmten Identifikation und/oder einem Teil des zweiten Objekterkennungsergebnisses des zweiten neuronalen (136) Netzwerkmodells versehen sind.
  • Zweites Verfahren für das zweite Messsystem
  • Das vorgeschlagene Verfahren zum Erkennen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in zweiten Sensormesswerten einer zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten der zweiten Sensoranordnung (131) abhängen, und/oder zum Ermitteln eines zweiten Objekterkennungsergebnisses auf Basis von zweiten Sensormesswerten der zweiten Sensoranordnung (131) umfasst u.a. folgende Schritte:
    • • Das Verfahren umfasst den Schritt des Installierens (51) des zweiten neuronalen Netzwerkmodells (136) auf einem computerbasierten System, beispielsweise einem Laborrechner.
    • • Das Verfahren umfasst den Schritt des Trainierens (52) des zuvor installierten zweiten neuronalen Netzwerkmodells (136) mit synthetisch per Simulation ermittelten und/oder zuvor aufgezeichneten Trainingsdaten zweiter Sensormesswerte der zweiten Sensoranordnung (131), die bevorzugt manuell oder sonst wie zuvor bereits durch Bewertung mit um Bewertungsdaten ergänzt wurden. Dies hat das Ziel, die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten der zweiten Sensoranordnung (131) abhängen, zu identifizieren und somit ein zweites Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) zu erzeugen, das mit den betreffenden Bewertungsdaten verglichen werden kann. Auf Basis des jeweiligen Vergleichsergebnisses kann dann eine Anpassung der Parameter des zweiten neuronalen Netzwerks (136) erfolgen.
    • • Das Verfahren umfasst den Schritt des Verwendens (54) des trainierten zweiten neuronalen Netzwerkmodells (136) zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten abhängen, wobei ein zweites Objekterkennungsergebnis erzeugt wird. Dabei werden die im Training (52) ermittelten Parameter in das zweite neuronale Netzwerkmodell (136) eines Ziel-Messsystems geladen und/oder eingestellt und/oder diese Parameter werden bei der Konstruktion des Ziel-Messsystems dazu verwendet, zumindest Teile dieser Parameter beispielsweise durch feste Verdrahtung innerhalb der Vorrichtung, die das zweite neuronale Netzwerkmodell realisiert, fest einzustellen.
  • Das Training (52) des zweiten neuronalen Netzwerkmodells (136) umfasst somit bevorzugt ein Training (52) mit Sensor-Live-Trainingswerten der zweiten Sensoranordnung (131) von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten und/oder mit zwei- oder dreidimensionalen Trainingsdarstellungen, mit Trainingsbildern einer gemeinsamen Anordnung einer Vielzahl von Subjekten.
  • Das Training (52) umfasst ebenso bevorzugt das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zwei- oder dreidimensionalen Trainingsdarstellungen und bevorzugt die Bewertung dieser Identifizierungen im Hinblick auf ggf. zuvor manuell oder automatisch ermittelte Bewertungsdaten, die diesen zwei- oder dreidimensionalen Trainingsdarstellungen zuzuordnen sind. Auch kann das Training (52) das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis der zweiten Sensormesswerte der zweiten Sensoranordnung (131) unter bevorzugter Zuhilfenahme von vorhandenen Bewertungsdaten nach erfolgter Bewertung dieser Identifizierung ggf. mit Hilfe von zuvor manuell oder automatisch ermittelten Bewertungsdaten umfassen, die diesen zweiten Sensormesswerte der zweiten Sensoranordnung (131) zuzuordnen sind. Des Weiteren kann das Training (52) das Ermitteln eines zweiten Objekterkennungsergebnisses auf Basis der zwei- oder dreidimensionalen Trainingsdarstellungen und dessen Bewertung ggf. mit Hilfe von zuvor manuell oder automatisch ermittelten Bewertungsdaten umfassen. Dabei umfasst das Training (52) das Ermitteln eines zweiten Objekterkennungsergebnisses auf Basis der zweiten Sensormesswerte der zweiten Sensoranordnung (131).
  • Bevorzugt umfasst das Verfahren das Verwenden der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten und/oder der zweiten Objekterkennungsergebnisse, um die zwei- oder dreidimensionalen Darstellungen, die von Sensormesswerten abhängen, zu kommentieren.
  • In einer weiteren Verfeinerung dieser Variante umfasst das Verfahren das Verwenden der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten und/oder der zweiten Objekterkennungsergebnisse in einer Umfeldkarte der Umgebung des Fahrzeugs und/oder zur Information des Fahrers durch eine zwei- oder dreidimensionale Darstellung und/oder durch ein Steuerungssystem und/oder Steuergerät zur Steuerung und/oder Regelung von autonomen Fahren und/oder Parken.
  • Erstes Kombinationsverfahren mit Verwendung des ersten Ultraschallmesssystems und des zweiten Messsystems
  • Die beiden Verfahren B und D können bei Benutzung einer kombinierten Vorrichtung aus einem ersten Ultraschallmesssystem (164) gemäß Abschnitt A) und einem zweiten Messsystem (161) gemäß Abschnitt C) miteinander kombiniert werden. Hierbei ist die Frage, wie die aus dem ersten Objekterkennungsergebnis des ersten Ultraschallmesssystems (164) und dem zweiten Objekterkennungsergebnis des zweiten Messsystems (161) eine gemeinsame Objekterkennungshypothese erzeugt wird. Diese Erzeugung einer geneinsamen Objekterkennungshypothese soll dabei bevorzugt selbstlernend sein. Das im Folgenden beschriebene Verfahren umfasst somit ein Verfahren nach Abschnitt B) und ein Verfahren nach Abschnitt D) zum Erkennen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und in den ersten Ultraschallmesswerten der Ultraschallwandleranordnung (11) und/oder auf Basis der ersten Objekterkennungsergebnisse des ersten neuronalen Netzwerkmodells (16) und auf Basis der zweiten Objekterkennungsergebnisse des zweiten neuronale Netzwerkmodells (136). Um nun die gemeinsame Objekterkennungshypothese zu erzeugen werden bevorzugt folgende zusätzliche Schritte durchgeführt:
    • Es erfolgt die Durchführung (90a) eines Verfahrens entsprechend Abschnitt A) für das Ultraschallmesssystem (164) mit Ermittlung der Ultraschallmesswerte der Ultraschallwandleranordnung (11) und die Ermittlung eines ersten Objekterkennungsergebnisses des ersten neuronalen Netzwerkes (16). In dieser Schrift umfasst das erste Objekterkennungsergebnis Identifizierungsinformationen und/oder sonstige Erkennungsinformationen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten der Ultraschallwandleranordnung (11).
    • Des Weiteren erfolgen die Durchführung (190b) eines Verfahrens gemäß Abschnitt D) für das zweite Messsystem (161) mit Ermittlung der zweiten Sensormesswerte der zweiten Sensoranordnung (131) und die Ermittlung eines zweiten Objekterkennungsergebnisses. In dieser Schrift umfasst das zweite Objekterkennungsergebnis Identifizierungsinformationen und/oder sonstige Erkennungsinformationen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der Sensoranordnung (131).
    • Des Weiteren umfasst das in diesem Abschnitt E) beschriebene erste Kombinationsverfahren das Bereitstellen (91) eines dritten neuronalen Netzwerkmodells (138). Dieses dritte neuronale Netzwerkmodell (138) hat im Folgenden die Funktion eines selbstlernfähigen Entscheiders (englisch Voter). Das dritte neuronale Netzwerkmodell (138) erzeugt aus dem ersten Objekterkennungsergebnis des ersten neuronalen Netzwerkmodells (16) und dem zweiten Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) das dritte neuronale Objekterkennungsergebnis. In dieser Schrift umfasst die gemeinsame Objekterkennungshypothese Identifizierungsinformationen und/oder sonstige Erkennungsinformationen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der Sensoranordnung (131) und in den ersten Ultraschallmessergebnissen der ersten Ultraschallwandleranordnung (11). Darüber hinaus kann die gemeinsame Objekterkennungshypothese erste Trainingssignale für das erste Neuronale Netzwerk (16) und zweite Trainingssignale für das zweite neuronale Netzwerk (136) umfassen. Diese ersten und zweiten Trainingssignale sind bevorzugt zwar separat, sie können aber auch für das erste und
    • zweite neuronale Netzwerkmodell (16, 136) gemeinsam sein, was typischerweise nicht bevorzugt aber möglich ist.
    • In dem hier in Abschnitt E) vorgestellten ersten Kombinationsverfahren ist bevorzugt wie zuvor ein Trainieren (92) des dritten neuronalen Netzwerkmodells (138) als weiterer Schritt vorgesehen. Dieses Training erfolgt bevorzugt mit bekannten ersten Objekterkennungsergebnissen des ersten neuronalen Netzwerkmodells (16) und mit bekannten zweiten Objekterkennungsergebnissen des zweiten neuronalen Netzwerkmodells (136), die um zugeordnete Bewertungsdaten ergänzt sind. Die Stimulierung des dritten neuronalen Netzwerkmodells erfolgt während des Trainings (92), um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten und in den Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von Sensormesswerten und/oder Ultraschallmesswerten abhängen, zu identifizieren und eine gemeinsame
    • Objekterkennungshypothese zu erzeugen. Diese gemeinsame Objekterkennungshypothese kann dann mit Hilfe der zugeordneten Bewertungsdaten bewertet werden. Die Parameter des dritten neuronalen Netzwerkmodells (138) werden dann beispielsweise durch eine erste Sicherheitsvorrichtung (142) in Abhängigkeit vom Ergebnis des Vergleichs der gemeinsamen Objekterkennungshypothese mit den zugeordneten Bewertungsdaten während des Trainings (92) modifiziert. Die erste Sicherheitsvorrichtung (142) kann hochpriorisierte Signale (H11, H15, H131, H135) von Komponenten des ersten Ultraschallmesssystems (164) und von Komponenten des zweiten Messsystems (161) erhalten. Stellen nämlich die Ultraschallwandleranordnung (11) und/oder die Sensoranordnung (131) auf welchem Wege auch immer eine potenziell sicherheitsgefährdende Situation oder eine erhöhte Wahrscheinlichkeit für den zukünftigen Eintritt einer solchen Situation auf welchem Wege auch immer fest, so ist es möglich auf diesem Weg die gemeinsame Objekterkennungshypothese des dritten neuronalen Netzwerkmodells (138) zu überschreiben, wenn diese nicht die Erkennung dieser Situation zeigt und so einen sicheren Betrieb gewährleistet. Ebenso soll der Benutzer bevorzugt in gewissen Fällen, falls dies erforderlich ist, durch eine Benutzereingabe (H142) die gemeinsame Objekterkennungshypothese überschreiben können.
    • Des Weiteren soll ein höher priorisiertes System bevorzugt in gewissen Fällen, falls dies erforderlich ist, durch eine Benutzereingabe (H142) die gemeinsame Objekterkennungshypothese überschreiben können.
  • Im Falle eines solchen Überschreibens ist es sinnvoll, wenn dann die erste Sicherheitsvorrichtung (142) die Parameter des dritten neuronalen Netzwerkmodells (138) modifiziert und so ein Training (92) des dritten neuronalen Netzwerkmodells (138) ausführt. Das Besondere ist, dass dies somit im Betrieb geschehen kann.
  • Das Training (92) des dritten neuronalen Netzwerkmodells (138) erfolgt wie zuvor bevorzugt zunächst mit Hilfe eines geeigneten Laborsystems, dass dem Zielsystem für die korrekte Durchführung des Trainings ausreichend ähnlich ist. Die so ermittelten Parameter für das dritte neuronale Netzwerkmodell (138) können dann später in das Ziel-System übertragen werden. Dies kann wieder wie zuvor beispielsweise durch Programmierung und/oder Einstellung und/oder schon in der Konstruktionsphase des Zielsystems geschehen.
  • Wie zuvor, umfasst das hier in diesem Abschnitt E) vorgestellte Kombinationsverfahren das Verwenden (95) des trainierten dritten neuronalen Netzwerkmodells (138), bevorzugt innerhalb eines Zielsystem aus einem Ultraschallmesssystem (164) entsprechend Abschnitt A) und einem Messsystem entsprechend Abschnitt C), zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten einer Sensoranordnung (131) und in den Ultraschallmesswerten einer Ultraschallwandleranordnung (11) und/oder auf Basis der ersten Objekterkennungsergebnisse des ersten neuronalen Netzwerkmodells (16) und auf Basis der zweiten Objekterkennungsergebnisse des zweiten neuronalen Netzwerkmodells (136).
  • Bevorzugt umfasst auch hier das Training (92) des dritten neuronalen Netzwerkmodells (138) auch das Training mit zuvor aufgenommenen oder durch Simulation ermittelten ersten Live-Objekterkennungsergebnissen des ersten Netzwerkmodells (16) von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten, und/oder mit zweiten Live-Objekterkennungsergebnissen des zweiten Netzwerkmodells (136) von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten und/oder mit zwei- oder dreidimensionale Trainingsdarstellungen umfasst und/oder mit Trainingsbildern einer gemeinsamen Anordnung einer Vielzahl von Subjekten. Diese typischerweise zuvor durch Simulation oder Messung / Versuch ermittelte Trainingsdaten werden bevorzugt manuell und/oder automatisch Bewertungsdaten vor dem Beginn des Trainings (92) hinzugefügt. Eine auf Basis dieser Trainingsdaten ermittelte geneinsame Objekterkennungshypothese des dritten neuronalen Netzwerkmodells (138) kann dann beispielsweise durch die erste Sicherheitsvorrichtung (142) oder eine andere Trainingsvorrichtung mit den jeweiligen Trainingsdaten zugeordneten Bewertungsdaten verglichen werden. In Abhängigkeit von dem Vergleichsergebnis modifiziert dann die erste Sicherheitsvorrichtung (142) bzw. die andere Trainingsvorrichtung die Parameter des dritten neuronalen Netzwerkmodells (138) entsprechend.
  • Bevorzugt umfasst das Training (92) des dritten neuronalen Netzwerkmodells (138) das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zwei- oder dreidimensionalen Trainingsdarstellungen und/oder das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis der ersten und zweiten Objekterkennungsergebnisse und/oder das Ermitteln einer gemeinsamen Objekterkennungshypothese auf Basis der zwei- oder dreidimensionalen Trainingsdarstellungen und/oder das Ermitteln einer gemeinsamen Objekterkennungshypothese auf Basis der ersten Ultraschallmesswerte der ersten Ultraschallwandleranordnung (11) und der zweiten Sensormesswerte der zweiten Sensoranordnung (131). Wie zuvor bereits erläutert werden im Zuge des Trainings diesen Trainingsdaten Bewertungsdaten zugeordnet, die als Referenzdaten dienen.
  • Wie zuvor in den in den Abschnitten B) und D) beschriebenen Verfahren umfasst auch das hier in Abschnitt E) beschriebene erste Kombinationsverfahren das Verwenden (92) der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten gemäß der gemeinsamen Objekterkennungshypothese, um die zwei- oder dreidimensionalen Darstellungen zu kommentieren, wobei diese von den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und den Ultraschallmesswerten der ersten Ultraschallwandleranordnung (11) und/oder von dem ersten Objekterkennungsergebnis des ersten neuronalen Netzwerkmodells (16) und von dem zweiten Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) und/oder der gemeinsamen Objekterkennungshypothese abhängen.
  • Bevorzugt umfasst das hier in Abschnitt E) beschriebene erste Kombinationsverfahren ferner das Verwenden (95) der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten gemäß der gemeinsamen Objekterkennungshypothese und/oder der gemeinsamen Objekterkennungshypothese in einer Umfeldkarte der Umgebung des Fahrzeugs und/oder zur Information des Fahrers durch eine zwei- oder dreidimensionale Darstellung und/oder zur Information des Fahrers durch ein Steuerungssystem und/oder Steuergerät zur Steuerung und/oder Regelung von autonomen Fahren und/oder Parken.
  • Um das Training (22) des ersten neuronalen Netzwerkmodells (16) durchzuführen, erfolgt in diesem ersten Kombinationsverfahren bevorzugt ein Vergleich der gemeinsamen Objekterkennungshypothese des dritten neuronalen Netzwerkmodells (138) mit dem ersten Objekterkennungsergebnis des ersten neuronalen Netzwerkmodells (16) und ggf. ein Ändern der Parametrisierung des ersten neuronalen Netzwerkmodells (16) in Abhängigkeit von dem Ergebnis dieses Vergleiches. Dieser Vergleich und diese Änderung erfolgen bevorzugt durch eine erste Parametermodifikationsvorrichtung (140) für das erste neuronale Netzwerkmodell (16).
  • Um das Training (52) des zweiten neuronalen Netzwerkmodells (136) durchzuführen, erfolgt in diesem ersten Kombinationsverfahren bevorzugt ein Vergleich der gemeinsamen Objekterkennungshypothese des dritten neuronalen Netzwerkmodells (138) mit dem zweiten Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) und ggf. ein Ändern der Parametrisierung des zweiten neuronalen Netzwerkmodells (136) in Abhängigkeit von dem Ergebnis dieses Vergleiches. Dieser Vergleich und diese Änderung erfolgen bevorzugt durch eine zweite Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136).
  • Wie zuvor bereits beschrieben wird ein Training (92) des dritten neuronalen Netzwerkmodells (138) bevorzugt durch die erste Sicherheitsvorrichtung (142) durchgeführt. Auf die höher priorisierten Signale (H131, H135, H11, H15 und H142) wird in diesem Zusammenhang nochmals ausdrücklich hingewiesen, da diese im Wesentlichen entweder ein selbstinduziertes Training (92) mittels interner höher priorisierter Signale (H131, H135, H11 und H15) oder ein benutzerinduziertes Training (92) mittels Benutzer generierter höher priorisierter Signale (H142) ermöglichen. Wie zuvor erwähnt, kann eine höher priorisierte technische Vorrichtung ebenfalls mittels durch diese Vorrichtung generierter höher priorisierter Signale (H142) ein Training (92) des dritten neuronalen Netzwerkmodells (138) initiieren.
  • Natürlich kann auch ein Ändern der Parametrisierung des ersten neuronalen Netzwerkmodells (16) und/oder der Parametrisierung des zweiten neuronalen Netzwerkmodells (136) und/oder der Parametrisierung des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von einer Benutzereingabe (142) mit Hilfe eines Trainingsschritts (22, 52, 92) erfolgen. Die Benutzereingabe kann mittels einer geeigneten Signalisierung (z.B. H142) z.B. an die erste Parametermodifikationsvorrichtung (140) für das erste neuronale Netzwerkmodell (16) und/oder die zweite Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136) und/oder die erste Sicherheitsvorrichtung (142) und/oder die später noch zu beschreibende zweite Sicherheitsvorrichtung (143) und/oder die später noch zu beschreibende vierte Parametermodifikationsvorrichtung (142) für das später noch beschriebene vierte neuronale Netzwerkmodell (156) erfolgen.
  • Eine solche Benutzereingabe zur Erzeugung eines derartigen höher priorisierten externen Signals (z.B. H142) kann beispielsweise mittels einer Berührungsgeste auf einem Touch-Pad oder einem als Touch-Screen ausgeführten Anzeige (9) oder mittels einer dreidimensional ausgeführten Geste erfolgen. Eine solche dreidimensional bevorzugt im Raum vor der Anzeige (9) ausgeführte Raumgeste bzw. eine solche bevorzugt zweidimensionale Berührungsgeste wird bevorzugt durch ein entsprechend gestaltetes Gestenerkennungssystem erkannt und in das besagte höher priorisierte Signal (z.B. H142) gewandelt. Um die Wahrscheinlichkeit von Fehlauslösungen zu senken, handelt es sich bei diesen Gesten bevorzugt um Sequenzen von Einzelgesten, die zu den betreffenden Gesten kombiniert sind und die in der richtigen Reihenfolge und Geschwindigkeit gegeben werden müssen.
  • Um das zuvor beschriebene Training (92) des dritten neuronalen Netzwerkmodells (138) durchführen zu können ist es vorteilhaft, wenn das hier beschriebene erste Kombinationsverfahren E) einen Schritt des Überwachens eines oder mehrerer der hoch priorisierten Signale (H131, H135, H11, H15, H142) umfasst. Wie zuvor beschrieben, können dann diese hochpriorisierten Signale (H131, H135, H11, H15, H142) über die erste Parametermodifikationsvorrichtung (140) für das erste neuronale Netzwerkmodell (16) und/oder über die zweite Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136) und/oder über die erste Sicherheitsvorrichtung (142) und/oder über die zweite Sicherheitsvorrichtung (143), die später beschrieben wird, und/oder die vierte Parametermodifikationsvorrichtung für das vierte neuronale Netzwerkmodell (156), die später beschrieben werden, eine Änderung der Parametrisierung des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von dem Zustand dieser hoch priorisierten Signale (H131, H135, H11, H15, H142) herbeiführen. Statt oder ergänzend zu dieser Änderung kann eine Änderung der Darstellung auf der Anzeige (19) in Abhängigkeit von dem Zustand des hoch priorisierten Signals (H131, H135, H11, H15, H142) erfolgen und/oder eine Änderung der Darstellung auf der Anzeige (19) in Abhängigkeit von der gemeinsamen Objekterkennungshypothese erfolgen.
  • Neben diesen hoch priorisierten Signalen (H11, H15, H131, H135, H142) können das erste neuronale Netzwerkmodell (16) und/oder das zweite neuronale Netzwerkmodell (136) und/oder das dritte neuronale Netzwerkmodell (138) weitere Eingangssignale aufweisen, die das erste Objekterkennungsergebnis des ersten neuronalen Netzwerkmodells (16) und/oder das zweite Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) und/oder die gemeinsame Objekterkennungshypothese des dritten neuronalen Netzwerkmodells (138) beeinflussen. In der Folge ergibt sich daraus als ein potenzieller Verfahrensschritt des hier beschriebenen ersten Kombinationsverfahrens eine mögliche Änderung der gemeinsamen Objekterkennungshypothese und/oder des ersten Objekterkennungsergebnisses und/oder des zweiten Objekterkennungsergebnisses in Abhängigkeit von einem weiteren oder mehreren weiteren externen Parametern, die über ein solches weiteres Eingangssignal übermittelt werden. Solche externe Parameter können beispielsweise die Fahrzeuggeschwindigkeit, die Temperatur, der Luftdruck, die Luftfeuchtigkeit, der Ein- oder Ausschaltzustand des Fahrlichts und/oder des Standlichts und/oder der Blinker und/oder der Nebelscheinwerfer und/oder der Zusatzscheinwerfer etc., eine über einen Eissensor erfasste Vereisung der Straße oder des Fahrwegs, ein durch einen Regensensor erfasster Regen und/oder der Ein- oder Ausschaltzustand der Scheibenwischer, die Nivellierung des Fahrzeugs, die Drehraten des Fahrzeugs um seine Achsen, die translatorischen und/oder rotatorischen Beschleunigungs- und Geschwindigkeitswerte, der Lenkwinkel, die Lenkwinkelgeschwindigkeit, der Reifendruck, die Motordrehzahl, die Drehzahl der Räder, der Bremszustand etc. sein.
  • Das Training (92) der neuronalen Netzwerkmodelle (16, 136, 138) erfolgt bevorzugt also zumindest immer dann in Form einer Änderung der Parametrisierung des ersten neuronalen Netzwerkmodells (16) und/oder des zweiten neuronalen Netzwerkmodells (136) und/oder des dritten neuronalen Netzwerkmodells (138), wenn das Fahrzeug eine erste Position erreicht und wenn das betreffende neuronale Netzwerkmodell an dieser ersten Position ein Objekt in fehlerhafter Weise erkannt hat oder erkennt. Erkennt beispielsweise eines dieser neuronalen Netzwerkmodelle ein Hindernis und wird nun durch das System festgestellt, dass das Fahrzeug das zuvor festgestellte Hindernis durchfährt, so war dieses Hindernis offensichtlich nicht vorhanden. Somit war die vorausgegangene Erkennung falsch, was zum Training (22, 52, 92) des betreffenden neuronalen Netzwerkmodells verwendet werden kann.
  • In gleicher Weise kann ein Training (22, 52, 92) erfolgen, indem eine Änderung der Parametrisierung des ersten neuronalen Netzwerkmodells (16) und/oder des zweiten neuronalen Netzwerkmodells (136) und/oder des dritten neuronalen Netzwerkmodells (138) erfolgt, wenn ein höher priorisiertes Signal (H11, H15, H131, H135) und/oder ein hochpriorisiertes Signal (H142) oder eine Benutzereingabe eine Kollision oder Kollisionswarnung oder sonstige Gefahr signalisiert.
  • Bevorzugt erfolgt dann eine Signalisierung an den Benutzer und/oder eine Fehlerdatenbank des Fahrzeugs und/oder ein anderes Rechnersystem im Falle einer Änderung der Parametrisierung des ersten neuronalen Netzwerkmodells (16) und/oder des zweiten neuronalen Netzwerkmodells (136) und/oder des dritten neuronalen Netzwerkmodells (138), darüber dass ein kritischer Lernschritt ausgeführt wurde und/oder dass ein Fehler aufgetreten ist.
  • Zweites Kombinationsverfahren mit Verwendung des zweiten Messsystems und eines dritten Messsystems
  • Das entsprechend Abschnitt E) vorgestellte Kombinationsverfahren kann für die Benutzung einer kombinierten Vorrichtung und einem zweiten Messsystem (161) gemäß Abschnitt C) und einem dritten Messsystem (162) gemäß Abschnitt C) angepasst werden. Hierbei ist wieder die Frage, wie aus dem zweiten Objekterkennungsergebnis des zweiten Messsystems (161) und dem dritten Objekterkennungsergebnis des dritten Messsystems (162) eine gemeinsame Objekterkennungshypothese erzeugt wird. Diese Erzeugung einer gemeinsamen Objekterkennungshypothese soll dabei wieder bevorzugt selbstlernend sein. Das im Folgenden beschriebene Verfahren umfasst somit die parallele Anwendung zweier Verfahren nach Abschnitt D) zum Erkennen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten einer zweiten Sensoranordnung (131) des zweiten Messsystems (161) und in dritten Sensormesswerten einer dritten Sensoranordnung (151) des dritten Messsystems (162) und/oder auf Basis der zweiten Objekterkennungsergebnisse eines zweiten neuronalen Netzwerkmodells (136) des zweiten Messsystems (161) und/oder auf Basis von dritten Objekterkennungsergebnissen eines vierten neuronalen Netzwerkmodells (156) des dritten Messsystems (162). Das in diesem Abschnitt vorgestellte Kombinationsverfahren umfasst dabei bevorzugt den zusätzlichen Schritt der Durchführung (171) eines Verfahrens entsprechend Abschnitt C) für das zweite Messsystem (161), wobei das zweite Messsystem (161) das besagte zweite neuronale Netzwerkmodell (136) umfasst, und den Schritt der Ermittlung der zweiten Sensormesswerte der zweiten Sensoranordnung (131) und den Schritt der Ermittlung eines zweiten Objekterkennungsergebnisses des zweiten neuronalen Netzwerkmodells (136). Das in diesem Abschnitt F) vorgestellte Kombinationsverfahren umfasst bevorzugt des Weiteren den Schritt der Durchführung (172) eines Verfahrens gemäß Abschnitt C) für das dritte Messsystem (162), wobei das dritte Messsystem (162) ein viertes neuronales Netzwerkmodell (156) umfasst, und den Schritt der Ermittlung der dritten Sensormesswerte einer dritten Sensoranordnung (151) und den Schritt der Ermittlung eines dritten Objekterkennungsergebnisses des vierten neuronalen Netzwerkmodells (156). Des Weiteren umfasst das hier vorgestellte zweite Kombinationsverfahren das Bereitstellen (173) eines fünften neuronalen Netzwerkmodells (158) und das Trainieren (174) dieses fünften neuronalen Netzwerkmodells (158), um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und in den dritten Sensormesswerten der dritten Sensoranordnung (151) und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten und/oder dritten Sensormesswerten abhängen, zu identifizieren und eine gemeinsame Objekterkennungshypothese des fünften neuronalen Netzwerkmodells (158) zu erzeugen. Analog zum ersten Kombinationsverfahren aus Abschnitt E) umfasst das zweite Kombinationsverfahren bevorzugt das Verwenden (175) des trainierten fünften neuronalen Netzwerkmodells (158) zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten der zweiten Sensoranordnung (131) und in den dritten Sensormesswerten der dritten Sensoranordnung (151) einerseits und/oder auf Basis der ersten Objekterkennungsergebnisse des ersten neuronalen Netzwerkmodells (136) und auf Basis der zweiten Objekterkennungsergebnisse des zweiten neuronalen Netzwerkmodells (156) andererseits und/oder zur Erzeugung einer gemeinsamen Objekterkennungshypothese des fünften neuronalen Netzwerkmodells (158).
  • Bevorzugt umfasst das Training (174) des fünften neuronalen Netzwerkmodells (158) das Training mit zweiten Live-Objekterkennungsergebnissen des zweiten Netzwerkmodells (136) von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten und/oder das Training mit dritten Live-Objekterkennungsergebnissen des dritten Netzwerkmodells (156) von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten und/oder das Training mit zwei- oder dreidimensionale Trainingsdarstellungen und/oder mit Trainingsbildern einer gemeinsamen Anordnung einer Vielzahl von Subjekten. Das Training (174) verläuft also in der gleichen Weise, wie das Training (92) in dem ersten Kombinationsverfahren aus Abschnitt E).
  • Ebenso analog zu dem Training (92) des ersten Kombinationsverfahrens aus Abschnitt E) umfasst bevorzugt das Training (174) des fünften neuronalen Netzwerkmodells (158) das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zwei- oder dreidimensionalen Trainingsdarstellungen und/oder das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis der zweiten und dritten Objekterkennungsergebnisse und/oder das Ermitteln einer gemeinsamen Objekterkennungshypothese auf Basis der zwei- oder dreidimensionalen Trainingsdarstellungen umfasst das Ermitteln einer gemeinsamen Objekterkennungshypothese auf Basis der zweiten Sensormesswerte der zweiten Sensoranordnung (131) und der dritten Sensormesswerte der dritten Sensoranordnung (151).
  • Das hier beschriebene zweite Kombinationsverfahren umfasst in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt das Verwenden (175) der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten gemäß der gemeinsamen Objekterkennungshypothese, um die zwei- oder dreidimensionalen Darstellungen zu kommentieren, wobei diese von den zweiten Sensormesswerten und den dritten Sensormesswerten einerseits abhängen und/oder wobei diese von dem zweiten Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) und von dem dritten Objekterkennungsergebnis des dritten neuronalen Netzwerkmodells (156) und/oder der gemeinsamen Objekterkennungshypothese abhängen.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt das Verwenden (175) der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten gemäß der gemeinsamen Objekterkennungshypothese und/oder der gemeinsamen Objekterkennungshypothese in einer Umfeldkarte der Umgebung des Fahrzeugs und/oder zur Information des Fahrers durch eine zwei- oder dreidimensionale Darstellung und/oder zur Information des Fahrers durch ein Steuerungssystem und/oder Steuergerät zur Steuerung und/oder Regelung von autonomen Fahren und/oder Parken.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt den Vergleich der gemeinsamen Objekterkennungshypothese mit dem zweiten Objekterkennungsergebnis des zweiten neuronalen Netzwerkmodells (136) und das Ändern der Parametrisierung des zweiten neuronalen Netzwerkmodells (136) in Abhängigkeit von dem Ergebnis dieses Vergleiches. Dieser Vergleich wird bevorzugt durch die besagte zweite Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136) durchgeführt.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt den Vergleich der gemeinsamen Objekterkennungshypothese mit dem dritten Objekterkennungsergebnis des vierten neuronalen Netzwerkmodells (156) und Ändern der Parametrisierung des vierten neuronalen Netzwerkmodells (156) in Abhängigkeit von dem Ergebnis dieses Vergleiches. Dieser Vergleich wird bevorzugt durch die besagte vierte Parametermodifikationsvorrichtung (144) für das vierte neuronale Netzwerkmodell (156) durchgeführt.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt das Ändern der Parametrisierung des zweiten neuronalen Netzwerkmodells (136) und/oder der Parametrisierung des vierten neuronalen Netzwerkmodells (156) und/oder der Parametrisierung des fünften neuronalen Netzwerkmodells (158) in Abhängigkeit von einer Benutzereingabe (H142) mit Hilfe eines Trainingsschritts (52, 174).Wieder erfolgt die Benutzereingabe beispielsweise mittels einer Berührungsgeste auf einem Touch-Pad oder einem als Touch-Screen ausgeführten Anzeige (9) oder mittels einer dreidimensional ausgeführten Geste.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) das Überwachen eines oder mehrerer hoch priorisierter Signale (H131, H135, H151, H155) und die Änderung der Parametrisierung des fünften neuronalen Netzwerkmodells (158) in Abhängigkeit von dem Zustand des hoch priorisierten Signals (H131, H135, H151, H155). Dies ermöglicht wieder das selbstständige Trainieren des fünften neuronalen Netzwerkmodells (158) insbesondere auch im Betrieb.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt das Überwachen eines hoch priorisierten Signals (H131, H135, H151, H155) und die Änderung der Darstellung auf der Anzeige (19) in Abhängigkeit von dem Zustand des hoch priorisierten Signals (H131, H135, H151, H155) und/oder die Änderung der Darstellung auf der Anzeige (19) in Abhängigkeit von der gemeinsamen Objekterkennungshypothese des fünften neuronalen Netzwerkmodells (158).
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt die Änderung der gemeinsamen Objekterkennungshypothese und/oder des ersten Objekterkennungsergebnisses und/oder des zweiten Objekterkennungsergebnisses in Abhängigkeit von einem weiteren oder mehreren weiteren externen Parametern, die wieder über weiteres Eingangssignal übermittelt werden. Solche externen Parameter können beispielsweise wieder die Fahrzeuggeschwindigkeit, die Temperatur, der Luftdruck, die Luftfeuchtigkeit, der Ein- oder Ausschaltzustand des Fahrlichts und/oder des Standlichts und/oder der Blinker und/oder der Nebelscheinwerfer und/oder der Zusatzscheinwerfer etc., eine über einen Eissensor erfasste Vereisung der Straße oder des Fahrwegs, ein durch einen Regensensor erfasster Regen und/oder der Ein- oder Ausschaltzustand der Scheibenwischer, die Nivellierung des Fahrzeugs, die Drehraten des Fahrzeugs um seine Achsen, die translatorischen und/oder rotatorischen Beschleunigungs- und Geschwindigkeitswerte, der Lenkwinkel, die Lenkwinkelgeschwindigkeit, der Reifendruck, die Motordrehzahl, die Drehzahl der Räder, der Bremszustand etc. sein.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt die Änderung der Parametrisierung des zweiten neuronalen Netzwerkmodells (136) und/oder des vierten neuronalen Netzwerkmodells (156) und/oder des fünften neuronalen Netzwerkmodells (158), wenn das Fahrzeug eine erste Position erreicht und wenn einen durch das betreffende neuronale Netz an dieser ersten Position ein Objekt in fehlerhafter Weise erkannt hat oder erkennt. Hier gilt das im Abschnitt E) zum ersten Kombinationsverfahren Geschriebene entsprechend.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt die Änderung der Parametrisierung des zweiten neuronalen Netzes (136) und/oder des vierten neuronalen Netzes (156) und/oder des fünften neuronalen Netzes (158), wenn ein höher priorisiertes Signal (H151, H155, H131, H135) und/oder ein anderes hochpriorisiertes Signal (H152) oder eine Benutzereingabe eine Kollision oder Kollisionswarnung oder sonstige Gefahr signalisiert. Hier gilt das im Abschnitt E) zum ersten Kombinationsverfahren Geschriebene entsprechend.
  • Das hier beschriebene zweite Kombinationsverfahren umfasst ebenso in Analogie zum ersten Kombinationsverfahren des Abschnitts E) bevorzugt eine Signalisierung an den Benutzer und/oder eine Fehlerdatenbank und/oder ein Rechnersystem im Falle einer Änderung der Parametrisierung des zweiten neuronalen Netzes (136) und/oder des vierten neuronalen Netzes (156) und/oder des fünften neuronalen Netzes (158), dass ein kritischer Lernschritt ausgeführt wurde und/oder dass ein Fehler aufgetreten ist.
  • Einfachstes selbstlernendes System oder Messsystem
  • Die Kombination der zuvor in den Abschnitten A) und C) beschriebenen Messsysteme zusammen mit der in den Kombinationsverfahren E) und F) vorausgesetzten Vorrichtungsstruktur kann wie folgt als selbstlernendes System und/oder Messsystem gekennzeichnet werden: Ein solches Gesamtmesssystem stellt ein Netzwerk aus neuronalen Netzwerkmodellen (16, 136, 138, 156, 158) im folgenden Neuronetzwerk genannt dar. Dabei stellen die neuronalen Netzwerkmodelle (16, 136, 138, 156, 158) die Knoten des Neuronetzwerks dar. Das hier vorgeschlagene Neuronetzwerk umfasst dabei mindestens ein erstes neuronales Netzwerkmodell (16) mit einem ersten Parametersatz und ein zweites neuronales Netzwerkmodell (136) mit einem zweiten Parametersatz und ein drittes neuronales Netzwerkmodell (138) mit einem dritten Parametersatz. Bezogen auf das zuvor vorgestellte zweite Kombinationsverfahren aus Abschnitt F) umfasst das hier vorgeschlagene Neuronetzwerk dabei mindestens ein zweites neuronales Netzwerkmodell (136) mit einem zweiten Parametersatz und ein viertes neuronales Netzwerkmodell (156) mit einem vierten Parametersatz und ein fünftes neuronales Netzwerkmodell (158) mit einem fünften Parametersatz. Es handelt sich also auch wieder mindestens um drei neuronale Netzwerkmodelle die sich auf mindestens zwei Knotenschichten des Neuronetzwerks verteilen. Jedes neuronale Netzwerkmodell des Neuronetzwerks weist zumindest einen ersten Eingangsdatenstrom und einen ersten Ausgangsdatenstrom auf. Da die grundsätzliche Struktur des Neuronetzwerks für die Durchführung des zweiten Kombinationsverfahrens des Abschnitts F), wie gerade diskutiert, gleich der grundsätzlichen Struktur des Neuronetzwerks zur Durchführung des ersten Kombinationsverfahrens des Abschnitts E) ist, beschränken wir uns nun auf das Neuronetzwerk zur Durchführung des ersten Kombinationsverfahrens des Abschnitts E). Die Ergebnisse können, wie dem Fachmann offensichtlich, auf das Neuronetzwerk zur Durchführung des zweiten Kombinationsverfahrens des Abschnitts F) übertragen werden. Diese Beschränkung schließt also die Anwendung des in diesem Abschnitt Folgenden auf ein Neuronetzwerk zur Durchführung des zweiten Kombinationsverfahrens aus Abschnitt F) ausdrücklich mit ein.
  • Das dritte neuronale Netzwerkmodell (138) weist einen zweiten Eingangsdatenstrom auf. Der Ausgangsdatenstrom des ersten neuronalen Netzwerkmodells (16) ist der erste Eingangsdatenstrom des dritten neuronalen Netzwerkmodells (138). Der Ausgangsdatenstrom des zweiten neuronalen Netzwerkmodells (136) ist der zweite Eingangsdatenstrom des dritten neuronalen Netzwerkmodells (138). Der Ausgangsdatenstrom des dritten neuronalen Netzes (138) hängt zumindest von seinem ersten und zweiten Eingangsdatenstrom ab. Ein Ausgangsdatenstrom des dritten neuronalen Netzes (138) kann dann, wie in Abschnitt E beschrieben, den ersten Parametersatz des ersten neuronalen Netzes (16) und/oder den zweiten Parametersatz des zweiten neuronalen Netzes (136) verändern. Dies geschieht bevorzugt mittels der besagten ersten Parametermodifikationsvorrichtung (140) für das erste neuronale Netzwerkmodell (16) und/oder mittels der zweiten Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136).
  • Komplexeres selbstlernendes System oder Messsystem
  • Da die grundsätzliche Struktur des Neuronetzwerks für die Durchführung des zweiten Kombinationsverfahrens des Abschnitts F), wie oben diskutiert, gleich der grundsätzlichen Struktur des Neuronetzwerks zur Durchführung des ersten Kombinationsverfahrens des Abschnitts E) ist, beschränken wir uns nun auch in diesem Abschnitt auf das Neuronetzwerk zur Durchführung des ersten Kombinationsverfahrens des Abschnitts E). Die Ergebnisse können, wie dem Fachmann offensichtlich, auf das Neuronetzwerk zur Durchführung des zweiten Kombinationsverfahrens des Abschnitts F) übertragen werden. Diese Beschränkung schließt also die Anwendung des in diesem Abschnitt Folgenden auf ein Neuronetzwerk zur Durchführung des zweiten Kombinationsverfahrens aus Abschnitt F) ausdrücklich mit ein.
  • Das vorgeschlagene selbstlernende System und/oder Messsystem umfasst ein Netzwerk aus neuronalen Netzwerkmodellen (16, 136, 138). Dieses Netzwerk aus neuronalen Netzwerkmodellen (16, 136, 138) wird wieder wie in Abschnitt G) im Folgenden Neuronetzwerk genannt. Wieder stellen die neuronalen Netzwerkmodelle (16, 136, 138) die Knoten des Neuronetzwerks dar. Das Neuronetzwerk umfasst mindestens ein erstes neuronales Netzwerkmodell (16) mit einem ersten Parametersatz und ein zweites neuronales Netzwerkmodell (136) mit einem zweiten Parametersatz und ein drittes neuronales Netzwerkmodell (138) mit einem dritten Parametersatz. Des Weiteren umfasst das Neuronetzwerk eine erste Parametermodifikationsvorrichtung (140) für das erste neuronale Netzwerkmodell (16) und eine zweite Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136). Jedes neuronale Netzwerkmodell (16, 136, 138) des Neuronetzwerks weist zumindest einen ersten Eingangsdatenstrom und einen ersten Ausgangsdatenstrom auf. Das dritte neuronale Netzwerkmodell (138) weist einen zweiten Eingangsdatenstrom auf. Der Ausgangsdatenstrom des ersten neuronalen Netzwerkmodells (16) ist der erste Eingangsdatenstrom des dritten neuronalen Netzwerkmodells (138). Der Ausgangsdatenstrom des zweiten neuronalen Netzwerkmodells (136) ist der zweite Eingangsdatenstrom des dritten neuronalen Netzwerkmodells (138). Der Ausgangsdatenstrom des dritten neuronalen Netzes (138) hängt zumindest von seinem ersten und zweiten Eingangsdatenstrom ab. Dabei kann ein Ausgangsdatenstrom des dritten neuronalen Netzes (138) den ersten Parametersatz des ersten neuronalen Netzes (16) mittels der ersten Parametermodifikationsvorrichtung (140) und/oder den zweiten Parametersatz des zweiten neuronalen Netzes (136) mittels der zweiten Parametermodifikationsvorrichtung (141) verändern und/oder der besagte Ausgangsdatenstrom des dritten neuronalen Netzes (138) ist dazu vorgesehen, diese Veränderungen zu beeinflussen.
  • Bevorzugt wird dabei die Veränderung der Parametersätze durch Benutzereingaben mittels Eingabemittel wie Touch-Screens, Schalter etc. beeinflusst. Bevorzugt umfassen die besagten Eingabemittel Gestenerkennungsmittel.
  • Bevorzugt korrespondieren Teile des dritten Ausgangsdatenstroms des dritten neuronalen Netzwerksmodells (138) entweder mit Teilen des ersten Ausgangsdatenstroms des ersten Netzwerkmodells (16) oder mit Teilen des zweiten Ausgangsdatenstroms des zweiten Netzwerkmodells (136) selektierbar. Dies hat den Vorteil, dass diese Teile beispielsweise durch das dritte Netzwerkmodell (138) gegeneinander ausgetauscht werden können. Bevorzugt erfolgt diese Selektion durch das dritte neuronale Netzwerkmodell (138) in Abhängigkeit vom ersten Ausgangsdatenstrom des ersten Netzwerkmodells (16) und vom zweiten Ausgangsdatenstrom des zweiten Netzwerkmodells (136).
  • Bevorzugt werden die ersten Parameter des ersten Netzwerkmodells (16) durch das dritte Netzwerkmodell (138) geändert, wenn die Selektion so erfolgt ist, dass Teile des dritten Ausgangsdatenstroms des dritten neuronalen Netzwerksmodells (138) nicht mit Teilen des ersten Ausgangsdatenstroms des ersten Netzwerkmodells (16) korrespondieren. In dem Fall wird also angenommen, dass die Erkennung durch das erste neuronalen Netzwerkmodell (16) nicht optimal war und dieser Effekt soll vermindert werden.
  • Bevorzugt werden die ersten Parameter des ersten Netzwerkmodells (16) durch das dritte Netzwerkmodell (138) geändert, wenn die Selektion so erfolgt ist, dass Teile des dritten Ausgangsdatenstroms des dritten neuronalen Netzwerksmodells (138) mit Teilen des ersten Ausgangsdatenstroms des ersten Netzwerkmodells (16) korrespondieren. In dem Fall wird also angenommen, dass die Erkennung durch das erste neuronalen Netzwerkmodell (16) optimal war und dieser Effekt soll verstärkt werden.
  • Bevorzugt werden zweite Parameter des zweiten Netzwerkmodells (136) durch das dritte Netzwerkmodell (138) geändert, wenn die Selektion so erfolgt ist, dass Teile des dritten Ausgangsdatenstroms des dritten neuronalen Netzwerksmodells (138) nicht mit Teilen des zweiten Ausgangsdatenstroms des zweiten Netzwerkmodells (136) korrespondieren. In dem Fall wird also angenommen, dass die Erkennung durch das zweite neuronalen Netzwerkmodell (136) nicht optimal war und dieser Effekt soll vermindert werden.
  • Bevorzugt werden zweite Parameter des zweiten Netzwerkmodells (136) durch das dritte Netzwerkmodell (138) geändert, wenn die Selektion so erfolgt ist, dass Teile des dritten Ausgangsdatenstroms des dritten neuronalen Netzwerksmodells (138) mit Teilen des zweiten Ausgangsdatenstroms des zweiten Netzwerkmodells (136) korrespondieren. In dem Fall wird also angenommen, dass die Erkennung durch das zweite neuronale Netzwerkmodell (136) optimal war und dieser Effekt soll verstärkt werden.
  • Allgemeine Zusammenfassung hinsichtlich einer automobilen Ultraschallmessvorrichtung mit Deep-Learning
  • In dieser Offenlegung wurde ein Ultraschallmesssystem (164) zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren offengelegt, das dadurch gekennzeichnet ist, dass sie eine Vorrichtung, insbesondere einen Rechner umfasst, in der ein neuronales Netzwerkmodell (16, 136, 138) implementiert ist, das durch eine Deep-Learning-Technik angepasst ist, um Ultraschallmesswerte zu empfangen und die Objekte und deren geometrische Anordnung im Umfeld des Fahrzeugs in den Ultraschallmesswerten durch Vergabe einer Identifikation zu identifizieren und somit ein erstes Objekterkennungsergebnis zu erzeugen. Dabei verfügt die Vorrichtung über Mittel (141, 140) um zumindest einen Teil (16, 136) des neuronalen Netzwerkmodells (16, 136, 138) im laufenden Fahrzeugbetrieb weiter zu trainieren. Um das Antrainieren von sicherheitsrelvantem Fehlverhalten auszuschließen verfügt die Vorrichtung bevorzugt über weitere Mittel (142), um beispielsweise mittels hochpriorisierter Signale (H11, H15, H131, H135), Benutzereingaben (H142) und/oder externe Signale und mittels Überprüfung der Objekterkennungsergebnisse und/oder gemeinsamen Objekterkennungshypothesen fehlerhafte und sicherheitsrelevante Erkennungsergebnisse und/oder potenziell fehlerhafte und/oder potenziell sicherheitsrelevante Erkennungsergebnisse zu verhindern und/oder zu unterdrücken und im laufenden Betrieb bei solchen nicht erwünschten Erkennungsergebnissen die betreffenden neuronalen Netzwerkmodelle (16, 136, 138) zu identifizieren und nachzutrainieren.
  • Automobiles Ultraschallmesssystem mit Beam-Forming
  • In dieser Offenlegung wurde ein Ultraschallmesssystem zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren offenbart, dass dadurch gekennzeichnet ist, dass sie einen Mikrobeamformer (1014) und mehrere Ultraschallwandler innerhalb einer Ultraschallwandleranordnung (1012) umfasst, wobei die Ausrichtung und/oder Form der Empfangs- und/oder Sendekeule der mehreren Ultraschallwandlern innerhalb einer Ultraschallwandleranordnung (1012) von Signalen des Mikrobeamformers (1014) abhängt. Hierbei erzeugt der Mikrobeamformer (1014) im Sendebetrieb für jeden der mehreren Ultraschallwandler ein eigenes speziell moduliertes Ansteuersignal, sodass die sich im Freiraum vor den Ultraschallwandlern ergebende Ultraschallwelle die gewünschte Querschnittsform, sphärische Amplitudenverteilung und Hauptausbreitungsrichtung aufweist. Ein einfaches Beispiel wäre die Erzeugung gleichartiger, aber phasenverschobener Ansteuersignale durch den Mikrobeamformer (1014) i, die dann durch die Ultraschallwandler in Schallsignale umgesetzt werden. Im Empfangsbetrieb sorgt der Mikrobeamformer (1014) für eine raumzeitliche Rücktransformation des Vektorempfangssignals, das aus den Empfangssignalen der verschiedenen Ultraschallwandler zusammengesetzt ist. Im Einfachsten Fall werden die Empfangssignale der verschiedenen Ultraschallwandler spezifisch in der jeweiligen Phase durch den Mikrobeamformer (1014) verzögert, sodass die Überlagerung der so verzögerten Empfangssignale der verschiedenen Ultraschallwandler eine ausgerichtete Empfindlichkeitskeule ergibt.
  • Es ist denkbar, für den Sendekanal einen separaten Sende-Mikrobeamformer (1014) und für den Empfangskanal einen separaten Empfangs-Mikrobeamformer (1014) vorzusehen.
  • 24 zeigt die Ausrichtung von Sende- und Empfangssignalen mittels konstruktiver Interferenz der Ultraschallwellen. Je mehr Ultraschallwandler eine Ultraschallwandleranordnung (1012) umfasst, desto besser lassen sich die Tochtermaxima unterdrücken und damit die Signalfokussierung verbessern. Es wird daher empfohlen, mehr als 10 Ultraschallwandler, besser mehr als 20, noch besser mehr als 50 Ultraschallwandler zu verwenden. Um eine Höhenauflösung zu erreichen, wird empfohlen, dass die Ultraschallwandleranordnung (1012) Ultraschallwandler umfasst, die in mindestens zwei Reihen im Wesentlichen parallel zur Fahrbahn und mindestens 5 Spalten senkrecht zur Fahrbahn angeordnet sind. Diese Lage kann natürlich nur bei ideal gleich großen Rädern, exakt paralleler Stoßstangen Montierung etc. erreicht werden. Der Begriff „im Wesentlichen“ soll daher hier eine Abweichung von +/- 10° aus diesen Lagen miteinschließen.
  • Automobiles Ultraschallmesssystem mit Dopplerprozessor
  • In der obigen Beschreibung wurde auch ein Ultraschallmesssystem zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren vorgeschlagen, das dadurch gekennzeichnet ist, dass sie einen Doppler-Prozessor (1054) aufweist, der Ensembles von Echosignalen von diskreten Punkten und/oder Raumrichtungen insbesondere in einem Bildfeld speichert, die dann verwendet werden, um die Doppler-Verschiebung insbesondere an Punkten im Bild und/oder in Raumrichtungen mit einer schnellen Fourier-Transformation (FFT) abzuschätzen.
  • Bevorzugt wird mittels einer schnellen diskreten Fourier-Transformation ein nach Raumrichtungen aufgelöstes multispektrales Bild erzeugt. Da die Sendefrequenz bekannt ist, ergeben sich für jede Raumrichtung dann die Werte: Amplitude der Reflektion, zeitliche Verzögerung oder Abstand der Reflektion, Frequenzverschiebung der Reflektion oder positive bzw. negative Geschwindigkeit in Sensorrichtung (Richtung auf die Ultraschallwandler zu). Werden auch vergangene Bilder ausgewertet, so kann durch zeitliche Merkmalsverfolgung markanten Punkten in dem jeweiligen Bild ein Bewegungsvektor zugeordnet werden. Besonders bevorzugt ist die Situation, wenn durch den Abstand der Ultraschallwandler z.B. auf der Stoßstange der Dopplerprozessor die Doppleranalyse spezifisch für das Messsignal jedes Ultraschallwandlers ausführt. Da der Winkel zwischen reflektierendem Objekt und dem jeweiligen Ultraschallwandler bei ausreichender Nähe unterschiedlich ist, weichen die Ergebnisse der jeweiligen Doppler-Analysen der Empfangssignale verschiedenen Ultraschallwandler leicht voneinander ab. Auf diese Weise kann auch direkt aus den Ultraschallwandlerempfangssignalen auf Geschwindigkeiten senkrecht zur Sichtlinie zwischen den Ultraschallwandlern und dem jeweiligen Objekt geschlossen werden. Dies kann dann mit den durch Bildverarbeitung der Ultraschallbildsequenzen ermittelten Geschwindigkeiten korreliert werden.
  • Automobiles Ultraschallmesssystem mit Multiplanar-Reformatierer
  • In der obigen Beschreibung wurde auch ein Ultraschallmesssystem zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren vorgeschlagen, das dadurch gekennzeichnet ist, dass sie einen Multiplanar-Reformatierer (1044) aufweist, der Echos, die von Punkten in einer gemeinsamen Ebene in einem volumetrischen Bereich des Raumes im Umfeld des Fahrzeugs empfangen werden, in ein Ultraschallbild dieser Ebene umwandelt.
  • Die Funktion des Multiplanar-Reformatierers (1044) ist typischerweise eng mit der Funktion und dem Zusammenspiel des Mikrobeamformers (1014) und mehrerer Ultraschallwandler innerhalb einer Ultraschallwandleranordnung (1012) verwoben. Während der Mikrobeamformer (1014) die Ausrichtung und/oder Form der Empfangs- und/oder Sendekeule der mehreren Ultraschallwandlern innerhalb einer Ultraschallwandleranordnung (1012) von Signalen des Mikrobeamformers (1014) steuert und kontrolliert, selektiert der Multiplanar-Reformatierer (1044) aus dem einkommenden Datenstrom der Empfangssignale der Ultraschallwandler solche Signalanteile in einer Ebene, die typischerweise parallel zu einer Fahrzeugebene und/oder der Fahrbahnebene ist. Hierfür kombiniert er die Empfangssignale von mindestens zwei Ultraschallwandlern, die in unterschiedlicher Höhe beispielsweise an der Stoßstange angebracht sind und wertet die Phasenverschiebung der Signale in der Art aus, dass nur solche Signale weiterverarbeitet werden, die Reflektionen in einer Ebene umfassen. Hierbei ist eine Ebene als ein begrenzter Raumwinkelbereich mit einem minimalen Empfindlichkeitswinkel φmin (siehe 25) zwischen Fahrzeug und Senkrechten zur Fahrbahn und einem maximalen Winkel φmax (siehe 25) zwischen Fahrzeug und Senkrechten zur Fahrbahn.
  • Es wird auch hier empfohlen mehr als 10 Ultraschallwandler, besser mehr als 20, noch besser mehr als 50 Ultraschallwandler zu verwenden. Um eine Höhenauflösung zu erreichen, wird empfohlen, dass die Ultraschallwandleranordnung (1012) Ultraschallwandler umfasst, die in mindestens zwei Reihen, besser mehr als 5 Reihen im Wesentlichen parallel zur Fahrbahn angeordnet sind. Diese Lage kann natürlich nur bei ideal gleich großen Rädern, exakt paralleler Stoßstangen Montierung etc. erreicht werden. Der Begriff „im Wesentlichen“ soll daher auch hier eine Abweichung von +/-10° aus diesen Lagen miteinschließen.
  • Automobiles Ultraschallmesssystem mit Volumenrenderer
  • In der obigen Beschreibung wurde auch ein Ultraschallmesssystem zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren vorgeschlagen, das dadurch gekennzeichnet ist, dass sie einen Volumenrenderer (1042) aufweist, der die Echosignale eines 3D-Datensatzes in ein projiziertes 3D-Bild konvertiert, wie es von einem gegebenen Bezugspunkt aus gesehen wird.
  • Hierzu berechnet ein Rechnersystem aus den empfangenen Daten ein dreidimensionales Fahrzeugumfeldmodell. Dieses kann dann dem Fahrzeugführer je nach Gefahrenlage so dargestellt werden, dass er die Situation mit maximaler Wahrscheinlichkeit gut erfassen kann. Hierfür ist es sinnvoll, wenn ein neuronales Netzwerkmodell, beispielsweise das dritte neuronale Netzwerkmodell (138), die optimale Betrachterposition und die optimale Blickrichtung auf das Fahrzeugumfeldmodell beispielsweise in Abhängigkeit von der gemeinsamen Objekterkennungshypothese bestimmt und eine entsprechende Darstellung des ermittelten Fahrzeugumfeldmodells auf dem Bildschirm (19) veranlasst. Was eine gute Perspektive ist, kann dabei sehr Fahrzeugführer spezifisch und auch Kulturabhängig sein. Es ist daher anzuraten mittels sogenannter Fokus-Gruppen bestehend aus einem repräsentativen Querschnitt der Fahrzeugführer des Zielmarktes einen Startparametersatz für das betreffende neuronale Netzwerkmodell zu ermitteln und dann mittels Benutzereingaben (H142) die Sichtweise fahrzeugführerspezifisch anzupassen.
  • Automobiles Ultraschallmesssystem mit Sicherheitseinrichtung
  • In der obigen Beschreibung wurde auch ein Messsystem zur Verwendung in Kraftfahrzeugen zum Erkennen von Hindernissen und/oder Objekten im Umfeld eines Fahrzeugs unter Verwendung von Deep-Learning-Verfahren vorgeschlagen, das dadurch gekennzeichnet ist, dass sie eine erste Sicherheitsvorrichtung (142) und ein oder mehrere neuronale Netzwerkmodelle (16, 136, 138) zur Auswertung der Messdaten zumindest einer Sensoranordnung (11, 131) des Messsystems umfasst und dass die erste Sicherheitsvorrichtung (142) zumindest das neuronale Netzwerkmodell (138) überwacht, das diese Messdaten oder daraus abgeleitete Daten verarbeitet.
  • Dabei kann die Sicherheitsvorrichtung bevorzugt von Signalen (H11, H131) der mindestens einen Sensoranordnung (11, 131) des Messsystems beeinflusst werden. Außerdem kann die Sicherheitsvorrichtung (142) bevorzugt die Parameter zumindest eines neuronalen Netzwerkmodells (16, 136, 138) beeinflussen. Des Weiteren sollte die Sicherheitsvorrichtung (142) von einem Benutzersignal (H142) oder einem externen Steuersignal (H142) beeinflusst werden können. Auf diese Weise kann der Benutzer bei sicherheitsgefährdenden Vorfällen dadurch eine negative Signalisierung einen Lernvorgang initiieren, der solche Vorkommnisse für die Zukunft ausschließt.
  • Umgekehrt hat die Sicherheitsvorrichtung (142) bevorzugt die Eigenschaft, dass sie sicherheitsgefährdende und/oder potenziell sicherheitsgefährdende Signalisierungen des zumindest einen neuronalen Netzwerkmodells (16, 136, 138) sicher unterbinden kann. Dies kann durch Plausibilitätschecks der ermittelten Signale in Abhängigkeit von hoch priorisierten weiteren Signalen (H11, H15, H131, H135, H155, H151) innerhalb der Vorrichtung und/oder durch externe Kontrollsignale (H142) geschehen, wobei es sich bei diesen Signalen um ein oder mehrere Signale im Zeit und/oder Raummultiplex und/oder um Informationen an vorbestimmten Speicherstellen eines Rechnernetzwerkes handeln kann.
  • Vorteil
  • Das vorgeschlagene System ermöglicht die Bestimmung der geometrischen Anordnung und die Klassifizierung von Objekten im Umfeld des Fahrzeugs durch ein Gesamtmesssystem mit selbstlernenden Messsystemen (161, 162) und einem selbstlernenden Entscheider (138, 158). Dieser Lernprozess kann auch im normalen Betrieb erfolgen, wodurch sich das System laufend verbessert. Benutzereingaben und Sicherheitssignale (H11, H15, H131, H135, H142) sichern den potenziellen Raum des möglichen Verhaltens so ab, dass kritische Zustände vermieden werden.
  • Figurenliste
    • 1 In 1 ist ein Ultraschall-Fahrzeugumfeldanalysesystem schematisch vereinfacht in Form eines Blockdiagramms dargestellt, das gemäß den Prinzipien der vorliegenden Erfindung aufgebaut ist.
    • 2 zeigt ein Verfahren zum Trainieren und Verwenden eines neuronalen Netzwerkmodells zum Identifizieren der Anatomie in Ultraschallbildern.
    • 3 zeigt einen alternativen Aufbau des vorgeschlagenen Ultraschallmesssystems (164) mit einem ersten neuronalen Netzwerkmodell (16) für das entsprechende Verfahren gemäß Abschnitt B).
    • 4 zeigt ein Modell zum Trainieren und Verwenden des ersten neuronalen Netzwerkmodells (16).
    • 5 zeigt ein Modell zum Trainieren und Abspeichern der Parameter des ersten neuronalen Netzwerkmodells (16).
    • 6zeigt ein Modell zum Laden der abgespeicherten Parameter des ersten neuronalen Netzwerkmodells (16) und dem anschließenden Verwenden des ersten neuronalen Netzwerkmodells (16).
    • 7 zeigt ein Modell zum Trainieren und Verwenden des zweiten neuronalen Netzwerkmodells (136).
    • 8 zeigt ein Modell zum Trainieren und Abspeichern der Parameter des zweiten neuronalen Netzwerkmodells (136).
    • 9 zeigt ein Modell zum Laden der abgespeicherten Parameter des zweiten neuronalen Netzwerkmodells (136) und dem anschließenden Verwenden des zweiten neuronalen Netzwerkmodells (136).
    • 10 zeigt schematisch das erste Kombinationsverfahren aus Abschnitt E).
    • 11 zeigt ein Modell zum Trainieren und Verwenden des dritten neuronalen Netzwerkmodells (138).
    • 12 zeigt ein Modell zum Trainieren und Abspeichern der Parameter des dritten neuronalen Netzwerkmodells (138).
    • 13 zeigt ein Modell zum Laden der abgespeicherten Parameter des dritten neuronalen Netzwerkmodells (138) und dem anschließenden Verwenden des dritten neuronalen Netzwerkmodells (138).
    • 14 zeigt ein Modell zum Trainieren und Verwenden des fünften neuronalen Netzwerkmodells (158).
    • 15 zeigt ein Modell zum Trainieren und Abspeichern der Parameter des fünften neuronalen Netzwerkmodells (158).
    • 16 zeigt ein Modell zum Laden der abgespeicherten Parameter des fünften neuronalen Netzwerkmodells (158) und dem anschließenden Verwenden des fünften neuronalen Netzwerkmodells (158).
    • 17 zeigt schematisch das zweite Kombinationsverfahren aus Abschnitt F).
    • 18 zeigt den Aufbau des vorgeschlagenen kombinierten Gesamtsystems aus einem Ultraschallmesssystem (164) und einem zweiten Messsystem (161) für das entsprechende erste Kombinationsverfahren gemäß Abschnitt E).
    • 19 zeigt den Aufbau des vorgeschlagenen kombinierten Gesamtsystems aus einem zweiten Messsystem (161) und einem dritten Messsystem (162) für das entsprechende erste Kombinationsverfahren gemäß Abschnitt F).
    • 20 zeigt ein Modell zum Trainieren und Verwenden eines Gesamtsystems nach 19. (Kann auf ein Gesamtsystem nach 18 leicht übertragen werden.)
    • 21 zeigt ein Modell zum Trainieren und Abspeichern der Parameter der neuronalen Netzwerkmodelle eines Gesamtsystems nach 19. (Kann auf ein Gesamtsystem nach 18 leicht übertragen werden.)
    • 22 zeigt ein Modell zum Ladender Parameter der neuronalen Netzwerkmodelle eines Gesamtsystems nach 19 und dem Verwenden des so vorbereiteten Gesamtsystems. (Kann auf ein Gesamtsystem nach 18 leicht übertragen werden.)
    • 23 zeigt das Beam-Forming durch konstruktive und destruktive Interferenz auf Basis der Phaseninformation im Echosignal für Ultraschallwandler der Ultraschallwandleranordnung (1012) mit unterschiedlicher Position längs der Fahrzeugbreite.
    • 24 Zeigt die Begrenzung des Empfangsbereichs auf einen Winkelbereich durch einen Multiplanar-Reformatierer mittels Triangulation auf Basis der Phaseninformation im Echosignal für Ultraschallwandler der Ultraschallwandleranordnung (1012) mit unterschiedlicher Höhenposition.
  • Beschreibung der Figuren
  • Figuren 1 und 2
  • Die 1 und 2 sind oben im Text beschrieben.
  • Figur 3
  • 3 zeigt den Aufbau des vorgeschlagenen Ultraschallmesssystems (164) für die Anwendung in einem Fahrzeug. Bei dem Fahrzeug kann es sich beispielsweise um ein Kfz, ein Motorrad, ein Fluggerät oder ein Schiff oder dergleichen handeln.
  • Eine vorschlagsgemäße Ultraschallwandleranordnung (11) erfasst Ultraschallmesswerte durch Aussenden von Ultraschallwellen und Empfangen der Echosignale. Die Ultraschallwandleranordnung (11) kann hierbei eine ein- oder zweidimensionale Anordnung von einem oder mehreren Ultraschallwandlern sein, um Messwerte in ein, zwei oder drei Dimensionen, zu erfassen. Ein Ultraschallwandler der Ultraschallwandleranordnung kann im Sinne dieses Vorschlags aus einem Ultraschallsender und aus einem davon getrennten Ultraschallempfänger im Raummultiplex oder einem Ultraschalltransducer, der im Zeitmultiplex sendet und empfängt, bestehen. Die Ultraschallwandleranordnung (11) ist mit einer Ansteuerungselektronik (12) verbunden, die optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Ultraschallsignale der einzelnen Ultraschallwandler der Ultraschallwandleranordnung (11) fähig sein kann. Die Ansteuerungselektronik (12) steuert die entsprechenden Ultraschallwandler der Ultraschallwandleranordnung (11) zum vorzugsweise gerichteten Aussenden oder Empfangen der Ultraschallsignale an. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Ultraschallsignalen durch die Ultraschallwandleranordnung (11) wird gesteuert durch eine Sendersteuerung (13). Diese ist mit der Ansteuerungselektronik (12) verbunden und stellt die Sendeparameter der Ultraschallwandler der Ultraschallwandleranordnung (11) ein, abhängig von Einstellungen, die über die in einem optionalen Speicher abgelegten optionalen Benutzereinstellungen (14), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der Sendersteuerung (13) gesteuert werden können, sind beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Die durch die Ultraschallwandler der Ultraschallwandleranordnung (11) empfangenen Echosignale werden von dem Signalprozessor (15) verarbeitet, einschließlich Filterung mittels digitaler Filter und Rauschunterdrückung. Bei dem Signalprozessor (15) kann es sich auch ganz oder teilweise um eine digitale Signalverarbeitungsvorrichtung, beispielsweise einen Signalprozessor im Sinne der Prozessortechnik oder eine wirkungsgleiche Vorrichtung, und/oder eine analoge Schaltung und/oder eine Mischung dieser beiden Schaltungsvarianten handeln. Die vom Signalprozessor (15) aufbereiteten Empfangssignale sind die Eingangssignale des ersten neuronalen Netzwerkmodells (16), das typischerweise auf einem digitalen Speicher eines Rechners abgelegt ist. Das erste neuronale Netzwerkmodell (16) kann beispielsweise auch als spezielle mikroelektronische Schaltung oder andere funktionsgleiche Vorrichtung realisiert werden. Das neuronale Netzwerkmodell (16) ist die Umsetzung eines Deep-Learning-Verfahrens, wie oben beschrieben. Das Training des ersten neuronalen Netzwerkmodells (16) erfolgt mittels Trainingsdaten verschiedener Objekte in verschieden Positionen. Diese Trainingsdaten können mittels Messung und/oder Simulation ermittelt werden. Den Datensätzen der Trainingsdaten werden vor dem Training Bewertungsdaten zugeordnet, die die erwartete Bewertung durch das erste neuronale Netzwerkmodell (16) repräsentieren und die durch die Trainingsvorrichtung zur Entscheidung ob und wie die Parameter des ersten neuronalen Netzwerkmodells (16) geändert werden müssen, genutzt werden. Diese Trainingsdaten sind in einem digitalen Speicher (17) abgespeichert. Zum Training (22) können Methoden des überwachten oder des nicht-überwachten Lernens angewendet werden. Nach Abschluss des Trainings (22) können die trainierten Daten für die Parametrisierung der Verknüpfungen des ersten neuronalen Netzwerkmodells (16) in eine Datenbank neuronaler Netzwerkdaten extrahiert (=abgespeichert) (35) werden. Diese können dann in ein baugleiches Ultraschallmesssystem (164) oder im Wesentlichen baugleiches Ultraschallmesssystem ohne gesondertes Training in der Produktion baugleicher oder im Wesentlichen baugleicher weiterer Ultraschallmesssysteme (164) geladen werden, ohne dass ein Training (22) der weiteren baugleichen Ultraschallmesssysteme (164) erfolgen muss. Ein Ultraschallmesssystem (164) gilt im Sinne dieser Offenlegung dann als baugleich, wenn das Ultraschallmesssystem (164) bei Verwendung der auf diese Weise ermittelten Netzwerkdaten seinen bestimmungsgemäßen Zweck erfüllt. Bei den Netzwerkdaten handelt es sich im Wesentlichen um die Parameter des neuronalen Netzwerkmodells. Es ist sinnvoll mit einem Laboraufbau diese Netzwerkdaten zu ermitteln und die Netzwerkdaten dann in ein serientaugliches Serienprodukt einzuspeisen. Dies hat den Vorteil, dass die zeitintensive Anfangstrainingsphase in der Produktion eingespart werden kann. Die baugleichen weiteren Ultraschallmesssysteme (164) optimieren sich dann im Betrieb von diesem vorgegebenen Startpunkt selbst weiter. Als baugleiches Ultraschallmesssystem (164) wird im Sinne dieser Offenlegung somit ein Ultraschallmesssystem (164) angesehen, dass dazu geeignet oder bestimmt ist, die ermittelten Trainingsdaten in der Datenbank neuronaler Netzwerkdaten des Ultraschallmesssystems (164) zu verwenden. Bei dem Ultraschallmesssystem (164), mit dessen Hilfe die Trainingsdaten in der Datenbank neuronaler Netzwerkdaten ermittelt wurden kann es sich beispielsweise um ein Laborsystem mit erheblichen mechanischen Qualitätsmängeln handeln, während es sich bei den weiteren baugleichen Ultraschallmesssystemen (164) um produktionsreife mechanisch stabile Ultraschallmesssysteme (164) handeln kann, die in Aussehen und Form erheblich von dem Laborsystem abweichen können.
  • Die Ausgabewerte des ersten neuronalen Netzwerkmodells (16) sind bevorzugt die Positionen der erkannten Objekte und bevorzugt deren Klassifizierung, sowie beispielsweise ein entsprechender Konfidenzwert der dem erkannten Erkennungsergebnis als Ganzes zugeordnet sein kann, und/oder Konfidenzwerte, die den einzelnen Objekten jeweils zugeordnet sind. Weitere Daten können Teil der Ausgabewerte sein. Auch sind zueinander alternative Hypothesenlisten möglich, wobei die Hypothesenliste alternative Erkennungsergebnisse mit unterschiedlichen Konfidenzwerten für diese Objekterkennungsergebnisse umfasst. Jedes Objekterkennungsergebnis umfasst dabei ein oder mehrere Objekte. Der bevorzugt verwendete Bildprozessor (18) setzt diese Informationen in eine geeignete zwei- oder dreidimensionale Darstellung um, die von der Anzeige (19) für den Fahrzeugführer ausgegeben wird. Die Informationen über Objektpositionen und Klassifizierungen werden bevorzugt auch an die Benutzersteuerung (110) übergeben. Die Auswahl einer abgespeicherten Benutzersteuerung oder die Anpassung von Regelparametern einer Steuerung als Reaktion auf die Klassifizierung wird von der Benutzersteuerung (110) umgesetzt und an den Einstellungsspeicher (14) weitergegeben, bzw. von der Benutzersteuerungsanzeige (111) angezeigt. Der Einstellungsspeicher (14) übermittelt auch von der Klassifizierung abhängige Parameter an den Bildprozessor (18), sodass die von der Anzeige (19) ausgegebene Darstellung der Objekte und ihrer Identifikation automatisch geeignet angepasst werden kann.
  • Figur 4
  • 4 zeigt ein Modell zum Trainieren und Verwenden des beschriebenen neuronalen Netzwerkmodells zur Positionsbestimmung und Klassifizierung von Objekten in der Umgebung des Fahrzeugs. Im Installationsschritt (21) wird auf einem Rechnersystem ein erstes neuronales Netzwerkmodell (16) als Basis des Deep Learning Verfahrens installiert. Dem ersten neuronalen Netzwerkmodell (16) werden im Trainings-Schritt (22) die entsprechenden Trainings-Empfangssignale von vermessenen oder simulierten Objekten in möglichst vielen verschiedenen Anordnungen und Positionen als Eingangswerte übergegeben. In einem Identifikationsschritt (23) werden die Objekte für das neuronale Netzwerkmodell identifiziert. Während des Trainings-Schritts (22) und des Identifikationsschritts (23) geschieht das eigentliche Lernen. Die Antworten des ersten neuronalen Netzwerkmodells (16) werden dabei mit Bewertungsdaten verglichen und die Parameter des ersten neuronalen Netzwerkmodells (16) geeignet modifiziert. Hierfür sollte eine möglichst große Menge an Trainingsdaten verwendet werden.
  • Das trainierte erste neuronale Netzwerkmodell (16) befindet sich im Fahrzeug bevorzugt auf einem digitalen Speicher, s. 3. Hier werden dem trainierten erste neuronalen Netzwerkmodell im Identifizierungsschritt (24) die Live-Ultraschallempfangssignale aus dem Betrieb der Ultraschallwandleranordnung (11) übergeben, um eine Bestimmung der Position und eine Klassifizierung der Objekte durchzuführen. Die Ausgabewerte des ersten neuronalen Netzwerkmodells (16), die Position und die Klassifizierung umfassen können, werden dann im nachfolgenden Verwendungsschritt (25) vom beschriebenen System weiterverwendet.
  • 5
    zeigt ein Modell zum Trainieren und Abspeichern der Parameter des ersten neuronalen Netzwerkmodells (16).
  • Im Installationsschritt (21) wird auf einem Rechnersystem ein erstes neuronales Netzwerkmodell (16) als Basis des Deep Learning Verfahrens installiert. Dem ersten neuronalen Netzwerkmodell (16) werden im Trainings-Schritt (22) die entsprechenden Trainings-Empfangssignale von vermessenen oder simulierten Objekten in möglichst vielen verschiedenen Anordnungen und Positionen als Eingangswerte übergegeben. In einem Identifikationsschritt (23) werden die Objekte für das neuronale Netzwerkmodell identifiziert. Während des Trainings-Schritts (22) und des Identifikationsschritts(23) geschieht das eigentliche Lernen. Die Antworten des ersten neuronalen Netzwerkmodells (16) werden dabei mit Bewertungsdaten verglichen und die Parameter des ersten neuronalen Netzwerkmodells (16) geeignet modifiziert. Hierfür sollte eine möglichst große Menge an Trainingsdaten verwendet werden.
  • Die Netzwerkdaten (Parameterdaten) des trainierten ersten neuronalen Netzwerkmodells (16) werden im Gegensatz zur 4 nun jedoch in einem Sicherungsschritt (35) abgespeichert.
  • 6
    zeigt ein Modell zum Laden der im Sicherungsschritt (35) abgespeicherten Parameter des ersten neuronalen Netzwerkmodells (16) und zum anschließenden Verwenden des ersten neuronalen Netzwerkmodells (16).
  • In einem Ladeschritt (41) werden die zuvor im Speicherschritt auf einem ersten Ultraschallmesssystem (164) abgespeicherten Parameter (Netzwerkdaten) des ersten neuronalen Netzwerkmodells (16) wieder in den Speicher des ersten neuronalen Netzwerkmodells (16) eines zweiten Ultraschallmesssystems (164), das im Wesentlichen gleich dem ersten Ultraschallmesssystem (164) ist, geladen. Bei diesem Ladeschritt (41) kann es sich auch um einen Konstruktionsschritt handeln, bei dem die Struktur und Konstruktion des zweiten Ultraschallmesssystems (164) so festgelegt wird, dass sie funktional einem Ultraschallmesssystem (164) mit einem solchen Speicher gelichkommt.
  • Das mittels dieses Ladeschritts (41) trainierte erste neuronale Netzwerkmodell (16) des zweiten Ultraschallmesssystems (164) befindet sich dann schließlich zu einem typischerweise späteren Zeitpunkt im Fahrzeug bevorzugt auf dem besagten digitalen Speicher, s. 3, des zweiten Ultraschallmesssystems (164). Hier werden dem trainierten ersten neuronalen Netzwerkmodell (16) im Identifizierungsschritt (24) die Live-Ultraschallempfangssignale aus dem Betrieb der Ultraschallwandleranordnung (11) im Fahrzeugbetrieb übergeben, um beispielsweise eine Bestimmung der Position und eine Klassifizierung der Objekte durchzuführen. Die Ausgabewerte des ersten neuronalen Netzwerkmodells (16), die Position und die Klassifizierung umfassen können, werden dann im nachfolgenden Verwendungsschritt (25) vom beschriebenen System wie zuvor dann bevorzugt weiterverwendet.
  • Figur 7
  • 7 zeigt ein Modell zum Trainieren und Verwenden des beschriebenen zweiten neuronalen Netzwerkmodells (136) zur Positionsbestimmung und Klassifizierung von Objekten in der Umgebung des Fahrzeugs mittels eines zweiten Messsystems (161). Im Installationsschritt (51) wird auf einem Rechnersystem ein zweites neuronales Netzwerkmodell (136) als Basis des Deep Learning Verfahrens installiert. Dem zweiten neuronalen Netzwerkmodell (136) werden in einem Trainings-Schritt (52) die entsprechenden Trainings-Empfangssignale von vermessenen oder simulierten Objekten in möglichst vielen verschiedenen Anordnungen und Positionen als Eingangswerte übergegeben. In einem Identifikationsschritt (53) werden die Objekte für das zweite neuronale Netzwerkmodell (136) identifiziert. Während des Trainings-Schritts (52) und des Identifikationsschritts (53) geschieht das eigentliche Lernen. Die Antworten des zweiten neuronalen Netzwerkmodells (136) werden dabei mit Bewertungsdaten verglichen und die Parameter des zweiten neuronalen Netzwerkmodells (136) geeignet modifiziert. Hierfür sollte ebenfalls eine möglichst große Menge an Trainingsdaten verwendet werden.
  • Das trainierte zweite neuronale Netzwerkmodell (136) befindet sich im Fahrzeug bevorzugt auf einem digitalen Speicher. Hier werden dem trainierten zweiten neuronalen Netzwerkmodell (136) im Identifizierungsschritt (54) die Live-Messsignale aus dem Betrieb der Sensoranordnung (131) übergeben, um beispielsweise eine alternative Bestimmung der Position und eine alternative Klassifizierung der Objekte durchzuführen. Die Ausgabewerte des zweiten neuronalen Netzwerkmodells (136), die beispielsweise die alternative Position und die alternative Klassifizierung umfassen können, werden dann im nachfolgenden Verwendungsschritt (55) vom beschriebenen System weiterverwendet.
  • 8
    zeigt ein Modell zum Trainieren und Abspeichern der Parameter des zweiten neuronalen Netzwerkmodells (136).
  • Im Installationsschritt (51) wird auf einem Rechnersystem ein zweites neuronales Netzwerkmodell (136) als Basis des Deep-Learning-Verfahrens installiert. Dem zweiten neuronalen Netzwerkmodell (136) werden in Trainings-Schritt (52) die entsprechenden Trainings-Empfangssignale von vermessenen oder simulierten Objekten in möglichst vielen verschiedenen Anordnungen und Positionen als Eingangswerte übergegeben. In einem Identifikationsschritt (53) werden die Objekte für das zweite neuronale Netzwerkmodell (136) identifiziert. Während des Trainingsschritts (52) und des Identifikationsschritts (53) geschieht das eigentliche Lernen. Die Antworten des zweiten neuronalen Netzwerkmodells (136) werden dabei mit Bewertungsdaten verglichen und die Parameter des zweiten neuronalen Netzwerkmodells (136) geeignet modifiziert. Hierfür sollte wieder eine möglichst große Menge an Trainingsdaten verwendet werden.
  • Die Netzwerkdaten (Parameterdaten) des trainierten zweiten neuronalen Netzwerkmodells (136) werden im Gegensatz zur 7 nun jedoch in einem Sicherungsschritt (65) abgespeichert.
  • 9
    zeigt ein Modell zum Laden der im Sicherungsschritt (65) abgespeicherten Parameter des zweiten neuronalen Netzwerkmodells (136) und zum anschließenden Verwenden des zweiten neuronalen Netzwerkmodells (136).
  • In einem Ladeschritt (71) werden die zuvor im Sicherungsschritt (65) auf einem ersten Gesamtmesssystem abgespeicherten Parameter (Netzwerkdaten) des zweiten neuronalen Netzwerkmodells (136) wieder in den Speicher des zweiten neuronalen Netzwerkmodells (136) eines zweiten Gesamtmesssystems, das im Wesentlichen gleich dem ersten Gesamtmesssystem ist, geladen. Bei diesem Ladeschritt (71) kann es sich auch um einen Konstruktionsschritt handeln, bei dem die Struktur und Konstruktion des zweiten Gesamtmesssystems so festgelegt wird, dass sie funktional einem Gesamtmesssystem mit einem solchen Speicher gleichkommt.
  • Das mittels dieses Ladeschritts (71) trainierte zweite neuronale Netzwerkmodell (136) des zweiten Gesamtmesssystems befindet sich dann schließlich zur einem typischerweise späteren Zeitpunkt im Fahrzeug bevorzugt auf dem besagten digitalen Speicher des zweiten Gesamtmesssystems. Hier werden dem trainierten zweiten neuronalen Netzwerkmodell (136) im Identifizierungsschritt (54) die Live-Messsignale aus dem Betrieb der Sensoranordnung (131) im Fahrzeugbetrieb übergeben, um beispielsweise eine alternative Bestimmung der alternativen Position und eine alternative Klassifizierung der Objekte durchzuführen. Die Ausgabewerte des zweiten neuronalen Netzwerkmodells (136), die alternative Position und die alternative Klassifizierung umfassen können, werden dann im nachfolgenden Verwendungsschritt (55) vom beschriebenen System wie zuvor dann bevorzugt weiterverwendet.
  • 10
    zeigt schematisch das erste Kombinationsverfahren aus Abschnitt E). Es werden zwei Verfahren bevorzugt parallel durchgeführt.
  • Zum einen erfolgt eine Installation (51) des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) auf einem zweiten Rechnersystem. Zum anderen erfolgt in analoger Weise die Installation (21) des ersten neuronalen Netzwerkmodells (16) für das Ultraschallmesssystem (164) auf einem ersten Rechnersystem. Das erste Rechnersystem und das zweite Rechnersystem können hardwaremäßig gleich und/oder identisch sein. Auch kann es sich bei einem oder beiden Rechnersystemen um eine analoge Schaltung handeln, die die Rechenoperationen der neuronalen Netzwerkmodelle ausführt und nicht unbedingt programmierbar sein muss. Im Sinne dieser Offenlegung kann eine solche Installation vielmehr immer auch so erfolgen, dass die Struktur und wesentliche Parameter des jeweiligen neuronalen Netzwerkmodells beispielsweise in Form einer geeigneten elektronischen Schaltung in der Konstruktionsphase fest vorgegeben werden. Es kann sich also beispielsweise auch um einen Analog- oder Hybridrechner handeln, der in Form einer elektrischen Schaltung die Struktur und/oder Parametrisierung des jeweiligen neuronalen Netzwerkmodells in Teilen fest vorgibt. Eine gemeinsame Installation der neuronalen Netzwerkmodelle (16, 136, 138) in Form von reiner Software auf einem vollprogrammierbaren Rechnersystem in Harvard und/oder Von-Neumann-Architektur ist aber vorzuziehen und bevorzugt.
  • Typischerweise folgen das Laden (71) von zuvor gesicherten Parametern des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) aus dem zweiten Trainingsdatenspeicher (137) als aktuelle Parameter des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) und das Laden (41) von vorzugsweise ebenfalls zuvor gesicherten Parametern des ersten neuronalen Netzwerkmodells (16) für das Ultraschallmesssystem (164) aus dem ersten Trainingsdatenspeicher (17) als aktuelle Parameter des ersten neuronalen Netzwerkmodells (16). Auf diese Weise ist das Gesamtmesssystem nun für die Verarbeitung von Signalen vorbereitet. Zur Verarbeitung der Signale erfolgen nun Übergabe (54) von Live-Sensorsignalen an das trainierte zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) und Durchführung einer Objektidentifizierung durch das trainierte zweite neuronale Netzwerkmodell (136) zur Erzeugung eines zweiten Objekterkennungsergebnisses und die Übergabe (24) von Live-Ultraschallsignalen an das trainierte erste neuronale Netzwerkmodell für das Ultraschallmesssystem (164) im Fahrzeug und Durchführung einer Objektidentifizierung durch das trainierte erste neuronale Netzwerkmodell zur Erzeugung eines ersten Objekterkennungsergebnisses.
  • Die Live-Ultraschallsignale unterscheiden sich hierbei von den Ultraschallsignalen mit denen die Parameter des ersten neuronalen Netzwerkmodells (16) ermittelt wurden dadurch, dass sie nun in der eigentlichen Anwendung durch die Ultraschallwandleranordnung (11) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Die Live-Sensorsignale unterscheiden sich hierbei von den Sensorsignalen mit denen die Parameter des zweiten neuronalen Netzwerkmodells (136) ermittelt wurden dadurch, dass sie nun in der eigentlichen Anwendung durch die Sensoranordnung (131) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Abschließend erfolgt ein Vergleich (84) der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung und die Ermittlung (84) einer gemeinsamen Objekterkennungshypothese, die das Erkennungsergebnis des Gesamtmesssystems darstellt. Bei der gemeinsamen Objekterkennungshypothese kann es sich um eine Liste von Objekten mit Erkennungswahrscheinlichkeiten und von Anordnungen solcher Objekte mit Erkennungswahrscheinlichkeiten handeln. Sie kann auch nur ein Objekt und/oder nur eine Anordnung enthalten. Eine Wahrscheinlichkeitsangabe muss nicht zwingend in der gemeinsamen Objekterkennungshypothese enthalten sein.
  • Der Lernprozess wird nun wie folgt durchgeführt:
    • Es erfolgt eine erste Parameteranpassung (86) des ersten neuronalen Netzwerkmodells (16) für das Ultraschallmesssystem (164) in Abhängigkeit vom Ergebnis des Vergleichs (84) der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung. Hierbei wird die Parameteranpassung in der Regel so durchgeführt, dass eine Nichtberücksichtigung von Teilen der ersten Objekterkennungsergebnisse des ersten neuronalen Netzwerkmodells (16) in der gemeinsamen Objekterkennungshypothese durch das dritte neuronale Netzwerkmodell (138), das den Vergleich (84) ausführt, zu einer Dämpfung der entsprechenden Parameter des ersten neuronalen Netzwerkmodells (16) führt und dass eine Berücksichtigung von Teilen der ersten Objekterkennungsergebnisse des ersten neuronalen Netzwerkmodells (16) in der gemeinsamen Objekterkennungshypothese durch das dritte neuronale Netzwerkmodell (138), das den Vergleich (84) ausführt, zu einer Verstärkung der entsprechenden Parameter des ersten neuronalen Netzwerkmodells (16) führt.
  • Es erfolgt eine zweite Parameteranpassung (87) des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) in Abhängigkeit vom Ergebnis des Vergleichs (84) der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung. Hierbei wird die Parameteranpassung in der Regel so durchgeführt, dass eine Nichtberücksichtigung von Teilen der zweiten Objekterkennungsergebnisse des zweiten neuronalen Netzwerkmodells (136) in der gemeinsamen Objekterkennungshypothese durch das dritte neuronale Netzwerkmodell (138), das den Vergleich (84) ausführt, zu einer Dämpfung der entsprechenden Parameter des zweiten neuronalen Netzwerkmodells (136) führt und dass eine Berücksichtigung von Teilen der zweiten Objekterkennungsergebnisse des zweiten neuronalen Netzwerkmodells (136) in der gemeinsamen Objekterkennungshypothese durch das dritte neuronale Netzwerkmodell (138), das den Vergleich (84) ausführt, zu einer Verstärkung der entsprechenden Parameter des zweiten neuronalen Netzwerkmodells (136) führt.
  • Das dritte neuronale Netzwerkmodell (138), das den Vergleich (84) durchführt, trifft somit eine Entscheidung.
  • Als letzter Schritt erfolgt die Verwendung (85) der ermittelten gemeinsamen Objekterkennungshypothese.
  • 11
    zeigt ein Modell zum Trainieren und Verwenden des dritten neuronalen Netzwerkmodells (138).
  • Das Verfahren beginnt mit der Installation (91) des dritten neuronalen Netzwerkmodells (138) für den Vergleich der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung und für die Ermittlung einer gemeinsamen Objekterkennungshypothese auf einem dritten Rechnersystem. Das dritte Rechnersystem kann mit dem ersten und zweiten Rechnersystem der 10 identisch sein.
  • Wie oben bereits erwähnt kann es sich bei den Rechnersystemen auch um eine oder mehrere analoge Schaltungen handeln, die die Rechenoperationen der neuronalen Netzwerkmodelle ausführen und nicht unbedingt programmierbar sein müssen. Im Sinne dieser Offenlegung kann eine solche Installation (91) vielmehr immer auch so erfolgen, dass die Struktur und wesentliche Parameter des jeweiligen neuronalen Netzwerkmodells beispielsweise in Form einer geeigneten elektronischen Schaltung in der Konstruktionsphase fest vorgegeben werden. Es kann sich also beispielsweise auch um einen Analog- oder Hybridrechner handeln, der in Form einer elektrischen Schaltung die Struktur und/oder Parametrisierung des jeweiligen neuronalen Netzwerkmodells in Teilen fest vorgibt. Eine Installation (91) der neuronalen Netzwerkmodelle (16, 136, 138) in Form von reiner Software auf einem vollprogrammierbaren Rechnersystem in Harvard und/oder Von-Neumann-Architektur ist aber vorzuziehen und bevorzugt.
  • Es folgt ein Training (92) des dritten neuronalen Netzwerkmodells (138) durch Übergabe von korrekten und nicht korrekten ersten Objekterkennungsergebnissen und korrekten und nicht korrekten alternativen zweiten Objekterkennungsergebnissen an das dritte neuronale Netzwerkmodell (138) zusammen mit Daten über deren Korrektheit und/oder Nichtkorrektheit und Ermittlung der Parameter des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von diesen Daten und/oder Änderung der Parameter des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von diesen Daten. Dies kann beispielsweise so geschehen, dass erst das erste neuronale Netzwerkmodell (16) vollständig mit Labordaten trainiert wird und das zweite neuronale Netzwerkmodell (136) vollständig mit Labordaten trainiert wird. Sodann werden zueinander korrespondierende Labordatensätze als Trainingsdatensätze dem ersten neuronalen Netzwerkmodell (16) und dem zweiten neuronalen Netzwerkmodell (136) präsentiert. Diese erzeugen zu jedem dieser Trainingsdatensatzpaare ein erstes Objekterkennungsergebnis und ein zweites Objekterkennungsergebnis. Zu diesen wird dann jeweils manuell oder automatisch eine Zielobjekterkennungshypothese berechnet oder sonst wie bestimmt. Somit ergibt sich dann ein Trainingsdatensatz für das dritte neuronale Netzwerkmodell (138), bestehend aus dem jeweiligen ersten Objekterkennungsergebnis und dem jeweiligen zweiten Objekterkennungsergebnis und der jeweiligen Zielobjekterkennungshypothese, das das entsprechende Bewertungsdatum darstellt.
  • Mit diesen Daten kann dann das dritte neuronale Netzwerkmodell (138) trainiert (92) werden.
  • Ist das Training (92) erfolgreich abgeschlossen, so kann das System (z.B. eine Laborvorrichtung) oder eine ausreichend funktionsähnliche Vorrichtung (z.B. ein Serienprodukt) z.B. in einem Fahrzeug eingesetzt werden. Dort erfolgt dann die Übergabe (93) von ersten Live-Objekterkennungsergebnissen und von alternativen zweiten Live-Objekterkennungsergebnissen an das trainierte dritte neuronale Netzwerkmodell (138).
  • Erste Live-Objekterkennungsergebnisse unterscheiden sich von ersten Objekterkennungsergebnissen dadurch, dass sie mit ersten Live-Ultraschallsignalen erzeugt wurden, während erste Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Zweite Live- Objekterkennungsergebnisse unterscheiden sich von zweiten Objekterkennungsergebnissen dadurch, dass sie mit Live-Sensorsignalen erzeugt wurden, während zweite Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Die Live-Ultraschallsignale unterscheiden sich hierbei von den Ultraschallsignalen mit denen die Parameter des ersten neuronalen Netzwerkmodells (16) ermittelt wurden dadurch, dass sie nun in der eigentlichen Anwendung durch die Ultraschallwandleranordnung (11) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Die Live-Sensorsignale unterscheiden sich hierbei von den Sensorsignalen mit denen die Parameter des zweiten neuronalen Netzwerkmodells (136) ermittelt wurden dadurch, dass sie nun in der eigentlichen Anwendung durch die Sensoranordnung (131) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Durch das dritte Neuronale Netzwerkmodell (138) erfolgt dann die Ermittlung (94) einer gemeinsamen Objekterkennungshypothese auf Basis der ersten Live-Objekterkennungsergebnisse und der alternativen zweiten Live-Objekterkennungsergebnisse durch das dritte neuronale Netzwerkmodell (138).
  • Schließlich folgt die Verwendung (95) der durch das dritte neuronale Netzwerkmodell (138) für das Gesamtmesssystem ermittelten gemeinsamen Objekterkennungshypothese. Dies kann beispielsweise durch Warnmeldungen an den Fahrzeugführer etc. geschehen.
  • 12
    zeigt ein Modell zum Trainieren und Abspeichern der Parameter des dritten neuronalen Netzwerkmodells (138).
  • Das Verfahren beginnt mit der Installation (91) des dritten neuronalen Netzwerkmodells (138) für den Vergleich der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung und für die Ermittlung einer gemeinsamen Objekterkennungshypothese auf einem dritten Rechnersystem. Das dritte Rechnersystem kann mit dem ersten und zweiten Rechnersystem der 10 identisch sein.
  • Wie oben bereits erwähnt kann es sich bei den Rechnersystemen auch um eine oder mehrere analoge Schaltungen handeln, die die Rechenoperationen der neuronalen Netzwerkmodelle ausführen und nicht unbedingt programmierbar sein müssen. Im Sinne dieser Offenlegung kann eine solche Installation (91) vielmehr immer auch so erfolgen, dass die Struktur und wesentliche Parameter des jeweiligen neuronalen Netzwerkmodells beispielsweise in Form einer geeigneten elektronischen Schaltung in der Konstruktionsphase fest vorgegeben werden. Es kann sich also beispielsweise auch um einen Analog- oder Hybridrechner handeln, der in Form einer elektrischen Schaltung die Struktur und/oder Parametrisierung des jeweiligen neuronalen Netzwerkmodells in Teilen fest vorgibt. Eine Installation (91) in Form von reiner Software auf einem vollprogrammierbaren Rechnersystem in Harvard und/oder Von-Neumann-Architektur ist aber vorzuziehen und bevorzugt.
  • Es folgt ein Training (91) des dritten neuronalen Netzwerkmodells (138) durch Übergabe von korrekten und nicht korrekten ersten Objekterkennungsergebnissen und korrekten und nicht korrekten alternativen zweiten Objekterkennungsergebnissen an das dritte neuronale Netzwerkmodell (138) zusammen mit Daten über deren Korrektheit und/oder Nichtkorrektheit und Ermittlung der Parameter des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von diesen Daten und/oder Änderung der Parameter des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von diesen Daten. Dies kann beispielsweise so geschehen, dass erst das erste neuronale Netzwerkmodell (16) vollständig mit Labordaten trainiert wird und das zweite neuronale Netzwerkmodell (136) vollständig mit Labordaten trainiert wird. Sodann werden zueinander korrespondierende Labordatensätze als Trainingsdatensätze dem ersten neuronalen Netzwerkmodell (169 und dem zweiten neuronalen Netzwerkmodell (136) präsentiert. Diese erzeugen zu jedem dieser Trainingsdatensatzpaare ein erstes Objekterkennungsergebnis und ein zweites Objekterkennungsergebnis. Aus diesen wird dann manuell oder automatisch eine Zielobjekterkennungshypothese berechnet oder sonst wie bestimmt. Somit ergibt sich dann ein Trainingsdatensatz für das dritte neuronale Netzwerkmodell (136) bestehend aus dem jeweiligen ersten Objekterkennungsergebnis und dem jeweiligen zweiten Objekterkennungsergebnis und der jeweiligen Zielobjekterkennungshypothese, das das entsprechende Bewertungsdatum darstellt.
  • Mit diesen Daten kann dann das dritte neuronale Netzwerkmodell (138) trainiert (92) werden.
  • Ist das Training erfolgreich abgeschlossen, so kann das System (z.B. eine Laborvorrichtung) oder eine ausreichend funktionsähnliche Vorrichtung (z.B. ein Serienprodukt) z.B. in einem Fahrzeug eingesetzt werden. Dort erfolgt dann die Übergabe (93) von ersten Live- Objekterkennungsergebnissen und von alternativen zweiten Live-Objekterkennungsergebnissen an das trainierte dritte neuronale Netzwerkmodell (138).
  • Erste Live- Objekterkennungsergebnisse unterscheiden sich von ersten Objekterkennungsergebnissen dadurch, dass sie mit ersten Live-Ultraschallsignalen erzeugt wurden, während erste Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Zweite Live- Objekterkennungsergebnisse unterscheiden sich von zweiten Objekterkennungsergebnissen dadurch, dass sie mit Live-Sensorsignalen erzeugt wurden, während zweite Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Die Live-Ultraschallsignale unterscheiden sich hierbei von den Ultraschallsignalen mit denen die Parameter des ersten neuronalen Netzwerkmodells (16) ermittelt wurden dadurch, dass sie nun in der eigentlichen Anwendung durch die Ultraschallwandleranordnung (11) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Die Live-Sensorsignale unterscheiden sich hierbei von den Sensorsignalen mit denen die Parameter des zweiten neuronalen Netzwerkmodells (136) ermittelt wurden dadurch, dass sie nun in der eigentlichen Anwendung durch die Sensoranordnung (131) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Im Gegensatz zur 11 schließt das Verfahren der 12 nun mit der Sicherung (105) der Parameterdaten des trainierten dritten neuronalen Netzwerks (138) in einem dritten Trainingsdatenspeicher (139) ab. Hierdurch können die so gesicherten Parameter des dritten neuronalen Netzwerkmodells (138) auf funktionsähnliche Systeme durch Programmierung und/oder Konstruktion dieser Systeme oder von Teilen dieser verwendet werden.
  • 13
    zeigt ein Modell zum Laden der abgespeicherten Parameter des dritten neuronalen Netzwerkmodells (138) und dem anschließenden Verwenden des dritten neuronalen Netzwerkmodells (138).
  • Es werden die in dem Verfahren der 12 erstellen Daten verwendet. Somit beginnt das Verfahren mit dem Laden (111) der zuvor gesicherten Parameter des dritten neuronalen Netzwerkmodells (138) aus dem dritten Trainingsdatenspeicher (139) oder einem anderen Datenspeicher der gerade diese Daten vorhält in das dritte neuronale Netzwerkmodell (138). Hierbei kann sich dieses dritte neuronale Netzwerkmodell (138) in einem komplett anderen funktionsähnlichem Gesamtsystem befinden als das Gesamtsystem, mit dem die zu ladenden Daten erstellt wurden.
  • Durch das dritte neuronale Netzwerkmodell (138) erfolgt dann die Ermittlung (94) einer gemeinsamen Objekterkennungshypothese auf Basis der ersten Live-Objekterkennungsergebnisse und der alternativen zweiten Live-Objekterkennungsergebnisse durch das dritte neuronale Netzwerkmodell (138).
  • Schließlich folgt die Verwendung (95) der durch das dritte neuronale Netzwerkmodell (138) für das Gesamtmesssystem ermittelten gemeinsamen Objekterkennungshypothese. Dies kann beispielsweise durch Warnmeldungen an den Fahrzeugführer etc. geschehen.
  • 14
    zeigt ein Modell zum Trainieren und Verwenden des fünften neuronalen Netzwerkmodells (158).
  • Das Verfahren beginnt mit der Installation (201) des fünften neuronalen Netzwerkmodells (158) für den Vergleich der zweiten Objekterkennungsergebnisse der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten zweiten Objektidentifizierung mit den dritten Objekterkennungsergebnissen der durch das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162) durchgeführten alternativen dritten Objektidentifizierung und für die Ermittlung einer gemeinsamen Objekterkennungshypothese auf einem vierten Rechnersystem. Das vierte Rechnersystem kann mit dem ersten und/oder zweiten und/oder dritten Rechnersystem der 10 identisch sein.
  • Wie oben bereits erwähnt kann es sich bei den Rechnersystemen auch um eine oder mehrere analoge Schaltungen handeln, die die Rechenoperationen der neuronalen Netzwerkmodelle ausführen und nicht unbedingt programmierbar sein müssen. Im Sinne dieser Offenlegung kann eine solche Installation (201) vielmehr immer auch so erfolgen, dass die Struktur und wesentliche Parameter des jeweiligen neuronalen Netzwerkmodells beispielsweise in Form einer geeigneten elektronischen Schaltung in der Konstruktionsphase fest vorgegeben werden. Es kann sich also beispielsweise auch um einen Analog- oder Hybridrechner handeln, der in Form einer elektrischen Schaltung die Struktur und/oder Parametrisierung des jeweiligen neuronalen Netzwerkmodells in Teilen fest vorgibt. Eine Installation (201) der neuronalen Netzwerkmodelle (16, 136, 138, 156, 158) in Form von reiner Software auf einem vollprogrammierbaren Rechnersystem in Harvard und/oder Von-Neumann-Architektur ist aber vorzuziehen und bevorzugt.
  • Es folgt ein Training (202) des fünften neuronalen Netzwerkmodells (158) durch Übergabe von korrekten und nicht korrekten zweiten Objekterkennungsergebnissen und korrekten und nicht korrekten alternativen dritten Objekterkennungsergebnissen an das fünfte neuronale Netzwerkmodell (158) zusammen mit Daten über deren Korrektheit und/oder Nichtkorrektheit und Ermittlung der Parameter des fünften neuronalen Netzwerkmodells (158) in Abhängigkeit von diesen Daten und/oder Änderung der Parameter des fünften neuronalen Netzwerkmodells (158) in Abhängigkeit von diesen Daten. Dies kann beispielsweise so geschehen, dass erst das zweite neuronale Netzwerkmodell (136) vollständig mit Labordaten trainiert wird und erst das vierte neuronale Netzwerkmodell (156) vollständig mit Labordaten trainiert wird. Sodann werden zueinander korrespondierende Labordatensätze als Trainingsdatensätze dem zweiten neuronalen Netzwerkmodell (136) und dem vierten neuronalen Netzwerkmodell (156) präsentiert. Diese erzeugen zu jedem dieser Trainingsdatensatzpaare ein zweites Objekterkennungsergebnis und ein drittes Objekterkennungsergebnis. Zu diesen wird dann jeweils manuell oder automatisch eine Zielobjekterkennungshypothese berechnet oder sonst wie bestimmt. Somit ergibt sich dann ein Trainingsdatensatz für das fünfte neuronale Netzwerkmodell (158) bestehend aus dem jeweiligen ersten Objekterkennungsergebnis und dem jeweiligen zweiten Objekterkennungsergebnis und der jeweiligen Zielobjekterkennungshypothese, das das entsprechende Bewertungsdatum darstellt.
  • Mit diesen Daten kann dann das fünfte neuronale Netzwerkmodell (158) trainiert (202) werden.
  • Ist das Training (202) erfolgreich abgeschlossen, so kann das System (z.B. eine Laborvorrichtung) oder eine ausreichend funktionsähnliche Vorrichtung (z.B. ein Serienprodukt) z.B. in einem Fahrzeug eingesetzt werden. Dort erfolgt dann die Übergabe (203) von zweiten Live-Objekterkennungsergebnissen und von alternativen dritten Live-Objekterkennungsergebnissen an das trainierte fünfte neuronale Netzwerkmodell (158).
  • Zweite Live- Objekterkennungsergebnisse unterscheiden sich von zweiten Objekterkennungsergebnissen dadurch, dass sie mit Live-Sensorsignalen der zweiten Sensoranordnung (131) erzeugt wurden, während zweite Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Dritte Live- Objekterkennungsergebnisse unterscheiden sich von dritten Objekterkennungsergebnissen dadurch, dass sie mit dritten Live-Sensorsignalen der dritten Sensoranordnung (151) erzeugt wurden, während dritte Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Die zweiten Live-Sensorsignale der zweiten Sensoranordnung (131) unterscheiden sich hierbei von den zweiten Sensorsignalen der zweiten Sensoranordnung (131), mit denen die Parameter des zweiten neuronalen Netzwerkmodells (136) ermittelt wurden, dadurch, dass sie nun in der eigentlichen Anwendung durch die zweite Sensoranordnung (131) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Die dritten Live-Sensorsignale unterscheiden sich hierbei von den dritten Sensorsignalen der dritten Sensoranordnung (151), mit denen die Parameter des vierten neuronalen Netzwerkmodells (136) ermittelt wurden, dadurch, dass sie nun in der eigentlichen Anwendung durch die dritte Sensoranordnung (151) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Durch das fünfte Neuronale Netzwerkmodell (158) erfolgt dann die Ermittlung (204) einer gemeinsamen Objekterkennungshypothese auf Basis der zweiten Live-Objekterkennungsergebnisse und der dritten Live-Objekterkennungsergebnisse durch das fünfte neuronale Netzwerkmodell (158).
  • Schließlich folgt die Verwendung (205) der durch das fünfte neuronale Netzwerkmodell (158) für das Gesamtmesssystem ermittelten gemeinsamen Objekterkennungshypothese. Dies kann beispielsweise durch Warnmeldungen an den Fahrzeugführer etc. geschehen.
  • 15
    zeigt ein Modell zum Trainieren und Abspeichern der Parameter des fünften neuronalen Netzwerkmodells (158).
  • Das Verfahren beginnt mit der Installation (201) des fünften neuronalen Netzwerkmodells (158) für den Vergleich der zweiten Objekterkennungsergebnisse der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten zweiten Objektidentifizierung mit den dritten Objekterkennungsergebnissen der durch das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162) durchgeführten alternativen dritten Objektidentifizierung und für die Ermittlung einer gemeinsamen Objekterkennungshypothese auf einem vierten Rechnersystem. Das vierte Rechnersystem kann mit dem ersten und/oder zweiten und/oder dritten Rechnersystem der 10 identisch sein.
  • Wie oben bereits erwähnt kann es sich bei den Rechnersystemen auch um eine oder mehrere analoge Schaltungen handeln, die die Rechenoperationen der neuronalen Netzwerkmodelle ausführen und nicht unbedingt programmierbar sein müssen. Im Sinne dieser Offenlegung kann eine solche Installation (201) vielmehr immer auch so erfolgen, dass die Struktur und wesentliche Parameter des jeweiligen neuronalen Netzwerkmodells beispielsweise in Form einer geeigneten elektronischen Schaltung in der Konstruktionsphase fest vorgegeben werden. Es kann sich also beispielsweise auch um einen Analog- oder Hybridrechner handeln, der in Form einer elektrischen Schaltung die Struktur und/oder Parametrisierung des jeweiligen neuronalen Netzwerkmodells in Teilen fest vorgibt. Eine Installation (201) der neuronalen Netzwerkmodelle (16, 136, 138, 156, 158) in Form von reiner Software auf einem vollprogrammierbaren Rechnersystem in Harvard und/oder Von-Neumann-Architektur ist aber vorzuziehen und bevorzugt.
  • Es folgt ein Training (202) des fünften neuronalen Netzwerkmodells (158) durch Übergabe von korrekten und nicht korrekten zweiten Objekterkennungsergebnissen und korrekten und nicht korrekten alternativen dritten Objekterkennungsergebnissen an das fünfte neuronale Netzwerkmodell (158) zusammen mit Daten über deren Korrektheit und/oder Nichtkorrektheit und Ermittlung der Parameter des fünften neuronalen Netzwerkmodells (158) in Abhängigkeit von diesen Daten und/oder Änderung der Parameter des fünften neuronalen Netzwerkmodells (158) in Abhängigkeit von diesen Daten. Dies kann beispielsweise so geschehen, dass erst das zweite neuronale Netzwerkmodell (136) vollständig mit Labordaten trainiert wird und erst das vierte neuronale Netzwerkmodell (156) vollständig mit Labordaten trainiert wird. Sodann werden zueinander korrespondierende Labordatensätze als Trainingsdatensätze dem zweiten neuronalen Netzwerkmodell (136) und dem vierten neuronalen Netzwerkmodell (156) präsentiert. Diese erzeugen zu jedem dieser Trainingsdatensatzpaare ein zweites Objekterkennungsergebnis und ein drittes Objekterkennungsergebnis. Zu diesen wird dann jeweils manuell oder automatisch eine Zielobjekterkennungshypothese berechnet oder sonst wie bestimmt. Somit ergibt sich dann ein Trainingsdatensatz für das fünfte neuronale Netzwerkmodell (158) bestehend aus dem jeweiligen ersten Objekterkennungsergebnis und dem jeweiligen zweiten Objekterkennungsergebnis und der jeweiligen Zielobjekterkennungshypothese, das das entsprechende Bewertungsdatum darstellt.
  • Mit diesen Daten kann dann das fünfte neuronale Netzwerkmodell (158) trainiert (202) werden.
  • Ist das Training (202) erfolgreich abgeschlossen, so kann das System (z.B. eine Laborvorrichtung) oder eine ausreichend funktionsähnliche Vorrichtung (z.B. ein Serienprodukt) z.B. in einem Fahrzeug eingesetzt werden. Dort erfolgt dann die hier nur optionale Übergabe (203) von zweiten Live-Objekterkennungsergebnissen und von alternativen dritten Live-Objekterkennungsergebnissen an das trainierte fünfte neuronale Netzwerkmodell (158). Dieser optionale Schritt dient hier dem Lernen in der Realen Anwendung.
  • Zweite Live- Objekterkennungsergebnisse unterscheiden sich von zweiten Objekterkennungsergebnissen dadurch, dass sie mit Live-Sensorsignalen der zweiten Sensoranordnung (131) erzeugt wurden, während zweite Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Dritte Live- Objekterkennungsergebnisse unterscheiden sich von dritten Objekterkennungsergebnissen dadurch, dass sie mit dritten Live-Sensorsignalen der dritten Sensoranordnung (151) erzeugt wurden, während dritte Objekterkennungsergebnisse beispielsweise mit Labor- und/oder Simulationsdaten erzeugt werden können.
  • Die zweiten Live-Sensorsignale der zweiten Sensoranordnung (131) unterscheiden sich hierbei von den zweiten Sensorsignalen der zweiten Sensoranordnung (131), mit denen die Parameter des zweiten neuronalen Netzwerkmodells (136) ermittelt wurden, dadurch, dass sie nun in der eigentlichen Anwendung durch die zweite Sensoranordnung (131) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Die dritten Live-Sensorsignale unterscheiden sich hierbei von den dritten Sensorsignalen der dritten Sensoranordnung (151), mit denen die Parameter des vierten neuronalen Netzwerkmodells (136) ermittelt wurden, dadurch, dass sie nun in der eigentlichen Anwendung durch die dritte Sensoranordnung (151) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Im Gegensatz zur 14 schließt das Verfahren der 15 nun mit der Sicherung (215) der Parameterdaten des trainierten fünften neuronalen Netzwerks (158) in einem fünften Trainingsdatenspeicher (159) ab. Hierdurch können die so gesicherten Parameter des fünften neuronalen Netzwerkmodells (158) in funktionsähnlichen Systemen durch Programmierung und/oder Konstruktion dieser Systeme oder von Teilen dieser verwendet werden.
  • 16
    zeigt ein Modell zum Laden der abgespeicherten Parameter des fünften neuronalen Netzwerkmodells (158) und dem anschließenden Verwenden des fünften neuronalen Netzwerkmodells (158).
  • Es werden die in dem Verfahren der 15 erstellen Daten verwendet. Somit beginnt das Verfahren mit dem Laden (211) der zuvor gesicherten Parameter des fünften neuronalen Netzwerkmodells (158) aus dem fünften Trainingsdatenspeicher (159) oder einem anderen Datenspeicher der gerade diese Daten vorhält in das fünfte neuronale Netzwerkmodell (158). Hierbei kann sich dieses fünfte neuronale Netzwerkmodell (158) in einem komplett anderen, funktionsähnlichen Gesamtsystem befinden als das Gesamtsystem, mit dem die zu ladenden Daten erstellt wurden.
  • Durch das fünfte neuronale Netzwerkmodell (158) erfolgt dann die Ermittlung (204) einer gemeinsamen Objekterkennungshypothese auf Basis der zweiten Live-Objekterkennungsergebnisse und der dritten Live-Objekterkennungsergebnisse durch das fünfte neuronale Netzwerkmodell (158).
  • Schließlich folgt die Verwendung (205) der durch das fünfte neuronale Netzwerkmodell (158) für das Gesamtmesssystem ermittelten gemeinsamen Objekterkennungshypothese. Dies kann beispielsweise durch Warnmeldungen an den Fahrzeugführer etc. geschehen.
  • 17
    zeigt schematisch das zweite Kombinationsverfahren aus Abschnitt F).
  • Zum Ersten erfolgt eine Installation (51) eines zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) auf einem zweiten Rechnersystem.
  • Zum Zweiten erfolgt eine Installation (61) eines vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162) auf einem vierten Rechnersystem.
  • Zum Dritten erfolgt eine Installation (201) eines fünften neuronalen Netzwerkmodells (158) auf einem fünften Rechnersystem.
  • Das zweite Rechnersystem und/oder das vierte Rechnersystem und/oder das fünfte Rechnersystem können hardwaremäßig gleich und/oder identisch sein. Auch kann es sich bei einem, mehreren oder allen Rechnersystemen um eine analoge Schaltung handeln, die die Rechenoperationen der neuronalen Netzwerkmodelle (136, 156, 158) ausführt und nicht unbedingt programmierbar sein muss. Im Sinne dieser Offenlegung kann eine solche Installation vielmehr immer auch so erfolgen, dass die Struktur und wesentliche Parameter des jeweiligen neuronalen Netzwerkmodells beispielsweise in Form einer geeigneten elektronischen Schaltung in der Konstruktionsphase fest vorgegeben werden. Es kann sich also beispielsweise auch um einen Analog- oder Hybridrechner handeln, der in Form einer elektrischen Schaltung die Struktur und/oder Parametrisierung des jeweiligen neuronalen Netzwerkmodells in Teilen fest vorgibt. Eine Installation in Form von reiner Software auf einem vollprogrammierbaren Rechnersystem in Harvard und/oder Von-Neumann-Architektur ist aber vorzuziehen und bevorzugt.
  • Typischerweise folgt das Laden (71) von zuvor gesicherten Parametern des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) aus dem zweiten Trainingsdatenspeicher (137) als aktuelle Parameter des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161).
  • Typischerweise folgt das Laden (72) von zuvor gesicherten Parametern des vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162) aus dem vierten Trainingsdatenspeicher (157) als aktuelle Parameter des vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162).
  • Typischerweise folgt das Laden (211) von zuvor gesicherten Parametern des fünften neuronalen Netzwerkmodells (158) aus dem fünften Trainingsdatenspeicher (159) als aktuelle Parameter des fünften neuronalen Netzwerkmodells (158).
  • Auf diese Weise ist das Gesamtmesssystem nun für die Verarbeitung von Signalen vorbereitet.
  • Zur Verarbeitung der Signale erfolgen nun zum Ersten eine Übergabe (54) von zweiten Live-Sensorsignalen der zweiten Sensoranordnung (131) an das trainierte zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) und zum Zweiten eine Übergabe (64) von dritten Live-Sensorsignalen der dritten Sensoranordnung (151) an das trainierte vierte neuronale Netzwerkmodell (1356) für das dritte Messsystem (162)
  • Dabei erfolgt die Durchführung einer zweiten Objektidentifizierung durch das trainierte zweite neuronale Netzwerkmodell (136) zur Erzeugung eines zweiten Objekterkennungsergebnisses und die Durchführung einer dritten Objektidentifizierung durch das trainierte vierte neuronale Netzwerkmodell (156) zur Erzeugung eines dritten Objekterkennungsergebnisses.
  • Die zweiten Live-Sensorsignale der zweiten Sensoranordnung (131) unterscheiden sich hierbei von den zweiten Sensorsignalen der zweiten Sensoranordnung (131) mit denen die Parameter des zweiten neuronalen Netzwerkmodells (136) ermittelt wurden, dadurch, dass sie nun in der eigentlichen Anwendung durch die zweite Sensoranordnung (131) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Die dritten Live-Sensorsignale der dritten Sensoranordnung (151) unterscheiden sich hierbei von den dritten Sensorsignalen der dritten Sensoranordnung (151) mit denen die Parameter des vierten neuronalen Netzwerkmodells (156) ermittelt wurden dadurch, dass sie nun in der eigentlichen Anwendung durch die dritte Sensoranordnung (151) im Zielbetrieb, also beispielsweise im Fahrzeug des Konsumenten während der Benutzung des Fahrzeugs, und nicht im Labor oder bei Testfahrten ermittelt werden.
  • Es folgt die Übergabe (203) von ersten Live- Objekterkennungsergebnissen und von alternativen zweiten Live-Objekterkennungsergebnissen an das trainierte dritte neuronale Netzwerkmodell (138) Abschließend erfolgt ein Vergleich (204) der zweiten Objekterkennungsergebnisse der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten zweiten Objektidentifizierung mit den dritten Objekterkennungsergebnissen der durch das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162) durchgeführten dritten Objektidentifizierung und die Ermittlung (204) einer gemeinsamen Objekterkennungshypothese, die das Erkennungsergebnis des Gesamtmesssystems darstellt. Bei der gemeinsamen Objekterkennungshypothese kann es sich um eine Liste von Objekten mit Erkennungswahrscheinlichkeiten und von Anordnungen solcher Objekte mit Erkennungswahrscheinlichkeiten handeln. Sie kann auch nur ein Objekt und/oder nur eine Anordnung enthalten. Eine Wahrscheinlichkeitsangabe muss nicht zwingend in der gemeinsamen Objekterkennungshypothese enthalten sein.
  • Der Lernprozess wird nun wie folgt durchgeführt:
    • Es erfolgt eine zweite Parameteranpassung (87) des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) in Abhängigkeit vom Ergebnis des Vergleichs (204) der zweiten Objekterkennungsergebnisse der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten zweiten Objektidentifizierung mit den dritten Objekterkennungsergebnissen der durch das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162) durchgeführten alternativen dritten Objektidentifizierung. Hierbei wird die Parameteranpassung in der Regel so durchgeführt, dass eine Nichtberücksichtigung von Teilen der zweiten Objekterkennungsergebnisse des zweiten neuronalen Netzwerkmodells (136) in der gemeinsamen Objekterkennungshypothese durch das fünfte neuronale Netzwerkmodell (158), das den Vergleich (204) ausführt, zu einer Dämpfung der entsprechenden Parameter des zweiten neuronalen Netzwerkmodells (136) führt und dass eine Berücksichtigung von Teilen der zweiten Objekterkennungsergebnisse des zweiten neuronalen Netzwerkmodells (136) in der gemeinsamen Objekterkennungshypothese durch das fünfte neuronale Netzwerkmodell (158), das den Vergleich (204) ausführt, zu einer Verstärkung der entsprechenden Parameter des zweiten neuronalen Netzwerkmodells (136) führt.
  • Es erfolgt eine vierte Parameteranpassung (88) des vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162) in Abhängigkeit vom Ergebnis des Vergleichs (204) der zweiten Objekterkennungsergebnisse der durch das zweite neuronale Netzwerkmodell (136) für das erste Messsystem (161) durchgeführten zweiten Objektidentifizierung mit den alternativen dritten Objekterkennungsergebnissen der durch das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162) durchgeführten alternativen dritten Objektidentifizierung. Hierbei wird die Parameteranpassung in der Regel so durchgeführt, dass eine Nichtberücksichtigung von Teilen der dritten Objekterkennungsergebnisse des vierten neuronalen Netzwerkmodells (156) in der gemeinsamen Objekterkennungshypothese durch das fünfte neuronale Netzwerkmodell (158), das den Vergleich (204) ausführt, zu einer Dämpfung der entsprechenden Parameter des vierten neuronalen Netzwerkmodells (1356) führt und dass eine Berücksichtigung von Teilen der dritten Objekterkennungsergebnisse des vierten neuronalen Netzwerkmodells (156) in der gemeinsamen Objekterkennungshypothese durch das fünfte neuronale Netzwerkmodell (158), das den Vergleich (204) ausführt, zu einer Verstärkung der entsprechenden Parameter des vierten neuronalen Netzwerkmodells (156) führt.
  • Das fünfte neuronale Netzwerkmodell (158), das den Vergleich (204) durchführt, trifft somit eine Entscheidung.
  • Die Verwendung (205) der durch das fünfte neuronale Netzwerkmodell (158) für das Gesamtmesssystem ermittelten gemeinsamen Objekterkennungshypothese schließt das Verfahren ab.
  • 18
    zeigt den Aufbau des vorgeschlagenen kombinierten Gesamtsystems aus einem Ultraschallmesssystem (164) und einem zweiten Messsystem (161) für das entsprechende erste Kombinationsverfahren gemäß Abschnitt E).
  • Eine erste Gruppe von Komponenten bildet das Ultraschallmesssystem (164):
    • Die Ultraschallwandleranordnung (11) sendet die akustischen Ultraschallsignale aus und empfängt die Echos der zu detektierenden Objekte im Umfeld des Fahrzeugs. Die Ultraschallwandleranordnung wandelt diese empfangenen Echosignale und sonstigen empfangenen Ultraschallsignale in Ultraschallmesswerte um und stellt diese einem Signalprozessor (15) zur Verfügung, der diese weiterverarbeitet. Der Signalprozessor (15) kann ein digitaler programmierbarer Prozessor in von Neumann oder Havard-Architektur oder in einer anderen geeigneten Architektur sein. Es kann sich aber auch um eine geeignete analoge Schaltung zur Vorverarbeitung der Signale handeln. Im Falle analoger neuronale Netze kann der Prozessor ggf. auch weggelassen werden, was sich in der Praxis aber bisher nicht bewährt hat.
  • Die vom Signalprozessor (15) aufbereiteten Empfangssignale sind die Eingangssignale des ersten neuronalen Netzwerkmodells (16), das typischerweise auf einem digitalen Speicher eines Rechners abgelegt ist. Das erste neuronale Netzwerkmodell (16) kann beispielsweise auch als spezielle mikroelektronische Schaltung oder andere funktionsgleiche Vorrichtung realisiert werden. Das neuronale Netzwerkmodell (16) ist die Umsetzung eines Deep-Learning-Verfahrens, wie oben beschrieben.
  • Die Parameter des ersten neuronalen Netzwerkmodells (16) können aus einem ersten Trainingsdatenspeicher (17) geladen werden. Die Trainingsdaten werden bevorzugt durch ein Verfahren, wie oben beschrieben im Labor ermittelt.
  • Die Ultraschallwandleranordnung (11) ist mit einer Ansteuerungselektronik (12) verbunden, die optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Ultraschallsignale der einzelnen Ultraschallwandler der Ultraschallwandleranordnung (11) fähig sein kann. Die Ansteuerungselektronik (12) steuert die entsprechenden Ultraschallwandler der Ultraschallwandleranordnung (11) zum vorzugsweise gerichteten Aussenden oder Empfangen der Ultraschallsignale an. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Ultraschallsignalen durch die Ultraschallwandleranordnung (11) wird gesteuert durch eine Sendersteuerung (13). Diese ist mit der Ansteuerungselektronik (12) verbunden und stellt die Sendeparameter der Ultraschallwandler der Ultraschallwandleranordnung (11) ein, abhängig von Einstellungen, die über die in einem optionalen Speicher abgelegten optionalen Benutzereinstellungen (14), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der Sendersteuerung (13) gesteuert werden können, sind beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Die Ausgabewerte des ersten neuronalen Netzwerkmodells (16) sind bevorzugt die Positionen der erkannten Objekte und bevorzugt deren Klassifizierung, sowie beispielsweise ein entsprechender Konfidenzwert, der dem erkannten Erkennungsergebnis als Ganzes zugeordnet sein kann, und/oder Konfidenzwerte, die den einzelnen Objekten jeweils zugeordnet sind. Diese Daten bilden das erste Objekterkennungsergebnis. Weitere Daten können Teil der Ausgabewerte sein. Auch sind zueinander alternative Hypothesenlisten möglich, wobei die Hypothesenliste alternative Erkennungsergebnisse mit unterschiedlichen Konfidenzwerten für diese ersten Objekterkennungsergebnisse umfasst. Jedes erste Objekterkennungsergebnis umfasst dabei ein oder mehrere Objekte.
  • Das zuvor beschrieben Ultraschallmesssystem (164) umfasst bevorzugt ferner eine Vielzahl von ersten Benutzersteuerungen (10), wobei das Einstellen einer oder mehrerer der ersten Benutzersteuerungen (10) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten oder von Objekten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen erfolgt.
  • Bei dem zuvor beschriebenen Ultraschallmesssystem (164) erfolgt bevorzugt das Einstellen oder die Anpassung von Regelparametern einer oder mehrerer der Steuerungen als Reaktion auf die Identifizierung der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen. Dabei erfolgt bevorzugt das Einstellen einer oder mehrerer der Steuerungen (13) des Ultraschallmesssystems oder des Fahrzeugs als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen.
  • Die Ultraschallwandleranordnung (11) ist mit einer Ansteuerungselektronik (12) verbunden, die optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Ultraschallsignale der einzelnen Ultraschallwandler der Ultraschallwandleranordnung (11) fähig sein kann. Die Ansteuerungselektronik (12) steuert die entsprechenden Ultraschallwandler der Ultraschallwandleranordnung (11) zum vorzugsweise gerichteten Aussenden oder Empfangen der Ultraschallsignale an. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Ultraschallsignalen durch die Ultraschallwandleranordnung (11) wird gesteuert durch eine Sendersteuerung (13). Diese ist mit der Ansteuerungselektronik (12) verbunden und stellt die Sendeparameter der Ultraschallwandler der Ultraschallwandleranordnung (11) ein, abhängig von Einstellungen, die über die in einem optionalen Speicher abgelegten optionalen Benutzereinstellungen (14), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der Sendersteuerung (13) gesteuert werden können, sind beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Eine zweite Gruppe von Komponenten bildet das zweite Messsystem (161):
    • Hier wird davon ausgegangen, dass das zweite Messsystem ebenfalls Messsignale aussendet, deren Echos empfangen werden. Dabei kann es sich beispielsweise um eine LIDAR- oder RADAR-System handeln. Dies ist jedoch nur ein Beispiel. Es kann sich auch um ein anderes Messsystem, wie beispielsweise ein PIR-Infrarotmesssystem handeln, das auf ohnehin im Umfeld des Fahrzeugs befindliche Signale zurückgreift. PIR steht hierbei für „passiv infra red“ (Deutsch: passives Infrarot).
    • Sofern zutreffend sendet die zweite Sensoranordnung (131) die Messsignale in das Umfeld des Fahrzeugs aus und empfängt die Antwort des Umfelds und zwar insbesondere die Signalantwort der zu detektierenden oder zu charakterisierenden Objekte im Umfeld des Fahrzeugs auf diese ausgestrahlten Messsignale. Die Sensoranordnung (131) wandelt diese empfangenen Signalantworten und sonstigen empfangenen Stör- und Nutzsignalsignale in Signalmesswerte um und stellt diese einem zweiten Signalprozessor (135) zur Verfügung, der diese weiterverarbeitet. Der zweite Signalprozessor (135) kann wieder ein digitaler programmierbarer Prozessor in von Neumann oder Havard-Architektur oder in einer anderen geeigneten Architektur sein. Es kann sich aber auch um eine geeignete analoge Schaltung zur Vorverarbeitung der Signale handeln. Im Falle analoger neuronale Netze kann der Prozessor ggf. auch weggelassen werden, was sich in der Praxis aber bisher nicht bewährt hat. Im Falle eines programmierbaren Prozessors kann bei ausreichender Kapazität der zweite Signalprozessor (135) beispielsweise mit dem ersten Signalprozessor (15) und/oder dem besagten Rechner eine Einheit bilden.
  • Die vom zweiten Signalprozessor (135) aufbereiteten Empfangssignale der Sensoranordnung (131) sind die Eingangssignale des zweiten neuronalen Netzwerkmodells (136), das typischerweise auf einem digitalen Speicher eines zweiten Rechners, der mit dem ersten Rechner und/oder dem Signalprozessor (15) und/oder dem zweiten Signalprozessor (135) identisch sein kann, abgelegt ist. Das zweite neuronale Netzwerkmodell (136) kann beispielsweise auch als spezielle mikroelektronische Schaltung oder andere funktionsgleiche Vorrichtung realisiert werden. Das zweite neuronale Netzwerkmodell (136) ist bevorzugt die Umsetzung eines Deep-Learning-Verfahrens, wie oben beschrieben.
  • Die Parameter des zweiten neuronalen Netzwerkmodells (136) können aus einem zweiten Trainingsdatenspeicher (137) bevorzugt geladen werden. Die Trainingsdaten werden bevorzugt durch ein Verfahren, wie oben beschrieben im Labor ermittelt.
  • Die zweite Sensoranordnung (131) ist mit einer zweiten Ansteuerungselektronik (132) verbunden, die im Falle eines LIDAR oder Radar-Systems optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Messsignale der einzelnen Sensorelemente der Sensoranordnung (131) fähig sein kann. Die zweite Ansteuerungselektronik (132) steuert die entsprechenden Sensorelemente der Sensoranordnung (11) zum vorzugsweise gerichteten Aussenden oder Empfangen der Messsignale an. Im Falle eines RADAR-Systems kann dies beispielsweise durch Phasen-Antennen geschehen. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Messsignalen durch die Sensoranordnung (131) wird gesteuert durch eine zweite Sensoransteuerung (133). Diese ist mit der zweiten Ansteuerungselektronik (132) verbunden und stellt die Sendeparameter der Sensorelemente der Sensoranordnung (131) ein, abhängig von Einstellungen, die über die in einem optionalen zweiten Einstellungsspeicher abgelegten optionalen Benutzereinstellungen (134), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der zweiten Sensoransteuerung (133) gesteuert werden können, sind im Falle eines RADAR-Systems als zweites Messsystem (161) beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Die Ausgabewerte des zweiten neuronalen Netzwerkmodells (136) sind bevorzugt die Positionen der erkannten Objekte und bevorzugt deren Klassifizierung, sowie beispielsweise ein entsprechender Konfidenzwert, der dem erkannten Erkennungsergebnis als Ganzes zugeordnet sein kann, und/oder Konfidenzwerte, die den einzelnen Objekten jeweils zugeordnet sind. Diese Daten bilden das zweite Objekterkennungsergebnis. Weitere Daten können Teil der Ausgabewerte sein. Auch sind zueinander alternative Hypothesenlisten möglich, wobei die Hypothesenliste alternative Erkennungsergebnisse mit unterschiedlichen Konfidenzwerten für diese zweiten Objekterkennungsergebnisse umfasst. Jedes zweite Objekterkennungsergebnis umfasst dabei ein oder mehrere Objekte.
  • Das zuvor beschrieben zweite Messsystem (161) umfasst bevorzugt ferner eine Vielzahl von zweiten Benutzersteuerungen (140a), wobei das Einstellen einer oder mehrerer der zweiten Benutzersteuerungen (140a) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten oder von Objekten in den zweiten Messwerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen erfolgt.
  • Bei dem zuvor beschriebenen zweiten Messsystem (161) erfolgt bevorzugt das Einstellen oder die Anpassung von Regelparametern einer oder mehrerer der Steuerungen als Reaktion auf die Identifizierung der Anordnung von Objekten und/oder Objektkomponenten in den zweiten Messwerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen. Dabei erfolgt bevorzugt das Einstellen einer oder mehrerer der zweiten Sensoransteuerungen (133) des zweiten Messsystems (161) oder des Fahrzeugs als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objekten und/oder Objektkomponenten in den zweiten Messwerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen.
  • Die zweite Sensoranordnung (131) ist mit einer zweiten Ansteuerungselektronik (132) verbunden, die optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Messsignale der einzelnen Sensorelemente der Sensoranordnung (131) fähig sein kann. Die zweite Ansteuerungselektronik (132) steuert die entsprechenden Sensorelemente der Sensoranordnung (131) zum vorzugsweise gerichteten Aussenden oder Empfangen der Messsignale an. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Messsignalen durch die Sensoranordnung (131) wird gesteuert durch die Sensoransteuerung (133). Diese ist mit der zweiten Ansteuerungselektronik (132) verbunden und stellt die Sendeparameter der Sensorelemente der Sensoranordnung (131) ein, abhängig von Einstellungen, die über die in einem optionalen zweiten Einstellungsspeicher abgelegten optionalen Benutzereinstellungen (134), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der Sensoransteuerung (133) gesteuert werden können, sind beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Das vorgeschlagene Gesamtsensorsystem umfasst darüber hinaus ein drittes neuronales Netzwerkmodell (138), das bevorzugt auf einem dritten Rechnersystem implementiert ist. Das dritte Rechnersystem kann mit dem ersten Rechnersystem des ersten neuronalen Netzwerkmodells (16), und/oder mit dem zweiten Rechnersystem des zweiten neuronalen Netzwerkmodells (136) und/oder dem ersten Signalprozessor (15) und/oder dem zweiten Signalprozessor (135) eine Einheit bilden.
  • Das erste neuronale Netzwerkmodell (16) bildet ein erstes Objekterkennungsergebnis.
  • Das zweite neuronale Netzwerkmodell (136) bildet ein zweites Objekterkennungsergebnis.
  • Das dritte neuronale Netzwerkmodell (136) bildet nun in Abhängigkeit von dem ersten Objekterkennungsergebnis und dem zweiten Objekterkennungsergebnis eine gemeinsame Objekterkennungshypothese. In Abhängigkeit von der ermittelten gemeinsamen Objekterkennungshypothese und dem ersten Objekterkennungsergebnis und dem zweiten Objekterkennungsergebnis steuert das dritte neuronale Netzwerkmodell (138) eine erste Parametermodifikationsvorrichtung (140) für das erste neuronale Netzwerkmodell (16) und eine zweite Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136).
  • Sowohl die erste Parametermodifikationsvorrichtung (140) als auch die zweite Parametermodifikationsvorrichtung (141) können auf einem weiteren Rechnersystem implementiert sein oder einem der vorgenannten Rechnersysteme und/oder Signalprozessoren. Es kann sich aber auch um spezielle Vorrichtungen, beispielsweise spezielle Schaltungen handeln.
  • Die erste Parametermodifikationsvorrichtung (140) modifiziert in Abhängigkeit von den Signalen des dritten neuronalen Netzwerkmodells (138) und/oder des ersten Objekterkennungsergebnisses und/oder des zweiten Objekterkennungsergebnisses die Parameter des ersten neuronalen Netzwerkmodells (16).
  • Die zweite Parametermodifikationsvorrichtung (141) modifiziert in Abhängigkeit von den Signalen des dritten neuronalen Netzwerkmodells (138) und/oder des ersten Objekterkennungsergebnisses und/oder des zweiten Objekterkennungsergebnisses die Parameter des zweiten neuronalen Netzwerkmodells (136). Hierdurch wird die Vorrichtung selbstlernfähig.
  • Für sicherheitsrelevante Anwendungen ist es notwendig, ein Abdriften des dritten neuronalen Netzwerkmodells (138) und/oder der anderen neuronalen Netzwerkmodelle zu erkennen. Daher umfasst das vorgeschlagene Gesamtsystem eine erste Sicherheitsvorrichtung (142). Die Aufgabe der ersten Sicherheitsvorrichtung (142) ist es, die Arbeit des Gesamtsystems zu überwachen und offensichtlich falsche Ergebnisse der drei neuronalen Netze zu erkennen. Hierzu empfängt die erste Sicherheitsvorrichtung (142) hochpriorisierte direkte Signale der Ultraschallwandleranordnung (11) in Form eines hoch priorisierten Signals (H11) der Ultraschallwandleranordnung (11), hoch priorisierte Signale (H15) des ersten Signalprozessors (15), hochpriorisierte direkte Signale der zweiten Sensoranordnung (131) in Form eines hoch priorisierten Signals (H131) der zweiten Sensoranordnung (131), hoch priorisierte Signale (H135) des zweiten Signalprozessors (135) und Benutzereingaben (H142) oder andere externe hoch priorisierte Signale. Alle diese hochpriorisierten Signale sind nur beispielhaft. Es kann sich bei jedem dieser hoch priorisierten Signale um ein einzelnes Signal oder ein Bündel von mehreren Signalen im Zeit- und/oder Raummultiplex handeln. Diese hoch priorisierten Signale sind bevorzugt aber nicht zwingend erforderlich. Sie ermöglichen dem System das Trainieren des Entscheiders in Form des dritten neuronalen Netzwerkmodells (138).
  • Ferner umfasst das in diesem Abschnitt beschriebene Gesamtmesssystem bevorzugt eine Benutzersteuerungsanzeige (9), die Einstellungen anzeigt, die als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit vom ersten Objekterkennungsergebnis gemacht werden. Die Benutzersteuerungsanzeige (9) kann grundsätzlich mit der Anzeige (19) eine Einheit bilden.
  • Bei dem hier beschriebenen Ultraschallmesssystem (164) aktiviert bevorzugt die Benutzersteuerungsanzeige (9) als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in den ersten Objekterkennungsergebnissen Steuerungsmöglichkeiten und zeigt diese an.
  • Das in diesem Abschnitt beschriebene Ultraschallmesssystem (164) umfasst zum Zwecke des Trainings des ersten neuronalen Netzwerkmodells (16) bevorzugt auch einen ersten Trainingsbildspeicher (17), der Trainingsbilder für das erste neuronale Netzwerkmodell (16) speichert.
  • Bei dem in diesem Abschnitt beschriebene Ultraschallmesssystem (164) ist die Anzeige (19) bevorzugt ferner dazu ausgebildet, die zwei- oder dreidimensionalen Darstellungen anzuzeigen, die zumindest zeitweise zusätzlich mit der durch das erste neuronale Netzwerkmodell (16) bestimmten Identifikation und/oder einem Teil des ersten Objekterkennungsergebnisses versehen sind.
  • Das zuvor beschrieben Gesamtmesssystem umfasst bevorzugt ferner eine Vielzahl von dritten Benutzersteuerungen (145), wobei das Einstellen einer oder mehrerer der dritten Benutzersteuerungen (145) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten oder von Objekten in den ersten Objekterkennungsergebnissen und/oder in den zweiten Objekterkennungsergebnissen und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von der gemeinsamen Objekterkennungshypothese erfolgt.
  • Der bevorzugt verwendete Bildprozessor (18) setzt diese Informationen in eine geeignete zwei- oder dreidimensionale Darstellung um, die von der Anzeige (19) für den Fahrzeugführer ausgegeben wird. Die Informationen über Objektpositionen und Klassifizierungen werden bevorzugt auch an die Benutzersteuerungen (10, 140a, 145) übergeben. Die Auswahl einer abgespeicherten Benutzersteuerung oder die Anpassung von Regelparametern einer Steuerung als Reaktion auf die Klassifizierung wird von der Benutzersteuerung (10, 140a, 145) umgesetzt und an den Einstellungsspeicher (14) weitergegeben, bzw. von der Benutzersteuerungsanzeige (19) angezeigt. Der Einstellungsspeicher (14) übermittelt auch von der Klassifizierung abhängige Parameter an den Bildprozessor (18), sodass die von der Anzeige (19) ausgegebene Darstellung der Objekte und ihrer Identifikation automatisch geeignet angepasst werden kann.
  • Abschließend sei hier ausdrücklich darauf hingewiesen, dass die Sendesteuerung des zweiten Messsystems (161) nicht zwingend erforderlich ist, wenn das zweite Messsystem (161) für das angewendete Messprinzip keine Aussendung von Messsignalen benötigt. In dem Falle kann es sogar sein, dass die zweite Ansteuerungselektronik (134), die zweite Sensoransteuerung (133) und der zweite Einstellungsspeicher (134) sogar wegfallen. In der Regel werden diese aber noch Empfangsparameter der zweiten Sensoranordnung (131) bestimmen.
  • 19
    zeigt den Aufbau des vorgeschlagenen kombinierten Gesamtsystems aus einem zweiten Messsystem (161) und einem dritten Messsystem (162) für das entsprechende erste Kombinationsverfahren gemäß Abschnitt F). Der grundsätzliche Aufbau entspricht dem der 18 mit dem Unterschied, dass das Ultraschallmesssystem (164) durch das dritte Messsystem (162) ersetz ist.
  • Eine erste Gruppe von Komponenten bildet das dritte Messsystem (162):
    • Die dritte Sensoranordnung (151) sendet bevorzugt (aber nicht notwendigerweise) dritte Messsignale aus und empfängt die Echos der zu detektierenden Objekte im Umfeld des Fahrzeugs.
    • Die dritte Sensoranordnung (151) wandelt diese empfangenen Echosignale und sonstigen empfangenen Messsignale in dritte Messwerte um und stellt diese einem dritten Signalprozessor (155) zur Verfügung, der diese weiterverarbeitet. Der dritte Signalprozessor (155) kann ein digitaler programmierbarer Prozessor in von Neumann oder Havard-Architektur oder in einer anderen geeigneten Architektur sein. Es kann sich aber auch um eine geeignete analoge Schaltung zur Vorverarbeitung der Signale handeln. Im Falle analoger neuronale Netze kann der dritte Prozessor ggf. auch weggelassen werden, was sich in der Praxis aber bisher nicht bewährt hat.
  • Die vom dritten Signalprozessor (155) aufbereiteten Empfangssignale sind die Eingangssignale des vierten neuronalen Netzwerkmodells (156), das typischerweise auf einem digitalen Speicher eines Rechners abgelegt ist. Das vierte neuronale Netzwerkmodell (156) kann beispielsweise auch als spezielle mikroelektronische Schaltung oder andere funktionsgleiche Vorrichtung realisiert werden. Das vierte neuronale Netzwerkmodell (156) ist die Umsetzung eines Deep-Learning-Verfahrens, wie oben beschrieben.
  • Die Parameter des vierten neuronalen Netzwerkmodells (156) können aus einem vierten Trainingsdatenspeicher (157) geladen werden. Die Trainingsdaten werden bevorzugt durch ein Verfahren, wie oben beschrieben im Labor ermittelt.
  • Die dritte Sensoranordnung (151) ist mit einer dritten Ansteuerungselektronik (152) verbunden, die optional zur Strahlformung beispielsweise mittels Phasenverschiebung der optional ausgesendeten Messsignale der einzelnen dritten Sensorelemente der dritten Sensoranordnung (151) fähig sein kann. Die dritte Ansteuerungselektronik (152) steuert die entsprechenden Sensorelemente der dritten Sensoranordnung (151) zum vorzugsweise gerichteten Aussenden oder Empfangen der Messsignale an. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Messsignalen durch die dritte Sensoranordnung (151) wird gesteuert durch eine dritte Sensoransteuerung (153). Diese ist mit der dritten Ansteuerungselektronik (152) verbunden und stellt die Sendeparameter der Sensorelemente der Sensoranordnung (151) ein, abhängig von Einstellungen, die über die in einem optionalen Speicher abgelegten optionalen dritten Benutzereinstellungen (154), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden.
  • Sendeparameter, welche von der Sensoransteuerung (153) gesteuert werden können, sind im Falle eines RADAR- oder LIDAR-Systems beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Die Ausgabewerte des vierten neuronalen Netzwerkmodells (156) sind bevorzugt die Positionen der erkannten Objekte und bevorzugt deren Klassifizierung, sowie beispielsweise ein entsprechender Konfidenzwert der dem erkannten Erkennungsergebnis als Ganzes zugeordnet sein kann, und/oder Konfidenzwerte, die den einzelnen Objekten jeweils zugeordnet sind. Diese Daten bilden das dritte Objekterkennungsergebnis. Weitere Daten können Teil der Ausgabewerte sein. Auch sind zueinander alternative Hypothesenlisten möglich, wobei die Hypothesenliste alternative Erkennungsergebnisse mit unterschiedlichen Konfidenzwerten für diese dritten Objekterkennungsergebnisse umfasst. Jedes dritte Objekterkennungsergebnis umfasst dabei ein oder mehrere Objekte.
  • Das zuvor beschrieben dritte Messsystem (162) umfasst bevorzugt ferner eine Vielzahl von dritten Benutzersteuerungen (163), wobei das Einstellen einer oder mehrerer der dritten Benutzersteuerungen (163) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten oder von Objekten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den ersten Objekterkennungsergebnissen erfolgt.
  • Bei dem zuvor beschriebenen dritten Messsystem (162) erfolgt bevorzugt das Einstellen oder die Anpassung von Regelparametern einer oder mehrerer der Steuerungen als Reaktion auf die Identifizierung der Anordnung von Objekten und/oder Objektkomponenten in den dritten Messwerten der dritten Sensoranordnung (151) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den dritten Objekterkennungsergebnissen. Dabei erfolgt bevorzugt das Einstellen einer oder mehrerer der Steuerungen (153) des dritten Messsystems (162) oder des Fahrzeugs als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objekten und/oder Objektkomponenten in den dritten Messwerten der dritten Sensoranordnung (151) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den dritten Objekterkennungsergebnissen.
  • Die dritte Sensoranordnung (151) ist mit einer dritten Ansteuerungselektronik (152) verbunden, die im Falle eine LIDAR oder Radar-Systems optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Ultraschallsignale der einzelnen Sensorelemente der Sensoranordnung (11) fähig sein kann. Die dritte Ansteuerungselektronik (152) steuert die entsprechenden Sensorelemente der dritten Sensoranordnung (151) zum vorzugsweise gerichteten Aussenden oder Empfangen der dritten Messsignale an. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von dritten Messsignalen durch die dritte Sensoranordnung (151) wird gesteuert durch eine dritte Sensoransteuerung (153). Diese ist mit der dritten Ansteuerungselektronik (152) verbunden und stellt die Sendeparameter der Sensorelemente der Sensoranordnung (11) ein, abhängig von Einstellungen, die über die in einem optionalen dritten Einstellungsspeicher abgelegten optionalen Benutzereinstellungen (154), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der dritten Sendersteuerung (153) gesteuert werden können, sind im Falle eines RADAR- oder LIDAR-Systems beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Eine zweite Gruppe von Komponenten bildet das zweite Messsystem (161):
    • Hier wird davon ausgegangen, dass das zweite Messsystem ebenfalls Messsignale aussendet, deren Echos empfangen werden. Dabei kann es sich beispielsweise um eine LIDAR- oder RADAR-System handeln. Dies ist jedoch nur ein Beispiel. Es kann sich auch um ein anderes Messsystem, wie beispielsweise ein PIR-Infrarotmesssystem handeln, das auf ohnehin im Umfeld des Fahrzeugs befindliche Signale zurückgreift. PIR steht hierbei für „passiv infra red“ (Deutsch: passives Infrarot).
    • Sofern zutreffend sendet die zweite Sensoranordnung (131) sendet die Messsignale in das Umfeld des Fahrzeugs aus und empfängt die Antwort des Umfelds und zwar insbesondere die Signalantwort der zu detektierenden oder zu charakterisierenden Objekte im Umfeld des Fahrzeugs auf diese ausgestrahlten Messsignale. Die Sensoranordnung (131) wandelt diese empfangenen Signalantworten und sonstigen empfangenen Stör- und Nutzsignalsignale in Signalmesswerte um und stellt diese einem zweiten Signalprozessor (135) zur Verfügung, der diese weiterverarbeitet. Der zweite Signalprozessor (135) kann wieder ein digitaler programmierbarer Prozessor in von Neumann oder Havard-Architektur oder in einer anderen geeigneten Architektur sein. Es kann sich aber auch um eine geeignete analoge Schaltung zur Vorverarbeitung der Signale handeln. Im Falle analoger neuronale Netze kann der Prozessor ggf. auch weggelassen werden, was sich in der Praxis aber bisher nicht bewährt hat. Im Falle eines programmierbaren Prozessors kann bei ausreichender Kapazität der zweite Signalprozessor (135) beispielsweise mit dem ersten Signalprozessor (15) und/oder dem besagten Rechner eine Einheit bilden.
  • Die vom zweiten Signalprozessor (135) aufbereiteten Empfangssignale der Sensoranordnung (131) sind die Eingangssignale des zweiten neuronalen Netzwerkmodells (136), das typischerweise auf einem digitalen Speicher eines zweiten Rechners, der mit dem ersten Rechner und/oder dem Signalprozessor (15) und/oder dem zweiten Signalprozessor (135) identisch sein kann, abgelegt ist. Das zweite neuronale Netzwerkmodell (136) kann beispielsweise auch als spezielle mikroelektronische Schaltung oder andere funktionsgleiche Vorrichtung realisiert werden. Das zweite neuronale Netzwerkmodell (136) ist bevorzugt die Umsetzung eines Deep-Learning-Verfahrens, wie oben beschrieben.
  • Die Parameter des zweiten neuronalen Netzwerkmodells (136) können aus einem zweiten Trainingsdatenspeicher (137) bevorzugt geladen werden. Die Trainingsdaten werden bevorzugt durch ein Verfahren, wie oben beschrieben im Labor ermittelt.
  • Die zweite Sensoranordnung (131) ist mit einer zweiten Ansteuerungselektronik (132) verbunden, die im Falle eines LIDAR oder Radar-Systems optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Messsignale der einzelnen Sensorelemente der Sensoranordnung (131) fähig sein kann. Die zweite Ansteuerungselektronik (132) steuert die entsprechenden Sensorelemente der Sensoranordnung (11) zum vorzugsweise gerichteten Aussenden oder Empfangen der Messsignale an. Im Falle eines RADAR-Systems kann dies beispielsweise durch Phasen-Antennen geschehen. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Messsignalen durch die Sensoranordnung (131) wird gesteuert durch eine zweite Sensoransteuerung (133). Diese ist mit der zweiten Ansteuerungselektronik (132) verbunden und stellt die Sendeparameter der Sensorelemente der Sensoranordnung (131) ein, abhängig von Einstellungen, die über die in einem optionalen zweiten Einstellungsspeicher abgelegten optionalen Benutzereinstellungen (134), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der zweiten Sensoransteuerung (133) gesteuert werden können, sind im Falle eines RADAR-Systems als zweites Messsystem (161) beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Die Ausgabewerte des zweiten neuronalen Netzwerkmodells (136) sind bevorzugt die Positionen der erkannten Objekte und bevorzugt deren Klassifizierung, sowie beispielsweise ein entsprechender Konfidenzwert, der dem erkannten Erkennungsergebnis als Ganzes zugeordnet sein kann, und/oder Konfidenzwerte, die den einzelnen Objekten jeweils zugeordnet sind. Diese Daten bilden das zweite Objekterkennungsergebnis. Weitere Daten können Teil der Ausgabewerte sein. Auch sind zueinander alternative Hypothesenlisten möglich, wobei die Hypothesenliste alternative Erkennungsergebnisse mit unterschiedlichen Konfidenzwerten für diese zweiten Objekterkennungsergebnisse umfasst. Jedes zweite Objekterkennungsergebnis umfasst dabei ein oder mehrere Objekte.
  • Das zuvor beschrieben zweite Messsystem (161) umfasst bevorzugt ferner eine Vielzahl von zweiten Benutzersteuerungen (140a), wobei das Einstellen einer oder mehrerer der zweiten Benutzersteuerungen (140a) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten oder von Objekten in den zweiten Messwerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen erfolgt.
  • Bei dem zuvor beschriebenen zweiten Messsystem (161) erfolgt bevorzugt das Einstellen oder die Anpassung von Regelparametern einer oder mehrerer der Steuerungen als Reaktion auf die Identifizierung der Anordnung von Objekten und/oder Objektkomponenten in den zweiten Messwerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen. Dabei erfolgt bevorzugt das Einstellen einer oder mehrerer der zweiten Sensoransteuerungen (133) des zweiten Messsystems (161) oder des Fahrzeugs als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objekten und/oder Objektkomponenten in den zweiten Messwerten der zweiten Sensoranordnung (131) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von den zweiten Objekterkennungsergebnissen.
  • Die zweite Sensoranordnung (131) ist mit einer zweiten Ansteuerungselektronik (132) verbunden, die optional zur Strahlformung beispielsweise mittels Phasenverschiebung der ausgesendeten Messsignale der einzelnen Sensorelemente der Sensoranordnung (131) fähig sein kann. Die zweite Ansteuerungselektronik (132) steuert die entsprechenden Sensorelemente der Sensoranordnung (131) zum vorzugsweise gerichteten Aussenden oder Empfangen der Messsignale an. Diese Ausrichtung ist wünschenswert, aber nicht zwingend. Das Aussenden von Messsignalen durch die Sensoranordnung (131) wird gesteuert durch die Sensoransteuerung (133). Diese ist mit der zweiten Ansteuerungselektronik (132) verbunden und stellt die Sendeparameter der Sensorelemente der Sensoranordnung (131) ein, abhängig von Einstellungen, die über die in einem optionalen zweiten Einstellungsspeicher abgelegten optionalen Benutzereinstellungen (134), bzw. durch ein übergeordnetes Steuergerät, vorgegeben werden. Sendeparameter, welche von der Sensoransteuerung (133) gesteuert werden können, sind beispielsweise Burstlänge, Frequenz, Frequenzverlauf, Kodierung, Polarität, Phase oder Amplitude.
  • Das vorgeschlagene Gesamtsensorsystem umfasst darüber hinaus ein fünftes neuronales Netzwerkmodell (158), das bevorzugt auf einem weiteren Rechnersystem implementiert ist. Das weitere Rechnersystem kann mit den zuvor erwähnten Rechnersystem und/oder den erwähnten Signalprozessoren eine Einheit bilden. Es kann sich aber auch um spezielle Vorrichtungen, beispielsweise spezielle Schaltungen handeln.
  • Das vierte neuronale Netzwerkmodell (156) bildet ein drittes Objekterkennungsergebnis.
  • Das zweite neuronale Netzwerkmodell (136) bildet ein zweites Objekterkennungsergebnis.
  • Das fünfte neuronale Netzwerkmodell (158) bildet nun in Abhängigkeit von dem dritten Objekterkennungsergebnis und dem zweiten Objekterkennungsergebnis eine gemeinsamen Objekterkennungshypothese. In Abhängigkeit von der ermittelten gemeinsamen Objekterkennungshypothese und dem dritten Objekterkennungsergebnis und dem zweiten Objekterkennungsergebnis steuert das fünfte neuronale Netzwerkmodell (158) eine vierte Parametermodifikationsvorrichtung (144) für das vierte neuronale Netzwerkmodell (156) und eine zweite Parametermodifikationsvorrichtung (141) für das zweite neuronale Netzwerkmodell (136).
  • Sowohl die vierte Parametermodifikationsvorrichtung (144) als auch die zweite Parametermodifikationsvorrichtung (141) können auf einem weiteren Rechnersystem implementiert sein oder einem der vorgenannten Rechnersysteme und/oder Signalprozessoren. Es kann sich aber auch um spezielle Vorrichtungen, beispielsweise spezielle Schaltungen handeln.
  • Die vierte Parametermodifikationsvorrichtung (144) modifiziert in Abhängigkeit von den Signalen des fünften neuronalen Netzwerkmodells (158) und/oder des dritten Objekterkennungsergebnisses und/oder des zweiten Objekterkennungsergebnisses die Parameter des vierten neuronalen Netzwerkmodells (156).
  • Die zweite Parametermodifikationsvorrichtung (141) modifiziert in Abhängigkeit von den Signalen des fünften neuronalen Netzwerkmodells (158) und/oder des dritten Objekterkennungsergebnisses und/oder des zweiten Objekterkennungsergebnisses die Parameter des zweiten neuronalen Netzwerkmodells (136). Hierdurch wird die Vorrichtung selbstlernfähig.
  • Für sicherheitsrelevante Anwendungen ist es notwendig, ein Abdriften des fünften neuronalen Netzwerkmodells (158) und/oder der anderen neuronalen Netzwerkmodelle zu erkennen. Daher umfasst das vorgeschlagene Gesamtsystem eine zweite Sicherheitsvorrichtung (143). Die Aufgabe der zweiten Sicherheitsvorrichtung (143) ist es, die Arbeit des Gesamtsystems zu überwachen und offensichtlich falsche Ergebnisse der drei neuronalen Netze zu erkennen. Hierzu empfängt die zweite Sicherheitsvorrichtung (143) hochpriorisierte direkte Signale der dritten Sensoranordnung (151) in Form eines hoch priorisierten Signals (H151) der dritten Sensoranordnung (151), hoch priorisierte Signale (H155) des dritten Signalprozessors (155), hochpriorisierte direkte Signale der zweiten Sensoranordnung (131) in Form eines hoch priorisierten Signals (H131) der zweiten Sensoranordnung (131), hoch priorisierte Signale (H135) des zweiten Signalprozessors (135) und Benutzereingaben (H142) oder andere externe hoch priorisierte Signale. Alle diese hochpriorisierten Signale sind nur beispielhaft. Es kann sich bei jedem dieser hoch priorisierten Signale um ein einzelnes Signal oder ein Bündel von mehreren Signalen im Zeit- und/oder Raummultiplex handeln. Diese hoch priorisierten Signale sind bevorzugt aber nicht zwingend erforderlich. Sie ermöglichen dem System das Trainieren des Entscheiders in Form des fünften neuronalen Netzwerkmodells (158).
  • Ferner umfasst das in diesem Abschnitt beschriebene Gesamtmesssystem bevorzugt eine Benutzersteuerungsanzeige (9), die Einstellungen anzeigt, die als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den ersten Ultraschallmesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit vom ersten Objekterkennungsergebnis gemacht werden. Die Benutzersteuerungsanzeige (9) kann grundsätzlich mit der Anzeige (19) eine Einheit bilden.
  • Bei dem hier beschriebenen dritten Messsystem (162) aktiviert bevorzugt die Benutzersteuerungsanzeige (9) eine als Reaktion auf die Identifizierung von Objekten und/oder Objektkomponenten und/oder der Anordnung von Objekten und/oder Objektkomponenten in den dritten Messwerten der dritten Sensoranordnung (151) und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in den dritten Objekterkennungsergebnissen Steuerungsmöglichkeiten und zeigt diese an.
  • Das hin diesem Abschnitt beschriebene umfasst zum Zwecke des Trainings des vierten neuronalen Netzwerkmodells (156) bevorzugt auch einen vierten Trainingsbildspeicher (157), der Trainingsbilder für das vierte neuronale Netzwerkmodell (156) speichert.
  • Bei dem in diesem Abschnitt beschriebene dritten Messsystem (162) ist die Anzeige (19) bevorzugt ferner dazu ausgebildet, die zwei- oder dreidimensionalen Darstellungen anzuzeigen, die zumindest zeitweise zusätzlich mit der durch das vierte neuronale Netzwerkmodell (156) bestimmten Identifikation und/oder einem Teil des dritten Objekterkennungsergebnisses versehen sind.
  • Das zuvor beschrieben Gesamtmesssystem umfasst bevorzugt ferner eine Vielzahl von dritten Benutzersteuerungen (145), wobei das Einstellen einer oder mehrerer der dritten Benutzersteuerungen (145) als Reaktion auf die Identifizierung einer Anordnung von Objekten und/oder Objektkomponenten oder von Objekten in den dritten Objekterkennungsergebnissen und/oder in den zweiten Objekterkennungsergebnissen und/oder in den zwei- oder dreidimensionalen Darstellungen und/oder in Abhängigkeit von der gemeinsamen Objekterkennungshypothese erfolgt.
  • Der bevorzugt verwendete Bildprozessor (18) setzt diese Informationen in eine geeignete zwei- oder dreidimensionale Darstellung um, die von der Anzeige (19) für den Fahrzeugführer ausgegeben wird. Die Informationen über Objektpositionen und Klassifizierungen werden bevorzugt auch an die Benutzersteuerungen (140a, 145, 160) übergeben. Die Auswahl einer abgespeicherten Benutzersteuerung oder die Anpassung von Regelparamatern einer Steuerung als Reaktion auf die Klassifizierung wird von der Benutzersteuerung (140a, 145, 160) umgesetzt und an den dritten Einstellungsspeicher (154) weitergegeben, bzw. von der Benutzersteuerungsanzeige (19) angezeigt. Der dritte Einstellungsspeicher (154) übermittelt auch von der Klassifizierung abhängige Parameter an den Bildprozessor (18), sodass die von der Anzeige (19) ausgegebene Darstellung der Objekte und ihrer Identifikation automatisch geeignet angepasst werden kann.
  • Abschließend sei hier ausdrücklich darauf hingewiesen, dass die Sendesteuerung des zweiten Messsystems (161) nicht zwingend erforderlich ist, wenn das zweite Messsystem (161) für das angewendete Messprinzip keine Aussendung von Messsignalen benötigt. In dem Falle kann es sogar sein, dass die zweite Ansteuerungselektronik (134), die zweite Sensoransteuerung (133) und der zweite Einstellungsspeicher (134) sogar wegfallen. In der Regel werden diese aber noch Empfangsparameter der zweiten Sensoranordnung (131) bestimmen.
  • Abschließend sei hier ausdrücklich auch darauf hingewiesen, dass die Sendesteuerung des dritten Messsystems (162) nicht zwingend erforderlich ist, wenn das dritte Messsystem (162) für das angewendete Messprinzip keine Aussendung von Messsignalen benötigt. In dem Falle kann es sogar sein, dass die dritte Ansteuerungselektronik (154), die dritte Sensoransteuerung (153) und der dritte Einstellungsspeicher (154) sogar wegfallen. In der Regel werden diese aber noch Empfangsparameter der dritten Sensoranordnung (151) bestimmen.
  • 20
    zeigt ein Modell zum Trainieren und Verwenden eines Gesamtsystems nach 19. (Kann auf ein Gesamtsystem nach 18 leicht übertragen werden.)
  • Das Verfahren umfasst als einen ersten Schritt die Durchführung (171) eines Verfahrens nach 7 für das zweite Messsystem (161) mit der Ermittlung der zweiten Sensormesswerte und Ermittlung eines zweiten Objekterkennungsergebnisses.
  • Das Verfahren umfasst als einen zweiten Schritt die Durchführung (172) eines Verfahrens nach 7 für das dritte Messsystem (162).
  • Das Verfahren umfasst als einen dritten Schritt als Ergebnisschritt des zweiten Schrittes die Ermittlung der dritten Sensormesswerte und die Ermittlung eines dritten Objekterkennungsergebnisses.
  • Das Verfahren umfasst als einen vierten Schritt das Installieren (173) eines fünften neuronalen Netzwerkmodells (158) auf einem computerbasierten System. Dieser Schritt kann ggf. auch das Laden von Parametern für das fünfte neuronalen Netzwerkmodell (158) umfassen.
  • Das Verfahren umfasst als einen fünften Schritt das Trainieren (174) des fünften neuronalen Netzwerkmodells (158), um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in dem zweiten Objekterkennungsergebnis und/oder in dem dritten Objekterkennungsergebnis zu identifizieren
  • Das Verfahren umfasst als einen sechsten Schritt, der ein Ergebnisschritt des fünften Schritts ist, das Erzeugen einer gemeinsamen Objekterkennungshypothese.
  • Das Verfahren umfasst als einen siebten Schritt das Verwenden (175) des trainierten fünften neuronalen Netzwerkmodells (158)
    • • zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis des zweiten Objekterkennungsergebnisses und des dritten Objekterkennungsergebnisses durch das fünfte neuronale Netzwerkmodell (158) und/oder
    • • zur Erzeugung einer gemeinsamen Objekterkennungshypothese auf Basis des zweiten Objekterkennungsergebnisses und des dritten Objekterkennungsergebnisses durch das fünfte neuronale Netzwerkmodell (158).
  • 21
    zeigt ein Modell zum Trainieren und Abspeichern der Parameter der neuronalen Netzwerkmodelle eines Gesamtsystems nach 19. (Kann auf ein Gesamtsystem nach 18 leicht übertragen werden.)
  • Das Verfahren umfasst als einen ersten Schritt der Durchführung (171) eines Verfahrens nach 7 für das zweite Messsystem (161).
  • Das Verfahren umfasst als einen zweiten Schritt als Ergebnisschritt des ersten Schritts das Ermitteln der zweiten Sensormesswerte und das Ermitteln eines zweiten Objekterkennungsergebnisses.
  • Das Verfahren umfasst als einen dritten Schritt den Schritt der Durchführung (172) eines Verfahrens nach 7 für das dritte Messsystem (162).
  • Das Verfahren umfasst als einen vierten Schritt, der ein Ergebnisschritt des dritten Schritts ist, die Ermittlung der dritten Sensormesswerte und die Ermittlung eines dritten Objekterkennungsergebnisses.
  • Das Verfahren umfasst als einen fünften Schritt, den Schritt des Installierens (173) eines fünften neuronalen Netzwerkmodells (158) auf einem computerbasierten System. Dieser Schritt kann ggf. auch das Laden von Parametern für das fünfte neuronalen Netzwerkmodell (158) umfassen.
  • Das Verfahren umfasst als einen sechsten Schritt, das Trainieren (174) des fünften neuronalen Netzwerkmodells (158). Dies geschieht, um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in dem zweiten Objekterkennungsergebnis und/oder in dem dritten Objekterkennungsergebnis zu identifizieren und eine gemeinsame Objekterkennungshypothese zu erzeugen.
  • Das Verfahren umfasst als einen siebten Schritt die Sicherung (185) der Parameterdaten des trainierten fünften neuronalen Netzwerks (158) in einem fünften Trainingsdatenspeicher (159).
  • 22
    zeigt ein Modell zum Ladender Parameter der neuronalen Netzwerkmodelle eines Gesamtsystems nach 19 und dem Verwenden des so vorbereiteten Gesamtsystems. (Kann auf ein Gesamtsystem nach 18 leicht übertragen werden.)
    Das Verfahren umfasst einen ersten Schritt des Ladens (71) der zuvor gesicherten Parameter des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) aus dem zweiten Trainingsdatenspeicher (137) als aktuelle Parameter des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161).
  • Das Verfahren umfasst als einen zweiten Schritt das Laden (192) der zuvor gesicherten Parameter des vierten neuronalen Netzwerkmodells (156) aus dem vierten Trainingsdatenspeicher (157) in das vierte neuronale Netzwerkmodell (156).
  • Das Verfahren umfasst als einen dritten Schritt das Laden (193) der zuvor gesicherten Parameter des fünften neuronalen Netzwerkmodells (158) aus dem fünften Trainingsdatenspeicher (159) in das fünfte neuronale Netzwerkmodell (158).
  • Das Verfahren umfasst als einen vierten Schritt das Verwenden (175) des trainierten fünften neuronalen Netzwerkmodells (158)
    • • zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis des dritten Objekterkennungsergebnisses und des zweiten Objekterkennungsergebnisses durch das fünfte neuronale Netzwerkmodell (158) und/oder
    • • zur Erzeugung einer gemeinsamen Objekterkennungshypothese auf Basis des zweiten Objekterkennungsergebnisses und des dritten Objekterkennungsergebnisses durch das fünfte neuronale Netzwerkmodell (158).
  • Figuren 23 und 24
  • Die 23 und 24 sind im Text oben beschrieben.
  • Glossar
  • Ultraschallwandler
  • In einem Bauteil kombinierter Ultraschallsender- und empfänger
  • Neuronales Netzwerk / neuronales Netzwerkmodell
  • Wikipedia (Stand 18.01.2019) definiert ein neuronales Netz wie folgt: Als neuronales Netz wird in den Neurowissenschaften eine beliebige Anzahl miteinander verbundener Neuronen bezeichnet, die als Teil eines Nervensystems einen Zusammenhang bilden, der einer bestimmten Funktion dienen soll. Abstrahiert werden in der Computational Neuroscience auch vereinfachte Modelle einer biologischen Vernetzung darunter verstanden. In der Informatik, Informationstechnik und Robotik werden deren Strukturen als künstliches neuronales Netz modelliert und technisch nachgebildet, simuliert und abgewandelt. Von der Funktionsweise biologischer Neuronen inspiriertes System, das als Basis für Machine Learning Verfahren dient
  • Das Nervensystem von Menschen und Tieren besteht aus Nervenzellen (Neuronen) und Gliazellen sowie einer Umgebung. Die Neuronen sind über Synapsen miteinander verknüpft, die als Verknüpfungsstellen oder Knoten eines interneuronalen Netzwerks aufgefasst werden können. Daneben findet zwischen Neuronen und Zellen der Neuroglia, insbesondere Oligodendroglia und Astroglia, in chemischer und elektrischer Form ein Austausch statt, der die Gewichtung von Signalen verändern kann. Die „Schaltungstechnik“ von Neuronen kennt üblicherweise mehrere Eingänge und einen Ausgang. Wenn die Summe der Eingangssignale einen gewissen Schwellenwert überschreitet, „feuert“ das Neuron (Erregungsbildung): Ein Aktionspotential (AP) wird am Axonhügel ausgelöst, im Initialsegment gebildet und entlang des Axons weitergeleitet (Erregungsleitung). Aktionspotentiale in Serie sind die primären Ausgangssignale von Neuronen. Diese Signale können über Synapsen anderen Zellen vermittelt werden (Erregungsübertragung). An elektrischen Synapsen werden die Potentialänderungen in unmittelbarem Kontakt weitergegeben. An chemischen Synapsen werden diese in ein Transmitter-Quantum als sekundäres Signal umgesetzt, also durch Botenstoffe übermittelt (Transmission). Bei einer Divergenz gibt ein Neuron Signale an mehrere andere Neuronen weiter, und bei einer Konvergenz erhält ein Neuron Signale von mehreren anderen.
  • Kennzeichnend für Nervenzellen sind ihre Zellfortsätze, mit denen Kontakte zu einzelnen anderen Zellen hergestellt werden. Als Dendriten dienen sie vorrangig der Aufnahme von Signalen anderer Zellen, während Signale an andere Zellen über den Neuriten fortgeleitet werden, auch Axon genannt in der Umhüllung durch Gliazellen. Mit Abzweigungen seines Axons als Axonkollaterale kann das Signal eines Neurons efferent an mehrere andere Neuronen übermittelt werden (Divergenz). Auch können einem Neuron afferent Signale von verschiedenen anderen Neuronen zufließen (Konvergenz), vorwiegend über seine Dendriten als Eingänge. Während das über die Membran fortgeleitete Aktionspotential bei elektrischen Synapsen prompt als elektrisches Signal übergeben wird, wird es bei chemischen Synapsen zunächst an der präsynaptischen Membranregion eines Neurons umgebildet in ein sekundäres chemisches Signal. Dies geschieht als potentialabhängige neurokrine Sekretion durch Ausschüttung (Exozytose) der in synaptischen Vesikeln vorrätig gehaltenen Moleküle eines Signalstoffs. Nach Überbrücken des schmalen synaptischen Spalts per Diffusion wirkt dieser Botenstoff als Neurotransmitter - oder daneben als ein neuromodulatorischer Kotransmitter - auf die Membranregion der postsynaptisch zugeordneten Zelle, wenn sie mit passenden Rezeptormolekülen ausgestattet dafür empfänglich ist. Mit der Rezeptorbindung wird ein Transmitter erkannt und darüber direkt (ionotrop) oder mittelbar (metabotrop) eine vorübergehende regionale Veränderung der Membrandurchlässigkeit veranlasst. Durch die Membran ein- oder ausströmende kleine Ionen rufen also wieder postsynaptisch Potentialänderungen hervor, als lokale elektrische Signale. Die eintreffenden Signale laufen auf der Membran eines Neurons zusammen, werden hier räumlich wie zeitlich integriert und summierend zusammengefasst. Solche postsynaptischen Potentiale (PSP) prägen sich verschieden aus, abhängig von der Membranausstattung mit Rezeptoren und lonenkanälen. Sie können als graduierte Potentiale nicht nur unterschiedlich starke Signale sein, sondern zudem qualitativ grundsätzlich anders: exzitatorische (EPSP) regen die Erregungsbildung an; inhibitorische (IPSP) hemmen die Bildung eines Aktionspotentials. Mit dieser Form synaptischer Verknüpfung als chemischer Transmission erhalten Signale also ein Vorzeichen. Des Weiteren können sie an der Verknüpfungsstelle prozessabhängig gewichtet werden, verstärkt oder abgeschwächt. Bei einer häufig wiederholten Übertragung in rascher Folge kann es zu länger anhaltenden Veränderungen kommen, die als Langzeit-Potenzierung (LTP) die synaptische Übertragung verstärken. Bei geringer Frequenz können in unterschiedlicher Art Veränderungen auftreten, die zu einer dauerhaften Abschwächung als Langzeit-Depression (LTD) führen. Auf diese Weise kann der Signalübertragungsprozess selber den synaptischen Modus formen beziehungsweise überformen (neuronale Plastizität). Die Vernetzung von Neuronen zeigt damit keine starre Verschaltung, sondern eine vom Vorzustand abhängige Gewichtung der Signalwege, die sich durch wiederholten Gebrauch ändert. Über das Lernen in neuronalen Netzen gibt es verschiedene, inzwischen gut standardisierte Theorien. Die erste neuronale Lernregel wurde 1949 von Donald O. Hebb beschrieben (Hebbsche Lernregel); wesentliche Entwicklungen erfolgten u. a. durch Arbeiten des Finnen Teuvo Kohonen Mitte der 1980er Jahre. Daraus ergaben sich typische Eigenschaften neuronaler Netze, die gleichermaßen für natürliche, wie für künstliche „neuronale Systeme“ gelten. Dazu gehört die Eigenschaft, dass sie komplexe Muster erlernen können, ohne dass eine Abstraktion über die diesen Mustern eventuell zugrunde liegenden Regeln stattfindet. Das heißt, dass neuronale Netze nicht einem Logiksystem, sondern einer intuitiven Musterverarbeitung folgen (s. a. Künstliche Intelligenz). Dies bedeutet weiterhin, dass vor dem Lernen nicht erst die Regeln entwickelt werden müssen. Andererseits kann aus dem neuronalen Netz auch nicht nachträglich eine eventuelle Logik ermittelt werden, die dessen Lernerfolg ausmachte. Dies bedeutet wiederum nicht, dass logisches Verhalten und präzise Regeln nicht von Neuronalen Netzen erlernt bzw. angewendet werden könnten. Nur müssen diese durch Training ggf. mühsam erarbeitet werden; etwa beim Erlernen der Grammatik einer Sprache über Jahre hinweg. Neuronale Netze lernen nicht explizit, sondern implizit: Die Grammatik der Muttersprache wird von einem Kleinkind zuerst implizit erlernt. Als Schulkind erlernt es die Regeln dann im Allgemeinen - noch einmal - explizit, über Regeln. Speziell für die Simulation künstlicher neuronaler Netze in Wissenschaft und Technik mittels spezieller Schaltungen oder Vorrichtungen oder mittels Prozessoren mit geeigneter Programmierung gilt: Das „richtige“ Trainieren eines neuronalen Netzes ist Voraussetzung für den Lernerfolg bzw. für die richtige Verarbeitung eines Musters in einem Nervensystem. Umgekehrt gilt, dass eine Vorhersage über die „richtige“ Interpretation eines Musters durch ein neuronales Netz nicht präzise möglich ist, solange nicht dieses spezifische Netz mit dieser spezifischen Lernerfahrung angewendet bzw. durchgerechnet wird. Neuronale Netze haben somit das Problem, dass nach dem Lernvorgang Muster, die nicht den Vorbildern ähneln, die in der Lernmenge implementiert sind, stochastisches (d. h. scheinbar „zufälliges“) Verhalten der Ausgangsneuronen hervorrufen. Sie arbeiten nicht exakt, sondern näherungsweise. Es ist bekannt, dass die Funktion eines neuronalen Netzes auch durch ein Petri-Netz oder einen HMM-Erkenner wahrgenommen werden kann und dass eine Transformation zwischen diesen Abbildungen möglich ist. Es wird daher ausdrücklich beansprucht, dass unter neuronalen Netzen auch Teilvorrichtungen mit HMM-Erkennern und/oder mit Petri-Netzen mit umfasst sind.
  • Deep Learning
  • Machine Learning Verfahren, das auf einem neuronalen Netzwerkmodell mit vielen Zwischenschichten basiert und selbstständig lernt, welche aus den Eingangsdaten abgeleitete Repräsentation der Daten notwendig ist, um die gestellte Lernaufgabe zu erfüllen.
  • Wikipedia (Stand 18.01.2019) definiert das Deep Learning wie folgt: Deep Learning, auf Deutsch etwa tiefgehendes Lernen, bezeichnet eine Klasse von Optimierungsmethoden künstlicher neuronaler Netze, die zahlreiche verdeckte Zwischenlagen (englisch hidden layers) zwischen Eingabeschicht und Ausgabeschicht haben und dadurch eine umfangreiche innere Struktur aufweisen. In Erweiterungen der Lernalgorithmen für Netzstrukturen mit sehr wenigen oder keinen Zwischenlagen, wie beim einlagigen Perzeptron, ermöglichen die Methoden des Deep Learnings auch bei zahlreichen Zwischenlagen einen stabilen Lernerfolg. Nach Jürgen Schmidhuber ist „Deep Learning“ nur ein neuer Begriff für künstliche neuronale Netze und tauchte erstmals im Jahr 2000 in der Veröffentlichung Multi-Valued and Universal Binary Neurons: Theory, Learning and Applications auf. Die in der Anfangszeit der künstlichen Intelligenz gelösten Probleme waren für den Menschen intellektuell schwierig, aber für Computer einfach zu verarbeiten. Diese Probleme ließen sich durch formale mathematische Regeln beschreiben. Die wahre Herausforderung an die künstliche Intelligenz bestand jedoch in der Lösung von Aufgaben, die für die Menschen leicht durchzuführen sind, deren Lösung sich aber nur schwer durch mathematische Regeln formulieren lassen. Dies sind Aufgaben, die der Mensch intuitiv löst, wie zum Beispiel Sprach- oder Gesichtserkennung. Eine computerbasierte Lösung für diese Art von Aufgaben beinhaltet die Fähigkeit von Computern, aus der Erfahrung zu lernen und die Welt in Bezug auf eine Hierarchie von Konzepten zu verstehen. Hierbei ist jedes Konzept durch seine Beziehung zu einfacheren Konzepten definiert. Durch das Sammeln von Wissen aus der Erfahrung vermeidet dieser Ansatz die Notwendigkeit für die menschlichen Bediener, all das Wissen, das der Computer für seine Arbeit benötigt, formal spezifizieren zu müssen. Die Hierarchie der Konzepte erlaubt es dem Computer, komplizierte Konzepte zu erlernen, indem er sie aus einfacheren zusammensetzt. Wenn man ein Diagramm zeichnet, das zeigt, wie diese Konzepte übereinander aufgebaut werden, dann ist das Diagramm tief, mit vielen Schichten. Aus diesem Grund wird dieser Ansatz in der künstlichen Intelligenz „Deep Learning“ genannt. Es ist schwierig für einen Computer, die Bedeutung von rohen sensorischen Eingangsdaten zu verstehen, wie beispielsweise in der Handschrifterkennung, wo ein Text zunächst nur als eine Sammlung von Bildpunkten existiert. Die Überführung einer Menge von Bildpunkten in eine Kette von Ziffern und Buchstaben ist sehr kompliziert. Komplexe Muster müssen aus Rohdaten extrahiert werden. Das Lernen oder Auswerten dieser Zuordnung scheint unüberwindbar schwierig, wenn sie manuell programmiert werden würde. Eine der häufigsten Techniken in der künstlichen Intelligenz ist maschinelles Lernen. Maschinelles Lernen ist ein selbstadaptiver Algorithmus. Deep Learning, eine Teilmenge des maschinellen Lernens, nutzt eine Reihe hierarchischer Schichten bzw. eine Hierarchie von Konzepten, um den Prozess des maschinellen Lernens durchzuführen. Die hierbei benutzten künstlichen neuronalen Netze sind wie das menschliche Gehirn gebaut, wobei die Neuronen wie ein Netz miteinander verbunden sind. Die erste Schicht des neuronalen Netzes, der sichtbaren Eingangsschicht (englisch input layer), verarbeitet eine Rohdateneingabe, wie beispielsweise die einzelnen Pixel eines Bildes. Die Dateneingabe enthält Variablen, die der Beobachtung zugänglich sind, daher „sichtbare Schicht“. Diese erste Schicht leitet ihre Ausgaben an die nächste Schicht weiter. Diese zweite Schicht verarbeitet die Informationen der vorherigen Schicht und gibt das Ergebnis ebenfalls weiter. Die nächste Schicht nimmt die Informationen der zweiten Schicht entgegen und verarbeitet sie weiter. Diese Schichten werden als versteckte Ebenen (englisch hidden layers) bezeichnet. Die in ihnen enthaltenen Merkmale werden zunehmend abstrakt. Ihre Werte sind nicht in den Ursprungsdaten angegeben. Stattdessen muss das Modell bestimmen, welche Konzepte für die Erklärung der Beziehungen in den beobachteten Daten nützlich sind. Dies geht über alle Ebenen des künstlichen neuronalen Netzes so weiter. Das Ergebnis wird in der sichtbaren letzten Schicht (englisch output layer) ausgegeben. Hierdurch wird die gewünschte komplizierte Datenverarbeitung in eine Reihe von verschachtelten einfachen Zuordnungen unterteilt, die jeweils durch eine andere Schicht des Modells beschrieben werden. Die hier vorgestellte Technik zur sensorischen Verarbeitung geht weit über diese Ansätze hinaus. Insbesondere stellt sie erstmals eine selbstlernende Vernetzung mehrerer neuronaler Netze zu, die in jeder Ebene der Kette selbstlernend ist. Jedes neuronale Netz des Netzes aus neuronalen Netzen stellt dabei einen Knoten dieses Netzes dar. Jeder Knoten eines Neuronalen-Netz-Netzes ist also selbst ein neuronales Netz.
  • Bezugszeichenliste
    • 9
    Benutzersteuerungsanzeige;
    10
    Benutzersteuerung;
    11
    Ultraschallwandleranordnung;
    12
    Ansteuerungselektronik;
    13
    Sendersteuerung;
    14
    Einstellungsspeicher;
    15
    Signalprozessor;
    16
    erstes neuronales Netzwerkmodell in einem ersten Speicher;
    17
    erster Trainingsdatenspeicher;
    18
    Bildprozessor;
    19
    Anzeige;
    21
    Installation des ersten neuronalen Netzwerkmodells (16) für das Ultraschallmesssystem (164) auf dem Rechnersystem;
    22
    Übergabe von Echosignalen verschiedener Objekte in verschiedenen Positionen an das erste neuronale Netzwerkmodell für das Ultraschallmesssystem (164);
    23
    Identifikation der Objekte für das erste neuronale Netzwerkmodell für das Ultraschallmesssystem (164);
    24
    Übergabe von Live-Ultraschallsignalen an das trainierte erste neuronale Netzwerkmodell für das Ultraschallmesssystem im Fahrzeug und Durchführung einer Objektidentifizierung durch das trainierte erste neuronale Netzwerkmodell zur Erzeugung eines ersten Objekterkennungsergebnisses;
    25
    Verwendung der durch das erste neuronale Netzwerkmodell für das Ultraschallmesssystem durchgeführten ersten Objektidentifizierung in Form eines ersten Objekterkennungsergebnisses;
    35
    Sicherung der Parameterdaten des trainierten ersten neuronalen Netzwerkmodells (16) für das Ultraschallmesssystem in einem ersten Trainingsdatenspeicher (17);
    41
    Laden der zuvor gesicherten Parameter des ersten neuronalen Netzwerkmodells (16) für das Ultraschallmesssystem aus dem ersten Trainingsdatenspeicher (17) als aktuelle Parameter des ersten neuronalen Netzwerkmodells (16);
    51
    Installation des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) auf dem Rechnersystem;
    52
    Übergabe von Sensorsignalen verschiedener Objekte in verschiedenen Positionen an das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161);
    53
    Identifikation der Objekte für das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161);
    54
    Übergabe von Live-Sensorsignalen der zweiten Sensoranordnung (131) an das trainierte zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) und Durchführung einer Objektidentifizierung durch das trainierte zweite neuronale Netzwerkmodell (136) zur Erzeugung eines zweiten Objekterkennungsergebnisses;
    55
    Verwendung der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten zweiten Objektidentifizierung in Form eines zweiten Objekterkennungsergebnisses;
    61
    Installation des vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162) auf dem Rechnersystem;
    62
    Übergabe von Sensorsignalen verschiedener Objekte in verschiedenen Positionen an das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162);
    63
    Identifikation der Objekte für das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162);
    64
    Übergabe von Live-Sensorsignalen der dritten Sensoranordnung (151) an das trainierte vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162) und Durchführung einer Objektidentifizierung durch das trainierte vierte neuronale Netzwerkmodell (156) zur Erzeugung eines dritten Objekterkennungsergebnisses;
    65
    Sicherung der Parameterdaten des trainierten zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) in einem zweiten Trainingsdatenspeicher (137);
    65b
    Verwendung der durch das vierte neuronale Netzwerkmodell (1356) für das dritte Messsystem (162) durchgeführten dritten Objektidentifizierung in Form eines dritten Objekterkennungsergebnisses;
    71
    Laden der zuvor gesicherten Parameter des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) aus dem zweiten Trainingsdatenspeicher (137) als aktuelle Parameter des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161);
    72
    Laden der zuvor gesicherten Parameter des vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162) aus dem vierten Trainingsdatenspeicher (157) als aktuelle Parameter des vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162);
    84
    Vergleich der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung und Ermittlung einer gemeinsamen Objekterkennungshypothese;
    85
    Verwendung der gemeinsamen Objekterkennungshypothese;
    86
    erste Parameteranpassung des ersten neuronalen Netzwerkmodells (16) für das Ultraschallmesssystem (164) in Abhängigkeit vom Vergleichsergebnis der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung in Schritt 84;
    87
    zweite Parameteranpassung des zweiten neuronalen Netzwerkmodells (136) für das zweite Messsystem (161) in Abhängigkeit vom Vergleichsergebnis der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung in Schritt 84;
    88
    vierte Parameteranpassung des vierten neuronalen Netzwerkmodells (156) für das dritte Messsystem (162) in Abhängigkeit vom Vergleichsergebnis der zweiten Objekterkennungsergebnisse der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten zweiten Objektidentifizierung mit den dritten Objekterkennungsergebnissen der durch das vierte neuronale Netzwerkmodell (156) für das dritte Messsystem (162) durchgeführten alternativen dritten Objektidentifizierung in Schritt 204;
    91
    Installation des dritten neuronalen Netzwerkmodells (138) für den Vergleich der ersten Objekterkennungsergebnisse der durch das erste neuronale Netzwerkmodell (16) für das Ultraschallmesssystem (164) durchgeführten ersten Objektidentifizierung mit den alternativen zweiten Objekterkennungsergebnissen der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten alternativen zweiten Objektidentifizierung und für die Ermittlung einer gemeinsamen Objekterkennungshypothese auf dem Rechnersystem;
    92
    Training des dritten neuronalen Netzwerkmodells (138) durch Übergabe von korrekten und nicht korrekten ersten Objekterkennungsergebnissen und korrekten und nicht korrekten alternativen zweiten Objekterkennungsergebnissen an das dritte neuronale Netzwerkmodell (138) zusammen mit Daten über deren Korrektheit und/oder Nichtkorrektheit und Ermittlung der Parameter des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von diesen Daten und/oder Änderung der Parameter des dritten neuronalen Netzwerkmodells (138) in Abhängigkeit von diesen Daten;
    93
    Übergabe von ersten Live- Objekterkennungsergebnissen und von alternativen zweiten Live-Objekterkennungsergebnissen an das trainierte dritte neuronale Netzwerkmodell (138);
    94
    Ermittlung einer gemeinsamen Objekterkennungshypothese auf Basis der ersten Live-Objekterkennungsergebnisse und der alternativen zweiten Live-Objekterkennungsergebnisse durch das dritte neuronale Netzwerkmodell (138);
    95
    Verwendung der durch das dritte neuronale Netzwerkmodell (138) für das Gesamtmesssystem ermittelten gemeinsamen Ob jekterken n u ngshypothese;
    105
    Sicherung der Parameterdaten des trainierten dritten neuronalen Netzwerks (138) in einem dritten Trainingsdatenspeicher (139);
    111
    Laden der zuvor gesicherten Parameter des dritten neuronalen Netzwerkmodells (138) aus dem dritten Trainingsdatenspeicher (139) in das dritte neuronale Netzwerkmodell (138);
    130
    zweite Benutzersteuerung, die mit der ersten Benutzersteuerung (10) identisch sein kann, wenn sie im Zeitmultiplex betrieben wird;
    131
    zweite Sensoranordnung;
    132
    zweite Ansteuerungselektronik;
    133
    zweite Sensoransteuerung;
    134
    zweiter Einstellungsspeicher;
    135
    zweiter Signalprozessor, der mit dem ersten Signalprozessor (15) identisch sein kann, wenn die Aufgabe im Zeitmultiplex gelöst wird;
    136
    zweites neuronales Netzwerkmodell in einem zweiten Speicher;
    137
    zweiter Trainingsdatenspeicher;
    138
    drittes neuronales Netzwerkmodell;
    139
    dritter Trainingsdatenspeicher;
    140
    erste Parametermodifikationsvorrichtung für das erste neuronale Netzwerkmodell (16);
    140a
    zweite Benutzersteuerung, die mit der ersten Benutzersteuerung (10) und/oder der dritten Benutzersteuerung (160) identisch sein kann, wenn sie im Zeitmultiplex betrieben wird;
    141
    zweite Parametermodifikationsvorrichtung für das zweite neuronale Netzwerkmodell (136);
    142
    erste Sicherheitsvorrichtung;
    143
    zweite Sicherheitsvorrichtung;
    144
    vierte Parametermodifikationsvorrichtung für das vierte neuronale Netzwerkmodell (156);
    145
    dritte Benutzersteuerung;
    151
    dritte Sensoranordnung;
    152
    dritte Ansteuerungselektronik;
    153
    dritte Sensoransteuerung;
    154
    dritter Einstellungsspeicher;
    155
    dritter Signalprozessor, der mit dem ersten Signalprozessor (13) und/oder zweiten Signalprozessor (135) identisch sein kann, wenn die Aufgabe im Zeitmultiplex gelöst wird;
    156
    viertes neuronales Netzwerkmodell;
    157
    vierter Trainingsdatenspeicher;
    158
    fünftes neuronales Netzwerkmodell;
    159
    fünfter Trainingsdatenspeicher;
    160
    dritte Benutzersteuerung, die mit der ersten Benutzersteuerung (10) und/oder der zweiten Benutzersteuerung (140a) identisch sein kann, wenn sie im Zeitmultiplex betrieben wird;
    161
    zweites Messsystem;
    162
    drittes Messsystem;
    163
    vierte Parametermodifikationsvorrichtung für das vierte neuronale Netzwerkmodell (156);
    164
    Ultraschallmesssystem;
    171
    Durchführung eines Verfahrens nach 7 für das zweite Messsystem (161) mit Ermittlung der zweiten Sensormesswerte und Ermittlung eines zweiten Objekterkennungsergebnisses;
    172
    Durchführung eines Verfahrens nach 7 für das dritte Messsystem (162) mit Ermittlung der dritten Sensormesswerte und Ermittlung eines dritten Objekterkennungsergebnisses;
    173
    Installieren eines fünften neuronalen Netzwerkmodells (158) auf einem computerbasierten System;
    174
    Trainieren des fünften neuronalen Netzwerkmodells (158), um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in dem zweiten Objekterkennungsergebnis und/oder in dem dritten Objekterkennungsergebnis zu identifizieren und Erzeugen einer gemeinsamen Objekterkennungshypothese;
    175
    Verwenden des trainierten fünften neuronalen Netzwerkmodells (158) zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis des zweiten Objekterkennungsergebnisses und des dritten Objekterkennungsergebnisses durch das fünfte neuronale Netzwerkmodell (158) und/oder zur Erzeugung einer gemeinsamen Objekterkennungshypothese auf Basis des zweiten Objekterkennungsergebnisses und des dritten Objekterkennungsergebnisses durch das fünfte neuronale Netzwerkmodell (158);
    185
    Sicherung der Parameterdaten des trainierten fünften neuronalen Netzwerks (158) in einem fünften Trainingsdatenspeicher (159);
    192
    Laden der zuvor gesicherten Parameter des vierten neuronalen Netzwerkmodells (156) aus dem vierten Trainingsdatenspeicher (157) in das vierte neuronale Netzwerkmodell (156);
    193
    Laden der zuvor gesicherten Parameter des fünften neuronalen Netzwerkmodells (158) aus dem fünften Trainingsdatenspeicher (159) in das fünfte neuronale Netzwerkmodell (158);
    201
    Installation des fünften neuronalen Netzwerkmodells (158) für den Vergleich der zweiten Objekterkennungsergebnisse der durch das zweite neuronale Netzwerkmodell (136) für das zweite Messsystem (161) durchgeführten ersten Objektidentifizierung mit den dritten Objekterkennungsergebnissen der durch das vierte neuronale Netzwerkmodell (1356) für das dritte Messsystem (162) durchgeführten alternativen dritten Objektidentifizierung und für die Ermittlung einer gemeinsamen Objekterkennungshypothese auf dem Rechnersystem;
    202
    Training des fünften neuronalen Netzwerkmodells (158) durch Übergabe von korrekten und nicht korrekten zweiten Objekterkennungsergebnissen und korrekten und nicht korrekten dritten Objekterkennungsergebnissen an das fünfte neuronale Netzwerkmodell (158) zusammen mit Daten über deren Korrektheit und/oder Nichtkorrektheit und Ermittlung der Parameter des fünfte neuronalen Netzwerkmodells (158) in Abhängigkeit von diesen Daten und/oder Änderung der Parameter des fünften neuronalen Netzwerkmodells (158) in Abhängigkeit von diesen Daten;
    203
    Übergabe von zweiten Live- Objekterkennungsergebnissen und von dritten Live-Objekterkennungsergebnissen an das trainierte fünfte neuronale Netzwerkmodell (158);
    204
    Ermittlung einer gemeinsamen Objekterkennungshypothese auf Basis der zweiten Live-Objekterkennungsergebnisse und der dritten Live-Objekterkennungsergebnisse durch das fünfte neuronale Netzwerkmodell (158);
    205
    Verwendung der durch das fünfte neuronale Netzwerkmodell (158) für das Gesamtmesssystem ermittelten gemeinsamen Ob jekterken n u ngshypothese;
    211
    Laden (211) der zuvor gesicherten Parameter des fünften neuronalen Netzwerkmodells (158) aus dem fünften Trainingsdatenspeicher (159) oder einem anderen Datenspeicher der gerade diese Daten vorhält, in das fünfte neuronale Netzwerkmodell (158). Hierbei kann sich dieses fünfte neuronale Netzwerkmodell (158) in einem komplett anderen funktionsähnlichen Gesamtsystem befinden als das Gesamtsystem, mit dem die zu ladenden Daten erstellt wurden;
    215
    Sicherung (215) der Parameterdaten des trainierten fünften neuronalen Netzwerks (158) in einem fünften Trainingsdatenspeicher (159). Hierdurch können die so gesicherten Parameter des fünften neuronalen Netzwerkmodells (158) in funktionsähnlichen Systemen durch Programmierung und/oder Konstruktion dieser Systeme oder von Teilen dieser verwendet werden;
    1010
    Fahrzeugteil;
    1012
    Ultraschallwandleranordnung;
    1014
    Mikrobeamformer;
    1016
    Sende- / Empfangs-Umschalter;
    1018
    Sendesteuerung;
    1020
    Hauptstrahlformer;
    1026
    Signalprozessor;
    1028
    Bildspeicher;
    1030
    Bildprozessor;
    1032
    Abtastwandler;
    1034
    Trainingsbildspeicher;
    1036
    Grafikprozessor;
    1038
    Bedienfeld des Benutzers oder Benutzersteuerfeld;
    1040
    Bildanzeige;
    1042
    Volumenrenderer;
    1044
    Multiplanar-Reformatierer;
    1046
    Touchscreen-Anzeigesteuerung;
    1048
    Benutzersteuerungseinstellungssteuerung;
    1052
    Video-Prozessor;
    1054
    Doppler-Prozessor;
    1060
    Touchscreen-Anzeige;
    1080
    neuronales Netzwerkmodell;
    1090
    Installation des neuronalen Netwerkmodells;
    1092
    Präsentation von Bildern und/oder Messdatensätzen der gleichen Fahrzeugumfeldsituationsgeometrie, die bevorzugt von einer Vielzahl von Testfahrten für ähnliche Situationen erhalten wurden, gegenüber dem neuronalen Netzwerkmodell;
    1094
    Training des neuronalen Netzwerkmodells, um es zur Ausbildung der Geometrie zu trainieren durch Präsentation des bekannten Typs der Situationsgeometrie und seiner Ansicht in den Bildern und/oder Messdatensätzen zusammen mit der Präsentation in Schritt (1092).
    1096
    Präsentation von durch das Ultraschallsystem aufgenommene Umfeldkarten und/oder Messdatensätzen gengenüber dem neuronalen Netzwerkmodell zur Identifizierung der Fahrzeugumfeldsituationsgeometrie als Objekterkennungsergebnis;
    1098
    Verwendung der durch das neuronale Netzwerkmodell erzeugten Identifikation.
    H11
    hoch priorisierte Signal der Ultraschallwandleranordnung (11) an die erste Sicherheitseinrichtung (142);
    H15
    hoch priorisierte Signal des ersten Signalprozessors (15) an die erste Sicherheitseinrichtung (142)
    H131
    hoch priorisierte Signal der zweiten Sensoranordnung (131) an die erste Sicherheitseinrichtung (142);
    H135
    hoch priorisierte Signal des zweiten Signalprozessors (135) an die erste Sicherheitseinrichtung (142);
    H142
    Benutzereingabe oder anderes externes hoch priorisiertes Signal
    H151
    hoch priorisierte Signal der dritten Sensoranordnung (151) an die zweite Sicherheitseinrichtung (143);
    H155
    hoch priorisierte Signal des dritten Signalprozessors (155) an die zweite Sicherheitseinrichtung (143);
  • Liste der zitierten Schriften
  • DE 10 2008 036 009 B4
    DE 103 36 638 A1
    • [Dror 1995]
    I.E. Dror, M. Zagaeski, C. F. Moss, „Three-dimensional target recognition via sonar: a neural network model“, Neural Networks, vol. 8, no. 1, pp. 149-160, 1995
    [LeCun 2015]
    Y. LeCun, Y. Begio, G. Hinton, „Deep Learning“, Nature, vol. 521, pp.436-444, 2015
    [Zhang 2018]
    W. J. Zhang, G. Yang, Y. Lin, C. Ji and M. M. Gupta, „On Definition of Deep Learning,“ 2018 World Automation Congress (WAC), Stevenson, WA, 2018, pp. 1-5, 2018
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102008036009 B4 [0006, 0314]
    • DE 10336638 A1 [0006, 0314]

Claims (5)

  1. Verfahren zum Erkennen von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten abhängen, und/oder zum Ermitteln eines zweiten Objekterkennungsergebnisses auf Basis von zweiten Sensormesswerten umfassend: - Installieren (51) eines zweiten neuronalen Netzwerkmodells (136) auf einem computerbasierten System; - Trainieren (52) des zweiten neuronalen Netzwerkmodells (136), um die Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten abhängen, zu identifizieren und ein zweites Objekterkennungsergebnis zu erzeugen; - Verwenden (54) des trainierten zweiten neuronalen Netzwerkmodells (136) zur Identifizierung von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zweiten Sensormesswerten und/oder in den zwei- oder dreidimensionalen Darstellungen, die von zweiten Sensormesswerten abhängen, wobei ein zweites Objekterkennungsergebnis erzeugt wird.
  2. Verfahren nach Anspruch 1, wobei das Training (52) des zweiten neuronalen Netzwerkmodells (136) ein Training (52) - mit Sensor-Live-Trainingswerten von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten umfasst und/oder - mit zwei- oder dreidimensionalen Trainingsdarstellungen umfasst, - mit Trainingsbildern einer gemeinsamen Anordnung einer Vielzahl von Subjekten umfasst.
  3. Verfahren nach einem oder mehreren der Ansprüche 1 bis 2, - wobei das Training (52) das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten in den zwei- oder dreidimensionalen Trainingsdarstellungen umfasst und/oder - wobei das Training (52) das Identifizieren von Objekten und/oder Objektkomponenten und/oder von Anordnungen von Objekten und/oder Objektkomponenten auf Basis der zweiten Sensormesswerte umfasst und/oder - wobei das Training (52) das Ermitteln eines zweiten Objekterkennungsergebnisses auf Basis der zwei- oder dreidimensionalen Trainingsdarstellungen umfasst und/oder - wobei das Training (52) das Ermitteln eines zweiten Objekterkennungsergebnisses auf Basis der zweiten Sensormesswerte umfasst.
  4. Verfahren nach einem oder mehreren der Ansprüche 1 bis 3, ferner umfassend das Verwenden der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten und/oder der zweiten Objekterkennungsergebnisse, um die zwei- oder dreidimensionalen Darstellungen, die von Sensormesswerten abhängen, zu kommentieren.
  5. Verfahren nach einem oder mehreren der Ansprüche 1 bis 4, - ferner umfassend das Verwenden der Identifizierung der Objekte und/oder Objektkomponenten und/oder Anordnungen von Objekten und/oder Objektkomponenten und/oder der zweiten Objekterkennungsergebnisse - in einer Umfeldkarte der Umgebung des Fahrzeugs und/oder - zur Information des Fahrers durch eine zwei- oder dreidimensionale Darstellung und/oder - durch ein Steuerungssystem und/oder Steuergerät zur Steuerung und/oder Regelung von autonomen Fahren und/oder Parken.
DE102019105346.3A 2019-02-09 2019-03-04 Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens Pending DE102019105346A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019103228.8 2019-02-09
DE102019103228 2019-02-09

Publications (1)

Publication Number Publication Date
DE102019105346A1 true DE102019105346A1 (de) 2020-08-13

Family

ID=71738900

Family Applications (8)

Application Number Title Priority Date Filing Date
DE102019105372.2A Pending DE102019105372A1 (de) 2019-02-09 2019-03-04 Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs
DE102019105363.3A Active DE102019105363B4 (de) 2019-02-09 2019-03-04 Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens mit einem selbstlernenden Entscheider
DE102019105337.4A Pending DE102019105337A1 (de) 2019-02-09 2019-03-04 Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019105340.4A Pending DE102019105340A1 (de) 2019-02-09 2019-03-04 Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019105359.5A Active DE102019105359B4 (de) 2019-02-09 2019-03-04 Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens und einem selbstlernenden Entscheider
DE102019105343.9A Pending DE102019105343A1 (de) 2019-02-09 2019-03-04 Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019105389.7A Pending DE102019105389A1 (de) 2019-02-09 2019-03-04 Sicherheitsvorrichtung für ein selbstlernendes Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019105346.3A Pending DE102019105346A1 (de) 2019-02-09 2019-03-04 Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens

Family Applications Before (7)

Application Number Title Priority Date Filing Date
DE102019105372.2A Pending DE102019105372A1 (de) 2019-02-09 2019-03-04 Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs
DE102019105363.3A Active DE102019105363B4 (de) 2019-02-09 2019-03-04 Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens mit einem selbstlernenden Entscheider
DE102019105337.4A Pending DE102019105337A1 (de) 2019-02-09 2019-03-04 Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019105340.4A Pending DE102019105340A1 (de) 2019-02-09 2019-03-04 Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019105359.5A Active DE102019105359B4 (de) 2019-02-09 2019-03-04 Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens und einem selbstlernenden Entscheider
DE102019105343.9A Pending DE102019105343A1 (de) 2019-02-09 2019-03-04 Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019105389.7A Pending DE102019105389A1 (de) 2019-02-09 2019-03-04 Sicherheitsvorrichtung für ein selbstlernendes Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens

Country Status (1)

Country Link
DE (8) DE102019105372A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021101576A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Verfahren zur Herstellung eines optischen Systems mit NV-Zentren mittels laminierter optisch transparenter Folienstrukturen

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769332B2 (en) * 2020-06-15 2023-09-26 Lytx, Inc. Sensor fusion for collision detection
AT524822A1 (de) * 2021-03-01 2022-09-15 Avl List Gmbh Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
AT524821A1 (de) * 2021-03-01 2022-09-15 Avl List Gmbh Verfahren und System zum Erzeugen von Szenariendaten zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
DE102021208988A1 (de) * 2021-08-17 2023-02-23 Zf Friedrichshafen Ag Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen und Fahrzeugvorrichtung
DE102022202036A1 (de) 2022-02-28 2023-08-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bereitstellen eines Klassifikationsergebnisses zur Objektidentifikation mithilfe ultraschallbasierter Sensorsysteme in mobilen Einrichtungen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10336638A1 (de) * 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE102008036009B4 (de) * 2008-03-28 2018-03-22 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
DE102017011329A1 (de) * 2017-12-08 2018-07-05 Daimler Ag Signalverarbeitungsanordnung und Verfahren zum Betrieb eines Fahrzeugs
DE102017116016A1 (de) * 2017-07-17 2019-01-17 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und einem neuronalen Netz zum Erzeugen einer integrierten Repräsentation einer Umgebung
DE102018101513A1 (de) * 2018-01-24 2019-07-25 Valeo Schalter Und Sensoren Gmbh Verfahren zur Detektion von Garagenparkplätzen

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
DE4240789C2 (de) * 1992-12-04 2003-08-28 Bodenseewerk Geraetetech Verfahren zur Identifizierung von Objekten
DE102005021225A1 (de) * 2005-05-09 2006-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung der Oberflächenbeschaffenheit von Objekten des Straßenverkehrs oder Personen
US10139827B2 (en) * 2016-06-28 2018-11-27 Ford Global Technologies, Llc Detecting physical threats approaching a vehicle
DE102017108348B3 (de) * 2017-04-20 2018-06-21 Valeo Schalter Und Sensoren Gmbh Konfiguration eines Sensorsystems mit einem neuronalen Netzwerk für ein Kraftfahrzeug
DE102017210151A1 (de) * 2017-06-19 2018-12-20 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Ansteuerung eines Fahrzeugmoduls in Abhängigkeit eines Zustandssignals
US11741354B2 (en) * 2017-08-25 2023-08-29 Ford Global Technologies, Llc Shared processing with deep neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10336638A1 (de) * 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE102008036009B4 (de) * 2008-03-28 2018-03-22 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
DE102017116016A1 (de) * 2017-07-17 2019-01-17 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und einem neuronalen Netz zum Erzeugen einer integrierten Repräsentation einer Umgebung
DE102017011329A1 (de) * 2017-12-08 2018-07-05 Daimler Ag Signalverarbeitungsanordnung und Verfahren zum Betrieb eines Fahrzeugs
DE102018101513A1 (de) * 2018-01-24 2019-07-25 Valeo Schalter Und Sensoren Gmbh Verfahren zur Detektion von Garagenparkplätzen

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021101576A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Verfahren zur Herstellung eines optischen Systems mit NV-Zentren mittels laminierter optisch transparenter Folienstrukturen
DE102021101582A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Quantensystem mit NV-Zentren mit zeitlich asymmetrischer Pumpintensität
DE102021101565A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se NV-Zentrum basierendes mikrowellenfreies und galvanisch getrenntes Magnetometer mit einem Schaltungsträger aus Glas
DE102021101568A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se NV-Zentrum basierendes mikrowellenfreies und galvanisch getrenntes Sensormodul
DE102021101575A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Verfahren zur Herstellung eines optischen Systems mit NV-Zentren mittels optisch transparenter Folienstrukturen
DE102021101566A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se NV-Zentrum basierendes mikrowellenfreies und galvanisch getrenntes Magnetometer mit Quantenpunktvermessung über eine Sensorelementoberfläche
DE102021101580A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Sensorelement mit räumlicher Dichtemodulation der NV-Zentren-Dichte
DE102021101570A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Energieversorgungseinrichtung mit NV-Zentrum basierendem Stromsensor
DE102021101571A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Leistungsüberwachungsvorrichtung mit NV-Zentrum basierenden Stromsensoren
DE102021101583A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Empfänger mit NV-Zentren
DE102021101581A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Fahrzeug mit einem Sensorelement mit NV-Zentren
DE102021101578A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Verwendung einer optischen Vorrichtung mit NV-Zentren in einem Bereich ionisierender Strahlung
DE102021101579A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Direkt-Kontakt-Sensorsystem mit NV-Zentren für Messungen an abrasiven Fluiden
DE102021101572A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Quantenoptisches System mit NV-Zentren und transparentem Schaltungsträger
WO2021151429A2 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Nv-zentrum basierendes mikrowellenfreies und galvanisch getrenntes magnetometer
DE102021101577A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Optisches System mit NV-Zentren und optisch transparenten Folienstrukturen
DE102021101573A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se Verfahren zur Herstellung eines optischen Systems mit NV-Zentren mittels Glasfrit-Strukturen
DE102021101569A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se NV-Zentrum basierender Stromsensor
DE102021101567A1 (de) 2020-01-30 2021-08-05 Elmos Semiconductor Se NV-Zentrum basierendes mikrowellenfreies und galvanisch getrenntes Magnetometer mit HD-NV-Diamanten

Also Published As

Publication number Publication date
DE102019105372A1 (de) 2020-08-13
DE102019105359A1 (de) 2020-08-13
DE102019105340A1 (de) 2020-08-13
DE102019105359B4 (de) 2020-10-29
DE102019105363A1 (de) 2020-08-13
DE102019105343A1 (de) 2020-08-13
DE102019105389A1 (de) 2020-08-13
DE102019105337A1 (de) 2020-08-13
DE102019105363B4 (de) 2020-10-29

Similar Documents

Publication Publication Date Title
DE102019105363B4 (de) Verfahren für ein Messsystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens mit einem selbstlernenden Entscheider
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
EP3695244B1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
DE102016212700A1 (de) Verfahren und System zur Steuerung eines Fahrzeugs
DE102019134408A1 (de) Selbstlernendes Netzwerk neuronaler Netzwerkmodelle für sicherheitsrelevante Anwendungen im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE112017006567T5 (de) Autonomes fahrzeug mit fahrerausbildung
DE102018200011A1 (de) Testsystem und Verfahren zum Testen einer Steuerung eines zumindest teilweise autonom fahrenden Fahrzeugs in einer virtuellen Umgebung
DE102020101060B4 (de) Selbstlernendes Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit einem Multiplanar-Reformatierer
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102020100996A1 (de) Ultraschallmesssystem mit einer selbstlernenden KI-Steuerung von Mikrobeamformern im Fahrzeug
DE102019216206A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Kehrtwendestrategie eines autonomen Fahrzeugs
DE102018222672A1 (de) Bestimmung der Orientierung von Objekten mit Radar und anderer elektromagnetischer Abfragestrahlung
DE102014118622A1 (de) Verfahren zum simulativen Bestimmen einer Interaktion zwischen einem Sensor eines Kraftfahrzeugs und einem virtuellen Objekt in einem virtuellen Umgebungsbereich des Kraftfahrzeugs sowie Recheneinrichtung
DE102020128978A1 (de) Trainieren von tiefen neuronalen netzwerken mit synthetischen bildern
DE102018210375A1 (de) Fahrerassistenzsystem, Fahrzeug, Verfahren zum Betreiben des Fahrerassistenzsystems, Computerprogramm und computerlesbares Speichermedium
DE102020101036B4 (de) Selbstlernendes Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit einem Volumenrenderer
DE102020101000B4 (de) Ultraschallmesssystem im Fahrzeug mit einem Doppler-Prozessor als Feature-Extraktor für ein selbstlernendes neuronales Netzwerk
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
EP3748453A1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
EP3748454A1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102022102501B3 (de) Verfahren, System und Computerprogrammprodukt zur Ermittlung einer Bewertung über die Funktionsfähigkeit einer Komponente eines Kraftfahrzeugs
DE102022109385A1 (de) Belohnungsfunktion für Fahrzeuge
DE102014118624A1 (de) Verfahren zum simulativen Bestimmen einer Interaktion zwischen einem Sensor eines Kraftfahrzeugs und einem virtuellen Objekt in einem virtuellen Umgebungsbereich des Kraftfahrzeugs sowie Recheneinrichtung
DE102019217225A1 (de) Verfahren zum Trainieren eines maschinellen Lernsystems für eine Objekterkennungsvorrichtung
DE102023129595A1 (de) Faire neuronale netze

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: ELMOS SEMICONDUCTOR SE, DE

Free format text: FORMER OWNER: ELMOS SEMICONDUCTOR AKTIENGESELLSCHAFT, 44227 DORTMUND, DE